JP2009159536A - 撮像装置、画像処理方法、および情報コード読取装置 - Google Patents

Abstract

【課題】光学系を簡単化でき、コスト低減を図ることができることはもとより、画像復元処理を施さなくても深度拡張された画像から適切な画質のノイズの影響が小さい良好な画像を得ることが可能な撮像装置、画像処理方法、および情報コード読取装置を提供する。
【解決手段】光波面変調機能を含む深度拡張機能を有する深度拡張光学系２１０Ａおよび撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０とを含み、画像処理装置２４０は、前段のＡＦＥ２３０からくる撮像画像のデジタル信号を入力し、深度拡張光学系を通過することによって、必然的に小さくなるコントラストのダイナミックレンジを、γ特性カーブを操作することによって拡張する補正を行い、また必要に応じてエッジ強調等の画像処理を施し、深度拡張光学系２１０Ａの深度拡張により低下した画像特性、たとえばコントラストを向上させる。
【選択図】図３

Description

本発明は、撮像素子を用い、光学系を備えた撮像装置、画像処理方法、および情報コード読取装置に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面はフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図２１は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図２１に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２２（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。

また、ＣＣＤ、ＣＭＯＳなどの画像入力機能を持った装置においては、たとえば風景など、所望の映像とともに、バーコード等の近接静止画像を読み取ることが、極めて有用であることが多い。
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてＦ値を絞ることで被写界深度を広げて固定ピントとしているものがある。

"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報 特開２００４−１５３４９７号公報

上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が物体距離によらず一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。

また、上記技術では、深度拡張光学系によって低くなったコントラストを所望のコントラストとなるまで画像復元を行うとノイズを増大させることになる。
さらに深度拡張光学系により広がったＰＳＦを元の点像に戻そうとするとＰＳＦの大きさに依存するフィルタ処理よる復元処理では、大きなフィルタを要することになり処理が重くなる。

本発明は、光学系を簡単化でき、コスト低減を図ることができることはもとより、画像復元処理を施さなくても、深度拡張された画像から適切な画質のノイズの影響が小さい良好な画像を得ることが可能な撮像装置、画像処理方法、および情報コード読取装置を提供することにある。

本発明の第１の観点の撮像装置は、光波面変調素子を含み深度拡張機能を有する深度拡張光学系と、前記深度拡張光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子から得られた画像信号に対して所定の画像処理を施す画像信号処理部と、を有し、前記画像信号処理部は、前記画像信号の少なくともガンマ特性を変化させて階調を操作する処理を行う。

好適には、前記画像信号処理部は、前記階調操作において、目標となる被写体のヒストグラムを元に最適化する。

好適には、前記画像信号処理部は、前記階調操作において、目標となる被写体に含まれない領域の階調を除いて最適化する。

好適には、前記画像信号処理部は、前記階調の操作に応じて増大したノイズを除去する処理を行う。

好適には、前記画像信号処理部は、前記階調の操作に応じて離散的になった階調の補間処理を行う。

好適には、前記画像信号処理部は、目標となる被写体として、前記画像信号から特徴部位を抽出して選択する。

本発明の第２の観点は、光波面変調素子を含み深度拡張機能を有する深度拡張光学系を通過した被写体像を撮像素子で撮像して得られた画像信号に所定の画像処理を施す画像処理方法であって、前記画像信号の少なくともガンマ特性を変化させて階調を操作する処理を行う。

本発明の第３の観点は、情報コードを光学的に読み取る情報コード読取装置であって、光波面変調素子を含み深度拡張機能を有する深度拡張光学系と、前記深度拡張光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子から得られた画像信号に対して所定の画像処理を施す画像信号処理部と、を有し、前記画像信号処理部は、前記画像信号の少なくともガンマ特性を変化させて階調を操作する処理を行う。

本発明によれば、光学系を簡単化でき、コスト低減を図ることができることはもとより、画像復元処理を施さなくても、深度拡張された画像から適切な画質のノイズの影響が小さい良好な画像を得ることができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図２（Ａ）〜（Ｃ）は、情報コードの例を示す図である。
図３は、図１の情報コード読取装置に適用可能な撮像装置の構成例を示すブロックである。
なおここでは、本実施形態の撮像装置が適用可能な装置として、情報コード読取装置を例示している。

本実施形態に係る情報コード読取装置１００は、図１に示すように、本体１１０がケーブル１１１を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物１２０に印刷された反射率の異なるシンボル、コード等の情報コード１２１を読み取り可能な装置である。
読み取り対象の情報コードとしては、たとえば図２（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード１２２と、図２（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような２次元のバーコード１２３が挙げられる。

本実施形態に係る情報コード読取装置１００は、本体１１０内に、図示しない照明光源と、図３に示すような撮像装置２００とが配置されている。
撮像装置２００は、後で詳述するように、光学系として、光波面変調機能（たとえば位相変調素子）を有する光波面変調素子を含み深度拡張機能を有する深度拡張光学系が採用されている。
そして、撮像装置２００は、光波面変調素子を用いることにより物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない通常の光学系よりも小さくする深度拡張光学系に対し、目標となる被写体のヒストグラムに対応した階調伸縮によりコントラストの改善された画像を得るように構成されている。
換言すれば、本実施形態の撮像装置２００は、深度拡張光学系において、階調が狭くなった画像特性、たとえばコントラストが低くなった画像に対し、目的の被写体信号の階調領域をガンマ（γ補正）によって広げることによってコントラストを改善する機能を有している。
たとえば本実施形態のように、二次元コードや一次元バーコード、あるいは静脈認証、虹彩認証といったマシンビジョンに用いる場合は、必要な信号の階調のみをコントロールするために被写体近傍のエリアに対して階調拡張処理を行うことが可能である。

本実施形態に係る情報コード読取装置１００は、このような撮像装置２００を採用することにより、復元の画像処理を施さなくとも、ＪＡＮコードのような１次元のバーコードとＱＲコードのような２次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。

情報コード読取装置１００の撮像装置２００は、図３に示すように、深度拡張光学系２１０Ａ、撮像素子２２０、アナログフロントエンド部（ＡＦＥ）２３０、画像処理装置２４０、カメラ信号処理部２５０、画像表示メモリ２６０、画像モニタリング装置２７０、操作部２８０、および制御装置２９０を有している。

図４は、本実施形態に係る深度拡張光学系を形成する撮像レンズユニットの基本構成を示す図である。
深度拡張光学系２１０Ａは、被写体物体ＯＢＪを撮影した像を撮像素子２２０に供給する。また、深度拡張光学系２１０Ａは、物体側から順に、第１レンズ２１１、第２レンズ２１２、第３レンズ２１３、絞り２１４、第４レンズ２１５、第５レンズ２１６が配置されている。
本実施形態の深度拡張光学系２１０Ａは、第４レンズ２１５と第５レンズ２１６が接続されている。すなわち、本実施形態の深度拡張光学系２１０Ａのレンズユニットは、接合レンズを含んで構成されている。

そして、本実施形態の深度拡張光学系２１０Ａは、光波面変調素子（たとえば位相変調素子）を用いることにより物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする機能を有する。
そして、後段の画像処理装置２４０において、深度拡張光学系を通過することによって、必然的に小さくなるコントラストのダイナミックレンジを、γ特性カーブを操作することによって拡張する補正を行う。
これによって、画像の鮮明度を向上させることができ、深度拡張光学系の通過により劣化した画像の復元処理を実施しなくても、使用目的によっては画像が利用可能となる（情報コードの読み取りや静脈や虹彩の認証の分野）。

そして、本実施形態の深度拡張光学系２１０Ａは、光波面変調効果を生じさせる光波面変調機能を有する光波面変調面を適用した光学系として構成されている。
なお、光波面変調果は別素子の光波面変調素子（たとえば位相板）を挿入しても良い。
光波面変調面の例を示すと図４のようになり、通常の光学系に光波面変調面(第３レンズＲ２面)を含んだ形となっている。
ここでいう光波面変調面とは、光波面変調素子の持つ光波面変調効果をレンズ面に内包したものをいう。好適には光波面変調面２１３ａは絞り２１４に隣接していることが好ましい。

また、図４の下方に光波面変調面を形成する前と後の球面収差の変化を示しているが、光波面変調面を絞り２１４の近傍に、あるいは光波面変調面自身に絞り機能を持たせることにより、光波面変調面のみを最適化することで、物体が画面の中心に写る場合も周辺に写る場合も均一な画質とすることが可能となり、撮像装置の最終出力画像信号として性能の高い固定焦点レンズとすることができる。

以上、本実施形態に係る光学系の特徴的な構成、機能、効果について説明した。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。

撮像素子２２０は、たとえば、図４に示すように、第５レンズ２１６側から、ガラス製の平行平面板（カバーガラス）２２１と、ＣＣＤあるいはＣＭＯＳセンサ等からなる撮像素子の撮像面２２２が順に配置されている。
深度拡張光学系２１０Ａを介した被写体ＯＢＪからの光が、撮像素子２２０の撮像面２２２上に結像される。
なお、撮像素子２２０で撮像される被写体分散像は、光波面変調面２１３ａにより撮像素子２２０上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。

そして、図３に示すように撮像素子２２０は、深度拡張光学系２１０Ａで取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部２３０を介して画像処理装置２４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図３においては、撮像素子２２０を一例としてＣＣＤとして記載している。

アナログフロントエンド部２３０は、タイミングジェネレータ２３１、アナログ／デジタル（Ａ／Ｄ）コンバータ２３２と、を有する。
タイミングジェネレータ２３１では、撮像素子２２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ２３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置２４０に出力する。

画像信号処理部の一部を構成する画像処理装置２４０は、前段のＡＦＥ２３０からくる撮像画像のデジタル信号を入力し、深度拡張光学系を通過することによって、必然的に小さくなるコントラストのダイナミックレンジを、γ特性カーブを操作することによって拡張する補正を行い、また必要に応じてエッジ強調等の画像処理を施し、深度拡張光学系２０１Ａの深度拡張により低下した画像特性、たとえばコントラストを向上させ、後段のカメラ信号処理部（ＤＳＰ）２５０に渡す。

このように、本実施形態の画像処理装置２４０は、コンボリューションフィルタによる画像復元は行わず、階調の拡大（階調を操作する処理）を行うことで所望のコントラストを得ることができる。
さらにこの階調の拡大を有効的に用いるために、深度拡張光学系２１０Ａにおいて高周波成分の深度を伸ばしている。高周波成分を残しておけば、被写体のエッジ部分が残るために階調拡大によってエッジを損なうことなく低周波成分となるコントラストをノイズ増加を抑えながら効果的に上げることができる。

カメラ信号処理部（ＤＳＰ）２５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ２６０への格納や画像モニタリング装置２７０への画像表示等を行う。

制御装置２９０は、露出制御を行うとともに、操作部２８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ２３０、画像処理装置２４０、ＤＳＰ２５０、絞り２１３等を制御し、システム全体の調停制御を司るものである。

以下、本実施形態の画像処理装置の構成および機能についてさらに具体的に説明する。

本実施形態においては、深度拡張光学系を採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。

画像処理装置２４０は、上述したように、撮像素子２２０による１次画像ＦＩＭを受けて、γ特性カーブを変化させて階調を操作する処理を施し、深度拡張光学系２０１Ａの深度拡張により低下した画像特性のコントラストを向上させて高精細な最終画像ＦＮＬＩＭを形成する。

本実施形態の画像処理装置２４０は、階調操作において、目標となる被写体のヒストグラムを元に最適化する機能を有する。
画像処理装置２４０は、階調操作において、目標となる被写体に含まれない領域の階調を除いて（使用しないで）最適化する機能を有する。
また、画像処理装置２４０は、階調の操作に応じて増大したノイズを除去する処理を行う機能を有する。
画像処理装置２４０は、階調の操作に応じて離散的になった階調の補間（補完）処理を行う機能を有する。
また、画像処理装置２４０は、目標となる被写体として、撮像素子２２０による画像信号から特徴部位を抽出して選択する機能を有している。

以下に、コンボリューションフィルタを用いず、階調拡大によってコントラストを回復する処理について具体的に説明する。

図５は、目標となる被写体像が理想光学系を通った場合の撮像素子の出力を示す図である。

図５において、たとえば、撮像素子２２０は８ビットセンサとし、黒の輝度を０、白の輝度を２５５とする。すなわち、撮像素子２２０は２５６階調のセンサである。

図６は、目標となる被写体像が通常光学系を通った撮像素子の出力を示す図である。

図６においても、たとえば、撮像素子２２０は８ビットセンサとし、黒の輝度を０、白の輝度を２５５とする。すなわち、撮像素子２２０は２５６階調のセンサである。
通常光学系の特徴は、アウトフォーカスしても低周波のレスポンスが高いために白ピークと黒ピークの劣化は小さい。
逆に、高周波成分はアウトフォーカスすることにより著しく劣化するためにエッジ成分はなくなる傾向がある。

図７は、目標となる被写体像が深度拡張光学系を通った撮像素子の出力を示す図である。

図７においても、たとえば、撮像素子２２０は８ビットセンサとし、黒の輝度を０、白の輝度を２５５とする。すなわち、撮像素子２２０は２５６階調のビットセンサである。
深度拡張光学系の特徴は、ピント位置からアウトフォーカス位置までＭＴＦの変化は小さく、低周波成分が通常光学系に比べて全域にわたって低くなる。そのために白ピークと黒ピークの劣化は大きくなる。逆に、高周波成分はアウトフォーカスしても変化が小さいためにエッジ成分は残る傾向がある。

図８（Ａ），（Ｂ）は、たとえば被写体の目標として１次元バーコードの画像とヒストグラムを示す図である。

図９（Ａ），（Ｂ）は、たとえば被写体の目標として１次元バーコードの画像が通常光学系を通ったシミュレーション画像を示す図である。
なおこのシミュレーション画像はピント位置ではなくアウトフォーカスした位置での画像となっている。

図１０（Ａ），（Ｂ）は、たとえば被写体の目標として１次元バーコードの画像が深度拡張光学系を通ったシミュレーション画像を示す図である。
なお、このシミュレーション画像はピント位置ではなくアウトフォーカスした位置での画像となっている。
図９と図１０とを比較すると、深度拡張光学系においては、前述したとおり、白ピークと黒ピークの値が下がり、階調が通常光学系に比べて狭くなっていることが分かる。

図１１（Ａ），（Ｂ）は、図９（Ａ），（Ｂ）の画像を階調拡大したシミュレーション画像とヒストグラムを示す図である。
図１２（Ａ），（Ｂ）は、図１０（Ａ），（Ｂ）の画像を階調拡大したシミュレーション画像とヒストグラムを示す図である。
図１２の画像と図１１の画像と見比べると、図１２の深度拡張光学系においては通常光学系と比べてエッジが残っていることがわかる。

図１３（Ａ）〜（Ｃ）は、階調拡大によって抜けている階調を補完した例を示す図であって、図１３（Ａ）は元階調データを、図１３（Ｂ）は階調拡張データを、図１３（Ｃ）は階調拡張データの補完結果を示す図である。
このように、階調拡張データを画像処理により補完することができる。

図１４は、本実施形態に係る階調拡張（拡大）を行う処理のフローチャートを示す図である。

この場合、対象被写体領域を検出し（ＳＴ１）、対象被写体の使用階調を拡張する処理を行う（ＳＴ２）。
そして、階調補完処理を行い（ＳＴ３）、エッジ強調等の画像処理を行う（ＳＴ４）。

本実施形態において、画像処理装置２４０は、目標となる被写体のヒストグラムを拡張し、γ補正を行って、画像を最適化する。
図１５（Ａ），（Ｂ）は、通常光学系と深度拡張光学系による画像のヒストグラム拡張とγ補正のシミュレーション結果を比較して示す図であって、図１５（Ａ）は通常光学系による画像のシミュレーション結果を、図１５（Ｂ）が深度拡張光学系による画像のシミュレーション結果を示している。
図からわかるように、深度拡張光学系を用い画像処理装置２４０によるγ補正を行った方向が、画像をより最適化することができる。

次に、画像処理装置２４０におけるエッジ強調処理を含むＭＴＦ補正処理について説明する。

画像処理装置２４０のＭＴＦ補正処理は、たとえば図１６の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１６中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１６中曲線Ｂで示す特性は、たとえば本実施形態のように、光波面変調面（例えば、位相変調面）または光波面変調素子（例えば、位相変調素子）を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。

本実施形態においては、図１６に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図１７に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１６のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１７に示すようになる。

すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。

このように、実施形態に係る撮像装置２００は、基本的に、１次画像を形成する深度拡張光学系２１０Ａおよび撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０からなり、光学系システムの中に、光波面変調素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を光波面変調用に成形したものを設けることにより、光波面変調効果を生じさせて結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置２４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２４０で行う。

次に、本実施形態および通常光学系のＭＴＦのレスポンスについて考察する。

図１８は、通常の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図１９は、光波面変調素子（例えば、位相変調素子）を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図２０は、本実施形態に係る撮像装置の画像処理後のＭＴＦのレスポンスを示す図である。

図からもわかるように、光波面変調面（位相変調面）または光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調面または光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、後段の画像処理装置２４０によって画像処理することにより、ＭＴＦのレスポンスが向上させることができる。
ただし、画像処理を行うとノイズが増加してしまう場合には、好適にはＭＴＦのレスポンスを向上させるような画像処理は行わないようにすることも可能である。
上述したように、目的に応じて意図的に光波面（位相）を変調させる光学系を深度拡張光学系という。

図１９に示した、深度拡張光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図２０に示した復元後のＯＴＦを達成するためには画像処理でゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに画像処理を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、画像処理前のＭＴＦが０．１以上あれば、画像処理でナイキスト周波数でのゲインを上げずに済む。画像処理前のＭＴＦが０．１未満であると、画像処理後の画像がノイズの影響を大きく受けた画像になるため好ましくない。

以上説明したように、本実施形態によれば、光波面変調機能を含む深度拡張機能を有する深度拡張光学系２１０Ａおよび撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０とを含み、画像処理装置２４０は、前段のＡＦＥ２３０からくる撮像画像のデジタル信号を入力し、深度拡張光学系を通過することによって、必然的に小さくなるコントラストのダイナミックレンジを、γ特性カーブを操作することによって拡張する補正を行い、また必要に応じてエッジ強調等の画像処理を施し、深度拡張光学系２０１Ａの深度拡張により低下した画像特性、たとえばコントラストを向上させることから、コンボリューションフィルタ処理当の画像復元処理を施さなくても深度拡張した画像から、適切な画質の、ノイズの影響が小さい良好な画像を得ることが可能となる。

また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置２００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストに考慮が必要な光学システムに使用することが可能である。
また、深度拡張光学系２１０Ａの構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。

本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。 情報コードの例を示す図である。 図１の情報コード読取装置に適用される撮像装置の構成例を示すブロックである。 本実施形態に係る光学系を形成する撮像レンズユニットの基本構成例を示す図である。 目標となる被写体像が理想光学系を通った場合の撮像素子の出力を示す図である。 目標となる被写体像が通常光学系を通った撮像素子の出力を示す図である。 目標となる被写体像が深度拡張光学系を通った撮像素子の出力を示す図である。 たとえば被写体の目標として１次元バーコードの画像とヒストグラムを示す図である。 たとえば被写体の目標として１次元バーコードの画像が通常光学系を通ったシミュレーション画像を示す図である。 たとえば被写体の目標として１次元バーコードの画像が深度拡張光学系を通ったシミュレーション画像を示す図である。 図９の画像を階調拡大したシミュレーション画像とヒストグラムを示す図である。 図１０の画像を階調拡大したシミュレーション画像とヒストグラムを示す図である。 階調拡大によって抜けている階調を補完した例を示す図である。 本実施形態に係る階調拡張（拡大）を行う処理のフローチャートを示す図である。 通常光学系と深度拡張光学系による画像のヒストグラム拡張とγ補正のシミュレーション結果を比較して示す図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を説明するための図である。 本実施形態に係る画像処理装置におけるＭＴＦ補正処理を具体的に説明するための図である。 通常の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 位相変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。 本実施形態に係る撮像装置の画像処理後のＭＴＦのレスポンスを示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図２１の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）が合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）が焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

２００・・・撮像装置、２１０Ａ・・・深度拡張光学系、２１１・・・第１レンズ、２１２・・・第２レンズ、２１３・・・第３レンズ、２１３ａ・・・光波面変調面、２１４・・・絞り、２１５・・・第４レンズ、２２０・・・撮像素子、２３０・・・アナログフロントエンド部（ＡＦＥ）、２４０・・・画像処理装置、２５０・・・カメラ信号処理部、２８０・・・操作部、２９０・・・制御装置。

Claims (8)

1. 光波面変調素子を含み深度拡張機能を有する深度拡張光学系と、
   前記深度拡張光学系を通過した被写体像を撮像する撮像素子と、
   前記撮像素子から得られた画像信号に対して所定の画像処理を施す画像信号処理部と、を有し、
   前記画像信号処理部は、
   前記画像信号の少なくともガンマ特性を変化させて階調を操作する処理を行う
   撮像装置。
2. 前記画像信号処理部は、
   前記階調操作において、目標となる被写体のヒストグラムを元に最適化する
   請求項１記載の撮像装置。
3. 前記画像信号処理部は、
   前記階調操作において、目標となる被写体に含まれない領域の階調を除いて最適化する
   請求項１記載の撮像装置。
4. 前記画像信号処理部は、
   前記階調の操作に応じて増大したノイズを除去する処理を行う
   請求項１から３のいずれか一に記載の撮像装置。
5. 前記画像信号処理部は、
   前記階調の操作に応じて離散的になった階調の補間処理を行う
   請求項１から４のいずれか一に記載の撮像装置。
6. 前記画像信号処理部は、
   目標となる被写体として、前記画像信号から特徴部位を抽出して選択する
   請求項１から５のいずれか一に記載の撮像装置。
7. 光波面変調素子を含み深度拡張機能を有する深度拡張光学系を通過した被写体像を撮像素子で撮像して得られた画像信号に所定の画像処理を施す画像処理方法であって、
   前記画像信号の少なくともガンマ特性を変化させて階調を操作する処理を行う
   画像処理方法。
8. 情報コードを光学的に読み取る情報コード読取装置であって、
   光波面変調素子を含み深度拡張機能を有する深度拡張光学系と、
   前記深度拡張光学系を通過した被写体像を撮像する撮像素子と、
   前記撮像素子から得られた画像信号に対して所定の画像処理を施す画像信号処理部と、を有し、
   前記画像信号処理部は、
   前記画像信号の少なくともガンマ特性を変化させて階調を操作する処理を行う
   情報コード読取装置。