JP2009111774A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】光波面変調素子を用いる必要がなく、光学系に依存しない深度拡張システムを実現可能な撮像装置および画像処理方法を提供する。
【解決手段】光学系１１０からの被写体像の撮像素子１２０への結像状態を変化させることができる結像状態調節部３００と、撮像素子１２０からの画像信号から少なくともピントに関する評価値を得る機能および画像信号に対して焦点深度拡張処理を施す深度拡張処理機能を有する画像処理装置１４０と、撮像素子１２０からの画像を複数エリアに分割し、結像状態調節部によって結像状態を変化させながら画像処理装置１４０によってピントに関する評価値を分割した複数エリア毎に取得し、それぞれ評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する深度拡張フィルタを用いて焦点深度拡張処理を施すように制御する制御装置２００とを有する。
【選択図】図１

Description

本発明は、撮像素子を用い、光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ、情報コード読取装置等に適用可能な撮像装置および画像処理方法に関するものである。

近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに代わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。

このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。

図２２は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。

撮像レンズ装置１においては、図２２に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図２３（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。

また、光波面変調素子である位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama. "Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson. ＵＳＰ６，０２１，００５ ＵＳＰ６，６４２，５０４ ＵＳＰ６，５２５，３０２ ＵＳＰ６，０６９，７３８ 特開２００３−２３５７９４号公報

ところで、上記技術では、位相変調素子（光波面変調素子）を光学系に挿入した際に、ＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提である。
そのために、そこで用いられる位相変調素子は各光学系固有のものとして設計、製造する必要があるため、汎用度が低いという欠点がある。

本発明の目的は、光波面変調素子を用いる必要がなく、光学系に依存しない深度拡張システムを実現可能な撮像装置および画像処理方法を提供することにある。

本発明の第１の観点の撮像装置は、光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、前記撮像素子への結像状態を変化させることができる結像状態調節部と、前記撮像素子からの画像信号から少なくともピントに関する評価値を得る機能を有する画像信号処理部と、前記画像信号処理部からの画像信号に対して焦点深度拡張処理を施す深度拡張処理部と、前記焦点深度拡張処理で用いる被写体距離に応じた特性を持つ複数の深度拡張フィルタを格納する記憶部と、前記撮像素子からの画像を複数エリアに分割し、前記結像状態調節部によって結像状態を変化させながら前記画像信号処理部によって前記ピントに関する評価値を前記分割した複数エリア毎に取得し、それぞれ前記評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する前記深度拡張フィルタを用いて前記焦点深度拡張処理を施す制御部とを有する。

好適には、前記制御部は、前記分割した複数エリアのうち選択されたエリアに対してのみ前記深度拡張処理を施す。

好適には、前記結像状態調節部は、前記深度拡張処理を施す画像を撮像する場合は、前記選択されたエリアの焦点位置の分布の中央となる位置に焦点調節を行う。

好適には、前記結像状態調節部は、前記光学系の全部もしくは一部を光軸方向に移動させることによって結像状態の調節を行う。

好適には、前記結像状態調節部は、前記撮像素子を光軸方向に移動させることによって結像状態の調節を行う。

好適には、前記結像状態調節部は、前記光学系の光軸上の何れかの位置に焦点距離が外部信号に依存する外部依存型レンズが配置されている。

好適には、前記結像状態調節部の外部依存型レンズには、液体レンズもしくは液晶レンズを含む。

本発明の第２の観点の画像処理方法は、光学系を通過した被写体像を撮像し、撮像した画像データに画像処理を行う画像処理方法であって、前記撮像素子からの画像を複数エリアに分割するステップと、前記撮像素子への結像状態を変化させながら当該撮像素子からの画像信号から少なくともピントに関する評価値を前記分割した複数エリア毎に取得するステップと、それぞれ前記評価値がピークとなる焦点状態から被写体距離を推定するステップと、それぞれ推定した被写体距離に対応する前記深度拡張フィルタを用いて前記焦点深度拡張処理を施すステップとを有する。

本発明によれば、波面変調素子を用いる必要がなく、光学系に依存しない深度拡張システムを実現することができる。

以下、本発明の実施形態を添付図面に関連付けて説明する。

図１は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

本実施形態に係る撮像装置１００は、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、記憶部としてのメモリ１５０、カメラ信号処理部１６０、画像表示メモリ１７０、画像モニタリング装置１８０、操作部１９０、制御装置２００、および結像状態調節部３００を有している。
本実施形態においては、画像処理装置１４０は、画像信号処理部および深度拡張処理部として機能する。

本実施形態に係る撮像装置１００は、光学系１１０に光波面変調素子を適用せずに、光学系に依存しない深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ ｓｙｓｔｅｍ）というシステムを採用し、被写体像を的確に高精度で読み取ることが可能に構成されている。

本撮像装置１００においては、後で詳述するように、撮像素子１２０からの画像を複数エリアに分割し、光学系１１０による被写体像の撮像素子１２０への結像状態を変化させながら撮像素子１２０からの画像信号から少なくともピントに関する評価値を分割した複数エリア毎に取得して、各評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する深度拡張フィルタを用いて焦点深度拡張処理を施す機能を有している。

光学系１１０は、被写体ＯＢＪを撮影した像を撮像素子１２０に供給する。

撮像素子１２０は、光電変換素子として機能し、光学系１１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部１３０を介して画像処理装置１４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図１においては、撮像素子１２０を一例としてＣＣＤとして記載している。

本実施形態においては、光学系１１０による被写体像の撮像素子１２０への結像状態が、結像状態調節部３００により変動可能に構成されている。

アナログフロントエンド部１３０は、タイミングジェネレータ１３１と、アナログ／デジタル（Ａ／Ｄ）コンバータ１３２と、を有する。
タイミングジェネレータ１３１では、撮像素子１２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。

画像信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）１６０に渡す。

画像処理装置１４０は、撮像素子１２０からの画像を複数エリアに分割し、光学系１１０による被写体像の撮像素子１２０への結像状態を変化させながら得られる撮像素子１２０からの画像信号から少なくともピントに関する評価値を分割した複数エリア毎に取得して、各評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する深度拡張フィルタを用いて焦点深度拡張処理を施す。

実際の撮影時であるが、通常、画面内の位置により物体距離は異なっている。そこで、上述と同様に光線の結像状態を変化させながら撮影を行い、画面内の各位置において、事前にメモリ１５０に記録していたボケ方の変化情報と比較する事で、測距を行う。

メモリ１５０には、物体距離が既存な物体を光線の結像状態を変化させながら撮影、事前情報として図２に示すような、ボケ方情報を記録しておく。換言すれば、メモリ１５０は、この物体の結像状態を変化させることによる生じる結像状態の変化を格納する。
画像処理装置１４０は、制御装置２００の各種情報に応じて、画像データに対してフィルタリング処理を行う。

また、画像処理装置１４０は、基本的に、図１に示すように、生（ＲＡＷ）バッファメモリ１４１、コンボリューション演算器１４２、記憶手段としてのカーネルデータ格納ＲＯＭ１４３、およびコンボリューション制御部１４４を有する。

コンボリューション制御部１４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置２００により制御される。

また、カーネルデータ格納ＲＯＭ１４３には、たとえば図２に示すように予め用意されたそれぞれの光学系のＰＳＦにより算出されたコンボリューション用のカーネルデータが格納されており、コンボリューション制御部１４４を通じてカーネルデータを選択制御する。

図３の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。

以下に、本実施形態の画像処理装置１４０の画像分割による焦点深度拡張処理についてさらに詳述する。

＜画面分割＞
画像処理装置１４０において画面（画像）を、たとえば図４に示すように、３×４の１２個のエリアＡ〜Ｌに分割する。
分割形状は正方形状にはこだわらないが、処理の便宜上はその方が有利である。
分割はより細かい方が望ましい。但し細かすぎると演算量が増大することから、適度の分割数を選定する。

＜結像状態を変化させながら、それぞれのエリア内で独立してＡＦ評価値を算出＞
図５は、結像状態の変化に伴うＡＦ評価値の変化の例を示す図である。

ピントが合った結像状態の場合はＡＦ評価値が高く、ピントが前側にずれる場合（前ピン）にしても、後ろ側にずれる場合（後ピン）にしてもはずれるほどＡＦ評価値は低くなる。つまり、無限遠から至近まで結像状態を変化させていくと、図５に示すように、山状の軌跡を描く。この山のピークの結像状態が、最も被写体にピントが合った状態ということになる（所謂山登り方式もしくはコントラスト方式のＡＦ）。

結像状態を変化させる方法は後で詳述するように様々な方法があるが、以下の説明では、一例として現状で最も一般的なレンズを動かす方法を挙げて説明する。
ＡＦ評価値も画像のコントラスト値をとる方法やエッジの先鋭度（微分値）をとる方法等があるが、ここでの説明では、一般的なコントラスト値にて説明する。

＜エリア毎のＡＦ評価値の軌跡＞
図６（Ａ）〜（Ｄ）は、光学系１１０のレンズを無限遠から至近端に向かって移動させながら、それぞれレンズ位置において各分割エリア内でコントラスト値を算出し、プロットした例を示す図である。

エリアＡおよびＢについては、図４に示すように、被写体は遠景の山で、空と山の稜線がはっきりしているためコントラストも高い。よって、図６（Ａ）および（Ｂ）に示すように、軌跡は遠側にピークがあり、かつピークにおけるコントラスト値は高いものとなっている。
エリアＦについては、図４に示すように、主要被写体は比較的近距離に位置する人の顔で、コントラストもあまり高くないものとすると、図６（Ｃ）に示すように、軌跡は近側にピークがあり、かつピークにおけるコントラスト値は低いものとなる。
エリアＨについては、図４に示すように、主要被写体は中距離に位置する樹木で、コントラストは比較的はっきりしているものとすると、図６（Ｄ）に示すように、軌跡は中距離位置にピークがあり、かつピークにおけるコントラスト値も比較的高い値を示すものとなる。

＜エリア毎に最適な深度拡張フィルタの選択＞
以上のように、各エリアにおけるレンズ位置に対するコントラスト値の軌跡が求まると、そのピークを示すレンズ位置に対応する被写体位置が、各エリアの主要被写体の被写体距離と言うことになる。
ここで、任意のレンズ位置（たとえば全距離領域でバランスを取るために無限遠と至近端の中央のレンズ位置）における各被写体距離に応じた深度拡張フィルタを各エリアの被写体距離に合わせて選択して、エリア毎に深度拡張処理を実施することにより、各被写体にピントの合った画を得ることができる。

＜エリアの選択＞
分割したエリアをある条件によって選択し、その選択したエリアの被写体距離を中心に深度拡張処理を行う方法もある。
深度拡張フィルタは、レンズ位置毎に被写体距離（代表的な数種類でＯＫ）に応じたものを用意する。

・決め込み
画面内のある任意のエリア（たとえば画面中央部）のレンズ位置に対するコントラスト値の軌跡から対象エリアの主要被写体の距離を割り出す。
レンズ位置はコントラスト値のピークが得られた位置で画像を取り込み、そのレンズ位置における各被写体距離に応じた深度拡張フィルタを用いて深度拡張処理を行う。

・近距離を選択
たとえば、前出の図４を用いると各エリアにおけるレンズ位置に対するコントラスト値の軌跡を求めた結果、最も近距離に主要被写体（人）があるエリアはＦ（もしくはＪ）となる。そこで、エリアＦでコントラスト値のピークが得られたレンズ位置にて画像を取り込み、そのレンズ位置における各被写体距離に応じた深度拡張フィルタを用いて深度拡張処理を行う。

また、選択するのは複数個所としても良い。
図７は、エリアＦと、エリアＦの次に近い距離に主要被写体（樹木）があるエリアＨのコントラスト値の軌跡を併せて示す図である。
この２つのエリアをバランス良く深度内に収めるには、図７に示すように、レンズ位置を双方の中間の位置において画像を取り込み、そのレンズ位置における各被写体距離に応じた深度拡張フィルタを用いて深度拡張処理を行う。
なお、選択するのは近距離に限らず、遠距離やある任意の距離範囲という設定もある。

・被写体を識別して選択
被写体の特徴を識別（たとえば人の顔）してその被写体距離に合わせた画像の取り込みおよび深度拡張処理を行う方法も選択方法の違いのみで上記同様の手順で可能である。
識別対象の特徴を持った被写体が複数（複数人）検出された場合も上記と同様である。

カメラ信号処理部（ＤＳＰ）１６０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、画像表示メモリ１７０への格納や画像モニタリング装置１８０への画像表示等を行う。

制御装置２００は、露出制御を行うとともに、操作部１９０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０等を制御し、システム全体の調停制御を司るものである。

また、制御装置２００は、制御信号ＣＴＬにより結像状態調節部３００を制御して、光学系１１０または、および撮像素子１２０を駆動して光学系１１０による被写体像の撮像素子１２０への結像状態を変化させる。
たとえば制御装置２００は、結像状態調節部３００により光学系１１０または、および撮像素子１２０の相対位置を光軸方向に変動させる。

結像状態調節部３００は、図１に示すように、駆動制御装置３１０、光学系駆動機構部３２０、および撮像素子駆動機構部３３０により構成されている。

駆動制御装置３１０は、制御装置２００による制御信号ＣＴＬに応じて光学系１１０による被写体像の撮像素子１２０への結像状態を変化させるために、駆動信号ＤＲＶ１を光学系駆動機構部３２０に出力し、または、および、駆動信号ＤＲＶ２を撮像素子駆動機構部３３０に出力する。

光学系駆動機構部３２０は、駆動制御装置３１０による駆動信号ＤＲＶ１に応答して、光学系１１０を光軸に平行方向に駆動する。

撮像素子駆動機構部３３０は、駆動制御装置３１０による駆動信号ＤＲＶ２に応答して、撮像素子１２０を光軸に平行方向に駆動する。

図８(Ａ)，(Ｂ)は、光学系および撮像素子を光軸に方向に変動させる光学系駆動機構部および撮像素子駆動機構部の第１の構成例を示す図であって、図８（Ａ）が光学系駆動機構部の第１の構成例を示す図８（Ｂ）が撮像素子駆動機構部の第１の構成例を示している。

光学系駆動機構部３２０Ａは、図８（Ａ）に示すように、図中に設定した直交座標系におけるＺ方向において、光学系１１０の光軸と直交する側面に配置されたアクチュエータ３２３を有している。

撮像素子駆動機構部３３０Ａは、図中に設定した直交座標系におけるＺ方向において、可動ステージ３３１の撮像素子１２０の配置面と対向する面に配置されたアクチュエータ３３４を有している。

なお、駆動機構は像の変化量としてたとえば１画素ピッチ以下未満の微小変動が目的である等のため、ピエゾ素子や磁歪素子、ボイスコイルモータといったアクチュエータが適している。

図９(Ａ)，(Ｂ)は、光学系および撮像素子を光軸に方向に変動させる光学系駆動機構部および撮像素子駆動機構部の第２の構成例を示す図であって、図９（Ａ）が光学系駆動機構部の第２の構成例を示す図９（Ｂ）が撮像素子駆動機構部の第２の構成例を示している。

光学系駆動機構部３２０Ｂは、図９（Ａ）に示すように、アクチュエータの代わりに、モータ３２４を用い、リードスクリュー３２５を時計方向または反時計方向に回転させることにより締結部３２６に固定されたレンズを光軸方向に移動させる。

撮像素子駆動機構部３３０Ｂは、アクチュエータの代わりに、モータ３３５を用い、リードスクリュー３３６を時計方向または反時計方向に回転させることにより可動ステージ３３１に固定された撮像素子１２０を光軸方向に移動させる。

このように、本実施形態に係る撮像装置１００において、画像処理装置１４０は、撮像素子１２０からの画像を複数エリアに分割し、結像状態調節部３００により光学系１１０を介した被写体像の撮像素子１２０への結像状態を変化させながら得られる撮像素子１２０からの画像信号から少なくともピントに関する評価値を分割した複数エリア毎に取得して、各評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する深度拡張フィルタを用いて焦点深度拡張処理を施す。

ここで、画像処理の基本原理について説明した後、画像処理装置１４０における画像分割による焦点深度拡張処理について要約して説明する。

図１０に示すように、被写体の画像ｆが光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。

[数１]
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。

生成された画像から被写体を求めるためには、次の処理を要する。

[数２]
ｆ＝Ｈ^-１＊ｇ

ここで、Ｈに関するカーネルサイズと演算係数について説明する。
光学切り替え情報をＫＰｎ，ＫＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。

この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。

次に、画像処理装置１４０における画像分割による焦点深度拡張処理について、図１１〜図１５に関連付けて説明する。

図１１は、画像分割による焦点深度拡張処理について説明するためのフローチャートである。
図１２は、画面内のある位置における事前評価情報例を示す図である。
図１３は、被写体距離の変化に相当する結像状態の変化量を示す図である。
図１４は、結像状態の変化における評価値の変化を示す図である。
図１５は、メモリに格納された深度拡張フィルタの例を示す図である。

ステップＳＴ１０：
画像ｇを複数のエリアに分割し、さらに結像状態調節部３００の焦点調節機能によって結像状態を変化させながら（ＳＴ１１）、画像を取得し、画像の各位置の評価値ａ_ijを順次取得する（ＳＴ１２〜ＳＴ１５）。
図１２に示すような、位置毎の評価情報は、事前にピント（基準）位置前後のデフォーカス評価値を画面内の各位置に対して取得し、算出されるフィルタを図１５に示すように、メモリ１５０に確保しておく。

ステップＳＴ２０：
結像状態を変化した時の各エリアのピント位置の状態より被写体距離を推定する（ＳＴ２１）。
被写体距離の算出は、結像状態を変化させて取得した評価値からピント位置までの変化量を算出する。この変化量から事前に記録しておいた位置毎の評価情報と比較し、被写体距離を算出する。

ステップＳＴ３０：
各位置に対応するフィルタＨ^-1 _ijを選択する。
被写体距離に適応するフィルタＨ^-1 _ijを元画像ｇ_i0に掛け被写体画像ｆ_i0を生成する（ＳＴ３１，ＳＴ３２）。

図１６は、本実施形態にかかる撮像位置において、物体が焦点位置から外れたときの変調伝達関数（ＭＴＦ）のレスポンスを示す図である。
図１７は、データ復元後のＭＴＦのレスポンスを示す図である。

図からもわかるように、本実施形態の撮像装置によれば、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。

以上説明したように、本実施形態によれば、光学系１１０と、光学系１１０を通過した被写体像を撮像する撮像素子１２０と、撮像素子１２０への結像状態を変化させることができる結像状態調節部３００と、撮像素子１２０からの画像信号から少なくともピントに関する評価値を得る機能および画像信号に対して焦点深度拡張処理を施す深度拡張処理機能を有する画像処理装置１４０と、焦点深度拡張処理で用いる被写体距離に応じた特性を持つ複数の深度拡張フィルタを格納するメモリ１５０と、撮像素子１２０からの画像を複数エリアに分割し、結像状態調節部によって結像状態を変化させながら画像処理装置１４０によってピントに関する評価値を分割した複数エリア毎に取得し、それぞれ評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する深度拡張フィルタを用いて焦点深度拡張処理を施すように制御する制御装置２００とを有することから、光波面変調素子を用いる必要がなく、光学系に依存しない深度拡張システムを実現することができる。

光波面変調素子を用いないで行う深度拡張と用いる場合との効果について考察する。
光波面変調素子を用いると、光学系のピント位置から離れてデフォーカス量が大きくなっても、ある程度まではＭＴＦの低下を抑えることができる。よって、そこに深度拡張処理をかけてやることで、広い被写体距離範囲を深度内に収めることができる。

これに対し、光波面変調素子を用いない場合は、光学系のピント位置から離れた距離においてＭＴＦの低下を抑えることができないため、深度拡張処理によって深度内に収めることができる被写体距離範囲も、光波面変調素子を用いた場合に比べてあまり広くは望めない。
しかし、光波面変調素子を用いない深度拡張処理は、構成の簡略化や、コスト面でメリットはある。

なお、上述した実施形態においては、結像状態を変化させるために、たとえば、レンズ、または、光学系、もしくは像面を光軸方向に駆動する機構的な結像状態調節部を用いた場合を例に説明した。
結像状態調節部は、機構部が無いほうが、大きさが小さくなり、また、製品の耐環境性が向上するため望ましい。
したがって、焦点距離が外部信号に依存する外部依存型レンズ、たとえば液体レンズもしくは液晶レンズを適用すると良い。

図１８は、液晶素子（液晶レンズ）を用いた構成例を示す図である。

図１８の例では、撮像素子１２０を含むセンサユニット２１０において、撮像素子１２０の結像面の近傍に液晶レンズ３４０を配置し、たとえば制御装置２００による制御信号（電圧）を液晶レンズ３４０に与えて、光学系１１０、液晶レンズ３４０による光線の結像状態を変化させる。
後の処理は、先に詳述したとおりである。

図１９は、液体レンズを用いた構成例を示す図である。

図１９の例では、光学系１１０の前面、すなわち被写体側に液体レンズ３５０を配置し、たとえば制御装置２００による制御信号（電圧）を液体レンズ３５０に与えて、液体レンズ３５０、光学系１１０による光線の結像状態を変化させる。
後の処理は、先に詳述したとおりである。

本実施形態に係る撮像装置１００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。

ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。

以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

なお、このような特徴を有する本実施形態に係る撮像装置は、たとえば図２１に示すような情報コード読取装置に適用可能である。

図２０は、本発明の実施形態に係る撮像装置を適用可能な情報コード読取装置の一例を示す外観図である。
図２１（Ａ）〜（Ｃ）は、情報コードの例を示す図である。

本実施形態に係る情報コード読取装置４００は、図２０に示すように、本体４１０がケーブル４１１を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物４２０に印刷された反射率の異なるシンボル、コード等の情報コード４２１を読み取り可能な装置である。

情報コード読取装置４００は、本体４１０に形成された読取開始スイッチ４１２が操作されると、それをトリガとして、情報コードの読み取りを、たとえば１０回試みて７回デコード判定で可となればそれをデコード結果とする機能を有している。
この機能を有する理由は、情報コードの読み取り１回でデコード判定を可とすると、外乱や弱い情報に対して読み取りができない状態が続く場合が想定されることから、利用者の使い勝手を考慮したものである。ちなみにこの再試行の７回の設定は変更できように構成されている。

読み取り対象の情報コードとしては、たとえば図２１（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード４２２と、図２１（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような二次元のバーコード４２３が挙げられる。

本実施形態に係る情報コード読取装置４００は、本体４１０内に、図示しない照明光源と、図１に示すような撮像装置１００とが配置される。
情報コード読取装置４００の配置される撮像装置１００は、たとえば外部とのびインタフェース部（Ｉ／Ｆ）が設けられる。

本実施形態に係る情報コード読取装置４００によれば、画像の復元処理においてコントラストの向上と共に深度を拡張することができ、精度の高いコード読み取りを実現できる。

本発明に係る撮像装置の一実施形態を示すブロック構成図である。 メモリに格納されるボケ情報のポジションテーブルの一例を示す図である。 カーネルデータＲＯＭの格納データの一例を示す図である。 本実施形態に係る画面分割を説明するための図である。 結像状態とＡＦ評価値との関係を示す図である。 エリア毎のＡＦ評価値の軌跡例を示す図である。 レンズ位置とコントラスト値との関係を示す図である。 光学系および撮像素子を光軸に方向に変動させる光学系駆動機構部および撮像素子駆動機構部の第１の構成例を示す図であって、（Ａ）が光学系駆動機構部の第１の構成例を示す図、（Ｂ）が撮像素子駆動機構部の第１の構成例を示す図である。 光学系および撮像素子を光軸に方向に変動させる光学系駆動機構部および撮像素子駆動機構部の第２の構成例を示す図であって、（Ａ）が光学系駆動機構部の第２の構成例を示す図、（Ｂ）が撮像素子駆動機構部の第２の構成例を示す図である。 画像処理の基本原理を説明するための図である。 画像分割による焦点深度拡張処理について説明するためのフローチャートである。 画面内のある位置における事前評価情報例を示す図である。 被写体距離の変化に相当する結像状態の変化量を示す図である。 結像状態の変化における評価値の変化を示す図である。 メモリに格納された深度拡張フィルタの例を示す図である。 一般的な撮像装置の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。 本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。 液晶素子（液晶レンズ）を用いた構成例を示す図である。 液体レンズを用いた構成例を示す図である。 本発明の実施形態に係る撮像装置を適用可能な情報コード読取装置の一例を示す外観図である。 情報コードの例を示す図である。 一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。 図２２の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、（Ａ）は焦点が０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝０．２ｍｍ）、（Ｂ）は合焦点の場合（Ｂｅｓｔ ｆｏｃｕｓ）、（Ｃ）は焦点が−０．２ｍｍずれた場合（Ｄｅｆｏｃｕｓ＝−０．２ｍｍ）の各スポット像を示す図である。

符号の説明

１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１６０・・・カメラ信号処理部、１９０・・・操作部、２００・・・制御装置、３００・・・結像状態調節部、４００・・・情報コード読取装置、４２１・・・情報コード。

Claims (8)

1. 光学系と、
   前記光学系を通過した被写体像を撮像する撮像素子と、
   前記撮像素子への結像状態を変化させることができる結像状態調節部と、
   前記撮像素子からの画像信号から少なくともピントに関する評価値を得る機能を有する画像信号処理部と、
   前記画像信号処理部からの画像信号に対して焦点深度拡張処理を施す深度拡張処理部と、
   前記焦点深度拡張処理で用いる被写体距離に応じた特性を持つ複数の深度拡張フィルタを格納する記憶部と、
   前記撮像素子からの画像を複数エリアに分割し、前記結像状態調節部によって結像状態を変化させながら前記画像信号処理部によって前記ピントに関する評価値を前記分割した複数エリア毎に取得し、それぞれ前記評価値がピークとなる焦点状態から被写体距離を推定し、それぞれ推定した被写体距離に対応する前記深度拡張フィルタを用いて前記焦点深度拡張処理を施す制御部と
   を有する撮像装置。
2. 前記制御部は、
   前記分割した複数エリアのうち選択されたエリアに対してのみ前記深度拡張処理を施す
   請求項１に記載の撮像装置。
3. 前記結像状態調節部は、
   前記深度拡張処理を施す画像を撮像する場合は、前記選択されたエリアの焦点位置の分布の中央となる位置に焦点調節を行う
   請求項２に記載の撮像装置。
4. 前記結像状態調節部は、
   前記光学系の全部もしくは一部を光軸方向に移動させることによって結像状態の調節を行う
   請求項１から３のいずれか一に記載の撮像装置。
5. 前記結像状態調節部は、
   前記撮像素子を光軸方向に移動させることによって結像状態の調節を行う
   請求項１から３のいずれか一に記載の撮像装置。
6. 前記結像状態調節部は、
   前記光学系の光軸上の何れかの位置に焦点距離が外部信号に依存する外部依存型レンズが配置されている
   請求項１から３のいずれか一に記載の撮像装置。
7. 前記結像状態調節部の外部依存型レンズには、液体レンズもしくは液晶レンズを含む
   請求項６に記載の撮像装置。
8. 光学系を通過した被写体像を撮像し、撮像した画像データに画像処理を行う画像処理方法であって、
   前記撮像素子からの画像を複数エリアに分割するステップと、
   前記撮像素子への結像状態を変化させながら当該撮像素子からの画像信号から少なくともピントに関する評価値を前記分割した複数エリア毎に取得するステップと、
   それぞれ前記評価値がピークとなる焦点状態から被写体距離を推定するステップと、
   それぞれ推定した被写体距離に対応する前記深度拡張フィルタを用いて前記焦点深度拡張処理を施すステップと
   を有する画像処理方法。

Images