JP2010117593A - 距離情報取得装置、撮像装置、及びプログラム - Google Patents

Abstract

【課題】所望のシーンにおける被写体距離情報を高速且つ高精度に取得することが可能な距離情報取得装置、撮像装置、及びプログラムを提供すること。
【解決手段】互いに異なる複数の焦点位置での撮像で取得された複数の画像データについて、所定位置の画素を含むカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記複数の画像データ間のぼけの相関量を算出して撮像対象の被写界までの距離を表す距離情報を算出するＤＦＤ測距手段を具備する距離情報取得装置に、被写界を写した画像データを複数の測距対象領域に分割する測距領域分割手段と、前記被写界領域を示す画像データ上に設置する総測距点数を決定する測距点数制御手段と、各々の前記測距対象領域に設置する測距点密度を決定する制御手段と、前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置手段と、を具備させる。
【選択図】 図１

Description

本発明は、画像データを利用して被写体距離を推定する距離情報取得装置、撮像装置、及びプログラムに関する。

近年、例えばデジタルカメラ等の撮像装置において撮影シーン中の被写体等の距離情報を取得する技術が種々提案されている。例えば非特許文献１には、次のような技術が開示されている。すなわち、非特許文献１には、撮像レンズの制御により“ぼけの状態”が異なる複数の撮影データをＣＣＤやＣＭＯＳ等の撮像素子により取得し、それら撮影データから輝度信号を抽出した画像データを生成して、これら画像データ間における“ぼけの相関量”を示すパラメータである“ぼけ相関量σ”を所定の画素毎に算出し、該算出したぼけ相関量σを所定のテーブルと対照することで、対象画素における測距を行うＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式が提案されている。

ここで、上述した“ぼけの相関量”とは、光学系の点像分布関数(ＰＳＦ)の分散と相関を有する値である。なお、ＰＳＦとは、理想的な点像が光学系を通過した場合の光線の広がりを示す関数である。

なお、前記所定のテーブルとは、例えば図１２に示すように、ぼけ相関量σと、合焦時のフォーカスレンズ位置（以降、合焦レンズ位置と略称する）ＤＦＤ＿ＬＦと、の対応関係を示すルックアップテーブルであり、設計データに基づいて予め作成されている。

以下、図１２乃至図１５Ｂを参照して、非特許文献１に開示されている測距方法について詳細に説明する。図１２は、非特許文献１に開示された測距技術で利用されるルックアップテーブルを示す図である。図１３は、非特許文献１に開示された測距方法について、その処理内容の観点から捉えた処理の流れを示す図である。図１４は、図１３に示す測距方法の測距精度を安定化させる場合の処理の流れを示す図である。図１５Ａ及び図１５Ｂは、フォーカスレンズ位置を変更することに起因して生じる像面上に結像される像のぼけ状態を示す図である。

まず、同一被写体、同一部位、及び同一視線方向にて複数回（ここでは２回）撮影を行い、撮影データを取得する（ステップＳ２０２、ステップＳ２０５）。この２回の撮影は、撮影データのぼけ状態に影響を与える“撮影パラメータ”を、それぞれ異なる値（第１回目の撮影では第１の撮影パラメータ、第２回目の撮影では第２の撮影パラメータ）に設定して行う（ステップＳ２０１、ステップＳ２０４）。

ここで、撮影パラメータとしては、例えばフォーカスレンズ位置、絞り量、及び焦点距離等を挙げることができる。なお、前記ステップＳ２０１及び前記ステップＳ２０４における撮影パラメータの設定では、上述した撮影パラメータのうち少なくとも一つの値を互いに異なる値に設定すればよい。ここでは、フォーカスレンズ位置のみを互いに異なる値に設定して上述した２回の撮影を行う場合を例に説明する。

上述したようにフォーカスレンズ位置を変更することで、図１５Ａ及び図１５Ｂに示すように像面１０上に結像される像１５のぼけの状態を変化させて撮影を行うことができる。

すなわち、図１５Ａに示すようにフォーカスレンズ１１を第１のレンズ位置Ｌ１に設定した状態で撮影を行って第１の撮影データを取得し、続いて図１５Ｂに示すようにフォーカスレンズ１１を第２のレンズ位置Ｌ２に設置した状態で撮影を行って第２の撮影データを取得する。

続いて、前記第１の撮影データ及び前記第２の撮影データのそれぞれから輝度情報を抽出し、且つそれら輝度情報から電気的なノイズを除去する為のローパスフィルタ処理、フォーカスレンズ移動に起因して生じる倍率の変化を補正する像倍率補正処理、及び輝度分布の正規化処理等を施して、第１の画像データ及び第２の画像データを生成する（ステップＳ２０３、ステップＳ２０６）。

そして、それら２つの画像データの互いに対応する画素の輝度情報について差分を算出する（ステップＳ２０７）。また、２つの画像データの各々について、２次微分処理を施す（ステップＳ２０８、ステップＳ２０９）。そして、第１の画像データについての２次微分処理結果と、第２の画像データについての２次微分処理結果との平均値を算出する（ステップＳ２１０）。

その後、前記ステップＳ２０７において算出された輝度情報についての差分値から、前記ステップＳ２０８及び前記ステップＳ２０９において算出された２次微分処理結果の平均値を除算し、ＰＳＦの分散と相関を有するぼけ相関量σを算出する（ステップＳ２１１）。なお、ぼけ相関量σと被写体距離とは、被写体距離の逆数に線形な関係を示す。そして、前記ステップＳ２１１で算出されたぼけ相関量σを、前記ルックアップテーブルと照合することで、対象画素における被写体距離を導出する（ステップＳ２１２）。

なお、被写体距離と合焦時のフォーカスレンズ位置とは一対一に対応するので、図１３に示すようにぼけ相関量σと合焦時のフォーカスレンズ位置との関係が一対一対応で得られれば、当然ながら、それらに対応する被写体距離を得ることができる。

なお、前記ルックアップテーブルは、予め所定の処理部内に記憶されている。ところで、前記ルックアップテーブルは、任意の被写体に対して算出したぼけ相関量σに対応する合焦レンズ位置を算出可能とするが、該当するぼけ相関量σが当該ルックアップテーブル上に存在しない場合には、補間演算によって当該ぼけ相関量σに対応する合焦レンズ位置を算出する。

以上説明した処理により、非特許文献１に開示された技術では２つの画像データから被写界全体の距離情報を取得する。

ところで、測距に係る技術として、測距領域を選択的に指定可能なカメラが特許文献１に開示されている。この特許文献１に開示されたカメラは、顔検出部と、焦点検出部と、エリア指定部と、制御部と、を備え、顔検出部は撮影画面内の顔領域を検出し、焦点検出部は、撮影画面内に複数の候補エリアを有し、焦点検出部は、各々の候補エリアにおいて撮影レンズを通過した光束に基づく一対の像の像ズレ量を取得し、エリア指定部は、顔領域に対応する候補エリアのうちから焦点検出エリアを指定し、顔領域の大きさに応じて焦点検出エリアの指定方法を変更し、制御部は、焦点検出エリアでの像ズレ量に基づいて撮影レンズの合焦動作を行うことを特徴としている。
M. Subbarao and G. Surya, "Depth from Defocus: A Spatial Domain Approach," International Journal of Computer Vision, Vol. 13, No. 3, pp. 271-294, 1994. 特開２００７−２８６２５５号公報

非特許文献１に開示されている技術によれば、理論上は１画素単位での測距が可能である。しかしながら、測距精度を安定化させる為には、測距対象画素の近傍画素を所定数以上含めた画素領域（所謂ＤＦＤカーネル）の各画素を対象として上述した処理を実行して被写体距離を算出し（図１４に示すようにステップＳ３０１及びステップＳ３０２を追加して被写体距離を算出し）、この測距結果の平均値を対象画素の被写体距離とする処理が必要である。

この場合、当然ながら、１つの測距対象画素に対する被写体距離算出の為の演算量が、ＤＦＤカーネルを構成する画素数に依存して増加してしまう。さらに、被写体の奥行き形状を高精度に計測する為に測距対象画素の設置密度を高める場合には、高速な演算処理の実現が困難になる。なお、特許文献１に開示されている技術はこのような問題を解決する技術ではない。

本発明は、前記の事情に鑑みて為されたものであり、所望のシーンにおける被写体距離情報を高速且つ高精度に取得することが可能な距離情報取得装置、撮像装置、及びプログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様による距離情報取得装置は、互いに異なる複数の焦点位置での撮像により取得された複数の画像データについて、所定位置の画素を含むカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記複数の画像データ間のぼけの相関量を算出し、該算出結果に基づいて撮像対象の被写界までの距離を表す距離情報を算出するＤＦＤ測距手段を具備する距離情報取得装置であって、被写界を写した画像データを複数の測距対象領域に分割する測距領域分割手段と、前記被写界領域を示す画像データ上に設置する総測距点数を決定する測距点数制御手段と、各々の前記測距対象領域に設置する測距点の配置密度である測距点密度を決定する制御手段と、前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置手段と、を具備することを特徴とする。

上述の態様によれば、被写界領域を示す画像データを所定の測距対象領域に分割し、各々の分割領域に対して適切な測距点を配置することにより、一定時間内での処理完了を保証しつつ、被写界領域を示す画像データ中の重要な領域については距離情報分解能を高めた測距処理を行うことができ、被写界領域全体における距離情報を高速且つ高精度に取得することができる。

本発明によれば、所望のシーンにおける被写体距離情報を高速且つ高精度に取得することが可能な距離情報取得装置、撮像装置、及びプログラムを提供することができる。

以下、図面を参照して本発明の実施形態を説明する。

［第１実施形態］
以下、本発明の第１実施形態に係る距離情報取得装置、撮像装置、及びプログラムについて説明する。図１は、本発明の第１実施形態に係る距離情報取得装置を具備する撮像装置の一構成例を示す図である。

本第１実施形態に係る撮像装置は、図１に示すように、距離情報取得装置２００と、光学系１００と、撮像素子１０１と、Ａ／Ｄコンバータ１０２と、バッファメモリ１０３と、測距手段１０４と、撮影画像記憶手段１０８と、距離情報記憶手段１０９と、光学系制御部１１０と、制御手段１１１と、を具備する。

前記距離情報取得装置２００は、測距領域分割手段１０５と、測距点設置手段１０６と、測距点数制御手段１０７と、を有する。

前記光学系１００は、移動可能な複数のレンズ群を備え、その焦点位置は可変である。前記レンズ群は、前記光学系制御部１１０の指示に従って移動する。

前記撮像素子１０１は、前記光学系１００を通過した光束を結像して電気信号に変換する。

前記Ａ／Ｄコンバータ１０２は、前記撮像素子１０１から出力された電気信号をデジタルデータ（以降、撮像データと称する）に変換する。

前記バッファメモリ１０３は、前記Ａ／Ｄコンバータ１０２から出力されたデータを保持する。なお、前記バッファメモリ１０３は、少なくとも２つ以上の撮像データを保持するメモリ空間を有している。詳細は後述するが、前記光学系が前記光学系制御部１１０による制御で順次２つの焦点位置に設定され、それぞれの焦点位置において同一被写体を同一位置且つ同一視線方向から撮影して取得した２つの撮像データから抽出された輝度信号である画像データを保持する。

前記測距領域分割手段１０５は、バッファメモリ１０３に保持された画像データにおいて、測距精度を制御する為の領域分割を行う。

前記測距点設置手段１０６は、測距点数制御手段１０７により指示された総測距点数と、測距領域分割手段１０５により指示された領域分割結果と、後述する測距点密度ｋ（制御手段１１１が算出）と、に基づいて前記画像データ上に測距点を設置する。

前記測距点数制御手段１０７は、測距速度を制御する為の総測距点数を決定する。なお、この測距点数制御手段１０７に、総測距点数を所定の閾値以下に制限する測距点数制限手段を備えさせてもよい。

前記測距手段１０４は、前記測距点設置手段１０６により設置された測距点毎にＤＦＤカーネル領域を指定して距離推定処理（被写界における距離情報算出処理）を行う。

ここで、被写界とは、撮像対象の被写体（例えば、人物）を視野に含む視野範囲（例えば、被写体である人物と、被写体以外である背景とを含めた視野範囲）をいう。

前記距離情報記憶手段１０９は、前記測距手段１０４が算出した被写界における距離情報、例えば、距離情報取得装置２００や撮像装置などの距離計測開始地点から、撮像対象の被写界までの距離を表す距離情報を保持する。なお、前記撮影データは、撮影画像記憶手段１０８が保持する。

ここで、前記被写界における距離情報と、前記撮影データと、は関連付けられて保持されるのが望ましい。なお、前記被写界における距離情報を、画像ファイルのヘッダに埋め込む形式で保持させても勿論良い。

制御手段１１１は、本第１実施形態に係る撮像装置各部を統括的に制御する。すなわち、制御手段１１１は、後述するフローチャートに対応する動作制御プログラム（不図示のＲＯＭに格納）に従って、各構成部材をシーケンシャルに制御する。

以下、前記制御手段１１１の制御による測距に係る処理について詳細に説明する。図２Ａは、画像データの一表示例を示す図である。図２Ｂは、被写界領域を写した画像データを格子状の測距対象領域である小領域Ｄにｍ分割する場合の一分割例を示す図である。ここで、被写界領域とは、被写界を画像データ内に写した領域をいう。図３は、小領域Ｄに対応して与える測距密度ｋの一例を示す図である。図４は、測距に係る処理のフローチャートを示す図である。

まず、互いに異なる２つの焦点位置における撮影で、２つの撮影データを取得し、該取得した撮影データから輝度信号を抽出して２つの画像データＧ１，Ｇ２を生成してバッファメモリ１０３に格納する（ステップＳ１１）。

次に、画像データＧ１，Ｇ２の倍率を正規化した後、撮影パラメータとして測距領域分割数ｍ、総測距点数ｎ、及び領域毎の測距点密度ｋを取得する（ステップＳ１２）。具体的には、測距領域分割数ｍは、図２Ｂに示すように被写界領域を写した画像データを格子状の小領域Ｄに分割する際の分割数を示す値である。総測距点数ｎは、１つの測距領域（小領域Ｄ）内に設定された測距点の総数を示す値である。測距点密度ｋは、図３に示すように格子状に分割された各々の小領域Ｄに与えられた測距点設置の密度を示す値である。

なお、画像データＧ１，Ｇ２の倍率の正規化は、前記光学系１００の移動に伴う倍率の変化の補正の為である。

図５は、図３に示す分布の測距点密度において、ｋ（ｉ），ｋ（ｉ＋１），ｋ（ｉ＋ｗ），ｋ（ｉ＋１＋ｗ）を一律に高い測距点密度に設定（距離情報分解能を高く設定）し、且つそれら以外の小領域Ｄｉにおける測距点密度を一律に低く設定（距離情報分解能を低く設定）した例を示す図である。図５に示す例では、このように各小領域Ｄ毎に距離情報分解能の高低を設定することで、被写体人物の顔が含まれる領域Ａの距離情報を、背景及び被写体人物の体を含む領域Ｂのそれよりも詳細に解析することができる。

ここで、或る小領域Ｄｉに割り当てられる測距点数ｆｉは次式で与えられる。

なお、このように割り当てられたｆｉ個の測距点を小領域Ｄｉ内に配置する際の配置位置は任意に決定可能である。本第１実施形態においては、小領域Ｄｉ内における測距精度のムラを防ぐ目的で、測距点同士の間隔を互いに均等な間隔としてｆｉ個の測距点を配置することとする。従って、均等な間隔で測距点を配置する為に、最初に小領域Ｄｉを構成する画素を要素とする一次ベクトルｖを次式のように用意する。

ここで、小領域Ｄｉがｓ個の画素で構成されるとすると、ベクトルｖの要素のうち、Ｌ番目の測距点のインデックスｊが次式で与えられる。

以上説明した処理によって、ベクトルｖのｊ番目に相当する画素位置を測距点とすることができ、均等な間隔で小領域Ｄｉ内にｆｉ個の測距点を設置することができる。なお、上述した処理で算出した測距点位置は、測距対象の画像データＧ１，Ｇ２の双方に用いる。つまり、画像データＧ１，Ｇ２には同位置に測距点を設置する。

なお、ここでは小領域Ｄｉ内における測距精度のムラを防ぐ為に、互いに均等な間隔でｆｉ個の測距点を配置する例を説明したが、ランダムな間隔で測距点を配置しても勿論よい。また、図５に示す例はあくまで一例であり、距離情報分解能を高く設定する領域は、被写界領域を示す画像データのうち中央部に該当する領域に限られない。

前記ステップＳ１２における処理を終えると、前記ステップＳ１２において取得した測距領域分割数ｍに基づいて、被写界領域を写した画像データＧ１，Ｇ２の領域分割を実行する（ステップＳ１３）。さらに、領域分割された小領域Ｄｉの画素数、総測距点数ｎ、及び領域毎の測距点密度ｋに基づいて、測距点を設置する（ステップＳ１４）。

前記ステップＳ１４において設置した測距点を中心としてその近傍画素領域を用いてＤＦＤカーネル領域を指定して測距処理を実行する（ステップＳ１５）。そして、画像データＧ１，Ｇ２上の全ての測距点に対して前記ステップＳ１５における測距処理を実行したか否かを判定する（ステップＳ１６）。このステップＳ１６をＮＯに分岐する場合、前記ステップＳ１５へ戻る。前記ステップＳ１６をＹＥＳに分岐する場合（被写界全体における距離情報の取得が完了した場合）、当該測距処理を終了する。

ところで、前記制御手段１１１による上述した一連の測距処理は、プログラム化することで、或いはプログラム化した後当該プログラムを記憶媒体に読み込むことによって、撮像装置とは独立したソフトウェア製品単体としての販売、配布も容易になり、また本第１実施形態に係る技術を他のハードウェア上で利用することも可能となる。

以上説明したように、本第１実施形態によれば、所望のシーンにおける被写体距離情報を高速且つ高精度に取得することが可能な距離情報取得装置、撮像装置、及びプログラムを提供することができる。

具体的には、本第１実施形態に係る距離情報取得装置、撮像装置、及びプログラムによれば、被写界を写した画像データについて、複数の測距対象領域への分割処理を実行し、測距点数の上限を設けて各々の分割領域に対して異なる分布密度を設定して測距点を配置する。このような処理により、一定時間内での処理完了を保証しつつ、画像データ中の重要な領域については距離情報分解能を高めた測距処理を行うことができ、被写界全体における距離情報を高速且つ高精度に取得することができる。

なお、前記ステップＳ１２において取得する測距領域分割数ｍ、総測距点数ｎ、及び領域毎の測距点密度ｋは、予め設定されていてもよいし、ユーザが設定するとしてもよい。換言すれば、製品としての出荷時に設定済みであってもよいし、モード設定等によりユーザが所望の設定に変更可能としてもよい。

［第２実施形態］
以下、本発明の第２実施形態に係る距離情報取得装置、撮像装置、及びプログラムについて説明する。説明の重複を避ける為に、第１実施形態に係る距離情報取得装置、撮像装置、及びプログラムとの相違点について説明する。図６は、本発明の第２実施形態に係る距離情報取得装置を具備する撮像装置の一構成例を示す図である。

本第２実施形態に係る撮像装置は、第１実施形態に係る撮像装置と同様の構成部材の他に、例えばタッチパネル機能やファインダーにおけるスーパーインポーズ機能等のユーザインターフェイス（以降、ＵＩと略称する）１２２を有する。また、前記測距領域分割手段１０５は、領域分割手段１０５−１と、測距点密度制御手段１０５−２と、特徴領域認識手段１０５−３と、を有する。ここで、前記特徴領域認識手段１０５−３は、探索手段１０５−３１と、座標設定手段１０５−３２と、特徴領域指定手段１０５−３３と、を備える。

前記領域分割手段１０５−１は、被写界領域を写した画像データを、測距対象領域について、特徴領域と、それ以外の領域と、に領域分割する手段である。ここで、特徴領域とは、被写界領域を示す画像データにおいて注目すべき対象物を含む領域である。前記注目すべき対象物とは、例えば被写体人物や被写体物を挙げることができるが、背景であっても勿論よい。

前記測距点密度制御手段１０５−２は、前記特徴領域における測距点密度ｋを、総測距点数ｎに対してどの程度の割合とするかを、特徴領域の登録方法に基づいて算出し、該算出結果を測距点密度情報として測距点設置手段１０６に出力する。

前記特徴領域認識手段１０５−３は、前記ＵＩ１２２からの指示に基づいて、探索手段１０５−３１、座標設定手段１０５−３２、及び特徴領域指定手段１０５−３３のうち何れかの手段を機能させる。

前記探索手段１０５−３１は、撮像データから特定の形状、色、及び輝度のうち何れかを示す領域をパターンマッチング等により抽出し、該抽出結果を特徴領域として設定する。具体的には、前記探索手段１０５−３１は、例えば顔認識技術等の画像認識技術を利用して所定の対象物が撮像されている領域を特徴領域として設定する。

前記座標設定手段１０５−３２は、撮像データのうち所定の座標位置を占める領域を特徴領域として登録する。

前記特徴領域指定手段１０５−３３は、ユーザによる前記ＵＩ１２２の操作により指定された領域を特徴領域として設定する。なお、このユーザによる特徴領域の指定は、撮影時に行うとしてもよいし、予め撮影パラメータとして登録してもよい。図７Ｂは、図７Ａに示す画像データについて、ユーザによる前記ＵＩ１２２の操作で指定され前記特徴領域指定手段１０５−３３により設定された特徴領域ｋ１及びそれ以外の領域ｋ２の一例を示す図である。図７Ａ及び図７Ｂに示す例では、被写体人物の顔に相当する領域が特徴領域ｋ１に設定されている。

以下、前記制御手段１１１の制御による測距に係る処理について詳細に説明する。図８は、本第２実施形態に係る撮像装置の測距に係る処理のフローチャートを示す図である。本例では、前記特徴領域認識手段１０５−３のうち前記探索手段１０５−３１が顔認識技術により被写体人物の顔を検出して特徴領域として設定する場合を例に説明する。

まず、撮影時にユーザが、ＵＩ１２２を操作して“顔認識モード”に設定する。ここで顔認識モードとは、顔認識技術による顔認識機能を実行するモードである（ステップＳ２１）。

続いて、互いに異なる２つの焦点位置における撮影で、２つの撮影データを取得し、該取得した撮影データから輝度信号を抽出して２つの画像データＧ１，Ｇ２を生成してバッファメモリ１０３に格納する（ステップＳ２２）。

ここで、上述した顔認識機能により、前記ステップＳ２２において取得した画像データから被写体人物の顔領域を検出し、該検出した領域を特徴領域として設定する（ステップＳ２３）。続いて、特徴領域として設定した顔領域内に設置する測距点に係る測距点密度ｋを算出する（ステップＳ２４）。なお、測距点密度ｋの算出方法としては、顔領域の面積を用いる手法、予め登録した測距点密度を用いる手法等を挙げることができ、何れの手法により測距点密度ｋを算出してもよいことは勿論である。

そして、前記ステップＳ２３における特徴領域の設定処理に基づいて、画像データＧ１，Ｇ２について、特徴領域ｋ１と、それ以外の領域ｋ２と、に領域分割する（ステップＳ２５）。続いて、前記ステップＳ２４において算出した測距点密度ｋに基づいて、特徴領域ｋ１，領域ｋ２における測距点の設置を行う（ステップＳ２６）。

前記ステップＳ２６において設置した測距点を中心としてその近傍画素領域を用いてＤＦＤカーネル領域を指定して測距処理を実行する（ステップＳ２７）。そして、画像データＧ１，Ｇ２上の全ての測距点に対して前記ステップＳ２７における測距処理を実行したか否かを判定する（ステップＳ２８）。このステップＳ２８をＮＯに分岐する場合、前記ステップＳ２７へ戻る。前記ステップＳ２８をＹＥＳに分岐する場合（被写界全体における距離情報の取得が完了した場合）、当該測距処理を終了する。

以上説明したように、本第２実施形態によれば、第１実施形態に係る距離情報取得装置、撮像装置、及びプログラムと同様の効果を奏する上に、次のような効果を奏する距離情報取得装置、撮像装置、及びプログラムを提供することができる。

すなわち、本第２実施形態に係る距離情報取得装置、撮像装置、及びプログラムによれば、測距に係る処理を一定の時間内で完了することを保証しつつ、パターンマッチング技術や座標指定技術等を利用することで、ユーザ所望の被写体に対応する画素領域を特徴領域と設定し且つ当該特徴領域の距離情報分解能を高めることができる。

［第３実施形態］
以下、本発明の第３実施形態に係る距離情報取得装置、撮像装置、及びプログラムついて説明する。

以下、本発明の第３実施形態に係る距離情報取得装置、撮像装置、及びプログラムについて説明する。説明の重複を避ける為に、第１実施形態に係る距離情報取得装置、撮像装置、及びプログラムとの相違点について説明する。図９は、本発明の第３実施形態に係る距離情報取得装置を具備する撮像装置の一構成例を示す図である。

本第３実施形態に係る撮像装置は、第１実施形態に係る撮像装置と同様の構成部材の他に、例えばタッチパネル機能やファインダーにおけるスーパーインポーズ機能等のユーザインターフェイス（以降、ＵＩと略称する）１２２を有する。また、前記測距領域分割手段１０５は、領域分割手段１０５−１と、測距点密度制御手段１０５−２と、特徴領域認識手段１０５−３と、を有する。ここで、前記特徴領域認識手段１０５−３は、合焦手段１０５−３４と、輪郭抽出手段１０５−３５と、合焦領域認識手段１０５−３６と、を備える。

前記合焦手段１０５−３４は、前記ＵＩ１２２からの指示に基づいて、被写界の所定の領域にフォーカスを合わせる。

前記輪郭抽出手段１０５−３５は、画像データの輪郭成分をフィルタリング処理によって抽出する。図１０Ａは、フィルタリング処理により抽出された画像データの輪郭成分を示す図である。詳細には、前記輪郭抽出手段１０５−５は、画像データの高周波成分を抽出することで輪郭成分を抽出する。

合焦領域認識手段１０５−３６は、前記輪郭抽出手段１０５−３５によって抽出された輪郭の強さを用いて被写界の合焦領域を抽出する。なお、抽出された合焦領域は、特徴領域として設定されて前記領域分割手段１０５−１に出力される。図１０Ｂは、図１０Ａに示すように抽出された輪郭情報の強さ（合焦度合い）に基づく領域のセグメンテーションの一例を示す図である。

以下、前記制御手段１１１の制御による測距に係る処理について詳細に説明する。図１１は、本第３実施形態に係る撮像装置の測距に係る処理のフローチャートを示す図である。

まず、被写界の所定の領域に対して焦点合わせを行う（ステップＳ３１）。続いて、前記ステップＳ３１における焦点位置と、該焦点位置とは異なる焦点位置と、の２つの焦点位置における撮影で、２つの撮影データを取得してバッファメモリ１０３に格納する（ステップＳ２２）。なお、前記ステップＳ３１における焦点位置での撮影で取得した撮影データをＧ１´とし、これとは異なる焦点位置での撮影で取得した撮像データをＧ２´とする。

そして、撮影データＧ１´について、上述した輪郭抽出処理を施す（ステップＳ３３）。このステップＳ３３における処理により、例えば図１０Ａに示すような輪郭成分の抽出データが得られる。続いて、前記ステップＳ３３において抽出した輪郭情報の強さ（合焦度合い）に基づいて、被写界領域のセグメンテーションを行う（ステップＳ３４）。このステップＳ３４における処理により、被写界領域は例えば図１０Ｂに示すように特徴領域ｋ１（最も合焦度合いが強い領域）と準特徴領域ｋ２（特徴領域ｋ１の次に合焦度合いが強い領域）とその他の領域ｋ３と、に領域認識される。

続いて、各々の分割領域内に設置する測距点に係る測距点密度ｋを設定する（ステップＳ３５）。なお、測距点密度ｋの値は、輪郭情報の強さ（合焦度合い）に比例して大きな値となるように設定する。

そして、前記ステップＳ３４におけるセグメンテーション結果に基づいて領域分割を実行し（ステップＳ３６）、前記ステップＳ３５において設定した測距点密度ｋに基づいて、各々の領域における測距点の設置を行う（ステップＳ３７）。

前記ステップＳ３７において設置した測距点を中心としてその近傍画素領域を用いてＤＦＤカーネル領域を指定して測距処理を実行する（ステップＳ３８）。そして、撮影データＧ１´，Ｇ２´上の全ての測距点に対して前記ステップＳ３８における測距処理を実行したか否かを判定する（ステップＳ３９）。このステップＳ３９をＮＯに分岐する場合、前記ステップＳ３８へ戻る。前記ステップＳ３９をＹＥＳに分岐する場合（被写界全体における距離情報の取得が完了した場合）、当該測距処理を終了する。

以上説明したように、本第３実施形態によれば、第１実施形態に係る距離情報取得装置、撮像装置、及びプログラムと同様の効果を奏する上に、次の様な効果を奏する距離情報取得装置、撮像装置、及びプログラムを提供することができる。

すなわち、本第３実施形態に係る距離情報取得装置、撮像装置、及びプログラムによれば、測距に係る処理を一定の時間内で完了することを保証しつつ、合焦度合いが高い被写体（重要性が高い被写体）に対応する被写界領域ほど距離情報分解能を高めることができる。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 互いに異なる２つの焦点位置での撮像により取得された２つの撮像データについて、所定位置の画素とその近傍画素とから成るカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記２つの撮像データ間のぼけの相関量を算出し、該算出結果に基づいて被写界における距離情報を算出するＤＦＤ測距手段（制御手段１１１、測距手段１０４）を具備する距離情報取得装置であって、
前記被写界を所定サイズ且つ所定数の測距対象領域に分割する測距領域分割手段（測距領域分割手段１０５）と、
前記被写界に設置する総測距点数を決定する測距点数制御手段（測距点数制御手段１０７）と、
各々の前記測距対象領域に設置する測距点の配置密度である測距点密度を決定する制御手段（制御手段１１１）と、
前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置手段（測距点設置手段１０６）と、
を具備することを特徴とする距離情報取得装置。

（対応する実施形態）
この（１）に記載の距離情報取得装置に関する実施形態は、第１実施形態乃至第３実施形態が対応する。この実施形態において、上記ＤＦＤ測距手段は例えば制御手段１１１、測距手段１０４が対応し、上記測距領域分割手段は例えば測距領域分割手段１０５が対応し、上記測距点数制御手段は例えば測距点数制御手段１０７が対応し、上記制御手段は例えば制御手段１１１が対応し、前記測距点設置手段は例えば測距点設置手段１０６が対応する。

（作用効果）
この（１）に記載の距離情報取得装置によれば、撮像データを所定の測距対象領域に分割しそれぞれの分割領域に対して異なる分布密度で測距点を配置することにより、領域ごとの距離情報をその精度を重視して算出するか速度を重視して算出するかを設定できる。

（２） 前記測距点数制御手段（測距点数制御手段１０７）は、総測距点数を所定の閾値以下に制限する測距点数制御手段を有することを特徴とする（１）に記載の距離情報取得装置。

（対応する実施形態）
この（２）に記載の距離情報取得装置に関する実施形態は、第１実施形態乃至第３実施形態が対応する。その実施形態において、上記測距点数制御手段は例えば測距点数制御手段１０７が対応する。

（作用効果）
この（２）に記載の距離情報取得装置によれば、設置する測距点の総数に制限を設けることにより、シーン全体の距離情報を取得する際の演算時間を保証した上で領域ごとの距離情報をどの程度の精度で取得するか設定することができる。

（３） 前記測距領域分割手段（測距領域分割手段１０５）は、
前記被写界から所定の領域を検出して特徴領域として認識する特徴領域認識手段（特徴領域認識手段１０５−３）と、
前記被写界を前記特徴領域とそれ以外の領域とに分割する領域分割手段（領域分割手段１０５−１）と、
前記特徴領域とそれ以外の領域とで測距点密度を異なる値に設定する測距点密度設定手段（測距点密度制御手段１０５−２）と、
を有することを特徴とする（１）に記載の距離情報取得装置。

（対応する実施形態）
この（３）に記載の距離情報取得装置に関する実施形態は、第２実施形態及び第３実施形態が対応する。上記測距領域分割手段は例えば測距領域分割手段１０５が対応し、上記特徴領域認識手段は例えば特徴領域認識手段１０５−３が対応し、上記領域分割手段は例えば領域分割手段１０５−１が対応し、上記測距点密度設定手段は例えば測距点密度制御手段１０５−２が対応する。

（作用効果）
この（３）に記載の距離情報取得装置によれば、撮像データから特徴領域を認識し、その特徴量に従って領域内の測距点数を制御することにより、シーンに対してより適応的に高速かつ高精度な距離情報取得が実現できる。

（４） 前記特徴領域認識手段（特徴領域認識手段１０５−３）は、
前記撮像データから所定の輝度又は色のパターンで構成される特徴領域を探索する特徴領域探索手段（探索手段１０５−３１）を備えることを特徴とする（３）に記載の距離情報取得装置。

（対応する実施形態）
この（４）に記載の距離情報取得装置に関する実施形態は、第２実施形態が対応する。その実施形態において、上記前記特徴領域認識手段は例えば特徴領域認識手段１０５−３が対応し、上記特徴領域探索手段は例えば探索手段１０５−３１が対応する。

（作用効果）
この（４）に記載の距離情報取得装置によれば、撮像データから特徴領域を探索法で抽出し認識することにより、特定の被写体を含むシーンに対してより適応的に高速かつ高精度な距離情報取得が実現できる。

（５） 前記特徴領域認識手段（特徴領域認識手段１０５−３）は、
前記撮像データから所定の座標位置を占める画素群から成る領域を特徴領域として設定する特徴領域座標設定手段（座標設定手段１０５−３２）を備えることを特徴とする（３）に記載の距離情報取得装置。

（対応する実施形態）
この（５）に記載の距離情報取得装置に関する実施形態は、第２実施形態が対応する。上記前記特徴領域認識手段は例えば特徴領域認識手段１０５−３が対応し、上記特徴領域座標設定手段は、例えば座標設定手段１０５−３２が対応する。

（作用効果）
この（５）に記載の距離情報取得装置によれば、撮像データから特徴領域を座標指定で認識することにより、被写体配置に特定の傾向をもった撮影シーンにおいて、より適応的に高速かつ高精度な距離情報取得が実現できる。

（６） 前記特徴領域認識手段（特徴領域認識手段１０５−３）は、
前記撮像データからユーザが所定の画素領域を特徴領域として設定する為の特徴領域指定手段（特徴領域指定手段１０５−３３）を備えることを特徴とする（３）に記載の距離情報取得装置。

（対応する実施形態）
この（６）に記載の距離情報取得装置に関する実施形態は、第２実施形態が対応する。この実施形態において、上記特徴領域認識手段は例えば特徴領域認識手段１０５−３が対応し、上記特徴領域指定手段は例えば特徴領域指定手段１０５−３３が対応する。

（作用効果）
この（６）に記載の距離情報取得装置によれば、撮像データから特徴領域をユーザーが直接指示することにより、撮影シーンにとらわれず、より適応的に高速かつ高精度な距離情報取得が実現できる。

（７） 駆動可能に構成された光学系（光学系１００）と、
前記光学系（光学系１００）を駆動して前記光学系の焦点位置を変更するレンズ駆動手段（光学系制御部１１０、制御部１１１）と、
前記光学系（光学系１００）を介して受光した被写体からの光束を結像して電気信号に変換する撮像素子（撮像素子１０１）と、
互いに異なる２つの焦点位置での撮影により取得された２つの撮像データについて、所定位置の画素とその近傍画素とから成るカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記２つの撮像データ間のぼけの相関量を算出し、該算出結果に基づいて被写界における距離情報を算出するＤＦＤ測距手段（制御手段１１１、測距手段１０４）と、
を具備する撮像装置であって、
前記被写界を所定サイズ且つ所定数の測距対象領域に分割する測距領域分割手段（測距領域分割手段１０５）と、
前記被写界に設置する総測距点数を決定する測距点数制御手段（測距点数制御手段１０７）と、
各々の前記測距対象領域に設置する測距点の配置密度である測距点密度を決定する制御手段（制御手段１０１）と、
前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置手段（測距点設置手段１０６）と、
を具備することを特徴とする撮像装置。

（対応する実施形態）
この（７）に記載の撮像装置に関する実施形態は、第１実施形態乃至第３実施形態が対応する。その実施形態において、上記光学系は例えば光学系１００が対応し、上記レンズ駆動手段は例えば光学系制御部１１０、制御部１１１が対応し、上記撮像素子は例えば撮像素子１０１が対応し、上記ＤＦＤ測距手段は例えば制御手段１１１、測距手段１０４が対応し、上記測距領域分割手段は例えば測距領域分割手段１０５が対応し、上記測距点数制御手段は例えば測距点数制御手段１０７が対応し、上記制御手段は例えば制御手段１０１が対応し、上記測距点設置手段は例えば測距点設置手段１０６が対応する。

（作用効果）
この（７）に記載の撮像装置によれば、（１）に記載の距離情報取得装置と同様の効果を奏することができる。

（８） 前記測距領域分割手段（測距領域分割手段１０５）は、
前記被写界から所定の領域を検出して特徴領域として認識する特徴領域認識手段（特徴領域認識手段１０５−３）と、
前記被写界を前記特徴領域とそれ以外の領域とに分割する領域分割手段（領域分割手段１０５−１）と、
前記特徴領域とそれ以外の領域とで測距点密度を異なる値に設定する測距点密度設定手段（測距点密度制御手段１０５−２）と、
を有し、
前記特徴領域認識手段（特徴領域認識手段１０５−３）は、
所定の焦点位置に前記光学系（光学系１００）を合焦させる処理を行う合焦手段（合焦手段１０５−３４）と、
前記合焦手段による合焦処理後に取得した撮像データの高周波成分を抽出して被写体の輪郭を示す画素領域を検出する輪郭抽出手段（輪郭抽出手段１０５−３５）と、
前記輪郭抽出手段により検出された画素領域及びその近傍領域を特徴領域として認識する合焦領域認識手段（合焦領域認識手段１０５−３６）と、
を備えていることを特徴とする（７）に記載の撮像装置。

（対応する実施形態）
この（８）に記載の撮像装置に関する実施形態は、第３実施形態が対応する。この実施形態において、上記測距領域分割手段は例えば測距領域分割手段１０５が対応し、上記特徴領域認識手段は例えば特徴領域認識手段１０５−３が対応し、上記領域分割手段は例えば領域分割手段１０５−１が対応し、上記測距点密度設定手段は例えば測距点密度制御手段１０５−２が対応し、上記合焦手段は例えば合焦手段１０５−３４が対応し、上記輪郭抽出手段は例えば輪郭抽出手段１０５−３５が対応し、上記合焦領域認識手段は例えば合焦領域認識手段１０５−３６が対応する。

（作用効果）
この（８）に記載の撮像装置によれば、フォーカスの合った領域に対してより高精度名距離情報の取得が実現できる。

（９） 互いに異なる２つの焦点位置で撮像された２つの撮像データを取得するデータ取得ステップ（ステップＳ１１）と、
前記撮像データの画素領域に設置する総測距点数を決定する測距点数制御ステップ（ステップＳ１２）と、
測距対象領域に設置する測距点の配置密度である測距点密度を決定する測距点密度決定ステップ（ステップＳ１２）と、
前記撮像データの画素領域を所定サイズ且つ所定数の測距対象領域に分割する測距領域分割ステップ（ステップＳ１３）と、
前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置ステップ（ステップＳ１４）と、
前記測距点の画素とその近傍画素とから成るカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記２つの撮像データ間のぼけの相関量を算出し、該算出結果に基づいて被写界における距離情報を算出するＤＦＤ測距ステップ（ステップＳ１５）と、
を有することを特徴とする距離情報取得方法。

（対応する実施形態）
この（９）に記載の距離情報取得方法に関する実施形態は、第１実施形態乃至第３実施形態が対応する。その実施形態において、上記データ取得ステップは例えばステップＳ１１が対応し、上記測距点数制御ステップは例えばステップＳ１２が対応し、上記測距点密度決定ステップは例えばステップＳ１２が対応し、上記測距領域分割ステップは例えばステップＳ１３が対応し、上記測距点設置ステップは例えばステップＳ１４が対応し、上記ＤＦＤ測距ステップは例えばステップＳ１５が対応する。

（作用効果）
この（９）に記載の距離情報取得方法によれば、撮像データを所定の測距対象領域に分割しそれぞれの分割領域に対して異なる分布密度で測距点を配置することにより、領域ごとの距離情報をその精度を重視して算出するか速度を重視して算出するかを設定できる。

（１０） 互いに異なる２つの焦点位置で撮像された２つの撮像データを取得するデータ取得機能（ステップＳ１１）と、
前記撮像データの画素領域に設置する総測距点数を決定する測距点数制御機能（ステップＳ１２）と、
測距対象領域に設置する測距点の配置密度である測距点密度を決定する測距点密度決定機能（ステップＳ１２）と、
前記撮像データの画素領域を所定サイズ且つ所定数の測距対象領域に分割する測距領域分割機能（ステップＳ１３）と、
前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置機能（ステップＳ１４）と、
前記測距点の画素とその近傍画素とから成るカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記２つの撮像データ間のぼけの相関量を算出し、該算出結果に基づいて被写界における距離情報を算出するＤＦＤ測距機能（ステップＳ１５）と、
をコンピュータに実現させることを特徴とするプログラム。

（対応する実施形態）
この（１０）に記載のプログラムに関する実施形態は、第１実施形態乃至第３実施形態が対応する。上記データ取得機能は例えばステップＳ１１が対応し、上記測距点数制御機能は例えばステップＳ１２が対応し、上記測距点密度決定機能は例えばステップＳ１２が対応し、上記測距領域分割機能は例えばステップＳ１３が対応し、上記測距点設置機能は例えばステップＳ１４が対応し、上記ＤＦＤ測距機能は例えばステップＳ１５が対応する。

（作用効果）
この（１０）に記載のプログラムによれば、撮像データを所定の測距対象領域に分割しそれぞれの分割領域に対して異なる分布密度で測距点を配置することにより、領域ごとの距離情報をその精度を重視して算出するか速度を重視して算出するかを設定できる。

以上、第１実施形態乃至第３実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、例えば後述する変形例のような、種々の変形及び応用が可能なことは勿論である。

さらに、上述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１実施形態に係る距離情報取得装置を具備する撮像装置の一構成例を示す図。 画像データの一例を示す図。 画像データの領域を格子状の小領域Ｄにｍ分割する場合の一分割例を示す図。 小領域Ｄに対応して与える測距密度ｋの一例を示す図。 測距に係る処理のフローチャートを示す図。 図３に示す分布の測距点密度において、ｋ（ｉ），ｋ（ｉ＋１），ｋ（ｉ＋ｗ），ｋ（ｉ＋１＋ｗ）を一律に高い測距点密度に設定（距離情報分解能を高く設定）し、且つそれら以外の小領域Ｄｉにおける測距点密度を一律に低く設定（距離情報分解能を低く設定）した例を示す図。 本発明の第２実施形態に係る距離情報取得装置を具備する撮像装置の一構成例を示す図。 画像データの一例を示す図。 図７Ｂは、図７Ａに示す画像データについて、ユーザによるＵＩの操作で指定され特徴領域指定手段により設定された特徴領域ｋ１及びそれ以外の領域ｋ２の一例を示す図。 本発明の第２実施形態に係る撮像装置の測距に係る処理のフローチャートを示す図。 本発明の第３実施形態に係る距離情報取得装置を具備する撮像装置の一構成例を示す図。 フィルタリング処理により抽出された画像データの輪郭成分を示す図。 抽出された輪郭情報の強さ（合焦度合い）に基づく領域のセグメンテーションの一例を示す図。 本発明の第３実施形態に係る撮像装置の測距に係る処理のフローチャートを示す図。 非特許文献１に開示された測距技術で利用されるルックアップテーブルを示す図。 非特許文献１に開示された測距方法について、その処理内容の観点から捉えた処理の流れを示す図。 非特許文献１に開示された測距方法を利用した測距方法について、その処理内容の観点から捉えた処理の流れを示す図。 フォーカスレンズ位置を変更することに起因して生じる像面上に結像される像のぼけ状態を示す図。 フォーカスレンズ位置を変更することに起因して生じる像面上に結像される像のぼけ状態を示す図。

符号の説明

１００…光学系、 １０１…撮像素子、 １０２…Ａ／Ｄコンバータ、 １０３…バッファメモリ、 １０４…測距手段、 １０５…測距領域分割手段、 １０５−１…領域分割手段、 １０５−２…測距点密度制御手段、 １０５−３…特徴領域認識手段、 １０５−３１…探索手段、 １０５−３２…座標設定手段、 １０５−３３…特徴領域指定手段、 １０５−３４…合焦手段、 １０５−３５…輪郭抽出手段、 １０５−３６…合焦領域認識手段、 １０６…測距点設置手段、 １０７…測距点数制御手段、 １０８…撮影画像記憶手段、 １０９…距離情報記憶手段、 １１０…光学系制御部、 １１１…制御手段、 １２２…ＵＩ、 ２００…距離情報取得装置。

Claims (11)

1. 互いに異なる複数の焦点位置での撮像により取得された複数の画像データについて、所定位置の画素を含むカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記複数の画像データ間のぼけの相関量を算出し、該算出結果に基づいて、撮像対象の被写界までの距離を表す距離情報を算出する測距手段を具備する距離情報取得装置であって、
   被写界を写した画像データを複数の測距対象領域に分割する測距領域分割手段と、
   前記画像データ上に設置する総測距点数を決定する測距点数制御手段と、
   各々の前記測距対象領域に設置する測距点の配置密度である測距点密度を決定する制御手段と、
   前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置手段と、
   を具備することを特徴とする距離情報取得装置。
2. 前記測距点数制御手段は、総測距点数を所定の閾値以下に制限する測距点数制御手段を有することを特徴とする請求項１に記載の距離情報取得装置。
3. 前記測距領域分割手段は、
   前記画像データにおいて注目すべき対象物を含む領域である特徴領域を認識する特徴領域認識手段と、
   前記画像データを前記特徴領域とそれ以外の一以上の領域とに分割する領域分割手段と、
   前記特徴領域とそれ以外の一以上の領域とで測距点密度を異なる値に設定する制御手段と、
   を有することを特徴とする請求項１に記載の距離情報取得装置。
4. 前記特徴領域認識手段は、
   前記画像データにおける輝度又は色のパターンに基づいて特徴領域を探索する特徴領域探索手段を備えることを特徴とする請求項３に記載の距離情報取得装置。
5. 前記特徴領域認識手段は、
   前記画像データのうち中央部を含む領域を特徴領域として設定する特徴領域座標設定手段を備えることを特徴とする請求項３に記載の距離情報取得装置。
6. ユーザにより指定された領域を示す情報を受信する為の情報受信部を含み、
   前記特徴領域認識手段は、
   前記情報受信部を介して取得した前記情報に基づいて、前記ユーザにより指定された領域を特徴領域として設定する為の特徴領域指定手段を備えることを特徴とする請求項３に記載の距離情報取得装置。
7. 前記測距点設置手段は、各々の測距点同士の間隔が互いに均等になるように、前記測距対象領域内に測距点を設置することを特徴とする請求項１に記載の距離情報取得装置。
8. 駆動可能に構成された光学系と、
   前記光学系を駆動して前記光学系の焦点位置を変更するレンズ駆動手段と、
   前記光学系を介して受光した被写体からの光束を結像して電気信号に変換する撮像素子と、
   互いに異なる複数の焦点位置での撮影により取得された複数の画像データについて、所定位置の画素を含むカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記複数の画像データ間のぼけの相関量を算出し、該算出結果に基づいて、撮像対象の被写界までの距離を表す距離情報を算出する測距手段と、
   を具備する撮像装置であって、
   被写界を写した画像データを複数の測距対象領域に分割する測距領域分割手段と、
   前記画像データ上に設置する総測距点数を決定する測距点数制御手段と、
   各々の前記測距対象領域に設置する測距点の配置密度である測距点密度を決定する制御手段と、
   前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置手段と、
   を具備することを特徴とする撮像装置。
9. 前記測距領域分割手段は、
   前記画像データにおいて注目すべき対象物を含む領域である特徴領域を認識する特徴領域認識手段と、
   前記画像データを前記特徴領域とそれ以外の一以上の領域とに分割する領域分割手段と、
   前記特徴領域とそれ以外の一以上の領域とで測距点密度を異なる値に設定する制御手段と、
   を有し、
   前記特徴領域認識手段は、
   合焦処理を行う合焦手段と、
   前記合焦手段による合焦処理後に取得した画像データの高周波成分を抽出して被写体の輪郭を示す画素領域を検出する輪郭抽出手段と、
   前記輪郭抽出手段により検出された画素領域及びその近傍領域を特徴領域として認識する合焦領域認識手段と、
   を備えていることを特徴とする請求項８に記載の撮像装置。
10. 互いに異なる複数の焦点位置で撮像された複数の画像データを取得するデータ取得ステップと、
    前記画像データの画素領域に設置する総測距点数を決定する測距点数制御ステップと、
    測距対象領域に設置する測距点の配置密度である測距点密度を決定する測距点密度決定ステップと、
    前記画像データの画素領域を複数の測距対象領域に分割する測距領域分割ステップと、
    前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置ステップと、
    前記測距点の画素とその近傍画素とから成るカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記複数の画像データ間のぼけの相関量を算出し、該算出結果に基づいて、撮像対象の被写界までの距離を表す距離情報を算出する測距ステップ
    を有することを特徴とする距離情報取得方法。
11. 互いに異なる複数の焦点位置で撮像された複数の画像データを取得するデータ取得機能と、
    前記画像データの画素領域に設置する総測距点数を決定する測距点数制御機能と、
    測距対象領域を示す画像データ上に設置する測距点の配置密度である測距点密度を決定する測距点密度決定機能と、
    前記画像データの画素領域を複数の測距対象領域に分割する測距領域分割機能と、
    前記総測距点数及び前記測距点密度に基づいて、前記測距対象領域に測距点を配置する測距点設置機能と、
    前記測距点の画素を含むカーネル領域を設定し、該カーネル領域内の画素を対象として画像処理を実行して前記複数の撮像データ間のぼけの相関量を算出し、該算出結果に基づいて、撮像対象の被写界までの距離を表す距離情報を算出する測距機能と、
    をコンピュータに実現させることを特徴とするプログラム。

Images