JP2010175966A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】遮蔽物が静止状態であっても適切にピントを合わせること。
【解決手段】互いに異なる複数の視点位置から撮影された複数の画像データに基づいて被写体までの距離情報を求め、この距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて複数の画像データ毎における着目被写体が存在する第１の領域と着目被写体が存在しない第２の領域とをそれぞれ検出し、着目被写体が存在しない各第２の領域における距離情報に基づいて主要被写体に対する合焦推定を行う。
【選択図】図１

Description

本発明は、特に被写体の前方に遮蔽物が存在していても被写体に合焦可能な画像処理装置及び当該画像処理装置を備えた撮像装置に関する。

さまざまなシーンで撮影を行うとき、当該撮影を行う撮像装置と主要被写体との間に遮蔽物が存在していると、撮影時に、主要被写体が遮蔽物に隠れて所望の画像を得ることができないことがある。遮蔽物が例えば人や車両等であれば、遮蔽物の運動視差から背景画像を抽出して遮蔽物を除去する手法が例えば特許文献1に開示されている。この特許文献1の手法は、それぞれ異なる時刻に撮影された複数の画像データを画素毎に比較し、所定時間、変化が検出されなかった画素を背景画像データとして抽出し、かつかかる背景画像データの抽出処理を例えば監視区域内の全ての画素について行うことにより遮蔽物を除去した背景のみの画像データを生成することを開示する。

特開２００１−４３４５８号公報

しかしながら、特許文献１の手法では、被写体が遮蔽物によって覆われた状態で、例えば山登り法のような周波数成分の変位量に基づいて合焦推定を行うと、所定の探索領域内に複数のオブジェクトが存在した場合、ピントを適切に合わせることができない。

本発明は、かかる事情を鑑みてなされたものであり、遮蔽物が静止状態であっても被写体に対して適切にピントを合わせることができる画像処理装置及び撮像装置を提供することを目的とする。

本発明の主要な局面に係る画像処理装置は、互いに異なる複数の視点位置から撮影された複数の画像データに基づいて被写体までの距離情報を求める距離情報取得手段と、距離情報取得手段によって得られた距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて複数の画像データ毎における着目被写体が存在する第１の領域と着目被写体が存在しない第２の領域とをそれぞれ検出する被写体検出手段と、複数の画像データ中における着目被写体が存在しない各第２の領域における距離情報に基づいて主要被写体に対する合焦推定を行う合焦推定手段とを具備する。
本発明の他の局面に係る撮像装置は、上記画像処理装置を備える。

本発明によれば、遮蔽物が静止状態であっても被写体に対して適切にピントを合わせることができる画像処理装置及び撮像装置を提供できる。

本発明に係る画像処理装置を備えた２眼ステレオカメラである撮像装置の第１の実施の形態を示す構成図。 同装置における２つの撮像部の代わりに設けた画像入力手段を示す構成図。 同装置における距離情報取得手段による距離情報を算出する為の基本的な動作フローチャート。 同装置における被写体検出手段の基本的な動作を示すフローチャート。 同装置における時間経過に従って連続的に取得される複数の画像データ毎の主要被写体を遮蔽する着目被写体が存在する第１の領域と存在しない第２の領域とを示す模式図。 本発明に係る画像処理装置を備えた２眼ステレオカメラである撮像装置の第２の実施の形態における画像入力部により最初に取得される２フレームの画像を示す模式図。 同装置における画像生成手段の基本的な動作のフローチャート。 本発明に係る画像処理装置を備えた２眼ステレオカメラである撮像装置の第３の実施の形態における二値情報によって分離される各画像データを示す摸式図。 同装置における画像生成手段により生成される遮蔽物を除去した画像データを示す摸式図。

以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は画像処理装置を備えた２眼ステレオカメラの撮像装置の構成図を示す。本装置は、画像入力手段としての例えば２つの撮像部１００、２００を備え、さらに距離情報取得手段３００と、被写体検出手段４００と、画像生成手段５００と、一時記憶手段６００と、表示手段７００と、記憶手段８００と、設定手段９００とを備える。

２つの撮像部１００、２００は、それぞれ異なる視点位置で被写体を撮像して各視点位置毎の複数フレームの画像信号を取得するもので、これら撮像部１００、２００によってステレオカメラを形成する。なお、被写体は、主要被写体と背景被写体（主要被写体以外の被写体）の何れも含む。これら撮像部１００、２００のうち一方の撮像部１００は、光学系１０１と、撮像素子１０２と、記憶手段１０３とから構成される。他方の撮像部２００も同様に、光学系２０１と、撮像素子２０２と、記憶手段２０３とから構成される。

これら撮像部１００、２００における各光学系１０１、２０１は、それぞれ被写体からの光束を集光して対応する各撮像素子１０２、２０２に結像する。これら撮像素子１０２、２０２は、それぞれ光学系１０１、２０１の結像により得られた被写体像をアナログ電気信号に変換し、このアナログ電気信号をデジタル信号（画像信号）に変換する。これらデジタル信号（画像信号）は、それぞれ各記憶手段１０３、２０３に記憶される。これら記憶手段１０３、２０３は、それぞれ各撮像素子１０２、２０２により得られた各画像信号を一時記憶する。
なお、本装置は、２つの撮像部１００、２００を備える２眼ステレオカメラの構成であるが、撮像部１００、２００の個数は、２個に限定されるものではない。例えば、撮像部は、３個以上備える構成や１個以上の撮像部より視点位置を変更しながら撮影を複数回実行するようにしても良い。

又、撮像装置は、画像処理プログラムを実装した画像処理装置にも適用可能である。この画像処理装置は、基本的に上記図１に示す撮像装置と略同一構成であるが、例えば図２に示すように２つの撮像部１００、２００の代わりに画像入力手段１００ａを設けたところが異なる。
この画像入力手段１００ａは、それぞれ異なる各視点位置での撮像により取得された複数フレームの画像信号を取得することを目的としている。この画像入力手段１００ａは、複数フレームの画像信号が予め格納されている任意の記憶媒体から成る。なお、画像入力手段１００ａは、記憶媒体が出力機能を兼備する構成を用いてもよいし、記憶手段８００の機能の一部に画像入力手段１００ａの機能を持たせるようにしてもよい。

距離情報取得手段３００は、２つの撮像部１００及び２００によりそれぞれ得られたＮフレーム（Ｎ≧２）の画像信号を用いて画素単位で被写体までの距離情報を取得する。この距離情報取得手段３００は、互いに異なる複数の視点位置から撮影された複数の画像データ、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データに基づいて被写体までの距離情報を求める。又、距離情報取得手段３００は、連続的に取得される互いに異なる複数の視点位置から撮影された複数の画像データ、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データ毎に各距離情報を逐次求める。以後、距離情報取得手段３００によって画素単位で得られる距離情報の集合を距離画像データと称する。この距離情報取得手段３００は、後述する被写体検出手段４００によって抽出された着目被写体の有無を示す領域情報を参照し、再び所定の合焦推定処理を行う。ここで、着目被写体は、人物１１等の主要被写体を遮蔽する柵１２等の遮蔽物である。

被写体検出手段４００は、距離情報取得手段３００によって得られた距離画像データを用いて着目被写体が存在する領域を検出する。具体的に被写体検出手段４００は、撮影者によって設定された距離の閾値情報を受け、距離情報取得手段３００により取得された被写体までの距離情報を閾値情報により二値化して画素毎の二値情報を取得する。すなわち、被写体検出手段４００は、距離情報取得手段３００によって得られた距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて複数の画像データ毎における着目被写体が存在する第１の領域と着目被写体が存在しない第２の領域とをそれぞれ検出する。又、被写体検出手段４００は、連続的に取得される複数の画像データ毎に逐次第１の領域と第２の領域とをそれぞれ検出する。

しかるに、上記距離情報取得手段３００は、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データ中における着目被写体が存在しない各第２の領域における距離情報に基づいて主要被写体に対する合焦推定を行う合焦推定手段としての機能を有する。この距離情報取得手段３００の合焦推定手段は、被写体検出手段４００により逐次検出される各第２の領域における距離情報に基づいて逐次主要被写体に対する合焦推定を行う。又、合焦推定手段３００の合焦推定手段は、着目被写体が存在しない各第２の領域における画像データを用いて山登り法により主要被写体に対する合焦推定を行う。

画像生成手段５００は、被写体検出手段４００によって抽出された着目被写体の有無を示す領域情報に基づいて所定の画像処理を行う。
一時記憶手段６００は、距離情報取得手段３００と、被写体検出手段４００と、画像生成部５００とでそれぞれ処理される各データを一時的に記憶する。
表示手段７００は、各種の画像データを表示する。
記憶部８００は、画像生成部５００で取得された画像データを記憶する。
設定部９００は、撮影者の操作による各種設定、例えば被写体である人体の顔部位を検出する顔検出の動作モードの設定を行うための操作部である。

次に、距離情報取得手段３００の具体的な動作について図３に示すラフに距離情報を算出する為の基本的な動作のフローチャートを参照して説明する。なお、説明の簡単化を図るために２つの撮像部１００、２００を纏めて画像入力手段１００、２００と称する。
先ず、距離情報取得手段３００は、画像入力部１００、２００から複数フレームの画像データが入力されると、ステップＳ３０１において、複数フレームの画像データから距離情報を取得する領域を設定する。この距離情報取得領域は、例えば撮影者による設定手段９００に対する操作によって設定されるものであっても良いし、距離情報取得手段３００において自動的に設定されるものであっても良い。

次に、距離情報取得手段３００は、ステップＳ３０２において、上記設定された距離情報取得領域内において、複数フレームの各画像データ間の対応点を例えば各画像データ間の相関量を演算する画像相関法によって算出し、当該対応点の相関パラメータを一時記憶手段６００に記憶する。
次に、距離情報取得手段３００は、ステップＳ３０３において、対応点の相関パラメータに基づいて画素毎に被写体までの距離情報を算出し、次のステップＳ３０４において、算出した画素毎の被写体までの距離情報によって距離画像データを取得して一時記憶手段６００に記憶する。すなわち、距離情報取得手段３００は、互いに異なる複数の視点位置から撮影された複数の画像データ、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データに基づいて被写体までの距離情報を求める。又、距離情報取得手段３００は、連続的に取得される互いに異なる複数の視点位置から撮影された複数の画像データ、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データ毎に各距離情報を逐次求める。

次に、被写体検出手段４００の具体的な動作について図４に示す被写体検出手段４００における基本的な動作フローチャートを参照して説明する。
先ず、被写体検出手段４００は、ステップＳ４０１において、撮影者によって設定される距離の閾値情報を例えば設定部９００から受け取る。この閾値情報は、例えば撮影者のよる設定部９００の操作によって設定される。
次に、被写体検出手段４００は、ステップＳ４０２において、閾値情報の設定を受けると、一時記憶手段６００に記憶されている距離画像データを読み出し、この距離画像データの各画素の距離情報と閾値情報との大きさを比較し、これら距離情報と閾値情報との大きさに応じて二値化処理する。

次に、被写体検出手段４００は、ステップＳ４０３において、各画素の距離情報を閾値情報で二値化した後、画素毎の二値情報を一時記憶手段６００に記憶する。すなわち、被写体検出手段４００は、距離情報取得手段３００によって得られた距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて複数の画像データ毎における着目被写体が存在する第１の領域と着目被写体が存在しない第２の領域とをそれぞれ検出する。又、被写体検出手段４００は、連続的に取得される複数の画像データ毎に逐次第１の領域と第２の領域とをそれぞれ検出する。

図５は時間ｔ１〜ｔｎの経過に従って連続的に取得される複数の画像データ、例えば２つの撮像部１００、２００によりそれぞれ得られた複数の画像データ毎の第１の領域と第２の領域とを模式的に示す。一方の撮像部１００によりそれぞれ得られた複数の画像データＬ１〜Ｌｎ毎には、それぞれ着目被写体が存在する各第１の領域ｇａ１〜ｇａｎと、着目被写体が存在しない各第２の領域ｆａ１〜ｆａｎとがある。他方の撮像部２００によりそれぞれ得られた複数の画像データＲ１〜Ｒｎ毎には、それぞれ着目被写体が存在する各第１の領域ｇｂ１〜ｇｂｎと、着目被写体が存在しない各第２の領域ｆｂ１〜ｆｂｎとがある。

次に、距離情報取得手段３００の合焦推定手段は、一時記憶手段６００に記憶されている画素毎の二値情報に基づいて複数フレームの画像データより非遮蔽領域部の画像信号に対して合焦検出を行う。この合焦検出の処理は、最も一般的な手法で山登り法又はコントラスト法と呼ばれるもので、デジタルカメラをはじめとする電子撮像機器に広く用いられている手法を前提としている。すなわち、距離情報取得手段３００の合焦推定手段は、図５に示すように例えば２つの撮像部１００、２００によりそれぞれ得られた複数の画像データ中における着目被写体が存在しない各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける距離情報に基づいて主要被写体に対する合焦推定を行う。この距離情報取得手段３００の合焦推定手段は、被写体検出手段４００により逐次検出される各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける距離情報に基づいて逐次主要被写体に対する合焦推定を行う。又、合焦推定手段３００の合焦推定手段は、着目被写体が存在しない各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける画像データを用いて山登り法により主要被写体に対する合焦推定を行う。

例えば、距離情報取得手段３００の合焦推定手段は、図５に示すように時間ｔ１〜ｔｎの経過に従って先ず、被写体検出手段４００により逐次検出される各第２の領域ｆａ１、ｆｂ１における距離情報に基づいて主要被写体に対する合焦推定を行う。なお、図５は時間ｔ１において着目被写体が存在しない各第２の領域ｆａ１、ｆｂ１から成る画像データＭ１の距離情報に基づいて主要被写体に対する合焦推定を行うことを模式的に示す。

時間ｔ１において主要被写体に対する合焦が検出されなければ、距離情報取得手段３００の合焦推定手段は、時間ｔ２において、被写体検出手段４００により逐次検出される各第２の領域ｆａ２、ｆｂ２における距離情報に基づいて主要被写体に対する合焦推定を行う。このときも、着目被写体が存在しない各第２の領域ｆａ２、ｆｂ２から成る画像データＭ２の距離情報に基づいて主要被写体に対する合焦推定を行う。

以下、同様に、主要被写体に対する合焦が検出されまで、時間ｔ３〜ｔｎにおいて、距離情報取得手段３００の合焦推定手段は、被写体検出手段４００により逐次検出される各第２の領域ｆａ２〜ｆａｎ、ｆｂ２〜ｆｂｎにおける距離情報に基づいて主要被写体に対する合焦推定を行う。

ここで、山登り法による合焦検出処理の基本的な構成と動作について説明する。
各光学系１０１、２０１は、複数のレンズ群で構成され、画像を撮影することを目的としたレンズ群、例えばテーキングレンズである。これらレンズ群のうちの一部のレンズ群は、フォーカスを調整するために光軸方向に駆動可能な構成になっている。このレンズ群をフォーカスレンズと呼ぶ。
各光学系１０１、２０１によって結像された被写体の像は、それぞれ各撮像素子１０２、２０２の光電変換素子によって電気信号に変換される。
次に、各光学系１０１、２０１におけるフォーカスレンズが光軸方向に移動駆動される。このフォーカスレンズの移動中に撮影される複数枚の画像データに対するぼけの評価値が算出される。この評価値は、画像データのコントラストや高周波成分の和が用いられ、当該評価値が大きいほどフォーカスが合っていることを示す。このピーク推定によって距離情報取得手段３００は、合焦推定を行う。しかるに、距離情報取得手段３００は、評価値が大きいほどフォーカスが合っていること利用して合焦推定を行う合焦推定手段としての機能を有する。

このように上記第１の実施の形態よれば、互いに異なる複数の視点位置から撮影された複数の画像データに基づいて被写体までの距離情報を求め、この距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて複数の画像データ毎における着目被写体が存在する第１の領域と着目被写体が存在しない第２の領域とをそれぞれ検出し、着目被写体が存在しない各第２の領域における距離情報に基づいて主要被写体に対する合焦推定を行う。これにより、遮蔽物が静止状態であっても被写体に対して適切にピントを合わせることができる。

次に、本発明の第２の実施の形態について説明する。なお、本実施の形態の撮像装置は、上記第１の実施の形態における撮像装置と同一構成であるので、上記図１を援用して説明する。
本装置は、被写体検出手段４００による二値情報の取得後に、画像認識による被写体の検出、例えば被写体である人体の顔部位を検出する顔検出処理を行う。すなわち、被写体検出手段４００は、複数の画像データにおける主要被写体における複数の特徴点の類似性を指標とする複数の評価値を生成し、これら評価値の統合処理を行い、当該統合処理後の第２の領域における評価値によって当該第２の領域が主要被写体の部分であるか否かを認識する画像認識手段を有する。この画像認識手段は、主要被写体における各部位、例えば被写体である人体の顔部位の各評価値を生成して統合する。画像認識手段は、主要被写体における人体の顔部位等の各部位の評価値を生成して統合する前に、着目被写体による遮蔽領域の評価値を主要被写体の一部であると見做す処理を行う。

設定部９００は、顔検出の動作モードに設定される。又、本装置には、予め顔部位の特徴点を登録したデータベースが備えられている。
被写体検出手段４００は、画像認識によって例えば被写体である人物１１の顔部位等を検出する画像認識手段としての機能を有する。すなわち、被写体検出手段４００は、顔検出の動作モードに設定されていると、画像入力手段１００、２００の撮像により取得される画像データとデータベースに予め登録された顔部位の特徴点を示すデータとに基づいて画像データと各特徴点とを正規化し、この後にパターン照合処理に相当する所定のフィルタ処理を行い、画像データと各特徴点との類似性を指標とする評価値を生成する。この評価値は、当該評価値を生成した時点での主要被写体としての顔部位自体を識別するものでなく、顔部位又は更に細かい単位の部位での照合結果である。これにより、評価値は、１つの顔部位に対して複数の評価値の重複を含む。

しかるに、被写体検出手段４００は、上記二値情報の取得後に、例えば人物１１の顔部位における例えば目、鼻、輪郭といった顔部位の構成要素に基づいて評価値の統合処理を行い、この統合処理後の領域の信頼度（類似度）によって当該領域が顔部位であるか否かを認識する。この認識の結果、顔部位であると認識すると、被写体検出手段４００は、顔部位であると認識した領域の座標情報を一時記憶領域６００に記憶する。

ところで、主要被写体（顔部位）が遮蔽物である例えば障害物に遮蔽された状態で一般的な顔検出処理を行うと、遮蔽領域の影響で上記統合処理後の領域の信頼度（類似度）が正確に算出できない、例えば顔部位を正確に認識できないことがある。
このような事から被写体検出手段４００は、上記二値情報の取得後、例えば顔部位における例えば目、鼻、輪郭といった顔部位の構成要素に基づいて評価値の統合処理を行う前に、画素毎の二値情報に基づいて遮蔽領域の評価値を例えば全てが顔部位の一部であると見做す等の一意に見做す処理を行い、この後に、上記統合処理を行う。

次に、上記撮像装置の動作について説明する。
ここで、画像入力部１００、２００により最初に取得される画像は、具体的に例えば図６（ａ）（ｂ）に示す２フレームの画像データであるとする。ここでは、同図（ａ）に示す画像データは、距離画像算出のために画像相関法を実行する際に基準となる（以下、基準画像データＤｓと称する）。同図（ｂ）に示す画像データは、距離画像算出のために画像相関法を実行する際に参照される（以下、参照画像データＤｒと称する）。更に、これら基準画像データＤｓと参照画像データＤｒとは、共に人物１１が主要被写体であり、人物１１の前方に存在する柵１２等の遮蔽物が主要被写体の遮蔽物であるという前提に基づいている。

本装置は、基準画像データＤｓと参照画像データＤｒとを用いて距離画像データを算出し、この算出した距離画像データに基づいて柵１２等の遮蔽物を着目被写体とした被写体検出を行い、基準画像データＤｓを着目被写体である柵１２等の遮蔽物が存在する領域と存在しない領域とに分離し、この後、柵１２等の遮蔽物が存在しない領域に対して合焦推定を行う。

以下、具体的に説明する。
先ず、距離情報取得手段３００は、上記図３に示すラフに距離情報を算出する為の基本的な動作のフローチャートに従って距離画像データを取得する。この処理に先立って撮影者は、設定手段９００を操作して基準画像データＤｓと参照画像データＤｒとを選択し、更に基準画像データＤｓにおける距離画像取得領域を設定する。例えば、距離情報取得領域は、図６（ａ）に示す基準画像データＤｓの全領域とする。

この設定操作を受けて距離情報取得手段３００は、ステップＳ３０２において、上記設定された距離情報取得領域内で基準画像データＤｓと参照画像データＤｒとの間の対応点を、これら基準画像データＤｓと参照画像データＤｒとの相関量を画像相関法によって算出し、当該対応点の相関パラメータを一時記憶手段６００に記憶する。

次に、距離情報取得手段３００は、ステップＳ３０３において、対応点の相関パラメータに基づいて基準画像データＤｓの距離情報取得領域内における画素毎に被写体までの距離情報を算出し、次のステップＳ３０４において、被写体距離を付加した距離画像データとして一時記憶手段６００に記憶する。これにより基準画像データＤｓの距離情報取得領域内における画素位置（ＸＹ座標）と被写体距離の対応情報とが一時記憶手段６００に記憶される。すなわち、距離情報取得手段３００は、上記同様に、互いに異なる複数の視点位置から撮影された複数の画像データ、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データに基づいて被写体までの距離情報を求める。又、距離情報取得手段３００は、連続的に取得される互いに異なる複数の視点位置から撮影された複数の画像データ、例えば２つの撮像部１００及び２００によりそれぞれ得られた複数の画像データ毎に各距離情報を逐次求め、被写体距離を付加した距離画像データとして一時記憶手段６００に記憶する。

次に、被写体検出手段４００は、上記図４に示す基本的な動作を示すフローチャートに従って着目被写体の検出を行う。
被写体検出手段４００は、ステップＳ４０１において、撮影者によって設定される距離の閾値情報を例えば設定部９００から受け取る。この閾値情報は、例えば撮影者のよる設定部９００の操作によって設定される。具体的に撮影者は、設定部９００に対して着目被写体である柵１２等の遮蔽物が存在するとする距離範囲、すなわち柵１２と同一距離か、又は柵１２までよりも少し遠く離れた距離を閾値情報として設定する。そして、撮影者は、例えば柵１２等の遮蔽物付近に合焦するように倍率変更など、焦点距離の変更を行う。

この操作を受けて被写体検出手段４００は、閾値のマージンと各光学系１０１、２０１の焦点距離とから被写体までの距離を自動的に算出し、距離の閾値情報として設定する。なお、この焦点位置を決める方法は、光学ズームに限るものではなく、ズーム倍率やＡＦ制御のような焦点距離を変更する任意の方法を対象とする。又、前回の撮影時に設定した閾値情報を記憶しておき、倍率変更をしないときに前回の閾値情報を用いるようにして、撮影毎に閾値の設定を行うことを回避してもよい。

次に、被写体検出手段４００は、ステップＳ４０２において、閾値情報の設定を受けると、一時記憶手段６００に記憶されている距離画像データを読み出し、この距離画像データの各画素の距離情報と閾値情報との大きさを比較し、距離情報取得領域内の各画素の被写体距離が所定の範囲内にあるか否かを判定する。すなわち、被写体検出手段４００は、距離情報と閾値情報との大きさに応じて二値化処理する。
次に、被写体検出手段４００は、ステップＳ４０３において、各画素の距離情報を閾値情報で二値化した後、これら画素毎の二値情報すなわち着目被写体(遮蔽物)の有無を示す二値情報を一時記憶手段６００に記憶する。

ここで、閾値情報は、例えば撮影者の位置から柵１２までの距離と同一距離又は柵１２の位置よりも撮影者の位置から少し遠くの距離に設定されているので、被写体距離が閾値以下の場合には主要被写体である人物１１の前に着目被写体である柵１２が存在していることになる。なお、本装置の被写体検出処理は、画像入力部１００、２００からの画像データが更新される度に繰り返し実行され、二値情報が一時記憶手段６００に蓄積される。すなわち、被写体検出手段４００は、上記同様に、距離情報取得手段３００によって得られた距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて、時間経過に従って連続的に取得される複数の画像データ毎における着目被写体が存在する第１の領域と着目被写体が存在しない第２の領域とをそれぞれ検出する。

次に、被写体検出手段４００は、例えば被写体である人物１１の顔部位を検出する顔検出処理を行う。なお、設定部９００は、例えば撮影者の操作によって顔検出の動作モードに設定されている。
被写体検出手段４００は、顔検出の動作モードに設定されていると、画像入力手段１００、２００の撮像により取得される基準画像データＤｓ及び参照画像データＤｒと、データベースに予め登録された顔部位の特徴点を示すデータとに基づいて基準画像データＤｓ及び参照画像データＤｒと各特徴点とを正規化し、この後にパターン照合処理に相当する所定のフィルタ処理を行い、基準画像データＤｓ及び参照画像データＤｒと各特徴点との類似性を指標とする評価値を生成する。

次に、被写体検出手段４００は、例えば顔部位における例えば目、鼻、輪郭といった顔部位の構成要素に基づいて評価値の統合処理を行い、この統合処理後の領域の信頼度（類似度）によって当該領域が顔部位であるか否かを認識する。この認識の結果、顔部位であると認識すると、被写体検出手段４００は、顔部位であると認識した領域の座標情報を一時記憶領域６００に記憶する。

このとき、被写体検出手段４００は、例えば顔部位における例えば目、鼻、輪郭といった顔部位の構成要素に基づいて評価値の統合処理を行う前に、画素毎の二値情報に基づいて遮蔽領域の評価値を例えば全てが顔部位の一部であると見做す等の一意に見做す処理を行い、この後に、上記統合処理を行う。これにより、統合処理後の領域の信頼度（類似度）によって例えば顔部位であるか否かを認識するときの遮蔽領域の影響が無効化できる。

次に、距離情報取得手段３００は、被写体検出手段４００により認識された顔部位に対して合焦推定処理を行う。すなわち、２つの光学系１０１、２０１によって結像された被写体の各像は、それぞれ各撮像素子１０２、２０２の光電変換素子によって電気信号に変換し、このアナログ電気信号をデジタル信号（画像信号）に変換する。これらデジタル信号（画像信号）は、それぞれ画像データとして各記憶手段１０３、２０３に記憶される。このとき、各光学系１０１、２０１のフォーカスレンズが光軸方向に移動駆動され、このフォーカスレンズの移動中に複数枚の画像データが再取得される。本実施の形態において、フォーカスレンズを駆動しながら取得される複数の画像データは、厳密に言うと撮影時刻や画角が異なるが、説明の都合上、上記図６（ａ）（ｂ）に示す基準画像データＤｓと参照画像データＤｒとのようにぼけ量が変化しているものとみなす。

距離情報取得手段３００は、再取得した例えば基準画像データＤｓ及び参照画像データＤｒと、これら基準画像データＤｓと参照画像データＤｒとに対応する各二値情報に基づいて柵１２等の遮蔽物が存在せず、かつ上記顔検出処理により検出された顔部分の画像信号を基準画像データＤｓから選択する。そして、距離情報取得手段３００は、選択された顔部分の画像信号を用いて上記山登り法による合焦推定を行う。

すなわち、距離情報取得手段３００の合焦推定手段は、上記図５に示すように例えば２つの撮像部１００、２００によりそれぞれ得られた複数の画像データ中における着目被写体が存在しない各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける距離情報に基づいて主要被写体に対する合焦推定を行う。この距離情報取得手段３００の合焦推定手段は、被写体検出手段４００により逐次検出される各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける距離情報に基づいて逐次主要被写体に対する合焦推定を行う。この場合、合焦推定手段３００の合焦推定手段は、着目被写体が存在しない各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける画像データを用いて山登り法により主要被写体に対する合焦推定を行う。

このように上記第２の実施の形態よれば、例えば２つの撮像部１００、２００により取得された基準画像データＤｓと参照画像データＤｒとを用いて距離画像データを算出し、この算出した距離画像データに基づいて柵１２等の遮蔽物を着目被写体とした被写体の検出を行い、基準画像データＤｓを着目被写体である柵１２等の遮蔽物が存在する領域と存在しない領域とに分離し、この後、柵１２等の遮蔽物が存在しない領域に対して合焦推定を行うときに、被写体検出手段４００は、２つの撮像部１００、２００により取得された基準画像データＤｓ及び参照画像データＤｒと顔部位の特徴点を示すデータとに基づいて主要被写体である人物１１の例えば目、鼻、輪郭といった顔部位を認識し、この認識された顔部位に対して合焦推定を行う。

このように主要被写体である人物１１の例えば目、鼻、輪郭といった顔部位を認識した後に合焦推定を行うので、主要被写体である人物１１に対して高精度に合焦推定を行うことができる。これと共に人物１１の撮影の邪魔となっていた柵１２等の遮蔽物の影響を受けずに合焦推定を行うことができ、たとえ主要被写体の一部が柵１２等の遮蔽物により遮蔽状態にあっても高精度にピントを合わせて画像を取得することができる。

次に、本発明の第３の実施の形態について説明する。なお、本実施の形態の撮像装置は、上記第１の実施の形態における撮像装置と同一構成であるので、上記図１を援用して説明する。
画像生成手段５００は、合焦推定手段により合焦推定を行った後、複数の画像データのうち１つの画像データを着目被写体の位置に基づいて２つの画像データに分離し、これら画像データに対して画像処理を行って着目被写体を除去した画像データを取得する。
すなわち、本実施の形態は、例えば上記図６（ａ）（ｂ）に示す基準画像データＤｓと参照画像データＤｒとを用いて距離画像データを求め、この距離画像データに基づいて柵１２等の遮蔽物を着目被写体とした人物１１等の被写体の検出を自動的に行い、基準画像データＤｓを着目被写体である遮蔽物１２が存在する領域と存在しない領域とに分離し、この後、柵１２等の遮蔽物の着目被写体が存在する領域に対して第１の画像処理αを行い、着目被写体が存在しない領域に対して第１の画像処理αとは異なる第２の画像処理βを行う。

具体的に画像生成手段５００は、被写体検出手段４００によって抽出された着目被写体の有無を示す領域情報に基づいて所定の画像処理を行う。すなわち、画像生成手段５００は、画像入力手段である各撮像部１００、２００によって得られた画像データを被写体検出手段４００によって得られた二値情報に基づいて２つの領域に分離し、これら２つの領域のうち柵１２等の遮蔽物の着目被写体が存在する領域に対して第１の画像処理αを行い、着目被写体が存在しない領域に対して第１の画像処理αとは異なる第２の画像処理βを行い、これら処理の行われた各画像データを統合して１つの画像データを取得する。

この画像生成手段５００は、図７に示す基本的な動作のフローチャートに従って動作する。なお、一時記憶手段６００には、被写体検出手段４００によって取得された二値情報と、画像入力手段１００ａによって取得された例えば上記図６（ａ）（ｂ）に示す基準画像データＤｓ及び参照画像データＤｒとが記憶されている。
先ず、画像生成手段５００は、ステップＳ５０１において、一時記憶手段６００に記憶されている二値情報と基準画像データＤｓを読み出し、この読み出した基準画像データＤｓを二値情報に基づいて２つの領域に分離する。

次に、画像生成手段５００は、ステップＳ５０２において、分離した２つの領域のうち着目被写体が存在する領域に対して第１の処理αを行い、かつステップＳ５０３において、着目被写体が存在しない領域に対して第１の処理αとは異なる第２の処理βを行う。

次に、画像生成手段５００は、ステップＳ５０４において、第１の処理αと第２の処理βとの行われた各画像データを統合して１つの画像データを取得する。
次に、画像生成手段５００は、ステップＳ５０５において、統合後の画像データを表示手段７００に表示させたり、記憶手段８００に記憶させる等の出力処理を行う。

次に、上記第１の実施の形態における距離情報取得手段３００による合焦推定の行われた後の柵１２等の遮蔽物の除去の動作について具体的に説明する。
距離情報取得手段３００により合焦推定の行われた後、画像生成手段５００は、先ず、被写体検出手段４００によって得られた二値画像データに基づいて例えば図６（ａ）に示す基準画像データＤｓを２つの領域に分離する。二値情報は、主要被写体である人物１１の前に柵１２等の遮蔽物が存在しているか否かを示す情報である。従って、二値情報に基づいて基準画像データＤｓを分離した場合、基準画像データＤｓは、例えば図８（ａ）に示すように柵１２等の遮蔽物よりも後方側に存在する人物１１等を撮影した画像データＤｓ−１と、同図（ｂ）に示すように柵１２等の遮蔽物とこの柵１２よりも前方側に存在する画像データＤｓ−２とに分離される。

基準画像データＤｓを２つの画像データＤｓ−１、Ｄｓ−２に分離した後、画像生成手段５００は、図８（ａ）に示す着目被写体としての柵１２等の遮蔽物が存在する遮蔽領域に対して第１の画像処理αを行う。この第１の画像処理αは、遮蔽領域内の柵１２等の遮蔽物の画像信号（第１の画像信号）を欠陥画素とみなし、この欠陥画素の画像信号を同一フレームの周辺の画像信号から補間して求める。

これに対して第２の画像処理βは、柵１２等の遮蔽物の除去に関する処理を特に行わない。

次に、画像生成手段５００は、図８（ａ）に示す画像データＤｓ−１と置換処理を行った図８（ｂ）に示す画像データＤｓ−２とを統合し、例えば図９に示すような画像データＤｔを取得する。この画像データＤｔは、人物１１の撮影の邪魔となっていた柵１２等の遮蔽物を除去すると共に、この柵１２等の遮蔽物の除去部分の画像データを他の画像データすなわち画像データＤｓ−２から補間して生成される。
そして、画像生成手段５００は、画像データＤｔを例えば表示手段７００に表示させたり、記憶手段８００に記憶することで外部に出力する。なお、第１の画像処理αにおいて、例えば特願２００６−３０１９２号に記載した特定色への置換及び３枚以上の画像を用いた補間によって柵１２等の遮蔽物を除去しても良い。

このように上記第３の実施の形態によれば、柵１２等の遮蔽物が存在しない領域に対して合焦推定を行うときに、すなわち、上記第１の実施の形態と同様に、上記図５に示すように、距離情報取得手段３００の合焦推定手段によって、例えば２つの撮像部１００、２００によりそれぞれ得られた複数の画像データ中における着目被写体が存在しない各第２の領域ｆａ１〜ｆａｎ、ｆｂ１〜ｆｂｎにおける距離情報に基づいて主要被写体に対する合焦推定を行うときに、被写体検出手段４００は、２つの撮像部１００、２００により取得された基準画像データＤｓ及び参照画像データＤｒと顔部位の特徴点を示すデータとに基づいて主要被写体である人物１１の例えば目、鼻、輪郭といった顔部位を認識し、この認識された顔部位に対して合焦推定を行い、この後に、遮蔽物の除去の動作を行う。

これにより、上記第１の実施の形態と同様に、主要被写体である人物１１の例えば目、鼻、輪郭といった顔部位を認識した後に合焦推定を行うので、主要被写体である人物１１に対して高精度に合焦推定を行うことができ、その上で、人物１１の撮影の邪魔となっていた柵１２等の遮蔽物を除去すると共に、除去部分の画像を、他の画像信号から補間して例えば図８に示すような画像データＤｔを生成することができる。又、所定の設定を予め済ませて撮影時に必要なオペレーションを簡素化することで、従来通りのオペレーションで撮影を可能としている。これによって、柵１２等の遮蔽物が存在する場面においても、スポーツシーンのような人物１１等の主要被写体にきちんとピントを合わせて撮影し、柵１２等の遮蔽物を除去した画像データＤｔを提供できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
例えば、上記各実施の形態では、２眼ステレオカメラの撮像装置に対して画像処理装置を備えた場合について説明したが、これに限らず、互いに異なる複数の視点位置から撮影された複数の画像データを入力し、これら画像データに基づいて柵１２等の遮蔽物を除去した画像データを取得する画像処理装置に適用してもよい。

又、被写体は、人物１１に限らず、例えば走行する電車や自動車等の乗り物や、飛行体等であってもよい。
被写体検出手段４００は、予め登録された顔部位の特徴点を示すデータに基づいて例えば顔部位における目、鼻、輪郭といった顔部位の構成要素に基づいて顔部位を認識しているが、これに限らず、特徴的な部分、例えば背番号等でもよい。

１１：人物、１２：柵、１００，２００：撮像部、３００：距離情報取得手段、４００：被写体検出手段、５００：画像生成手段、６００：一時記憶手段、７００：表示手段、８００：記憶手段、９００：設定手段、１０１：光学系、１０２：撮像素子、１０３：記憶手段、２０１：光学系、２０２：撮像素子、２０３：記憶手段、１００ａ：画像入力手段。

Claims (8)

1. 互いに異なる複数の視点位置から撮影された複数の画像データに基づいて被写体までの距離情報を求める距離情報取得手段と、
   前記距離情報取得手段によって得られた前記距離情報と主要被写体を遮蔽する着目被写体が存在するとする距離範囲の閾値情報とに基づいて前記複数の画像データ毎における前記着目被写体が存在する第１の領域と前記着目被写体が存在しない第２の領域とをそれぞれ検出する被写体検出手段と、
   前記複数の画像データ中における前記着目被写体が存在しない前記各第２の領域における前記距離情報に基づいて前記主要被写体に対する前記合焦推定を行う合焦推定手段と、
   を具備することを特徴とする合焦装置。
2. 前記距離情報取得手段は、連続的に取得される前記互いに異なる複数の視点位置から撮影された前記複数の画像データ毎に前記各距離情報を逐次求め、
   前記被写体検出手段は、前記連続的に取得される前記複数の画像データ毎に逐次前記第１の領域と前記第２の領域とをそれぞれ検出し、
   前記合焦推定手段は、前記被写体検出手段により逐次検出される前記各第２の領域における前記距離情報に基づいて逐次前記主要被写体に対する前記合焦推定を行う、
   ことを特徴とする請求項１記載の合焦装置。
3. 前記合焦推定手段は、前記着目被写体が存在しない前記各第２の領域における前記画像データを用いて山登り法により前記主要被写体に対する前記合焦推定を行う、
   ことを特徴とする請求項１記載の合焦装置。
4. 前記複数の画像データにおける前記主要被写体における複数の特徴点の類似性を指標とする複数の評価値を生成し、これら評価値の統合処理を行い、当該統合処理後の前記第２の領域における前記評価値によって当該第２の領域が前記主要被写体の部分であるか否かを認識する画像認識手段を有することを特徴とする請求項１記載の合焦装置。
5. 前記画像認識手段は、前記主要被写体における各部位の前記各評価値を生成して統合することを特徴とする請求項２記載の画像処理装置。
6. 前記画像認識手段は、前記主要被写体における各部位の前記評価値を生成して統合する前に、前記着目被写体による遮蔽領域の前記評価値を前記主要被写体の一部であると見做す処理を行うことを特徴とする請求項４記載の合焦装置。
7. 前記合焦推定手段により合焦推定を行った後、前記複数の画像データのうち１つの画像データを前記着目被写体の位置に基づいて２つの画像データに分離し、これら画像データに対して画像処理を行って前記着目被写体を除去した画像データを取得する画像生成手段を有することを特徴とする請求項１乃至４のうちいずれか１項記載の合焦装置。
8. 請求項１乃至７のうちいずれか１項記載の合焦装置を備えたことを特徴とする撮像装置。

Images