JP2013017096A - 撮像装置及び画像生成装置、及びそれらの制御方法、プログラム、及び記録媒体 - Google Patents

Abstract

【課題】両眼立体視用の左眼用及び右眼用の画像それぞれにおける所定の被写体の位置を検出する処理の処理負荷を低減する。
【解決手段】左眼用及び右眼用の画像を取得し、いずれか一方である第１の画像について、当該画像における所定の被写体の位置の情報、及び当該所定の被写体と左眼用及び右眼用の画像を撮影した撮像装置との距離の情報を取得する。そして、左眼用及び右眼用の画像のうち第１の画像と異なる第２の画像における所定の被写体の位置を、所定の被写体と撮像装置との距離に基づき算出された第１の画像における所定の被写体の位置からの位置ずれ量を決定する。さらに第１及び第２の画像のそれぞれについて、所定の被写体の位置に対応する位置にマーカ画像を重畳する。
【選択図】図６

Description

本発明は、両眼立体視用の画像にオブジェクトを重畳して、立体視可能に表示する技術に関する。

近年、ユーザが立体を知覚可能に構成された両眼立体視用の画像を表示可能な表示装置や、当該表示装置において表示可能な両眼立体視用の画像を撮影可能な撮像装置が、家庭用として販売されている。上述のような表示装置では、レンチキュラレンズによる光の屈折を利用する方法、時分割して表示された映像を液晶シャッタ眼鏡あるいは円偏光眼鏡等を用いて閲覧する方法等を採用しており、このような方法により左右の目に異なる画像を提示している。特許文献１には、このように両眼立体視用の画像を表示してユーザに立体を知覚させる際に、ＧＵＩ等のオブジェクトの立体感を、当該オブジェクトの使用頻度、重要度、あるいはユーザの嗜好等の情報を用いて変更する表示方法が開示されている。

また、両眼立体視画像に限らず、撮像装置を用いて画像の撮影を行う場合、例えば特許文献２のような、画角内に含まれている顔等の特定の被写体を検出し、当該被写体に合焦するように焦点レンズを駆動させて焦点調節を行う技術もある。撮像装置の中には、このように検出された特定の被写体について合焦していることを示すための合焦枠を画像に重畳して表示することで、合焦している被写体をユーザに通知するものもある。

特開２００５−０４９６６８号公報 特開２００３−１０７３３５号公報

しかしながら、上述したような立体視用の画像を撮影可能な撮像装置において、特許文献２のように合焦している被写体の顔に合焦枠を重畳して表示するためには、左眼用及び右眼用の画像それぞれに対して合焦枠を重畳する必要がある。

しかしながら、左眼用及び右眼用の画像それぞれについて顔検出を行って各画像内の合焦している顔の位置を検出すると、単眼のカメラの場合に比べて処理対象の画像数が倍になるため、顔検出処理に多くのリソースが必要になる。そのため、合焦枠を迅速に表示することができない。また、顔検出処理は顔の向きや光源との位置関係によっても検出結果が変わる可能性があるため、例えば左眼用の画像において検出された顔に対応する顔が、右眼用の画像においては検出されない可能性があり、立体視が破綻する可能性がある。

本発明は、上述の問題点に鑑みてなされたものであり、両眼立体視用の左眼用及び右眼用の画像それぞれにおける所定の被写体の位置を検出する処理の処理負荷を低減することを目的とする。

前述の目的を達成するために、本発明の画像生成装置は、以下の構成を備える。
左眼用及び右眼用の画像を取得する取得手段と、左眼用及び右眼用の画像のいずれか一方である第１の画像について、当該画像における所定の被写体の位置の情報、及び当該所定の被写体と左眼用及び右眼用の画像を撮影した撮像装置との距離の情報を取得する読み出し手段と、左眼用及び右眼用の画像のうちの第１の画像と異なる第２の画像における所定の被写体の位置を、所定の被写体と撮像装置との距離に基づき算出された第１の画像における所定の被写体の位置からの位置ずれ量を用いて決定する決定手段と、第１及び第２の画像のそれぞれについて、所定の被写体の位置と対応する位置にマーカ画像を重畳する重畳手段と、を備えることを特徴とする。

このような構成により本発明によれば、両眼立体視用の左眼用及び右眼用の画像それぞれにおける所定の被写体の位置を検出する処理の処理負荷を低減することが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 ＴＶ−ＡＦ方式におけるオートフォーカスの原理を説明するための図 本発明の実施形態１に係る合焦対象通知処理のフローチャート 撮像光学系の設定から被写体距離を推定するために用いられるテーブル 左眼用の画像における被写体に対応する位置を算出する原理を説明するための図 本発明の実施形態１に係る、マーカ画像が重畳された両眼立体視用の画像を示した図 本発明の実施形態２に係る合焦対象通知処理のフローチャート 本発明の実施形態２に係る、予め設定された焦点検出エリア、及び当該焦点検出エリアを立体視可能に重畳した両眼立体視用の画像を示した図

［実施形態１］
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像生成装置の一例としての、左眼用及び右眼用の撮像光学系を備え、両眼立体視用の画像を撮影可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、両眼立体視用の画像を取得し、左眼用及び右眼用の画像のそれぞれについて立体視可能なオブジェクトを重畳することが可能な任意の機器に適用可能である。

また、本明細書において、両眼立体視用の画像における左眼用及び右眼用の画像、または当該画像を撮像するために用いられる部材については、参照番号にＬ（Left）あるいはＲ（Right）を付すことにより、示すものとする。なお、左眼用及び右眼用の２種類が存在する場合であっても、Ｌ及びＲを省略した参照番号を用いて説明する場合は、その両方を指すものとする。

＜デジタルカメラ１００の機能構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。図１に示すように、デジタルカメラ１００は左眼用及び右眼用の撮像光学系１４０Ｌ及びＲを備え、それぞれの撮像光学系を用いて撮影された画像から、両眼立体視用の画像を生成する。

システム制御部１０１は、例えばＣＰＵであり、デジタルカメラ１００が備える各ブロックの動作を制御する。具体的にはデジタルカメラ１００は、例えばＲＯＭ１１３に記憶された、後述する合焦対象通知処理のプログラムを読み出し、ＳＤＲＡＭ１１２に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。

ＲＯＭ１１３は、書き換え不可能な不揮発性メモリであり、デジタルカメラ１００の動作プログラムの記憶領域として用いられる。またフラッシュＲＯＭ１１４は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において必要となるパラメータやデジタルカメラ１００の設定等の情報を記憶する。

ＳＤＲＡＭ１１２は、揮発性メモリであり、デジタルカメラ１００の動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に格納する格納領域としても用いられる。またＳＤＲＡＭ１１２は、本実施形態では記録用に撮影された画像データの一時的な記憶領域としても用いられる。

またＶＲＡＭ１１１は、後述する表示部１０６に表示する画像データ専用の一次記憶領域として用いられる揮発性メモリである。

撮像光学系１４０Ｌ及びＲは、上述したように本実施形態のデジタルカメラ１００において例えば眼間距離等、水平方向に所定の間隔（基線長）を有して配設され、左眼用及び右眼用の画像を撮像するために用いられる。図示されるように、それぞれの撮像光学系は、固定の第１群レンズ１４１、変倍レンズ１４２、絞り１４３、固定の第２群レンズ１４４、フォーカスコンペレンズ１４５、変倍レンズ駆動部１３８、絞り駆動部１３７、及びフォーカシング駆動部１３６を備える。

システム制御部１０１は、撮影環境におけるシーン解析、デジタルカメラ１００に設定されている撮影設定等の情報に基づいて、合焦動作、適正露出とするための調節動作、あるいはズーム位置への駆動動作を行う。このとき、システム制御部１０１は当該動作に必要となる変倍レンズ１４２、絞り１４３、あるいはフォーカスコンペレンズ１４５の駆動量あるいは駆動位置を決定し、変倍レンズ駆動部１３８、絞り駆動部１３７、あるいはフォーカシング駆動部１３６に伝送する。

変倍レンズ駆動部１３８、絞り駆動部１３７、及びフォーカシング駆動部１３６は、例えばステッピングモータ等の駆動制御部であり、入力された駆動量あるいは駆動位置に応じて、それぞれ撮像光学系の対応する部材の駆動制御を行う。なお、変倍レンズ１４２及びフォーカスコンペレンズ１４５は、対応する駆動部により、光軸上を前後に移動させられる。また絞り１４３は、入射光量を制御する例えばアイリス絞りであり、絞り駆動部１３７により開口量（絞り値）が変更される。

なお、本実施形態では撮像光学系１４０Ｌ及びＲは同様の光学特性を有する部材で構成されるものとし、撮像時には両方のズーム位置、開口量、及び合焦位置は同一の設定値になるように制御されているものとする。

また、合焦動作についてはシステム制御部１０１は、ＡＦ検出部１０７より算出されたＡＦ評価値を用いて、フォーカシング駆動部１３６に伝送する駆動量あるいは駆動位置を決定する。

ＡＦ検出部１０７は、ＴＶ−ＡＦ方式の焦点調節を行うために必要なＡＦ評価値を算出するブロックである。本実施形態では左眼用及び右眼用の撮像光学系の焦点調節は、右眼用の撮像光学系１４０Ｒを用いて撮像された画像データ（第１の画像）に基づいて実行されるものとする。これは、本実施形態のように２つの撮像光学系を有する場合、２つの撮像光学系を用いて撮像された画像それぞれについてＡＦ評価値を算出すると、処理負荷の増加や、左右の撮像光学系で異なる合焦状態となり立体視が不可能となる問題が生じうるからである。

ＡＦ検出部１０７は、後述する信号処理部１３１によりＹＵＶ色空間に変換された右眼用の撮像光学系を用いて撮像された画像データを取得し、ハイパスフィルタにより得られたＹ信号の高周波成分を用いて、予め定められた焦点検出エリアのＡＦ評価値を算出する。ＡＦ評価値と合焦位置の関係は、一般的に図２に示すような関係となり、システム制御部１０１はＡＦ検出部１０７より得られたＡＦ評価値が最大値となるようにフォーカシング駆動部１３６の駆動量あるいは駆動位置を決定するものとする。

ＣＭＯＳセンサ１３４は、デジタルカメラ１００が備える撮像素子であり、撮像光学系１４０により素子に結像された光学像を光電変換し、得られたアナログ画像信号を出力する。具体的には、撮像素子が備える各フォトダイオードは入射光量を信号電荷に変換し、当該蓄積された信号電荷はシステム制御部１０１の制御の下、ＴＧ１３５より与えられる駆動パルスに応じて画像信号を出力する。なお、本実施形態ではＣＭＯＳセンサを用いるものとして以下に説明するが、本発明の実施はこれに限らず、例えばＣＣＤ等の撮像素子により代替可能であることは理解されよう。

ＣＤＳ／ＡＧＣ１３３は、ＣＭＯＳセンサ１３４より出力された画像信号について、リセットノイズ（低周波）を除去する処理を行う相関二重サンプリング回路（ＣＤＳ）と、所定レベルに画像信号を増幅する処理を行うＡＧＣ回路で構成される。ＣＤＳ／ＡＧＣ１３３によって補正処理が適用された画像信号は、画像入力コントローラ１３２によりＶＲＡＭ１１１あるいはＳＤＲＡＭ１１２に格納される。

表示部１０６は、例えば小型ＬＣＤ等のデジタルカメラ１００が備える表示装置であり、表示制御部１０５により入力された画像信号を表示領域に表示する。本実施形態では表示部１０６は、レンチキュラレンズを備えた表示装置であり、対応形式の画像を表示することでユーザに裸眼で立体を知覚させることが可能であるものとする。表示制御部１０５は、表示部１０６に表示する画像信号を制御するためのブロックであり、ＣＤＳ／ＡＧＣ１３３、あるいは後述する記録媒体１０４より記録媒体制御部１０３によって読み出されてＶＲＡＭ１１１に出力された画像信号を表示部１０６に出力する。なお、ＣＤＳ／ＡＧＣ１３３ＲによりＶＲＡＭ１１１に出力された画像信号を表示部１０６に表示することにより、表示部１０６は電子ビューファインダとして機能する（スルー表示）。また表示制御部１０５は、表示部１０６において立体視可能に画像を表示させる場合、表示させる画像の水平方向に、左眼用及び右眼用の画像それぞれから取得した画像の水平ラインが交互に配置されるように合成した画像（対応形式の画像）を出力するものとする。

信号処理部１３１は、ＳＤＲＡＭ１１２に記憶されている画像信号に対して、色変換処理や符号化処理等の所定の画像処理を適用し、得られた画像データを再びＳＤＲＡＭ１１２に出力して記憶させる。例えば信号処理部１３１Ｒは、後述する被写体領域検出部１２１において被写体における顔画像の領域を検出するために、ＣＭＯＳセンサ１３４Ｒより出力されたＲＧＢ色空間の画像信号を、輝度信号Ｙ及び色差信号Ｃｒ、ＣｂからなるＹＵＶ色空間に変換する。

また信号処理部１３１は、表示部１０６に表示させる画像について、文字列や図形等のマーカ画像を重畳する場合は、当該画像に係る画像データにマーカ画像のＧＵＩデータを重畳する合成処理を行う。本実施形態では、撮影画角内に含まれる人物の顔を後述する被写体領域検出部１２１において検出した後、当該顔に合焦した場合は、合焦したことを識別可能に示すために合焦枠（マーカ画像）を当該顔の領域に重畳して表示するものとする。このとき、当該合焦した顔と合焦枠とが同一の奥行きに存在するようにユーザに知覚させるため、システム制御部１０１は、左眼用及び右眼用の信号処理部１３１Ｌ及びＲのそれぞれについて異なる位置に合焦枠が重畳されるように重畳位置を制御するものとする。

なお、以下では信号処理部１３１は、後述する被写体領域検出部１２１により検出された顔のうち、合焦した顔に対して合焦枠を重畳して表示するものとして説明するが、本発明の実施はこれに限らない。例えば、被写体領域検出部１２１により検出された顔について顔が検出されたことを識別可能に示す、所謂顔枠を重畳させてもよい。即ち、本発明は左眼用及び右眼用の画像それぞれに対し、画像内の所定の被写体について任意のオブジェクトを立体視可能に重畳する際に、一方の画像における重畳位置を、他方の画像における重畳位置と画像を撮像した際の当該被写体とデジタルカメラ１００との距離に基づいて算出するものであればよい。

被写体領域検出部１２１は、撮影画角内に含まれる人物の顔を検出する際に用いられるブロックである。被写体領域検出部１２１は、信号処理部１３１ＲによりＹＵＶ色空間に変換された画像データうちのＹ成分の画像データに対して、水平方向及び垂直方向のバンドパスフィルタを適用することにより画像データのエッジ成分を抽出する。そして被写体領域検出部１２１は、エッジ成分が抽出された画像データについて、人物の顔が含まれる領域を、予め設定された顔パターンについてのマッチング処理により検出する。このようにして検出された撮影画角内の人物の顔が含まれる領域の情報は、例えばシステム制御部１０１に伝送され、合焦を行うエリア（焦点検出エリア）として新たに設定されるものとする。また、検出された顔について合焦を行う（顔ＡＦ）場合は、当該顔を適正露出とする顔ＡＥ、当該顔の輝度が適切となるフラッシュ光量を決定する顔ＦＥ、あるいは顔領域の色度が所定の色度となるようにホワイトバランスを決定する顔ＷＢ処理がなされてもよい。

なお、本実施形態ではスルー画像として表示部１０６に表示される画像信号に係る画像データから、人物の顔の位置を検出するものとして説明するが、被写体領域検出部１２１は記録されている画像データについて人物の顔の位置を検出する場合に用いられてもよい。また、被写体領域検出部１２１は撮影画角内に含まれる全ての人物の顔を検出するのではなく、予め登録された顔のみを検出する構成であってもよい。さらに、被写体領域検出部１２１が検出する対象は人物の顔に限らず、例えば動物やボール等を予め検出対象として登録し、当該検出対象の特徴量に一致する領域を検出するようにしてもよい。検出対象の登録は、例えばデジタルカメラ１００の表示部１０６がタッチパネルセンサを備えるタッチディスプレイである場合は、タッチ入力により示された座標に存在する被写体像を検出対象あるいは追尾対象として登録してもよい。

シャッタボタン１０８及び操作部１０９は、ユーザによってなされた操作等を検出し、対応する制御信号をシステム制御部１０１に出力する、デジタルカメラ１００が備えるユーザインタフェースである。例えばシャッタボタン１０８は、半押し状態とされることにより第１シャッタスイッチ（ＳＷ１）信号をシステム制御部１０１に伝送し、これに応じてシステム制御部１０１は、被写体検出処理を含む合焦動作、及び適正露出とするための撮影準備動作を実行する。またシャッタボタン１０８は、全押し状態とされることにより第２シャッタスイッチ（ＳＷ２）信号をシステム制御部１０１に伝送し、システム制御部１０１はこれに応じて記録用の静止画像の本撮影処理を実行する。

記録媒体１０４は、例えばメモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続された記録装置であり、記録媒体制御部１０３によりデータの読み書きが制御される。なお、上述したＳＷ２信号を受けて撮影された記録用の静止画像のデータは、記録媒体制御部１０３により記録媒体１０４に記録される。

＜合焦対象通知処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の合焦対象通知処理について、図３のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、システム制御部１０１が、例えばＲＯＭ１１３に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１１２に展開して実行することにより実現することができる。なお、本合焦対象通知処理は、例えばデジタルカメラ１００の電源がＯＮ状態にされ、コンティニュアスＡＦ動作が実行される際に開始され、繰り返し実行されるものとして説明する。

Ｓ３０１で、システム制御部１０１は、ＣＭＯＳセンサ１３４Ｌ及びＲに撮像動作を実行させ、左眼用及び右眼用の画像データをＳＤＲＡＭ１１２に出力させる。

Ｓ３０２で、システム制御部１０１は、右眼用の画像データ（第１の画像）の撮影画角内に人物の顔が含まれているか否かを判断する。具体的にはシステム制御部１０１は、右眼用の画像データを信号処理部１３１ＲにＹＵＶ色空間に変換させ、得られた画像データを被写体領域検出部１２１に伝送し、人物の顔が含まれる領域を検出させる。システム制御部１０１は、被写体領域検出部１２１が人物の顔を検出した場合は処理をＳ３０３に移し、検出されなかった場合は処理をＳ３１１に移す。

Ｓ３０３で、システム制御部１０１は、被写体領域検出部１２１により検出された人物の顔の領域の座標及びサイズを取得し、例えばＳＤＲＡＭ１１２に記憶させる。またＳ３０４で、システム制御部１０１は、検出された人物の顔領域を、合焦評価エリアとして設定する。合焦評価エリアとは、上述したように、ＡＦ検出部１０７においてＡＦ評価値を算出させる領域である。

Ｓ３０５で、システム制御部１０１は、右眼用の画像データ内の設定された合焦評価エリアについてＡＦ検出部１０７にＡＦ評価値を算出させ、当該合焦評価エリアに置いて合焦しているか否かを判断する。具体的にはシステム制御部１０１は、ＡＦ評価値に応じて合焦する方向にフォーカスコンペレンズ１４５Ｒを駆動させる動作を、所定回数または所定時間実行した後、当該レンズ位置の移動範囲が所定の閾値に収まる場合に合焦していると判断する。システム制御部１０１は、設定された合焦評価エリアに合焦していると判断した場合は処理をＳ３０６に移し、合焦していないと判断した場合は処理をＳ３０９に移す。

Ｓ３０６で、システム制御部１０１は、左眼用の画像データ（第２の画像）における設定された合焦評価エリアに対応する領域、即ち人物の顔が存在する領域の座標を算出する。

具体的には、まずシステム制御部１０１は、合焦した際のフォーカスコンペレンズ１４５Ｒの位置及び変倍レンズ１４２Ｒの位置の情報から、図４に示すようなカムテーブルを用いて合焦評価エリアの被写体までの距離Ｌを取得する（測距）。図４のカムテーブルは、フォーカスコンペレンズ１４５Ｒ及び変倍レンズ１４２Ｒが駆動される位置の組み合わせについて予め計測した被写体距離をプロットすることにより得られた曲線を示している。なお、本実施形態ではこのようなカムテーブルを用いて合焦評価エリアの被写体までの距離を取得するものとして説明するが、本発明の実施はこれに限らないことは容易に理解されよう。例えば、被写体までの距離の取得には瞳分割画像を用いた位相差検出方式や、超音波センサ等の距離測定用のセンサ等、被写体との距離を計測あるいは算出可能な他の構成により代替可能である。

システム制御部１０１は、得られた被写体との距離Ｌ、焦点距離ｆ、基線長Ｂ、及びＣＭＯＳセンサ１３４Ｒの画素ピッチｐの値を用いて、右眼用の画像データにおける被写体の位置と左眼用の画像データにおける被写体の位置の水平方向のシフト量Ｘを算出する。ここで、図５のように右眼用の画像データの画角の中央に被写体５０１がとらえられる場合を例として、水平方向のシフト量の算出方法について説明する。このとき、左眼用の画像データを撮像するＣＭＯＳセンサ１３４Ｌにおいて当該被写体５０１の像が結像される位置は図のように、ＣＭＯＳセンサ１３４Ｒから遠離する方向となる。即ち、左眼用の画像データにおける被写体５０１の領域の位置は、右眼用の画像データにおける位置よりも右側に移動する事になる。このときの水平方向の位置ずれ量であるシフト量Ｘ（画素数）は、図からも明らかなように両撮像光学系の中心と被写体とがなす角度の比を用いて
として表すことができる。なお、当該水平方向のシフト量は、被写体との距離に応じて決まるものであり、同じ距離にいると判定された被写体が他に存在する場合、当該他の被写体についての水平方向のシフト量は同一の値となることは理解されよう。

システム制御部１０１はこのように算出された、合焦した合焦評価エリアの水平方向のシフト量を用いて、左眼用の画像データにおける合焦している合焦評価エリアの座標値を算出し、ＳＤＲＡＭ１１２に記憶させる。

Ｓ３０７で、システム制御部１０１は、ＳＤＲＡＭ１１２に記憶されている左眼用及び右眼用の合焦した合焦評価エリアの座標情報に基づいて、当該座標に対応する位置に合焦枠のＧＵＩを重畳させた画像データを信号処理部１３１Ｌ及びＲに生成させる。そしてシステム制御部１０１は、生成された画像データをＳＤＲＡＭ１１２に記憶させる。このようにして合焦枠が重畳された左眼用の画像データ及び右眼用の画像データは、図６のようになる。

Ｓ３０８で、システム制御部１０１は表示制御部１０５を制御し、ＳＤＲＡＭ１１２に記憶されている合焦枠が重畳された左眼用及び右眼用の画像データを、立体視可能な状態で表示部１０６に表示させ、本合焦対象通知処理を完了する。

またＳ３０５において合焦評価エリアに合焦していないと判断した場合、システム制御部１０１は、Ｓ３０９でＳＤＲＡＭ１１２に記憶されている左眼用及び右眼用の画像データを、立体視可能な状態で表示部１０６に表示させる。

Ｓ３１０で、システム制御部１０１は、合焦評価エリアに合焦するように、ＡＦ評価値に基づいて決定した駆動量あるいは駆動位置の情報に基づいて、フォーカシング駆動部１３６Ｌ及びＲにフォーカスコンペレンズ１４５Ｌ及びＲを駆動させる。具体的にはシステム制御部１０１は、ＹＵＶ色空間に変換された右眼用の画像データをＡＦ検出部１０７に出力し、設定されている合焦評価エリアについてＡＦ評価値を算出させる。そしてシステム制御部１０１は、算出されたＡＦ評価値と合焦動作中のＡＦ評価値の履歴の情報とから、合焦評価エリアの被写体に合焦するフォーカスコンペレンズ１４５の方向と駆動量、あるいは駆動位置を決定する。なお、ＡＦ評価値の値の履歴はコンティニュアスＡＦ動作の間はＳＤＲＡＭ１１２に蓄積されるものとし、システム制御部１０１はＳＤＲＡＭ１１２に蓄積されたＡＦ評価値の履歴から、ＡＦ評価値がピークに近づくように駆動量あるいは駆動位置を決定する。そしてシステム制御部１０１は、フォーカスコンペレンズ１４５の駆動後、本合焦対象通知処理を完了し、新たなフォーカスコンペレンズ１４５の位置について合焦対象通知処理を実行する。

またＳ３０２において顔領域が検出されていない場合、システム制御部１０１は、Ｓ３１１でＳＤＲＡＭ１１２に記憶されている左眼用及び右眼用の画像データを、立体視可能な状態で表示部１０６に表示させ、本合焦対象通知処理を完了する。

以上説明したように、本実施形態の画像生成装置は、両眼立体視用の左眼用及び右眼用の画像それぞれにおける所定の被写体の位置を検出する処理の処理負荷を低減することができる。具体的には画像生成装置は、左眼用及び右眼用の画像を取得し、いずれか一方である第１の画像について、当該画像における所定の被写体の位置の情報、及び当該所定の被写体と左眼用及び右眼用の画像を撮影した撮像装置との距離の情報を取得する。そして、左眼用及び右眼用の画像のうち第１の画像と異なる第２の画像における所定の被写体の位置を、所定の被写体と撮像装置との距離に基づき算出された第１の画像における所定の被写体の位置からの位置ずれ量を決定する。さらに第１及び第２の画像のそれぞれについて、所定の被写体の位置に対応する位置にマーカ画像を重畳する。

このようにすることで、撮影画角内に検出された被写体に合焦した際に合焦枠を重畳して立体視可能に表示する場合、被写体と同じ奥行き位置に合焦枠があるようにユーザに知覚させることができるため、ユーザは合焦対象を容易に理解することができる。

［実施形態２］
上述した実施形態では、撮影画角内において検出された顔領域に合焦した場合に、当該顔領域の被写体と同一の奥行き位置に合焦枠が存在していると知覚されるように、左眼用及び右眼用の画像データにおける合焦枠の重畳位置を制御する方法について説明した。本実施形態では、撮影画角内に人物の顔が検出されない場合に、１以上の予め定められた焦点検出エリアについて合焦動作を行い、合焦した焦点検出エリアの情報を立体視可能に表示部１０６に表示する方法について説明する。

なお、デジタルカメラ１００には、予め定められた１以上の焦点検出エリアとして図８（ａ）に示すような９つの焦点検出エリア８０１乃至８０９が設定されているものとする。本実施形態では、コンティニュアスＡＦ動作において人物の顔が検出されない状態で、ＳＷ１信号をシステム制御部１０１が受信した場合、現在設定されているフォーカス優先領域の情報に従い決定された焦点検出エリアを、合焦評価エリアとして合焦動作を行う。

＜合焦対象通知処理＞
以下、上述の実施形態１と同様の構成を有する本実施形態のデジタルカメラ１００の合焦対象通知処理について、図７のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、システム制御部１０１が、例えばＲＯＭ１１３に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１１２に展開して実行することにより実現することができる。なお、本合焦対象通知処理は、例えばコンティニュアスＡＦ動作中に人物の顔が検出されていない状態で、ユーザがシャッタボタンを操作することによって撮影準備指示であるＳＷ１信号をシステム制御部１０１が受信した場合に開始されるものとして説明する。

Ｓ７０１で、システム制御部１０１は、例えばＲＯＭ１１３に記憶されている、現在の撮影モードについて予め設定されているフォーカス優先領域情報を取得する。そしてシステム制御部１０１は、予め設定されている焦点検出エリアのうち、合焦評価エリアとする焦点検出エリアを、当該フォーカス優先領域情報に基づいて決定する。

なお、本実施形態では右眼用の画像データの撮影範囲に予め設定されている焦点検出エリアの全てを合焦評価エリアとする、所謂ＡｉＡＦを実行することがフォーカス優先領域情報に含まれているものとする。即ち、本実施形態のデジタルカメラ１００では、両眼立体視用の画像データの撮影を行う際に、右眼用の画像データ内の全ての焦点検出エリアに含まれる被写体について焦点検出を行い、所定の条件を満たした複数の被写体について合焦枠を重畳して表示する。

しかしながら、本発明の実施はこれに限らず、フォーカス優先領域情報に基づいて決定される合焦評価エリアは、予め設定されている焦点検出エリアのうち、少なくとも１つの焦点検出エリアであればよい。例えば、右眼用の画像データの画角中央の被写体について合焦する、所謂中央固定方式であることを示す情報が、フォーカス優先領域情報に含まれていてもよい。この場合、フォーカス優先領域情報に基づいて決定する焦点検出エリアは、図８（ａ）に示され右眼用の撮像光学系の撮像範囲における焦点検出エリアのうち、中央に位置する焦点検出エリア８０５が合焦評価エリアとして選択される。

Ｓ７０２からＳ７０４のステップでは、システム制御部１０１は、合焦評価エリアに合焦するフォーカスコンペレンズ１４５の位置を検出するために、実際にフォーカスコンペレンズ１４５を駆動しながらＡＦ評価値を算出するサーチ動作を行う。当該サーチ動作においてフォーカスコンペレンズ１４５を駆動させる範囲は、駆動可能な全範囲であってもよいし、全ての合焦評価エリアについてＡＦ評価値の極大値が存在すると判断可能な所定の範囲であってもよい。なお、合焦位置を検出するために駆動するフォーカスコンペレンズ１４５の駆動位置は、当該検出動作に要する時間を短縮するために、所定の間隔おきに存在する駆動位置、あるいはランダムに決定された駆動位置が選択されるものとして以下は説明する。

Ｓ７０２で、システム制御部１０１は、合焦評価エリアについてのＡＦ評価値が未算出であるフォーカスコンペレンズ１４５の駆動位置を決定し、フォーカシング駆動部１３６にフォーカスコンペレンズ１４５を当該駆動位置まで駆動（合焦位置を変化）させる。そして、システム制御部１０１は、ＡＦ評価値算出のためにＣＭＯＳセンサ１３４Ｌ及びＲに撮像動作を実行させ、左眼用及び右眼用の画像データをＳＤＲＡＭ１１２に出力させる。

Ｓ７０３で、システム制御部１０１は、現在のフォーカスコンペレンズ１４５の駆動位置において、右眼用の画像データ内の設定された各合焦評価エリアについてＡＦ検出部１０７にＡＦ評価値を算出させ、当該ＡＦ評価値を履歴としてＳＤＲＡＭ１１２に記憶する。

また本ステップにおいて、システム制御部１０１は、合焦評価エリアとして設定されている全ての焦点検出エリアを含む大領域合焦評価エリアについても、ＡＦ評価値を算出し、履歴としてＳＤＲＡＭ１１２に記憶する。この大領域合焦評価エリアのＡＦ評価値は、ＡｉＡＦにおいて合焦位置とみなすフォーカスコンペレンズ１４５の位置を決定するため用いられる。

なお、本実施形態では大領域合焦評価エリアとして、９つの焦点検出エリアのすべてを含む領域を設定するものとして説明するが、例えば複数の焦点検出エリアを足し合わせた領域を、大領域合焦評価エリアとして使用してもよい。また合焦位置は、大領域合焦評価エリアを設けず、複数の合焦評価エリアのうち、ＡＦ評価値の極大値が最大のエリア、あるいは極大値となる合焦位置が最も短い（または長い）エリア等、所定の条件により選択された合焦評価エリアに基づいて決定してもよい。

Ｓ７０４で、システム制御部１０１は、サーチ動作においてフォーカスコンペレンズ１４５を駆動させる範囲に含まれる全ての駆動位置についてＡＦ評価値の算出し、サーチ動作が終了したか否かを判断する。あるいはシステム制御部１０１は、大領域合焦評価エリアを含む全ての合焦評価エリアにおけるＡＦ評価値が極大となるフォーカスコンペレンズ１４５の範囲を検出し、サーチ動作が終了したか否かを判断する。

Ｓ７０５で、システム制御部１０１は、サーチ動作中の大領域合焦評価エリアのＡＦ評価値の履歴に基づいて、フォーカスコンペレンズ１４５の駆動位置（代表合焦位置）を決定する。具体的にはシステム制御部１０１は、大領域合焦評価エリアにおいて算出されたＡＦ評価値の最大値と、当該最大値が得られたフォーカスコンペレンズ１４５Ｒの直前及び直後の駆動位置におけるＡＦ評価値とを用いて、極大値が得られる合焦位置を決定する。そしてシステム制御部１０１は、当該合焦位置の情報に従い、フォーカシング駆動部１３６Ｌ及びＲにフォーカスコンペレンズ１４５Ｌ及びＲを駆動させる。

Ｓ７０６で、システム制御部１０１は、Ｓ７０５で決定された合焦位置において、合焦していると判断する合焦評価エリア、即ち合焦枠を重畳表示する合焦枠重畳エリアを決定する。具体的には、まずシステム制御部１０１は、サーチ動作中の全ての合焦評価エリアについてのＡＦ評価値の履歴に基づいて、各合焦評価エリアのＡＦ評価値が極大値となる駆動位置を算出する。そしてシステム制御部１０１は、合焦位置における被写界深度内に算出したＡＦ評価値の極大値が存在する合焦評価エリアを、合焦枠重畳エリアとして決定する。なお、合焦位置における被写界深度の情報は、例えばＲＯＭ１１３に予め記憶されているものとする。

また、本実施形態では、被写界深度内にＡＦ評価値の極大値が存在する全ての合焦評価エリアについて、合焦していることを通知するための合焦枠を重畳するものとして説明するが、本発明の実施はこれに限らない。例えば、接写モード等、サーチ動作におけるフォーカスコンペレンズ１４５の駆動範囲が所定の範囲に予め設定されている場合は、サーチ範囲内でＡＦ評価値の極大値が検出された全ての合焦評価エリアについて合焦枠を重畳するように決定してもよい。

Ｓ７０７で、システム制御部１０１は、左眼用の画像データにおける合焦枠重畳エリアに対応する領域、即ち合焦枠を重畳する位置の座標を算出し、ＳＤＲＡＭ１１２に記憶する。なお、本ステップで行われる座標算出処理は、上述した実施形態１の合焦対象通知処理のＳ３０６と同様であるため、説明を省略する。

Ｓ７０８で、システム制御部１０１は、合焦枠を重畳する画像を取得するために、ＣＭＯＳセンサ１３４Ｌ及びＲに撮像動作を実行させ、左眼用及び右眼用の画像データをＳＤＲＡＭ１１２に出力させる。そしてシステム制御部１０１は、ＳＤＲＡＭ１１２に記憶されている左眼用の画像データにおける合焦枠を重畳する位置の座標、及びＳ７０６で決定された合焦枠重畳エリアの情報に基づいて、合焦枠を重畳した画像データを信号処理部１３１に生成させるそしてシステム制御部１０１は、生成された画像データを１１２に記憶させる。例えば、図８（ａ）のように右眼用の画像データにおいて焦点検出エリアが設定されており、合焦位置における被写界深度内で、焦点検出エリア８０４、８０８、８０９がＡＦ評価値の極大値を有する場合、左眼用及び右眼用の画像データは図８（ｂ）のようになる。

Ｓ７０９で、システム制御部１０１は表示制御部１０５を制御し、ＳＤＲＡＭ１１２に記憶されている合焦枠が重畳された左眼用及び右眼用の画像データを、立体視可能な状態で表示部１０６に表示させる。

Ｓ７１０で、システム制御部１０１は、ユーザがシャッタボタン１０８を操作することにより本撮影の指示がなされたか否かを判断する。具体的にはシステム制御部１０１は、本ステップにおいてＳＷ２信号を受信したか否かにより、本撮影の指示の有無を判断する。システム制御部１０１は、本撮影指示がなされたと判断した場合は処理をＳ７１１に移し、なされていないと判断した場合は処理をＳ７１３に移す。

Ｓ７１１で、システム制御部１０１は、現在の合焦位置及び撮影設定で撮影処理を実行し、得られた両眼立体視用の画像データを記録媒体制御部１０３を介して記録媒体１０４に記録する。

そしてＳ７１２で、システム制御部１０１は、表示部１０６に表示させる左眼用及び右眼用の画像データについての合焦枠の重畳を中止し、本合焦対象通知処理を完了する。

またＳ７１０で本撮影指示がなされていないと判断した場合、システム制御部１０１はＳ７１３で、撮影準備指示であるＳＷ１信号が継続して入力されているか否かを判断する。システム制御部１０１は、ＳＷ１信号が継続して入力されていると判断した場合は処理をＳ７０８に戻し、入力されていないと判断した場合は処理をＳ７１２に移す。

このように、人物の顔等の被写体が検出されなかった場合は、デジタルカメラ１００に設定されているフォーカス優先領域の情報に従って選択された合焦評価エリアについて焦点検出を行い、合焦したエリアに合焦枠を立体視可能に重畳することができる。なお、本実施形態では被写体が検出されずに撮影準備指示がなされた場合に予め定められた焦点検出エリアについて焦点検出を行う場合の動作について説明したが、本発明の実施はこれに限らない。即ち、被写体が検出されている場合は、撮影準備指示がなされた際に上述した実施形態１のコンティニュアスＡＦ動作と同様に被写体に対して合焦枠を、立体視可能に重畳して表示すればよい。

また、デジタルカメラ１００を用いて動画撮影を行っている場合は、焦点検出のためにフォーカスコンペレンズ１４５を駆動させる動作等は不可能であるため、焦点距離が検出可能な被写体についてのみ合焦枠を立体視可能に重畳した画像を表示すればよい。

なお、上述した実施形態１及び２では、左眼用及び右眼用の２つの撮像光学系を有する撮像装置において、表示装置に立体視可能に表示されるスルー画像に対して、合焦枠を重畳する方法について説明したが、本発明の実施はこれに限らない。即ち、本発明は撮像装置に限らず、両眼立体視用の画像データに対し、当該画像データに含まれる合焦位置及び当該合焦位置に存在する被写体と撮像装置との距離の情報を用いて、合焦枠を立体視可能に重畳可能な画像処理装置にも適用することができる。合焦位置及び当該合焦位置に存在する被写体と撮像装置との距離の情報は、例えば静止画像の場合はＥｘｉｆ（Exchangeable Image File Format）、動画像の場合はＡＶＣＨＤ（Advanced Video Codec High Definition）規格に準拠したファイルヘッダ等から読み出すものとする。

また、システム制御部１０１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず、複数の画像を同時に表示するように制御可能な表示制御装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 撮像装置であって、
   撮像光学系を用いて、左眼用及び右眼用の画像を撮像する撮像手段と、
   前記左眼用及び右眼用の画像のいずれか一方である第１の画像における、所定の被写体の位置を検出する検出手段と、
   前記所定の被写体と前記撮像装置との距離を取得する測距手段と、
   前記左眼用及び右眼用の画像のうちの前記第１の画像と異なる第２の画像における前記所定の被写体の位置を、前記所定の被写体と前記撮像装置との距離に基づいて算出された前記第１の画像における前記所定の被写体の位置からの位置ずれ量を用いて決定する決定手段と、
   前記第１及び第２の画像のそれぞれについて、前記所定の被写体の位置と対応する位置にマーカ画像を重畳する重畳手段と、
   を備えることを特徴とする撮像装置。
2. 前記検出手段は、前記第１の画像における、人物の顔領域の位置を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、前記第１の画像における、予め追尾対象として設定された被写体の位置を検出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記検出手段により前記所定の被写体の位置が検出されなかった場合に、
   前記測距手段は、前記第１の画像において予め設定された１以上の焦点検出エリアのそれぞれに含まれる被写体について、各被写体と前記撮像装置との距離を取得し、
   前記決定手段は、前記第２の画像における前記各被写体の位置を、前記各被写体と前記撮像装置との距離に基づいて算出された前記第１の画像における前記１以上の焦点検出エリアのそれぞれの位置からの位置ずれ量を用いて決定し、
   前記重畳手段は、前記第１及び第２の画像のそれぞれについて、前記各被写体の位置と対応する位置にマーカ画像を重畳する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記撮像光学系の合焦位置を変化させる駆動手段をさらに備え、
   前記検出手段により前記所定の被写体の位置が検出された場合に、
   前記駆動手段は、前記第１の画像について、前記撮像光学系の合焦位置を所定の範囲で変化させながら、前記所定の被写体の合焦に関する評価値を算出し、当該評価値が最大になる合焦位置を検出することにより前記所定の被写体に合焦する合焦位置を検出し、前記撮像光学系の合焦位置を当該検出された合焦位置に変化させ、
   前記測距手段は、前記検出された前記所定の被写体に合焦する合焦位置に基づいて前記所定の被写体と前記撮像装置との距離を取得し、
   前記重畳手段は、前記撮像光学系の合焦位置が前記検出された合焦位置に変化した後に、前記マーカ画像の重畳を行い、
   前記検出手段により前記所定の被写体の位置が検出されなかった場合に、
   前記駆動手段は、前記第１の画像について、前記撮像光学系の合焦位置を所定の範囲で変化させながら、前記各被写体の合焦に関する評価値を算出し、当該評価値が最大になる合焦位置を検出することにより前記各被写体に合焦する合焦位置を検出するとともに、前記予め定められた焦点検出エリアについて代表合焦位置を決定して前記撮像光学系の合焦位置を当該代表合焦位置に変化させ、
   前記測距手段は、前記検出された前記各被写体に合焦する合焦位置に基づいて前記各被写体と前記撮像装置との距離を取得し、
   前記重畳手段は、前記撮像光学系の合焦位置が前記代表合焦位置に変化した後に、前記各被写体のうち、前記所定の範囲に合焦位置が含まれる被写体あるいは前記代表合焦位置における被写界深度の範囲に合焦位置が含まれる被写体に対して、前記マーカ画像の重畳を行う
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記代表合焦位置は、前記１以上の予め設定された焦点検出エリアに含まれる被写体のうち、少なくとも１つの被写体に合焦する合焦位置であることを特徴とする請求項５に記載の撮像装置。
7. 前記代表合焦位置は、前記１以上の予め設定された焦点検出エリアの全てを含む領域について算出された、当該領域に含まれる被写体の合焦に関する評価値が最大になる合焦位置であることを特徴とする請求項５に記載の撮像装置。
8. 左眼用及び右眼用の画像を取得する取得手段と、
   前記左眼用及び右眼用の画像のいずれか一方である第１の画像について、当該画像における所定の被写体の位置の情報、及び当該所定の被写体と前記左眼用及び右眼用の画像を撮影した撮像装置との距離の情報を取得する読み出し手段と、
   前記左眼用及び右眼用の画像のうちの前記第１の画像と異なる第２の画像における前記所定の被写体の位置を、前記所定の被写体と前記撮像装置との距離に基づき算出された前記第１の画像における前記所定の被写体の位置からの位置ずれ量を用いて決定する決定手段と、
   前記第１及び第２の画像のそれぞれについて、前記所定の被写体の位置と対応する位置にマーカ画像を重畳する重畳手段と、
   を備えることを特徴とする画像生成装置。
9. 撮像装置の制御方法であって、
   撮像手段が、撮像光学系を用いて、左眼用及び右眼用の画像を撮像する撮像工程と、
   検出手段が、前記左眼用及び右眼用の画像のいずれか一方である第１の画像における、所定の被写体の位置を検出する検出工程と、
   測距手段が、前記所定の被写体と前記撮像装置との距離を取得する測距工程と、
   決定手段が、前記左眼用及び右眼用の画像のうちの前記第１の画像と異なる第２の画像における前記所定の被写体の位置を、前記所定の被写体と前記撮像装置との距離に基づいて算出された前記第１の画像における前記所定の被写体の位置からの位置ずれ量を用いて決定する決定工程と、
   重畳手段が、前記第１及び第２の画像のそれぞれについて、前記所定の被写体の位置と対応する位置にマーカ画像を重畳する重畳工程と、
   を備えることを特徴とする撮像装置の制御方法。
10. 撮像装置が備えるコンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
11. 撮像装置が備えるコンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記録された記録媒体。
12. 取得手段が、左眼用及び右眼用の画像を取得する取得工程と、
    読み出し手段が、前記左眼用及び右眼用の画像のいずれか一方である第１の画像について、当該画像における所定の被写体の位置の情報、及び当該所定の被写体と前記左眼用及び右眼用の画像を撮影した撮像装置との距離の情報を取得する読み出し工程と、
    決定手段が、前記左眼用及び右眼用の画像のうちの前記第１の画像と異なる第２の画像における前記所定の被写体の位置を、前記所定の被写体と前記撮像装置との距離に基づき算出された前記第１の画像における前記所定の被写体の位置からの位置ずれ量を用いて決定する決定工程と、
    重畳手段が、前記第１及び第２の画像のそれぞれについて、前記所定の被写体の位置に対応する位置にマーカ画像を重畳する重畳工程と、
    を備えることを特徴とする画像生成装置の制御方法。
13. コンピュータに、請求項１２に記載の画像生成装置の制御方法の各工程を実行させるためのプログラム。
14. コンピュータに、請求項１２に記載の画像生成装置の制御方法の各工程を実行させるためのプログラムが記録された記録媒体。