JP2010068182A - ３次元撮影装置および方法並びにプログラム - Google Patents

Abstract

【課題】複数の画像の３次元表示を行う際に、煩雑な計算を行うことなく、立体視を簡易かつ適切に行うことができるようにする。
【解決手段】撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２に、３次元処理部３０が３次元処理を行って、モニタ２０に３次元表示する。撮影制御部２２がＡＦ処理を行って合焦領域を検出すると、合焦領域の水平方向の位置が所定の視差量となるように、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。
【選択図】図１

Description

本発明は、３次元表示のための複数の画像を撮影する３次元撮影装置および方法並びに３次元撮影方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて３次元表示することにより、視差を利用して立体視できることが知られている。このような立体視は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を３次元表示することにより生成することができる。

具体的には、裸眼平衡法により立体視を実現する方式の場合、複数の画像を並べて配置して３次元表示を行うことができる。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して３次元表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、３次元表示された画像を目の自動焦点機能により融合視することにより、立体視を行うことができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な３次元表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、３次元表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、３次元表示を行う方式も提案されている（スキャンバックライト方式）。

また、このような３次元表示を行うための撮影を行う、複数の撮影部を有する複眼カメラが提案されている。このような複眼カメラは３次元表示モニタを備え、複数の撮影部が取得した画像から３次元表示用画像を生成し、生成した３次元表示用画像を３次元表示モニタに３次元表示することができる。

また、複眼カメラにおいて、露光量を異ならせて撮影を行うとともに、各撮影部のＡＦ情報を取得し、複数の画像から距離情報を算出し、視差が同じで露光量が異なる複数の画像を、距離情報およびＡＦ情報に基づき推定した主要被写体に重み付けするように階調変換して合成することにより、広いダイナミックレンジを有する３次元表示用画像を生成する手法が提案されている（特許文献１参照）。また、距離に応じて明るさを異ならせることにより、画像を立体的に表示する手法も提案されている（特許文献２参照）。
特開２００３−１８６１７号公報 特開２００６−２７０５８０号公報

しかしながら、上記特許文献１に記載された手法においては、画像から距離情報を算出し、距離情報を用いて立体視を良好に行うことができるようにするものであり、距離情報を算出するために複数の画像間の対応点を検出する等の処理を行う必要がある。このため、立体視を適切に行うために煩雑な演算を行う必要があり、その結果、演算に長時間を要するものとなる。また、上記特許文献２に記載された手法は、画像を立体的に表示するものであり、３次元表示を行うものではない。

本発明は上記事情に鑑みなされたものであり、複数の画像の３次元表示を行う際に、煩雑な計算を行うことなく、立体視を簡易かつ適切に行うことができるようにすることを目的とする。

本発明による第１の３次元撮影装置は、互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段と、
前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出する領域検出手段と、
前記複数の画像における前記共通領域の視差量に対応する情報を算出する視差量算出手段とを備えたことを特徴とするものである。

「撮影条件を決定するために使用する領域」とは、撮影を行うことにより取得される複数の画像を最終的に保存するための本撮影を行う場合における、ＡＥ処理およびＡＦ処理等の撮影条件を決定するための処理を行う際に使用する領域を意味し、例えば複数の画像における合焦領域、顔等の特定の被写体領域および撮影時において画角内において移動する動体の領域等を撮影条件を決定するための領域として用いることができる。

「視差量に対応する情報」とは、複数の画像における共通領域の視差量そのもののみならず、例えば複数の画像における共通領域の位置を表す座標等の位置情報のように、視差量を推定することが可能な情報も含まれる。

なお、本発明による第１の３次元撮影装置においては、前記視差量に対応する情報に基づいて、前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行う３次元処理手段をさらに備えるものとしてもよい。

「所定視差量」とは、３次元処理により生成された３次元画像を立体視した際に、共通領域に含まれる被写体の立体感を適切なものとするための視差量であり、３次元表示の方式により異なる。例えば、上述したレンチキュラー方式のように、複数の画像の分離性が低い方式の場合、画像の横方向の長さの０〜３％程度の値を所定の視差量とすることが好ましい。また、パララックスバリア方式、スキャンバックライト方式およびアナグリフ方式等のように、複数の画像の分離性が高い方式の場合、０〜１０％程度の値を所定の視差量とすることが好ましい。

また、本発明による第１の３次元撮影装置においては、前記視差量に対応する情報を前記複数の画像を格納する画像ファイルに付与する情報付与手段をさらに備えるものとしてもよい。

また、本発明による第１の３次元撮影装置においては、前記領域検出手段を、前記複数の画像における合焦領域、特定の被写体領域および動体領域の少なくとも１つを検出する手段としてもよい。

本発明による第２の３次元撮影装置は、互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段と、
前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出する領域検出手段と、
前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行う３次元処理手段とを備えたことを特徴とするものである。

本発明による第１の３次元撮影方法は、互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段を備えた３次元撮影装置における３次元撮影方法において、
前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出し、
前記複数の画像における前記共通領域の視差量に対応する情報を算出することを特徴とするものである。

本発明による第２の３次元撮影方法は、互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段を備えた３次元撮影装置における３次元撮影方法において、
前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出し、
前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行うことを特徴とするものである。

なお、本発明による第１および第２の３次元撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１の３次元撮影装置および方法によれば、撮影手段の撮影条件を決定するために使用される、複数の画像に共通する１つの共通領域が複数の画像のそれぞれから検出され、複数の画像における共通領域の視差量に対応する情報が算出される。ここで、共通領域は撮影条件を決定するために使用される領域であるため、画像における主要被写体である場合が多い。また、撮影条件の決定は撮影時に必ず行われるものである。

このため、視差量に対応する情報に基づいて、複数の画像における共通領域が所定視差量となるように、複数の画像に対して３次元表示のための３次元処理を行うことにより、複数の画像間の対応点の検出および距離情報の算出等の処理を行うことなく、３次元処理により生成された３次元表示画像を立体視した場合における、共通領域すなわち主要被写体の立体感を、簡易に適切なものとすることができる。

また、視差量に対応する情報を複数の画像を格納する画像ファイルに付与することにより、後で複数の画像に３次元処理を施す際に、その情報を用いて複数の画像における共通領域が所定視差量となるように、複数の画像に対して３次元表示のための３次元処理を行うことができることとなる。

本発明の第２の３次元撮影装置および方法によれば、撮影手段の撮影条件を決定するために使用される、複数の画像に共通する１つの共通領域が複数の画像のそれぞれから検出され、複数の画像における共通領域が所定視差量となるように、複数の画像に対して３次元表示のための３次元処理が行われる。ここで、共通領域は撮影条件を決定するために使用される領域であるため、画像における主要被写体である場合が多い。また、撮影条件の決定は撮影時に必ず行われるものである。

このため、複数の画像間の対応点の検出および距離情報の算出等の処理を行うことなく、３次元処理により生成された３次元表示画像を立体視した場合における、共通領域すなわち主要被写体の立体感を、簡易に適切なものとすることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図である。図１に示すように第１の実施形態による複眼カメラ１は、２つの撮影部２１Ａ，２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、および表示制御部２８を備える。

撮影部２１Ａ，２１Ｂは、同一の高さにおいてあらかじめ定められた間隔を空けて、所定の輻輳角を持って被写体を向くように配置されている。図２は撮影部２１Ａ，２１Ｂの構成を示す図である。図２に示すように、撮影部２１Ａ，２１Ｂは、レンズ１０Ａ，１０Ｂ、絞り１１Ａ，１１Ｂ、シャッタ１２Ａ，１２Ｂ、ＣＣＤ１３Ａ，１３Ｂ、アナログフロントエンド（ＡＦＥ）１４Ａ，１４ＢおよびＡ／Ｄ変換部１５Ａ，１５Ｂをそれぞれ備える。

レンズ１０Ａ，１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成され、撮影制御部２２が行うＡＦ処理により得られる合焦データおよび不図示のズームレバーを操作することにより得られるズームデータに基づいて、不図示のレンズ駆動部によりその位置が調整される。

絞り１１Ａ，１１Ｂは、撮影制御部２２が行うＡＥ処理により得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ１２Ａ，１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理により得られるシャッタスピードに応じて駆動される。

ＣＣＤ１３Ａ，１３Ｂは、多数の受光素子を２次元的に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、ＣＣＤ１３Ａ，１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ１４Ａ，１４Ｂは、ＣＣＤ１３Ａ，１３Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、およびアナログ撮影信号のゲインを調節する処理（以下アナログ処理とする）を施す。

Ａ／Ｄ変換部１５Ａ，１５Ｂは、ＡＦＥ１４Ａ，１４Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部２１Ａにより取得されるデジタルの画像データにより表される画像を第１の画像Ｇ１、撮影部２１Ｂにより取得される画像データにより表される画像を第２の画像Ｇ２とする。

撮影制御部２２は、不図示のＡＦ処理部およびＡＥ処理部からなる。ＡＦ処理部は入出力部３４に含まれるレリーズボタンの半押し操作により撮影部２１Ａ，２１Ｂが取得したプレ画像に基づいて合焦領域を決定するとともにレンズ１０Ａ，１０Ｂの焦点位置を決定し、撮影部２１Ａ，２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ，２１Ｂに出力する。なお、焦点位置、絞り値およびシャッタ速度は、撮影部２１Ａ，２１Ｂの撮影条件となる。

ここで、ＡＦ処理による焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。より具体的には、プレ画像を複数のＡＦ領域に分割し、各ＡＦ領域内の画像に対してハイパスフィルタによるフィルタリング処理を施して、ＡＦ領域毎にＡＦ評価値を算出し、最も評価が高い、すなわちフィルタによる出力値が最も高いＡＦ領域を合焦領域として検出する。

また、撮影制御部２２は、レリーズボタンの全押し操作により、撮影部２１Ａ，２１Ｂに対して第１および第２の画像Ｇ１，Ｇ２の本画像を取得させる本撮影の指示を行う。なお、レリーズボタンが操作される前は、撮影制御部２２は、撮影部２１Ａに対して撮影範囲を確認させるための、第１および第２の画像Ｇ１，Ｇ２よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を行う。

画像処理部２３は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施す。なお、画像処理部２３における処理後の第１および第２の画像についても、処理前の参照符号Ｇ１，Ｇ２を用いるものとする。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施され、後述するように３次元表示のために第１および第２の画像Ｇ１，Ｇ２の本画像から生成された３次元表示用画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、３次元画像ファイルを生成する。この３次元画像ファイルは、第１および第２の画像Ｇ１，Ｇ２の画像データおよび３次元表示用画像の画像データが格納されたものとなる。なお、第１および第２の画像Ｇ１，Ｇ２のみを格納した３次元画像ファイルを生成してもよい。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が記述されたタグが付与される。なお、本実施形態においては、後述するように算出された、第１および第２の画像Ｇ１，Ｇ２における合焦領域の水平方向の視差量の情報（視差量情報）が付帯情報としてタグに記述される。

フレームメモリ２５は、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして３次元画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ２７は、複眼カメラ１において設定される各種定数、およびＣＰＵ３３が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたり、記録メディア２９に記録されている第１および第２の画像Ｇ１，Ｇ２をモニタ２０に２次元表示させたりする。また、表示制御部２８は、後述するように３次元処理が行われた第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示したり、記録メディア２９に記録されている３次元画像ファイルに格納されている３次元表示用画像をモニタ２０に３次元表示することも可能である。なお、２次元表示と３次元表示との切り替えは自動で行ってもよく、後述する入出力部３４を用いての撮影者からの指示により行ってもよい。ここで、３次元表示が行われている場合、レリーズボタンが押下されるまでは、第１および第２の画像Ｇ１，Ｇ２のスルー画像がモニタ２０に３次元表示される。

また、本実施形態による複眼カメラ１は、３次元処理部３０を備える。３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２をモニタ２０に３次元表示させるために、第１および第２の画像Ｇ１，Ｇ２に３次元処理を行う。ここで、本実施形態における３次元表示としては、公知の任意の方式を用いることができる。例えば、第１および第２の画像Ｇ１，Ｇ２を並べて表示して裸眼平衡法により立体視を行う方式、またはモニタ２０にレンチキュラーレンズを貼り付け、モニタ２０の表示面の所定位置に画像Ｇ１，Ｇ２を表示することにより、左右の目に第１および第２の画像Ｇ１，Ｇ２を入射させて３次元表示を実現するレンチキュラー方式を用いることができる。さらに、モニタ２０のバックライトの光路を光学的に左右の目に対応するように交互に分離し、モニタ２０の表示面に第１および第２の画像Ｇ１，Ｇ２をバックライトの左右への分離にあわせて交互に表示することにより、３次元表示を実現するスキャンバックライト方式等を用いることができる。

ここで、本実施形態においては、第１および第２の画像Ｇ１，Ｇ２の撮影時には、レリーズボタンを半押し操作することによりＡＦ処理が行われ、レンズ１０Ａ，１０Ｂの焦点位置を決定するための合焦領域が検出される。図３は合焦領域の検出を説明するための図である。図３に示すようにＡＦ処理により、第１および第２の画像Ｇ１，Ｇ２に含まれる例えば人物の顔の下半分のＡＦ領域が合焦領域Ａ１，Ａ２として検出される。なお、ここでは、第１および第２の画像Ｇ１，Ｇ２を４×８に分割することにより３２個のＡＦ領域を設定して合焦領域Ａ１，Ａ２を検出している。

本実施形態において、３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２の本画像における合焦領域の視差量を算出し、算出した視差量に基づいて、合焦領域の水平方向の位置が一致するように第１および第２の画像Ｇ１，Ｇ２に対して３次元処理を行って３次元表示を行う。なお、３次元処理部３０は、例えば第１および第２の画像Ｇ１，Ｇ２における、合焦領域の基準位置（例えば左上隅）の座標の水平方向における差を、合焦領域の視差量として算出する。

図４は本実施形態における３次元表示を模式的に説明するための図である。図４に示すように、３次元処理部３０は、第１および第２の画像Ｇ１，Ｇ２における合焦領域Ａ１，Ａ２の水平方向の位置が一致するように３次元処理を行う。このように３次元処理を行うことにより、合焦領域Ａ１，Ａ２の視差は０となるため、合焦領域を基準として、合焦領域の後にある被写体は合焦領域より後方に存在し、合焦領域の手前にある被写体は合焦領域より手間に存在するように立体視を行うことができる。

なお、３次元処理部３０は、３次元表示の方式に応じた３次元処理を第１および第２の画像Ｇ１，Ｇ２に対して行う。例えば、３次元表示の方式が裸眼平衡法によるものである場合、第１および第２の画像Ｇ１，Ｇ２を左右に並べた３次元表示用画像を生成することにより３次元処理を行う。また、３次元表示の方式がレンチキュラー方式の場合には、第１および第２の画像Ｇ１，Ｇ２を垂直方向に短冊状に切り取って交互に配置した３次元表示用画像を生成することにより３次元処理を行う。また、３次元表示の方式がスキャンバックライト方式の場合には、第１および第２の画像Ｇ１，Ｇ２を、モニタ２０のバックライトの左右への分離にあわせて交互にモニタ２０に出力する３次元処理を行う。

なお、モニタ２０は３次元処理部３０が行う３次元処理の方式に応じた加工がなされている。例えば、３次元表示の方式がレンチキュラー方式の場合には、モニタ２０の表示面にレンチキュラーレンズが取り付けられており、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がモニタ２０の表示面に取り付けられている。

ＣＰＵ３３は、レリーズボタンおよびズームレバー等を含む入出力部３４からの信号に応じて複眼カメラ１の各部を制御する。

データバス３５は、複眼カメラ１を構成する各部およびＣＰＵ３３に接続されており、複眼カメラ１における各種データおよび各種情報のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図５は第１の実施形態において行われる処理を示すフローチャートである。なお、複眼カメラ１のモニタ２０には、撮影部２１Ａ，２１Ｂが取得した第１および第２の画像Ｇ１，Ｇ２に３次元処理部３０が３次元処理を行うことにより、第１および第２の画像Ｇ１，Ｇ２のスルー画像が３次元表示されているものとする。まず、ＣＰＵ３３はレリーズボタンが半押し操作されたか否かを監視しており（ステップＳＴ１）、ステップＳＴ１が肯定されると、撮影制御部２２がＡＦ処理を行う（ステップＳＴ２）。なお、ＡＥ処理も同時に行われる。

そしてＣＰＵ３３がＡＦ処理により合焦領域が検出されたか否かを判定し（ステップＳＴ３）、ステップＳＴ３が否定されると、撮影制御部２２は再度のＡＦ処理を行う（ステップＳＴ４）。そしてＣＰＵ３３は再度のＡＦ処理により合焦領域が検出されたか否かを判定し（ステップＳＴ５）、ステップＳＴ５が否定されると、ＣＰＵ３３は第１および第２の画像Ｇ１，Ｇ２のいずれか一方のみをモニタ２０に２次元表示し（ステップＳＴ６）、後述するステップＳＴ９の処理に進む。

一方、ステップＳＴ３およびステップＳＴ５が肯定されると、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２における合焦領域の水平方向の位置を一致させる３次元処理を第１および第２の画像Ｇ１，Ｇ２に行い（ステップＳＴ７）、第１および第２の画像Ｇ１，Ｇ２の３次元表示をモニタ２０に行う（ステップＳＴ８）。

ステップＳＴ６およびステップＳＴ８に続いて、ＣＰＵ３３はレリーズボタンが全押しされたか否かの監視を開始し（ステップＳＴ９）、ステップＳＴ９が肯定されると第１および第２の画像Ｇ１，Ｇ２の本画像を取得する（ステップＳＴ１０）。そして、３次元処理部３０が第１および第２の画像Ｇ１，Ｇ２から３次元表示用画像を生成し（ステップＳＴ１１）、圧縮／伸張処理部２４が、第１および第２の画像Ｇ１，Ｇ２並びに３次元表示用画像の画像データを格納した３次元画像ファイルを生成する（ステップＳＴ１２）。さらに圧縮／伸張処理部２４は３次元画像ファイルのタグに合焦領域の視差量情報を記述し（ステップＳＴ１３）、メディア制御部２６が３次元画像ファイルを記録メディア２９に記録し（ステップＳＴ１４）、処理を終了する。

このように本実施形態においては、第１および第２の画像Ｇ１，Ｇ２画像からそれぞれ検出された合焦領域の水平方向の位置を一致させ、合焦領域の視差が０となるように３次元処理を行うようにしたものである。ここで、合焦領域はレンズ１０Ａ，１０Ｂの焦点位置という撮影条件を決定するために使用される領域であるため、画像における主要被写体である場合が多い。また、合焦領域の検出は撮影時に必ず行われるものである。このため、本実施形態によれば、第１および第２の画像Ｇ１，Ｇ２間の対応点の検出および距離情報の算出等の処理を行うことなく、３次元処理により生成された３次元表示画像を立体視した場合における、合焦領域すなわち主要被写体の立体感を、簡易に適切なものとすることができる。

また、視差量情報を３次元画像ファイルのヘッダに記述するようにしたため、とくに３次元画像ファイルに第１および第２の画像Ｇ１，Ｇ２のみが格納されている場合において、第１および第２の画像Ｇ１，Ｇ２に後で３次元処理を行う際に、視差量情報を用いて第１および第２の画像Ｇ１，Ｇ２における合焦領域の水平方向の位置を一致させるように、第１および第２の画像Ｇ１，Ｇ２に対して３次元表示のための３次元処理を行うことができる。

次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態による複眼カメラ１Ａは、顔検出部３１をさらに備え、第１および第２の画像Ｇ１，Ｇ２から人物の顔を検出し、第１および第２の画像Ｇ１，Ｇ２における顔領域の水平方向の位置が一致するように３次元処理を行うようにした点が第１の実施形態と異なる。

ここで、顔検出部３１は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、第１および第２の画像Ｇ１，Ｇ２から顔を検出し、検出した顔を囲む所定範囲の領域を顔領域として検出する。

なお、第２の実施形態においては、第１および第２の画像Ｇ１，Ｇ２に複数の人物が含まれると複数の顔領域が検出されるため、いずれの顔領域の水平方向の位置を一致させるかを決定するための処理が煩雑なものとなる。このため、第２の実施形態においては、一人の人物を被写体として撮影を行い、第１および第２の画像Ｇ１，Ｇ２に１つの顔領域が含まれる場合にのみを対象とすることが好ましい。

ここで、顔領域は、顔の明るさを適切にしたり、顔に合焦させたりするための撮影条件を決定するために使用される領域であるため、画像における主要被写体である場合が多い。また、撮影条件の決定は撮影時に必ず行われるものである。このため、第２の実施形態においても、第１の実施形態と同様に、第１および第２の画像Ｇ１，Ｇ２間の対応点の検出および距離情報の算出等の処理を行うことなく、３次元処理により生成された３次元表示画像を立体視した場合における、顔領域すなわち主要被写体の立体感を、簡易に適切なものとすることができる。

なお、上記第１の実施形態においては合焦領域を、第２の実施形態においては顔領域を一致させるように３次元処理を行っているが、一致させる領域は第１および第２の画像Ｇ１，Ｇ２において共通する、撮影条件を決定するために使用する領域であればよく、例えば画角内において移動する動体領域を検出するようにした場合、動体領域の水平方向の位置を一致させるように３次元処理を行うようにしてもよい。

また、上記第１および第２の実施形態においては、複眼カメラ１，１Ａに２つの撮影部２１Ａ，２１Ｂを設け、２つの画像Ｇ１，Ｇ２を用いて３次元表示を行っているが、３以上の撮影部を設け、３以上の画像を用いて３次元表示を行う場合にも本発明を適用することができる。

また、上記第２の実施形態においては、顔領域を検出しているが、自動車および動物の顔等、顔以外の被写体を検出し、検出した被写体領域の水平方向の位置が一致するように３次元処理を行うようにしてもよい。

また、上記第１および第２の実施形態においては、合焦領域および顔領域を一致させるように３次元処理を行っているが、合焦領域および顔領域を視差が０となるように完全に一致させる必要はなく、合焦領域および顔領域が所定の視差量となるように３次元処理を行うようにしてもよい。ここで、所定の視差量とは、３次元表示用画像を立体視した際に、合焦領域等の立体感を適切なものとするための視差量であり、３次元表示の方式により異なる。例えば、上述したレンチキュラー方式のように、第１および第２の画像Ｇ１，Ｇ２の分離性が低い方式の場合、画像Ｇ１，Ｇ２の横方向の長さの０〜３％程度の値を所定の視差量とすることが好ましい。また、パララックスバリア方式、スキャンバックライト方式およびアナグリフ方式等のように、第１および第２の画像Ｇ１，Ｇ２画像の分離性が高い方式の場合、画像Ｇ１，Ｇ２の横方向の長さの０〜１０％程度の値を所定の視差量とすることが好ましい。

また、上記第１および第２の実施形態においては、３次元処理部３０が合焦領域または顔領域の視差量を算出し、算出した視差量に基づいて合焦領域の水平方向の位置が一致するように３次元処理を行っているが、視差量を算出することなく、第１および第２の画像Ｇ１，Ｇ２における合焦領域または顔領域の水平方向の位置が一致するように３次元処理を行うようにしてもよい。この場合、視差量情報としては、合焦領域または顔領域の位置を表す座標値を用いればよい。このように、視差量情報として合焦領域または顔領域の位置情報のみを用いた場合においても、視差量情報を３次元画像ファイルのヘッダに記述しておけば、第１および第２の画像Ｇ１，Ｇ２に後で３次元処理を行う際に、視差量情報を用いて第１および第２の画像Ｇ１，Ｇ２における合焦領域の水平方向の位置を一致させるように、第１および第２の画像Ｇ１，Ｇ２に対して３次元表示のための３次元処理を行うことができる。

以上、本発明の実施形態について説明したが、コンピュータを、上記の撮影制御部２２、３次元処理部３０および顔検出部３１に対応する手段として機能させ、図５に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による３次元撮影装置を適用した複眼カメラの内部構成を示す概略ブロック図 撮影部の構成を示す図 合焦領域の検出を説明するための図 ３次元処理を説明するための図 第１の実施形態において行われる処理を示すフローチャート 本発明の第２の実施形態による３次元表示装置を適用した複眼カメラの内部構成を示す概略ブロック図

符号の説明

１ 複眼カメラ
２１Ａ，２１Ｂ 撮影部
２２ 撮影制御部
３０ ３次元処理部
３１ 顔検出部

Claims (9)

1. 互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段と、
   前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出する領域検出手段と、
   前記複数の画像における前記共通領域の視差量に対応する情報を算出する視差量算出手段とを備えたことを特徴とする３次元撮影装置。
2. 前記視差量に対応する情報に基づいて、前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行う３次元処理手段をさらに備えたことを特徴とする請求項１記載の３次元撮影装置。
3. 前記視差量に対応する情報を前記複数の画像を格納する画像ファイルに付与する情報付与手段をさらに備えたことを特徴とする請求項１または２記載の３次元撮影装置。
4. 前記領域検出手段は、前記複数の画像における合焦領域、特定の被写体領域および動体領域の少なくとも１つを検出する手段であることを特徴とする請求項１から３のいずれか１項記載の３次元撮影装置。
5. 互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段と、
   前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出する領域検出手段と、
   前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行う３次元処理手段とを備えたことを特徴とする３次元撮影装置。
6. 互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段を備えた３次元撮影装置における３次元撮影方法において、
   前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出し、
   前記複数の画像における前記共通領域の視差量に対応する情報を算出することを特徴とする３次元撮影方法。
7. 互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段を備えた３次元撮影装置における３次元撮影方法において、
   前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出し、
   前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行うことを特徴とする３次元撮影方法。
8. 互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段を備えた３次元撮影装置における３次元撮影方法をコンピュータに実行させるためのプログラムにおいて、
   前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出する手順と、
   前記複数の画像における前記共通領域の視差量に対応する情報を算出する手順とをコンピュータに実行させることを特徴とするプログラム。
9. 互いに異なる位置において撮影を行うことにより３次元表示のための複数の画像を取得する複数の撮影手段を備えた３次元撮影装置における３次元撮影方法をコンピュータに実行させるためのプログラムにおいて、
   前記撮影手段の撮影条件を決定するために使用する、前記複数の画像に共通する１つの共通領域を該複数の画像のそれぞれから検出する手順と、
   前記複数の画像における前記共通領域が所定視差量となるように、前記複数の画像に対して前記３次元表示のための３次元処理を行う手順とをコンピュータに実行させることを特徴とするプログラム。

Images