JP2010147940A - 立体画像処理装置および立体画像処理方法 - Google Patents

Abstract

【課題】ユーザの位置合わせ操作を必要とせず、且つ、少ない演算量で画像の位置合わせを行うこと。
【解決手段】複数の視点で撮像された第１の撮像画像および前記第２の撮像画像のそれぞれにて特定対象として顔を検出し、前記第１の撮像画像および前記第２の撮像画像における前記特定対象の検出マークの代表座標を有する検出マーク情報を生成する顔検出部１４８と、前記検出マークの代表座標の差分ベクトルを算出する差分ベクトル算出部７０と、前記差分ベクトルに基づいて、前記第１の撮像画像における前記特定対象の表示位置と前記第２の撮像画像における前記特定対象の表示位置との差分を調整することで、前記特定対象の視差量を調整する視差量調整部７４と、前記視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能なモニタ２４に表示させる表示制御部１５８を備えた。
【選択図】図６

Description

本発明は、複数の視点でそれぞれ撮像された複数の画像の位置合わせを簡易に行うことができる立体画像処理装置および立体画像処理方法に関する。

複数の視点で撮像された立体画像を立体表示可能なディスプレイに出力する立体画像処理装置が知られている。

立体表示の方式には、例えば、かまぼこ型のレンチキュラレンズを前面に配置したディスプレイを用いるレンチキュラ方式、ＬＣＤ（液晶表示デバイス）の背面を照らすバックライトの方向を時分割で制御する光方向制御方式（「時分割光方向制御バックライト方式」ともいう）などがある。

ところで、立体画像を品位良く立体視させるためには、左眼画像と右眼画像とで位置合わせをする必要がある。

特許文献１には、左右両眼画像の傾きおよび位置ずれを補正する構成が記載されている。

特許文献２には、ビデオカメラのファインダにガイドラインをつけ、撮影するユーザがガイドラインの中心に被写体が来るように調節して左右画像を撮影するようにしたものが記載されている。
特開２００４−１２９１８号公報 特開平１０−３２２７２５号公報

しかし、ユーザが画像の位置合わせ操作をすると時間がかかる。また、自動的に位置合わせ処理を行うためにテンプレートマッチング等の対応点検出処理を行うと、演算量が多くなってしまう。

特許文献１に記載の構成では、左眼画像および右眼画像それぞれから特徴点を抽出するため、時間がかかり、簡易的とはいえない。

特許文献２に記載の構成では、撮影する時にユーザがガイドラインに沿って撮影対象の位置決めをする必要があるため使い勝手が悪い。

本発明はこのような事情に鑑みてなされたもので、ユーザの位置合わせ操作を必要とせず、且つ、少ない演算量で画像の位置合わせを行うことができる立体画像処理装置および立体画像処理方法を提供することを目的とする。

前記目的を達成するために、本発明は、複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得する画像取得手段と、前記第１の撮像画像および前記第２の撮像画像のそれぞれにて特定対象を検出し、前記第１の撮像画像における前記特定対象の検出マークの代表座標および前記第２の撮像画像における前記特定対象の検出マークの代表座標を有する検出マーク情報を生成する特定対象検出手段と、前記第１の撮像画像における前記検出マークの代表座標と前記第２の撮像画像における前記検出マークの代表座標との差分ベクトルを算出する差分ベクトル算出手段と、前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象の表示位置と前記第２の撮像画像の前記特定対象の表示位置との差分を調整することで、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の視差量を調整する視差量調整手段と、前記視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能な表示手段に表示させる表示制御手段と、を備えたことを特徴とする立体画像処理装置を提供する。

この発明によれば、特定対象の検出機能を備えた立体画像処理装置において、検出マークの座標を用いて視差量の調整を行うので、ユーザの位置合わせ操作を必要とせず、且つ、少ない演算量で画像の位置合わせを行うことができる。

本発明の一態様にて、前記差分ベクトル算出手段は、前記第１の撮像画像および前記第２の撮像画像のそれぞれにて前記検出マークの中心座標を算出し、前記第１の撮像画像における前記検出マークの前記中心座標と前記第２の撮像画像における前記検出マークの前記中心座標との差分を前記差分ベクトルとして算出する。

また、本発明は、複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得する画像取得手段と、前記第１の撮像画像および前記第２の撮像画像のそれぞれにて特定対象のパーツを検出し、前記第１の撮像画像における前記特定対象のパーツの代表座標および前記第２の撮像画像における前記特定対象のパーツの代表座標を有するパーツ情報を生成する特定対象パーツ検出手段と、前記第１の撮像画像における前記パーツの代表座標と前記第２の撮像画像における前記パーツの代表座標との差分ベクトルを算出する差分ベクトル算出手段と、前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象のパーツの表示位置と前記第２の撮像画像の前記特定対象のパーツの表示位置との差分を調整することで、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の視差量を調整する視差量調整手段と、前記視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能な表示手段に表示させる表示制御手段と、を備えたことを特徴とする立体画像処理装置を提供する。

この発明によれば、特定対象のパーツの検出機能を備えた立体画像処理装置において、特定対象のパーツの座標を用いて視差量の調整を行うので、ユーザの位置合わせ操作を必要とせず、且つ、少ない演算量で画像の位置合わせを行うことができる。

本発明の一態様にて、前記パーツ情報に基づいて、前記第１の撮像画像および前記第２の撮像画像のうち少なくとも一方に対して回転処理を施して、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の傾きを一致させる回転処理手段と、前記パーツ情報に基づいて、前記第１の撮像画像および前記第２の撮像画像のうち少なくとも一方に対して拡縮処理を施して、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の大きさを一致させる拡縮処理手段と、を備える。

本発明の一態様にて、前記視差量調整手段は、前記特定対象の表示位置を一致させる。

本発明の一態様にて、前記視差量調整手段は、前記特定対象の前記視差量を大きくする。

本発明の一態様にて、前記視差量調整手段は、前記特定対象の表示位置を画像処理により変更する。

本発明の一態様にて、第１の撮影レンズおよび該第１の撮影レンズを介して被写体像が結像される第１の撮像素子を有する第１の撮像手段と、第２の撮影レンズおよび該第２の撮影レンズを介して被写体像が結像される第２の撮像素子を有する第２の撮像手段と、前記撮影レンズおよび前記撮像手段のうち少なくとも一方を移動させることで手振れを補正する手振れ補正手段と、を備え、前記視差量調整手段は、前記手振れ補正手段を用いて前記特定対象の表示位置を変更する。

本発明の一態様にて、第１の撮影レンズおよび該第１の撮影レンズを介して被写体像が結像される第１の撮像素子を有する第１の撮像手段と、第２の撮影レンズおよび該第２の撮影レンズを介して被写体像が結像される第２の撮像素子を有する第２の撮像手段と、前記第１の撮影レンズおよび前記第２の撮影レンズの輻輳角を変更する輻輳角変更手段と、を備え、前記視差量調整手段は、前記輻輳角変更手段を用いて前記特定対象の表示位置を変更する。

本発明の一態様にて、撮影指示を入力する撮影指示手段を備え、
前記視差量が調整された前記撮像画像を前記表示手段に表示させている状態で、前記撮影指示手段により前記撮影指示が入力されたとき、前記差分ベクトルから求めた前記特定対象の表示位置の移動ベクトルおよび前記差分ベクトルのうち少なくとも一方を、視差量調整情報として、前記第１の撮像画像および前記第２の撮像画像と関連付けて記録媒体に記録する記録制御手段を備える。

本発明の一態様にて、前記画像取得手段は、前記撮像画像を記録媒体から又は通信により取得し、前記視差量調整手段は、取得された前記撮像画像を前記表示装置に表示させるときに、前記視差量の調整を行う。

また、本発明は、複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得するステップと、前記第１の撮像画像および第２の撮像画像のそれぞれにて特定対象を検出して生成された、前記特定対象の検出マークの代表座標を有する検出マーク情報を取得するステップと、前記第１の撮像画像における前記検出マークの代表座標と前記第２の撮像画像における前記検出マークの代表座標との差分ベクトルを算出するステップと、前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象の表示位置と前記第２の撮像画像の前記特定対象の表示位置との差分を調整することで、前記特定対象の視差量を調整するステップと、視差量が調整された前記第１の撮像画像および前記第２の撮像画像を前記表示手段に表示させるステップと、を備えたことを特徴とする立体画像処理方法を提供する。

また、本発明は、複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得するステップと、前記第１の撮像画像および第２の撮像画像のそれぞれにて特定対象のパーツを検出して生成された、前記特定対象のパーツの代表座標を有するパーツ情報を取得するステップと、前記第１の撮像画像における前記パーツの代表座標と前記第２の撮像画像における前記パーツの代表座標との差分ベクトルを算出するステップと、前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象のパーツの表示位置と前記第２の撮像画像の前記特定対象のパーツの表示位置との差分を調整することで、前記特定対象の視差量を調整するステップと、視差量が調整された前記第１の撮像画像および前記第２の撮像画像を前記表示手段に表示させるステップと、を備えたことを特徴とする立体画像処理方法を提供する。

本発明によれば、ユーザの位置合わせ操作を必要とせず、且つ、少ない演算量で画像の位置合わせを行うことができる。

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明を適用したデジタルカメラの外観構成を示す正面斜視図である。図２は、本発明を適用したデジタルカメラの外観構成を示す背面斜視図である。

本実施形態のデジタルカメラ１０は、複数（図１では二つを例示）の撮像手段（撮像系ともいう）を備えたデジタルカメラ（本発明の複眼デジタルカメラに相当）であって、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。

なお、本実施形態では、説明の便宜のため二つの撮像手段を例示しているが、本発明は、三つ以上の撮像手段であっても同様に適用可能である。なお、撮像手段（主として撮影レンズ１４Ｒ、１４Ｌ）の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。立体撮影又はマルチ視点や全方向の撮影でもよい。

デジタルカメラ１０のカメラボディ１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影レンズ１４Ｒ、１４Ｌ、ストロボ１６等が設けられている。また、カメラボディ１２の上面には、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６等が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。

左右一対の撮影レンズ１４Ｒ、１４Ｌは、それぞれ沈胴式のズームレンズで構成されており、マクロ撮影機能（近接撮影機能）を有している。この撮影レンズ１４Ｒ、１４Ｌは、それぞれデジタルカメラ１０の電源をＯＮすると、カメラボディ１２から繰り出される。なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

ストロボ１６は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

シャッタボタン１８は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このシャッタボタン１８を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押すると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードダイヤル２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このシャッタボタン１８を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、シャッタボタン１８を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。

電源／モードスイッチ２０は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ１０は、この電源／モードスイッチ２０を「再生位置」に位置させると、再生モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「ＯＦＦ位置」に位置させると、電源がＯＦＦされる。

モードダイヤル２２は、撮影モードの設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、「２Ｄ静止画位置」、「２Ｄ動画位置」、「３Ｄ静止画位置」、「３Ｄ動画位置」にセット可能に設けられている。デジタルカメラ１０は、このモードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、２Ｄモードであることを表すフラグが設定される。また、「２Ｄ動画位置」にセットすることにより、２Ｄの動画を撮影する２Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、２Ｄモードであることを表すフラグが設定される。

また、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、３Ｄモードであることを表すフラグが設定される。さらに、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグに、３Ｄモードであることを表すフラグが設定される。後述するＣＰＵ１１０は、この２Ｄ／３Ｄモード切替フラグを参照して、２Ｄモード又は３Ｄモードのいずれであるかを把握する。

モニタ２４は、カラー液晶パネル等の表示装置である。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、モニタ２４は、撮影時には、各撮像素子１３４Ｒ／Ｌが継続的に捉えた画像（スルー画像）が順次表示し、電子ファインダとして利用される。

ズームボタン２６は、撮影レンズ１４Ｒ、１４Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。

メニュー画面では、たとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１０が持つ全ての調整項目の設定が行われる。デジタルカメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示の入力に用いられる。

縦撮り／横撮り切替ボタン３６は、縦撮り又は横撮りのいずれで撮影を行うかを指示するためのボタンである。

入出力コネクタ３８は、外部との有線通信に用いられる。入出力コネクタ３８を介してデジタルカメラ１０に撮像済の画像を入力することが可能である。

図３は、三次元表示（「立体表示」ともいう）が可能なモニタ２４の構造例を説明するための説明図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズが前面に配置されたモニタ２４を用いる。

モニタ２４の前面（観察者の視点（左眼ＥＬ、右眼ＥＲ）が存在するｚ軸方向）には、レンチキュラレンズ２４ａが配置されている。レンチキュラレンズ２４ａは、複数の円筒状凸レンズを図３中ｘ軸方向に連ねることで構成されている。

モニタ２４に表示される三次元画像（「立体視画像」ともいう）の表示領域は、左眼用短冊画像表示領域２４Ｌと右眼用短冊画像表示領域２４Ｒとから構成されている。左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒは、それぞれ画面の図３中のｙ軸方向に細長い短冊形状をしており、図３中のｘ軸方向に交互に配置される。

レンチキュラレンズ２４ａを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒを含む各短冊集合画像表示領域２４ｃに対応した位置に形成される。

図３では、観察者の左眼ＥＬには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。また、観察者の右眼ＥＲには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。したがって、観察者の左眼は左眼用短冊画像のみを、観察者の右眼は右眼用短冊画像のみを見ることになり、これら左眼用短冊画像の集合である左眼用画像及び右眼用短冊画像の集合である右眼用画像による左右視差により立体視が可能となる。

なお、３Ｄ表示のためのモニタ２４の構造として、図３を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。

例えば、左眼画像および右眼画像をそれぞれ画像の縦方向に細長く切り取った短冊状にして、交互に並べて表示するとともに、同様に縦方向に刻まれたスリットを通して画像を観察者に見せることで、観察者の左眼には左眼画像を、右眼には右眼画像をそれぞれ届ける、視差バリア（パララックスバリア）方式を用いてもよい。その他の空間分割方式であってもよい。

また、モニタ２４を構成するＬＣＤ（液晶表示デバイス）の背面を照らすバックライトの方向を時分割で観察者の右眼方向および左眼方向に制御する光方向制御方式（時分割光方向制御バックライト方式ともいう）を用いてもよい。光方向制御方式は、豊岡健太郎，宮下哲哉，内田龍男，“時分割光方向制御バックライトを用いた三次元ディスプレイ”、2000年日本液晶学会討論会講演予稿集、pp.137-138(2000)や、特開2004‐20684号公報などに記載されている。特許第3930021号公報に記載された、いわゆるスキャンバックライト方式を用いてもよい。

左右の画像を交互に表示するとともに、画像分離メガネを使用させることで、画像を立体視させてもよい。

モニタ２４は、例えば液晶表示デバイスや有機ＥＬデバイスを用いる。自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ＥＬを多層に重ねた方式でもよい。

図４（Ａ）は，デジタルカメラ１０により特定対象（「主要被写体」ともいう）として顔９０を撮像している状況を模式的に示す。図４（Ｂ）は、上から見た様子を示す。図５（Ａ）は、左眼用の撮影レンズ１４Ｌを介して撮像素子１３４Ｌで撮像された左眼画像９１Ｌ、および、右眼用の撮影レンズ１４Ｒを介して撮像素子１３４Ｒで撮像された右眼画像９１Ｒの一例を示す。これらの左眼画像９１Ｌおよび右眼画像９１Ｒに対して表示位置の調整処理を何も行わないと、図５（Ｂ）に示すように、二重に見えるだけで、立体には見えない。撮影レンズ１４Ｌ、１４Ｒの光軸が交差する位置と、特定対象である顔９０の位置とが一致することは稀である。

図４（Ｃ）に人の両目９４Ｌ、９４Ｒにより他人の顔９０を注視した様子を模式的に示す。人の場合には、注視した顔９０で両目９４Ｌ、９４Ｒの光軸が交差するように調整されることで、左眼画像と右眼画像とで顔９０が一致しているように視認される。その一方で、顔９０よりも遠くの対象を注目したとき、その注視した対象よりも近い顔９０は、図５（Ｂ）に示すように。視差量ｄが存在して視認される。

以下では、特定の注目対象が顔である場合について、視差量を調整する各種の実施形態について説明する。

（第１実施形態）
第１実施形態では、複数の視点でそれぞれ撮像された複数の撮像画像（左眼画像および右眼画像）と、その複数の撮像画像にてそれぞれ特定対象を検出して生成された検出マーク情報とを取得し、複数の撮像画像間で特定対象の表示位置（モニタ２４上の表示座標）の差分（視差量）を調整する。

なお、本例では、発明の理解を容易にするため、一般のデジタルカメラでよく行われているように、特定対象として顔を検出する場合を例に説明するが、本発明にて特定対象は顔に特に限定されない。例えば、車、建物などを特定対象として検出する場合にも、本発明を適用できる。

図６は、図１及び図２に示したデジタルカメラ１０の第１実施形態における内部構成を示すブロック図である。なお、図１、図２に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図６に示すように、本実施形態のデジタルカメラ１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、差分ベクトル算出部７０、移動ベクトル算出部７２、視差量調整部７４、操作部１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２（画像表示メモリ）、撮影レンズ１４（１４Ｒ、１４Ｌ）、ズームレンズ制御部１２４（１２４Ｒ、１２４Ｌ）、フォーカスレンズ制御部１２６（１２６Ｒ、１２６Ｌ）、絞り制御部１２８（１２８Ｒ、１２８Ｌ）、撮像素子１３４（１３４Ｒ、１３４Ｌ）、撮像素子制御部１３６（１３６Ｒ、１３６Ｌ）、アナログ信号処理部１３８（１３８Ｒ、１３８Ｌ）、Ａ／Ｄ変換器１４０（１４０Ｒ、１４０Ｌ）、画像入力コントローラ１４１（１４１Ｒ、１４１Ｌ）、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、圧縮・伸張処理部１５２、メディア制御部１５４、メモリカード１５６、表示制御部１５８、電源制御部１６０、バッテリ１６２、ストロボ制御部１６４を含んで構成されている。

左眼用の撮像手段１１Ｌは、主として、撮影レンズ１４Ｌ、ズームレンズ制御部１２４Ｌ、フォーカスレンズ制御部１２６Ｌ、絞り制御部１２８Ｌ、撮像素子１３４Ｌ、撮像素子制御部１３６Ｌ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。

右眼用の撮像手段１１Ｒは、主として、撮影レンズ１４Ｒ、ズームレンズ制御部１２４Ｒ、フォーカスレンズ制御部１２６Ｒ、絞り制御部１２８Ｒ、撮像素子１３４Ｒ、撮像素子制御部１３６Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。

以下では、撮像手段１１Ｌ、１１Ｒにより被写体と撮像して得られるデジタルの画像データを、「撮像画像」という。また、左眼用の撮像手段１１Ｌにより得られる撮像画像を「左眼画像」、右眼用の撮像手段１１Ｒにより得られる撮像画像を「右眼画像」という。

ＣＰＵ１１０は、撮影、表示、記録などカメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。

操作部１１２は、図１および図２に示した、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６などを含む。

バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。

ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。

左右一対の撮影レンズ１４Ｒ、１４Ｌ（まとめて撮影レンズ１４と表すこともある）は、ズームレンズ１３０ＺＲ、１３０ＺＬ（まとめてズームレンズ１３０Ｚと表すこともある）、フォーカスレンズ１３０ＦＲ、１３０ＦＬ（まとめてフォーカスレンズ１３０Ｆと表すこともある）、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもってカメラボディ１２に配置されている。

ズームレンズ１３０ＺＲ、１３０ＬＲは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４Ｒ、１２４Ｌを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。

フォーカスレンズ１３０ＦＲ、１３０ＦＬは、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６Ｒ、１２６Ｌを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。

絞り１３２Ｒ、１３２Ｌは、たとえば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８Ｒ、１２８Ｌを介して絞りアクチュエータの駆動を制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。

なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従って撮像素子制御部１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。

なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、本実施の形態では、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。

デジタル信号処理部１４２Ｒ、１４２Ｌは、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補間処理、ＲＧＢ／ＹＣ変換処理、ノイズ低減処理、輪郭補正処理、色調補正、光源種別判定処理等の各種のデジタル補正を行う。なお、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）はハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。

ＡＦ検出部１４４は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。このＡＦ検出部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、フォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１１０に出力する。

ＣＰＵ１１０は、ＡＦ制御時、このＡＦ検出部１４４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、主要被写体への焦点合わせを行う。すなわち、ＣＰＵ１１０は、ＡＦ制御時、まず、フォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ検出部１４４から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ検出部１４６は、一画面を複数のエリア（たとえば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１１０は、ＡＥ制御時、このＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。

また、ＣＰＵ１１０は、ＡＷＢ制御時、ＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２に加える。デジタル信号処理部１４２は、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、デジタル信号処理部１４２は、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施の形態のデジタルカメラ１０では、静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施される。

メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

表示制御部１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。

ストロボ制御部１６４は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。

顔検出部１４８は、左眼画像および右眼画像のそれぞれにて顔を検出し、左眼画像における顔検出枠の代表座標および右眼画像における顔検出枠の代表座標を少なくとも有する顔検出枠情報を生成する。すなわち、各撮像画像にて特定対象を検出し、各撮像画像における特定対象の検出マークの代表座標を少なくとも有する検出マーク情報を生成する。

ここで、顔は、顔らしさを示す評価値に基づいて、検出される。顔検出枠は、撮像画像中の顔の位置又は範囲を示す。図６のデジタルカメラ１０では、一般のＡＦ（自動焦点制御）やＡＥ（自動露出制御）が困難な場合でも、顔を検出し、顔領域でＡＦやＡＥを行うことによって、適切な合焦および露出がされた被写体像を得ることができる。また、顔が重要な撮影シーンでは、顔を検出し、その顔の領域に対し特有の補正（例えばユーザが選択した補正）を施す。また、顔検出枠をモニタ２４に表示させることで、ユーザはデジタルカメラ１０が顔を検出したか否かを判断することができる。

差分ベクトル算出部７０は、顔検出部１４８によって生成された顔検出枠情報を取得して、左眼画像における顔検出枠の代表座標と右眼画像における顔検出枠の代表座標との差分ベクトルを算出する。例えば、左眼画像における顔検出枠の中心座標と右眼画像における顔検出枠の中心座標との差分ベクトルを算出する。顔検出枠が四角形であって、顔検出枠の傾きおよびサイズが左眼画像と右眼画像とで同じである場合、４つのうちひとつの頂点の座標を代表座標として差分ベクトルを求めてもよい。

移動ベクトル算出部７２は、後述の視差量調整部７４にて左眼画像と右眼画像とで顔の視差量を調整するため、差分ベクトル算出部７０により算出された差分ベクトルに基づいて、左眼画像の移動ベクトルおよび右眼画像の移動ベクトルのうち少なくとも一方を算出する。

視差量調整部７４は、移動ベクトル算出部７２により算出された移動ベクトルに従って、左眼画像および右眼画像のうち少なくとも一方を移動させることで、左眼画像の顔の表示位置と右眼画像の顔の表示位置との差分を調整する。具体的には、モニタ２４の表示画面における顔の表示位置の差分を調整する。すなわち、顔の視差量を調整する。

視差量の調整例としては、第１に、顔の表示位置を一致させる調整がある。第２に、顔の視差量を大きくする調整がある。第３に、顔の視差量を目的量に設定する調整がある。これらの第１〜第３の調整のうちいずれの調整を行うかは、操作部１１２により指示入力される。例えば、通常の人物撮影モードであれば、顔の表示位置を一致させて視差量を「０」とする。

視差量調整部７４の具体的な構成には各種ある。

第１に、画像処理により、モニタ２４の表示画面上で左眼画像および右眼画像のうち少なくとも一方を移動させることで、左眼画像の顔の表示位置と右眼画像の顔の表示位置との差分（すなわち視差量）を調整する構成がある。実際には、ＶＲＡＭ１２２に左眼画像および右眼画像を書き込む際に、表示位置を調整する。画像の移動により空白となるモニタ２４の表示画素には、黒（もしくは白など）の画素値を設定する。例えば、左眼画像および右眼画像を共に差分ベクトルの１／２ずつ移動させることで、顔の表示位置を一致させる。

第２に、撮像素子１３４または撮影レンズ１４を移動させることで手振れを補正する手振れ補正機構を用いて、顔の表示位置を移動させる構成がある。例えば、ＣＣＤ（撮像素子）シフト式の場合には、左眼用の撮像素子１３４Ｌおよび右眼用の撮像素子１３４Ｒを共に差分ベクトルの１／２分に相当する移動量ずつ移動させることで、顔の表示位置を一致させる。この例では、予め１画素（１ピクセル）相当の撮像素子１３４の移動量を求めておく。すなわち、撮像素子１３４の移動量とモニタ２４上の表示位置の移動量との対応関係を求めておく。もしくは、フィードバック機能を持ち、顔の表示位置が一致するまで撮像素子１３４の移動を行う。

第３に、左眼用の撮影レンズ１４Ｌと右眼用の撮影レンズ１４Ｒとの輻輳角を変更する輻輳角変更機構を用いて、顔の表示位置を移動させる構成がある。輻輳角は、左眼用の撮影レンズ１４Ｌの光軸と右眼用の撮影レンズ１４Ｒの光軸とが成す角度（図４（Ｂ）のθｃ）である。この例では、予め１画素（１ピクセル）相当の撮影レンズ１４の回動量を求めておく。もしくは、フィードバック機能を持ち、顔の表示位置が一致するまで撮影レンズ１４の回動を行う。

図７は、本発明を適用した第１実施形態における撮影処理の一例の流れを示すフローチャートである。本処理は、図１のシャッタボタン１８が半押しされたとき、図６のＣＰＵ１１０の統括制御によりプログラムに従い実行される。電源／モードスイッチ２０により撮影モードが選択されたときに本処理を開始してもよい。

ステップＳ１にて、左眼用の撮像素子１３４Ｌで撮像された左眼画像、および、右眼用の撮像素子１３４Ｒで撮像された右眼画像を取得する。図６のデジタルカメラ１０では、撮像素子制御部１３６の制御により撮像素子１３４のフォトダイオード（撮像画素）から信号電荷が読み出され、その信号電荷からなるデジタルの画像信号が生成され、その画像信号が画像入力コントローラ１４１により取り込まれて、ＳＤＲＡＭ１２０に格納される。

ステップＳ２にて、差分ベクトル算出部７０は、ＳＤＲＡＭ１２０から顔検出枠情報を取得する。顔検出部１４８により左眼画像および右眼画像にてそれぞれ顔（顔画像）を検出する顔検出処理が行われ、その顔検出処理の結果として生成される顔検出枠情報がＳＤＲＡＭ１２０に格納されている。顔検出枠情報は、左眼画像における顔検出枠の代表座標および右眼画像における顔検出枠の代表座標を含む。

図８（Ａ）は一例としての左眼画像９１Ｌおよびその顔検出枠９２Ｌを示し、図８（Ｂ）は一例としての右眼画像９１Ｒおよびその顔検出枠９２Ｒを示す。本例では、顔検出枠として四角形のマーク（顔検出マーク）を用い、そのマークを構成する４点の座標を代表座標として用いて、後述する顔の視差量調整を行う。

本例にて、左眼画像内の顔の位置を示す顔検出枠の４点の座標は、（Ｌｘ１，Ｌｙ１）,（Ｌｘ２,Ｌｙ２）,（Ｌｘ３,Ｌｙ３）,（Ｌｘ４,Ｌｙ４）である。また、右眼画像内の顔の位置を示す顔検出枠の４点の座標は、（Ｒｘ１，Ｒｙ１）,（Ｒｘ２,Ｒｙ２）,（Ｒｘ３, Ｒｙ３）,（Ｒｘ４, Ｒｙ４）である。

なお、顔検出部１４８で生成された顔検出枠情報に基づいて、各撮像手段１１Ｌ、１１ＲのＡＦ（自動焦点制御）およびＡＥ（自動露出制御）を行う。例えば、左眼の顔検出枠情報に基づいて左眼用の撮像手段１１ＬのＡＥおよびＡＦが行われ、右眼の顔検出枠情報に基づいて右眼用の撮像手段１１ＲのＡＥおよびＡＦが行われる。

ステップＳ３にて、差分ベクトル算出部７０により、顔検出枠情報に基づいて、左眼の撮像画像における顔検出枠上の４点の座標と右眼の撮像画像における顔検出枠上の４点の座標との差分を算出する。

本例では、次式に示すように、顔検出枠の四隅の各点ごとに座標の差分ｔ１〜ｔ４を演算する。

［数１］
ｔ１＝（（Ｌｘ１−Ｒｘ１）^２＋（Ｌｙ１−Ｒｙ１）^２）^０．５
ｔ２＝（（Ｌｘ２−Ｒｘ２）^２＋（Ｌｙ２−Ｒｙ２）^２）^０．５
ｔ３＝（（Ｌｘ３−Ｒｘ３）^２＋（Ｌｙ３−Ｒｙ３）^２）^０．５
ｔ４＝（（Ｌｘ４−Ｒｘ４）^２＋（Ｌｙ４−Ｒｙ４）^２）^０．５
ステップＳ４にて、座標の差分ｔ１〜ｔ４が同じであるか否かを判定する。ｔ１〜ｔ４が同じでない場合にはステップＳ５〜Ｓ８が行われ、ｔ１〜ｔ４が同じ場合にはステップＳ９〜Ｓ１１が行われる。

ステップＳ５にて、差分ベクトル算出部７０により、図９（Ａ）示す左眼画像９１Ｌの顔検出枠の中心点Ｃ_Ｌの座標（Ｃ_Ｌｘ，Ｃ_Ｌｙ）を算出するとともに、図９（Ｂ）示す右眼画像９１Ｒの顔検出枠の中心点Ｃ_Ｒの座標（Ｃ_Ｒｘ，Ｃ_Ｒｙ）を算出する。Ｃ_Ｌｘ，Ｃ_Ｌｙ，Ｃ_Ｒｘ，Ｃ_Ｒｙを次式に示す。
［数２］
Ｃ_Ｌｘ＝（Ｌｘ１＋Ｌｘ２＋Ｌｘ３＋Ｌｘ４）／４
Ｃ_Ｌｙ＝（Ｌｙ１＋Ｌｙ２＋Ｌｙ３＋Ｌｙ４）／４
Ｃ_Ｒｘ＝（Ｒｘ１＋Ｒｘ２＋Ｒｘ３＋Ｒｘ４）／４
Ｃ_Ｒｙ＝（Ｒｙ１＋Ｒｙ２＋Ｒｙ３＋Ｒｙ４）／４
ステップＳ６にて、差分ベクトル算出部７０により、図１０（Ａ）に示すように、左眼画像９１Ｌの顔検出枠の中心点Ｃ_Ｌの座標と右眼画像９１Ｒの顔検出枠の中心点Ｃ_Ｒの座標との差分ベクトルｔｃ_ＬＲを算出する。差分ベクトルｔｃ_ＬＲを次式に示す。

［数３］
ｔｃ_ＬＲ＝［Ｃ_Ｒｘ，Ｃ_Ｒｙ］−［Ｃ_Ｌｘ，Ｃ_Ｌｙ］
ステップＳ７にて、移動ベクトル算出部７２により、左眼画像および右眼画像の移動ベクトル（ｔｃ_ＬＲ／２）を算出し、ステップＳ８にて、視差量調整部７４は、図１１に示すように左眼画像９１Ｌおよび右眼画像９１Ｒをそれぞれ差分ベクトルｔｃ_ＬＲの半分（０．５×ｔｃ_ＬＲ／２）ずつ移動させることで、左眼画像９１Ｌの顔検出枠の中心座標と右眼画像９１Ｒの顔検出枠の中心座標とを略一致させる。すなわち、左眼画像の顔の表示位置と右眼画像の顔の表示位置とを略一致させる。これにより、左眼画像と右眼画像とで顔の視差量が「０」に設定される。

ステップＳ４にて、顔検出枠の各点の差分ベクトルｔ１〜ｔ４が同じ場合には、ステップＳ９にて、差分ベクトル算出部７０により、左眼画像の顔検出枠と右眼画像の顔検出枠とで互いに対応する対応点Ｒｉ（Ｒｘｉ，Ｒｙｉ）、Ｌｉ（Ｌｘｉ，Ｌｙｉ）同士の座標の差分ベクトルｔｉ_ＬＲを（図１０（Ｂ）に示す）算出する。ここでｉは１〜４のうちいずれかである。

ステップＳ１０にて、移動ベクトル算出部７２により、左眼画像９１Ｌおよび右眼画像９１Ｒの移動ベクトル（０．５×ｔｉ_ＬＲ）を算出し、視差量調整部７４により、ステップＳ１１にて、左眼画像９１Ｌおよび右眼画像９１Ｒをそれぞれ移動ベクトル分移動させることで、左眼画像の顔検出枠の中心点座標と右眼画像の顔検出枠の中心点座標とを略一致させる。すなわち、左眼画像の顔の表示位置と右眼画像の顔の表示位置とを略一致させる。これにより、左眼画像と右眼画像とで顔の視差量を「０」に設定する。

ステップＳ１２にて、表示制御部１５８により、視差量が調整された右眼画像および左眼画像をモニタ２４にスルー画として表示させる。

ステップＳ１３にて、シャッタボタン１８が全押しされたか否かを判定し、全押しされているときは、ステップＳ１４に進み、全押しされていないときは、ステップＳ１に戻る。

そして、シャッタボタンが全押しされると、ステップＳ１４にて、メディア制御部１５４により、撮像画像（右眼画像および左眼画像）と、左眼画像の顔と右眼画像の顔との表示位置合わせに用いた情報（位置合わせ情報）とを関連付けて、メモリカード１５６に記録する。

ここで、位置合わせ情報としては、差分ベクトル（調整前の視差量）、移動ベクトル、調整後の視差量（本例の場合は「０」）などが挙げられる。少なくとも、差分ベクトルおよび移動ベクトルのうち少なくとも一方を撮像画像に関連付けて記録する。

図１２（Ａ）〜（Ｃ）に位置合わせ情報と撮像画像との関連付けの例を示す。図１２（Ａ）に示す例では、位置合わせ情報を含むヘッダと左眼画像と右眼画像とをひとつの立体画像ファイル１９１として記録する。図１２（Ｂ）に示す例では、左眼画像の位置合わせ情報を含むヘッダと左眼画像とを左眼画像ファイル１９２とし、右眼画像の位置合わせ情報を含むヘッダと右眼画像とを右眼画像ファイル１９３として、それぞれ記録する。図１２（Ｃ）に示す例では、位置合わせ情報を含む位置合わせ情報ファイル１９４、左眼画像を含む左眼画像ファイル１９５、右眼画像を含む右眼画像ファイル１９６を、それぞれ記録する。図１２（Ｂ）および（Ｃ）に示す場合には、複数のファイルを同じフォルダに格納してもよいし、ファイル名の一部を同じにして複数のフォルダに分けて格納してもよい。

（第２実施形態）
第２実施形態では、複数の視点でそれぞれ撮像された複数の撮像画像（左眼画像および右眼画像）を取得するとともに、その複数の撮像画像にてそれぞれ特定対象のパーツを検出して生成されたパーツ情報を活用して、複数の撮像画像間で特定対象のパーツの表示位置（モニタ２４上の表示座標）の差分を調整することで、特定対象の視差量を調整する。言い換えると、パーツ情報を活用する点で第１実施形態と異なり、複数の撮像画像間で特定対象の視差量を調整する点で第１実施形態と同じである。

なお、本例では、発明の理解を容易にするため、一般のデジタルカメラでよく行われているように、顔を特定対象として、そのパーツ（以下「顔パーツ」という）を検出する場合を例に説明するが、本発明にて特定対象は顔に特に限定されない。例えば、車、建物などを特定対象として、そのパーツを検出する場合にも、本発明を適用できる。

図１３は、図１及び図２に示したデジタルカメラ１０の第２実施形態における内部構成を示すブロック図である。なお、図１、図２、および、第１実施形態の図６に示した構成要素と同じ構成要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図１３にて、顔パーツ検出部１４９は、左眼画像および右眼画像のそれぞれにて顔パーツ（例えば目、口など）を検出し、左眼画像における各顔パーツの代表座標および右眼画像における各顔パーツの代表座標を少なくとも有するパーツ情報を生成する。

ここで、顔パーツは、顔パーツらしさを示す評価値に基づいて、検出される。図１３のデジタルカメラ１０では、一般のＡＦ（自動焦点制御）やＡＥ（自動露出制御）が困難な場合でも、顔パーツを検出し、その顔パーツおよび周辺を含む顔領域でＡＦやＡＥを行うことによって、適切な合焦および露出がされた被写体像を得ることができる。また、顔が重要な撮影シーンでは、顔パーツを検出し、その顔パーツおよび周辺を含む顔領域に対し特有の補正（例えばユーザが選択した補正）を施す。また、顔パーツの位置又は範囲を示す顔パーツ検出枠をモニタ２４に表示させることで、ユーザはデジタルカメラ１０が顔パーツを検出したか否かを判断することができる。

差分ベクトル算出部１７０は、顔パーツ検出部１４９によって生成されたパーツ情報を取得して、左眼画像における顔パーツの代表座標と右眼画像における顔パーツの代表座標との差分ベクトルを算出する。例えば、左眼画像および右眼画像にて、互いに対応する顔パーツ（例えば左目に対し左目、右目に対し右目）の互いに対応する点同士の座標の差分ベクトルを算出する。互いに対応する顔パーツの検出枠の中心座標の差分ベクトルを算出してもよい。

移動ベクトル算出部１７２および視差量調整部１７４は、第１実施形態における図６の移動ベクトル算出部７２および視差量調整部７４と同様である。本実施形態の移動ベクトル算出部１７２は、本実施形態の差分ベクトル算出部１７０により算出された差分ベクトルに基づいて、左眼画像の移動ベクトルおよび右眼画像の移動ベクトルを算出する。本実施形態の視差量調整部１７４は、移動ベクトル算出部１７２にて算出された移動ベクトルに従い、左眼画像および右眼画像のうち少なくとも一方を移動させることで、左眼画像の顔パーツの表示位置と右眼画像の顔パーツの表示位置との差分を調整する。これにより、左眼画像と右眼画像とで顔の視差量を調整する。

画像回転処理部１７６は、パーツ情報によって示される複数の顔パーツの代表座標に基づいて、左眼画像および右眼画像における顔の傾きを検出し、左眼画像および右眼画像のうち少なくとも一方に対して回転処理を施すことで、左眼画像と右眼画像とで顔の傾きを一致させる。例えば、両目の座標に基づいて、画像の回転角度を算出する。

画像拡縮処理部１７８は、パーツ情報によって示される複数の顔パーツの代表座標に基づいて、左眼画像と右眼画像とで顔のサイズの比を検出し、左眼画像および右眼画像のうち少なくとも一方に対して拡縮処理を施すことで、左眼画像と右眼画像とで顔の大きさを一致させる。例えば、両目の間隔に基づいて、顔のサイズの比を検出し、画像の拡大倍率または縮小倍率を算出する。

図１４は、本発明の画像処理方法を適用した撮影処理の一例の流れを示すフローチャートである。本処理は、図１のシャッタボタン１８が半押しされたとき、図１３のＣＰＵ１１０の統括制御によりプログラムに従い実行される。電源／モードスイッチ２０により撮影モードが選択されたときに本処理を開始してもよい。

ステップＳ２１は、図７に示した第１実施形態のステップＳ１と同じであり、既に説明したので、ここではその説明を省略する。

ステップＳ２２にて、差分ベクトル算出部１７０はＳＤＲＡＭ１２０からパーツ情報を取得する。顔パーツ検出部１４９により左眼画像および右眼画像にてそれぞれ顔パーツ（顔パーツ画像）を検出する顔パーツ検出処理が行われ、その顔パーツ検出処理の結果として生成されるパーツ情報がＳＤＲＡＭ１２０に格納されている。パーツ情報は、左眼画像における各顔パーツの代表座標および右眼画像における各顔パーツの代表座標を含む。

図１５（Ａ）は一例としての左眼画像を示し、図１５（Ｂ）は一例としての右眼画像を示す。以下では、説明を簡略に行うため、顔パーツとして目のみ検出し、目の位置を示す顔パーツ検出枠の座標しか活用しないものとして説明する。顔パーツ検出枠として四角形のマークを用い、そのマークを構成する４点の座標を目の代表座標として、後述する顔の視差量調整を行う。

本例にて、左眼画像内の左目の位置を示す顔パーツ検出枠の４点の座標は、（^ＬＰ_１ｘ１，^ＬＰ_１ｙ１）,（^ＬＰ_１ｘ２, ^ＬＰ_１ｙ２）,（^ＬＰ_１ｘ３,^ＬＰ_１ｙ３）,（^ＬＰ_１ｘ４, ^ＬＰ_１ｙ４）である。 左眼画像内の右目の位置を示す顔パーツ検出枠の４点の座標は、（^ＬＰ_２ｘ１，^ＬＰ_２ｙ１）,（^ＬＰ_２ｘ２,^ＬＰ_２ｙ２）,（^ＬＰ_２ｘ３, ^ＬＰ_２ｙ３）,（^ＬＰ_２ｘ４,^ＬＰ_２ｙ４）である。

右眼画像内の左目の位置を示す顔パーツ検出枠の４点の座標は、（^ＲＰ_１ｘ１，^ＲＰ_１ｙ１）,（^ＲＰ_１ｘ２, ^ＲＰ_１ｙ２）,（^ＲＰ_１ｘ３, ^ＲＰ_１ｙ３）,（^ＲＰ_１ｘ４, ^ＲＰ_１ｙ４）である。

右眼画像内の右目の位置を示す顔パーツ検出枠の４点の座標は、（^ＲＰ_２ｘ１，^ＲＰ_２ｙ１）,（^ＲＰ_２ｘ２, ^ＲＰ_２ｙ２）,（^ＲＰ_２ｘ３, ^ＲＰ_２ｙ３）,（^ＲＰ_２ｘ４, ^ＲＰ_２ｙ４）である。

なお、顔パーツ検出部１４９で生成されたパーツ情報に基づいて、各撮像手段１１Ｌ、１１ＲのＡＦ（自動焦点制御）およびＡＥ（自動露出制御）を行う。例えば、左眼の顔パーツ検出情報に基づいて左眼用の撮像手段１１ＬのＡＥおよびＡＦが行われ、右眼の顔パーツ検出情報に基づいて右眼用の撮像手段１１ＲのＡＥおよびＡＦが行われる。

ステップＳ２３にて、差分ベクトル算出部１７０により、各画像（左眼画像および右眼画像）にて、各顔パーツの中心座標を算出する。本例では、目の検出枠（顔パーツ検出枠）の中心座標を目の中心座標として算出する。

左眼画像の左目検出枠の中心座標（^ＬＰ_ｃｘ１，^ＬＰ_ｃｙ１）は、次式により求める。

［数４］
^ＬＰ_ｃｘ１＝（^ＬＰ_１ｘ１＋^ＬＰ_１ｘ２＋^ＬＰ_１ｘ３＋^ＬＰ_１ｘ４）／４
^ＬＰ_ｃｙ１＝（^ＬＰ_１ｙ１＋^ＬＰ_１ｙ２＋^ＬＰ_１ｙ３＋^ＬＰ_１ｙ４）／４
左眼画像の右目検出枠の中心座標（^ＬＰ_ｃｘ２，^ＬＰ_ｃｙ２）は、次式により求める。

［数５］
^ＬＰ_ｃｘ２＝（^ＬＰ_２ｘ１＋^ＬＰ_２ｘ２＋^ＬＰ_２ｘ３＋^ＬＰ_２ｘ４）／４
^ＬＰ_ｃｙ２＝（^ＬＰ_２ｙ１＋^ＬＰ_２ｙ２＋^ＬＰ_２ｙ３＋^ＬＰ_２ｙ４）／４
右眼画像の左目検出枠の中心座標（^ＲＰ_ｃｘ１，^ＲＰ_ｃｙ１）は、次式により求める。

［数６］
^ＲＰ_ｃｘ１＝（^ＲＰ_１ｘ１＋^ＲＰ_１ｘ２＋^ＲＰ_１ｘ３＋^ＲＰ_１ｘ４）／４
^ＲＰ_ｃｙ１＝（^ＲＰ_１ｙ１＋^ＲＰ_１ｙ２＋^ＲＰ_１ｙ３＋^ＲＰ_１ｙ４）／４
右眼画像の右目検出枠の中心座標（^ＲＰ_ｃｘ２，^ＲＰ_ｃｙ２）は、次式により求める。

［数７］
^ＲＰ_ｃｘ２＝（^ＲＰ_２ｘ１＋^ＲＰ_２ｘ２＋^ＲＰ_２ｘ３＋^ＲＰ_２ｘ４）／４
^ＲＰ_ｃｙ２＝（^ＲＰ_２ｙ１＋^ＲＰ_２ｙ２＋^ＲＰ_２ｙ３＋^ＲＰ_２ｙ４）／４
ステップＳ２４にて、画像回転処理部１７６により、各画像（左眼画像および右眼画像）にて、両目を通る直線ａ_Ｌ、ａ_Ｒの傾きを算出する。本例では、ふたつの目検出枠の中心座標を通る直線の傾きａ_Ｌ、ａ_Ｒとして算出する。
ａ_Ｌ＝（^ＬＰ_ｃｙ２−^ＬＰ_ｃｙ１）／（^ＬＰ_ｃｘ２−^ＬＰ_ｃｘ１）
ａ_Ｒ＝（^ＲＰ_ｃｙ２−^ＲＰ_ｃｙ１）／（^ＲＰ_ｃｘ２−^ＲＰ_ｃｘ１）
ステップＳ２５にて、画像回転処理部１７６により、傾きａ_Ｌ，ａ_Ｒを比較し、大きい傾きの画像に対して回転処理を施して、小さい方の傾きで一致させる。これにより、左眼画像と右眼画像とで、顔の傾きを合わせる。

ａ_Ｌ＞ａ_Ｒである場合、同じ傾きａ_Ｒとなるように、左眼画像を回転させる。

ａ_Ｌ＜ａ_Ｒである場合、同じ傾きａ_Ｌとなるように、左眼画像を回転させる。

ステップＳ２６にて、画像拡縮処理部１７８により、各画像（左眼画像および右眼画像）にて、図１６（Ａ）および（Ｂ）に示すように、両目の間隔ｄ_Ｌ、ｄ_Ｒを算出する。
ｄ_Ｌ＝（（^ＬＰ_ｃＸ２−^ＬＰ_ｃＸ１）^２＋（^ＬＰ_ｃＹ２−^ＬＰ_ｃＹ１）^２）^０．５
ｄ_Ｒ＝（（^ＲＰ_ｃＸ２−^ＲＰ_ｃｙ１）^２＋（^ＲＰ_ｃＹ２−^ＲＰ_ｃＹ１）^２）^０．５
ステップＳ２７にて、画像拡縮処理部１７８により、両目の間隔の比ｂ（＝ｄ_Ｌ／ｄ_Ｒ）を顔のサイズの比として求めて、右眼画像をｂ倍する。これにより、左眼画像９１Ｌと右眼画像９１Ｒとで顔の大きさが等しくなる。

ステップＳ２８にて、移動ベクトル算出部１７２により、左眼画像および右眼画像の移動ベクトル（ｔｃ_ＬＲ／２）を算出しステップＳ２９にて、左眼画像９１Ｌおよび右眼画像９１Ｒをそれぞれ差分ベクトルｔｃ_ＬＲの半分（ｔｃ_ＬＲ／２）ずつ移動させることで、左眼画像９１Ｌと右眼画像９１Ｒとで対応する顔パーツの中心座標を略一致させる。すなわち、左眼画像と右眼画像とで顔の視差量を「０」に設定する。

ステップＳ３０、Ｓ３１およびＳ３２は、図７に示した第１実施形態のステップＳ１２、Ｓ１３およびＳ１４とそれぞれ同じであり、既に説明したので、ここではその説明を省略する。

以上、視差量を調整する特定対象が顔である場合を例に説明したが、本発明において特定対象は限定されない。また、検出マークが四角形の顔検出枠である場合を例に説明したが、本発明において検出マーク情報の形状は限定されない。例えば、円状の検出マークでもよいし、枠でない記号（例えば矢印）でもよい。検出マーク情報は、少なくとも撮像画像上の顔の位置又は範囲を示す情報であればよい。また、パーツ情報が目（または目検出枠）の座標情報である場合を例に説明したが、パーツ情報は、少なくとも撮像画像上のパーツの位置又は範囲を示す情報であればよい。

また、撮像画像を撮像時に撮像素子１３４から取得する場合を例に説明したが、このような場合に本発明は限定されない。メモリカード１５６等の記録媒体から取得する場合でもよく、入出力コネクタ３８を介して通信により取得する場合でも本発明を適用できる。通信は、周知の通信技術、例えばＵＳＢ（Universal Serial Bus）通信を用いればよい。

また、デジタルカメラ１０に限らず、立体表示可能な各種の画像処理装置にて適用できる。また、モニタ２４は画像処理装置の外部に設けてもよいことは、いうまでもない。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

本発明を適用したデジタルカメラの外観構成を示す正面斜視図 本発明を適用したデジタルカメラの外観構成を示す背面斜視図 立体表示可能なモニタの構造例を説明するための説明図 （Ａ）および（Ｂ）はデジタルカメラにより顔を撮像している状況を模式的に示す模式図、（Ｃ）は人の両目により顔を注目した様子を模式的に示す模式図 （Ａ）は左眼画像および右眼画像の一例を示す説明図、（Ｂ）は視差量が大きい場合の見え方を模式的に示す説明図 第１実施形態におけるデジタルカメラの内部構成の一例を示すブロック図 本発明を適用した第１実施形態における撮影処理の一例の流れを示すフローチャート （Ａ）は左眼画像およびその顔検出枠を示す説明図、（Ｂ）は右眼画像およびその顔検出枠を示す説明図 （Ａ）は左眼画像における顔検出枠の中心座標を示す説明図、（Ｂ）は右眼画像における顔検出枠の中心座標を示す説明図 （Ａ）は顔検出枠の中心座標の差分ベクトルを示す説明図、（Ｂ）は顔検出枠の対応点同士の座標の差分ベクトルを示す説明図 画像移動による顔の視差量調整を示す説明図 位置合わせ情報と画像の記録の説明に用いる説明図 第２実施形態におけるデジタルカメラの内部構成の一例を示すブロック図 本発明を適用した第２実施形態における撮影処理の一例の流れを示すフローチャート （Ａ）は左眼画像およびその目検出枠を示す説明図、（Ｂ）は右眼画像およびその目検出枠を示す説明図 （Ａ）は左眼画像における両目間隔を示す説明図、（Ｂ）は右眼画像における両目間隔を示す説明図 目の中心座標の差分ベクトルを示す説明図

符号の説明

１０…デジタルカメラ、１１（１１Ｒ、１１Ｌ）…撮像手段、１４（１４Ｒ、１４Ｌ）…撮影レンズ、１８…シャッタボタン、２０…電源／モードスイッチ、２４…モニタ、７０、１７０…差分ベクトル算出部、７２、１７２…移動ベクトル算出部、７４、１７４…視差量調整部、１１０…ＣＰＵ、１２２…ＶＲＡＭ（画像表示メモリ）、１３４（１３４Ｒ、１３４Ｌ）…撮像素子、１４８…顔検出部、１４９…顔パーツ検出部、１５４…メディア制御部、１７６…画像回転処理部、１７８…画像拡縮処理部

Claims (13)

1. 複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得する画像取得手段と、
   前記第１の撮像画像および前記第２の撮像画像のそれぞれにて特定対象を検出し、前記第１の撮像画像における前記特定対象の検出マークの代表座標および前記第２の撮像画像における前記特定対象の検出マークの代表座標を有する検出マーク情報を生成する特定対象検出手段と、
   前記第１の撮像画像における前記検出マークの代表座標と前記第２の撮像画像における前記検出マークの代表座標との差分ベクトルを算出する差分ベクトル算出手段と、
   前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象の表示位置と前記第２の撮像画像の前記特定対象の表示位置との差分を調整することで、前記特定対象の視差量を調整する視差量調整手段と、
   前記視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能な表示手段に表示させる表示制御手段と、
   を備えたことを特徴とする立体画像処理装置。
2. 前記差分ベクトル算出手段は、前記第１の撮像画像および前記第２の撮像画像のそれぞれにて前記検出マークの中心座標を算出し、前記第１の撮像画像における前記検出マークの前記中心座標と前記第２の撮像画像における前記検出マークの前記中心座標との差分を前記差分ベクトルとして算出することを特徴とする請求項１に記載の立体画像処理装置。
3. 複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得する画像取得手段と、
   前記第１の撮像画像および前記第２の撮像画像のそれぞれにて特定対象のパーツを検出し、前記第１の撮像画像における前記特定対象のパーツの代表座標および前記第２の撮像画像における前記特定対象のパーツの代表座標を有するパーツ情報を生成する特定対象パーツ検出手段と、
   前記第１の撮像画像における前記パーツの代表座標と前記第２の撮像画像における前記パーツの代表座標との差分ベクトルを算出する差分ベクトル算出手段と、
   前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象のパーツの表示位置と前記第２の撮像画像の前記特定対象のパーツの表示位置との差分を調整することで、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の視差量を調整する視差量調整手段と、
   前記視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能な表示手段に表示させる表示制御手段と、
   を備えたことを特徴とする立体画像処理装置。
4. 前記パーツ情報に基づいて、前記第１の撮像画像および前記第２の撮像画像のうち少なくとも一方に対して回転処理を施して、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の傾きを一致させる回転処理手段と、
   前記パーツ情報に基づいて、前記第１の撮像画像および前記第２の撮像画像のうち少なくとも一方に対して拡縮処理を施して、前記第１の撮像画像と前記第２の撮像画像とで前記特定対象の大きさを一致させる拡縮処理手段と、
   を備えたことを特徴とする請求項３に記載の立体画像処理装置。
5. 前記視差量調整手段は、前記特定対象の表示位置を一致させることを特徴とする請求項１ないし４のうちいずれか１項に記載の立体画像処理装置。
6. 前記視差量調整手段は、前記特定対象の前記視差量を大きくすることを特徴とする請求項１ないし４のうちいずれか１項に記載の立体画像処理装置。
7. 前記視差量調整手段は、前記特定対象の表示位置を画像処理により変更することを特徴とする請求項１ないし６のうちいずれか１項に記載の立体画像処理装置。
8. 第１の撮影レンズおよび該第１の撮影レンズを介して被写体像が結像される第１の撮像素子を有する第１の撮像手段と、
   第２の撮影レンズおよび該第２の撮影レンズを介して被写体像が結像される第２の撮像素子を有する第２の撮像手段と、
   前記撮影レンズおよび前記撮像手段のうち少なくとも一方を移動させることで手振れを補正する手振れ補正手段と、
   を備え、
   前記視差量調整手段は、前記手振れ補正手段を用いて前記特定対象の表示位置を変更することを特徴とする請求項１ないし６のうちいずれか１項に記載の立体画像処理装置。
9. 第１の撮影レンズおよび該第１の撮影レンズを介して被写体像が結像される第１の撮像素子を有する第１の撮像手段と、
   第２の撮影レンズおよび該第２の撮影レンズを介して被写体像が結像される第２の撮像素子を有する第２の撮像手段と、
   前記第１の撮影レンズおよび前記第２の撮影レンズの輻輳角を変更する輻輳角変更手段と、
   を備え、
   前記視差量調整手段は、前記輻輳角変更手段を用いて前記特定対象の表示位置を変更することを特徴とする請求項１ないし６のうちいずれか１項に記載の立体画像処理装置。
10. 撮影指示を入力する撮影指示手段を備え、
    前記視差量が調整された前記撮像画像を前記表示手段に表示させている状態で、前記撮影指示手段により前記撮影指示が入力されたとき、前記差分ベクトルから求めた前記特定対象の表示位置の移動ベクトルおよび前記差分ベクトルのうち少なくとも一方を、視差量調整情報として、前記第１の撮像画像および前記第２の撮像画像と関連付けて記録媒体に記録する記録制御手段を備えたことを特徴とする請求項１ないし６のうちいずれか１項に記載の立体画像処理装置。
11. 前記画像取得手段は、前記撮像画像を記録媒体から又は通信により取得し、
    前記視差量調整手段は、取得された前記撮像画像を前記表示装置に表示させるときに、前記視差量の調整を行うことを特徴とする請求項１ないし１０のうちいずれか１項に記載の立体画像処理装置。
12. 複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得するステップと、
    前記第１の撮像画像および第２の撮像画像のそれぞれにて特定対象を検出して生成された、前記特定対象の検出マークの代表座標を有する検出マーク情報を取得するステップと、
    前記第１の撮像画像における前記検出マークの代表座標と前記第２の撮像画像における前記検出マークの代表座標との差分ベクトルを算出するステップと、
    前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象の表示位置と前記第２の撮像画像の前記特定対象の表示位置との差分を調整することで、前記特定対象の視差量を調整するステップと、
    視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能な表示手段に表示させるステップと、
    を備えたことを特徴とする立体画像処理方法。
13. 複数の視点で撮像された第１の撮像画像および第２の撮像画像を取得するステップと、
    前記第１の撮像画像および第２の撮像画像のそれぞれにて特定対象のパーツを検出して生成された、前記特定対象のパーツの代表座標を有するパーツ情報を取得するステップと、
    前記第１の撮像画像における前記パーツの代表座標と前記第２の撮像画像における前記パーツの代表座標との差分ベクトルを算出するステップと、
    前記差分ベクトルに基づいて、前記第１の撮像画像の前記特定対象のパーツの表示位置と前記第２の撮像画像の前記特定対象のパーツの表示位置との差分を調整することで、前記特定対象の視差量を調整するステップと、
    視差量が調整された前記第１の撮像画像および前記第２の撮像画像を立体表示可能な表示手段に表示させるステップと、
    を備えたことを特徴とする立体画像処理方法。

Images