JP2010200024A

JP2010200024A - 立体画像表示装置および立体画像表示方法

Info

Publication number: JP2010200024A
Application number: JP2009042989A
Authority: JP
Inventors: Yoshiaki Kato; 吉明加藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-02-25
Filing date: 2009-02-25
Publication date: 2010-09-09

Abstract

【課題】サムネイル画像が一覧表示されたときには後の本画像の立体表示で立体視するための注目領域を予め一目で判別することができ、本画像が立体表示されたときには立体視を即座に認識することができること。
【解決手段】
複数の視点で撮像された撮像画像を立体表示する前に、前記撮像画像から生成されたサムネイル画像を一覧で表示するモニタ２４と、前記一覧中の前記サムネイル画像を選択する選択指示が入力される操作部１１２と、選択指示が入力されて前記撮像画像を立体表示するときに、選択された前記サムネイル画像に対応する複数視点の前記撮像画像を、前記撮像画像中の特定対象の検出領域にて互いに位置合わせする視差量調整部７４と、前記特定対象の前記検出領域を示す検出領域情報をサムネイル画像中に付加する画像表示制御部８２を備えた。
【選択図】図６

Description

本発明は、複数の視点で撮像された画像を立体表示する立体画像表示装置および立体画像表示方法に関する。

複数の視点で撮像された画像を立体表示する装置が知られている（例えば特許文献１〜３を参照）。

特許文献１には、複数の視点で同時に撮像された２次元画像を表示装置に表示させて、ユーザが２次元画像間のずれを少なくするように操作を行うことが記載されている。

特許文献２には、複数の視点の画像に対して外部からレーザ光を照射して、照射点を対応点として３次元表示することが記載されている。

特許文献３には、立体表示の際に枠を表示することが記載されている。同一の枠信号を立体映像信号に合成することで、枠を常に画面の周辺に表示する。

また、高解像度で再生表示可能な画像（本画像）が複数枚存在する場合、まず、縮小したサムネイル画像を一覧で表示し、その一覧中のサムネイル画像をユーザに選択させて、選択されたサムネイル画像に対応する本画像を表示する技術が知られている。

特開２００１−１２９１０号公報特開平７−３０９２７号公報特開平９−２３４５０号公報

サムネイル画像を一覧表示した後に本画像を立体表示する場合、ユーザは、サムネイル画像が一覧表示されたときには、後の本画像の立体表示で立体視するための注目領域を予め一目で判別することができず、本画像が立体表示されたときになってはじめて、立体視できるように注目領域や視差がある領域を注意して探す必要がある。つまり、本画像の立体表示時に立体視を即座に認識することができないという課題がある。

また、従来は、複数視点の画像の対応点を得るために、レーザ光源等の特殊な素子を必要とするか、あるいは、ユーザに対応付け操作を求める必要があった。対応点検出のための新たな画像処理等を行う方策も考えられるが、その処理が煩雑、時間を要する、正確な対応点検出が難しい、などの問題がある。また、立体表示時に注目領域を示す枠を表示する方策もあるが、立体表示の観賞の邪魔になるという課題がある。

また、サムネイル画像は小さいので、立体表示時の注目領域をユーザに対して示すことが容易でないという課題もある。

また、ユーザは、どの画像が立体表示され、どの画像が立体表示されないかを、サムネイル画像の一覧表示の際に予め知ることができないので、立体表示時にユーザに違和感を与えるという課題もある。

また、立体表示時に複数視点の撮像画像間の位置合わせを行う場合、位置合わせ済画像を外部の記録媒体に保存しようとすると、表示動作に遅延を生じさせるという課題もある。

また、撮影ごとに複数視点の撮像画像間の位置合わせを行う場合、シャッタ操作による撮影処理に遅延を生じさせるという課題もある。

特許文献１〜３には、上記課題および上記課題を解決するための構成が記載されていない。

なお、特許文献１記載の構成では、撮像された２枚の２次元画像を表示させ、ユーザが位置合わせする部分を自分で見つけて２次元画像間のずれを少なくするように操作する必要があり、対応付けが煩雑、時間を要する、正確な対応付けが難しい等の欠点がある。

また、特許文献２記載の構成では、レーザ光源のような外付け素子が必要であるため、機器の製造コストが上昇する、取り付けスペースが必要なため機器が大型化する、レーザー光が到達しない場合には対応点検出が不可能等の欠点がある。

また、特許文献３には、立体表示の際に枠が表示されるから立体感を強調することが出来ると記載されている。しかし、枠を常に画面の周辺に位置するように合成して表示することから、立体視するための注目領域の位置が任意に変化する場合、ユーザに真の立体視を体感させることは、実際には困難である。また、枠表示を画像に合成して表示することが必須である以上は、画像によっては枠が立体表示観賞の邪魔になる場合がでてくる。

本発明はこのような事情に鑑みてなされたもので、サムネイル画像が一覧表示されたときには後の本画像の立体表示で立体視するための注目領域を予め一目で判別することができ、本画像が立体表示されたときには立体視を即座に認識することができる立体画像表示装置および立体画像表示方法を提供することを目的とする。

前記目的を達成するために、請求項１の発明は、複数の視点で撮像された撮像画像を立体表示する前に、前記撮像画像から生成されたサムネイル画像を一覧で表示する表示手段と、前記一覧中の前記サムネイル画像を選択する選択指示が入力される指示入力手段と、前記選択指示が入力されて前記撮像画像を立体表示するときに、選択された前記サムネイル画像に対応する複数視点の前記撮像画像を、前記撮像画像中の特定対象の検出領域にて互いに位置合わせする位置合わせ手段と、前記特定対象の前記検出領域を示す検出領域情報を前記サムネイル画像中に付加する表示制御手段と、を備えることを特徴とする立体画像表示装置を提供する。

これによれば、サムネイル画像の一覧表示の際には、特定対象の検出領域を視認させる検出領域情報が付加されたサムネイル画像が表示され、複数視点の撮像画像（本画像）の立体表示の際には、特定対象の検出領域にて互いに位置合わせされた複数視点の撮像画像が立体表示されるので、ユーザは、サムネイル画像が一覧表示されたときには、後の本画像の立体表示で立体視するための注目領域を予め一目で判別することができる。よって、本画像が立体表示されたときには、即座に立体視できる。

また、特定対象の検出領域にて複数視点の撮像画像間で位置合わせが行われるので、レーザ光源等の特殊な素子を必要とせず、且つ、ユーザに対応付け操作を求めることがなく、且つ、特定対象の検出結果を用いることで対応点検出のための新たな処理が不要になって位置合わせを短時間で行うことができ、且つ、誤差が少ない対応点検出が可能になる。また、本画像の立体表示時の枠の合成表示は必須でないので、観賞の邪魔にならないようにすることが可能になる。

請求項２の発明は、前記表示制御手段は、前記サムネイル画像に前記検出領域を示す枠を重ね合わせることを特徴とする。

これによれば、前記サムネイル画像に前記検出領域を示す枠を重ね合わせることで、注目領域をユーザに対して容易に示すことができる。

請求項３の発明は、前記表示制御手段は、前記サムネイル画像中の前記検出領域の輝度を上げることで、前記検出領域をハイライト表示することを特徴とする。

これによれば、前記サムネイル画像中の前記検出領域の輝度を上げることで、注目領域をユーザに対して容易に示すことができる。

請求項４の発明は、前記表示制御手段は、立体表示する前記撮像画像に対応する前記サムネイル画像には前記検出領域情報を付加し、立体表示しない前記撮像画像に対応する前記サムネイル画像には前記検出領域情報を付加しないことを特徴とする。

これによれば、ユーザは、どの画像が立体表示され、どの画像が立体表示されないかを、サムネイル画像の一覧表示の際に予め知ることができるので、立体表示されたときにはユーザに違和感を与えることがなく、また、ユーザに立体表示されるという期待感を与えることができる。

請求項５の発明は、前記撮像画像中の前記検出領域内の色および前記検出領域周辺の色に基づいて、前記検出領域情報の表示色を決定する表示色決定手段を備え、前記表示制御手段は、決定された表示色で前記検出領域情報を表示することを特徴とする。

これによれば、サムネイル画像における特定対象の検出領域を、視認性良くユーザに認識させることができる。

請求項６の発明は、前記指示入力手段に前記選択指示が入力されたときには、前記選択指示に従って選択された前記サムネイル画像に対応した前記撮像画像であって前記位置合わせ手段により位置合わせされた前記撮像画像を内部メモリに記憶し、前記指示入力手段に前記撮像画像の表示終了指示が入力されたときには、前記内部メモリに記憶された位置合わせ済の前記撮像画像を一括して外部の記録媒体に記録する記録制御手段を備えることを特徴とする。

これによれば、表示中には短時間で位置合わせ済画像を一時的に保存して表示動作に支障を与えないようにすることができる。また、最終的には外部の記録媒体に位置合わせ済の撮像画像が記録されるので、例えばプリント処理等の後処理を行う場合に、記録媒体中の位置合わせ済画像を利用することで、その処理時間の短縮が可能となる。

請求項７の発明は、複数視点で撮像を行う撮像手段と、前記撮像手段により撮像を行うとともに前記撮像画像の記録を行う際に、前記位置合わせ手段による前記撮像画像間の位置合わせを行わず、前記撮像画像を立体表示するときに、前記位置合わせ手段による前記撮像画像間の位置合わせを行う実行制御手段と、を備えることを特徴とする。

これによれば、撮影の際に複数視点の撮像画像間の位置合わせを行わないので、シャッタ操作による撮影処理に遅延を生じさせることがない。

請求項８の発明は、立体表示可能な表示手段を用い、複数の視点で撮像された撮像画像を立体表示する前に、前記撮像画像から生成されたサムネイル画像を一覧で表示する立体画像表示方法であって、前記撮像画像中の特定対象の検出領域を示す検出領域情報が付加された前記サムネイル画像を前記表示手段により一覧で表示するステップと、前記一覧中の前記サムネイル画像を選択する選択指示が入力されるステップと、前記選択指示が入力されて前記撮像画像を立体表示するとき、選択された前記サムネイル画像に対応する複数視点の前記撮像画像を、前記撮像画像中の前記検出領域にて互いに位置合わせするステップと、前記検出領域にて互いに位置合わせされた複数視点の前記撮像画像を、前記表示手段により立体表示するステップと、を備えることを特徴とする立体画像表示方法。

本発明によれば、サムネイル画像が一覧表示されたときには後の本画像の立体表示で立体視するための注目領域を予め一目で判別することができ、本画像が立体表示されたときには立体視を即座に認識することができる。

また、請求項２の発明によれば、前記サムネイル画像に前記検出領域を示す枠を重ね合わせることで、注目領域をユーザに対して容易に示すことができる。

また、請求項３の発明によれば、前記サムネイル画像中の前記検出領域の輝度を上げることで、注目領域をユーザに対して容易に示すことができる。

また、請求項４の発明によれば、ユーザは、どの画像が立体表示され、どの画像が立体表示されないかを、サムネイル画像の一覧表示の際に予め知ることができるので、立体表示されたときにはユーザに違和感を与えることがなく、また、ユーザに立体表示されるという期待感を与えることができる。

また、請求項５の発明によれば、サムネイル画像における特定対象の検出領域を、視認性良くユーザに認識させることができる。

また、請求項６の発明によれば、表示中には短時間で位置合わせ済画像を一時的に保存して表示動作に支障を与えないようにすることができる。また、最終的には外部の記録媒体に位置合わせ済の撮像画像が記録されるので、例えばプリント処理等の後処理を行う場合に、記録媒体中の位置合わせ済画像を利用することで、その処理時間の短縮が可能となる。

また、請求項７の発明によれば、撮影の際に複数視点の撮像画像間の位置合わせを行わないので、シャッタ操作による撮影処理に遅延を生じさせることがない。

本発明を適用したデジタルカメラの外観構成を示す正面斜視図本発明を適用したデジタルカメラの外観構成を示す背面斜視図立体表示可能なモニタの構造例を説明するための説明図（Ａ）および（Ｂ）はデジタルカメラにより顔を撮像している状況を模式的に示す模式図、（Ｃ）は人の両目により顔を注目した様子を模式的に示す模式図（Ａ）は左眼画像および右眼画像の一例を示す説明図、（Ｂ）は視差量が大きい場合の見え方を模式的に示す説明図本発明を適用したデジタルカメラの内部構成の一例を示すブロック図各視点別の撮像画像ファイルの一例の構成を示す構成図本発明を適用した撮影処理の一例の流れを示すフローチャート本発明を適用した表示処理の一例の流れを示すフローチャートサムネイル画像一覧の一例を示す図立体表示の一例を示す図各視点別の撮像画像ファイルおよび統合画像ファイルの一例の構成を示す構成図各視点別の撮像画像および統合画像の一例を示す説明図本発明を適用した表示処理の他の例の流れを示すフローチャート

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明を適用したデジタルカメラの外観構成を示す正面斜視図である。図２は、本発明を適用したデジタルカメラの外観構成を示す背面斜視図である。

本実施形態のデジタルカメラ１０は、複数（図１では二つを例示）の撮像手段（撮像系ともいう）を備えたデジタルカメラ（本発明の複眼デジタルカメラに相当）であって、同一被写体を複数視点（図１では左右二つの視点を例示）から撮影可能となっている。

なお、本実施形態では、説明の便宜のため二つの撮像手段を例示しているが、本発明は、三つ以上の撮像手段であっても同様に適用可能である。なお、撮像手段（主として撮影レンズ１４Ｒ、１４Ｌ）の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。立体撮影又はマルチ視点や全方向の撮影でもよい。

デジタルカメラ１０のカメラボディ１２は、矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影レンズ１４Ｒ、１４Ｌ、ストロボ１６等が設けられている。また、カメラボディ１２の上面には、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６等が設けられている。

また、図示されていないが、カメラボディ１２の底面には、三脚ネジ穴、開閉自在なバッテリカバー等が設けられており、バッテリカバーの内側には、バッテリを収納するためのバッテリ収納室、メモリカードを装着するためのメモリカードスロット等が設けられている。

左右一対の撮影レンズ１４Ｒ、１４Ｌは、それぞれ沈胴式のズームレンズで構成されており、マクロ撮影機能（近接撮影機能）を有している。この撮影レンズ１４Ｒ、１４Ｌは、それぞれデジタルカメラ１０の電源をＯＮすると、カメラボディ１２から繰り出される。なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

ストロボ１６は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

シャッタボタン１８は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このシャッタボタン１８を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押すると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードダイヤル２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このシャッタボタン１８を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、シャッタボタン１８を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のシャッタボタン及び動画撮影専用のシャッタボタンを設けるようにしてもよい。

電源／モードスイッチ２０は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生表示モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ１０は、この電源／モードスイッチ２０を「再生位置」に位置させると、再生表示モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「ＯＦＦ位置」に位置させると、電源がＯＦＦされる。

モードダイヤル２２は、撮影モードの設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、「２Ｄ静止画位置」、「２Ｄ動画位置」、「３Ｄ静止画位置」、「３Ｄ動画位置」にセット可能に設けられている。

なお、本明細書にて、「２Ｄ」は２次元（つまり「平面」）を意味し、「３Ｄ」は３次元（つまり「立体」）を意味する。「２Ｄ静止画」は単一視点で撮像した静止画、すなわち平面表示のみ可能な静止画である。「２Ｄ動画」は単一視点で撮像した動画、すなわち平面表示のみ可能な動画である。「３Ｄ静止画」は複数視点で撮像した静止画、すなわち立体表示可能な静止画である。「３Ｄ動画」は複数視点で撮像した動画、すなわち立体表示可能な動画である。なお、「３Ｄ静止画」および「３Ｄ動画」は単一視点の画像のみ表示することで平面表示も可能である。

「２Ｄ静止画位置」および「２Ｄ動画位置」は、単一視点の撮像および記録（「２Ｄ撮影」ともいう）や平面表示（「２Ｄ表示」ともいう）を行う場合にセットする位置である。「３Ｄ静止画位置」および「３Ｄ動画位置」は、複数視点の撮像および記録（「３Ｄ撮影」ともいう）や立体表示（「３Ｄ表示」ともいう）を行う場合にセットする位置である。立体表示のしくみについては、後に詳説する。

デジタルカメラ１０は、撮影モードにて、モードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、２Ｄモードであることを表すフラグが設定される。また、撮影モードにて、「２Ｄ動画位置」にセットすることにより、２Ｄの動画を撮影する２Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、２Ｄモードであることを表すフラグが設定される。また、撮影モードにて、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、３Ｄモードであることを表すフラグが設定される。さらに、撮影モードにて、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、３Ｄモードであることを表すフラグが設定される。

デジタルカメラ１０は、再生表示モードにて、モードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を再生表示する２Ｄ静止画表示モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、２Ｄモードであることを表すフラグが設定される。また、再生表示モードにて、「２Ｄ動画位置」にセットすることにより、２Ｄの動画を再生表示する２Ｄ動画表示モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、２Ｄモードであることを表すフラグが設定される。また、再生表示モードにて、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を再生表示する３Ｄ静止画表示モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、３Ｄモードであることを表すフラグが設定される。さらに、再生表示モードにて、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を再生表示する３Ｄ動画表示モードに設定され、２Ｄ／３Ｄモード切替フラグ１６８に、３Ｄモードであることを表すフラグが設定される。

後述するＣＰＵ１１０は、２Ｄ／３Ｄモード切替フラグ１６８を参照して、２Ｄモード又は３Ｄモードのいずれであるかを把握する。

モニタ２４は、カラー液晶パネル等の表示装置である。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、モニタ２４は、撮影時には、各撮像素子１３４Ｒ／Ｌが継続的に捉えた画像（スルー画像）が順次表示し、電子ファインダとして利用される。

ズームボタン２６は、撮影レンズ１４Ｒ、１４Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。本例にて、十字ボタン２８は、モニタ２４に一覧表示されたサムネイル画像の選択に用いられる。ユーザは、十字ボタン２８を左右上下に動かすことで、モニタ２４上で所望のサムネイル画像までたどり着く。また、例えば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにストロボモードを切り替える機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのＯＮ／ＯＦＦを切り替える機能が割り当てられる。また、再生時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、上ボタンにモニタ２４の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。本例では、十字ボタン２８によりサムネイル画像を選択した後、ＭＥＮＵ／ＯＫボタン３０を押すと、選択されたサムネイル画像に対応する本画像がモニタ２４に表示される。

メニュー画面では、たとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１０が持つ全ての調整項目の設定が行われる。デジタルカメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示の入力に用いられる。

本例では、モニタ２４に本画像が表示された状態でＢＡＣＫボタン３４を押すと、サムネイル画像の一覧表示に戻るようになっている。

縦撮り／横撮り切替ボタン３６は、縦撮り又は横撮りのいずれで撮影を行うかを指示するためのボタンである。

入出力コネクタ３８は、外部との有線通信に用いられる。入出力コネクタ３８を介してデジタルカメラ１０に撮像済の画像を入力することが可能である。

図３は、立体表示（「３Ｄ表示」ともいう）が可能なモニタ２４の構造例を説明するための説明図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズが前面に配置されたモニタ２４を用いる。

モニタ２４の前面（観察者の視点（左眼ＥL、右眼ＥR）が存在するｚ軸方向）には、レンチキュラレンズ２４ａが配置されている。レンチキュラレンズ２４ａは、複数の円筒状凸レンズを図３中ｘ軸方向に連ねることで構成されている。

モニタ２４に表示される３Ｄ画像（３Ｄ静止画および３Ｄ動画）の表示領域は、左眼用短冊画像表示領域２４Ｌと右眼用短冊画像表示領域２４Ｒとから構成されている。左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒは、それぞれ画面の図３中のｙ軸方向に細長い短冊形状をしており、図３中のｘ軸方向に交互に配置される。

レンチキュラレンズ２４ａを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒを含む各短冊集合画像表示領域２４ｃに対応した位置に形成される。

図３では、観察者の左眼ＥLには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。また、観察者の右眼ＥRには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。したがって、観察者の左眼は左眼用短冊画像のみを、観察者の右眼は右眼用短冊画像のみを見ることになり、これら左眼用短冊画像の集合である左眼用画像及び右眼用短冊画像の集合である右眼用画像による左右視差により立体視が可能となる。

なお、立体表示のためのモニタ２４の構造として、図３を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。

例えば、左眼画像および右眼画像をそれぞれ画像の縦方向に細長く切り取った短冊状にして、交互に並べて表示するとともに、同様に縦方向に刻まれたスリットを通して画像を観察者に見せることで、観察者の左眼には左眼画像を、右眼には右眼画像をそれぞれ届ける、視差バリア（パララックスバリア）方式を用いてもよい。その他の空間分割方式であってもよい。

また、モニタ２４を構成するＬＣＤ（液晶表示デバイス）の背面を照らすバックライトの方向を時分割で観察者の右眼方向および左眼方向に制御する光方向制御方式（時分割光方向制御バックライト方式ともいう）を用いてもよい。光方向制御方式は、豊岡健太郎，宮下哲哉，内田龍男，“時分割光方向制御バックライトを用いた三次元ディスプレイ”、2000年日本液晶学会討論会講演予稿集、pp.137-138(2000)や、特開2004‐20684号公報などに記載されている。特許第3930021号公報に記載された、いわゆるスキャンバックライト方式を用いてもよい。

左右の画像を交互に表示するとともに、画像分離メガネを使用させることで、画像を立体視させてもよい。

モニタ２４は、例えば液晶表示デバイスや有機ＥＬデバイスを用いる。自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ＥＬを多層に重ねた方式でもよい。

次に、図１および図２に示したデジタルカメラ１０による複数視点からの３Ｄ静止画撮影、および、３Ｄ静止画撮影により得られる３Ｄ静止画（左眼画像および右眼画像）について、図４および図５を用いて説明する。

図４（Ａ）は，デジタルカメラ１０により特定対象（「主要被写体」ともいう）として顔９０を撮像している状況を模式的に示す。図４（Ｂ）は、上から見た様子を示す。図５（Ａ）は、左眼用の撮影レンズ１４Ｌを介して撮像素子１３４Ｌで撮像された左眼画像９１Ｌ、および、右眼用の撮影レンズ１４Ｒを介して撮像素子１３４Ｒで撮像された右眼画像９１Ｒの一例を示す。これらの左眼画像９１Ｌおよび右眼画像９１Ｒに対して表示位置合わせ処理を何も行わないと、図５（Ｂ）に示すように、二重に見えるだけで、立体には見えない。撮影レンズ１４Ｌ、１４Ｒの光軸が交差する位置と、特定対象である顔９０の位置とが一致することは稀である。

図４（Ｃ）に人の両目９４Ｌ、９４Ｒにより他人の顔９０を注視した様子を模式的に示す。人の場合には、注視した顔９０で両目９４Ｌ、９４Ｒの光軸が交差するように調整されることで、左眼画像と右眼画像とで顔９０が一致しているように視認される。その一方で、顔９０よりも遠くの対象を注目したとき、その注視した対象よりも近い顔９０は、図５（Ｂ）に示すように。視差量ｄが存在して視認される。

図６は、図１及び図２に示したデジタルカメラ１０の内部構成を示すブロック図である。なお、図１、図２に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図６に示すように、本実施形態のデジタルカメラ１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、差分ベクトル算出部７０、移動ベクトル算出部７２、視差量調整部７４、サムネイル画像生成部８１、画像表示制御部８２、表示色決定部８４、記録制御部８５、操作部１１２、ＲＯＭ１１６、フラッシュＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２（画像表示メモリ）、撮影レンズ１４（１４Ｒ、１４Ｌ）、ズームレンズ制御部１２４（１２４Ｒ、１２４Ｌ）、フォーカスレンズ制御部１２６（１２６Ｒ、１２６Ｌ）、絞り制御部１２８（１２８Ｒ、１２８Ｌ）、撮像素子１３４（１３４Ｒ、１３４Ｌ）、撮像素子制御部１３６（１３６Ｒ、１３６Ｌ）、アナログ信号処理部１３８（１３８Ｒ、１３８Ｌ）、Ａ／Ｄ変換器１４０（１４０Ｒ、１４０Ｌ）、画像入力コントローラ１４１（１４１Ｒ、１４１Ｌ）、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、特定対象検出部１４８、圧縮・伸張処理部１５２、メディア制御部１５４、メモリカード１５６、モニタ制御部１５８、電源制御部１６０、バッテリ１６２、ストロボ制御部１６４を含んで構成されている。

左眼用の撮像手段１１Ｌは、主として、撮影レンズ１４Ｌ、ズームレンズ制御部１２４Ｌ、フォーカスレンズ制御部１２６Ｌ、絞り制御部１２８Ｌ、撮像素子１３４Ｌ、撮像素子制御部１３６Ｌ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。

右眼用の撮像手段１１Ｒは、主として、撮影レンズ１４Ｒ、ズームレンズ制御部１２４Ｒ、フォーカスレンズ制御部１２６Ｒ、絞り制御部１２８Ｒ、撮像素子１３４Ｒ、撮像素子制御部１３６Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。

以下では、撮像手段１１Ｌ、１１Ｒにより被写体と撮像して得られるデジタルの画像データを、「撮像画像」という。また、左眼用の撮像手段１１Ｌにより得られる撮像画像を「左眼画像」、右眼用の撮像手段１１Ｒにより得られる撮像画像を「右眼画像」という。

ＣＰＵ１１０は、撮影、表示、記録などカメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。

操作部１１２は、図１および図２に示した、シャッタボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６などを含む。

バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、フラッシュＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。

ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。

左右一対の撮影レンズ１４Ｒ、１４Ｌ（まとめて撮影レンズ１４と表すこともある）は、ズームレンズ１３０ＺＲ、１３０ＺＬ（まとめてズームレンズ１３０Ｚと表すこともある）、フォーカスレンズ１３０ＦＲ、１３０ＦＬ（まとめてフォーカスレンズ１３０Ｆと表すこともある）、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもってカメラボディ１２に配置されている。

ズームレンズ１３０ＺＲ、１３０ＬＲは、図示しないズームアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、ズームレンズ制御部１２４Ｒ、１２４Ｌを介してズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。

フォーカスレンズ１３０ＦＲ、１３０ＦＬは、図示しないフォーカスアクチュエータに駆動されて光軸に沿って前後移動する。ＣＰＵ１１０は、フォーカスレンズ制御部１２６Ｒ、１２６Ｌを介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。

絞り１３２Ｒ、１３２Ｌは、たとえば、アイリス絞りで構成されており、図示しない絞りアクチュエータに駆動されて動作する。ＣＰＵ１１０は、絞り制御部１２８Ｒ、１２８Ｌを介して絞りアクチュエータの駆動を制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。

なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように、焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従って撮像素子制御部１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。

なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、本実施の形態では、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。

デジタル信号処理部１４２Ｒ、１４２Ｌは、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補間処理、ＲＧＢ／ＹＣ変換処理、ノイズ低減処理、輪郭補正処理、色調補正、光源種別判定処理等の各種のデジタル補正を行う。なお、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）はハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。

ＡＦ検出部１４４は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。このＡＦ検出部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、フォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１１０に出力する。

ＣＰＵ１１０は、ＡＦ制御時、このＡＦ検出部１４４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、主要被写体への焦点合わせを行う。すなわち、ＣＰＵ１１０は、ＡＦ制御時、まず、フォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ検出部１４４から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ検出部１４６は、一画面を複数のエリア（たとえば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１１０は、ＡＥ制御時、このＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、ストロボ発光の要否を設定する。

また、ＣＰＵ１１０は、ＡＷＢ制御時、ＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２のホワイトバランスゲイン算出回路及び光源種別判定回路に加える。ホワイトバランスゲイン算出回路は、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、光源種別判定回路は、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施の形態のデジタルカメラ１０では、静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施される。

メディア制御部１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

モニタ制御部１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。

ストロボ制御部１６４は、ＣＰＵ１１０からの指令に従い、ストロボ１６の発光を制御する。

特定対象検出部１４８は、複数の視点で撮像された撮像画像のそれぞれにて特定対象（例えば顔）を検出し、各撮像画像における特定対象の検出枠の座標情報（検出領域の座標情報）を少なくとも有する検出枠情報を生成する。本例では、視点数が２つであり、左眼画像の検出枠の座標情報、および、右眼画像の検出枠の座標情報を有する検出枠情報が生成されて、ＳＤＲＡＭ１２０に格納される。

ここで、顔は、顔らしさを示す評価値に基づいて、検出される。検出枠は、撮像画像中の顔領域の位置又は範囲を示す。図６のデジタルカメラ１０では、一般のＡＦ（自動焦点制御）やＡＥ（自動露出制御）が困難な場合でも、顔を検出し、顔の検出領域でＡＦやＡＥを行うことによって、適切な合焦および露出がされた被写体像を得ることができる。また、顔が重要な撮影シーンでは、顔を検出し、その顔の検出領域に対し特有の補正（例えばユーザが選択した補正）を施す。また、撮像画像に検出枠を重ね合わせてモニタ２４に表示させることで、ユーザはデジタルカメラ１０が顔を検出したか否かを判断することができる。

差分ベクトル算出部７０は、特定対象検出部１４８によって生成された検出枠情報を取得して、左眼画像の検出枠の代表座標と右眼画像の検出枠の代表座標との差分ベクトルを算出する。例えば、左眼画像の検出枠の中心座標と右眼画像の検出枠の中心座標との差分ベクトルを算出する。検出枠が四角形であって、検出枠の傾きおよびサイズが左眼画像と右眼画像とで同じである場合、４つのうちひとつの頂点の座標を代表座標として差分ベクトルを求めてもよい。

移動ベクトル算出部７２は、後述の視差量調整部７４にて左眼画像と右眼画像とで特定対象の視差量を調整するため、差分ベクトル算出部７０により算出された差分ベクトルに基づいて、左眼画像の移動ベクトルおよび右眼画像の移動ベクトルのうち少なくとも一方を算出する。

視差量調整部７４（位置合わせ手段）は、移動ベクトル算出部７２により算出された移動ベクトルに従って、複数視点の撮像画像のうち少なくとも一方を移動させることで、複数視点の撮像画像間で特定対象の表示位置の差分を調整する。すなわち、特定対象の視差量を調整する。本例では、視点数が２つであり、画像処理により、モニタ２４の表示画面上で左眼画像および右眼画像のうち少なくとも一方を移動させることで、モニタ２４の表示画面における左眼画像の顔の表示位置と右眼画像の顔の表示位置とを一致させる位置合わせを行う。本例では、操作部１１２によって選択されたサムネイル画像に対応する複数視点の撮像画像を、撮像画像中の特定対象の検出領域（本例では顔部分）にて位置合わせする。実際には、ＶＲＡＭ１２２に左眼画像および右眼画像を書き込む際に位置合わせを行う。画像の移動により空白となるモニタ２４の表示画素には、黒（もしくは白など）の画素値を設定する。例えば、左眼画像および右眼画像を共に差分ベクトルの１／２ずつ移動させることで、特定対象の表示位置を一致させる。

サムネイル画像生成部８１は、各視点別の撮像画像（「本画像」ともいう）を間引き等により縮小して各視点別のサムネイル画像（「縮小画像」ともいう）を生成する。サムネイル画像生成部８１は、具体的には、複数視点でそれぞれ撮像された撮像画像と、撮像画像における特定対象の検出枠の座標情報（検出領域の座標情報）とを、ＳＤＲＡＭから１２０から取得し、複数視点の撮像画像を間引き等によりそれぞれ縮小した複数視点のサムネイル画像と、サムネイル画像における特定対象の検出枠の座標情報（検出領域の座標情報）とを生成する。本例では、視点数が２つであり、左眼画像を縮小した左眼のサムネイル画像および右眼画像を縮小した右眼のサムネイル画像と、左眼のサムネイル画像の検出枠の座標情報および右眼のサムネイル画像の検出枠の座標情報とを生成する。なお、本例にて、サムネイル画像用の検出枠は、撮像画像における検出枠を間引き等により縮小して生成したものである。

画像表示制御部８２は、撮像画像から生成されたサムネイル画像をモニタ２４に一覧で表示させる制御を行う。また、画像表示制御部８２は、複数視点のサムネイル画像のうち１つの視点のサムネイル画像に対して特定対象の検出枠を検出領域情報として重ね合わせる。すなわち、サムネイル画像中に検出枠を付加する。そして検出枠が付加されたサムネイル画像をモニタ２４に表示させる。これにより、特定対象の検出領域を示す検出枠をユーザに視認させる。本例では、視点数が２つであり、左眼のサムネイル画像および右眼のサムネイル画像のうち一方に検出枠を重ね合わせて、その一方のサムネイル画像をモニタ２４に表示させる。

なお、検出枠を重ね合わせる場合を例に説明したが、検出領域表示の態様はこのような場合に特に限定されない。サムネイル画像において特定対象（例えば顔）の検出領域（例えば顔部分）内の輝度を上げることで、検出領域をハイライト表示させてもよい。

また、画像表示制御部８２は、操作部１１２によってサムネイル画像一覧からサムネイル画像が選択されたとき、選択されたサムネイル画像に対応する複数視点の撮像画像であって、視差量調整部７４により特定対象の検出領域が位置合わせされた複数視点の撮像画像をモニタ２４に立体表示させる制御を行う。本例では、視点数が２つであり、左眼画像および右眼画像を立体表示可能なモニタ２５に表示させる。

表示色決定部８４は、撮像画像のうち少なくとも検出枠周辺の色に基づいて、検出枠の表示色を決定する。ここで、表示色は、サムネイル画像表示時に検出枠をユーザが視認可能な色である。例えば、検出する特定対象が顔の場合、顔周辺の背景の色を検出し、検出した色と色相角が一定以上の色を検出枠の表示色に決定する。検出枠周辺の色と共に特定対象の色（本例では顔の肌色）にも基づいて、検出枠の表示色を決定する。例えば、肌色および背景色（例えば青）の両方と色相角が一定以上異なる色（例えば赤）を検出枠の表示色とする。

記録制御部８５は、撮像画像、撮像画像の検出枠の座標情報、撮像画像を縮小したサムネイル画像、サムネイル画像の検出枠の座標情報、および、検出枠の表示色情報を、互いに関連付けて、メディア制御部１５４によりメモリカード１５６に記録する制御を行う。

図７は、メモリカード１５６に記録された画像ファイルの一例を示す。図７にて、画像ファイルは、各視点の画像ファイル（右眼画像ファイルおよび左眼画像ファイル）によって構成されている。各視点の画像ファイルは、それぞれ、ヘッダ情報、サムネイル画像、および、本画像（撮像画像）によって構成されている。ヘッダ情報には、撮像画像の検出枠の座標情報、サムネイル画像の検出枠の座標情報、および、検出枠の表示色情報が含まれる。

記録制御部８５がサムネイル画像および検出枠の座標情報を撮像画像に関連付けて記録する態様は、図７に示す場合に特に限定されず、座標情報を画像とは別のファイルにして記録してもよい。この場合、例えば、ファイル名の一部を同一にする、同一のフォルダに格納する、などにより互いに関連付けする。

なお、図６にて、差分ベクトル算出部７０、移動ベクトル算出部７２、視差量調整部７４、サムネイル画像生成部８１、画像表示制御部８２、表示色決定部８４、記録制御部８５、および、特定対象検出部１４８は、これらの全て或いは一部をＣＰＵ１１０により構成してもよいことは、勿論である。つまり、ＣＰＵ１１０がプログラムに従ってソフトエウア処理を実行することにより上記各部の機能を実現するようにしてもよい。

図８は、本実施形態における撮影処理の一例の流れを示すフローチャートである。本処理は、プログラムに従い、図６に示すデジタルカメラ１０のＣＰＵ１１０（実行制御手段）により実行される。なお、プログラムは、図６に示すデジタルカメラ１０に限らず２視点以上で立体撮影可能な装置に共通なプログラムである。また、図６のデジタルカメラ１０は静止画撮影および動画撮影の両方が可能であるが、以下では静止画撮影の場合を例に説明する。

ステップＳ１０にて、撮影モードであるか否かを判定する。本例では、電源／モードスイッチ２０が「撮影位置」に設定されているか否かを判定する。撮像モードである場合にはステップＳ１１に進む。

ステップＳ１１にて、２Ｄ静止画撮影モードおよび３Ｄ静止画撮影モードのうちいずれが選択されているかを検出する。本例では、モードダイヤル２２が「３Ｄ静止画位置」および「２Ｄ静止画位置」のいずれに設定されているかを検出する。ステップＳ１２にて、２Ｄ静止画撮影モードが選択されている場合にはステップＳ１３に進み、３Ｄ静止画撮影モードが選択されている場合にはステップＳ２３に進む。

まず、２Ｄ静止画撮影モードの場合について説明する。

ステップＳ１３にて、２Ｄ／３Ｄモード切替フラグ１６８を２Ｄモード（２Ｄ静止画撮影モード）に切り替える。

ステップＳ１４にて、撮像系の選択を行う。本例では、駆動対象として、２視点の撮像手段１１Ｌ、１１Ｒのうちいずれかを選択する。

ステップＳ１５にて、選択された撮像手段の駆動を開始する。本例では、ふたつの撮像手段１１Ｌ、１１Ｒのうち一方の駆動を開始する。

ステップＳ１７にて、操作部１１２に撮影指示が入力されたか否かを判定する。本例では、シャッタボタン１８が全押しされたか否かを判定する。

シャッタボタン１８が全押しされたとき、ステップＳ１８にて、１視点の撮像画像を取得する。本例では、撮像手段１１Ｌおよび１１Ｒのうち一方により撮像画像（左眼画像または右眼画像）が生成されてＳＤＲＡＭ１２０に書き込まれる。サムネイル画像生成部８１は、ＳＤＲＡＭ１２０から撮像画像を取得する。

ステップＳ１９にて、サムネイル画像生成部８１により、撮像画像を縮小してサムネイル画像を生成する。

ステップＳ２０にて、記録制御部８５により、撮像画像と、サムネイル画像と、ヘッダ情報とを、メモリカード１５６に記録する。

ステップ２１にて、撮影終了か否かを判定する。撮影が終了した場合にはステップＳ２２に進む。

ステップＳ２２にて、記録制御部８５により、ヘッダ情報を更新する。ここで、撮影終了にて書き込むべきヘッダ情報が画像ファイルのヘッダに書き込まれる。

次に、３Ｄ静止画撮影モードの場合について説明する。

ステップＳ２３にて、２Ｄ／３Ｄモード切替フラグ１６８を３Ｄモード（３Ｄ静止画撮影モード）に設定する。

ステップＳ２４にて、視点数を設定する。本例では、２視点の撮像手段１１Ｌ、１１Ｒを備えるデジタルカメラ１０であるので、視点数を「２」に設定する。

ステップＳ２５にて、視点の選択を行う。本例では、駆動対象として、両方の撮像手段１１Ｒ、１１Ｌを選択する。

ステップＳ２６にて、検出対象（特定対象）を設定する。例えば、顔を検出する場合、検出対象が顔であることを特定対象検出部１４８に設定する。

ステップＳ２７にて、選択された撮像手段の駆動を開始する。本例では、ふたつの撮像手段１１Ｌ、１１Ｒの駆動を開始する。

ステップＳ２８にて、操作部１１２に撮影指示が入力されたか否かを判定する。本例では、シャッタボタン１８が全押しされたか否かを判定する。

シャッタボタン１８が全押しされたとき、ステップＳ２９にて、各視点別の撮像画像を取得する。本例では、撮像手段１１Ｌおよび１１Ｒにより撮像画像（左眼画像および右眼画像）が生成されてＳＤＲＡＭ１２０に書き込まれ、特定対象検出部１４８により各視点別の検出枠情報が生成されてＳＤＲＡＭ１２０に書き込まれる。サムネイル画像生成部８１は、ＳＤＲＡＭ１２０から撮像画像および検出枠情報を取得する。

ステップＳ３０にて、各視点別にサムネイル画像を生成する。本例では、サムネイル画像生成部８１により、左眼画像を縮小して左眼のサムネイル画像を生成するとともに、右眼画像を縮小して右眼のサムネイル画像を生成する。

ステップＳ３１にて、各視点別にサムネイル画像の検出枠の座標情報を生成する。本例では、サムネイル画像生成部８１により、左眼画像の検出枠の座標情報およびサムネイル画像生成時の縮小倍率に基づいて、左眼のサムネイル画像の検出枠の座標情報が生成されるとともに、右眼画像の検出枠の座標情報およびサムネイル画像生成時の縮小倍率に基づいて、右眼のサムネイル画像の検出枠の座標情報が生成される。

ステップＳ３４にて、記録制御部８５により、各視点別の撮像画像と、各視点別のサムネイル画像と、ヘッダ情報とを、メモリカード１５６に記録する。ここで、ヘッダ情報は、各視点別の撮像画像の検出枠の座標情報、各視点別のサムネイル画像の検出枠の座標情報を含む。

ステップＳ３５にて、撮影終了か否かを判定する。例えば操作部１１２に撮影終了指示が入力されて、撮影が終了した場合にはステップＳ３６に進む。

ステップＳ３６にて、記録制御部８５により、ヘッダ情報を更新する。本例では、表示色決定部８４によりサムネイル画像の検出枠の表示色が決定され、記録制御部８５により表示色情報が画像ファイルのヘッダ情報に書き込まれる。

図９は、再生表示処理の一例の流れを示すフローチャートである。本処理は、プログラムに従い、図６に示すデジタルカメラ１０のＣＰＵ１１０（実行制御手段）により実行される。なお、プログラムは、図６に示すデジタルカメラ１０に限らず立体表示可能な装置に共通のプログラムであり、３視点以上の撮像画像を立体表示可能な装置でも用いることができる。また、図６のデジタルカメラ１０は静止画再生および動画再生の両方が可能であるが、以下では静止画再生の場合を例に説明する。

ステップＳ４０にて、再生表示モードであるか否かを判定する。本例では、電源／モードスイッチ２０が「再生位置」に設定されているか否かを判定する。再生表示モードである場合にはステップＳ４１に進む。

ステップＳ４１にて、３Ｄ静止画表示モードおよび２Ｄ静止画表示モードのうちいずれが選択されているかを検出する。本例では、モードダイヤル２２が「３Ｄ静止画位置」および「２Ｄ静止画位置」のいずれに設定されているかを検出する。ステップＳ４２にて、３Ｄ静止画表示モードが選択されている場合にはステップＳ４３に進み、２Ｄ静止画表示モードが選択されている場合にはステップＳ５５に進む。

３Ｄ静止画表示モードでは、３Ｄ撮影で得られた撮像画像が立体（３Ｄ）表示される。２Ｄ静止画表示モードでは、３Ｄ撮影モードで得られた撮像画像も２Ｄ表示される。つまり、２Ｄ静止画表示モードでは、複数撮像系のうち一つの撮像系で撮像された画像のみが表示される。すなわち、複数視点のうちひとつの視点で撮像された画像のみが表示される。

まず、３Ｄ静止画表示モードの場合について説明する。

ステップＳ４３にて、２Ｄ／３Ｄモード切替フラグ１６８を３Ｄモード（３Ｄ静止画表示モード）に設定する。

ステップＳ４４にて、サムネイル画像およびヘッダ情報を取得する。本例では、メモリカード１５６から取得される。３Ｄ撮影モードで得られた撮像画像である場合、ヘッダ情報は、サムネイル画像の検出枠の座標情報、および、検出枠の表示色情報を含む。

ステップＳ４５にて、画像表示制御部８２により、サムネイル画像一覧を表示する。

図１０は、画像表示制御部８２によってモニタ２４に表示されるサムネイル画像一覧の表示例を示す。図１０にて、第１のサムネイル画像２０１および第２のサムネイル画像２０２は、３Ｄ撮影モードで撮像された撮像画像（すなわち３Ｄ静止画表示モードで立体表示される撮像画像）を縮小したサムネイル画像であり、画像表示制御部８２によってサムネイル画像用の検出枠２１０が重ね合わされて表示されている。第３のサムネイル画像２０３および第４のサムネイル画像２０４は、２Ｄ撮影モードで撮像された撮像画像（すなわち３Ｄ静止画表示モードで立体表示されない撮像画像）を縮小したサムネイル画像であり、画像表示制御部８２によるサムネイル画像用の検出枠２１０の重ね合わせ（付加）は行われず、モニタ２４に検出枠２１０は表示されない。

画像表示制御部８２は、３Ｄ撮影モードで得られた撮像画像の場合（すなわち画像ファイルのヘッダ情報にサムネイル画像の検出枠の座標情報が存在する場合）には、サムネイル画像に検出枠を重ね合わせることで、検出枠付きのサムネイル画像を表示する。ここで、複数撮像系のうち一つの撮像系で得られたサムネイル画像、すなわち複数視点のうち１つの視点のサムネイル画像にのみ、検出枠を重ね合わせて表示する。その一方で、２Ｄ撮影モードで得られた撮像画像の場合（本例では画像ファイルのヘッダ情報にサムネイル画像の検出枠の座標情報が存在しない場合）には、検出枠が無いサムネイル画像を表示する。

ステップＳ４６にて、操作部１１２によりユーザがサムネイル画像一覧からサムネイル画像を選択したか否かを判定する。選択されたときステップＳ４７に進む。

ステップＳ４７にて、選択されたサムネイル画像に対応する撮像画像を取得する。本例では、メモリカード１５６から撮像画像が取得される。

ステップＳ４８にて、画像表示制御部８２により、複数視点で撮像された撮像画像は３Ｄ（立体）表示され、１つの視点で撮影された撮像画像は２Ｄ表示される。３Ｄ表示では、視差量調整部７４により、撮像画像の検出枠の座標情報に基づいて、複数視点の撮像画像間で顔検出領域にて互いに位置合わせを行う。

ステップＳ４９にて、モニタ２４に本画像を表示する。ここで、画像表示制御部８２は、本画像表示の際には、検出枠を表示せずに、２枚の画像（左眼画像および右眼画像）を重ね合わせて表示する。例えば、図１０に示すサムネル画像の一覧表示にて、符号２０１を付した検出枠２１０付きのサムネイル画像を選択した場合、図１１に示すように検出枠無しの立体表示を行う。

図１２に示すように、各視点別の撮像画像ファイル（右眼画像ファイルおよび左眼画像ファイル）とは別に、統合画像ファイルを作成してもよい。統合画像ファイルは、ヘッダ情報、および、１枚の統合画像（立体画像）を有する。右眼画像の一例を図１３（Ａ）に示し、左眼画像の一例を図１３（Ｂ）に示し、統合画像の一例を図１３（Ｃ）に示す。この場合、立体表示は、統合画像に基づいて行う。

ステップＳ５４にて、表示終了か否かを判定する。例えば操作部１１２に表示終了指示が入力されて、表示が終了した場合には本処理を終了する。

次に、２Ｄ静止画表示モードの場合について説明する。

ステップＳ５５にて、２Ｄ／３Ｄモード切替フラグ１６８を２Ｄモード（２Ｄ静止画表示モード）に設定する。

ステップＳ５６にて、サムネイル画像をメモリカード１５６から取得する。

ステップＳ５８にて、画像表示制御部８２により、サムネイル画像一覧を表示する。画像表示制御部８２は、３Ｄ撮影モードで得られた撮像画像でも、検出枠を重ね合わせることなく、サムネイル画像を表示する。

ステップＳ５９にて、ユーザによりサムネイル画像一覧から特定のサムネイル画像が選択されたか否かを判定する。選択されたときステップＳ６０に進む。

ステップＳ６０にて、選択されたサムネイル画像に対応する撮像画像を取得する。本例では、メモリカード１５６から撮像画像が取得される。

ステップＳ６０にて、画像表示制御部８２により、３Ｄ撮影された撮像画像も２Ｄ撮影された撮像画像と同様に２Ｄ表示される。すなわち、２Ｄ表示では、複数視点の撮像画像でも、１視点から撮像した撮像画像のみが表示される。

ステップＳ６１にて、表示終了か否かを判定する。例えば操作部１１２に表示終了指示が入力されて表示が終了した場合には本処理を終了する。

図８に示した撮影処理例では、撮影の際には、視差量調整部７４による複数視点の撮像画像間の位置合わせを行わない。すなわち、左眼画像および右眼画像を特定対象の検出領域にて位置合わせする視差量調整を行わない。その一方で、図９に示した再生表示処理では、再生表示の際に、視差量調整部７４による複数視点の撮像画像間の位置合わせを行う。すなわち、左眼画像および右眼画像を特定対象の検出領域にて位置合わせする視差量調整を行う（ステップＳ４８）。

図１４は、本実施形態における再生表示処理の他の例の流れを示すフローチャートである。本処理は、プログラムに従い、図６に示すデジタルカメラ１０のＣＰＵ１１０（実行制御手段）により実行される。なお、プログラムは、図６に示すデジタルカメラ１０に限らず２視点以上で立体撮影可能な装置に共通なプログラムである。また、図６のデジタルカメラ１０は静止画撮影および動画撮影の両方が可能であるが、以下では静止画撮影の場合を例に説明する。

図１４におけるステップＳ４０〜Ｓ５４は、図９に示したステップと同じである。

３Ｄ静止画表示モードでは、ステップＳ７１にて、記録制御部８５により、位置合わせ済の撮像画像がＳＤＲＡＭ１２０に保存される。すなわち、サムネイル画像一覧から選択されて、複数視点間で特定対象の検出領域にて位置合わせされた撮像画像が、内部メモリとしてのＳＤＲＡＭ１２０に記憶される。本例では、図１３（Ｃ）に示すような統合画像として内部メモリに記憶される。

その後、表示終了の場合、ステップＳ７２にて、操作部１１２により、位置合わせ済の撮像画像を外部の記録メディアとしてのメモリカード１５６に保存するか否かの選択を受け付ける。ステップＳ７２にて保存が選択された場合、記録制御部８５により、ＳＤＲＡＭ１２０に記憶されていた位置合わせ済の撮像画像を、一括してメモリカード１５６に記録する。

なお、ステップＳ７２にて、サムネイル画像一覧をモニタ２４に表示し、ユーザがメモリカード１５６に保存する位置合わせ済撮像画像を選択可能にしてもよい。

未位置合わせの各視点ごとの撮像画像（右眼画像および左眼画像）と位置合わせ済の撮像画像（統合画像）との関連付けの方法には、各種ある。例えば、図１２において、統合画像ファイルのヘッダ情報に、右眼画像ファイルおよび左眼画像ファイルと統合画像ファイルとを関連付ける関連情報を記録する。関連情報は、右眼画像ファイルおよび左眼画像ファイルと統合画像ファイルとを関連付ける情報であれば、どのような情報でもよい。

以上、図８〜図１４を用いて、静止画の撮影処理および再生表示処理を行う場合を例に説明したが、本発明は、動画の撮影処理および再生表示処理を行う場合にも適用できる。動画の場合、サムネイル画像は、例えば、動画中の代表駒（代表フレーム）を縮小して生成する。

なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…デジタルカメラ、１１（１１Ｒ、１１Ｌ）…撮像手段、２４…モニタ、７４…視差量調整部、８１…サムネイル画像生成部、８２…画像表示制御部、８４…表示色決定部、８５…記録制御部、１１０…ＣＰＵ、１２０…ＳＤＲＡＭ、１３４（１３４Ｒ、１３４Ｌ）…撮像素子、１４８…特定対象検出部、１５６…メモリカード

Claims

複数の視点で撮像された撮像画像を立体表示する前に、前記撮像画像から生成されたサムネイル画像を一覧で表示する表示手段と、
前記一覧中の前記サムネイル画像を選択する選択指示が入力される指示入力手段と、
前記選択指示が入力されて前記撮像画像を立体表示するときに、選択された前記サムネイル画像に対応する複数視点の前記撮像画像を、前記撮像画像中の特定対象の検出領域にて互いに位置合わせする位置合わせ手段と、
前記特定対象の前記検出領域を示す検出領域情報を前記サムネイル画像中に付加する表示制御手段と、
を備えることを特徴とする立体画像表示装置。
前記表示制御手段は、前記サムネイル画像に前記検出領域を示す枠を重ね合わせることを特徴とする請求項１に記載の立体画像表示装置。
前記表示制御手段は、前記サムネイル画像中の前記検出領域の輝度を上げることで、前記検出領域をハイライト表示することを特徴とする請求項１に記載の立体画像表示装置。
前記表示制御手段は、立体表示する前記撮像画像に対応する前記サムネイル画像には前記検出領域情報を付加し、立体表示しない前記撮像画像に対応する前記サムネイル画像には前記検出領域情報を付加しないことを特徴とする請求項１ないし３のうちいずれか１項に記載の立体画像表示装置。
前記撮像画像中の前記検出領域内の色および前記検出領域周辺の色に基づいて、前記検出領域情報の表示色を決定する表示色決定手段を備え、
前記表示制御手段は、決定された表示色で前記検出領域情報を表示することを特徴とする請求項１ないし４のうちいずれか１項に記載の立体画像表示装置。
前記指示入力手段に前記選択指示が入力されたときには、前記選択指示に従って選択された前記サムネイル画像に対応した前記撮像画像であって前記位置合わせ手段により位置合わせされた前記撮像画像を内部メモリに記憶し、前記指示入力手段に表示終了指示が入力されたときには、前記内部メモリに記憶された位置合わせ済の前記撮像画像を一括して外部の記録媒体に記録する記録制御手段を備えることを特徴とする請求項１ないし５のうちいずれか１項に記載の立体画像表示装置。
複数視点で撮像を行う撮像手段と、
前記撮像手段により撮像を行うとともに前記撮像画像の記録を行う際に、前記位置合わせ手段による前記撮像画像間の位置合わせを行わず、前記撮像画像を立体表示するときに、前記位置合わせ手段による前記撮像画像間の位置合わせを行う実行制御手段と、
を備えることを特徴とする請求項１ないし６のうちいずれか１項に記載の立体画像表示装置。
立体表示可能な表示手段を用い、複数の視点で撮像された撮像画像を立体表示する前に、前記撮像画像から生成されたサムネイル画像を一覧で表示する立体画像表示方法であって、
前記撮像画像中の特定対象の検出領域を示す検出領域情報が付加された前記サムネイル画像を前記表示手段により一覧で表示するステップと、
前記一覧中の前記サムネイル画像を選択する選択指示が入力されるステップと、
前記選択指示が入力されて前記撮像画像を立体表示するとき、選択された前記サムネイル画像に対応する複数視点の前記撮像画像を、前記撮像画像中の前記検出領域にて互いに位置合わせするステップと、
前記検出領域にて互いに位置合わせされた複数視点の前記撮像画像を、前記表示手段により立体表示するステップと、
を備えることを特徴とする立体画像表示方法。