JP2012028871A - 立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラム - Google Patents

Abstract

【課題】過大視差が大きな被写体の飛び出し感を抑制することにより視聴者の疲労を軽減すると共に、被写体の飛び出し感を抑制することによる立体感の減少を補う。
【解決手段】過大視差が限界視差よりも大きい動体（対象被写体）がある場合には（ステップＳ１３でＹＥＳ）、右目用画像又は左眼用画像から対象被写体像を抽出し（ステップＳ１４）、対象被写体の過大視差が限界視差となるように対象被写体像を相対的に移動させて（ステップＳ１５）対象被写体の視差を補正する。対象被写体像の輝度を０に落とし、視差補正量に応じた濃度にして擬似陰影を生成し（ステップＳ１６〜Ｓ１８）、擬似陰影の視差が０となるように、かつ擬似陰影が対象被写体像から所定のずらし量だけ所定の方向にずれるように擬似陰影を合成して（ステップＳ１９〜Ｓ２３）対象被写体の立体感を強調する。
【選択図】 図１１

Description

本発明は立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラムに係り、特に立体画像が表示可能な立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラムに関する。

立体画像を再生する方法として、例えばパララックスバリア方式と呼ばれる方法を用いた立体表示装置がある。左目用の画像と右目用の画像のそれぞれを画像の垂直走査方向に短冊状に分解し、交互に並べて一枚の画像とし、画像と短冊状のスリットとを重ねて表示すると、短冊状に配置された左目用の画像はユーザの左眼で視認され、右目用の画像は右眼で視認される。

図１８（ａ）は、２つの撮像系を搭載し、右撮像系で右目用画像を撮影し、左撮像系で左目用画像を撮影する複眼力メラを用いて立体撮影したときの物体Ａ、物体Ｂ、物体Ｃと複眼力メラの位置関係を示す。右撮像系の光軸と左撮像系の光軸が交わる場所がクロスポイントである。物体Ａ、物体Ｂはクロスポイントより複眼カメラに近い側（以下、手前側という）にあり、物体Ｃはクロスポイントより複眼カメラから遠い側（以下、奥側という）にある。

このようにして撮影された画像を立体表示装置で表示すると、クロスポイントにある被写体は表示面上に表示されているように見え（視差量が０）、クロスポイントより手前側にある被写体は表示面より飛びだして見え、クロスポイントより奥側にある被写体は表示面より引っこんで見える。すなわち、図１８（ｂ）に示すように、物体Ｃは表示面より引っこんで見え、物体Ａは表示面より少し飛びだして見え、物体Ｂは表示面よりかなり飛びだして見える。

この表示面より飛び出して見える方向の視差が大きくなりすぎると、視聴者が寄り目になり、疲労を感じるという問題がある。

このような問題を解決するために、特許文献１には、限界視差より大きい場合には視差補正をして限界視差内とすることが記載されている。また、特許文献２には、特定領域の視差量や奥行き量を調整することが記載されている。

特開２００４―２２１７００号公報 特開２００３―２０９８５８号公報

しかしながら、特許文献１に記載の発明では、画像全体に対して視差補正を行うため、視差補正により画像全体の立体感が減少してしまうという問題点がある。それに対し、特許文献２に記載の発明では、特定領域以外の視差量や奥行き量は調整しないため、画像全体の立体感は減少しない。しかしながら、特許文献２に記載の発明では、特定領域の視差量や奥行き量を調整することによる特定領域の立体感の減少を補うことができないという問題がある。

本発明はこのような事情に鑑みてなされたもので、表示面より飛び出して見える方向の視差が大きな被写体の飛び出し感を抑制することにより視聴者の疲労を軽減すると共に、被写体の飛び出し感を抑制することによる立体感の減少を補うことができる立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の立体画像表示装置は、所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得する取得手段と、前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示手段と、前記左目用画像及び前記右目用画像を前記表示手段に表示させた時に、前記表示手段の表示面から飛び出す方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出する対象被写体抽出手段と、前記対象被写体の前記表示手段の表示面から飛び出す方向の視差が前記所定の視差量となるように、前記左目用画像及び前記右目用画像のそれぞれから前記対象被写体の画像（以下、対象被写体像という）を抽出し、前記左目用画像及び前記右目用画像から前記対象被写体像を抽出した残りの画像に対して前記対象被写体像を相対的に移動させることで視差補正を行う視差補正手段と、前記視差補正手段により移動された対象被写体像の立体感を強調させる立体感強調処理を前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行う立体感強調処理手段と、前記取得手段により取得された左目用画像及び右目用画像又は前記立体感強調処理手段により立体感強調処理が行われた左目用画像及び右目用画像を連続的に前記表示手段に表示させる表示制御手段と、を備えたことを特徴とする。

請求項１に記載の立体画像表示装置によれば、所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得し、表示面より飛び出して見える方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を左目用画像及び右目用画像のそれぞれから抽出し、対象被写体の表示面より飛び出して見える方向の視差が所定の視差量となるように左目用画像及び右目用画像のそれぞれから対象被写体像を抽出し、左目用画像及び右目用画像から対象被写体像を抽出した残りの画像に対して対象被写体像を相対的に移動させることで視差補正を行い、前記移動された対象被写体像の立体感を強調させる立体感強調処理を視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行う。取得された左目用画像及び右目用画像又は立体感強調処理が行われた左目用画像及び右目用画像が連続的に表示手段に表示される。これにより、対象被写体の飛び出し感を抑制することにより視聴者の疲労を軽減すると共に、対象被写体の飛び出し感を抑制することによる立体感の減少を補うことができる。

請求項２に記載の立体画像表示装置は、請求項１に記載の立体画像表示装置において、前記立体感強調処理手段は、前記対象被写体像の輝度を所定値以下にして擬似陰影を生成する擬似陰影生成手段と、前記視差補正手段により移動された対象被写体像の背面に前記擬似陰影を合成する擬似陰影合成手段と、を有することを特徴とする。

請求項２に記載の立体画像表示装置によれば、対象被写体像の輝度を所定値以下にして擬似陰影を生成し、移動された対象被写体像の背面に擬似陰影を合成することで立体感強調処理を行う。これにより、対象被写体の立体感の減少を補うことができる。

請求項３に記載の立体画像表示装置は、請求項２に記載の立体画像表示装置において、前記擬似陰影合成手段は、前記擬似陰影の視差がほぼ０となるように、かつ前記擬似陰影を前記対象被写体像から所定のずらし量だけ所定の方向にずらした位置に前記擬似陰影を合成することを特徴とする。

請求項３に記載の立体画像表示装置によれば、擬似陰影の視差がほぼ０となり、かつ擬似陰影を対象被写体像から所定のずらし量だけ所定の方向にずらした位置に擬似陰影を合成する。これにより、対象被写体像が擬似陰影から飛び出して見えるため、違和感なく擬似陰影の立体感を強調することができる。また、擬似陰影の視差をほぼ０とすることで、擬似陰影の付加処理が簡略化され、処理速度を早くすることができる。

請求項４に記載の立体画像表示装置は、請求項３に記載の立体画像表示装置において、前記擬似陰影合成手段は、前記視差補正手段により移動された対象被写体像が前記左目用画像又は前記右目用画像の中央より右側にある場合は、前記所定の方向を前記対象被写体像の左側とし、前記視差補正手段により移動された対象被写体像が前記左目用画像又は前記右目用画像の中央より右側にない場合は、前記所定の方向を前記対象被写体像の右側とすることを特徴とする。

請求項４に記載の立体画像表示装置によれば、視差補正後の対象被写体像が左目用画像又は右目用画像の中央より右側にある場合は、対象被写体像の左側に擬似陰影をずらして合成し、視差補正後の対象被写体像が左目用画像又は右目用画像の中央より右側にない場合は、対象被写体像の右側に擬似陰影をずらして合成する。これにより、視聴者から対象被写体に光を照射したときに影ができる位置に擬似陰影を表示させることができる。

請求項５に記載の立体画像表示装置は、請求項２から４のいずれかに記載の立体画像表示装置において、前記擬似陰影生成手段は、前記視差補正手段により前記対象被写体像が相対的に移動された量（以下、視差補正量という）が所定値以下のときは前記擬似陰影の濃度を所定値以下とし、前記視差補正量が大きくなるにつれて前記擬似陰影の濃度を濃くすることを特徴とする。

請求項５に記載の立体画像表示装置によれば、視差補正量が所定値以下のときは擬似陰影の濃度を所定値以下（例えば、視差補正量が０のときは擬似陰影の濃度を０）とする。そして、視差補正量が大きくなるにつれて擬似陰影の濃度を濃くする。これにより、擬似陰影が表示されたりされなかったりする場合に擬似陰影を目立たなくすることができる。

請求項６に記載の立体画像表示装置は、請求項１から５のいずれかに記載の立体画像表示装置において、前記立体感強調処理手段は、前記対象被写体像の輪郭を検出する輪郭検出手段と、前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像の前記対象被写体像の輪郭の外側（以下、背景という）をぼかす又は前記背景の輝度を落とす背景コントラスト低減処理を行う背景コントラスト低減手段と、を有することを特徴とする。

請求項６に記載の立体画像表示装置によれば、対象被写体像の輪郭を検出し、視差補正手段により視差補正が行われた後の左目用画像及び右目用画像の対象被写体像の輪郭の外側（以下、背景という）をぼかす又は背景の輝度を落とすことで立体感強調処理を行う。これにより、対象被写体像が相対的にはっきり表示され、対象被写体の立体感の減少を補うことができる。

請求項７に記載の立体画像表示装置は、請求項６に記載の立体画像表示装置において、前記背景コントラスト低減手段は、前記視差補正手段により前記対象被写体像が相対的に移動された量（以下、視差補正量という）が所定値以下のときは前記背景をぼかす度合い又は前記輝度を落とす度合いを所定値以下とし、前記視差補正量が大きくなるにつれて前記背景をぼかす度合い又は前記輝度を落とす度合いを大きくすることを特徴とする。

請求項７に記載の立体画像表示装置によれば、視差補正量が所定値以下のときは背景をぼかす度合い又は輝度を落とす度合いを所定値以下（例えば、視差補正量が０のときは背景をぼかす度合い又は輝度を落とす度合いを０）とする。そして、視差補正量が大きくなるにつれて背景をぼかす度合い又は輝度を落とす度合いを大きくする。これにより、背景がぼかされたりぼかされなかったり、背景の輝度が落とされたり落とされなかったりする場合に背景のぼかしや輝度の低下を目立たなくすることができる。

請求項８に記載の立体画像表示装置は、請求項１から７のいずれかに記載の立体画像表示装置において、前記取得手段により連続して取得された左目用画像及び右目用画像に基づいて動く被写体（以下、動体という）を前記左目用画像及び前記右目用画像のそれぞれから検出する動体検出手段を備え、前記対象被写体抽出手段は、前記動体検出手段により検出された動体の中から前記対象被写体を抽出することを特徴とする。

請求項８に記載の立体画像表示装置によれば、左目用画像及び右目用画像のそれぞれから動体を検出し、検出された動体の中から対象被写体を抽出する。これにより、拡大視差が変化しうるすべての被写体を対象被写体の抽出対象とすることができる。

請求項９に記載の立体画像撮影装置は、請求項１から８のいずれかに記載の立体画像表示装置と、前記左目用画像及び前記右目用画像をそれぞれ撮影する撮影手段と、を備え、前記取得手段は、前記撮影手段を介して前記左目用画像及び前記右目用画像を所定のフレームレートで連続的に取得することを特徴とする。

請求項１０に記載の立体画像表示方法は、所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得するステップと、前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示手段と、前記左目用画像及び前記右目用画像を立体画像が表示可能な表示手段に表示させた時に、前記表示手段の表示面から飛び出す方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出するステップと、前記対象被写体の前記表示手段の表示面から飛び出す方向の視差が前記所定の視差量となるように、前記左目用画像及び前記右目用画像のそれぞれから前記対象被写体の画像（以下、対象被写体像という）を抽出し、前記左目用画像及び前記右目用画像から前記対象被写体像を抽出した残りの画像に対して当該対象被写体像を相対的に移動させることで視差補正を行うステップと、前記移動された対象被写体像の立体感を強調させる立体感強調処理を前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行なうステップと、前記取得された左目用画像及び右目用画像又は前記立体感強調処理が行われた左目用画像及び右目用画像を連続的に前記表示手段に表示させるステップと、を有することを特徴とする。

請求項１１に記載の立体画像表示プログラムは、所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得するステップと、前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示手段と、前記左目用画像及び前記右目用画像を立体画像が表示可能な表示手段に表示させた時に、前記表示手段の表示面から飛び出す方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出するステップと、前記対象被写体の前記表示手段の表示面から飛び出す方向の視差が前記所定の視差量となるように、前記左目用画像及び前記右目用画像のそれぞれから前記対象被写体の画像（以下、対象被写体像という）を抽出し、前記左目用画像及び前記右目用画像から前記対象被写体像を抽出した残りの画像に対して当該対象被写体像を相対的に移動させることで視差補正を行うステップと、前記移動された対象被写体像の立体感を強調させる立体感強調処理を前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行なうステップと、前記取得された左目用画像及び右目用画像又は前記立体感強調処理が行われた左目用画像及び右目用画像を連続的に前記表示手段に表示させるステップと、を演算装置に実行させることを特徴とする。

本発明によれば、表示面より飛び出して見える方向の視差が大きな被写体の飛び出し感を抑制することにより視聴者の疲労を軽減すると共に、被写体の飛び出し感を抑制することによる立体感の減少を補うことができる。

本発明の第１の実施の形態の複眼デジタルカメラ１の概略図であり、（ａ）は正面図、（ｂ）は背面図である。 複眼デジタルカメラ１の電気的な構成を示すブロック図である。 視差補正処理を説明するための図である。 視差補正処理を説明するための図である。 視差補正処理を説明するための図である。 複眼デジタルカメラ１の立体感強調処理を説明するための図である。 複眼デジタルカメラ１の立体感強調処理を説明するための図である。 複眼デジタルカメラ１の立体感強調処理を説明するための図である。 擬似陰影の濃度と視差補正量との関係を示す図である。 （ａ）は視差補正量が小さいときの擬似陰影を示す図であり、（ｂ）は視差補正量が大きいときの擬似陰影を示す図である。 複眼デジタルカメラ１の視差補正処理、立体感強調処理の流れを示すフローチャートである。 複眼デジタルカメラ１の変形例における擬似陰影のずらし量と視差補正量との関係を示す図である。 本発明の第２の実施の形態の複眼デジタルカメラ２の電気的な構成を示すブロック図である。 複眼デジタルカメラ２の立体感強調処理を説明するための図である。 ぼけみと視差補正量との関係を示す図である。 複眼デジタルカメラ２の視差補正処理、立体感強調処理の流れを示すフローチャートである。 複眼デジタルカメラ２の変形例の視差補正処理、立体感強調処理の処理の流れを示すフローチャートである。 （ａ）はカメラと被写体との位置関係を示す図であり、（ｂ）は（ａ）に示す位置関係で撮影された右目用画像、左目用画像及び立体画像である。

以下、添付図面に従って本発明に係る立体画像表示装置、立体画像撮影装置、立体画像表示方法及び立体画像表示プログラムを実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は、本発明に係る立体画像表示装置を有する複眼デジタルカメラ１の概略図であり、（ａ）は正面図であり、（ｂ）は背面図である。複眼デジタルカメラ１は、複数（図１では２個を例示）の撮像系を備えた複眼デジタルカメラ１であって、同一被写体を複数視点（図１では左右二つの視点を例示）からみた立体画像や、単視点画像（２次元画像）が撮影可能である。また、複眼デジタルカメラ１は、静止画に限らず、動画、音声の記録再生も可能である。

複眼デジタルカメラ１のカメラボディ１０は、略直方体の箱状に形成されており、その正面には、図１（ａ）に示すように、主として、バリア１１、右撮像系１２、左撮像系１３、フラッシュ１４、マイク１５が設けられている。また、カメラボディ１０の上面には、主として、レリーズスイッチ２０、ズームボタン２１が設けられている。

一方、カメラボディ１０の背面には、図１（ｂ）に示すように、モニタ１６、モードボタン２２、視差調整ボタン２３、２Ｄ／３Ｄ切り替えボタン２４、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６、ＤＩＳＰ／ＢＡＣＫボタン２７が設けられている。

バリア１１は、カメラボディ１０の前面に摺動可能に装着され、バリア１１が上下に摺動することにより開状態と閉状態とが切り替えられる。通常は、図１（ａ）点線に示すように、バリア１１は上端、すなわち閉状態に位置されており、対物レンズ１２ａ、１３ａ等はバリア１１によって覆われている。これにより、レンズなどの破損が防止される。バリア１１が摺動されることにより、バリアが下端、すなわち開状態に位置される（図１（ａ）実線参照）と、カメラボディ１０前面に配設されたレンズ等が露呈される。図示しないセンサによりバリア１１が開状態であることが認識されると、ＣＰＵ１１０（図２参照）により電源がＯＮされ、撮影が可能となる。

右目用の画像を撮影する右撮像系１２及び左目用の画像を撮影する左撮像系１３は、屈曲光学系を有する撮影レンズ群、絞り兼用メカシャッタ１２ｄ、１３ｄ及び撮像素子１２２、１２３（図２参照）を含む光学ユニットである。右撮像系１２及び左撮像系１３の撮影レンズ群は、主として、被写体からの光を取り込む対物レンズ１２ａ、１３ａ、対物レンズから入射した光路を略垂直に折り曲げるプリズム（図示せず）、ズームレンズ１２ｃ、１３ｃ（図２参照）、フォーカスレンズ１２ｂ、１３ｂ（図２参照）等で構成される。

フラッシュ１４は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

モニタ１６は、４：３の一般的なアスペクト比を有するカラー表示が可能な液晶モニタであり、立体画像と平面画像の両方が表示可能である。モニタ１６の詳細な構造は図示しないが、モニタ１６は、その表面にパララックスバリア表示層を備えたパララックスバリア式３Ｄモニタである。モニタ１６は、各種設定操作を行なう際の使用者インターフェース表示パネルとして利用され、画像撮影時には電子ビューファインダとして利用される。

モニタ１６は、立体画像を表示するモード（３Ｄモード）と、平面画像を表示するモード（２Ｄモード）とが切り替えが可能である。３Ｄモードにおいては、モニタ１６のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示する。２Ｄモードや使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。

なお、モニタ１６は、パララックスバリア式には限定されず、レンチキュラー方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を用いるホログラフィー方式などが採用されてもよい。また、モニタ１６は液晶モニタに限定されず、有機ＥＬなどが採用されてもよい。

レリーズスイッチ２０は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。複眼デジタルカメラ１は、静止画撮影時（例えば、モードボタン２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このレリーズスイッチ２０を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードボタン２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このレリーズスイッチ２０を全押しすると、動画の撮影を開始し、再度全押しすると、撮影を終了する。

ズームボタン２１は、右撮像系１２及び左撮像系１３のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタン２１Ｔと、広角側へのズームを指示するズームワイドボタン２１Ｗとで構成されている。

モードボタン２２は、デジタルカメラ１の撮影モードを設定する撮影モード設定手段として機能し、このモードボタン２２の設定位置により、デジタルカメラ１の撮影モードが様々なモードに設定される。撮影モードは、動画撮影を行う「動画撮影モード」と、静止画撮影を行う「静止画撮影モード」とに分けられ、「静止画撮影モード」は例えば、絞り、シャッタスピード等がデジタルカメラ１によって自動的に設定される「オート撮影モード」、人物の顔を抽出して撮影を行う「顔抽出撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを使用者が設定し、シャッタスピードをデジタルカメラ１が自動的に設定する「絞り優先撮影モード」、シャッタスピードを使用者が設定し、絞りの目盛りをデジタルカメラ１が自動的に設定する「シャッタスピード優先撮影モード」、絞り、シャッタスピード等を使用者が設定する「マニュアル撮影モード」等がある。

視差調整ボタン２３は、立体画像撮影時に視差を電子的に調整するボタンである。視差調整ボタン２３の右側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ大きくなり、視差調整ボタン２３の左側を押下することにより、右撮像系１２で撮影された画像と左撮像系１３で撮影された画像との視差が所定の距離だけ小さくなる。

２Ｄ／３Ｄ切り替えボタン２４は、単視点画像を撮影する２Ｄ撮影モードと、多視点画像を撮影する３Ｄ撮影モードの切り替えを指示するためのスイッチである。

ＭＥＮＵ／ＯＫボタン２５は、撮影及び再生機能の各種設定画面（メニュー画面）の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、複眼デジタルカメラ１が持つ全ての調整項目の設定が行われる。撮影時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６にたとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整などの設定画面が表示され、再生時にＭＥＮＵ／ＯＫボタン２５が押されると、モニタ１６に画像の消去などの設定画面が表示される。複眼デジタルカメラ１は、このメニュー画面で設定された条件に応じて動作する。

十字ボタン２６は、各種のメニューの設定や選択あるいはズームを行うためのボタンであり、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。たとえば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、上ボタンにモニタ１６の明るさを替える機能が割り当てられ、下ボタンにセルフタイマーのＯＮ／ＯＦＦや時間を切り替える機能が割り当てられる。また、再生時には、右ボタンにコマ送りの機能が割り当てられ、左ボタンにコマ戻しの機能が割り当てられる。また、上ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、モニタ１６に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＤＩＳＰ／ＢＡＣＫボタン２７は、モニタ１６の表示切り替えを指示するボタンとして機能し、撮影中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、モニタ１６の表示が、ＯＮ→フレーミングガイド表示→ＯＦＦに切り替えられる。また、再生中、このＤＩＳＰ／ＢＡＣＫボタン２７が押されると、通常再生→文字表示なし再生→マルチ再生に切り替えられる。また、ＤＩＳＰ／ＢＡＣＫボタン２７は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

図２は、複眼デジタルカメラ１の主要な内部構成を示すブロック図である。複眼デジタルカメラ１は、主として、ＣＰＵ１１０、操作手段（レリーズスイッチ２０、ＭＥＮＵ／ＯＫボタン２５、十字ボタン２６等）１１２、ＳＤＲＡＭ１１４、ＶＲＡＭ１１６、ＡＦ検出手段１１８、ＡＥ／ＡＷＢ検出手段１２０、撮像素子１２２、１２３、ＣＤＳ／ＡＭＰ１２４、１２５、Ａ／Ｄ変換器１２６、１２７、画像入力コントローラ１２８、画像信号処理手段１３０、圧縮伸張処理手段１３２、立体画像生成部１３３、ビデオエンコーダ１３４、視差補正部１３５、立体感強調処理部１３６、メディアコントローラ１３７、音入力処理手段１３８、記録メディア１４０、フォーカスレンズ駆動手段１４２、１４３、ズームレンズ駆動手段１４４、１４５、絞り駆動手段１４６、１４７、タイミングジェネレータ（ＴＧ）１４８、１４９で構成される。

ＣＰＵ１１０は、複眼デジタルカメラ１の全体の動作を統括的に制御する。ＣＰＵ１１０は、右撮像系１２と左撮像系１３の動作を制御する。右撮像系１２と左撮像系１３とは、基本的に連動して動作を行うが、各々個別に動作させることも可能である。また、ＣＰＵ１１０は、右撮像系１２及び左撮像系１３で得られた２つの画像データを短冊状の画像断片とし、これがモニタ１６に交互に表示されるような表示用画像データを生成する。３Ｄモードで表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで立体視を可能にする。

ＳＤＲＡＭ１１４には、このＣＰＵ１１０が実行する制御プログラムであるファームウェア、制御に必要な各種データ、カメラ設定値、撮影された画像データ等が記録されている。

ＶＲＡＭ１１６は、ＣＰＵ１１０の作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。

ＡＦ検出手段１１８は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＦ制御に必要な物理量を算出する。ＡＦ検出手段１１８は、右撮像系１２から入力された画像信号に基づいてＡＦ制御を行う右撮像系ＡＦ制御回路と、左撮像系１３から入力された画像信号に基づいてＡＦ制御を行う左撮像系ＡＦ制御回路とで構成される。本実施の形態のデジタルカメラ１では、撮像素子１２２、１２３から得られる画像のコントラストによりＡＦ制御が行われ（いわゆるコントラストＡＦ）、ＡＦ検出手段１１８は、入力された画像信号から画像の鮮鋭度を示す焦点評価値を算出する。ＣＰＵ１１０は、このＡＦ検出手段１１８で算出される焦点評価値が極大となる位置を検出し、その位置にフォーカスレンズ群を移動させる。すなわち、フォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、各位置で焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置として、その位置にフォーカスレンズ群を移動させる。

ＡＥ／ＡＷＢ検出手段１２０は、ＣＰＵ１１０からの指令に従い、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。例えば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリア毎にＲ、Ｇ、Ｂの画像信号の積算値を算出する。ＣＰＵ１１０は、このＡＥ／ＡＷＢ検出手段１２０から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタスピードを決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリア毎にＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。ＣＰＵ１１０は、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリア毎にＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、例えば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ＝１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。

撮像素子１２２、１２３は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されている。撮像素子１２２、１２３は、フォーカスレンズ１２ｂ、１３ｂ、ズームレンズ１２ｃ、１３ｃ等によって結像された被写体光を受光し、この受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。撮像素子１２２、１２３の光電荷蓄積・転送動作は、ＴＧ１４８、１４９からそれぞれ入力される電荷排出パルスに基づいて電子シャッタ速度（光電荷蓄積時間）が決定される。

すなわち、撮像素子１２２、１２３に電荷排出パルスが入力されている場合には、撮像素子１２２、１２３に電荷が蓄えられることなく排出される。それに対し、撮像素子１２２、１２３に電荷排出パルスが入力されなくなると、電荷が排出されなくなるため、撮像素子１２２、１２３において電荷蓄積、すなわち露光が開始される。撮像素子１２２、１２３で取得された撮像信号は、ＴＧ１４８、１４９からそれぞれ与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ１２４、１２５に出力される。

ＣＤＳ／ＡＭＰ１２４、１２５は、撮像素子１２２、１２３から出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を行い、増幅してＲ、Ｇ、Ｂのアナログの画像信号を生成する。

Ａ／Ｄ変換器１２６、１２７は、ＣＤＳ／ＡＭＰ１２４、１２５で生成されたＲ、Ｇ、Ｂのアナログの画像信号デジタルの画像信号に変換する。

画像入力コントローラ１２８は、所定容量のラインバッファを内蔵しており、ＣＰＵ１１０からの指令に従い、ＣＤＳ／ＡＭＰ／ＡＤ変換手段から出力された１画像分の画像信号を蓄積して、ＶＲＡＭ１１６に記録する。

画像信号処理手段１３０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＣＰＵ１１０からの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。以下、撮像素子１２２から出力された画像信号から生成された画像データを右目用画像データ（以下、右目用画像という）といい、撮像素子１２３から出力された画像信号から生成された画像データを左目用画像データ（以下、左目用画像という）という。

画像信号処理手段１３０で処理された左目用画像及び右目用画像（３Ｄ画像データ）は、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。

立体画像生成部１３３は、ＶＲＡＭ５０から読み出された３Ｄ画像データ又は記録メディア１４０から読み出され圧縮伸張処理手段１３２で生成された非圧縮の３Ｄ画像データをモニタ１６で立体表示が可能なように加工する。例えば、パララックスバリア式のモニタである場合には、立体画像生成部１３３は、再生に用いる右目用画像及び左目用画像をそれぞれ短冊状に区切り、短冊状の右目用画像と左目用画像とを交互に並べた表示用画像データを生成する。表示用画像データは、立体画像生成部１３３からビデオエンコーダ１３４を介してモニタ１６に出力される。

ビデオエンコーダ１３４は、モニタ１６への表示を制御する。すなわち、立体画像生成部１３３で生成された表示用画像データ等をモニタ１６に表示するための映像信号（例えば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ１６に出力すると共に、必要に応じて所定の文字、図形情報をモニタ１６に出力する。

これにより、右目用画像及び左目用画像がモニタ１６に立体表示される。なお、ＶＲＡＭ５０に１コマ分の３Ｄ画像を表す３Ｄ画像データが交互に書き換えられ、３Ｄ画像データが書き換えられている方の領域以外の領域から書き込まれている３Ｄ画像データが読み出される場合には、モニタ１６には３Ｄ画像がリアルタイムに連続して表示される（ライブビュー画像（スルー画像）の表示）。

本実施の形態では、ライブビュー画像がモニタ１６に表示されたときに、飛び出し量が所定の大きさより大きくなった被写体（以下、対象被写体という）に対して、飛び出し量を所定の大きさ以下にする処理（以下、視差補正処理という）を行い、視差補正処理後の対象被写体の立体感を強調する処理（以下、立体感強調処理という）を行う。以下、視差補正処理及び立体感強調処理について説明する。

視差補正部１３５は、視差補正処理を行うものであり、以下のようにして対象被写体の抽出及び対象被写体の視差補正を行う。視差補正処理は、右目用画像、左目用画像のそれぞれに対して行われる。

まず、視差補正部１３５は、図３（ａ）に示すように３Ｄ画像データから動体を検出する。すなわち、視差補正部１３５は、連続してＶＲＡＭ５０から読み出される３Ｄ画像データから被写体を検出する。そして、視差補正部１３５は、前フレームの３Ｄ画像データから検出された被写体の位置と、現フレームの画像データから検出された被写体の位置とが一致するか否かを検出する。前フレームの画像データから検出された主要被写体の位置と、現フレームの画像データから検出された主要被写体の位置とが一致しない場合には、視差補正部１３５は、その被写体を動体として検出する。ここで視差補正部１３５が検出するのは、右目用画像及び左目用画像に含まれるすべての動体であり、動体は１つとは限られない。

次に、視差補正部１３５は、動体の中から対象被写体を抽出する。対象被写体とは、飛び出し量が所定の大きさより大きい、すなわち表示面より飛び出して見える方向の視差（以下、拡大視差という）が所定の閾値より大きい被写体である。以下、拡大視差が所定の閾値である場合の視差を限界視差という。

限界視差は、視聴者が眼精疲労を引き起こさない限界の視差であり、（１）モニタサイズ、（２）モニタ解像度、（３）観視距離（視聴者がモニタを見る距離）（４）視聴者毎の立体融合限界の４つの条件によって決定される。例えば、モニタ解像度が１９２０×１０８０（ＨＤＴＶ解像度）（条件（２））、観視距離がモニタの画面高さの３倍（条件（１）、（３））、一般的な立体融合限界（条件（４））を用いた場合には、限界視差は５７ピクセル（視差１.０度）となる。

本実施の形態では、（１）モニタサイズ、（２）モニタ解像度としてモニタ１６の大きさ、解像度を用いることができ、（３）観視距離としてモニタ１６の大きさに応じて設定された仕様を用いることができるが、（４）視聴者毎の立体融合限界は個人差が大きいため、限界視差を一概に決定することができない。したがって、本実施の形態では、視差補正部１３５は、ユーザにより操作手段１１２を介して立体融合限界が入力される（例えば、強、中、弱の３段階）と、モニタ１６の大きさ、解像度、観視距離の仕様（これらはＳＤＲＡＭ１１４に記憶されている）に基づいて限界視差を決定する。決定された限界視差は、視差補正部１３５内の記憶領域に記憶される。なお、（４）視聴者毎の立体融合限界が操作手段１１２を介して入力されない場合には、視差補正部１３５は、標準的な値を用いて限界視差を決定するようにしてもよい。

なお、拡大視差以外に、表示面から引っこむ方向の視差（以下、開散方向視差という）もある。拡散方向視差はモニタ上で５ｃｍを越えないように設定すべきであるため、（１）モニタサイズ、（２）モニタ解像度とからモニタ上で５ｃｍ相当の画素数、すなわち拡散方向視差の限界値が一意に決定される。

視差補正部１３５は、各フレームの３Ｄ画像データに含まれる各動体毎に表示面より飛び出して見える方向の視差を求め、拡大視差と限界視差を比較する。そして、図３（ｂ）に示すように、拡大視差が限界視差よりも大きい、すなわち過大視差を有する動体を対象被写体として抽出する。拡大視差が限界視差よりも大きい視差の範囲においては、立体融合視が不可能であり、以下この視差の範囲を過大視差という。なお、拡大視差は、右目用画像の動体の位置と左目用画像の動体の位置とのズレ量を算出することにより求めることができるが、この方法以外にも様々な方法により求めることができる。

そして、視差補正部１３５は、抽出された対象被写体の拡大視差が限界視差となるように対象被写体の画像（以下、対象被写体像）を移動させる（視差補正）。対象被写体像の移動は、図４に示すように、右目用画像又は左目用画像から対象被写体像を抽出し、右目用画像又は左目用画像から対象被写体像を抽出した残りの画像に対して、抽出した対象被写体像を相対的に移動させる（図４では、実線の位置から点線の位置）ことにより行う。これにより、対象被写体のみ視差補正が行われ、対象被写体の過大視差が解消され、立体融合視が可能となる。なお、対象被写体像の移動により一部の画素（図４斜線部参照）が空白となるが、この部分には移動前の対象被写体像が隣接する画素（図４網掛け部参照）を表示させたり、補完により補ったりする。

図５は、３Ｄ画像データがモニタ１６に表示されたときの表示面と被写体の表示位置との関係を示す図である。対象被写体のみ視差補正が行われた結果、対象被写体である人物のみ表示位置が後退し、対象被写体でない木の表示位置は変更されない。すなわち、人物の立体感のみが減少し、人物以外は立体感が減少しない。したがって、画面全体の立体感を保ちつつ、視聴者の目を疲労させる被写体については飛び出し感を抑制することができる。

立体感強調処理部１３６は、立体感強調処理を行うものであり、視差補正後の対象被写体像に対して立体感強調処理を行う。立体感強調処理は、視差補正部１３５により視差補正処理が行われた右目用画像、左目用画像のそれぞれに対して行われる。

まず、立体感強調処理部１３６は、図６に示すように、対象被写体像の輝度を０に落として擬似陰影を生成し、生成した擬似陰影を対象被写体像の背後に合成する。擬似陰影の合成位置は、図６、７に示すように、視差が０となり、かつ対象被写体像から所定のずらし量Δｓだけ所定の方向にずらした位置である。

ずらし方向は、対象被写体の中心が右目用画像又は左目用画像のどこにあるかで異なる。本実施の形態では、対象被写体の中心が右目用画像又は左目用画像の右側に位置している場合には、図７に示すようにずらし方向は左側とし、対象被写体の中心が右目用画像又は左目用画像の左側（中心を含む）に位置している場合には、ずらし方向は右側とする。

立体感強調処理部１３６は、対象被写体が右半分（中心を含む）に位置している場合には、右目用画像を基準として擬似陰影の配置を行い、対象被写体が左半分に位置している場合には、左目用画像を基準として擬似陰影の配置を行う。なぜならば、図８（ｂ）の点線は、左目用画像（図８（ａ））の対象被写体像の位置であるが、左目用画像を基準としてずらし量Δｓで擬似陰影を配置した場合には、右目用画像において擬似陰影が表示されない虞があるためである。

図８に示す場合には対象被写体が右半分に位置しているため、立体感強調処理部１３６は、右目用画像において、図８（ｂ）に示すように対象被写体の左側で、かつずらし量Δｓが対象被写体の横幅の最大値ｗの１割となる（Δｓ＝０．１ｗ）位置に擬似陰影を配置する。

擬似陰影は視差が０であることより、左目用画像の擬似陰影の位置と右目用画像の擬似陰影の位置とは同じとなる。したがって、立体感強調処理部１３６は、図８（ａ）に示すように、左目用画像に対して、右目用画像の擬似陰影の位置と同じ位置に擬似陰影を配置する。

これにより、視差補正された対象被写体に擬似陰影を加え、対象被写体の立体感を強調することができる。この擬似陰影は、視聴者のいる方向から対象被写体に平行光が照射されたときに影が発生するようなイメージで表示されることとなる。なお、ずらし量Δｓはこれに限定されるものではなく、擬似陰影が見えるのであればどのようなずらし量でもよい。

擬似陰影の濃度について説明する。擬似陰影は対象被写体像の輝度を落とすことにより生成するが、その濃度は、図９に示すような視差補正量と濃度との関係に基づいて決定される。なお、視差補正量とは、視差補正部１３５により抽出された対象被写体の拡大視差と限界視差との差である。図９に示すような視差補正量と濃度との関係は、立体感強調処理部１３６内の記憶領域に記憶されている。

図９に示すように、擬似陰影の濃度は、視差補正量が０のときは０であり、視差補正量が所定の値となるまでは視差補正量が大きくなるにつれて濃くなり、視差補正量が所定の値以上の場合には最も濃い状態で維持される。

視差補正量が所定の値となるまで、すなわち対象被写体の拡大視差が限界視差近傍の場合は、対象被写体が前後方向に移動することにより視差補正が行われたり行われなかったりすることが考えられる。視差補正が行われたり行われなかったりすると、それに応じて擬似陰影が表示されたり表示されなかったりする、いわゆるハンチングが発生するため、視差補正量が０の場合には擬似陰影の濃度を０とし、視差補正量に比例して擬似陰影の濃度を濃くする。これにより、図１０（ａ）に示すようにハンチングを目立たなくすることができる。

それに対し、視差補正量が所定の値以上の場合には、視差補正処理が継続して行われるため、ハンチングは発生しない。また、視差補正量が大きく、立体感の現象も大きいため、立体感をより強調することが望ましい。そのため、図１０（ｂ）に示すように濃い擬似陰影が表示される。

このように視差補正処理及び立体感強調処理がされた右目用画像及び左目用画像は、立体画像生成部１３３等の各ブロックに出力される。視差補正処理及び立体感強調処理がされた右目用画像及び左目用画像は、既に説明した方法と同じ方法により、立体画像生成部１３３でモニタ１６で立体表示が可能なように加工され、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、視差補正部１３５で画像処理された右目用画像及び左目用画像がモニタ１６に立体表示される。

図２の説明に戻る。

圧縮伸張処理手段１３２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

メディアコントローラ１３７は、圧縮伸張処理手段１３２で圧縮処理された各画像データを記録メディア１４０に記録する。

音入力処理手段１３８は、マイク１５に入力され、図示しないステレオマイクアンプで増幅された音声信号が入力され、この音声信号の符号化処理を行う。

記録メディア１４０は、複眼デジタルカメラ１に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体である。

フォーカスレンズ駆動手段１４２、１４３は、ＣＰＵ１１０からの指令に従い、フォーカスレンズ１２ｂ、１３ｂをそれぞれ光軸方向に移動させ、焦点位置を可変する。

ズームレンズ駆動手段１４４、１４５は、ＣＰＵ１１０からの指令に従い、ズームレンズ１２ｃ、１３ｃそれぞれ光軸方向に移動させ、焦点距離を可変する。

絞り兼用メカシャッタ１２ｄ、１３ｄは、それぞれ絞り駆動手段１４６、１４７のアイリスモータに駆動されることにより、その開口量を可変して、撮像素子１２３への入射光量を調整する。

絞り駆動手段１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄの開口量を可変して、撮像素子１２３への入射光量をそれぞれ調整する。また、絞り駆動手段１４６、１４７は、ＣＰＵ１１０からの指令に従い、絞り兼用メカシャッタ１２ｄ、１３ｄを開閉して、撮像素子１２２、１２３への露光／遮光それぞれを行う。

以上のように構成された複眼デジタルカメラ１の作用について説明する。

バリア１１を閉状態から開状態へと摺動させると、複眼デジタルカメラ１の電源が投入され、複眼デジタルカメラ１は、撮影モードの下で起動する。撮影モードとしては、２Ｄモードと、同一被写体を２視点からみた立体画像を撮影する３Ｄ撮影モードとが設定可能である。また、３Ｄモードとしては、右撮像系１２及び左撮像系１３を用いて同時に所定の視差で立体画像を撮影する３Ｄ撮影モードが設定可能である。撮影モードの設定は、複眼デジタルカメラ１が撮影モードで駆動中にＭＥＮＵ／ＯＫボタン２５が押下されることによりモニタ１６に表示されたメニュー画面において、十字ボタン２６等により「撮影モード」を選択することによりモニタ１６に表示された撮影モードメニュー画面から設定可能である。

（１）２Ｄ撮影モード
ＣＰＵ１１０は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）を選択し、左撮像系１３の撮像素子１２３によって撮影確認画像用の撮影を開始する。すなわち、撮像素子１２３で連続的に画像が撮像され、その画像信号が連続的に処理されて、撮影確認画像用の画像データが生成される。

ＣＰＵ１１０は、モニタ１６を２Ｄモードとし、生成された画像データを順次ビデオエンコーダ１３４に加え、表示用の信号形式に変換してモニタ１６に出力する。これにより、撮像素子１２３で捉えた画像がモニタ１６に立体表示される。モニタ１６の入力がデジタル信号に対応している場合はビデオエンコーダ１３４は不要であるが、モニタ１６の入力仕様に合致した信号形態に変換する必要がある。

ユーザ（使用者）は、モニタ１６に立体表示される撮影確認画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、撮像素子１２３を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り兼用メカシャッタ１３ｄの絞り値、及びシャッタ速度の決定に使用される。同時に、検出された被写体輝度より、フラッシュ１４の発光が必要かどうかを判断する。フラッシュ１４の発光が必要と判断された場合には、フラッシュ１４をプリ発光させ、その反射光に基づいて本撮影時のフラッシュ１４の発光量を決定する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、ＣＰＵ１１０は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動手段１４７を介して絞り兼用メカシャッタ１３ｄを駆動するとともに、前記測光値に基づいて決定したシャッタ速度になるように撮像素子１２３での電荷蓄積時間（いわゆる電子シャッタ）を制御する。

また、ＣＰＵ１１０は、ＡＦ制御時にはフォーカスレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、レンズ位置毎に撮像素子１２３を介して取り込まれた画像のＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値をＡＦ検出手段１１８から取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。

この際、フラッシュ１４を発光させる場合は、プリ発光の結果から求めたフラッシュ１４の発光量に基づいてフラッシュ１４を発光させる。

被写体光は、フォーカスレンズ１３ｂ、ズームレンズ１３ｃ、絞り兼用メカシャッタ１３ｄ、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８等を介して撮像素子１２３の受光面に入射する。

撮像素子１２３の各フォトダイオードに蓄積された信号電荷は、ＴＧ１４９から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）として撮像素子１２３から順次出力され、ＣＤＳ／ＡＭＰ１２５に入力される。

ＣＤＳ／ＡＭＰ１２５は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、ＣＰＵ１１０から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。

ＣＤＳ／ＡＭＰ１２５から出力されたアナログの画像信号は、Ａ／Ｄ変換器１２７において、デジタルの画像信号に変換され、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、ＳＤＲＡＭ１１４に転送され、ここに一旦蓄えられる。

ＳＤＲＡＭ１１４から読み出されたＲ、Ｇ、Ｂの画像信号は、画像信号処理手段１３０に入力される。画像信号処理手段１３０では、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、同時化回路により単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各色信号の位相を合わせる同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され輪郭強調などの所定の信号処理が行われる。画像信号処理手段１３０で処理されたＹＣ信号は再びＳＤＲＡＭ１１４に蓄えられる。

上記のようにしてＳＤＲＡＭ１１４に蓄えられたＹＣ信号は、圧縮伸張処理手段１３２によって圧縮され、所定のフォーマットの画像ファイルとして、メディアコントローラ１３７を介して記録メディア１４０に記録される。静止画のデータは、Ｅｘｉｆ規格に従った画像ファイルとして記録メディア１４０に格納される。Ｅｘｉｆファイルは、主画像のデータを格納する領域と、縮小画像（サムネイル画像）のデータを格納する領域とを有している。撮影によって取得された主画像のデータから画素の間引き処理その他の必要なデータ処理を経て、規定サイズ（例えば、１６０×１２０又は８０×６０ピクセルなど）のサムネイル画像が生成される。こうして生成されたサムネイル画像は、主画像とともにＥｘｉｆファイル内に書き込まれる。また、Ｅｘｉｆファイルには、撮影日時、撮影条件、顔検出情報等のタグ情報が付属されている。

複眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３７にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理手段１３２に加えられ、非圧縮の輝度／色差信号に伸張され、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、記録メディア１４０に記録されている画像がモニタ１６に再生表示される（１枚画像の再生）。２Ｄ撮影モードで撮影された画像は、平面画像がモニタ１６全面に２Ｄモードで表示される。

（２）３Ｄ撮影モード
撮像素子１２２及び撮像素子１２３によって撮影確認画像用の撮影を開始する。すなわち、撮像素子１２２及び撮像素子１２３で右目用画像及び左目用画像が所定のフレームレートで連続的に撮像され、その画像信号が連続的に処理され、撮影確認画像用の立体画像データが生成される。ＣＰＵ１１０は、モニタ１６を３Ｄモードに設定し、生成された画像データはビデオエンコーダ１３４で順次表示用の信号形式に変換されて、それぞれモニタ１６に出力される。これにより撮影確認画像用の立体画像データがモニタ１６に立体表示される。

図１１は、ライブビュー画像の撮影、表示処理において、所定のフレームレートで連続的に撮像された各フレーム毎の右目用画像及び左目用画像に対して行われる視差補正処理及び立体感強調処理の流れを示すフローチャートである。この処理はＣＰＵ１１０によって制御される。この撮像処理をＣＰＵ１１０に実行させるためのプログラムはＣＰＵ１１０内のプログラム格納部に記憶されている。

視差補正部１３５は、右目用画像及び左目用画像から動体を検出する（ステップＳ１０）。ステップＳ１０で検出される動体は１つとは限らず、右目用画像及び左目用画像に含まれるすべての動体が検出される。

視差補正部１３５は、ステップＳ１０で検出された動体に対して各動体毎に拡大視差を求め（ステップＳ１１）、視差補正部１３５内の記憶領域に記憶された限界視差を取得し（ステップＳ１２）、ステップＳ１１で算出された拡大視差とステップＳ１２で算出された限界視差とを比較する（ステップＳ１３）。

視差補正部１３５は、拡大視差が限界視差よりも大きくない動体（ステップＳ１３でＮＯ）については処理を行わず、拡大視差が限界視差よりも大きい動体（過大視差を有する動体）（ステップＳ１３でＹＥＳ）についてはその動体を対象被写体として抽出し、以下の処理を行う。

視差補正部１３５は、右目用画像又は左目用画像から対象被写体像を切り出し（ステップＳ１４）、対象被写体の拡大視差が限界視差となるように、右目用画像又は左目用画像の対象被写体像を切り出した残りの画像に対して対象被写体像を相対的に移動させる（ステップＳ１５）。これにより、対象被写体の視差補正が行われ、過大視差が解消され、被写体の飛び出し感が抑制される。したがって、視聴者の疲労を軽減することができる。ただし、対象被写体以外については視差補正が行われないため、画像全体の立体感を損なうことはない。

ステップＳ１４、Ｓ１５と平行して、視差補正部１３５は右目用画像及び左目用画像から対象被写体像を抽出し（ステップＳ１６）、立体感強調処理部１３６は対象被写体像の輝度を０に落として擬似陰影を生成する（ステップＳ１７）。

立体感強調処理部１３６は、立体感強調処理部１３６の記憶領域に記憶された濃度と視差補正量との関係を取得し、ステップＳ１５で行われた視差補正処理の視差補正量を取得し、これらに基づいて擬似陰影の濃度を決定し、擬似陰影の濃度を決定された濃度とする（ステップＳ１８）。

立体感強調処理部１３６は、ステップＳ１６〜Ｓ１８で生成された擬似陰影の視差が０となるように、すなわち右目用画像の擬似陰影の位置と、左目用画像の擬似陰影の位置とが一致するように、ステップＳ１７で視差補正処理が行われた後の右目用画像及び左目用画像のそれぞれに擬似陰影を挿入する（ステップＳ１９）。この段階では、まだ擬似陰影の配置位置は決定されていない。

立体感強調処理部１３６は、対象被写体の中心がステップＳ１７で視差補正処理が行われた後（以下、視差補正後という）の右目用画像又は左目用画像の右側にあるか否かを判断する（ステップＳ２０）。また、立体感強調処理部１３６は、対象被写体の中心が視差補正後の右目用画像又は左目用画像の右側にない場合（ステップＳ２０でＮＯ）には、対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にあるか否かを判断する（ステップＳ２１）。

対象被写体の中心が視差補正後の右目用画像又は左目用画像の右側にある場合（ステップＳ２０でＹＥＳ）、及び対象被写体の中心が視差補正後の右目用画像又は左目用画像の右側になく（ステップＳ２０でＮＯ）対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にない場合（ステップＳ２１でＮＯ）、すなわち対象被写体の中心が視差補正後の画像の中心にある場合には、立体感強調処理部１３６は、視差補正後の右目用画像に対して、対象被写体像から所定のずらし量Δｓだけ左側にずらした位置にステップＳ１９で挿入された擬似陰影を配置する。それと共に、立体感強調処理部１３６は、視差補正後の左目用画像に対して、視差補正後の右目用画像の擬似陰影の配置位置と同じ位置に擬似陰影を配置する（ステップＳ２２）。

対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にある場合（ステップＳ２１でＹＥＳ）には、立体感強調処理部１３６は、視差補正後の左目用画像に対して、対象被写体像から所定のずらし量Δｓだけ右側にずらした位置にステップＳ１９で挿入された擬似陰影を配置する。それと共に、立体感強調処理部１３６は、視差補正後の右目用画像に対して、視差補正後の左目用画像の擬似陰影の配置位置と同じ位置に擬似陰影を配置する（ステップＳ２３）。

なお、本実施の形態では、対象被写体の中心が視差補正後の画像の中心にある場合（ステップＳ２１でＮＯ）には、対象被写体像から所定のずらし量Δｓだけ左側にずらした位置に擬似陰影を配置した（ステップＳ２２）が、対象被写体像から所定のずらし量Δｓだけ右側にずらした位置に擬似陰影を配置するようにしてもよい。

このようにして視差補正処理及び立体感強調処理が行われた３Ｄ画像データは、ビデオエンコーダ１３４で順次表示用の信号形式に変換されて、それぞれモニタ１６に出力される。これにより撮影確認画像用の立体画像データがモニタ１６に立体表示される。

ユーザ（使用者）は、モニタ１６に立体表示される撮影確認画像を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にレリーズスイッチ２０が半押しされると、ＣＰＵ１１０にＳ１ＯＮ信号が入力される。ＣＰＵ１１０はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光は、右撮像系１２又は左撮像系１３（本実施の形態では左撮像系１３）の一方で行う。また、ＡＦ制御は、右撮像系１２及び左撮像系１３のそれぞれで行う。ＡＥ測光、ＡＦ制御は２Ｄ撮影モードと同一であるため、詳細な説明を省略する。

レリーズスイッチ２０が全押しされると、ＣＰＵ１１０にＳ２ＯＮ信号が入力される。ＣＰＵ１１０は、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。右撮像系１２及び左撮像系１３のそれぞれで撮影された画像データを生成する処理については、２Ｄ撮影モードと同一であるため、説明を省略する。

ＣＤＳ／ＡＭＰ１２４、１２５でそれぞれ生成された２枚の画像データからは、２Ｄ撮影モードと同様の方法により、圧縮画像データが２個生成される。圧縮された２枚の画像データは、関連付けられて１ファイルとして記録メディア１４０に記憶される。記憶形式としては、ＭＰフォーマット等を用いることができる。

複眼デジタルカメラ１のモードを再生モードに設定すると、ＣＰＵ１１０は、メディアコントローラ１３７にコマンドを出力し、記録メディア１４０に最後に記録された画像ファイルを読み出させる。読み出された画像ファイルの圧縮画像データは、圧縮伸張処理手段１３２に加えられ、非圧縮の輝度／色差信号に伸張され、立体画像生成部１３３で立体画像とされたのち、ビデオエンコーダ１３４を介してモニタ１６に出力される。これにより、記録メディア１４０に記録されている画像がモニタ１６に再生表示される（１枚画像の再生）。

画像のコマ送りは、十字ボタン２６の左右のキー操作によって行われ、十字ボタン２６の右キーが押されると、次の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。また、十字ボタンの左キーが押されると、一つ前の画像ファイルが記録メディア１４０から読み出され、モニタ１６に再生表示される。

モニタ１６に再生表示された画像を確認しながら、必要に応じて、記録メディア１４０に記録された画像を消去することができる。画像の消去は、画像がモニタ１６に再生表示された状態でＭＥＮＵ／ＯＫボタン２５が押下されることによって行われる。

本実施の形態によれば、拡大視差が限界視差より大きい被写体について視差補正処理を行い、拡大視差を限界視差にすることで、被写体の飛び出し感を抑制し、視聴者の疲労を軽減することができる。また、視差補正後の対象被写体像の背面に擬似陰影を追加することで、被写体の飛び出し感を抑制することによる立体感の減少を補うことができる。この擬似陰影の視差を０とすることで、違和感なく飛び出し感の強調を行うことができる。

また、擬似陰影の視差を０とすることで、擬似陰影を配置する処理を簡略化し、立体感強調処理の処理速度を早くすることができる。

なお、本実施の形態では、擬似陰影の濃度を変えることでハンチングを目立たないようにしたが、ハンチングを目立たないようにする方法はこれに限らない。例えば、図１２に示すように、視差補正量が０の場合にずらし量Δｓを０とし、視差補正量が所定の値となるまでは視差補正量に比例してずらし量Δｓを大きくし、視差補正量が所定の値以上の場合にはずらし量Δｓを最も大きな値で維持するようにしてもよい。

＜第２の実施の形態＞
本発明の第１の実施の形態は、視差補正処理が行われた対象被写体に対して擬似陰影を付与することにより立体感強調処理を行ったが、立体感強調処理はこれに限られない。

本発明の第２の実施の形態は、背景に対して対象被写体を強調する立体感強調処理を行う形態である。以下、第２の実施の形態の複眼デジタルカメラ２について説明する。第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

複眼デジタルカメラ２の主要な内部構成について説明する。図１３は、複眼デジタルカメラ１の主要な内部構成を示すブロック図である。複眼デジタルカメラ１と複眼デジタルカメラ２との差異は立体感強調処理部１３６Ａのみであるため、視差補正部１３５Ａについてのみ説明する。

立体感強調処理部１３６Ａは、立体感強調処理を行うものであり、視差補正後の対象被写体に対して立体感強調処理を行う。立体感強調処理は、右目用画像、左目用画像のそれぞれに対して行われる。

まず、立体感強調処理部１３６は、図１４に示すように、視差補正処理後の右目用画像又は左目用画像から対象被写体像を抽出し、その輪郭を検出する。輪郭の検出は、公知のさまざまな方法を用いることができる。

そして、立体感強調処理部１３６Ａは、検出した対象被写体像の輪郭の外側（以下、背景という）をぼかす処理（以下、背景コントラスト低減処理という）を行う。

背景のぼかし度合い（以下、ぼけみという）は、図１５に示すような視差補正量とぼけみとの関係に基づいて決定される。図１５に示すように、ぼけみは、視差補正量が所定の値となるまでは視差補正量が大きくなるにつれて大きくなり、視差補正量が所定の値以上の場合には最も大きなぼけみで維持される。

視差補正量が所定の値となるまで、すなわち対象被写体の拡大視差が限界視差近傍の場合は、対象被写体が前後方向に移動することにより視差補正が行われたり行われなかったりすることが考えられる。視差補正が行われたり行われなかったりすると、それに応じて背景コントラスト低減処理が行われたり行われなかったりするため、視差補正量が０の場合にはぼけみを０とし、視差補正量に比例してぼけみを大きくする。これにより、背景コントラスト低減処理が行われたり行われなかったりするのを目立ちにくくすることができる。

それに対し、視差補正量が所定の値以上の場合には、視差補正処理が継続して行われるため、背景コントラスト低減処理が行われたり行われなかったりする事態は発生しない。そのため、ぼけみを大きくし、立体感を強調させる。

次に、複眼デジタルカメラ２の作用について説明する。複眼デジタルカメラ１と複眼デジタルカメラ２との差異はライブビュー画像撮影、表示処理における視差補正処理及び立体感強調処理のみであるため、複眼デジタルカメラ２の作用については、視差補正処理及び立体感強調処理のみについて説明する。

図１６は、ライブビュー画像の撮影、表示処理において、所定のフレームレートで連続的に撮像された各フレーム毎の右目用画像及び左目用画像に対して行われる視差補正処理及び立体感強調処理の流れを示すフローチャートである。この処理はＣＰＵ１１０によって制御される。この撮像処理をＣＰＵ１１０に実行させるためのプログラムはＣＰＵ１１０内のプログラム格納部に記憶されている。図１１と同一の部分については、同一の符号を付し、詳細な説明を省略する。

視差補正部１３５は、右目用画像及び左目用画像から動体を検出する（ステップＳ１０）。視差補正部１３５は、ステップＳ１０で検出された動体に対して各動体毎に拡大視差を求め（ステップＳ１１）、視差補正部１３５内の記憶領域に記憶された限界視差を取得し（ステップＳ１２）、ステップＳ１１で算出された拡大視差とステップＳ１２で算出された限界視差とを比較する（ステップＳ１３）。

視差補正部１３５は、拡大視差が限界視差よりも大きくない動体（ステップＳ１３でＮＯ）については処理を行わず、拡大視差が限界視差よりも大きい動体（ステップＳ１３でＹＥＳ）についてはその動体を対象被写体として抽出し、右目用画像又は左目用画像から対象被写体の画像（以下、対象被写体像）を切り出し（ステップＳ１４）、対象被写体の拡大視差が限界視差となるように、右目用画像又は左目用画像の対象被写体像を切り出した残りの画像に対して対象被写体像を相対的に移動させる（ステップＳ１５）。

立体感強調処理部１３６Ａは、ステップＳ１５で視差補正処理が行われた右目用画像及び左目用画像から対象被写体の画像（対象被写体像）を抽出し、その輪郭を検出する（ステップＳ２４）。

立体感強調処理部１３６Ａは、対象被写体像の輪郭が検出できたか否かを判断する（ステップＳ２５）。対象被写体像の輪郭が検出できなかった場合（ステップＳ２５でＮＯ）には、立体感強調処理部１３６Ａは、背景コントラスト低減処理を行わない。対象被写体像の輪郭が検出できた場合（ステップＳ２５でＹＥＳ）には、立体感強調処理部１３６Ａは、ステップＳ１５で行われた視差補正処理の視差補正量に応じたぼけみで背景をぼかすことにより背景コントラスト低減処理を行う（ステップＳ２６）。

本実施の形態によれば、視差補正後の対象被写体像の背景をぼかすことで、被写体の飛び出し感を抑制することによる立体感の減少を補うことができる。

なお、本実施の形態では、立体感強調処理として、背景をぼかすことにより、背景コントラスト低減処理を行ったが、背景コントラスト低減処理はこれに限られない。例えば、背景の輝度を低下させることにより背景コントラスト低減処理をおこなうようにしてもよい。この場合には、視差補正量が０の場合には輝度の低下量を０とし、視差補正量が所定の値となるまでは視差補正量に比例して輝度の低下量を大きくし、視差補正量が所定の値以上の場合には最も大きな輝度低下量を維持する。これにより、背景コントラスト低減処理が行われたり行われなかったりするのを目立ちにくくすることができる。

また、本実施の形態では、立体感強調処理として立体感強調処理部１３６Ａが背景コントラスト低減処理を行ったが、立体感強調処理として立体感強調処理部１３６Ａ’が第１の実施の形態に記載した擬似陰影追加処理と、背景コントラスト低減処理の両方を行うようにしてもよい。図１７は、立体感強調処理として擬似陰影追加処理と背景コントラスト低減処理の両方を行う場合の視差補正処理及び立体感強調処理の処理の流れを示すフローチャートである。

視差補正部１３５は、右目用画像及び左目用画像から動体を検出し（ステップＳ１０）、ステップＳ１０で検出された動体に対して各動体毎に拡大視差を求め（ステップＳ１１）、視差補正部１３５内の記憶領域に記憶された限界視差を取得し（ステップＳ１２）、ステップＳ１１で算出された拡大視差とステップＳ１２で算出された限界視差とを比較する（ステップＳ１３）。

視差補正部１３５は、拡大視差が限界視差よりも大きくない動体（ステップＳ１３でＮＯ）については処理を行わず、拡大視差が限界視差よりも大きい、すなわち過大視差を有する動体（ステップＳ１３でＹＥＳ）についてはその動体を対象被写体として抽出し、以下の処理を行う。

視差補正部１３５は、右目用画像又は左目用画像から対象被写体の画像（以下、対象被写体像）を切り出し（ステップＳ１４）、対象被写体の拡大視差が限界視差となるように、右目用画像又は左目用画像の対象被写体像を切り出した残りの画像に対して対象被写体像を相対的に移動させる（ステップＳ１５）。

ステップＳ１４、Ｓ１５と平行して、立体感強調処理部１３６Ａ’は、右目用画像及び左目用画像から対象被写体の画像（対象被写体像）を抽出し（ステップＳ１６）、対象被写体像の輝度を０に落として擬似陰影を生成する（ステップＳ１７）。

立体感強調処理部１３６Ａ’は、立体感強調処理部１３６の記憶領域に記憶された濃度と視差補正量との関係を取得し、ステップＳ１５で行われた視差補正処理の視差補正量を取得し、これらに基づいて擬似陰影の濃度を決定し、擬似陰影の濃度を決定された濃度とする（ステップＳ１８）。

立体感強調処理部１３６Ａ’は、ステップＳ１５で視差補正処理が行われた右目用画像及び左目用画像から対象被写体像を抽出してその輪郭を検出し（ステップＳ２４）、ステップＳ２４で対象被写体像の輪郭が検出できたか否かを判断する（ステップＳ２５）。

対象被写体像の輪郭が検出できなかった場合（ステップＳ２５でＮＯ）には、立体感強調処理部１３６Ａ’は、背景コントラスト低減処理を行わない。対象被写体像の輪郭が検出できた場合（ステップＳ２５でＹＥＳ）には、立体感強調処理部１３６Ａ’は、ステップＳ１５で行われた視差補正処理の視差補正量に応じたぼけみで背景をぼかすことにより背景コントラスト低減処理を行う（ステップＳ２６）。

立体感強調処理部１３６Ａ’は、ステップＳ１６〜Ｓ１８で生成された擬似陰影の視差が０となるように、すなわち右目用画像の擬似陰影の位置と、左目用画像の擬似陰影の位置とが一致するように、ステップＳ１７で視差補正処理が行われた後の右目用画像及び左目用画像又はステップＳ２６で背景コントラスト低減処理が行われた後の右目用画像及び左目用画像のそれぞれに擬似陰影を挿入する（ステップＳ１９）。

立体感強調処理部１３６Ａ’は、対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にあるか否かを判断する（ステップＳ２０）。また、立体感強調処理部１３６Ａ’は、対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にない場合（ステップＳ２０でＮＯ）には、対象被写体の中心が視差補正後の右目用画像又は左目用画像の右側にあるか否かを判断する（ステップＳ２１）。

対象被写体の中心が視差補正後の右目用画像又は左目用画像の右側にある場合（ステップＳ２０でＹＥＳ）、及び対象被写体の中心が視差補正後の右目用画像又は左目用画像の右側になく（ステップＳ２０でＮＯ）対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にない場合（ステップＳ２１でＮＯ）、すなわち対象被写体の中心が視差補正後の画像の中心にある場合には、立体感強調処理部１３６Ａ’は、視差補正後の右目用画像に対して、対象被写体像から所定のずらし量Δｓだけ左側にずらした位置にステップＳ１９で挿入された擬似陰影を配置する。それと共に、立体感強調処理部１３６Ａ’は、視差補正後の左目用画像に対して、視差補正後の右目用画像の擬似陰影の配置位置と同じ位置に擬似陰影を配置する（ステップＳ２２）。

対象被写体の中心が視差補正後の右目用画像又は左目用画像の左側にある場合（ステップＳ２１でＹＥＳ）には、立体感強調処理部１３６Ａ’は、視差補正後の左目用画像に対して、対象被写体像から所定のずらし量Δｓだけ右側にずらした位置にステップＳ１９で挿入された擬似陰影を配置する。それと共に、立体感強調処理部１３６Ａ’は、視差補正後の右目用画像に対して、視差補正後の左目用画像の擬似陰影の配置位置と同じ位置に擬似陰影を配置する（ステップＳ２３）。これにより、視差補正後の対象被写体の立体感をより強調することができる。

なお、第１、２の実施の形態では、ライブビュー画像の撮影、表示を例に説明したが、右目用画像及び左目用画像を連続的に取得する場合、例えば動画撮影時にも適用することができる。ライブビュー画像の撮影と動画撮影との差異は、ライブビュー画像の場合には連続的に撮影した右目用画像及び左目用画像を記録しないのに対し、動画撮影の場合には、連続的に撮影した右目用画像及び左目用画像を記録メディア５４に記録する処理を行う点のみが異なる。なお、連続的に撮影した右目用画像データ及び左目用画像データを記録メディア５４に記録する処理は、既に公知であるため説明を省略する。

また、第１、２の実施の形態は、複眼デジタルカメラのモニタ１６に表示させるときの処理を例に説明したが、複眼デジタルカメラ等で撮影された動画を携帯型のパソコンや立体表示が可能なモニタ等の外部の立体表示装置に出力して視聴する場合や、撮影中のライブビュー画像を複眼デジタルカメラに接続された外部の立体表示装置で視聴する場合にも適用可能である。また、メモリカード等の記憶手段に記憶された画像を複眼デジタルカメラや外部の立体表示装置で視聴する場合にも適用可能である。すなわち、本発明は、複眼デジタルカメラ、表示装置などの装置に適用してもよいし、これらの装置にインストールされ、実行されるプログラムにも適用できる。なお、複眼デジタルカメラ等で撮影された動画を携帯型のパソコンや立体表示が可能なモニタ等の立体表示装置に出力して視聴する場合や、撮影中のライブビュー画像を複眼デジタルカメラに接続された外部の立体表示装置で視聴する場合には、外部の立体表示装置に接続したときにモニタ情報（モニタサイズ、モニタ解像度等）を取得し、そのモニタ情報を用いて限界視差を自動設定するようにすればよい。

１：複眼デジタルカメラ、１０：カメラボディ、１１：バリア、１２：右撮像系、１３：左撮像系、１４：フラッシュ、１５：マイク、１６：モニタ、２０：レリーズスイッチ、２１：ズームボタン、２２：モードボタン、２３：視差調整ボタン、２４：２Ｄ／３Ｄ切り替えボタン、２５：ＭＥＮＵ／ＯＫボタン、２６：十字ボタン、２７：ＤＩＳＰ／ＢＡＣＫボタン、１１０：ＣＰＵ、１１２：操作手段、１１４：ＳＤＲＡＭ、１１６：ＶＲＡＭ、１１８：ＡＦ検出回路、１２０：ＡＥ／ＡＷＢ検出手段、１２２、１２３：撮像素子、１２４、１２５：ＣＤＳ／ＡＭＰ、１２６、１２７：Ａ／Ｄ変換器、１２８：画像入力コントローラ、１３０：画像信号処理手段、１３２：圧縮伸張処理手段、１３３：立体画像生成部、１３４：ビデオエンコーダ、１３５：視差補正処理部、１３６、１３６Ａ、１３６Ａ’：立体感強調処理部、１３７：メディアコントローラ、１３８：音入力処理手段、１４０：記録メディア、１４２、１４３：フォーカスレンズ駆動手段、１４４、１４５：ズームレンズ駆動手段、１４６、１４７：絞り駆動手段、１４８、１４９：タイミングジェネレータ（ＴＧ）

Claims (11)

1. 所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得する取得手段と、
   前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示手段と、
   前記左目用画像及び前記右目用画像を前記表示手段に表示させた時に、前記表示手段の表示面から飛び出す方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出する対象被写体抽出手段と、
   前記対象被写体の前記表示手段の表示面から飛び出す方向の視差が前記所定の視差量となるように、前記左目用画像及び前記右目用画像のそれぞれから前記対象被写体の画像（以下、対象被写体像という）を抽出し、前記左目用画像及び前記右目用画像から前記対象被写体像を抽出した残りの画像に対して前記対象被写体像を相対的に移動させることで視差補正を行う視差補正手段と、
   前記視差補正手段により移動された対象被写体像の立体感を強調させる立体感強調処理を前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行う立体感強調処理手段と、
   前記取得手段により取得された左目用画像及び右目用画像又は前記立体感強調処理手段により立体感強調処理が行われた左目用画像及び右目用画像を連続的に前記表示手段に表示させる表示制御手段と、
   を備えたことを特徴とする立体画像表示装置。
2. 前記立体感強調処理手段は、
   前記対象被写体像の輝度を所定値以下にして擬似陰影を生成する擬似陰影生成手段と、
   前記視差補正手段により移動された対象被写体像の背面に前記擬似陰影を合成する擬似陰影合成手段と、
   を有することを特徴とする請求項１に記載の立体画像表示装置。
3. 前記擬似陰影合成手段は、前記擬似陰影の視差がほぼ０となるように、かつ前記擬似陰影を前記対象被写体像から所定のずらし量だけ所定の方向にずらした位置に前記擬似陰影を合成することを特徴とする請求項２に記載の立体画像表示装置。
4. 前記擬似陰影合成手段は、前記視差補正手段により移動された対象被写体像が前記左目用画像又は前記右目用画像の中央より右側にある場合は、前記所定の方向を前記対象被写体像の左側とし、前記視差補正手段により移動された対象被写体像が前記左目用画像又は前記右目用画像の中央より右側にない場合は、前記所定の方向を前記対象被写体像の右側とすることを特徴とする請求項３に記載の立体画像表示装置。
5. 前記擬似陰影生成手段は、前記視差補正手段により前記対象被写体像が相対的に移動された量（以下、視差補正量という）が所定値以下のときは前記擬似陰影の濃度を所定値以下とし、前記視差補正量が大きくなるにつれて前記擬似陰影の濃度を濃くすることを特徴とする請求項２から４のいずれかに記載の立体画像表示装置。
6. 前記立体感強調処理手段は、
   前記対象被写体像の輪郭を検出する輪郭検出手段と、
   前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像の前記対象被写体像の輪郭の外側（以下、背景という）をぼかす又は前記背景の輝度を落とす背景コントラスト低減処理を行う背景コントラスト低減手段と、
   を有することを特徴とする請求項１から５のいずれかに記載の立体画像表示装置。
7. 前記背景コントラスト低減手段は、前記視差補正手段により前記対象被写体像が相対的に移動された量（以下、視差補正量という）が所定値以下のときは前記背景をぼかす度合い又は前記輝度を落とす度合いを所定値以下とし、前記視差補正量が大きくなるにつれて前記背景をぼかす度合い又は前記輝度を落とす度合いを大きくすることを特徴とする請求項６に記載の立体画像表示装置。
8. 前記取得手段により連続して取得された左目用画像及び右目用画像に基づいて動く被写体（以下、動体という）を前記左目用画像及び前記右目用画像のそれぞれから検出する動体検出手段を備え、
   前記対象被写体抽出手段は、前記動体検出手段により検出された動体の中から前記対象被写体を抽出することを特徴とする請求項１から７のいずれかに記載の立体画像表示装置。
9. 請求項１から８のいずれかに記載の立体画像表示装置と、
   前記左目用画像及び前記右目用画像をそれぞれ撮影する撮影手段と、を備え、
   前記取得手段は、前記撮影手段を介して前記左目用画像及び前記右目用画像を所定のフレームレートで連続的に取得することを特徴とする立体画像撮影装置。
10. 所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得するステップと、
    前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示手段と、
    前記左目用画像及び前記右目用画像を立体画像が表示可能な表示手段に表示させた時に、前記表示手段の表示面から飛び出す方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出するステップと、
    前記対象被写体の前記表示手段の表示面から飛び出す方向の視差が前記所定の視差量となるように、前記左目用画像及び前記右目用画像のそれぞれから前記対象被写体の画像（以下、対象被写体像という）を抽出し、前記左目用画像及び前記右目用画像から前記対象被写体像を抽出した残りの画像に対して当該対象被写体像を相対的に移動させることで視差補正を行うステップと、
    前記移動された対象被写体像の立体感を強調させる立体感強調処理を前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行なうステップと、
    前記取得された左目用画像及び右目用画像又は前記立体感強調処理が行われた左目用画像及び右目用画像を連続的に前記表示手段に表示させるステップと、
    を有することを特徴とする立体画像表示方法。
11. 所定のフレームレートで連続的に撮影された左目用画像及び右目用画像を取得するステップと、
    前記左目用画像及び前記右目用画像を立体画像として認識可能に表示させる表示手段と、
    前記左目用画像及び前記右目用画像を立体画像が表示可能な表示手段に表示させた時に、前記表示手段の表示面から飛び出す方向の視差が所定の視差量より大きい被写体（以下、対象被写体という）を前記左目用画像及び前記右目用画像のそれぞれから抽出するステップと、
    前記対象被写体の前記表示手段の表示面から飛び出す方向の視差が前記所定の視差量となるように、前記左目用画像及び前記右目用画像のそれぞれから前記対象被写体の画像（以下、対象被写体像という）を抽出し、前記左目用画像及び前記右目用画像から前記対象被写体像を抽出した残りの画像に対して当該対象被写体像を相対的に移動させることで視差補正を行うステップと、
    前記移動された対象被写体像の立体感を強調させる立体感強調処理を前記視差補正手段により視差補正が行われた後の左目用画像及び右目用画像のそれぞれに対して行なうステップと、
    前記取得された左目用画像及び右目用画像又は前記立体感強調処理が行われた左目用画像及び右目用画像を連続的に前記表示手段に表示させるステップと、
    を演算装置に実行させることを特徴とする立体画像表示プログラム。

Images