JP2012253452A

JP2012253452A - ３ｄ画像撮像装置及びプログラム

Info

Publication number: JP2012253452A
Application number: JP2011122667A
Authority: JP
Inventors: Mitsumasa Adachi; 光将安立
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-05-31
Filing date: 2011-05-31
Publication date: 2012-12-20

Abstract

【課題】光学ズーム倍率変更後も出力される被写体画像の立体感及び出力される画像のアスペクト比を維持する３Ｄ画像撮像装置及びプログラムを提供する。
【解決手段】視差算出部１０２は左右眼撮像データ間の水平方向の視差を算出する。視差調整部１０３は、その視差に基づき左右眼撮像データから抽出する左右眼出力画像データ各々の水平方向の位置を調整し、両出力画像データ間の水平視差を調整する。アスペクト比維持部１０６は、左右眼出力画像データの所定のアスペクト比を維持する。前記視差調整部１０３による水平視差の調整が行われた後に光学ズーム倍率が変更された場合に、前記視差調整部１０３は水平方向の視差がゼロとなっている被写体画像が、倍率の変更後もその視差がゼロとなるよう再度視差を調整し、アスペクト比維持部１０６は左右眼出力画像データの領域サイズを変更して、その倍率の変更後もアスペクト比を維持する。
【選択図】図１

Description

本発明は３Ｄ画像撮像装置及びプログラムに関し、より詳細には光学ズーム倍率が変更されても出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる３Ｄ画像撮像装置及びプログラムに関する。

近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一の表示面上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、表示面上に表示された被写体画像があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。

３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像が表示面上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。

また、左眼用画像及び右眼用画像それぞれが交互に表示面上に表示され、観察者が左眼及び右眼の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式もよく知られている。

これらの３Ｄ画像に関する技術では、観察者から見て３Ｄ画像中の被写体画像が、表示面に対しどの程度前方に飛び出しているように知覚されるか、又は表示面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像における被写体画像と、それに対応する右眼用画像における被写体画像との間の水平方向の視差によって決定される。

そこで、左眼用画像と右眼用画像との間の水平方向の視差を調整しつつ３Ｄ画像を撮像する撮像装置に関する技術の開発が盛んに行われている。例えば、特許文献１には、左眼画像と右眼画像のそれぞれから顔が検出された特定対象の代表座標及びそれら代表座標間の差分ベクトルを算出し、その差分ベクトルに基づいて左眼画像中における特定対象の表示位置及び右眼画像中における特定対象の表示位置を調整して視差量の調整を行うことで、ユーザの位置合わせ操作を必要とせず、且つ少ない演算量で画像の位置合わせを行うことができる立体画像処理装置が記載されている。

また、特許文献２には、複数のレンズを通して得られた複数の画像データに関し、それら複数の画像データのそれぞれから互いの重複範囲の画像データを切り出す画枠を設定する際に、被写体までの距離が所定距離以上のときは所定アスペクト比の横長画枠とし、被写体までの距離が所定距離未満のときは所定アスペクト比の縦長画枠とすることで、近い所の被写体であっても水平方向に視差を有する複数の画像を取得し、立体映像を撮影できる立体撮影装置が記載されている。

特開２０１０−１４７９４０号公報特開２０１０−１４７７８４号公報

上記特許文献１に記載の立体画像処理装置では、メモリ（ＳＤＲＡＭ）からの左眼画像データ及び右眼画像データの読み出し範囲を調整することで、左眼画像と右眼画像との間の視差の調整を行っている。しかし、左眼画像データ及び右眼画像データの水平方向の読み出し範囲を変更した場合は、左右の撮像部のレンズの光軸と、メモリから読み出される左右の画像に対し擬似的に認識される光軸とが不一致となる。

従って、ユーザが撮像中に、視差の調整を行った後、ズームレンズ等を駆動して、視差の調整を行った際の光学ズーム倍率から別の光学ズーム倍率に設定を変更した場合、撮像系のレンズの光軸の位置は変化しないのに、メモリから読み出される左右の画像に対し擬似的に認識される光軸の位置は変化してしまう。

これにより、メモリから読み出される左右の画像対し擬似的に認識される光軸の交わる点、すなわち左右の画像間の視差がゼロとなる輻輳点の位置が、光学ズーム倍率の変更前と変更後とで変化してしまい、出力される被写体画像の立体感が光学ズーム倍率変更前に意図したものとは異なるものへと変化してしまうという問題の発生が推察される。

さらに、上記特許文献１に記載の立体画像処理装置では、メモリに記録された左眼画像データ及び右眼画像データの水平方向に余裕がない場合は、調整のための水平方向の画像データが不足する場合があることが推測される。この場合、出力される３Ｄ画像のアスペクト比は、不足しない場合とは異なったものに変化してしまうという問題の発生も推察される。

また、上記特許文献２に記載の立体撮影装置では、近い所の被写体であっても立体映像として撮影ができるものの、上記特許文献１に記載の立体画像処理装置と同様に、ズームレンズ等を駆動して光学ズーム倍率を変更した場合には、撮像系のレンズの光軸の位置は変化しないのに、メモリから読み出される左右の画像に対し擬似的に認識される光軸の位置は変化してしまう。従って、撮影された被写体画像の立体感は、光学ズーム倍率毎に異なったものとなってしまうという問題の発生が推察される。

さらに、出力画像のアスペクト比が調整されているとはいえ、被写体までの所定距離を境に、横長画枠と縦長画枠とが切り換えられるため、画像の横と縦の長さの比率は、例えは４：３から３：４という様に、変更されてしまう。従って、出力画像の画素数及び大きさは維持されても、縦辺と横辺の比率そのものは維持されないという問題がある。

本発明はこの問題に鑑みてなされたものであり、左眼用画像と右眼用画像との間の視差が調整された後、光学ズーム倍率が変更された場合であっても、光学ズーム倍率が変更される前の出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる３Ｄ画像撮像装置及びプログラムを提供することを目的とする。

前記目的を達成するために、本発明は、第一変倍レンズ（Ｌ１１１）と、その第一変倍レンズ（Ｌ１１１）を光軸に沿って駆動させる第一駆動部（Ｌ１１６）とを有し、第一撮像データを取得する第一撮像部（Ｌ１１０）と、第二変倍レンズ（Ｒ１１１）と、その第二変倍レンズ（Ｒ１１１）を光軸に沿って駆動させる第二駆動部（Ｒ１１５）とを有し、第二撮影画像データを取得する第二撮像部（Ｒ１１０）と、前記第一撮像データと前記第二撮像データとの間の視差を算出する視差算出部（１０２）と、前記視差算出部（１０２）が算出した前記視差に基づき、前記第一撮像データから抽出する第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出する第二出力画像データの水平方向の位置を調整することで、第一出力画像データと第二出力画像データとの間の水平方向の視差を調整する視差調整部（１０２）と、前記第一出力画像データ及び前記第二出力画像データの所定のアスペクト比を維持するアスペクト比維持部（１０６）とを備え、前記視差調整部（１０３）による前記水平方向の視差の調整が行われた後に、前記第一駆動部（Ｌ１１５）により前記第一変倍レンズ（Ｌ１１１）の倍率が変更され、かつ前記第二駆動部（Ｒ１１５）により前記第二変倍レンズ（Ｒ１１１）の倍率が変更された場合に、前記視差調整部（１０３）は前記水平方向の視差の調整によって水平方向の視差がゼロとなっている被写体画像が前記倍率の変更後も水平方向の視差がゼロとなるように前記第一出力画像データの水平方向の位置、及び前記第二出力画像データの水平方向の位置を再度調整し、前記アスペクト比維持部（１０６）は前記第一出力画像データ及び前記第二出力画像データの領域サイズを変更することで、前記倍率の変更後もアスペクト比を維持することを特徴とする３Ｄ画像撮像装置（１）を提供する。

本発明に係る３Ｄ画像撮像装置（１）によれば、左眼用出力画像データと右眼用出力画像データとの間の水平方向の視差が調整された後に、光学ズーム倍率が変更された場合であっても、その水平方向の視差の調整時に視差がゼロとなっていた被写体画像の視差を引続きゼロに維持するとともに出力画像データのアスペクト比を維持することができるので、出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる。

上記３Ｄ画像撮像装置（１）は、上記第一撮像データ及び上記第二撮像データのそれぞれから人物の顔画像データを検出する顔検出部（２０５）をさらに備え、上記視差調整部（１０３）は前記顔検出部（２０５）が検出した顔画像データに基づき、上記第一撮像データから抽出する第一出力画像データの水平方向の位置、及び上記第二撮像データから抽出する第二出力画像データの水平方向の位置を調整することで、第一出力画像データと第二出力画像データとの間の水平方向の視差を調整するようにしてもよい。

これにより、被写体となる人物について、撮像装置１の光学ズーム倍率が変更された後であっても、その人物画像の立体感を維持し、かつ出力される画像のアスペクト比を維持することができる。

また、上記３Ｄ画像撮像装置（１）は、前記第一出力画像データと前記第二出力画像データとの間の水平方向の視差について、ユーザが所望の視差を入力することができる入力手段（３０６）をさらに備え、前記視差調整部（１０３）は前記入力された前記視差に基づき、前記第一撮像データから抽出する第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出する第二出力画像データの水平方向の位置を調整することで、第一出力画像データと第二出力画像データとの間の水平方向の視差を調整するようにしてもよい。

これにより、ユーザが意図した立体感を有する３Ｄ画像を、撮像装置１の光学ズーム倍率が変更された後であっても維持することができ、かつ出力される画像のアスペクト比を維持することができる。

さらに、上述の課題を解決するために、本発明は、第一変倍レンズ（Ｌ１１１）とその第一変倍レンズ（Ｌ１１１）を光軸に沿って駆動させる第一駆動部（Ｌ１１５）とを有する第一撮像部（Ｌ１１０）に第一の撮像データを、第二変倍レンズ（Ｒ１１１）とその第二変倍レンズ（Ｒ１１１）を光軸に沿って駆動させる第二駆動部（Ｒ１１５）とを有する第二撮像部（Ｒ１１０）に第二撮像データをそれぞれ取得させ、前記第一撮像データと前記第二撮像データとの間の視差を算出させ、前記算出させた視差に基づいて、前記第一撮像データから抽出される第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出される第二出力画像データの水平方向の位置を調整させる指示をコンピュータに実行させるプログラムであって、前記第一出力画像データ及び前記第二出力画像データの水平方向の位置を調整した後に、前記第一駆動部（Ｌ１１５）により前記第一変倍レンズ（Ｌ１１１）の倍率が変更され、かつ前記第二駆動部（Ｒ１１５）により前記第二変倍レンズ（Ｒ１１１）の倍率が変更された場合に、その水平方向の位置の調整により水平方向の視差がゼロとなっている被写体画像が前記倍率の変更後も水平方向の視差がゼロとなるように前記第一出力画像データの水平方向の位置、及び前記第二出力画像データの水平方向の位置を再度調整させて、前記第一出力画像データ及び前記第二出力画像データの領域サイズを変更させて、それら倍率の変更後もアスペクト比を維持させることを特徴とするプログラムを提供する。

本発明に係るプログラムによれば、左眼用出力画像データと右眼用出力画像データとの間の水平方向の視差が調整された後に、光学ズーム倍率が変更された場合であっても、その水平方向の視差の調整時に視差がゼロとなっていた被写体画像の視差を引続きゼロに維持するとともに出力画像データのアスペクト比を維持することができるので、出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる。

本発明の３Ｄ画像撮像装置及びプログラムによれば、左眼用画像と右眼用画像との間の視差が調整された後、光学ズーム倍率が変更された場合であっても、光学ズーム倍率が変更される前の出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる。

本発明の実施形態に係る撮像装置１の内部構成の例を示すブロック図である。撮像装置１の備える液晶モニタ３０５の水平方向の切断面を示す図である。観察者が液晶モニタ３０５に表示された左眼用画像及び右眼用画像を３Ｄ画像として認識する模様を説明するための概念図である。左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出しや後方への引き込み等の関係を説明するための概念図である。撮像装置１による撮像の様子を示す模式図である。メインメモリ２０１に一時記憶された左眼用撮像データと左眼用出力画像データ、及び右眼用撮像データと右眼用出力画像データについて説明するための概念図である。ユーザが左眼用出力画像データ及び右眼用出力画像データのアスペクト比を選択する際の、液晶モニタ３０４の表示を示す模式図である。視差算出部１０２による視差の算出処理について説明するための図である。視差調整部１０３による水平方向の視差の調整について説明するための図である。視差調整部１０３による水平方向の視差調整の結果について説明するための図である。視差調整部１０３により視差調整が行われた後の左眼用出力画像と右眼用出力画像、及び左眼用撮像部の光軸と右眼用撮像部の光軸との関係を示す概念図である。視差がゼロとなるように視差調整を行った被写体画像が光学ズームにより拡大された場合の撮像データについて説明するための図である。視差調整が行われた後に光学ズーム倍率が変更された場合に、そのズーム倍率の変更に追従した視差調整について説明するための図である。視差調整が行われた後に光学ズーム倍率が変更された場合に、そのズーム倍率の変更に追従した視差調整の結果について説明するための図である。この光学ズーム倍率の変更に追従した視差調整において生じる撮像データの不足の問題について説明するための図である。この光学ズーム倍率の変更に追従した視差調整において生じる撮像データの不足について説明するための図である。視差調整が行われた後に光学ズーム倍率が変更された場合に、そのズーム倍率の変更に追従した視差調整により変更されるアスペクト比について説明するための図である。アスペクト比維持部１０７が出力画像データの領域サイズを決定する処理について説明するための図である。アスペクト比維持部１０７が出力画像データの領域サイズを決定する処理の結果について説明するための図である。撮像装置１による、左眼用画像と右眼用画像との間の視差が調整された後に光学ズーム倍率が変更された場合の、被写体画像の立体感及び画像のアスペクト比を維持する処理を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施形態に係る３Ｄ画像撮像装置（デジタルビデオカメラ）１（以下、単に「撮像装置１」という。）の内部構成の例を示すブロック図である。

なお、説明及び理解の容易のため、本実施形態に係る撮像装置１は、左眼用の撮像部及び右眼用の撮像部の二つの撮像部を有しており両撮像部の光軸が平行となるように固定され、両光軸のなす輻輳角を調整しないものとして以下を説明する。一方で、両撮像部を駆動し、両光軸のなす輻輳角を調整できる撮像装置においても本発明は採用できる。

また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、複数の撮像部を有し３Ｄ画像の撮像が可能なその他の電子機器においても採用することができる。

中央制御部１００は、ＣＰＵ（Central Processing Unit）、各種プログラムが格納されたＲＯＭ（Read Only Memory）、及びワークエリアとしてのＲＡＭ（Random Access Memory）等を含む半導体集積回路により構成され、撮像装置１の撮像処理、画像データの出力処理、又は表示処理等の各種処理を統括的に制御する。

撮像装置１には、左右一対の左眼用撮像部Ｌ１１０及び右眼用撮像部Ｒ１１０が、人間の両眼の間隔より少し短い所定の間隔（例えば６ｃｍ）離れて設置されている。

左眼用撮像部Ｌ１１０及び右眼用撮像部Ｒ１１０は、それぞれズームレンズＬ１１１及びＲ１１１、絞りＬ１１２及びＲ１１２、フォーカスレンズＬ１１３及びＲ１１３、並びに固体撮像素子Ｌ１１４及びＲ１１４を備える。

ズームレンズＬ１１１及びＲ１１１は、それぞれズームアクチュエータＬ１１５及びＲ１１５によって光軸ＡＬ及びＡＲに沿って移動する。フォーカスレンズＬ１１３及びＲ１１３は、図示しないフォーカスアクチュエータによって、同じく光軸ＡＬ及びＡＲに沿って移動する。絞りＬ１１２及びＲ１１２は、図示しない絞りアクチュエータに駆動されて動作する。

撮像装置１を用いた３Ｄ画像の撮像は以下のような手順で行われる。左眼用固体撮像素子Ｌ１１４及び右眼用固体撮像素子Ｒ１１４がそれぞれ、左眼用撮像部Ｌ１１０と右眼用撮像部Ｒ１１０に入来した光を光電変換して、左右それぞれの被写体画像のアナログ撮像信号を生成する。

アナログ信号処理部Ｌ１１６及びＲ１１６が、生成された左右それぞれの被写体画像のアナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１１７及びＲ１１７がそれら増幅されたアナログ撮像信号をデジタルの撮像データに変換する。

画像入力コントローラＬ１１８及びＲ１１８は、Ａ／Ｄ変換機Ｌ１１７及びＲ１１７から出力されたデジタルの撮像データを取り込み、それらの撮像データはバス２００に入力され、バス２００を介してメインメモリ２０１に一時記憶される。

デジタル信号処理部Ｌ１１９及びＲ１１９は、中央制御部１００の指示に基づき、メインメモリ２０１に格納されたデジタルの撮像データを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部Ｌ１１９及びＲ１１９はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

メインメモリ２０１は、上述の３Ｄ画像の撮像で生成された左眼用撮像データ及び右眼用撮像データを一時記憶する。メインメモリ２０１は、例えばＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable PROM）、不揮発性ＲＡＭ、フラッシュメモリ、又はＨＤＤ（Hard Disk Drive）等の記憶媒体で構成される。

また、バス２００を介して、フラッシュＲＯＭ２０２、表示画像用メモリ２０３、画像処理部２０４、顔検出部２０５、及び圧縮・伸張処理部２０６が中央制御部１００等と接続され、それぞれが以下に説明する機能を果たす。

フラッシュＲＯＭ２０２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。例えば、撮像装置１は、左眼用画像と右眼用画像との間の視差調整に関する自動調整の設定内容や、カードＩ／Ｆ３０２や入出力Ｉ／Ｆ３０４に出力される左眼用出力画像データ及び右眼用出力画像データのアスペクト比に関するユーザの設定内容等を設定情報として格納している。

画像表示用メモリ２０３はＶＲＡＭ（Video RAM）で構成され、液晶モニタ３０４等に表示される出力画像データやユーザが各種設定を行うためのメニュー画像データ等の各種画像データの一時記憶領域として使用される。

画像処理部２０４は、メインメモリ２０１から読み出したデジタルの撮像データに所定の画像処理を施す。例えば、画像処理部２０４は、出力される左眼用出力画像データ及び右眼用出力画像データのアスペクト比をユーザが選択したり、又は設定したりするための選択画像データやメニュー画像データを生成する。

そして、画像処理部２０４は、それら選択画像データ等をメインメモリ２０１から読み出されたオリジナルの撮像データに重畳させる等の画像処理を行う。これらの画像処理に係る画像データは画像表示用メモリ２０３に一時記憶された後、入出力Ｉ／Ｆ３０４を介して液晶モニタ３０６や入出力端子３０７に出力されることになる。

顔検出部２０５は、中央制御部１００からの指示に応じて、メインメモリ２０１に一時記憶された左眼用撮像データ及び右眼用撮像データから、被写体である人物の顔画像データを検出する。顔画像データの検出は、既知の方法により顔画像データ全体の輪郭または目、口、鼻、耳等の顔の構成要素のデータから特徴量を算出し、その特徴量に基づくテンプレートマッチングによって行われる。または、肌の色に近い領域データを検出し、その領域を顔画像データの領域として検出してもよい。検出された顔画像データは、後述する左眼用撮像データと右眼用撮像データとの間の視差の自動調整の処理に利用される。

圧縮・伸張処理部２０６は、中央制御部１００の指示を受けて、メインメモリ２０１に記憶された各種データに所定形式の圧縮処理を施し、圧縮データを生成する。また、中央制御部１００の指示を受けて、カード型記録媒体３０３等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置１では、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

メディア制御部３０１、カードＩ／Ｆ３０２、及び入出力Ｉ／Ｆ３０４もバス２００を介して中央制御部１００と接続され、以下の機能を果たす。

メディア制御部３０１は、中央制御部１００の指示を受けて、カードＩ／Ｆ３０２を介してカード型記録媒体３０３へのデータの書き込みやカード型記録媒体３０３からのデータの読み出しを制御する。中央制御部１００の指示に基づき、各種データがバス２００を介してカードＩ／Ｆ３０２に入力され、カードＩ／Ｆ３０２はそれらのデータをカード型記録媒体３０３に出力する。

カード型記録媒体３０３としては、撮像装置１に着脱可能なＳＤ（Secure Digital）メモリカード等が使用される。但し、これはあくまで例示であり、カード型記録媒体３０３の替りに、ＤＶＤ、ＢＤ（Blu-ray Disc）、若しくはフラッシュメモリ等の他の記録媒体を使用する、又は撮像装置１に内蔵されたＨＤＤ（Hard Disc Drive）等で構成することができることはいうまでもない。

また、各種データは、中央制御部１００の指示を受けて、入出力Ｉ／Ｆ３０４に入力され、入出力Ｉ／Ｆ３０４はそれらのデータを液晶モニタ３０５又は入出力端子３０７に出力する。入出力Ｉ／Ｆ３０４には、液晶モニタ３０５、操作部３０６、及び入出力端子３０７が接続されている。ここで、液晶モニタ３０５は３Ｄ画像を表示し、観察者は表示された３Ｄ画像を裸眼にて観察できる態様となっている。

図２は、この液晶モニタ３０５の水平方向の切断面を示す図である。

液晶モニタ３０５は、表示パネルの一例としての液晶パネルＭ２１と、液晶パネルＭ２１の表示面に対向して配置された視差分割部の一例としての液晶バリアＭ２３とを備える。液晶パネルＭ２１と液晶バリアＭ２３は、粘着シートＭ２２により接着されている。

液晶パネルＭ２１において、液晶層Ｍ２１２の両面は液晶ガラス基板Ｍ２１１及びＭ２１３で挟まれ、表示面側の液晶ガラス基板Ｍ２１３にはカラーフィルタ（図示せず）が形成されている。

カラーフィルタの主表面には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の異なる色の着色層がマトリックス状に配置されている。この着色層の配置が液晶パネルＭ２１の色画素の配置に対応している。液晶ガラス基板Ｍ２１３の表示面側には液晶偏光板Ｍ２１４が積層されている。液晶ガラス基板Ｍ２１１の裏面側にはバックライト（図示せず）が配置されている。

液晶バリアＭ２３は、視差バリア（パララックスバリア）の一例であって、パッシブ方式液晶やアクティブマトリックス方式液晶によって光を遮断するバリア部のパターンを形成することができる。

液晶バリアＭ２３において、バリア液晶層Ｍ２３２の両面は液晶バリアガラス基板Ｍ２３１及びＭ２３３で挟まれている。液晶バリアガラス基板Ｍ２３３の表示面側には液晶バリア偏光板Ｍ２３４が積層されている。バリア液晶層Ｍ２３２には、光を遮断するバリア部Ｍ２３２ａと光を透過するスリット部Ｍ２３２ｂとが交互に形成されている。

次に図３を参照して、観察者による液晶モニタ３０５に表示された３Ｄ画像の観察について説明する。図３は、観察者が液晶モニタ３０５に表示された左眼用画像及び右眼用画像を３Ｄ画像として認識する模様を説明するための概念図である。

図３に示すように、観察者の右眼ＲＥ３０からスリット部Ｍ２３２ｂを通じて視認される液晶パネルＭ２１の右眼用色画素領域ＲＦは、観察者の左眼ＬＥ３０からはバリア部Ｍ２３２ａによって遮蔽されて視認することができない。一方、観察者の左眼ＬＥ３０からスリット部Ｍ２３２ｂを通じて視認される液晶パネルＭ２１の左眼用色画素領域ＬＦは、観察者の右眼ＲＥ３０からはバリア部Ｍ２３２ａによって遮蔽されて視認することができない。

このように、液晶バリアＭ２３は、液晶パネルＭ２１の色画素領域を、右眼ＲＥ３０の視線が届き、左眼ＬＥ３０の視線が届かない右眼用色画素領域ＲＦと、左眼ＬＥ３０の視線が届き、右眼ＲＥ３０の視線が届かない左眼用色画素領域ＬＦとに分ける。これにより、水平方向に並ぶ観察者の右眼ＲＥ３０及び左眼ＬＥ３０の位置から異なる画像を見ることができる。

すなわち、液晶パネルＭ２１の画像を複数の視点方向に分割し、視認される画像を観察位置によって変化させることにより、観察者は液晶モニタ３０５に表示される左眼用画像及び右眼用画像を３Ｄ画像として認識することができる。

なお、３Ｄ画像の表示のための液晶モニタ３０５の構造として、上述の通り視差バリア方式を用いた例を説明したが、他の方式、例えばレンチキュラ方式や光方向制御方式等を採用することもできる。また、液晶モニタ３０５は、ユーザが操作部３０６の図示しない操作ボタンにより、液晶バリアをＯＮ／ＯＦＦすることで、各種画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左眼用画像及び右眼用画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。

操作部３０６は、図示しないリレーズ・スイッチや電源スイッチを含む各種操作ボタン、十字キー、ジョイスティック、又は液晶モニタ３０５上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。ユーザは操作部３０６の各種操作ボタン等を使用して、撮像装置１による撮像処理、各種設定、又はズームアクチュエータＬ１１６及びＲ１１６を駆動して、撮像画像の光学ズーム倍率の変更を実行する。

図１の説明に戻り、入出力端子３０７は、図示しない外部ディスプレイ装置やＰＣ（Personal Computer）等の外部装置に接続される。入出力端子３０７は、例えばＨＤＭＩ（High-Definition Multimedia Interface）端子、ＵＳＢ（Universal Serial Bus）端子、ＩＥＥＥ１３９４規格に準拠した各種入力端子等で構成される。
後述する処理により左眼用撮像データから抽出された左眼用出力画像データ及び右眼用撮像データから抽出された右眼用出力画像データ等は、入出力端子３０７を介して、外部ディスプレイ装置等に出力される。

ここで、図４を参照して、上述の液晶モニタ３０５、又は入出力端子３０７に接続された外部ディスプレイ装置に表示される左眼用画像中の被写体画像と、それに対応する右眼用画像中の被写体画像との間の視差と、その被写体画像の飛び出しや引き込みの度合い等を説明する。

図４は左眼用画像中の被写体画像と右眼用画像中の被写体画像との間の視差と、その被写体画像の表示面に対する前方への飛び出しや後方への引き込み等の関係を説明するための概念図である。

図４において、左眼用画像データ及び右眼用画像データが表示される液晶モニタ３０７等の表示面をＤＰ４０、観察者の左眼をＬＥ４０、観察者の右眼をＲＥ４０、観察者の左眼ＬＥ４０と右眼ＲＥ４０との間隔をＥ、及び観察者と表示面ＤＰ４０との間の距離をＤとする。

（前方へ飛び出しているかのように知覚される場合）
図４（ａ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像の位置をＬ_f、右眼用画像中の被写体画像の位置をＲ_fとすると、観察者が左眼ＬＥ４０でＬ_f、右眼ＲＥ４０でＲ_fを観察した場合、被写体画像はＰ_fの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０に対して前方に飛び出しているかのように知覚されることになる。

ここで、像Ｌ_fとＲ_fの水平方向の視差をＶ_fとすると、表示面ＤＰ４０から結像位置Ｐ_fまでの距離Ｚ_fは以下の式（１）の通りとなる。

Ｚ_f＝Ｄ・Ｖ_f／（Ｅ＋Ｖ_f）・・・（１）

上記式（１）からわかる通り、像Ｌ_fとＲ_fの水平方向の視差をＶ_fが大きくなるほど、表示面ＤＰ４０から結像位置までの距離Ｚ_fは大きくなり、観察者から見て、被写体画像が表示面ＤＰ４０に対して前方に飛び出しているかのように知覚される度合いも大きくなる。

（表示面上にあるかのように知覚される場合）
図４（ｂ）において、表示面ＤＰ４０上の左眼用画像中の被写体の位置と、右眼用画像中の被写体の位置が同一となった場合、被写体画像は表示面Ｄ４０上のＰ_cの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０上にあるかのように知覚されることになる。

（後方へ引き込んでいるかのように知覚される場合）
図４（ｃ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像の位置をＬ_b、右眼用画像中の被写体画像の位置をＲ_bとすると、観察者が左眼ＬＥ４０でＬ_b、右眼ＲＥ４０でＲ_bを観察した場合、被写体はＰ_bの位置で結像する。これにより観察者からは被写体画像が表示面ＤＰ４０に対して後方に引き込んでいるかのように知覚されることになる。

ここで、観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離をＥ、像Ｌ_fとＲ_fの水平方向の視差をＶ_bとすると、表示面ＤＰ４０から結像位置Ｐ_bまでの距離Ｚ_bは以下の式（２）の通りとなる。

Ｚ_b＝Ｄ・Ｖ_b／（Ｅ−Ｖ_b）・・・（２）

上記式（２）からもわかる通り、像Ｌ_bとＲ_bの水平方向の視差をＶ_bが大きくなるほど、表示面ＤＰ４０から結像位置までの距離Ｚ_bは大きくなり、観察者から見て被写体画像が表示面ＤＰ４０に対して後方に引き込んでいるかのように知覚される度合いも大きくなる。

以上のように、３Ｄ画像の表示においては、左眼用画像中の被写体画像と、それに対応する右眼用画像中の被写体画像との間の水平方向の視差の大きさに応じて、その被写体が表示面に対し飛び出しているように知覚されるのか、表示面上にあるかのように知覚されるのか、又は後方に引き込んでいるかのように知覚されるのかの別、及び飛び出しているように知覚される場合における飛び出しの度合い、又は引き込んでいるかのように知覚される場合の引き込みの度合いが決定される。

図１の説明に戻り、中央制御部１００は、撮像処理等の統括制御の他に、出力画像領域決定部１０１、視差算出部１０２、視差調整部１０３、撮像情報記録部１０４、アスペクト比判定部１０５、及びアスペクト比保持部１０６としても機能する。以下にそれぞれの機能について詳述する。

出力画像領域決定部１０１は、メインメモリ２０１に記録された左眼用撮像データ及び右眼用撮像データから、カードＩ／Ｆ３０２又は入出力Ｉ／Ｆ３０４への出力のために抽出される出力画像データの領域、すなわちアスペクト比、領域サイズ、及びそれぞれの撮像データ中における位置、を決定する。

図５及び図６を参照して、この出力画像領域決定部１０１による出力画像データのアスペクト比、領域サイズ、及び位置の決定の処理について説明する。図５は撮像装置１による撮像の様子を示す模式図である。図６は、メインメモリ２０１に一時記憶された左眼用撮像データとそこから抽出される左眼用出力画像データ、及び右眼用撮像データとそこから抽出される右眼用出力画像データについて説明するための概念図である。

図５の模式図に示すように左眼用撮像部Ｌ１１０により被写体５０を含む画角ＶＬ５０内の人物や各種風景等が撮像画像として撮像され、右眼用撮像部Ｒ１１０により被写体５０を含む画角ＶＲ５０内の人物や各種風景等が撮像画像として撮像される。

そして図６に示すように、左眼用撮像部Ｌ１１０の画角ＶＬ５０内の撮像画像に係る左眼用撮像データＬＩ０１、及び右眼用撮像部Ｒ１１０の画角ＶＲ５０内の撮像画像に係る右眼用撮像データＲＩ０１が、メインメモリ２０１に一時記憶される。

上述の通り、左眼用撮像部Ｌ１１０と右眼用撮像部Ｒ１１０とは水平方向に所定の間隔（例えば６ｃｍ）離れて設置されているため、左眼用撮像データＬＩ０１と右眼用撮像データＲＩ０１とは水平方向にずれる、すなわち水平方向の視差を有することになる。

例えば、図５に示すように、被写体５０については、左眼用撮像部Ｌ１１０の光軸ＡＬに対してはやや右側に、右眼用撮像部Ｒ１１０の光軸ＡＲに対してはやや左側に位置するところで撮像されている。従って、図６に示すように左眼用撮像データＬＩ０１では被写体５０の被写体画像データＬＯＧ５０は中心より右側に、右眼用撮像データＲＩ０１では被写体画像データＲＯＧ５０は中心より左側に位置することになる。

そして、出力画像領域決定部１０１は、左眼用撮像データＬＩ０１の中から抽出される左眼用出力画像データＬＯ０１のアスペクト比、領域サイズ、及び位置を決定し、右眼用撮像データＲＩ０１の中から抽出される右眼用出力画像データＲＯ０１のアスペクト比、領域サイズ、及び位置を決定する。

左眼用出力画像データＬＯ０１及び右眼用出力画像データＲＯ０１のアスペクト比は、操作部３０６の図示しない操作ボタン等を使用してユーザが設定することができる。

以下に、図７を参照して、左眼用出力画像データ及び右眼用出力画像データのアスペクト比の設定について説明する。図７は、ユーザが左眼用出力画像データ及び右眼用出力画像データを選択する際の、液晶モニタ３０４の表示を示す模式図である。

画像処理部２０４が、ユーザに出力画像データのアスペクト比の選択を促す画像Ｇ４１、出力画像のアスペクト比が１６：９である旨を表示する画像Ｇ４２,出力画像のアスペクト比が４：３である旨を表示する画像Ｇ４３、出力画像のアスペクト比が３：２である旨の表示をする画像Ｇ４４、画像Ｇ４２からＧ４４の選択を示すチェックボックス画像Ｇ４５からＧ４７が合成されたアスペクト比の設定画像Ｇ４０を生成し、液晶モニタ３０４に表示する。

ユーザは設定画面Ｇ４０に表示されたもの中から所望のアスペクト比を選択して、出力画像データのアスペクト比を設定する。ユーザは操作部３０６の図示しないタッチパネルを押圧する、又は図示しない十字キーと操作ボタンを操作する等して、チェックボックス画像Ｇ４５からＧ４７のいずれかを特定して、この選択を行う。

特定されたチェックボックス画像には、それが選択されたことを示すチェック画像Ｇ４８を重畳され、チェックされていないチェックボックス画像との区別がなされる。図７では、ユーザが出力画像データのアスペクト比として縦と横の比が１６：９のものを選択した場合の態様が表されている。ユーザが操作部３０７の図示しない操作ボタン等を使用して、選択内容を決定すると、アスペクト比の設定が完了する。

なお、上述の図７及びその説明は、あくまでも一例であり、例えばユーザが操作部３０６の図示しない操作ボタン等を使用して、直接好みのアスペクト比を入力し、設定できるようにしてもよい。

図６の説明に戻り、上述のようにして設定されたアスペクト比及び別途ユーザが操作し設定する電子的なズーム倍率に応じて、左眼用出力画像データの領域の横辺Ｌｈ１及び縦辺Ｌｖ１、並びに右眼用出力画像データの領域の横辺Ｒｈ１及び縦辺Ｒｖ１が決定され、各出力画像データの領域サイズが決定される。

左眼用撮像データＬＩ０１内から抽出される左眼用出力画像データＬＯ０１の位置、及び右眼用撮像データＲＩ０１内から抽出される右眼用出力画像データＲＯ０１の位置として、後述する視差調整の処理を行わない場合は、中央制御部１００のＲＯＭに記憶されている、例えば電子的な手ぶれ補正等を考慮した所定の位置が使用され、後述する視差調整の処理を行った場合は、その処理によって導出された位置が使用される。

図１の中央制御部１００の説明に戻り、視差算出部１０２は、以下のようにして左眼用撮像データと右眼用撮像データとの間の水平方向の視差を算出する。

視差算出部１０２は、メインメモリ２０１に一時記憶された左眼用撮像データ及び右眼用撮像データから、両画像データにおける各被写体画像データ間の水平方向の視差（以下、単に「視差」ということもある。）を算出する。

視差算出部１０２による視差の算出は既知の様々な方法で行うことができるが、例えばＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した方法により、左眼用撮像データの各被写体画像データと右眼用撮像データの各被写体画像データの差分ベクトルを算出する方法を使用する。

動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。

視差算出部１０２は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮像データ及び右眼用撮像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、相互に対応する画素ブロックを左眼用撮像データ及び右眼用撮像データのそれぞれから抽出し、それらの差分ベクトルを左眼用撮像データ及び右眼用像データにおける被写体画像データの視差として算出する。

以下に図８を参照して、視差算出部１０２による視差の算出処理について説明する。図８は、視差算出部１０２による左眼用撮像データＬＩ０１と右眼用撮像データＲＩ０１との間の水平方向の視差の算出の一例として、顔検出部２０５が顔画像データを検出した被写体画像データの水平方向の視差の算出について説明するための概念図である。

まず、顔検出部２０５が、上述の方法により左眼用撮像データＬＯ０１中の被写体画像データＬＯＧ５０から顔画像データの領域ＬＦＡ７０、及び右眼用撮像データＲＯ０１中の被写体画像データＲＯＧ５０から顔画像データの領域ＲＦＡ７０を検出する。

そして、視差算出部１０２は、左眼用撮像データＬＩ０１中の顔画像データの領域ＬＦＡ７０から基準となる画素ブロック（以下、「基準画素ブロック」という。）ＬＰ７０を特定し、右眼用撮像データＲＭＥ６中の顔画像データの領域ＲＦＡ７０から基準画素ブロックＬＰ７０に対応する画素ブロック（以下、「対応画素ブロック」という。）ＲＰ７０を特定する。

そして、基準画素ブロックＬＰ７０と対応画素ブロックＲＰ７０との間の水平方向の差分ベクトルＶ０１を算出する。以上のように、特定の被写体画像について左眼用画像データと右眼用画像データとの間の視差を算出することで、特定の被写体画像を中心とした視差調整の処理が可能となる。

また、視差算出部１０２は、左眼用撮像データ及び右眼用撮像データのそれぞれを複数の領域に分け（例えば、横方向に８分割し縦方向にも８分割した、計６４領域に分ける。）、左眼用撮像データの各領域から基準画素ブロックを特定し、右眼用撮像データの各領域から対応画素ブロックを特定して、各領域毎に水平方向の視差を算出することもできる。このようにすることで、特定の被写体だけでなく、左眼用撮像データ及び右眼用撮像データの全体的な視差を算出することができる。

図１の中央制御部１００の説明に戻り、視差調整部１０３は、以下のようにして、視差算出部１０２が算出した水平方向の視差に基づき、表示される左眼用画像と右眼用画像との間の水平方向の視差を調整する。

上述のようにして視差算出部１０２が、左眼用撮像データと右眼用撮像データとの間の水平方向の視差を算出すると、視差調整部１０３が、算出された視差に基づき、左眼用撮像データから抽出される左眼用出力画像データ及び右眼用撮像データから抽出される右眼用出力画像データの位置を水平方向にシフトさせることで表示される左眼用画像と右眼用画像との間の視差を調整する。

以下に、図９を参照して、視差調整部１０３による水平方向の視差の調整について説明する。図９は、視差調整部１０３による水平方向の視差の調整の例として、顔検出部２０５が顔画像データを検出した左眼用撮像データ中の被写体画像データＬＯＧ５０と右眼用撮像データ中の被写体画像データＲＯＧ５０との間の水平方向の視差をゼロにする視差調整について説明するための概念図である。

図９に示すように、視差算出部１０２は、左眼用撮像データＬＩ０１中の基準ブロックＬＰ７０と右眼用撮像データＲＩ０１中の対応ブロックＲＰ７０との間の差分ベクトルＶ０１を視差として算出している。

視差調整部１０３は、算出された差分ベクトルＶ０１の向きと大きさから左眼用出力画像データ及び右眼用出力画像データをシフトさせる向きと大きさを決定する。

すなわち、視差調整部１０３は、左眼用撮像データＬＩ０１では、視差調整前の左眼用出力画像データＬＯ０１（図９中では破線で示した領域）を、差分ベクトルＶ０１と反対の向きに、差分ベクトルＶ０１の大きさの１／２の大きさのＬＳ１だけ位置をシフトさせた領域を新たな出力画像領域ＬＯ０２とする。

また、視差調整部１０３は、右眼用撮像データＲＩ０１では、視差調整前の出力画像データＲＯ０１（図９中では破線で示した領域）を、差分ベクトルＶ０１の向きに、差分ベクトルＶ０１の大きさの１／２の大きさのＲＳ１だけ位置をシフトさせた領域を新たな出力画像領域ＲＯＥ６２とする。

以上のように視差調整部１０３は、左眼用撮像データから抽出される左眼用出力画像データ及び右眼用撮像データから抽出される右眼用出力画像データの位置を水平方向にシフトさせ、新たな出力画像データの位置を決定することで、水平方向の視差を調整する。図９では、この視差調整により、左眼用出力画像データＬＯ０２中の被写体画像データＬＯＧ５０と右眼用出力画像データＲＯ０２中の被写体画像データＲＯＧ５０との間の視差がゼロとなる。

図１０に、顔検出部２０５が顔画像データを検出した左眼用撮像データ中の被写体画像データＬＯＧ５０と右眼用撮像データ中の被写体画像データＲＯＧ５０との間の水平方向の視差をゼロに調整した後の左眼用出力画像データＬＯ０２と右眼用出力画像データＲＯ０２とを示す。

図１０に示したように、左眼用出力画像データＬＯ０２における基準画素ブロックＬＰ７０と右眼用出力画像データＲＯ０２における対応画素ブロックＲＰ７０との視差はゼロとなる。これらの出力画像データが出力され、液晶モニタ３０４等にこれらの画像データに係る画像が表示されると、被写体５０の被写体画像は丁度モニタ上にあるかのように、観察者に知覚されることになる。

なお、図９では、被写体画像が表示面に対して飛び出しているかのように知覚される際に、その被写体画像を丁度表示面上にあるかのように知覚されるように視差を調整する場合について示している。逆に、被写体画像が表示面に対して引き込んでいるかのように知覚される際に、その被写体画像を丁度表示面上にあるかのように知覚されるように視差を調整する場合については、左眼用出力画像データを差分ベクトルの向きに、右眼用出力画像データを差分ベクトルの向きと反対の向きにシフトさせることになる。

また、撮像装置１では、ユーザが操作部３０７の図示しない操作ボタン等を使用して、左眼用出力画像データ及び右眼用撮像画像データをシフトさせる向きと大きさを変更して、視差を調整することができる。

すなわち、液晶モニタ３０５上に設けた図示しないタッチパネル上にプラスとマイナスのボタンをそれぞれ設け、ユーザがプラスボタンを押圧すると、抽出される左眼用出力画像データを左眼用撮像データ内の左方向に、抽出される右眼用出力画像データを右眼用撮像データ内の右方向にシフトさせ、ユーザがマイナスボタンと押圧すると、左眼用出力画像データを左眼用撮像データ内の右方向に、右眼用出力画像データを右眼用撮像データ内の左方向にシフトさせ、それぞれ押圧された回数又は時間に応じてシフトの大きさを変化させることができる。これによりユーザが、液晶モニタ３０５に表示された３Ｄ画像を好みの視差に調整することができる。

さらに、視差調整部１０３は、顔検出部２０５が顔画像データを検出した場合に、その顔画像データを有する被写体画像の視差がゼロとなるようにする、又は左眼用撮像データ及び右眼用撮像データそれぞれについて複数の領域毎に算出された視差のうち、所定の大きさを上回る視差を有する領域を所定の大きさの視差とするようにする、等の自動調整を行うこともできる。

図１の中央制御部１００の説明に戻り、視差調整部１０３が視差の調整を行うと、撮像情報記録部１０４は調整された視差に関する情報及びその視差調整を行った際の光学ズーム倍率を撮像情報としてメインメモリ２０１に記録する。

調整された視差に関する情報としては、視差調整後の左眼用撮像データから抽出される左眼用出力画像データのアスペクト比、領域サイズ、及び位置、並びに右眼用撮像データから抽出される右眼用出力画像データのアスペクト比、領域サイズ、及び位置が記録される。ズーム倍率としては、ズームレンズＬ１１２及びＲ１１２による光学ズーム倍率がメインメモリ２０１に記録される。

視差調整部１０３はまた、上述の視差調整を行った後、光学ズーム倍率が変更された場合に、上記撮像情報記録部１０５が記録した撮像情報に基づき、その光学ズーム倍率の変更に応じた視差の調整を行う。

この光学ズーム倍率の変更に応じた視差の調整について説明する前に、視差調整部１０２が左眼用画像と右眼用画像の視差の調整を行った後、光学ズーム倍率が変更された場合の問題について図１１及び図１２を参照して以下に説明する。

図１１は、視差調整部１０３により視差調整が行われた後の左眼用出力画像データと右眼用出力画像データ、及び左眼用撮像部Ｌ１１０の光軸ＡＬと右眼用撮像部Ｒ１１０の光軸ＡＲとの関係を示す概念図である。図１１は、視差調整部１０２が左眼用撮像データＬＯ０１の基準画素ブロックＬＰ７０と右眼用撮像データＲＯ０１の対応画素ブロックＲＰ７０との間の視差がゼロとなるように、抽出される左眼用出力画像データＬＩ０２及び右眼用出力画像データＲＩ０２の位置を決定したところが示されている。

左眼用出力画像データＬＯ０２と右眼用出力画像データＲＯ０２とが図１１の状態にあるとき、左眼用出力画像データＬＯ０２中の基準画素ブロックＬＰ７０と、右眼用出力画像データＲＯ０２中の基準画素ブロックＲＰ７０とは液晶モニタ３０５等上に表示される３Ｄ画像中で一致しており、これら二つの点が重なる位置で視差がゼロとなっている。以下では、この視差がゼロになる位置を輻輳位置と呼ぶこととする。

左眼用出力画像データＬＯ０２及び右眼用出力画像データＲＯ０２が出力され、両出力画像データに係る画像がそれぞれ液晶モニタ３０４等に表示されると、それらの画像を観察する観察者からは、この輻輳位置を通り、両画像の垂直方向の辺に平行な線分上に、光軸が存在するかのように擬似的に認識する。

一方で、ズームアクチュエータＬ１１６及びＲ１１６を駆動して、光学ズーム倍率を変更すると、メインメモリ２０１に一時記憶された左眼用撮像データＬＩ０１の中心ＡＬ１０及び右眼用撮像データＲＩ０１の中心ＡＲ１０を中心として倍率が変更されることになる。左眼用撮像部Ｌ１１０の光軸ＡＬ１がＡＬ１０の位置に、右眼用撮像部Ｒ１１０の光軸ＡＲがＡＲ１０の位置に結像するためである。

以上のように、左眼用撮像データＬＭＥ６中の左眼用出力画像データの位置、及び右眼用撮像データＲＭＥ６中の右眼用出力画像データの位置を水平方向に変更すると、水平方向の視差を調整した場合、各撮像部のレンズの光軸と、各出力画像に対し擬似的に認識される光軸とが不一致となる。

ここで、光学ズーム倍率を変更して、撮像画像を拡大すると、撮像データ内では、撮像部の光軸と一致する位置を中心に被写体画像が拡大されることになる。

図１２に視差がゼロとなるように視差調整を行った被写体画像が光学ズームにより拡大された場合の撮像データについて説明するための図を示す。図１２に示すように光学ズーム倍率を変更して、撮像画像を拡大した場合は、左眼用撮像データＬＩ０２内において被写体画像データＬＯＧ５０がＡＬ１０を中心に拡大された被写体画像データＬＯＧ５１が、右眼用撮像データＲＩ０２内において被写体画像データＲＯＧ５０がＡＲ１０を中心に拡大された被写体画像データＲＯＧ５１が、それぞれ生成される。

そして、被写体画像データＬＯＧ５０の基準画素ブロックＬＰ７０に対応する被写体画像データＬＯＧ５１の基準画素ブロックＬＰ７１と、被写体画像データＲＯＧ５０の対応画素ブロックＲＰ７０に対応する対応画素ブロックＲＰ７１との間に、視差Ｖ０２が生じてしまうことになる。

これにより、左眼用撮像データから抽出される左眼用出力画像データ及び右眼用撮像データから抽出される右眼用出力画像データの位置を調整することで視差を調整し、任意の被写体画像の視差がゼロとなるように視差調整を行っても、光学ズーム倍率を変更することで、その被写体画像に再び視差が生じてしまい、視差がゼロとなる輻輳位置は別のところに移ってしまう問題が生じる。

そこで、視差調整部１０３は、光学ズーム倍率の変更があった場合は、そのズーム倍率の変更に応じて、抽出される左眼用出力画像データ及び右眼用出力画像データのシフト量をさらに漸増させていくことで、光学ズーム倍率の変更に追従した視差調整を行う。

以下に、図１３を参照して、視差調整が行われた後に光学ズーム倍率が変更された場合に、そのズーム倍率の変更に追従した視差調整について説明する。図１３では、光学ズーム倍率の変更により左眼用撮像データＬＩ０２中の被写体画像データＬＯＧ５２の基準画素ブロックＬＰ７１と、右眼用撮像データＲＩ０２中の被写体画像データＲＯＧ５１の対応画素ブロックＲＰ７１との間に差分ベクトルＶ０２が生じてしまうところを示している。

視差調整時の光学ズーム倍率をＺＤ１、視差調整後の光学ズーム倍率をＺＤ２とし、光学ズーム倍率変更前の出力画像データのシフト量をＳ１とすると、光学ズーム倍率変更前の輻輳位置に対応する位置を光学ズーム倍率の変更後も輻輳位置とするための総シフト量Ｓ２は、以下の式（３）により算出される。

Ｓ２＝Ｓ１×ＺＤ２／ＺＤ１・・・（３）

従って、図１３では、光学ズーム倍率変更前の輻輳位置に対応する位置を光学ズーム倍率の変更後も輻輳位置とするために、すなわち図１１に示した光学ズーム倍率変更前の基準画素ブロックＬＰ７０に対応する光学ズーム倍率変更後の基準画素ブロックＬＰ７１と、図１１に示した光学ズーム倍率変更前の対応画素ブロックＲＰ７０に対応する光学ズーム倍率変更後の対応画素ブロックＲＰ７１との間の差分ベクトルＶ０２をゼロとするために、左眼用出力画像データＬＯＥ６２（図１３中では破線で示した領域）を差分ベクトルと反対の向きにＬＳ２だけシフトさせた左眼用出力画像データＬＯ０３の位置、及び右眼用出力画像データＲＯ０２（図１３中では破線で示した領域）を差分ベクトルの向きにＲＳ２だけシフトさせた右眼用出力画像データＲＯ０３の位置が決定される。

ここで、ＬＳ２及びＲＳ２のシフトの大きさΔＳａは、以下の式（４）から導出される。

ΔＳａ＝Ｓ２−Ｓ１・・・（４）

以上のように、ズームレンズＬ１１２及びＲ１１２の倍率の変更に追従して、視差調整部１０３が抽出される左眼用出力画像データ及び抽出される右眼用出力画像データの位置をシフトしていく。これによって、図１４に示したよう被写体５０の被写体画像データＬＯＧ５２及びＲＯＧ５２の視差はゼロのまま維持され、撮像装置１は、ユーザが光学ズーム倍率を変更する前に意図した立体感を維持した３Ｄ画像を出力することができる。

一方で、上述した様に左眼用撮像データから抽出される左眼用出力画像データ、及び右眼用撮像データから抽出される右眼用出力画像データを水平方向にシフトしていくことで、光学ズーム倍率の変更に応じた視差の調整を行った場合、メインメモリ２０１に一時記憶された撮像データに不足が生じ、出力画像データのアスペクト比を維持できない場合があるという問題が生じる。

以下に図１５を参照して、この光学ズーム倍率の変更に追従した視差調整において生じる撮像データの不足の問題について説明する。

図１５に示すように、光学ズーム倍率が変更され被写体５０の左眼用撮像データＬＩ０３中の被写体画像データＬＯＧ５３の基準画素ブロックＬＰ７２と、右眼用撮像データＲＩ０３中の対応画素ブロックＲＰ７２との間に差分ベクトルＶ０３が生じることとなった場合、上記式（４）に基づき左眼用出力画像データＬＯ０４をさらに右に、右眼用出力画像データＲＯ０４をさらに左にシフトさせなければ、基準画素ブロックＬＰ７２と対応画素ブロックＲＰ７２との間の視差をゼロに維持できない。

しかし、図１６に示すように、左眼用出力画像データＬＯ０４をＬＳ４だけ右に、右眼用出力画像データＲＯ０４をＲＳ４だけ右にシフトさせると、そもそも撮像データが取得されていない領域ＬＬＡ０１及びＲＬＡ０１（図１６でハッチングで示した領域）が生じることになる。

従って、図１７に示すように、基準画素ブロックＬＰ７３と対応画素ブロックＲＰ７３との間の視差はゼロに維持できるものの、左眼用撮像データが取得されていない領域ＬＬＡ０１、及び右眼用撮像データが取得されていない領域ＲＬＡ０１が生じることから、左眼用出力画像データＬＯ０５（図１７中で太線で囲った領域）及び右眼用出力画像データＲＯ０５（図１７中で太線で囲った領域）を液晶モニタ３０５等に出力すると、表示される画像に不足分が生じ、出力される画像のアスペクト比はユーザが設定等したものと変わってしまうことになる。

そこで、図１の中央制御部１００の説明に戻り、アスペクト比判定部１０６は、視差調整後に光学ズーム倍率が変更され、その光学ズーム倍率に視差調整を追従させる場合に、出力される出力画像データのアスペクト比が変更されるかどうかを判定する。

具体的には、アスペクト比判定部１０６は、メインメモリ２０１に一時記憶されている撮像データ及びその撮像データ内の出力画像データの領域サイズと位置から、視差調整部１０２によるシフトを行うと、出力画像データに不足が生じるかどうかを判定することで、アスペクト比が変更されるかどうかを判定する。

そして、アスペクト比判定部１０６が、出力画像データのアスペクト比が変更されると判断した場合には、アスペクト比維持部１０７が、出力画像データの領域サイズを変更することで、光学ズーム倍率変更前のアスペクト比を維持する。

以下に、図１８を参照して、アスペクト比維持部１０７が出力画像データの領域サイズを決定する処理について説明する。図１８では、光学ズームの変更により、左眼用撮像データＬＩ０３中の基準画素ブロックＬＰ７２と、右眼用撮像データＲＩ０３中の対応画素ブロックＲＰ７２との間に差分ベクトルＶ０３が生じることになる。

ここで、視差調整部１０３は、この差分ベクトルＶ０３をゼロに維持するために必要な左眼用出力画像データのシフトの大きさＬＳ４、及び右眼用出力画像データのシフトの大きさＲＳ０４を決定する。このＬＳ０４及びＲＳ０４の大きさΔＳｂは、上述の式（３）及び以下の式（５）から算出される。

ΔＳｂ＝２（Ｓ２−Ｓ１）・・・（５）

出力画像データの領域サイズを変更する前の、左眼用出力画像データの水平方向の辺の長さをＬｈ１とし、右眼用出力画像データの水平方向の辺の長さをＲｈ１とすると、アスペクト比維持部１０７は、以下の式（６）及び式（７）から、領域サイズの変更された左眼用出力画像データＬＯ０６の水平方向の辺の長さＬｈ２、及び領域サイズの変更された右眼用出力画像データＲＯ０６の水平方向の辺の長さＲｈ２をそれぞれ算出する。

Ｌｈ２＝Ｌｈ１−ＬＳ４・・・（６）

Ｒｈ２＝Ｒｈ１−ＲＳ４・・・（７）

Ｌｈ２及びＲｈ２が算出されると、アスペクト比維持部１０７は、維持するアスペクト比となるように、領域サイズの変更された左眼用出力画像データＬＯ０６の垂直方向の辺の長さＬｖ２、及び領域サイズの変更された右眼用出力画像データＲＯ０６の垂直方向の辺の長さＲｖ２をそれぞれ算出する。以上のようにして、アスペクト比維持部１０７は、変更する出力画像データの領域サイズを決定し、光学ズーム倍率変更前のアスペクト比を維持する。

そして、アスペクト比維持部１０６により領域サイズが決定された左眼用出力画像データＬＯ０６の左眼用撮像データＬＩ０３内における位置は、視差調整部１０３により差分ベクトルＶ０３と反対の向きにＬＳ４の大きさだけシフトさせた位置に決定される。また、アスペクト比維持部１０７により領域サイズが決定された右眼用出力画像データＲＯ０６の右眼用撮像データＲＩ０３内における位置は、視差調整部１０３により差分ベクトルＶ０３の向きにＲＳ４の大きさだけシフトさせた位置に決定される。

そして、図１９に示すように、基準画素ブロックＬＰ７２と対応画素ブロックＲＰ７２との間の水平方向の視差をゼロとしたまま、つまり輻輳位置を維持したままアスペクト比も維持された左眼用出力画像データＬＯ０６及び右眼用出力画像データＲＯ０６が出力される。

以上に述べたように、本発明の実施形態に係る撮像装置１によれば、左眼用画像と右眼用画像との間の視差が調整された後、光学ズーム倍率が変更された場合であっても、光学ズーム倍率が変更される前の出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる。

次に、図２０を参照して、撮像装置１による、左眼用画像と右眼用画像との間の視差が調整された後に光学ズーム倍率が変更された場合に、被写体画像の立体感及び画像のアスペクト比を維持する処理（方法）について説明する。

図２０は、撮像装置１による、左眼用画像と右眼用画像との間の視差が調整された後に光学ズーム倍率が変更された場合の、被写体画像の立体感及び画像のアスペクト比を維持する処理を示すフローチャートである。

本処理は、ユーザが操作部３０６の図示しない録画ボタンを押したとき、図１に示した中央制御部１００の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部３０６の図示しないボタン等を使用して撮像モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。

上述の通り、ズームアクチュエータＬ１１５及びＲ１１５が駆動され所定の光学ズーム倍率が設定された後、或は電源投入時に設定されていた光学ズーム倍率のまま、風景や被写体が左眼用撮像部Ｌ１１０及び右眼用撮像部Ｒ１１０を介して撮像される（ステップＳ１０１）。

そして、撮像された風景や被写体は、左眼用固体撮像素子Ｌ１１４及び右眼用固体撮像素子Ｒ１１４を介して、左眼用撮像データ及び右眼用撮像データとして、メインメモリ２０１に一時記録される（ステップＳ１０２）。

次に視差算出部１０２が、ステップＳ１０２でメインメモリ２０１に一時記憶された左眼用撮像データと右眼用撮像データとの間の水平方向の視差を算出する（ステップＳ１０３）。

ここで、視差算出部１０２は、上述の通り、動きベクトル算出のアルゴリズムを利用して、左眼用撮像データ及び右眼用撮像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、相互に対応する画素ブロックを左眼用撮像データ及び右眼用撮像データのそれぞれから抽出し、それらの差分ベクトルを左眼用撮像データ及び右眼用像データにおける被写体画像データの視差として算出する。

このとき、視差算出部１０２は、顔検出部２０５による顔画像データの検出結果を利用して、顔画像データが検出された被写体画像データについての水平方向の視差を算出する、又は左眼用撮像データ及び右眼用撮像データのそれぞれを複数の領域に分割し、左眼用画像データ及び右眼用画像データにおける各領域間の視差を算出することで、左眼用撮像データ及び右眼用撮像データの全体的な視差を算出することができる。

ステップＳ１０３で視差算出部１０２が左眼用撮像データと右眼用撮像データとの間の視差を算出すると、視差調整部１０３は、算出された視差に基づき、左眼用撮像データから抽出される左眼用出力画像データ、及び右眼用撮像データから抽出される右眼用出力画像データの位置を水平方向にシフトさせることで左眼用画像と右眼用画像との間の視差を調整する（ステップＳ１０４）。

この視差調整部１０３による水平方向の視差の調整は、上述の通り、例えば顔検出部２０５が顔画像データを検出した場合に、その顔画像データを有する被写体画像の視差がゼロとなるようにする、又は左眼用撮像データ及び右眼用撮像データそれぞれについて複数の領域毎に算出された視差のうち、所定の大きさを上回る視差を有する領域を所定の大きさの視差とするようにする、等の自動調整により行うことができる。また、操作部３０６の図示しないタッチパネル等を用いることで、ユーザの手動調整により行うこともできる。

ステップＳ１０４で視差調整部１０３が水平方向の視差を調整すると、撮像情報記録部１０４が、撮像情報記録部１０４は調整された視差に関する情報及びその視差調整を行った際の光学ズーム倍率を撮像情報として記録する（ステップＳ１０５）。

調整された視差に関する情報としては、視差調整後の左眼用撮像データから抽出される左眼用出力画像データのアスペクト比、領域サイズ、及び位置、並びに右眼用撮像データから抽出される右眼用出力画像データのアスペクト比、領域サイズ、及び位置が記録される。ズーム倍率としては、ズームレンズＬ１１１及びＲ１１１による光学ズーム倍率がメインメモリ２０１に記録される。

ステップＳ１０５で撮像情報が記録されると、視差調整部１０３は光学ズーム倍率が記録されたものから変更されたか否かを判定する（ステップＳ１０６）。そして光学ズーム倍率が変更された旨の判定がなされた場合は（ステップＳ１０６でＹＥＳ）、視差調整部１０３は、そのズーム倍率の変更に応じて、左眼用出力画像データ及び右眼用出力画像データのシフト量をさらに漸増させていくことで、光学ズーム倍率の変更に追従した再度の視差調整を行う（ステップＳ１０７）。

ステップＳ１０７における視差調整が行われると、アスペクト比判定部１０６は、出力される左眼用出力画像データ及び右眼用出力画像データのアスペクト比が変更されるか否かを判定する（ステップＳ１０８）。

具体的には、アスペクト比判定部１０６は、メインメモリ２０１に一時記憶されている撮像データ及びその撮像データから抽出される出力画像データの領域サイズと位置から、視差調整部１０２によるシフトを行うと、出力画像データに不足が生じるかどうかを判定することで、アスペクト比が変更されるかどうかを判定する。

アスペクト比判定部１０５が、視差調整部１０２によるシフトを行うと出力画像データに不足が生じる旨の判定をし、出力画像データのアスペクト比が変更される旨の判定をすると（ステップＳ１０８でＹＥＳ）、アスペクト比維持部１０６が、出力画像データの領域サイズを変更することで、光学ズーム倍率変更前のアスペクト比を維持する（ステップＳ１０９）。

アスペクト比維持部１０６による、維持すべきアスペクト比に基づく、左眼用出力画像データ及び右眼用出力画像データの領域サイズ及び位置の決定は、上述のようにして行われる。

ステップＳ１０８でアスペクト比判定部１０５が、出力画像データのアスペクト比が変更されない旨の判定をした場合（ステップＳ１０８でＮＯ）、又はステップＳ１０９でアスペクト比維持部１０６がアスペクト比を維持した出力画像データの領域サイズ及び位置を決定すると、撮像情報記録部１０４は、各ステップ完了後の、調整された視差に関する情報及びその視差調整を行った際の光学ズーム倍率を撮像情報として記録する（ステップＳ１１０）。

そしてステップＳ１１０における撮像情報の記録の後、又はステップＳ１０６で光学ズーム倍率が変更されなかった場合は（ステップＳ１０６でＮＯ）、ユーザが操作部３０６の図示しない録画ボタンを離すと、中央制御部１００の統括制御によりプログラムに従い撮影が終了される（ステップＳ１１１でＹＥＳ）。又は、ユーザが撮像装置１の電源を切り、操作部３０６の図示しないボタン等を使用して撮影モードを解除したとき、或は半押しにした録画ボタンを離したとき、それまで取得されていたスルー画像に対する本処理を終了するようにしてもよい。

ユーザが撮影を終了しなかった場合は（ステップＳ１１１でＮＯ）、再度ステップＳ１０１から同様の処理を繰り返す。

以上に述べたように、撮像装置１による、左眼用画像と右眼用画像との間の視差が調整された後に光学ズーム倍率が変更された場合に、被写体画像の立体感及び画像のアスペクト比を維持する処理（方法）によれば、光学ズーム倍率が変更された場合であっても、光学ズーム倍率が変更される前の出力される被写体画像の立体感及び出力される画像のアスペクト比を維持することができる。

なお、上述の撮像装置１及び撮像装置１による処理の説明では、水平方向の視差の算出において、左眼用撮像データから基準画素ブロックを、右眼用撮像データから対応画素ブロックの特定を行い、左眼用撮像データと右眼用撮像データとの間の視差の算出を行なったが、この関係を逆としてもよい。

すなわち、右眼用撮像データから基準画素ブロックを、左眼用撮像データから対応画素ブロックの特定を行い、左眼用撮像データと右眼用撮像データとの間の視差の算出を行なっても同様の効果を得られることは言うまでもない。

また、説明及び理解の容易のため、撮像画像データ中における出力画像データの領域サイズ及び位置の決定において、左右の撮像部の垂直方向のずれを補正するための垂直方向のシフトや、電子的な手ぶれ補正のための出力画像データのシフトについての記載を省略したが、本発明はこれらと組み合わせることによっても実施可能であり、その効果を得ることができる。

１００中央制御部
１０１出力画像領域決定部
１０２視差算出部
１０３視差調整部
１０４撮像情報記録部
１０５アスペクト比判定部
１０６アスペクト比維持部
Ｌ１１０左眼用撮像部
Ｒ１１０右眼用撮像部
Ｌ１１１左眼用ズームレンズ
Ｒ１１１右眼用ズームレンズ
Ｌ１１５左眼用ズームアクチュエータ
Ｒ１１５右眼用ズームアクチュエータ
２０１メインメモリ
２０５顔検出部
３０２カードＩ／Ｆ
３０３カード型記録媒体
３０４入出力Ｉ／Ｆ
３０５液晶モニタ
３０６操作部
３０７入出力端子

Claims

第一変倍レンズと、その第一変倍レンズを光軸に沿って駆動させる第一駆動部とを有し、第一撮像データを取得する第一撮像部と、
第二変倍レンズと、その第二変倍レンズを光軸に沿って駆動させる第二駆動部とを有し、第二撮影画像データを取得する第二撮像部と、
前記第一撮像データと前記第二撮像データとの間の視差を算出する視差算出部と、
前記視差算出部が算出した前記視差に基づき、前記第一撮像データから抽出する第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出する第二出力画像データの水平方向の位置を調整することで、第一出力画像データと第二出力画像データとの間の水平方向の視差を調整する視差調整部と、
前記第一出力画像データ及び前記第二出力画像データの所定のアスペクト比を維持するアスペクト比維持部とを備え、
前記視差調整部による前記水平方向の視差の調整が行われた後に、前記第一駆動部により前記第一変倍レンズの倍率が変更され、かつ前記第二駆動部により前記第二変倍レンズの倍率が変更された場合に、
前記視差調整部は前記水平方向の視差の調整によって水平方向の視差がゼロとなっている被写体画像が前記倍率の変更後も水平方向の視差がゼロとなるように前記第一出力画像データの水平方向の位置、及び前記第二出力画像データの水平方向の位置を再度調整し、
前記アスペクト比維持部は前記第一出力画像データ及び前記第二出力画像データの領域サイズを変更することで、前記倍率の変更後もアスペクト比を維持する
ことを特徴とする３Ｄ画像撮像装置。
前記第一撮像データ及び前記第二撮像データのそれぞれから人物の顔画像データを検出する顔検出部をさらに備え、
前記視差調整部は前記顔検出部が検出した顔画像データに基づき、前記第一撮像データから抽出する第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出する第二出力画像データの水平方向の位置を調整することで、第一出力画像データと第二出力画像データとの間の水平方向の視差を調整することを特徴とする請求項１に記載の３Ｄ画像撮像装置。
前記第一出力画像データと前記第二出力画像データとの間の水平方向の視差について、ユーザが所望の視差を入力することができる入力手段をさらに備え、
前記視差調整部は前記入力された前記視差に基づき、前記第一撮像データから抽出する第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出する第二出力画像データの水平方向の位置を調整することで、第一出力画像データと第二出力画像データとの間の水平方向の視差を調整することを特徴とする請求項１に記載の３Ｄ画像撮像装置。
第一変倍レンズとその第一変倍レンズを光軸に沿って駆動させる第一駆動部とを有する第一撮像部に第一の撮像データを、第二変倍レンズとその第二変倍レンズを光軸に沿って駆動させる第二駆動部とを有する第二撮像部に第二撮像データをそれぞれ取得させ、
前記第一撮像データと前記第二撮像データとの間の視差を算出させ、
前記算出させた視差に基づいて、前記第一撮像データから抽出される第一出力画像データの水平方向の位置、及び前記第二撮像データから抽出される第二出力画像データの水平方向の位置を調整させる指示をコンピュータに実行させるプログラムであって、
前記第一出力画像データ及び前記第二出力画像データの水平方向の位置を調整した後に、前記第一駆動部により前記第一変倍レンズの倍率が変更され、かつ前記第二駆動部により前記第二変倍レンズの倍率が変更された場合に、
その水平方向の位置の調整により水平方向の視差がゼロとなっている被写体画像が前記倍率の変更後も水平方向の視差がゼロとなるように前記第一出力画像データの水平方向の位置、及び前記第二出力画像データの水平方向の位置を再度調整させて、
前記第一出力画像データ及び前記第二出力画像データの領域サイズを変更させて、前記倍率の変更後もアスペクト比を維持させる
ことを特徴とするプログラム。