JP2010237582A - 立体撮像装置および立体撮像方法 - Google Patents

Abstract

【課題】連続的なズーミング中でも撮影者にとって見やすい立体画像を表示すること。
【解決手段】ズームレンズをそれぞれ有する第１の撮像系１１Ｒおよび第２の撮像系１１Ｒと、ズームレンズの離散的な位置ごとに、第１の撮像系１１Ｒと前記第２の撮像系１１Ｌとの光学特性差の補正に用いる補正値を記憶するＥＥＰＲＯＭ１１８と、駆動パルス単位でズームレンズの現在位置を検出するズームパルス検出部１７０と、現在位置が離散的な位置の間にある場合、ＥＥＰＲＯＭ１１８に記憶されている補正値に基づいて現在位置に対応する補正値を算出する補正値補間部１７４と、現在位置が離散的な位置の間にある場合、補正値補間部１７４により算出される補正値を用いて第１の撮像系１１Ｒと第２の撮像系１１Ｌとの光学特性差を補正する補正部１７６を備えた。
【選択図】図１６

Description

本発明は、複数の撮像系を備えた立体撮像装置および立体撮像方法に関する。

複数の撮像系を備えた立体撮像装置において、離散的なズーム位置ごとに撮像系間の光学特性差を補正する構成が知られている。

特許文献１には、撮像系間の光軸座標差および光学倍率差を離散的なズーム位置ごとに予めメモリに記憶しておき、撮像系のズーム位置に対応する光軸座標差および光学倍率差をメモリから読み出して、画像のトリミングおよび電子ズームを行う構成が開示されている。

特許文献２には、離散的なズーム位置での光軸ずれ量を予めメモリに記憶しておき、撮像系のズーム位置に対応する光軸ズレ量をメモリから読み出して、画像の切り出しエリアを制御する構成が開示されている。

特許文献３には、電子ズームにより拡大または縮小された画像に対し視差補正を行う構成が開示されている。

特開２００６−１６２９９１号公報 特開平８−３１７４２４号公報 特開平８−３１７４２９号公報

しかしながら、スルー画表示中や動画撮影中に連続的なズーミングを行うと、離散的なズーム位置間（ズームの中間域）では補正も離散的になるため、撮影者に対して見づらい立体画像を提示してしまうという問題があった。

具体的には、ズーミングを連続的に行うと、ズームの中間域では直前の離散的ズーム位置に対応する補正値が採用され、次に離散的ズーム位置に達したとき、像飛びが起こる。

特許文献１〜３には、ズームの中間域にて補正値を補間することに関する記述がない。

また、予め細かな間隔のズーム位置にて撮像系間の光学特性差を調査して不揮発性メモリに書き込んでおく方策も考えられるが、その場合には、装置の出荷前の調整工程にて多大な時間を要してしまう。

本発明はこのような事情に鑑みてなされたもので、連続的なズーミング中でも撮影者にとって見やすい立体画像を表示することができる立体撮像装置および立体撮像方法を提供することを目的とする。

前記目的を達成するために、本発明は、ズームレンズをそれぞれ有する第１の撮像系および第２の撮像系と、前記ズームレンズを各撮像系の光軸方向にて駆動パルスにより駆動するズームレンズ駆動手段と、前記ズームレンズの離散的な位置ごとに、前記第１の撮像系と前記第２の撮像系との光学特性差の補正に用いる補正値を記憶する記憶手段と、前記ズームレンズ駆動手段の駆動パルス単位で前記ズームレンズの現在位置を検出する検出手段と、前記現在位置が前記離散的な位置の間にある場合、前記記憶手段に記憶されている前記補正値に基づいて前記現在位置に対応する補正値を算出する補正値補間手段と、前記現在位置が前記離散的な位置の間にある場合、前記補正値補間手段により算出される前記補正値を用いて前記第１の撮像系と前記第２の撮像系との光学特性差を補正する補正手段と、を備えることを特徴とする立体撮像装置を提供する。

これによれば、ズームレンズが離散的なズーム位置の中間域で移動する場合には、補正値補間手段により補間される補正値を用いて撮像系間の光学特性差の補正が行われるので、連続的なズーミング中でも撮影者にとって見やすい立体画像を表示することが可能となる。また、中間域の光学特性差を予め測定して記憶しておく場合と比較して、装置の調整工程を短縮できる。

本発明の一実施態様では、前記第１の撮像系および前記第２の撮像系の有効画素エリアに、前記光学特性差の補正に用いる補正領域を設ける。

また、前記補正手段は、前記撮像系間で画像における撮影範囲を合わせるトリミングを行う。

これによれば、連続的なズーミング中に、撮像系間で撮影範囲が合った立体画像を表示させることができるので、ユーザに違和感を与えることなく立体表示できる。

また、前記補正手段は、前記補正手段は、ディストーション補正およびシェーディング補正のうち少なくとも一方の補正を、前記撮像系の有効画素エリアのフル画素にて行った後、前記トリミングを行う。

これによれば、ディストーション補正やシェーディング補正が有効画素エリアのフル画素に対して行われるので、偏った補正にならない。つまり、均一な補正をかけることができる。

また、前記補正手段は、前記トリミング後に、前記撮像系間で画像の画素サイズを合わせるリサイズを行う。

これによれば、連続的なズーミング中に、リサイズにより撮像系間で画素サイズが合うので、ユーザに違和感を与えることなく立体表示できる。

本発明の一実施態様では、前記第１の撮像系および前記第２の撮像系のうち前記現在位置での光学倍率が大きい一方の撮像系を主撮像系と判定して他方の撮像系を従撮像系と判定する判定手段を備え、前記補正手段は、前記主撮像系により取得される画像に前記従撮像系により取得される画像を合わせる補正を行う。

これによれば、有効画素エリア内の画素を極力無駄にせず、画素サイズが大きい画像を得ることができる。

本発明の一実施態様では、前記第１の撮像系および前記第２の撮像系により得られる視点別の画像を、スルー画として、立体表示可能な表示手段に立体表示させる表示制御手段を備え、前記補正手段は、前記スルー画の表示中に、前記補正値補間手段により補間される補正値を用いて、前記スルー画に対して補正を行う。

これによれば、スルー画表示中に連続的なズーミングを行う場合でも、撮影者にとって見やすい立体画像を表示することができる。

本発明の一実施態様では、撮影指示の入力を受け付ける撮影指示入力手段と、前記撮影指示の入力時に前記第１の撮像系および前記第２の撮像系により得られる視点別の画像を記録媒体に記録する記録制御手段と、を備え、前記補正手段は、前記補正値補間手段により前記スルー画の表示中に補間される補正値を用いて、前記撮影指示の入力時の前記視点別の画像に対して補正を行う。

これによれば、ズームレンズが離散的なズーム位置の中間域である場合でも、撮像系間で光学特性差が適切に補正された画像が記録される。

本発明の一実施態様では、動画撮影中に、前記補正値補間手段により補間される補正値を用いて、前記動画に対して補正を行う。

これによれば、動画撮影中に連続的なズーミングを行う場合でも、撮影者にとって見やすい立体動画を記録することができる。

また、本発明は、ズームレンズをそれぞれ有する第１の撮像系および第２の撮像系、前記ズームレンズを各撮像系の光軸方向にて駆動パルスにより駆動するズームレンズ駆動手段、および、前記ズームレンズの離散的な位置ごとに、前記第１の撮像系と前記第２の撮像系との光学特性差の補正に用いる補正値を記憶する記憶手段を用いて行う立体撮像方法であって、前記ズームレンズ駆動手段の駆動パルス単位で前記ズームレンズの現在位置を検出する検出ステップと、前記現在位置が前記離散的な位置の間にある場合、前記記憶手段に記憶されている前記補正値に基づいて前記現在位置に対応する補正値を算出する補正値補間ステップと、前記現在位置が前記離散的な位置の間にある場合、前記補正値補間ステップにて算出される前記補正値を用いて前記第１の撮像系と前記第２の撮像系との光学特性差を補正する補正ステップと、を備えることを特徴とする立体撮像方法を提供する。

本発明によれば、連続的なズーミング中でも撮影者にとって見やすい立体画像を表示することができる。

本発明を適用したデジタルカメラの外観構成を示す正面斜視図 本発明を適用したデジタルカメラの外観構成を示す背面斜視図 立体表示可能なモニタの構造例を説明するための説明図 本発明を適用したデジタルカメラの内部構成の一例を示すブロック図 第１実施形態におけるデジタルカメラの要部機能ブロック図 有効画素エリアに設ける補正領域の説明に用いる説明図 第１実施形態における撮像処理例の流れを示す概略フローチャート 第２実施形態におけるトリミングの説明に用いる説明図 離散的なズーム位置に対応する離散補正値の一例を示す図 補間された補正値の一例を示す図 ズームパルス数と補間された補正値との関係を示すグラフ 第３実施形態におけるトリミングおよびリサイズの説明に用いる説明図 第４実施形態における補正処理例の流れを示す概略フローチャート トリミング前に行う補正処理における画素エリアの説明図 トリミング前に行う補正処理の説明に用いる説明図 第５実施形態におけるデジタルカメラの要部機能ブロック図 複数の撮像系におけるズーム位置と焦点距離との対応関係を示すグラフ 第５実施形態における撮像処理例の流れを示す概略フローチャート

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

図１は、本発明を適用したデジタルカメラの外観構成を示す正面斜視図である。図２は、本発明を適用したデジタルカメラの外観構成を示す背面斜視図である。

本実施形態のデジタルカメラ１０は、複数（図１では二つを例示）の撮像系を備えたデジタルカメラ（本発明の複眼デジタルカメラに相当）であって、同一被写体を複数視点（図１では左右二つの視点を例示）から撮像可能となっている。

なお、本実施形態では、説明の便宜のため二つの撮像系を例示しているが、本発明は、三つ以上の撮像系であっても同様に適用可能である。なお、撮像系１１Ｒ、１１Ｌ（主として撮影レンズ１４Ｒ、１４Ｌ）の配置は、水平方向に沿った横一列でなくてもよく、二次元的に配置されていてもよい。立体撮影又はマルチ視点や全方向の撮影でもよい。

デジタルカメラ１０のカメラボディ１２は、本例にて矩形の箱状に形成されており、その正面には、図１に示すように、一対の撮影レンズ１４Ｒ、１４Ｌ、フラッシュ１６等が設けられている。また、カメラボディ１２の上面には、レリーズボタン１８、電源／モードスイッチ２０、モードダイヤル２２等が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２４、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６等が設けられている。

左右一対の撮影レンズ１４Ｒ、１４Ｌは、それぞれ沈胴式のズームレンズで構成されており、マクロ撮影機能（近接撮影機能）を有している。この撮影レンズ１４Ｒ、１４Ｌは、それぞれデジタルカメラ１０の電源をＯＮすると、カメラボディ１２から繰り出される。なお、撮影レンズにおけるズーム機構や沈胴機構、マクロ撮影機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

フラッシュ１６は、キセノン管で構成されており、暗い被写体を撮影する場合や逆光時などに必要に応じて発光される。

レリーズボタン１８は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１０は、静止画撮影時（例えば、モードダイヤル２２で静止画撮影モード選択時、又はメニューから静止画撮影モード選択時）、このレリーズボタン１８を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押すると、画像の撮影・記録処理を行う。また、動画撮影時（例えば、モードダイヤル２２で動画撮影モード選択時、又はメニューから動画撮影モード選択時）、このレリーズボタン１８を全押すると、動画の撮影を開始し、再度全押しすると、撮影を終了する。なお、設定により、レリーズボタン１８を全押している間、動画の撮影を行い、全押しを解除すると、撮影を終了するようにすることもできる。なお、静止画撮影専用のレリーズボタン及び動画撮影専用のレリーズボタンを設けるようにしてもよい。

電源／モードスイッチ２０は、デジタルカメラ１０の電源スイッチとして機能するとともに、デジタルカメラ１０の再生表示モードと撮影モードとを切り替える切替手段として機能し、「ＯＦＦ位置」と「再生位置」と「撮影位置」の間をスライド自在に設けられている。デジタルカメラ１０は、この電源／モードスイッチ２０を「再生位置」に位置させると、再生表示モードに設定され、「撮影位置」に位置させると、撮影モードに設定される。また、「ＯＦＦ位置」に位置させると、電源がＯＦＦされる。

モードダイヤル２２は、撮影モードの設定に用いられる。このモードダイヤル２２は、カメラボディ１２の上面に回転自在に設けられており、図示しないクリック機構によって、「２Ｄ静止画位置」、「２Ｄ動画位置」、「３Ｄ静止画位置」、「３Ｄ動画位置」にセット可能に設けられている。

なお、本明細書にて、「２Ｄ」は２次元（つまり「平面」）を意味し、「３Ｄ」は３次元（つまり「立体」）を意味する。「２Ｄ静止画位置」および「２Ｄ動画位置」は、単一視点の撮像および記録（「２Ｄ撮影」ともいう）や平面表示（「２Ｄ表示」ともいう）を行う場合にセットする位置である。「３Ｄ静止画位置」および「３Ｄ動画位置」は、複数視点の撮像および記録（「３Ｄ撮影」ともいう）や立体表示（「３Ｄ表示」ともいう）を行う場合にセットする位置である。立体表示のしくみについては、後に詳説する。

デジタルカメラ１０は、撮影モードにて、モードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を撮影する２Ｄ静止画撮影モードに設定される。また、撮影モードにて、「２Ｄ動画位置」にセットすることにより、２Ｄの動画を撮影する２Ｄ動画撮影モードに設定される。また、撮影モードにて、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を撮影する３Ｄ静止画撮影モードに設定される。さらに、撮影モードにて、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を撮影する３Ｄ動画撮影モードに設定される。

デジタルカメラ１０は、再生表示モードにて、モードダイヤル２２を「２Ｄ静止画位置」にセットすることにより、２Ｄの静止画を再生表示する２Ｄ静止画表示モードに設定される。また、再生表示モードにて、「２Ｄ動画位置」にセットすることにより、２Ｄの動画を再生表示する２Ｄ動画表示モードに設定される。また、再生表示モードにて、「３Ｄ静止画位置」にセットすることにより、３Ｄの静止画を再生表示する３Ｄ静止画表示モードに設定さる。さらに、再生表示モードにて、「３Ｄ動画位置」にセットすることにより、３Ｄの動画を再生表示する３Ｄ動画表示モードに設定される。

モニタ２４は、カラー液晶パネル等の表示装置である。このモニタ２４は、撮影済み画像を表示するための画像表示部として利用されるとともに、各種設定時にＧＵＩとして利用される。また、モニタ２４は、撮影時には、各撮像系１１Ｒ、１１Ｌが継続的に捉えた画像（スルー画像）が順次表示し、電子ファインダとして利用される。

ズームボタン２６は、撮影レンズ１４Ｒ、１４Ｌのズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

十字ボタン２８は、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラの設定状態に応じた機能が割り当てられる。例えば、撮影時には、左ボタンにマクロ機能のＯＮ／ＯＦＦを切り替える機能が割り当てられ、右ボタンにフラッシュモードを切り替える機能が割り当てられる。また、各種設定時には、モニタ２４に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ＭＥＮＵ／ＯＫボタン３０は、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、デジタルカメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。

メニュー画面では、たとえば露出値、色合い、ＩＳＯ感度、記録画素数などの画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否かなど、デジタルカメラ１０が持つ全ての調整項目の設定が行われる。デジタルカメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタン３２は、モニタ２４の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタン３４は入力操作のキャンセル等の指示の入力に用いられる。

縦撮り／横撮り切替ボタン３６は、縦撮り又は横撮りのいずれで撮影を行うかを指示するためのボタンである。

入出力コネクタ３８は、外部との有線通信に用いられる。入出力コネクタ３８を介してデジタルカメラ１０に撮像済の画像を入力することが可能である。

図３は、立体表示（「３Ｄ表示」ともいう）が可能なモニタ２４の構造例を説明するための説明図である。本例は、レンチキュラ方式であり、かまぼこ状のレンズ群を有したレンチキュラレンズが前面に配置されたモニタ２４を用いる。

モニタ２４の前面（観察者の視点（左眼ＥL、右眼ＥR）が存在するｚ軸方向）には、レンチキュラレンズ２４ａが配置されている。レンチキュラレンズ２４ａは、複数の円筒状凸レンズを図３中ｘ軸方向に連ねることで構成されている。

モニタ２４に表示される３Ｄ画像（３Ｄ静止画および３Ｄ動画）の表示領域は、左眼用短冊画像表示領域２４Ｌと右眼用短冊画像表示領域２４Ｒとから構成されている。左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒは、それぞれ画面の図３中のｙ軸方向に細長い短冊形状をしており、図３中のｘ軸方向に交互に配置される。

レンチキュラレンズ２４ａを構成する各凸レンズは、観察者の所与の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域２４Ｌ及び右眼用短冊画像表示領域２４Ｒを含む各短冊集合画像表示領域２４ｃに対応した位置に形成される。

図３では、観察者の左眼ＥLには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の左眼用短冊画像表示領域２４Ｌに表示された左眼用短冊画像が入射される。また、観察者の右眼ＥRには、レンチキュラレンズ２４ａの光屈折作用により、モニタ２４の右眼用短冊画像表示領域２４Ｒに表示された右眼用短冊画像が入射される。したがって、観察者の左眼は左眼用短冊画像のみを、観察者の右眼は右眼用短冊画像のみを見ることになり、これら左眼用短冊画像の集合である左眼用画像及び右眼用短冊画像の集合である右眼用画像による左右視差により立体視が可能となる。

なお、立体表示のためのモニタ２４の構造として、図３を用いてレンチキュラ方式を用いた場合を例に説明したが、本発明はレンチキュラ方式には特に限定されない。

例えば、左眼画像および右眼画像をそれぞれ画像の縦方向に細長く切り取った短冊状にして、交互に並べて表示するとともに、同様に縦方向に刻まれたスリットを通して画像を観察者に見せることで、観察者の左眼には左眼画像を、右眼には右眼画像をそれぞれ届ける、視差バリア（パララックスバリア）方式を用いてもよい。その他の空間分割方式であってもよい。

また、モニタ２４を構成するＬＣＤ（液晶表示デバイス）の背面を照らすバックライトの方向を時分割で観察者の右眼方向および左眼方向に制御する光方向制御方式（時分割光方向制御バックライト方式ともいう）を用いてもよい。光方向制御方式は、豊岡健太郎，宮下哲哉，内田龍男，“時分割光方向制御バックライトを用いた三次元ディスプレイ”、2000年日本液晶学会討論会講演予稿集、pp.137-138(2000)や、特開2004‐20684号公報などに記載されている。特許第3930021号公報に記載された、いわゆるスキャンバックライト方式を用いてもよい。

左右の画像を交互に表示するとともに、画像分離メガネを使用させることで、画像を立体視させてもよい。

モニタ２４は、例えば液晶表示デバイスや有機ＥＬデバイスを用いる。自発光、あるいは別に光源があり光量を制御する方式であってもよい。また、偏光による方式やアナグリフ、裸眼式等、方式は問わない。また、液晶や有機ＥＬを多層に重ねた方式でもよい。

図４は、図１及び図２に示したデジタルカメラ１０の内部構成を示すブロック図である。なお、図１、図２に示した要素には同じ符号を付してあり、既に説明した内容については、その説明を省略する。

図４に示すように、本実施形態のデジタルカメラ１０は、二つの撮像系それぞれから画像信号を取得できるように構成されており、ＣＰＵ１１０、操作部１１２、ＲＯＭ１１６、ＥＥＰＲＯＭ１１８、ＳＤＲＡＭ１２０、ＶＲＡＭ１２２、撮影レンズ１４（１４Ｒ、１４Ｌ）、撮像素子１３４（１３４Ｒ、１３４Ｌ）、ドライバ１２３（１２３Ｒ、１２３Ｌ）、１２５（１２５Ｒ、１２５Ｌ）、１２７（１２７Ｒ、１２７Ｌ）、１３６（１３６Ｒ、１３６Ｌ）、モータ１２４（１２４Ｒ、１２４Ｌ）、１２６（１２６Ｒ、１２６Ｌ）、１２８（１２８Ｒ、１２８Ｌ）、アナログ信号処理部１３８（１３８Ｒ、１３８Ｌ）、Ａ／Ｄ変換器１４０（１４０Ｒ、１４０Ｌ）、画像入力コントローラ１４１（１４１Ｒ、１４１Ｌ）、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）、ＡＦ検出部１４４、ＡＥ／ＡＷＢ検出部１４６、圧縮・伸張処理部１５２、メディアインタフェース１５４、メモリカード１５６、モニタインタフェース１５８、電源制御部１６０、および、バッテリ１６２を含んで構成されている。

左眼用の撮像系１１Ｌは、主として、撮影レンズ１４Ｌ、撮像素子１３４Ｌ、ドライバ１２３Ｌ、１２５Ｌ、１２７Ｌ、１３６Ｌ、モータ１２４Ｒ、１２６Ｒ、１２８Ｒ、アナログ信号処理部１３８Ｌ、Ａ／Ｄ変換器１４０Ｌ、画像入力コントローラ１４１Ｌ、デジタル信号処理部１４２Ｌ等から構成される。

右眼用の撮像系１１Ｒは、主として、撮影レンズ１４Ｒ、撮像素子１３４Ｒ、ドライバ１２３Ｒ、１２５Ｒ、１２７Ｒ、１３６Ｒ、モータ１２４Ｒ、１２６Ｒ、１２８Ｒ、アナログ信号処理部１３８Ｒ、Ａ／Ｄ変換器１４０Ｒ、画像入力コントローラ１４１Ｒ、デジタル信号処理部１４２Ｒ等から構成される。

以下では、撮像系１１Ｌ、１１Ｒにより被写体を撮像して得られるデジタルの画像データを、「撮像画像」という。また、左眼用の撮像系１１Ｌにより得られる撮像画像を「左眼画像」、右眼用の撮像系１１Ｒにより得られる撮像画像を「右眼画像」という。

ＣＰＵ１１０は、撮影、表示、記録などカメラ全体の動作を統括制御する制御手段として機能し、操作部１１２からの入力に基づき所定の制御プログラムに従って各部を制御する。

操作部１１２は、図１および図２に示した、レリーズボタン１８、電源／モードスイッチ２０、モードダイヤル２２、ズームボタン２６、十字ボタン２８、ＭＥＮＵ／ＯＫボタン３０、ＤＩＳＰボタン３２、ＢＡＣＫボタン３４、縦撮り／横撮り切替ボタン３６などを含む。

バス１１４を介して接続されたＲＯＭ１１６には、このＣＰＵ１１０が実行する制御プログラム及び制御に必要な各種データ（後述するＡＥ／ＡＦの制御周期等）等が格納されており、ＥＥＰＲＯＭ１１８には、ユーザ設定情報等のデジタルカメラ１０の動作に関する各種設定情報等が格納されている。ＳＤＲＡＭ１２０は、ＣＰＵ１１０の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用され、ＶＲＡＭ１２２は、表示用の画像データ専用の一時記憶領域として利用される。

左右一対の撮影レンズ１４Ｒ、１４Ｌ（まとめて撮影レンズ１４と表すこともある）は、ズームレンズ１３０ＺＲ、１３０ＺＬ（まとめてズームレンズ１３０Ｚと表すこともある）、フォーカスレンズ１３０ＦＲ、１３０ＦＬ（まとめてフォーカスレンズ１３０Ｆと表すこともある）、絞り１３２Ｒ、１３２Ｌを含んで構成され、所定の間隔をもってカメラボディ１２に配置されている。

ズームレンズ１３０ＺＲ、１３０ＺＬは、ズームレンズ用のモータ１２４Ｒ、１２４Ｌと、その駆動回路であるドライバ１２３Ｒ、１２３Ｌによって駆動され、撮影レンズ１４Ｒ、１４Ｌの光軸に沿って前後に移動する。ＣＰＵ１１０は、ドライバ１２３Ｒ、１２３Ｌを介してモータ１２４Ｒ、１２４Ｌを駆動することにより、ズームレンズ１３０ＺＲ、１３０ＬＲの位置（ズーム位置）を制御し、撮影レンズ１４Ｒ、１４Ｌのズーミングを行う。

フォーカスレンズ１３０ＦＲ、１３０ＦＬは、フォーカスレンズ用のモータ１２６Ｒ、１２６Ｌと、その駆動回路であるドライバ１２５Ｒ、１２５Ｌによって駆動され、撮影レンズ１４Ｒ、１４Ｌの光軸に沿って前後に移動する。ＣＰＵ１１０は、ドライバ１２５Ｒ、１２５Ｌを介してモータ１２６Ｒ、１２６Ｌを駆動することにより、フォーカスレンズの位置（フォーカス位置）を制御し、撮影レンズ１４Ｒ、１４Ｌのフォーカシングを行う。

絞り１３２Ｒ、１３２Ｌは、たとえば、アイリス絞りで構成されており、アイリス用のモータ１２８Ｒ、１２８Ｌと、その駆動回路であるドライバ１２７Ｒ、１２７Ｌによって駆動されて動作する。ＣＰＵ１１０は、アイリス用のドライバ１２７Ｒ、１２７Ｌを介してモータ１２８Ｒ、１２８Ｌを制御することにより、絞り１３２Ｒ、１３２Ｌの開口量（絞り値）を制御し、撮像素子１３４Ｒ、１３４Ｌへの入射光量を制御する。

なお、ＣＰＵ１１０は、この撮影レンズ１４Ｒ、１４Ｌを構成するズームレンズ１３０ＺＲ、１３０ＺＬ、フォーカスレンズ１３０ＦＲ、１３０ＦＬ、絞り１３２Ｒ、１３２Ｌを駆動する際、左右の撮影レンズ１４Ｒ、１４Ｌを同期させて駆動する。すなわち、左右の撮影レンズ１４Ｒ、１４Ｌは、設計上同じ焦点距離（光学倍率）に設定され、設計上被写界上の同じ点にピントが合うように、焦点調節が行われる。また、設計上同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子１３４Ｒ、１３４Ｌは、所定のカラーフィルタ配列のカラーＣＣＤで構成されている。ＣＣＤは、その受光面に多数のフォトダイオードが二次元的に配列されている。撮影レンズ１４Ｒ、１４ＬによってＣＣＤの受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１０の指令に従って撮像素子用ドライバ１３６Ｒ、１３６Ｌから与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として撮像素子１３４Ｒ、１３４Ｌから順次読み出される。

なお、この撮像素子１３４Ｒ、１３４Ｌには、電子シャッタの機能が備えられており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

なお、本実施の形態では、撮像素子としてＣＣＤを用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

アナログ信号処理部１３８Ｒ、１３８Ｌは、撮像素子１３４Ｒ、１３４Ｌから出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関二重サンプリング回路（ＣＤＳ）、画像信号を増幅し、一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、撮像素子１３４Ｒ、１３４Ｌから出力される画像信号を相関二重サンプリング処理するとともに増幅する。Ａ／Ｄ変換器１４０Ｒ、１４０Ｌは、アナログ信号処理部１３８Ｒ、１３８Ｌから出力されたアナログの画像信号をデジタルの画像信号に変換する。画像入力コントローラ１４１Ｒ、１４１Ｌは、Ａ／Ｄ変換器１４０Ｒ、１４０Ｌから出力された画像信号を取り込んで、ＳＤＲＡＭ１２０に格納する。デジタル信号処理部１４２Ｒ、１４２Ｌは、ＣＰＵ１１０からの指令に従いＳＤＲＡＭ１２０に格納された画像信号を取り込み、所定の信号処理を施して輝度信号Ｙと色差信号Ｃｒ、ＣｂとからなるＹＵＶ信号を生成する。

デジタル信号処理部１４２Ｒ、１４２Ｌは、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補間処理、ＲＧＢ／ＹＣ変換処理、ノイズ低減処理、輪郭補正処理、色調補正、光源種別判定処理等の各種のデジタル補正を行う。なお、デジタル信号処理部１４２（１４２Ｒ、１４２Ｌ）はハードウェア回路で構成してもよいし、同じ機能をソフトウェアにて構成してもよい。

ＡＦ検出部１４４は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。このＡＦ検出部１４４は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及び、フォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１１０に出力する。

ＣＰＵ１１０は、ＡＦ制御時、このＡＦ検出部１４４から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させることにより、主要被写体への焦点合わせを行う。すなわち、ＣＰＵ１１０は、ＡＦ制御時、まず、フォーカスレンズ１３０ＦＲ、１３０ＦＬを至近から無限遠まで移動させ、その移動過程で逐次ＡＦ検出部１４４から焦点評価値を取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ１３０ＦＲ、１３０ＦＬを移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

ＡＥ／ＡＷＢ検出部１４６は、一方の画像入力コントローラ１４１Ｒから取り込まれたＲ、Ｇ、Ｂの各色の画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。すなわち、このＡＥ／ＡＷＢ検出部１４６は、一画面を複数のエリア（たとえば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１１０は、ＡＥ制御時、このＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。すなわち、感度、絞り値、シャッタ速度、フラッシュ発光の要否を設定する。

また、ＣＰＵ１１０は、ＡＷＢ制御時、ＡＥ／ＡＷＢ検出部１４６で算出されたエリアごとのＲ、Ｇ、Ｂ信号の積算値をデジタル信号処理部１４２のホワイトバランスゲイン算出回路及び光源種別判定回路に加える。ホワイトバランスゲイン算出回路は、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、光源種別判定回路は、このＡＥ／ＡＷＢ検出部１４６で算出された積算値に基づいて光源種を検出する。

圧縮・伸張処理部１５２は、ＣＰＵ１１０からの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１０からの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。なお、本実施の形態のデジタルカメラ１０では、静止画に対しては、ＪＰＥＧ規格に準拠した圧縮処理が施され、動画に対してはＭＰＥＧ２規格に準拠した圧縮処理が施される。

メディアインタフェース１５４は、ＣＰＵ１１０からの指令に従い、メモリカード１５６に対してデータの読み／書きを制御する。

モニタインタフェース１５８は、ＣＰＵ１１０からの指令に従い、モニタ２４への表示を制御する。すなわち、ＣＰＵ１１０からの指令に従い、入力された画像信号をモニタ２４に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換してモニタ２４に出力するとともに、所定の文字、図形情報をモニタ２４に出力する。

電源制御部１６０は、ＣＰＵ１１０からの指令に従い、バッテリ１６２から各部への電源供給を制御する。

フラッシュ用のドライバ１６４は、ＣＰＵ１１０からの指令に従い、フラッシュ１６を駆動して発光させる。

ズームパルス検出部１７０は、ズームレンズ１３０の駆動パルス（以下「ズームパルス」という）により、ズームパルス単位で、ズームレンズ１３０の現在位置を検出する。

本例では、ズームレンズ用のドライバ１２３（１２３Ｒ、１２３Ｌ）からモータ１２４（１２４Ｒ、１２４Ｌ）に与えられるズームパルスの数をカウントすることで、ズームパルス単位の現在ズーム位置を検出する。例えば、ズームレンズ１３０Ｚを望遠（テレ）端に向けて移動させる時にはパルス数を加算し、広角（ワイド）端に向けて移動させる時にはパルス数を減算する。

以下では、第１〜第５実施形態に分けて、撮像系１１Ｒ、１１Ｌ間の光学特性差の補正に係る要部機能について詳説する。

（第１実施形態）
第１実施形態では、要部の基本構成について、説明する。

図５は、第１実施形態のデジタルカメラ１０の要部機能ブロック図である。図５にて、図４に示した構成要素には同じ符号を付してあり、既に説明した事項は説明を省略する。

ＥＥＰＲＯＭ１１８は、右眼用の撮像系１１Ｒ（以下「第１の撮像系」という）および左眼用の撮像系１１Ｌ（以下「第２の撮像系」という）におけるズームレンズ１３０ＺＲ、１３０ＺＬの離散的な標準位置Ｚ１〜Ｚ１０（以下「標準ズーム位置」という）と、ズームレンズ１３０ＺＲ、１３０ＺＬに係る撮像系１１Ｒ、１１Ｌ間の光学特性差の補正に用いる標準ズーム位置ごとの補正値（離散補正値）との対応関係を示す情報（離散補正値情報）を記憶する。

本例では、撮像系１１Ｒおよび１１Ｌにより得られる立体画像（右眼画像および左眼画像）に対して撮像系１１Ｒ、１１Ｌ間の光学特性差補正のための画像処理（補正画像処理）を行うので、この補正画像処理にて用いる値が離散補正値に含まれている。

ズームパルス検出部１７０は、ズームレンズ１３０Ｚの駆動に用いる駆動パルス（ズームパルス）により、ズームレンズ１３０Ｚの位置を検出する。つまり、ズームレンズ１３０Ｚの現在位置（以下「現在ズーム位置」という）が標準ズーム位置間のレンズ位置（以下「中間ズーム位置」という）である場合でも、その現在ズーム位置をズームパルス単位で検出する。なお、両方の撮像系１１Ｒおよび１１Ｌにてズームパルス検出を行わなくても、一方の撮像系１１Ｒまたは１１Ｌのみ検出してもよい。

本例では、図４に示したように、ドライバ１２３からモータ１２４に与えられるズームパルスの数をカウントすることで、ズームパルス単位の現在ズーム位置を検出する。なお、ハードウェアによりズームパルス数をカウントする場合には特に限定されず、例えばＣＰＵ１１０のソフトウェア処理によりズームパルス単位で現在ズーム位置を検出してもよい。

撮像制御部１７１は、図４に示したドライバ１２３（１２３Ｒ、１２３Ｌ）、１２５（１２５Ｒ、１２５Ｌ）、１２７（１２７Ｒ、１２７Ｌ）および１３６（１３６Ｒ、１３６Ｌ）を介して、撮像系１１Ｒ、１１Ｌを制御する。撮像制御部１７１の制御により、複数の撮像系１１Ｒ、１１Ｌを用いて同一の被写体を撮像し、視点別の画像（右眼画像および左眼画像）を生成する。撮像された視点別の画像は、立体画像として、ＳＤＲＡＭ１２０に格納される。

表示制御部１７２は、図４に示したモニタインタフェース１５８を介して、モニタ２４による画像の表示を制御する。つまり、ＳＤＲＡＭ１２０に格納された視点別の画像を、立体画像として、モニタ２４に立体表示させる。

記録制御部１７３は、図４に示したメディアインタフェース１５４を介して、メモリカード１５６への画像の記録を制御する。つまり、ＳＤＲＡＭ１２０に格納された視点別の画像を、立体画像として、メモリカード１５６に記録する。

補正値補間部１７４は、現在ズーム位置が中間ズーム位置である場合、ＥＥＰＲＯＭ１１８に記憶されている離散補正値に基づいて、その中間ズーム位置に対応する補正値（以下「中間補正値」という）を算出する。例えば、線形の補間演算により、中間補正値を算出する。

補正部１７６は、現在ズーム位置が離散的な標準ズーム位置である場合には、ＥＥＰＲＯＭ１１８に記憶されていた離散補正値を用いて、撮像系１１Ｒ、１１Ｌ間の光学特性差を補正する。その一方で、補正部１７６は、現在ズーム位置が中間ズーム位置である場合には、補正値補間部１７４により算出される中間補正値を用いて、撮像系１１Ｒ、１１Ｌ間の光学特性差を補正する。この補正により、撮像系１１Ｒ，１１Ｌ間で左右差の無い視点別画像が得られる。なお、補正の具体例は、第２実施形態以降にて詳説するが、例えば、トリミング、リサイズなどの補正画像処理が挙げられる。

図６は、各撮像系１１（１１Ｒ，１１Ｌ）の撮像素子１３４（１３４Ｒ、１３４Ｌ）における画素エリアの説明に用いる説明図である。

図６にて、第１の撮像系１１Ｒの有効画素エリア２００Ｒと第２の撮像系１１Ｌの有効画素エリア２００Ｌは、サイズ（画素数）が等しい。有効画素エリア２００Ｒ、２００Ｌは、各撮像素子１３４Ｒ，１３４Ｌにて原画像を取得可能な最大エリアである。なお、有効画素エリアの外側には、暗電流検出に用いる遮光領域（オプティカルブラック）、撮影レンズ１４（１４Ｒ，１４Ｌ）のイメージサークルから外れる領域などがある。

撮影レンズ１４（１４Ｒ，１４Ｌ）には撮像系間で光学特性の個体差があるため、補正する必要がある。その撮像系間における光学特性差の補正のため、一方の撮像系（例えば１１Ｒ）の撮影画素エリア（例えば２１０Ｒ）を基準にして、他方の撮像系（例えば１１Ｌ）の撮影画素エリア（例えば２１０Ｌ）を設定する。撮影画素エリアは、立体画像として表示または記録される範囲（撮影範囲）である。また、撮像系１１Ｒ、１１Ｌ間の光学特性差の補正のために用いられる画素領域を、以下では「補正領域」という。また、第１の撮像系１１Ｒを基準となる「主撮像系」（基準系）として、第２の撮像系１１Ｌを「従撮像系」としている。主撮像系の撮影画素エリア２１０Ｒ（撮影範囲）に従撮像系１１Ｌの撮影画素エリア２１０Ｌ（撮影範囲）を合わせる。符号２２０は、最小サイズの撮影画素エリア、つまり補正領域（Ｖ方向の補正幅をＣＷＶ、Ｈ方向の補正幅をＣＷＨで示す）が最大であるときの撮影画素エリアを示す。有効画素エリア２００Ｒ、２００Ｌと最小サイズの撮影画素エリア２２０との間の領域が補正領域（「補正シロ」ともいう）である。

このように本実施形態では、有効画素エリア２００Ｒ，２００Ｌのエッジ部分（外周縁部）に、撮像系１１Ｒ、１１Ｌ間の光学特性差を補正するための補正領域が設けられている。補正領域は、画像の縦（Ｖ）方向および横（Ｈ）方向の両方にて設けられている。補正幅ＣＷＶ、ＣＷＨは、撮像系１１Ｒ，１１Ｌ間の光学特性差を見込んで決定され、ＥＥＰＲＯＭ１１８に予め記憶されている。例えば、各撮像系１１Ｒ、１１Ｌで補正領域を半分ずつ使用する場合、ＣＷＶおよびＣＷＨのそれぞれ１／２が片方の撮像系の補正に用いられる。

必要以上の補正領域を持たないようにするためには、複数の撮像系１１Ｒ，１１Ｌのうち、より画角が狭い（焦点距離が大きい）撮像系を基準となる主撮像系とし、主撮像系の撮影画素エリアに従撮像系の撮影画素エリアを合わせることが、好ましい。

図７は、本実施形態における撮像処理例の流れを示す概略フローチャートである。本処理は、図５のＣＰＵ１１０によりプログラムに従って実行される。

ステップＳ１にて、ズームパルス検出部１７０により、初期のズーム位置を検出する。本ステップでは、標準ズーム位置Ｚ１〜Ｚ１０のうちいずれかが検出される。

ステップＳ２にて、離散補正値を用いて、撮像系１１Ｒ、１１Ｌ間の光学特性差を補正する。つまり、ＥＥＰＲＯＭ１１８から初期ズーム位置に対応する離散補正値を取得して、補正部１７６に設定する。そうすると、補正部１７６は、離散補正値を用いて、撮像系１１Ｒ、１１Ｌ間の光学特性差を補正するための補正画像処理を行う。

ステップＳ３にて、補正された視点別の画像を、表示制御部１７２の制御によりモニタ２４に立体表示する。

ステップＳ４にて、ズームボタン２６によるズーム操作の有無を判定する。ズーム操作有りの場合にはステップＳ５に進み、ズーム操作無しの場合にはステップＳ８に進む。

ステップＳ５にて、ズームパルス検出部１７０により、ズームパルス単位で現在ズーム位置を取得する。現在ズーム位置は、標準ズーム位置Ｚ１〜Ｚ１０である場合と、中間ズーム位置である場合がある。

ステップＳ６にて、補正値補間部１７４により、補正値の補間を行う。現在ズーム位置が中間ズーム位置である場合には、現在ズーム位置の前後の標準ズーム位置にそれぞれ対応する離散補正値に基づいて、補間演算により、現在ズーム位置に対応する中間補正値を算出する。現在ズーム位置が標準ズーム位置である場合には、補正値の補間を行わなくてもよい。

ステップＳ７にて、補正部１７６に補正値を設定する。そうすると、補正部１７６は、撮像系１１Ｒ、１１Ｌ間の光学特性差を補正するための補正画像処理を行う。つまり、現在ズーム位置が離散ズーム位置である場合には離散補正値を用いて補正を行い、現在ズーム位置が中間ズーム位置である場合には中間補正値を用いて補正を行う。

ステップＳ８にて、補正された視点別の画像を、表示制御部１７２の制御によりモニタ２４に立体表示する。

ステップＳ９にて、レリーズボタン１８により撮影指示が入力されたか否かを判定する。撮影指示が入力されたときにはステップＳ１０にて進み、撮影指示が入力されないときにはステップＳ４に戻る。

ステップＳ１０にて、撮影処理を行う。つまり、視点別の画像（右眼画像および左眼画像）を、立体画像として、記録制御部１７３によりメモリカード１５６に記録する。

本例では、スルー画の表示中にズーム操作が行われた場合、補正値補間部１７４により補間される補正値を用いてスルー画に対して補正が行われて、補正後のスルー画がモニタ２４に立体表示される。また、レリーズボタン１８により撮影指示の入力を受け付けたとき、スルー画の表示中に補正値補間部１７４により補間される補正値を用いて、撮影指示入力時の視点別の画像に対して補正が行われて、補正後の画像がメモリカード１５６に記録される。

なお、静止画撮影の場合を例に説明したが、動画撮影にも本発明を適用できることは、言うまでもない。つまり、動画撮影中にズーム操作が行われた場合、動画撮影中に補正値補間部１７４により補間される補正値を用いて補正が行われて、補正後の画像がメモリカード１５６に記録される。

従来、スルー画表示中や動画撮影中に連続的なズーミングを行うと、離散的な標準ズーム位置の間（中間域）では、補正も離散的になるため、撮影者にとって見づらい立体画像が表示されていた。本実施形態によれば、中間域にて補正値を補間して撮像系間の光学特性差の補正が行われので、撮影者にとって見やすい立体画像を提示できる。また、本実施形態によれば、離散的な標準ズーム位置に対応する光学特性差のみを測定して、その補正値をＥＥＰＲＯＭ１１８に記憶させておけばよいため、全ズームパルスに対応する光学特性差を測定する場合と比較して、調整工程を短縮できる。

（第２実施形態）
第２実施形態では、撮像系１１Ｒ、１１Ｌ間の光学倍率差（焦点距離差または画角差）に応じて、撮像系１１Ｒ、１１Ｌ間で撮影画素エリア（撮影範囲）を合わせる。

本実施形態における要部機能構成は、図５に示した通りであり、第１実施形態にて既に説明した事項は説明を省略する。

図８は、各撮像系１１Ｒ、１１Ｌによりそれぞれ得られた画像２００Ｒ、２００Ｌを示す。図９は、ＥＥＰＲＯＭ１１８に記憶された離散補正値の一例を示す。以下では、第１の撮像系１１Ｒを基準となる主撮像系、第２の撮像系１１Ｌを従撮像系として説明する。

図９にて、「補正値」は、標準ズーム位置Ｚ１〜Ｚ１０における撮像系１１Ｒ、１１Ｌ間の光学倍率差を示す。設計上は、同じズーム位置の場合、撮像系１１Ｒ、１１Ｌ間で焦点距離が同じであるが、実際は製造誤差等に起因して光学倍率差（焦点距離差または画角差）が生じる。図９にて、例えばＺ６では主撮像系に対して従撮像系に１．０７倍の光学倍率差が生じているので、補正部１７６により、主撮像系の撮影画素エリアに対して従撮像系の撮影画素エリアを１／１．０７倍に設定する。

図５の補正値補間部１７４は、現在ズーム位置が中間ズーム位置である場合、図９に示した離散補正値に基づいて中間補正値を算出する。

図１０は、補間された補正値の一例を示す。図１０にて、「補正値」は、撮像系１１Ｒ、１１Ｌ間の光学倍率差である。標準ズーム位置Ｚ１〜Ｚ１０は、中間ズーム位置と同様、ズームパルス数で表される。標準ズーム位置Ｚ１〜Ｚ１０に対する補正値（離散補正値）は、ＥＥＰＲＯＭ１１８に記憶されていた光学倍率差（図９に示した離散補正値）である。標準ズーム位置間に存在する中間ズーム位置の補正値（中間補正値）は、補正値補間部１７４により、補間演算で算出された光学倍率差である。

図１１は、Ｚ１からＺ２までのズームパルス数と補正値（補正係数）との関係を示すグラフである。本例では、標準ズーム位置間にて、線形に中間補正値を算出する。つまり、線形の補間演算を行う。

撮像処理の流れは、図７を用いて第１実施形態にて説明した通りである。本実施形態では、図７のステップＳ６にて、光学倍率差を補間演算する。また、本実施形態では、図７のステップＳ７にて、撮像系１１Ｒ、１１Ｌ間で撮影画素エリアを合わせるトリミングを行う。具体的には、ズームパルス数（現在ズーム位置）が標準ズーム位置間（中間域）を示す場合には、補正値補間部１７４により算出される光学倍率差に基づいて、主撮像系の撮影画素エリアに対し従撮像系の撮影画素エリアを合わせて、トリミングを行う。

本実施形態によれば、ユーザがスルー画表示中にズーム操作を行った場合、中間域（例えばＺ１とＺ２の間）にズームレンズ１３０が存在しても、ズームパルス数と離散補正値（例えばＺ１およびＺ２に対応する離散補正値）とに基づいて、ズームパルス単位の現在ズーム位置に対応する中間補正値を算出し、この中間補正値を用いて補正画像処理が行われる。したがって、連続的にズーム操作を行った場合でも、標準ズーム位置間で像飛びを発生させることなく、スルー画を表示可能である。

なお、スルー画表示中に補正を行う場合を例に説明したが、動画撮影中に同様な補正を行ってもよいことは、言うまでもない。
（第３実施形態）
第３実施形態では、まず、図１２（Ａ）に示すように、トリミングを行い、次に、図１２（Ｂ）に示すように、撮像系１１Ｒ，１１Ｌ間で画像の画素サイズを合わせるリサイズを行う。つまり、撮影範囲を一致させた後、画像の倍率を一致させる。それ以外の事項については第２実施形態と同じであり、説明を省略する。

図１２（Ａ）にて、主撮像系１１Ｒは従撮像系１１Ｌよりも画角が広い（焦点距離が小さく光学倍率が小さい）。例えば、有効画素エリア２００Ｒ、２００Ｌは１０Ｍピクセル、主撮像系１１Ｒの撮影画素エリア２１０Ｒが８．０Ｍピクセル、従撮像系１１Ｌの撮影画素エリア２１０Ｌが８．６Ｍピクセルである。つまり、本例では、主撮像系１１Ｒに対する従撮像系１１Ｌの光学倍率比が１．０７５（＝８．６／８．０）である。この場合、有効画素エリア２００Ｒ、２００Ｌのフルサイズ画像（原画像）から、撮影画素エリア２１０Ｒ、２１０Ｌの部分の画像（撮影画像）を切り出す。

図１２（Ｂ）にて、主撮像系１１Ｒの撮影画素エリア２１０Ｒが８Ｍピクセルなので、従撮像系１１Ｌの撮影画素エリア２１０Ｌを８Ｍピクセルにする。つまり、従撮像系１１Ｌの画像を８．６Ｍピクセルから８Ｍピクセルに縮小する。リサイズでは、例えば画素の間引きを行う。これにより、撮像系間で撮影画素エリアの画素単位のサイズを合わせる。

本実施形態における要部機能構成は、図５に示した通りであり、第１実施形態および第２実施形態にて既に説明した事項は、その説明を省略する。

本実施形態では、補正部１７６が、図１２（Ａ）を用いて説明したトリミングと、図１２（Ｂ）を用いて説明したリサイズを行う。

（第４実施形態）
第４実施形態では、第３実施形態にて説明したトリミングおよびリサイズを行う前に、有効画素エリア全体のフル画像にて、ディストーション補正（画像歪み補正）およびシェーディング補正（輝度差補正）を行う。それ以外の事項については第３実施形態と同じであり、説明を省略する。

図１３は、本実施形態における補正処理（図７のステップＳ２およびＳ７）の詳細を示すフローチャートである。

ステップＳ１１にて、補正部１７６により、図１４および図１５に示す有効画素エリア２００（２００Ｒ，２００Ｌ）のフル画素にて、ディストーション補正およびシェーディング補正を行う。ディストーション補正では、現在ズーム位置に応じて画像上の歪みを補正する。シェーディング補正では、画像上の輝度差を補正する。なお、ディスーション補正およびシェーディング補正は、周知の技術を用いればよく、詳細な説明は省略する。

ステップＳ１２にて、補正部１７６により、第３実施形態にて説明したトリミングを行う。つまり、図１４にて有効画素エリア２００（２００Ｒ、２００Ｌ）のフルサイズ画像（原画像）から撮影画素エリア２１０（２１０Ｒ、２１０Ｌ）の画像（撮影画像）を切り出す。

ステップＳ１３にて、補正部１７６により、第３実施形成にて説明したリサイズを行う。つまり、図１４にて従撮像系の撮影画素エリア２１０Ｌのサイズを、主撮像系の撮影画素エリア２１０Ｒのサイズに合わせる。

もしもトリミングした画像でディストーション補正やシェーディング補正を行うと、撮像系間で画像に対して同じような補正がかからないが、本実施形態の構成によれば、撮像系間で画像に対して同じ補正がかかる。また、トリミング中心が、撮影レンズ１４Ｒ、１４Ｌの光軸と異なる場合、トリミングを先に行うと違和感が生じるが、その違和感を無くすことができる。

（第５実施形態）
図１６は、第５実施形態における要部機能ブロック図である。なお、図５に示した構成要素には同じ符号を付してあり、第１実施形態〜第４実施形態にて既に説明した内容はその説明を省略する。

撮像系判定部１７５は、複数の撮像系１１Ｒ、１１Ｌのうち、ズームパルス単位で現在ズーム位置での光学倍率（焦点距離）が大きい撮像系を主撮像系と判定して、他方の撮像系を従撮像系と判定する。例えば、図１７に示すように、第１の撮像系１１Ｒの焦点距離ｆ１と第２の撮像系１１Ｌの焦点距離ｆ２との大小関係がＺｘで切り替わる場合、すなわちＺｘにて光学倍率の大小関係が切り替わる光学特性差を二つの撮像系１１Ｒ、１１Ｌが有している場合、二つの撮像系１１Ｒ、１１Ｌのうち、撮影画素エリアを合わせる基準となる主撮像系を切り替える。図１７に示す例では、現在ズーム位置がＺｘ以下である場合には、焦点距離ｆが大きい（画角が小さく光学倍率が大きい）第１の撮像系１１Ｒを主撮像系として選択する。また、現在ズーム位置がＺｘを超える場合には、焦点距離ｆが大きい（画角が小さく光学倍率が大きい）第２の撮像系１１Ｌを主撮像系として選択する。例えば、図９にて、第１の撮像系１１Ｒの焦点距離ｆ１よりも第２の撮像系１１Ｌの焦点距離ｆ２が小さい場合にマイナスの「補正値」をＥＥＰＲＯＭ１１８に記憶し、第１の撮像系１１Ｒの焦点距離ｆ１よりも第２の撮像系１１Ｌの焦点距離ｆ２が大きい場合にプラスの「補正値」をＥＥＰＲＯＭ１１８に記憶する。

補正部１７６は、図１２（Ａ）を用いて説明したトリミングにて、光学倍率が大きな主撮像系の撮影画素エリアを基準として光学倍率が小さな従撮像系の撮影画素エリアを合わせる。また、補正部１７６は、図１２（Ｂ）を用いて説明したリサイズにて、光学倍率が大きな従撮像系の画像の画素サイズを従撮像系の画像の画素サイズに合わせる。つまり、補正領域を最小化しつつ、画像上で主撮像系の倍率と従撮像系の倍率とを同一にする。

図１８は、本実施形態における撮像処理例の流れを示す概略フローチャートである。

ステップＳ２１は、図７に示したステップＳ１と同様である。

ステップＳ２２にて、撮像系判定部１７５は、複数の撮像系１１Ｒ、１１Ｌのうちズームパルス単位の現在ズーム位置での光学倍率が大きい撮像系（例えば１１Ｒ）を主撮像系と判定して、他方の撮像系（例えば１１Ｌ）を従撮像系と判定する。

ステップＳ２３は、図７に示したステップＳ２と同様であるが、本実施形態では、ステップＳ２２の撮像系判定結果に従って、主撮像系の撮影画素エリアに従撮像系の撮影画素エリアを合わせる。

ステップＳ２４〜Ｓ２７は、図７に示したステップＳ３〜Ｓ６と同様である。

ステップＳ２８にて、撮像系判定部１７５は、複数の撮像系１１Ｒ、１１Ｌのうちズームパルス単位の現在ズーム位置での光学倍率が大きい撮像系（例えば１１Ｌ）を主撮像系と判定して、他方の撮像系（例えば１１Ｒ）を従撮像系と判定する。

ステップＳ２９は、図７に示したステップＳ８と同様であるが、本実施形態では、ステップＳ２８の撮像系判定結果に従って、主撮像系の撮影画素エリアに従撮像系の撮影画素エリアを合わせる。

ステップＳ３０〜Ｓ３２は、図７に示したステップＳ８〜Ｓ１０と同様である。

なお、本発明を簡略に説明するため、第１実施形態から第５実施形態に分けて説明したが、第１実施形態から第５実施形態に記載の事項を組み合わせて、本発明を実施してもよいことは言うまでもない。

また、撮像系間の光学特性差の補正として、光学倍率差の補正を行う場合を例に説明したが、このような場合に特に限定されず、本発明は、撮像系間における、光軸傾き、画像ローテーション等の補正にも適用できる。

また、立体撮像装置が立体表示可能なデジタルカメラである場合を例に説明したが、本発明に係る撮像装置はデジタルカメラに特に限定されない。例えば、カメラ付き携帯端末や、固定型のカメラであっても適用可能である。動画撮影専用の撮像装置であっても適用可能である。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…デジタルカメラ、１１（１１Ｒ、１１Ｌ）…撮像系、１８…レリーズボタン、２４…モニタ、２６・・・ズームボタン、１１０…ＣＰＵ、１１２…操作部、１１８…ＥＥＰＲＯＭ、１２０…ＳＤＲＡＭ、１２３（１２３Ｒ，１２３Ｌ）…ズームモータドライバ、１２４（１２４Ｒ，１２４Ｌ）…ズームモータ、１３０（１３０Ｒ，１３０Ｌ）…ズームレンズ、１５６…メモリカード、１７０…ズームパルス検出部、１７１…撮像制御部、１７２…表示制御部、１７３…記録制御部、１７４…補正値補間部、１７５…撮像系判定部、１７６…補正部

Claims (10)

1. ズームレンズをそれぞれ有する第１の撮像系および第２の撮像系と、
   前記ズームレンズを各撮像系の光軸方向にて駆動パルスにより駆動するズームレンズ駆動手段と、
   前記ズームレンズの離散的な位置ごとに、前記第１の撮像系と前記第２の撮像系との光学特性差の補正に用いる補正値を記憶する記憶手段と、
   前記ズームレンズ駆動手段の駆動パルス単位で前記ズームレンズの現在位置を検出する検出手段と、
   前記現在位置が前記離散的な位置の間にある場合、前記記憶手段に記憶されている前記補正値に基づいて前記現在位置に対応する補正値を算出する補正値補間手段と、
   前記現在位置が前記離散的な位置の間にある場合、前記補正値補間手段により算出される前記補正値を用いて前記第１の撮像系と前記第２の撮像系との光学特性差を補正する補正手段と、
   を備えることを特徴とする立体撮像装置。
2. 前記第１の撮像系および前記第２の撮像系の有効画素エリアに、前記光学特性差の補正に用いる補正領域を設けたことを特徴とする請求項１に記載の立体撮像装置。
3. 前記補正手段は、前記撮像系間で画像における撮影範囲を合わせるトリミングを行うことを特徴とする請求項２に記載の立体撮像装置。
4. 前記第１の撮像系および前記第２の撮像系のうち前記現在位置での光学倍率が大きい一方の撮像系を主撮像系と判定して他方の撮像系を従撮像系と判定する判定手段を備え、
   前記補正手段は、前記主撮像系により取得される画像の撮影範囲に前記従撮像系により取得される画像の撮影範囲を合わせる補正を行うことを特徴とする請求項３に記載の立体撮像装置。
5. 前記補正手段は、前記トリミング後に、前記撮像系間で画像の画素サイズを合わせるリサイズを行うことを特徴とする請求項３または４に記載の立体撮像装置。
6. 前記補正手段は、ディストーション補正およびシェーディング補正のうち少なくとも一方の補正を、前記撮像系の有効画素エリアのフル画素にて行った後、前記トリミングを行うことを特徴とする請求項５に記載の立体撮像装置。
7. 前記第１の撮像系および前記第２の撮像系により得られる視点別の画像を、スルー画として、立体表示可能な表示手段に立体表示させる表示制御手段を備え、
   前記補正手段は、前記スルー画の表示中に、前記補正値補間手段により補間される補正値を用いて、前記スルー画に対して補正を行うことを特徴とする請求項１ないし６のうちいずれか１項に記載の立体撮像装置。
8. 撮影指示の入力を受け付ける撮影指示入力手段と、
   前記撮影指示の入力時に前記第１の撮像系および前記第２の撮像系により得られる視点別の画像を記録媒体に記録する記録制御手段と、を備え、
   前記補正手段は、前記補正値補間手段により前記スルー画の表示中に補間される補正値を用いて、前記撮影指示の入力時の前記視点別の画像に対して補正を行うことを特徴とする請求項７に記載の立体撮像装置。
9. 前記補正手段は、動画撮影中に、前記補正値補間手段により補間される補正値を用いて、前記動画に対して補正を行うことを特徴とする請求項１ないし８のうちいずれか１項に記載の立体撮像装置。
10. ズームレンズをそれぞれ有する第１の撮像系および第２の撮像系、前記ズームレンズを各撮像系の光軸方向にて駆動パルスにより駆動するズームレンズ駆動手段、および、前記ズームレンズの離散的な位置ごとに、前記第１の撮像系と前記第２の撮像系との光学特性差の補正に用いる補正値を記憶する記憶手段を用いて行う立体撮像方法であって、
    前記ズームレンズ駆動手段の駆動パルス単位で前記ズームレンズの現在位置を検出する検出ステップと、
    前記現在位置が前記離散的な位置の間にある場合、前記記憶手段に記憶されている前記補正値に基づいて前記現在位置に対応する補正値を算出する補正値補間ステップと、
    前記現在位置が前記離散的な位置の間にある場合、前記補正値補間ステップにて算出される前記補正値を用いて前記第１の撮像系と前記第２の撮像系との光学特性差を補正する補正ステップと、
    を備えることを特徴とする立体撮像方法。