JP2011077819A - 複眼撮像装置及びその輻輳角制御方法並びに撮像画像表示方法 - Google Patents

Abstract

【課題】複眼撮像装置の輻輳角制御を迅速且つ高精度に行う。
【解決手段】輻輳角の制御対象となる複数の撮像部と、撮像部の各々に搭載された固体撮像素子から出力される撮像画像信号のうち各々の固体撮像素子の各々の特定位置の画素から出力された信号を夫々マーカ５４Ｌ，５４Ｒ，５５Ｌ，５５Ｒとして一方の固体撮像素子から出力された撮像画像と他方の固体撮像素子から出力された撮像画像との合成位置をマーカ５４Ｌ，５４Ｒ，５５Ｌ，５５Ｒを用いて決定し輻輳角の制御を行う輻輳角制御部とを備える。
【選択図】図４

Description

本発明は、撮像部を複数搭載した複眼撮像装置と、各撮像部の光軸が交差する角度（輻輳角）を制御する方法と、撮像画像表示方法に関する。

複眼撮像装置は、例えば左眼用撮像部と右眼用撮像部とを備え、各撮像部の撮像画像を合成することで、１枚の被写体画像を生成する。

左眼用撮像部と右眼用撮像部とが同一被写体を撮像する様にその輻輳角を調整し、得られた２枚の撮像画像を重ね合わせ合成することで、その被写体の立体画像を生成することができる。

また、左眼用撮像部と右眼用撮像部とが異なる被写体を撮像し、両方の撮像画像が境目で連続する様に輻輳角を調整して２枚の撮像画像を貼り合わせ合成することで、パノラマ画像を得ることができる。

この様に、複眼撮像装置では、輻輳角制御が重要になってくる。例えば下記の特許文献１，２に記載の複眼撮像装置では、合成後の画像のアスペクト比が所定アスペクト比となるように輻輳角制御を行っている。また、特許文献３，４では、被写体中の顔などの主要被写体の画像を用いて輻輳角制御を行っている。

特開平７―７９３７９号公報 特開平６―６６８０号公報 特開２００８―２２１５０号公報 特開２００２―２３２９１３号公報

輻輳角制御は、各撮像部が向く方向をアクチュエータにより機械的に動かして行うことになるが、これを短時間に行わないと、シャッタチャンスを逃すことになる。特許文献１，２に記載の従来技術の様に、合成後のアスペクト比を計算する方法では、結像倍率や被写体までの距離などを考慮して計算する必要があり、更に、アクチュエータの機械誤差まで考慮して計算するには時間がかかってしまう。

また、特許文献３，４に記載の従来技術の様に、主要被写体に依存して輻輳角制御を行う方法では、主要被写体が何であるかによって制御精度が異なってしまう。

更に、複眼撮像装置の表示画面等に複数の撮像部による撮像画像を表示する場合、輻輳角を動かした時の画像をそのまま重ね合わせて表示すると、目の負担が大きくなってしまう。しかし、表示することを止めると、ユーザは不安になってしまうため、目に負担がかからない表示方法の開発も必要となる。

本発明の目的は、短時間でかつ確実に高精度な輻輳角制御を行うことができる複眼撮像装置及びその輻輳角制御方法並びに画像表示方法を提供することにある。

本発明の複眼撮像装置は、輻輳角の制御対象となる複数の撮像部と、該撮像部の各々に搭載された固体撮像素子から出力される撮像画像信号のうち各々の前記固体撮像素子の各々の特定位置の画素から出力された信号を夫々マーカとして一方の前記固体撮像素子から出力された撮像画像と他方の前記固体撮像素子から出力された撮像画像との合成位置を前記マーカを用いて決定し前記輻輳角の制御を行う輻輳角制御部とを備えることを特徴とする。

本発明の複眼撮像装置の輻輳角制御方法は、輻輳角の制御対象となる複数の撮像部を備える複眼撮像装置の輻輳角制御方法であって、前記撮像部の各々に搭載された固体撮像素子から出力される撮像画像信号のうち各々の前記固体撮像素子の各々の特定位置の画素から出力された信号を夫々マーカとして一方の前記固体撮像素子から出力された撮像画像と他方の前記固体撮像素子から出力された撮像画像との合成位置を前記マーカを用いて決定し前記輻輳角の制御を行うことを特徴とする。

本発明の複眼撮像装置の画像表示方法は、上記の複眼撮像装置の画像表示方法であって、前記一方の前記撮像画像と前記他方の前記撮像画像とを表示部に同時に表示する場合、２つの撮像画像が重なり合う途中の状態のときは一方の撮像画像と他方の撮像画像とを分離して表示し、一方の撮像画像と他方の撮像画像が完全に重なった後に、両撮像画像を重ねて表示することを特徴とする。

本発明によれば、撮像画像中の特定画素位置のマーカを用いて輻輳角制御を行うため、迅速かつ高精度に制御を行うことが可能となる。

本発明の一実施形態に係る複眼撮像装置の外観斜視図である。 図１に示す複眼撮像装置の機能ブロック構成図である。 本発明の一実施形態に係るマーカの説明図である。 図３に示すマーカを用いた輻輳角制御の説明図である。 マーカを用いた輻輳角制御によるパノラマ画像を示す図である。 マーカを用いた輻輳角制御によるステレオ画像を示す図である。 撮像部の回転角θと画像のズレ量ｘとの関係説明図である。 マーカを用いた輻輳角制御の説明図である。 図８の輻輳角制御の処理手順を示すフローチャートである。 本発明の別実施形態の概念説明図である。 図１０に示すマーカのテーブルデータ例を示す図である。 図１０の概念をより具体化した本発明の別実施形態に係るマーカとテーブルデータ図である。 図１２に示す実施形態の輻輳角制御の処理手順を示すフローチャートである。 本発明の一実施形態に係る画面表示方法の説明図である。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、複眼撮像装置の外観斜視図である。この複眼撮像装置１０は、箱状のハウジング１１と、ハウジング１１の前部に並んで設けられた右眼用撮像部１２Ｒ及び左眼用撮像部１２Ｌと、ハウジング１１の前面左肩部に設けられたフラッシュライト１３と、ハウジング１１の上面の適宜箇所に設けられた電源スイッチ１４，シャッタボタン１５，モード選択ダイヤル１６とを備える。

ハウジング１１の背面側には、図２に示す液晶表示部３３を備え、スルー画像やモード選択画面，メニュー画面等が表示される。

右眼用撮像部１２Ｒは前部に撮影レンズ２１Ｒを備え、左眼用撮像部１２Ｌは前部に撮影レンズ２１Ｌを備える。撮影レンズ２１Ｒの光軸２２Ｒと、撮影レンズ２１Ｌの光軸２２Ｌとが交差する角度を輻輳角といい、輻輳角が目標値となるように各撮像部１２Ｒ，１２Ｌの向く方向を制御するアクチュエータが複眼撮像装置１０に内蔵されている。

図２は、図１に示す複眼撮像装置１０の機能ブロック構成図である。複眼撮像装置１０は、２つの撮像ユニット１８Ｒ，１８Ｌを備える。２つの撮像ユニット１８Ｒ，１８Ｌは、同一構成であり、同一仕様の同一部品を用いて製造される。

撮像ユニット１８Ｒは、図１で説明した撮像部１２Ｒを備える。撮像部１２Ｒは、撮影レンズ２１Ｒと、絞り２３Ｒと、メカニカルシャッタ２４Ｒと、固体撮像素子２５Ｒとを備えて構成され、これらは同じ支持体内に一体的に収納される。この支持体の向きを駆動制御することで、光軸の向く方向が制御される。

撮像ユニット１８Ｒは、更に、固体撮像素子２５Ｒから出力されたアナログの撮像画像信号をデジタル信号に変換するＡＤＣ（アナログデジタルコンバータ）制御部２６Ｒと、絞り２３Ｒやメカニカルシャッタ２４Ｒを制御するシャッタ・絞り制御部２７Ｒと、撮影レンズ２１Ｒのズーム位置制御やフォーカス位置制御を行うレンズ制御部２８Ｒとを備える。

撮像ユニット１８Ｌは、図１で説明した撮像部１２Ｌを備える。撮像部１２Ｌは、撮影レンズ２１Ｌと、絞り２３Ｌと、メカニカルシャッタ２４Ｌと、固体撮像素子２５Ｌとを備えて構成され、これらは同じ支持体内に一体的に収納される。この支持体の向きを駆動制御することで、光軸の向く方向が制御される。

撮像ユニット１８Ｌは、更に、固体撮像素子２５Ｌから出力されたアナログの撮像画像信号をデジタル信号に変換するＡＤＣ制御部２６Ｌと、絞り２３Ｌやメカニカルシャッタ２４Ｌを制御するシャッタ・絞り制御部２７Ｌと、撮影レンズ２１Ｌのズーム位置制御やフォーカス位置制御を行うレンズ制御部２８Ｌとを備える。

複眼撮像装置１０は、更に、複眼撮像装置１０を統括制御する中央制御部３１と、フレームメモリ３２と、図１で説明したハウジング背面に設けられる液晶表示部３３と、シャッタボタン１５などを含む操作部３４と、撮影された被写体画像データを記録する記録メディア３５を制御するメディアインタフェース３６と、複眼撮像装置１０を全自動で制御するＡＵＴＯ制御部３７と、撮像画像信号に対して画像処理を施す画像処理部３８と、これらを相互に接続するバス３９とを備える。

撮像ユニット１８Ｒ，１８Ｌの上述したＡＤＣ制御部２６Ｒ，２６Ｌ、シャッタ・絞り制御部２７Ｒ，２７Ｌ、レンズ制御部２８Ｒ，２８Ｌもバス３９に接続される。

本実施形態の複眼撮像装置１０は、更に、図１で説明したアクチュエータを構成する輻輳角制御部４０を備える。この輻輳角制御部４０は、右眼用撮像部１２Ｒ及び左眼用撮像部１２Ｌの各光軸２２Ｒ，２２Ｌ（図１）の向く方向を、ハウジング１１の水平方向（図１のハウジングの長手方向：光軸２２Ｒ，２２Ｌを結ぶ線の方向）に機械的に動かす。即ち、上記の固体撮像素子等を収納した支持体を機械的に動かす。

撮像部１２Ｒ，１２Ｌの各支持体は、上記の水平方向に対して直角の垂直軸によってハウジング１１に取り付けられており、これらの垂直軸周りに各支持体即ち撮像部１２Ｒ，１２Ｌが輻輳角制御部４０によって夫々回転駆動され、輻輳角制御が行われる。輻輳角制御部４０もバス３９に接続され、画像処理部３８及び中央制御部３１からの指示に基づいて輻輳角制御を行う。

中央制御部３１は、書き換え可能なメモリ３１ａを備え、メモリ３１ａには、上記の輻輳角制御を行うための後述するデータが予めテーブルデータとして書き込まれている。

図３は、本実施形態の輻輳角制御方法の説明図である。左眼用固体撮像素子２５Ｌの有効画素領域５１Ｌ及びその周辺部の無効画素領域５２Ｌから撮像画像信号が読み出され、右眼用固体撮像素子２５Ｒの有効画素領域５１Ｒ及びその周辺部の無効画素領域５２Ｒから撮像画像信号が読み出される。

本実施形態では、各固体撮像素子２５Ｌ，２５Ｒから読み出される撮像画像信号のうち、予め決めておいた夫々１つの画素の撮像画像信号の位置をマーカ５４Ｌ，５５Ｌ，５４Ｒ，５５Ｒとして使用する。有効画素領域，無効画素領域の各画素の画素位置（アドレス）は、夫々の固体撮像素子２５Ｌ，２５Ｒの原点位置ＯＬ，ＯＲに対する画素位置として予め分かっており、マーカ５４Ｌ，５５Ｌ，５４Ｒ，５５Ｒの画素位置も、夫々の原点位置に対するアドレスとして既知である。

図示する例では、無効画素領域内の画素から出力された信号位置をマーカとしているが、有効画素領域内の画素から出力された信号位置をマーカとしても良い。

各固体撮像素子２５Ｌ，２５Ｒは、輻輳角制御部４０による駆動によってその位置が移動するため、各マーカ５４Ｌ，５５Ｌ，５４Ｒ，５５Ｒの位置も輻輳角制御によって移動することになる。

そこで、本実施形態では先ず、図４の左図に示すように、複眼撮像装置１０の製造組立時に、図３のマーカ５５Ｌの信号位置と、マーカ５４Ｒの信号位置とが重なって一致する様に、各撮像部１２Ｌ，１２Ｒの取付位置や角度の調整をしておく。マーカの位置を視認できるように、マーカ画像を撮像画像に重畳して液晶表示部３３に表示させるのが良い。

この図４の左図は、図５に示す様に、パノラマ画像を撮像する位置であり、左側の撮像画像と右側の撮像画像とがマーカ５５Ｌ（＝５４Ｒ）の位置を境目として連続するように設定される。

そして、ユーザがモード選択ダイヤル１６を用いてステレオ撮影（立体画像の撮影）を選択した場合には、複眼撮像装置１０は、図４の右図に示す様に、即ち、図６に示す様に、マーカ５４Ｌとマーカ５４Ｒとが重なって一致し、マーカ５５Ｌとマーカ５５Ｒとが重なって一致する位置まで輻輳角制御を行う。

スルー画像を用いた輻輳角制御によってマーカ５４Ｌ（又は５５Ｌ）とマーカ５４Ｒ（又は５５Ｒ）とが重なり一致した後、シャッタボタン１５を押下して本撮影（メカニカルシャッタを用いた撮影）を行い、各固体撮像素子２５Ｒ，２５Ｌから得られた撮像画像の夫々を画像処理し、両撮像画像を関連付けて記録メディア３５に格納する。

逆も同様であり、ユーザがパノラマ画像の撮影を選択した場合には、複眼撮像装置１０は、マーカを用いて輻輳角制御を行い、図４の左図に示す状態に戻す。スルー画像を用いた輻輳角制御によってマーカ５５Ｌ，５４Ｒが一致した後、シャッタボタン１５を押下して本撮影を行い、各固体撮像素子２５Ｒ，２５Ｌから出力された各撮像画像に対して画像処理を施し、両撮像画像を貼り合わせてパノラマ画像にした状態で、記録メディア３５に格納する。

この様に、マーカを用いた輻輳角制御は、各固体撮像素子２５Ｒ，２５Ｌから出力されるスルー画像（本撮影前に各固体撮像素子から動画状態で出力される撮像画像）を用いて計算し、実行するため、迅速な制御ができ、シャッタチャンスを逃すことがなくなる。

なお、輻輳角制御を行う場合、両方の撮像部１２Ｒ，１２Ｌを同時に移動させても良いが、一方を撮像部を固定して該撮像部の撮像画像信号に付けたマーカを基準とし、他方の撮像部を移動させ、他方の撮像部の撮像画像信号に付けたマーカを前記の基準としたマーカに一致させる様に輻輳角制御を行っても良い。

図７は、輻輳角制御のために撮像部１２Ｒ，１２Ｌの夫々の光軸を動かす角度θと撮像画像が動く範囲（距離）ｘを示す図である。θとして何度動かせば距離ｘが動くという情報を予めメモリ３１ａ内にテーブルデータとして持っていれば、マーカを所要位置に移動させるには撮像画像をｘ方向に何ピクセル動かせば良いかという情報から、各撮像部の光軸を何度だけ動かせば良いかが分かる。即ち、輻輳角制御の制御目標値θが分かる。

これにより、制御目標値近傍までは高速に各撮像部の回転移動が可能となり、迅速かつ１画素単位の高精度な輻輳角制御が可能となる。制御目的値の近傍位置まで制御が進んだときは、より高精度な位置制御を行う。

図８は、パノラマ画像の合成時を例に説明する図であり、マーカを高精度に一致させるときの説明図である。輻輳角制御を行って各撮像部１２Ｒ，１２Ｌを上記の垂直軸周りに回転移動させ、マーカ５５Ｌとマーカ５４Ｒとを一致させるようにする。しかし、マーカは１画素を単位として付けられているため、図８の上段に示すように、一度目の制御で完全に一致させることができない場合もある。

そこで、両マーカ５５Ｌ，５４Ｒが一致していないときは両者間のズレ量（画素間距離）を算出し、このズレ量に相当する移動角θを算出し、再度、撮像部を回転駆動する。これにより、図８の下段に示す様に、両マーカ５５Ｌ，５４Ｒは高精度に一致する。

図９は、図８で説明した制御手順を示すフローチャートである。本実施形態の複眼撮像装置１０は、ディフォルトの設定が「ステレオ撮影」であるため、ユーザがモード選択ダイヤル１６で「パノラマ撮影」を選択しない限り、ステレオ撮影が行われる（ステップＳ１）。

ここで、ユーザがモード選択ダイヤル１６で「パノラマ撮影」を選択すると、このパノラマ撮影への切り替えは輻輳角駆動スイッチをオンさせる選択であるため、次のステップＳ２における輻輳角駆動スイッチがオンか否かの判定結果が肯定（Ｙｅｓ）となる。この判定結果が否定の場合にはステップＳ１に戻る。

ステップＳ２の判定結果がＹｅｓとなったときは、メモリ３１ａのテーブルデータを読み込み（ステップＳ３）、テーブルデータから求めた角度θに基づき、各撮像部を回転させ輻輳角制御を行う（ステップＳ４）。

そして次に、マーカ５５Ｌとマーカ５４Ｒとが一致しているか否かを判定し（ステップＳ５）、一致している場合にはステップＳ６に進んでパノラマ撮影を行う。

両マーカ５５Ｌ，５４Ｒが一致していない場合には、ステップＳ５からステップＳ７に進んでマーカ５５Ｌ，５４Ｒ間のズレ量を計算し、次に、このズレ量に対応する角度を算出し（ステップＳ８）、この角度だけ撮像部を駆動する（ステップＳ９）。

そして再びマーカ５５Ｌ，５４Ｒが一致しているか否かを判定し（ステップＳ１０）、一致している場合にはステップＳ６に進んでパノラマ撮影を行い、一致していない場合にはステップＳ７に戻る。

以上により、ステレオ撮影モードからパノラマ撮影モードへの移行を迅速かつ高精度に行うことが可能となる。パノラマ撮影モードからステレオ撮影モードへの切り替えも、基本的には図９の処理手順と同じであり、一致するか否かを判定するマーカが異なるだけである。ステレオ撮影の場合は、図６に示す様に、マーカ５５Ｌとマーカ５５Ｒとが一致するか否かや、マーカ５４Ｌとマーカ５４Ｒとが一致するか否かで行う。

図１０は、本発明の別実施形態の概念説明図である。上述した実施形態では、左眼用の撮像画像の左右に２箇所、右眼用の撮像画像の左右に２箇所の計４箇所にマーカを設けた。しかし、マーカの数はこれに限る訳ではなく、更に細かくマーカを付けて、様々な画像合成に対処することもできる。

図１０で説明する概念は、１枚の画像データに、８つのマーカを付け、夫々のマーカ間で画像をずらすときの撮像部の回転角θを示している。最も、マーカを８つに限る訳ではないことはいうまでもない。マーカ１とマーカ２との画素間距離１に対する回転角（移動角）がθ１、マーカ２とマーカ３との画素間距離２に対する回転角がθ２、マーカ１とマーカ３との画素間距離３に対する回転角がθ３、……という関係を、複眼撮像装置１０の出荷前に予め調べておき、これを図１１に示すテーブルデータとしてメモリ３１ａ内に格納しておくことで、撮影時に最適な輻輳角制御が可能となる。

左右の一方の画像にだけ図１０に示す８個のマーカを付け、他方の画像には、この８個のマーカに一致させるマーカを１個だけ設け、この１個のマーカを基準として他方の８個のマーカのうちの１つが一致するように輻輳角制御を行う様にすることでも良い。しかし、１個では無く両方の画像に８個づつ付け、これらマーカを用いて輻輳角制御を行っても良いことはいうまでもない。

例えば８個のマーカの夫々を、左右夫々の画像に付ける。撮影レンズとして望遠レンズを採用した場合、そのズーム位置として、ズーム無し、ズーム１，ズーム２，ズーム３の４位置が選択できるとすると、ステレオ撮影とパノラマ撮影とで夫々のズーム位置毎にマーカを設ければ、計８個となる。

この様に、各マーカに対してズーム位置等の条件を設定することにより、細かく輻輳角を調整したい場合でも短時間で高精度に輻輳角制御を行うことが可能となる。撮像画像中の特定位置の画素信号に付けたマーカによって輻輳角制御を行う本実施形態の構成は、被写体撮像画像中から特徴点を抽出して求めた主要被写体に依存して輻輳角制御する従来技術と比較しても、撮像画像中の被写体に依存しない制御が行えるため、どのような被写体であっても、高速，高精度の輻輳角制御が可能となる。

図１２は、図１０で説明した概念をより具体化した本発明の別実施形態に係るマーカ及びテーブルデータの説明図である。上記したように、本実施形態では、左眼用画像に左から右側にかけて略等分に８つのマーカ１〜８を付け、右眼用画像の左端部分に１つの参照マーカを付けた例を示している。右眼用画像の参照マーカが、左眼用画像のマーカ１〜８のいずれかのマーカに一致するように輻輳角制御を行う。

図１２の下段に示すテーブルデータは、ズーム倍率（１倍，２倍，３倍，４倍）と、撮影モードがステレオモードであるかパノラマモードであるかによって制御目標値とする輻輳角の値の設定されている。

図示する例では、ズーム倍率が４倍でかつステレオ撮影モードが選択されていた場合には、右眼用の参照マーカが左眼用のマーカ１に一致するように輻輳角制御が行われる。このときの輻輳角は４０度となっている。

また、ズーム倍率が３倍でステレオ撮影モードが選択された場合には、右眼用の参照マーカが左眼用のマーカ２（マーカ１から５００ピクセル離れている。）に一致するように輻輳角制御が行われる。このときの輻輳角は３５度である。

ズーム倍率が１倍でパノラマ撮影モードが選択されている場合には、右眼用の参照マーカが左眼用のマーカ５と一致するように輻輳角制御が行われる。このときの輻輳角は２０度である。

図示する例では、ズーム倍率が２倍以上の場合、パノラマ撮影モードには対応させていない。

図１３は、図１２の実施形態における処理手順を示すフローチャートである。先ず、ユーザの設定したズーム位置を読み込み（ステップＳ１１）、次に、このズーム位置と、現在の撮影モードがステレオ撮影モードであるかパノラマ撮影モードであるかにより、図１２の下段のテーブルデータを参照し、図１２の参照マーカに一致させる左眼用画像のマーカを決定する（ステップＳ１２）。

そして次のステップＳ１３では、参照マーカとステップＳ１２で決定したマーカとが一致するように輻輳角駆動を行うと共に、ステップＳ１４で、表示部の画像移動を行うべく表示制御を行う。この表示制御については、次の図１４で説明する。

このステップＳ１４の画像表示制御後の処理手順は、図９で説明した処理手順と同じであり、先ず参照マーカと左眼用マーカとが所定誤差範囲で一致しているか否かを判定し（ステップＳ５）、一致している場合にはステップＳ６に進んでその撮影モードでの撮影を行う。

参照マーカと左眼用マーカとが一致していない場合には、ステップＳ５からステップＳ７に進んで両マーカ間のズレ量を計算し、このズレ量に対応する角度を算出し（ステップＳ８）、この角度だけ撮像部を駆動する（ステップＳ９）。

そして再び両マーカが一致しているか否かを判定し（ステップＳ１０）、一致している場合にはステップＳ６に進んでその撮影モードで撮影を行い、一致していない場合にはステップＳ７に戻る。

図１４は、液晶表示部３３に対する画像表示制御方法を説明する図である。特に、ステレオ画像は、左画像と右画像とを重ね合わせた画像となるが、立体画像になった後の合成画像を液晶表示部３３に表示するのであれば、目の負担は軽い。しかし、立体画像となる前の重ね合わせ中の画像を表示すると、目の負担は重い。

例えば、図５に示すパノラマ画像の左右の画像を中央に寄せていく途中の重複画像を表示すると、異なる被写体の画像が重なった画像となるため、かなり見づらい画像表示となる。

そこで、本実施形態では、パノラマ撮影からステレオ撮影への切替時には、画面６２に示す様に、左右に貼り合わせられた左画像を下側に移動させる共に右画像を上側に移動させ、次に、画面６１に示す様に、画面上半分の右画像と画面下半分の左画像を、輻輳角制御に従って中央方向にスライド表示させる（図１３のステップＳ１４の画像移動）。そして、輻輳角制御の終了位置に来たとき、右画像を下げ、左画像を上げて、画面６５に示す様にステレオ画像（立体画像）を表示する。

逆にステレオ撮影からパノラマ撮影への切替時には、画面６５の状態から、右画像を上側に、左画像を下側に移動させて、両画像を画面の上半分と下半分の各分割画面に完全に分離する。そして、画面６３に示す様に、輻輳角制御に従って、右画像と左画像とを各分割画面内でスライドさせ（図１３のステップＳ１４の画像移動表示）、パノラマ撮影位置に来たとき、画面６４に示す様に、左画像を上側に移動させると共に右画像を下側に移動させて、両画像を同一高さに表示し、画面６６の状態とする。

この様な表示を行うことで、ユーザの目の負担が軽くなる画面表示が可能となる。撮影レンズのズーム操作や絞り操作が行われた場合も同様の表示を行う。

なお、上述した実施形態では、マーカが一致するように輻輳角制御を行うが、各撮像部は機械的に駆動されるため、機械誤差が経年的に変動してしまい、マーカは一致しているのに実際の画像がずれてしまうという事態も起こり得る。

そこで、この様な場合に対処するために、本実施形態の複眼撮像装置では、定期的に左右の画像のオーバーラップ領域の一致度を見て、例えば図５のマーカ５５Ｌ，５４Ｒが一致しているのに、このオーバーラップ領域（マーカ５５Ｌ下の実線と点線で挟まれた領域）の画像の一致度が所定値以下の場合には、オーバーラップ領域の画像間のズレ量をテーブルデータに反映させるようにする。マーカ設定位置をずらしても良い。オーバーラップ領域の画像の一致度で判定するのではなく、高精度な輻輳角検出センサを設けて校正することでも良い。

以上述べた様に、実施形態による複眼撮像装置及びその輻輳角制御方法は、輻輳角の制御対象となる複数の撮像部を備える複眼撮像装置において、前記撮像部の各々に搭載された固体撮像素子から出力される撮像画像信号のうち各々の前記固体撮像素子の各々の特定位置の画素から出力された信号を夫々マーカとして一方の前記固体撮像素子から出力された撮像画像と他方の前記固体撮像素子から出力された撮像画像との合成位置を前記マーカを用いて決定し前記輻輳角の制御を行うことを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、一方の前記固体撮像素子から出力された撮像画像の前記マーカを、他方の前記固体撮像素子から出力された撮像画像の前記マーカに一致させるために動かす前記撮像画像の移動距離と前記輻輳角の値との関係を予めテーブルデータとして保持することを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、前記輻輳角の制御に用いる前記撮像画像は、本撮影前に各々の前記固体撮像素子から動画状態で出力されるスルー画像であることを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、ステレオ撮影時のマーカと、パノラマ撮影時のマーカを持つことを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、前記撮像部が備えるズームレンズのズーム位置及び絞り位置に対応する前記マーカを持つことを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、一回目の輻輳角制御で輻輳角を制御目標値に一致させることができなかったとき該輻輳角の微調整を行い制御目標値に一致させることを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、前記一方の前記撮像画像に付けられた前記マーカを基準として前記他方の前記撮像画像に付けられた前記マーカを移動させるように前記輻輳角制御を行うことを特徴とする。

また、実施形態の複眼撮像装置及びその輻輳角制御方法は、上記のいずれかに記載の複眼撮像装置の輻輳角制御方法であって、前記マーカの位置及び該マーカの位置に対応する輻輳角との関係が経年的に所定値以上ずれたとき校正することを特徴とする。

また、実施形態の複眼撮像装置の画像表示方法は、前記一方の前記撮像画像と前記他方の前記撮像画像とを表示部に同時に表示するに際し、輻輳角制御の途中における一方の撮像画像と他方の撮像画像とを前記表示部の画面上で上下又は左右に分離して表示し、輻輳角制御の終了時に両撮像画像を重ねて表示することを特徴とする。

また、実施形態の複眼撮像装置の画像表示方法は、前記表示部の画面を２分割し、一方の分割画面に前記一方の撮像画像を表示すると共に該分割画面中で該撮像画像の表示位置を前記輻輳角の移動に応じてスライドさせて表示し、他方の分割画面に前記他方の撮像画像を表示すると共に該分割画面中で該撮像画像の表示位置を前記輻輳角の移動に応じてスライドさせて表示することを特徴とする。

また、実施形態の複眼撮像装置の画像表示方法の前記表示部への表示は、パノラマ撮影とステレオ撮影の切替時及びズーム位置，絞り位置の切替時に行うことを特徴とする。

以上述べた実施形態によれば、輻輳角制御を迅速かつ高精度に行うことができるため、シャッタチャンスを逃すことなく立体写真やパノラマ写真を撮ることが可能となる。

本発明に係る複眼撮像装置は、ステレオ撮影モードとパノラマ撮影モードの切り替えを高速かつ高精度に行うことが可能となり、複眼撮像装置の一般への普及を図るのに有用である。

１０ 複眼撮像装置
１１ ハウジン
１２Ｒ 右眼用撮像部
１２Ｌ 左眼用撮像部
２２Ｒ 右眼用撮像部の光軸
２２Ｌ 左眼用撮像部の光軸
２５Ｒ 右眼用の固体撮像素子
２５Ｌ 左眼用の固体撮像素子
３１ 中央制御部
３１ａ テーブルデータ用のメモリ
３８ 画像処理部
４０ 輻輳角制御部
５４Ｒ，５４Ｌ，５５Ｒ，５５Ｌ マーカ

Claims (19)

1. 輻輳角の制御対象となる複数の撮像部と、該撮像部の各々に搭載された固体撮像素子から出力される撮像画像信号のうち各々の前記固体撮像素子の各々の特定位置の画素から出力された信号を夫々マーカとして一方の前記固体撮像素子から出力された撮像画像と他方の前記固体撮像素子から出力された撮像画像との合成位置を前記マーカを用いて決定し前記輻輳角の制御を行う輻輳角制御部とを備える複眼撮像装置。
2. 請求項１に記載の複眼撮像装置であって、一方の前記固体撮像素子から出力された撮像画像の前記マーカを、他方の前記固体撮像素子から出力された撮像画像の前記マーカに一致させるために動かす前記撮像画像の移動距離と前記輻輳角の値との関係を予めテーブルデータとして保持するメモリを備える複眼撮像装置。
3. 請求項１又は請求項２に記載の複眼撮像装置であって、前記輻輳角の制御に用いる前記撮像画像は、本撮影前に各々の前記固体撮像素子から動画状態で出力されるスルー画像である複眼撮像装置。
4. 請求項１乃至請求項３のいずれかに記載の複眼撮像装置であって、ステレオ撮影時のマーカと、パノラマ撮影時のマーカを持つ複眼撮像装置。
5. 請求項１乃至請求項４のいずれかに記載の複眼撮像装置であって、前記撮像部はズームレンズ及び絞りを備え、各ズーム位置，絞り位置に対応する前記マーカを持つ複眼撮像装置。
6. 請求項１乃至請求項５のいずれかに記載の複眼撮像装置であって、前記輻輳角制御部に制御指令を出力する制御手段を備え、該制御手段は、一回目の輻輳角制御で輻輳角を制御目標値に一致させることができなかったとき該輻輳角の微調整を行い制御目標値に一致させる複眼撮像装置。
7. 請求項１乃至請求項６のいずれかに記載の複眼撮像装置であって、前記一方の前記撮像画像に付けられた前記マーカを基準として前記他方の前記撮像画像に付けられた前記マーカを移動させるように前記輻輳角制御を行う複眼撮像装置。
8. 請求項１乃至請求項７のいずれかに記載の複眼撮像装置であって、前記マーカの位置及び該マーカの位置に対応する輻輳角との関係を校正する校正手段を備える複眼撮像装置。
9. 輻輳角の制御対象となる複数の撮像部を備える複眼撮像装置の輻輳角制御方法であって、前記撮像部の各々に搭載された固体撮像素子から出力される撮像画像信号のうち各々の前記固体撮像素子の各々の特定位置の画素から出力された信号を夫々マーカとして一方の前記固体撮像素子から出力された撮像画像と他方の前記固体撮像素子から出力された撮像画像との合成位置を前記マーカを用いて決定し前記輻輳角の制御を行う複眼撮像装置の輻輳角制御方法。
10. 請求項９に記載の複眼撮像装置の輻輳角制御方法であって、一方の前記固体撮像素子から出力された撮像画像の前記マーカを、他方の前記固体撮像素子から出力された撮像画像の前記マーカに一致させるために動かす前記撮像画像の移動距離と前記輻輳角の値との関係を予めテーブルデータとして保持する複眼撮像装置の輻輳角制御方法。
11. 請求項９又は請求項１０に記載の複眼撮像装置の輻輳角制御方法であって、前記輻輳角の制御に用いる前記撮像画像は、本撮影前に各々の前記固体撮像素子から動画状態で出力されるスルー画像である複眼撮像装置の輻輳角制御方法。
12. 請求項９乃至請求項１１のいずれかに記載の複眼撮像装置の輻輳角制御方法であって、ステレオ撮影時のマーカと、パノラマ撮影時のマーカを持つ複眼撮像装置の輻輳角制御方法。
13. 請求項９乃至請求項１２のいずれかに記載の複眼撮像装置の輻輳角制御方法であって、前記撮像部が備えるズームレンズのズーム位置及び絞り位置に対応する前記マーカを持つ複眼撮像装置の輻輳角制御方法。
14. 請求項９乃至請求項１３のいずれかに記載の複眼撮像装置の輻輳角制御方法であって、一回目の輻輳角制御で輻輳角を制御目標値に一致させることができなかったとき該輻輳角の微調整を行い制御目標値に一致させる複眼撮像装置の輻輳角制御方法。
15. 請求項９乃至請求項１４のいずれかに記載の複眼撮像装置の輻輳角制御方法であって、前記一方の前記撮像画像に付けられた前記マーカを基準として前記他方の前記撮像画像に付けられた前記マーカを移動させるように前記輻輳角制御を行う複眼撮像装置の輻輳角制御方法。
16. 請求項９乃至請求項１５のいずれかに記載の複眼撮像装置の輻輳角制御方法であって、前記マーカの位置及び該マーカの位置に対応する輻輳角との関係が経年的に所定値以上ずれたとき校正する複眼撮像装置の輻輳角制御方法。
17. 請求項１乃至請求項８のいずれかに記載の複眼撮像装置の画像表示方法であって、前記一方の前記撮像画像と前記他方の前記撮像画像とを表示部に同時に表示するに際し、輻輳角制御の途中における一方の撮像画像と他方の撮像画像とを前記表示部の画面上で上下または左右に分離して表示し、輻輳角制御の終了時に両撮像画像を重ねて表示する複眼撮像装置の画像表示方法。
18. 請求項１７に記載の複眼撮像装置の画像表示方法であって、前記表示部の画面を２分割し、一方の分割画面に前記一方の撮像画像を表示すると共に該分割画面中で該撮像画像の表示位置を前記輻輳角の移動に応じてスライドさせて表示し、他方の分割画面に前記他方の撮像画像を表示すると共に該分割画面中で該撮像画像の表示位置を前記輻輳角の移動に応じてスライドさせて表示する複眼撮像装置の画像表示方法。
19. 請求項１７又は請求項１８に記載の複眼撮像装置の画像表示方法であって、前記表示部への表示は、パノラマ撮影とステレオ撮影の切替時およびズーム位置，絞り位置の切替時に行う複眼撮像装置の画像表示方法。

Images