JP2011071605A - 立体撮像装置及び立体撮像方法 - Google Patents

Abstract

【課題】被写体が画面枠から外れやすいシーンでも被写体が高画質な撮影画像として残る可能性を高める。
【解決手段】第１撮像部の撮影レンズが望遠側に変倍されると、広角側に変倍されたときよりも、第２撮像部の撮影レンズの焦点距離は、第１撮像部の撮影レンズの焦点距離よりも大幅に広角側にシフトされ、第２撮像部から出力された画像７７Ｒは、第１撮像部から出力された画像７７Ｌよりも広い範囲が撮影される。このため、フレーミング枠７４からはみ出した被写体７８’が画像７７Ｒに写っている可能性が高くなる。本番撮影時に、第１，第２撮像部から同期してフレーム画の第１，第２画像の各画像データが出力される。第１画像の撮像範囲に対応するトリミング範囲で第２画像からトリミングして第３画像の画像データを求め、第１〜第３画像は、圧縮伸張処理回路によって所定のファイル形式で１個の画像ファイルとして圧縮され、メモリカードに記録される。
【選択図】図７

Description

本発明は、一対の撮像部を備え、立体視可能な映像の撮影を行う立体撮像装置及び立体撮像方法に関するものである。

一対の撮像部によって異なる視点から同時に被写体を撮影し、互いに視差を有する２つの画像を作成することにより立体画像を得る三次元（以下３Ｄという）デジタルカメラ（立体撮像装置）が知られている（例えば、非特許文献１参照）。この３Ｄデジタルカメラの背面に設けられた液晶ディスプレイ（以下ＬＣＤという）は、２つの画像が観察者の左右の目によってそれぞれ別々に観察されるように表示する。これにより、観察者は、３Ｄデジタルカメラにより撮影された画像を立体画像として裸眼で観察することができる。

また、焦点距離の短い第１の焦点距離を有する広角の第１のレンズを装着した第１のカメラと、焦点距離の長い第２の焦点距離を有する標準画角の第２のレンズを装着した第２のカメラとでそれぞれ同じ被写体を撮像し、画像処理手段により、広角の第１のカメラで撮像した画像を、見かけ上標準画角の第２のカメラで撮影した画角と等価になるように画像を補正し、第２のカメラで撮像した画像と補正した画像とを左右の肉眼で観察することにより、立体的に被写体を観察することができるようにした立体内視鏡装置が知られている（特許文献１参照）。また、この装置では、最初に患部を探すために、平面的ではあるが、広角の第１のカメラを用いて広範囲を撮影し、その後、患部を詳細に観察するために、標準画角の第２のカメラも併用して、狭い範囲を拡大して立体的な撮影を行なっている。

また、一度の撮影で画角が異なる複数個の画像を得ることができる撮像装置が知られている（特許文献２参照）。この装置では、撮影したままのトリミングしていない画像と、この画像の一部をトリミングして得られる望遠的な画像との両方を、一度の撮影で得ることができる。

特開平９−５６４３号公報 特開２００６−２１１４８９号公報

３Ｄデジタル映像システム、［online］、［平成２１年９月８日検索］、インターネット（http://www.fujifilm.co.jp/corporate/news/article/ffnr0226.html）

ところで、動きが速い被写体を追いかけながら望遠撮影しているときなど、不慣れなユーザの場合、シャッタを切った瞬間に被写体がフレームアウトしてしまい、撮影したつもりの被写体が実際には撮影されていないということがある。このような不測な事態でも、被写体の画像を残したいという要望がある。

上記特許文献１記載の装置では、広角の二次元（以下、２Ｄという）撮影と、これよりも望遠の標準画角による３Ｄ撮影の両方を切り替えて撮影できるので、どうしても被写体の画像を残したい場合、広角の２Ｄ撮影に切り替えて撮影すれば、撮影画面内に被写体が写る可能性が高くなる。しかしながら、望遠の標準画角による３Ｄ撮影で撮影できたつもりが、後で撮影した画像を確認してみると、写したい被写体が撮影画面内から外れていた、という上記のような不測の事態に対処することはできない。

上記特許文献２記載の装置では、スルー画表示でフレーミングした画像は記憶されるため、トリミングによって得られる望遠的な画像から被写体が外れた場合でも、スルー画表示の枠でフレーミングされたトリミングしていない画像に被写体が含まれている可能性はある。しかしながら、スルー画用の画像は、フィールド画像であるため、本番撮影で用いられる記録用のフレーム画像に比べて大幅に低い画質になるという問題点がある。

本発明は上記問題を解決するためになされたものであり、被写体の動きが速い場合など被写体が画面枠から外れやすいようなシーンでも被写体が高画質の撮影画像として写っている可能性を高めることができる立体撮像装置及び立体撮像方法を提供することを目的とする。

上記目的を達成するため、本発明の立体撮像装置は、焦点距離が一定の範囲内で可変自在なズーム光学系をそれぞれ備え、互いに視差を有する画像を同時に撮像する第１，第２撮像手段と、前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離よりも広角側へシフトする焦点距離調整手段と、前記第２撮像手段から得られた第２画像から、この第２画像と同時に前記第１撮像手段から得られた第１画像と同じ画角の第３画像を生成する第３画像生成手段と、前記第１画像と第３画像とから立体画像を生成する立体画像生成手段と、前記第１，第２及び第３画像、又は第１，第２画像及び第１画像撮影時の焦点距離を記憶する記憶手段とを備えたことを特徴とする。

前記焦点距離調整手段は、前記第１撮像手段の光学系の焦点距離が望遠寄りであればある程、前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合が大きくなるようにすることが好ましい。

前記第１，第２撮像手段が互いに同じ範囲内で焦点距離の変倍を行なう同型のズーム光学系を備えたものである場合、前記焦点距離調整手段は、前記第１撮像手段の光学系が最広角の焦点距離であるとき、前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離と同じ最広角の焦点距離にセットし、この前記第１撮像手段の光学系が最広角の焦点距離であるときを除き、前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離よりも広角側へシフトすることが好ましい。

前記記憶手段に記憶する画像の記録画素数を設定する記録画素数設定手段を設け、前記記録画素数設定手段によって設定された記録画素数に応じて、前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合を変更することが好ましい。

前記第１画像から主要被写体を検出する主要被写体検出手段を設け、前記主要被写体の状態に応じて、前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合を変更することが好ましい。

前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合を大きくする場合の前記主要被写体の状態は、前記主要被写体が前記第１画像の画面端に居る、前記主要被写体が動いている、前記主要被写体の被写体距離が所定の距離よりも短い、のいずれか１つの状態、またはこれらの組み合わせの状態であることが好ましい。

本発明の立体撮像方法は、焦点距離が一定の範囲内で可変自在なズーム光学系をそれぞれ備えた第１，第２撮像手段が、互いに視差を有する画像を同時に撮像する第１ステップと、前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離よりも広角側へシフトする第２ステップと、前記第２撮像手段から得られた第２画像から、この第２画像と同時に前記第１撮像手段から得られた第１画像と同じ画角の第３画像を生成する第３ステップと、前記第１画像と第３画像とから立体画像を生成する第４ステップと、前記第１，第２及び第３画像、又は第１，第２画像及び第１画像撮影時の焦点距離を所定の記憶手段に記憶する第５ステップとからなることを特徴とする。

本発明の立体撮像装置及び立体撮像方法によれば、第２撮像手段の光学系の焦点距離を第１撮像手段の光学系の焦点距離よりも広角側へシフトするとともに、第２撮像手段から得られた第２画像から第１撮像手段から得られた第１画像と同じ画角の第３画像を生成し、第１画像と第３画像から立体画像を生成するとともに、第１，第２及び第３画像、又は第１，第２画像及び第１画像撮影時の焦点距離を所定の記憶手段に記憶するので、被写体の動きが速い場合など被写体が第１画像の画面枠から外れやすいようなシーンでも、被写体が高画質な第２画像に写っている可能性が高くなる。

第１撮像手段の光学系の焦点距離が望遠寄りであればある程、第２撮像手段の光学系の焦点距離を広角側へシフトする度合が大きくなるので、被写体が画面枠から外れやすくなればなる程、被写体が高画質な第２画像に写っている確率を高めることができる。

第１，第２撮像手段が共に同型のズーム光学系を備えたものである場合、第１撮像手段の光学系が最広角の焦点距離であるときを除き、第２撮像手段の光学系の焦点距離を第１撮像手段の光学系の焦点距離よりも広角側へシフトするので、第２撮像手段の光学系を、第１撮像手段の光学系よりも少なくとも広角側に広い範囲で焦点距離を変倍できる第１撮像手段とは別タイプのものにすることによる高コスト化を避けることができるとともに、被写体の動きが速い場合など被写体が画面枠から外れやすいようなシーンでも、被写体が高画質な第２画像に写っている可能性が高くなる。また、第１撮像手段の光学系が最広角の焦点距離であるときは、被写体を撮影範囲内から外す可能性が低いため、第１，第２撮像手段が共に同型のズーム光学系を備えたものであっても、実質的な支障はない。

設定された記録画素数に応じて、第２撮像手段の光学系の焦点距離を広角側へシフトする度合を変更するので、記録画素数が大きければ広角側へシフトする度合を小さくして高画質の３Ｄ画像を得ることができ、記録画素数が小さければ広角側へシフトする度合を大きくして撮影範囲から外れた被写体が第２画像に写っている可能性を高めることができる。

主要被写体の状態に応じて、第２撮像手段の光学系の焦点距離を広角側へシフトする度合を変更するので、主要被写体が撮影範囲から外れやすい状況下でも主要被写体が高画質な第２画像に写っている可能性を高めることができる。

主要被写体が第１画像の画面端に居る、主要被写体が動いている、主要被写体の被写体距離が所定の距離よりも短い、といった主要被写体が撮影範囲から外れやすい状況下で、第２撮像手段の光学系の焦点距離を広角側へシフトする度合を大きくするので、主要被写体が高画質な第２画像に写っている可能性をより高めることができる。

本発明の第１実施形態である３Ｄカメラの正面斜視図である。 ３Ｄカメラの背面斜視図である。 視差を有する２つの画像を用いた３Ｄ画像の表示原理を示す説明図である。 ３Ｄカメラの電気的構成を示すブロック図である。 ３Ｄ静止画撮影モードにおける処理の流れを示すフローチャートである。 広角撮影における第２撮像部の撮影レンズのシフト状況を示す説明図である。 望遠撮影における第２撮像部の撮影レンズのシフト状況を示す説明図である。 第２実施形態の３Ｄカメラの電気的構成を示すブロック図である。 ３Ｄ静止画撮影モードにおける処理の流れを示すフローチャートである。 設定された記録画素数が大きい場合の第２撮像部の撮影レンズのシフト状況を示す説明図である。 設定された記録画素数が小さい場合の第２撮像部の撮影レンズのシフト状況を示す説明図である。 第３実施形態の３Ｄカメラの電気的構成を示すブロック図である。 ３Ｄ静止画撮影モードにおける処理の流れを示すフローチャートである。 主要被写体が画面中央で動きもほとんど無い状態での第２撮像部の撮影レンズのシフト状況を示す説明図である。 主要被写体が画面の端に居る状態での第２撮像部の撮影レンズのシフト状況を示す説明図である。

本発明の立体撮像装置の第１実施形態である３Ｄデジタルカメラ（以下３Ｄカメラという）を示す図１において、３Ｄカメラ１０のカメラ本体１１の前面には、左右一対の第１及び第２撮像部１２，１３、ストロボ発光部１４が設けられている。両撮像部１２，１３は、互いの光軸がほぼ平行となるように所定間隔を隔てて設けられている。カメラ本体１１の上面には、シャッタボタン１５、電源スイッチ１６が設けられている。

図２に示すように、カメラ本体１１の背面には、ＬＣＤ１８、操作部１９が設けられている。また、カメラ本体１１の底面には、図示は省略するが、メモリカード２０（記憶手段）が着脱自在に装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。

３Ｄカメラ１０は、第１及び第２撮像部１２，１３によって同一の被写体を異なる視点から同時に撮像して視差を有する２つの画像を作成し、この２つの画像が観察者の左右の目によってそれぞれ別々に観察されるようにＬＣＤ１８を用いて再生表示することにより、観察者に立体画像（以下、３Ｄ画像という）を観察させる。

ＬＣＤ１８による３Ｄ画像の観察原理を示す図３において、同図（Ａ）は３Ｄ画像として観察する左右の画像２１Ｌ、２１Ｒを、同図（Ｂ）はその観察状態をそれぞれ示している。符号２２Ｌ、２２Ｒはそれぞれ観察者の左目および右目を示し、符号２３は左目用の画像２１Ｌと右目用の画像２１Ｒとを重ねて表示するＬＣＤ１８の表示画面を示している。また、符号２４は同図（Ａ）に示した右側の画像２１Ｒの図形Ａを示し、符号２５は同じく左側の画像２１Ｌの図形Ａを示している。同図（Ｂ）に示すように、左右の図形Ａの位置が視差量の分だけずれているため、これに注目したとき観察者の視線は画面よりも手前で交差し、図形Ａの像は画面より手前に飛び出して立体的に見える。

ここでは、３Ｄ画像の説明を分かりやすくするため、画像２１Ｌ、２１Ｒを同じ撮像範囲（第１撮像部１２と第２撮像部１３とが同じ変倍率）としているが、本発明は、第１撮像部１２による撮像範囲を基準として、第２撮像部１３による撮像範囲を、第１撮像部１２による撮像範囲よりも広い（広角側に変倍した）範囲をとし、第２撮像部１３による撮像範囲から、第１撮像部１２による撮像範囲と同じ範囲をトリミングして、３Ｄ画像として観察する左右の画像とする。これにより、３Ｄ画像を撮影中に、被写体が第１撮像部１２による撮像範囲から外れた場合でも、第２撮像部１３による撮像範囲に被写体が写っている確率を高くし、２Ｄ画像ではあるが、全く被写体が写っていないという事態を救済するようにしている。また、この２Ｄ画像は、スルー画に用いられるフィールド画の画像データではなく、記録用のフレーム画の画像データであるから、十分に高画質である。

ＬＣＤ１８は、撮影待機状態では電子ビューファインダとして機能し、３Ｄ又は２Ｄ（二次元）のスルー画像（ライブビュー画像ともいう）を表示する。また、画像再生時にはメモリカード２０に記録されている画像データに基づき、ＬＣＤ１８に３Ｄ又は２Ｄの画像が再生表示される。

操作部１９は、モード切替スイッチ２６、メニューボタン２７、十字キー２８、実行キー２９などから構成されている。モード切替スイッチ２６は、３Ｄカメラ１０の動作モードを切り替える際に操作される。動作モードには、例えば、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モード、及び撮影により得られた撮影画像をＬＣＤ１８に再生表示する再生モード等がある。電源スイッチ１６をオンにした直後のデフォルトでは、３Ｄ静止画撮影モードにセットされる。

メニューボタン２７は、ＬＣＤ１８にメニュー画面や設定画面を表示する際などに操作される。十字キー２８は、第１撮像部１２及び第２撮像部１３の変倍操作や、メニュー画面や設定画面内に表示されるカーソルを移動する際などに操作される。実行キー２９は、カメラの設定を確定する際などに操作される。

３Ｄカメラ１０の電気的構成を示す図４において、ＣＰＵ３０は、シャッタボタン１５及び操作部１９からの入力信号に基づき、ＲＯＭ３１から読み出した各種プログラムやデータを逐次実行することで、３Ｄカメラ１０の各部を統括的に制御する。また、ＣＰＵ３０には、後述するルックアップテーブル（以下、ＬＵＴという）３２が接続されている。また、ＣＰＵ３０には、ストロボ制御部３３を介してストロボ発光部１４が接続されている。

また、ＣＰＵ３０には、上記の第１及び第２撮像部１２，１３、シャッタボタン１５、操作部１９、ＲＯＭ３１、ＬＵＴ３２、ストロボ制御部３３の他、バス３５を介して、画像入力コントローラ３７、信号処理回路３８、ＡＦ検出回路３９、ＡＥ／ＡＷＢ検出回路４０、ＳＤＲＡＭ４１、ＶＲＡＭ４２、トリミング処理回路４４（焦点距離調整手段）、圧縮伸張処理回路４５、メディアコントローラ４６、表示回路４７が接続されている。

シャッタボタン１５は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、シャッタボタン１５が半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われる。また、シャッタボタン１５が全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、シャッタボタン１５が全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。

第１撮像部１２は、焦点距離が一定の範囲内で変倍可能なズームレンズである撮影レンズ５１が組み込まれたレンズユニット５２、この背後に配置されたＣＣＤイメージセンサ（以下、ＣＣＤという）５３、ＡＦＥ（アナログフロントエンド）５４などから構成される。なお、ＣＣＤの代わりにＭＯＳ型のイメージセンサを用いてもよい。

レンズユニット５２には、撮影レンズ５１の他、図示しないズーム機構、フォーカス機構、絞り装置が組み込まれている。ズーム機構は、撮影レンズ５１を駆動してズーミング（変倍）を行う。この変倍によって変化する撮影レンズ５１の焦点距離は、逐次ＣＰＵ３０にフィードバックされる。フォーカス機構は、撮影レンズ５１に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ５３に入射する被写体光の強度を調節する。ズーム機構、フォーカス機構、絞り装置は、レンズドライバ５５を介してＣＰＵ３０によって動作制御される。

ＣＣＤ５３は、撮影レンズ５１からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ５３には、ＣＰＵ３０によって制御されるＣＣＤドライバ５６が接続されている。ＣＣＤドライバ５６は、ＴＧ（Timing Generator）５７からの同期パルスによって駆動され、ＣＣＤ５３の電荷蓄積時間と電荷読み出し転送タイミングを制御する。

ＣＣＤ５３から出力された撮像信号は、ＡＦＥ５４に入力される。ＡＦＥ５４は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器から構成され、ＴＧ５７からの同期パルスが入力されることで、ＣＣＤ５３の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ３０によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログの撮像信号をデジタルな第１画像信号に変換し、変換した第１画像信号を画像入力コントローラ３７へ送る。

第２撮像部１３は、第１撮像部１２と同じ構成であり、撮影レンズ５１と同型のズームレンズである撮影レンズ６１が組み込まれたレンズユニット６２、ＣＣＤ６３、ＡＦＥ６４、レンズドライバ６５、ＣＣＤドライバ６６、ＴＧ６７などから構成され、ＡＦＥ６４から出力された第２画像信号を画像入力コントローラ３７へ送る。

このように、第２撮像部１３は、第１撮像部１２と同じ構成であるが、ＣＰＵ３０は、レンズユニット５２からフィードバックされた撮影レンズ５１の焦点距離を取得し、これよりも広角側の焦点距離となるように、第２撮像部１３の撮影レンズ６１を変倍する。この変倍の度合は、撮影レンズ５１の焦点距離に応じて変化し、撮影レンズ５１の焦点距離が広角側のとき、撮影レンズ５１の焦点距離との差が小さく、撮影レンズ５１の焦点距離が望遠側のとき、撮影レンズ５１の焦点距離との差が大きくなるように制御される。

これにより、被写体が撮影範囲から外れやすい望遠撮影時に、第２撮像部１３による撮影範囲を第１撮像部１２による撮像範囲よりも広くして、被写体が第１撮像部１２による撮像範囲を外れた場合でも、被写体が第２撮像部１３による撮像範囲内に入る確率を高めている。ただし、撮影レンズ５１が最広角の焦点距離であるときは、撮影レンズ６１が撮影レンズ５１と同型のズームレンズで撮影レンズ５１の最広角の焦点距離よりも広角側へ焦点距離をシフトできないこと、また、最広角撮影では被写体が撮影範囲内から外れる可能性が低いことから、撮影レンズ６１も撮影レンズ５１と同じ最広角の焦点距離にされる。撮影レンズ５１，６１の各焦点距離の関係は、ＬＵＴ３２に書き込まれており、ＣＰＵ３０によって随時読み出される。

画像入力コントローラ３７は、所定容量のバッファを有しており、第１及び第２撮像部１２，１３からそれぞれ出力された第１，第２画像信号を蓄積し、電源スイッチ１６がオンにされた直後やシャッタボタン１５を半押しした際のスルー画表示のときには、それぞれ１フィールド分の第１，第２画像信号が蓄積されたときに、これらを信号処理回路３８へ送る。また、シャッタボタン１５の全押しによる本番撮影のときには、それぞれ１フレーム分の第１，第２画像信号が蓄積されたときに、これらを信号処理回路３８へ送る。

信号処理回路３８は、画像入力コントローラ３７からの第１，第２画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことで、それぞれ１フィールド又は１フレームの画像に対応する第１，第２画像データを生成し、これらをＶＲＡＭ４２に格納する。

ＡＦ検出回路３９は、画像入力コントローラ３７からの第１，第２画像信号に基づき、第１，第２画像ごとにコントラストを評価したＡＦ評価値を算出する。ＣＰＵ３０は、ＡＦ検出回路３９からのＡＦ評価値に基づき、レンズドライバ５５，６５を制御して、撮影レンズ５１，６１のピント調節を行う。

ＡＥ／ＡＷＢ検出回路４０は、第１，第２画像信号に基づき、被写体輝度の検出と、ホワイトバランス補正に用いられるＷＢ評価値の算出とを行う。ＣＰＵ３０は、ＡＥ／ＡＷＢ検出回路４０からの被写体輝度情報に基づき、レンズドライバ５５，６５やＣＣＤドライバ５６，６６を制御して、露出制御を行う。また、ＣＰＵ３０は、ＡＥ／ＡＷＢ検出回路４０からのＷＢ評価値に基づき、被写体像のホワイトバランスが適正となるように、信号処理回路３８を制御する。

トリミング処理回路４４は、ＣＰＵ３０の制御の下に、ＶＲＡＭ４２から第２画像データを読み出し、第１画像と同じ範囲の第３画像を、第２画像から切り出す（トリミングする）。これについては、詳しく後述する。

圧縮伸張処理回路４５は、本番撮影時に、ＳＤＲＡＭ４１に格納されたそれぞれ１フレーム分の第１，第２画像データ，及び第２画像データからトリミングされた第３画像データ（撮影画角が最広角の場合は第２画像データと同じ）に圧縮処理を行い、所定のファイル形式の第１〜第３圧縮画像データを生成する。

第１〜第３圧縮画像データは、メディアコントローラ４６によってメモリカード２０に記録される。また、圧縮伸張処理回路４５は、画像再生時にはメモリカード２０に記録された第１〜第３圧縮画像データに伸張処理を行い、非圧縮の第１〜第３画像データを生成する。メディアコントローラ４６は、メモリカード２０に対する画像データの記録、及び読み出しなどを行う。

表示回路４７は、ＶＲＡＭ４２から読み出した第１，第３画像データ、または圧縮伸張処理回路４５で伸張された非圧縮の第１，第３画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ１８へ出力する。これにより、例えば、デフォルトの３Ｄ静止画撮影モードでは、第１，第３画像がスルー画像としてＬＣＤ１８に表示され、ユーザからは３Ｄのスルー画像を視認することができる。

このように構成された３Ｄカメラ１０の作用について、図５のフローチャート及び図６，図７を参照して説明する。まず、電源スイッチ１６を操作して３Ｄカメラ１０の電源をオンにする。この電源オン直後のデフォルトでは、３Ｄカメラ１０の撮影モードは、３Ｄ静止画撮影モードにセットされるとともに、第１撮像部１２，第２撮像部１３によるスルー画撮影が開始される。なお、括弧内のｓｔ（ステップの意）１等は、図５のフローチャートに示すｓｔ１等に対応する。

十字キー２８の左右部分を押圧して変倍操作を行なうと、この変倍操作に応じて、第１撮像部１２のレンズユニット５２が制御され、撮影レンズ５１の焦点距離が変化する。この焦点距離は、レンズユニット５２からＣＰＵ３０にフィードバックされる（ｓｔ１）。

ＣＰＵ３０は、レンズユニット５２から受け取った撮影レンズ５１の焦点距離に基づいてＬＵＴ３２を参照し、第２撮像部１３のレンズユニット６２を制御して、撮影レンズ６１を撮影レンズ５１よりも広角側へシフトされた焦点距離にセットする（ｓｔ２）。

撮影レンズ５１が広角側に変倍されると、図６（Ａ）に示すように、第１撮像部１２から出力された画像７１Ｌ（フィールド画の第１画像）に写った被写体７２がフレーミング枠（ＬＣＤ１８の表示領域と同じ）７４からはみ出る可能性は少ない。このため、撮影レンズ６１の焦点距離が、撮影レンズ５１の焦点距離よりもわずかに広角側へシフトされ、同図（Ｂ）に示すように、第２撮像部１３から出力された画像７１Ｒ（フィールド画の第２画像）は、画像７１Ｌよりも一回り広い範囲の画像を含む。

第１撮像部１２及び第２撮像部１３から同期して出力された画像７１Ｌ，７１Ｒ（フィールド画の第１，第２画像）の各画像データは、画像入力コントローラ３７を経て信号処理回路３８にて各種の信号処理が施された後、ＶＲＡＭ４２に入力される（ｓｔ３）。

第２撮像部１３から出力された画像７１Ｒの画像データは、トリミング処理回路４４に読み込まれ、画像７１Ｌの撮像範囲に対応するトリミング範囲７５（破線で示す）でトリミングされ、得られた画像７１Ｒ’（フィールド画の第３画像）の画像データがＶＲＡＭ４２に入力される（ｓｔ４）。

ＶＲＡＭ４２から画像７１Ｒと画像７１Ｒ’の各画像データが読み出され、表示回路４７を経てＬＣＤ１８に送られる。画像７１Ｌと画像７１Ｒ’とは、互いに視差を有するから、ユーザは３Ｄのスルー画像をＬＣＤ１８で視認することができる（ｓｔ５）。

ＬＣＤ１８に表示されたスルー画は、操作部１９を何ら操作しないまま所定時間、例えば１分間が経過すると、省エネルギーのため非表示になるが、シャッタボタン１５を半押し操作することにより、再び表示が開始される。

撮影レンズ５１が望遠側に変倍されると、図７（Ａ）に示すように、第１撮像部１２から出力された画像７７Ｌ（フィールド画の第１画像）に写った被写体７８がフレーミング枠７４からはみ出る可能性が高くなる（被写体７８の動きが速い場合には特に高い）。このため、撮影レンズ６１の焦点距離が、撮影レンズ５１の焦点距離よりも大幅に広角側へシフトされ、同図（Ｂ）に示すように、第２撮像部１３から出力された画像７７Ｒ（フィールド画の第２画像）は、画像７７Ｌよりもかなり広い範囲の画像を含む。

第１撮像部１２及び第２撮像部１３から同期して出力された画像７７Ｌ，７７Ｒの各画像データは、画像入力コントローラ３７を経て信号処理回路３８にて各種の信号処理が施された後、ＶＲＡＭ４２に入力される（ｓｔ３）。

画像７７Ｒの画像データは、トリミング処理回路４４に読み込まれ、画像７７Ｌの撮像範囲に対応するトリミング範囲７９（破線で示す）でトリミングされ、得られた画像７７Ｒ’（フィールド画の第３画像）の画像データがＶＲＡＭ４２に入力される（ｓｔ４）。なお、この望遠側での第３画像は、拡大率が大きく、高周波域が雑音として入りやすいため、ローパスフィルタを通した画像データが使用される。

ＶＲＡＭ４２から画像７７Ｒと画像７７Ｒ’の各画像データが読み出され、表示回路４７を経てＬＣＤ１８に送られる。画像７７Ｌと画像７７Ｒ’とは、互いに視差を有するから、ユーザは３Ｄのスルー画像をＬＣＤ１８で視認することができる（ｓｔ５）。

ユーザは、ＬＣＤ１８に表示された被写体７８を観察して、所望の瞬間にシャッタボタン１５を全押し操作すると（ｓｔ６）、第１撮像部１２及び第２撮像部１３から同期して出力されたフレーム画の第１，第２画像の各画像データが、画像入力コントローラ３７，信号処理回路３８を経て、ＳＤＲＡＭ４１に入力される（ｓｔ７）。

トリミング処理回路４４は、ＳＤＲＡＭ４１から第２画像を読み込み、第１画像の撮像範囲に対応するトリミング範囲でトリミングして第３画像の画像データを求め、ＳＤＲＡＭ４１に入力する（ｓｔ８）。第１〜第３画像は、圧縮伸張処理回路４５によって所定のファイル形式で１個の画像ファイルとして圧縮され、メディアコントローラ４６により、メモリカード２０に記録される（ｓｔ９）。

なお、第１〜第３画像は、１個の画像ファイルとして記憶するのではなく、タブ等で関連付けを行なってメモリカード２０等に記憶するようにしてもよい。また、第１〜第３画像を記憶するのではなく、第１，第２画像及び第１画像撮影時の撮影レンズ５１の焦点距離を記憶するようにしてもよい。この場合、３Ｄ画像の再生を行なう際には、撮影レンズ５１の焦点距離に基づいて第２画像をトリミングして第３画像を得る。

撮影レンズ５１を望遠側に変倍した状態で、シャッタボタン１５を全押しした瞬間、被写体７８が動いて、第１画像の撮像範囲から、外れる場合がある。このような場合、３Ｄ画像として視認される領域には、被写体７８は写っていないが、第２撮像部１３から得られる２Ｄのフレーム画の第２画像の撮像範囲には、被写体７８’が写っている可能性がある。

このように、３Ｄ画像として被写体７８を撮影することができなかった場合でも、２Ｄ画像として被写体７８’の画像を残すことができる可能性が高く、被写体７８が全く撮影できなかったという最悪の事態を避けることができる可能性が高い。また、この２Ｄ画像は、フレーム画の画像データであるから、十分に高画質である。

２Ｄ静止画撮影モードでは、第１撮像部１２によって撮影された２Ｄ画像を主（メイン）画像とし、第１撮像部１２に同期して第２撮像部１３によって撮影された２Ｄ画像を従（サブ）画像として、両方の画像がメモリカード２０に記憶される。サブ画像は、最広角の場合を除き、常にメイン画像よりも広い範囲を撮影した画像となるので、メイン画像で撮り逃した被写体もサブ画像には写っている可能性が高い。

３Ｄ動画撮影モードにおいても、上記の３Ｄ静止画撮影モードと同様に、ユーザがフレーミングした倍率での３Ｄ動画の画像データの他に、３Ｄ動画よりも広い画角で撮像した第２撮像部１３による２Ｄ動画の画像データも、３Ｄ動画と関連付け等を行なってメモリカード２０等に記憶するので、３Ｄ動画で撮り逃した被写体が２Ｄ動画に写っている可能性がある。

次に、本発明の第２実施形態について、図８〜図１１を参照して説明する。本実施形態の３Ｄカメラ８０は、メモリカード２０に記録する画像の画素数（記録画素数）に応じて、救済用画像（第２画像）の画角のずらし量（広角にする度合）を変えるものである。

３Ｄカメラ８０の構成は、上記第１実施形態の３Ｄカメラ１０とほぼ同じであるが、図８に示すように、操作部１９に記録画素数を設定する記録画素数設定部８１（記録画素数設定手段）を設けている点と、ＬＵＴ３２の代わりにこれと内容が異なるＬＵＴ８２が設けられている点とが相違する。なお、第１実施形態で説明した部材等と同じものについては、同じ符号を付してその説明は省略する（以下、第３実施形態でも同様）。

ＬＵＴ８２の内容は、第１画像が望遠になるほど第２画像の画角が第１画像の画角よりも広角側へシフトされる割合が大きくなる点は、上記第１実施形態と同様であるが、記録画素数が低く設定されている場合、記録される画像の画質が比較的低いため、トリミングの割合を大きくして拡大率を大きくしても画質低下に対する影響が小さい。このため、ＬＵＴ８２では、設定された記録画素数が低ければ低い程、第１画像が望遠側になるにつれて第２画像の画角が第１画像の画角よりも広角側へシフトされる割合を、上記第１実施形態よりも更に大きくして、被写体が第２画像に写る確率を高めている。記録画素数は、予め決められた複数の値から選択するものとするが、所定の範囲内でユーザが任意に決めるようにしてもよい。

ユーザは、撮影開始前に複数の記録画素数から１つを選択する（ｓｔ１１）。ユーザが記録画素数を特に決めない場合には、３Ｄカメラ８０に予めデフォルトとして設定されている記録画素数が用いられる（ｓｔ１２）。なお、括弧内のｓｔ（ステップの意）１１等は、図９のフローチャートに示すｓｔ１１等に対応する。また、上記第１実施形態と同じ内容のシーケンスについては、同じステップ番号を付して説明を省略する。

ユーザが比較的高解像度の記録画素数を選択した場合、図１０に示すように、第１撮像部１２から得られる画像８３Ｌ（同図（Ａ）参照）に対して第２撮像部１３から得られる画像８３Ｒ（同図（Ｂ）参照）は、画像８３Ｌの画角から広角側へシフトされる変倍の割合が低くされる（ｓｔ１３）。したがって、画像８３Ｒのトリミング範囲８４から拡大される画像８３Ｒ’の解像度の低下が少ない。したがって、画像８３Ｌと画像８３Ｒ’が同時にＬＣＤ１８に表示されることにより視認される３Ｄ画像は、解像度が高い高画質なものとなる。

ユーザが比較的低解像度の記録画素数を選択した場合、図１１に示すように、第１撮像部１２から得られる画像８５Ｌ（同図（Ａ）参照）に対して第２撮像部１３から得られる画像８５Ｒ（同図（Ｂ）参照）は、画像８５Ｌの画角から広角側へシフトされる変倍の割合が高くされる（ｓｔ１３）。したがって、画像８５Ｒに写される範囲がより広いものとなるため、画像８５Ｌから外れた被写体７８が画像８５Ｒに写っている可能性が高くなる。なお、画像８５Ｒ内に設定されたトリミング範囲８６から拡大される画像８５Ｒ’の解像度の低下は大きくなるが、画像８５Ｌの解像度が低いため、画像８５Ｌと画像８５Ｒ’が同時にＬＣＤ１８に表示されることにより視認される３Ｄ画像の解像度低下はほとんど目立たない。

次に、本発明の第３実施形態について、図１２〜図１５を参照して説明する。本実施形態の３Ｄカメラ８７は、主要被写体（画面内で主要と特定された被写体）の状態に応じて、救済用画像である第２画像の画角のずらし量（広角にする度合）を変えるものである。主要被写体の状態とは、主要被写体が撮影画面から外れやすい状況か否かということであって、例えば、撮影画面内での主要被写体の位置が画面の端近くであるか否かや、主要被写体が３Ｄカメラ８７に近い距離（例えば２ｍ以内）に居るか否かや、主要被写体が動いているか否かということである。

３Ｄカメラ８７の構成は、図１２に示すように、上記第１実施形態の３Ｄカメラ１０の構成に、フレーミングした撮影範囲から主要被写体を検出する主要被写体検出回路８８を付加するとともに、ＬＵＴ３２の代わりにこれと内容が異なるＬＵＴ８９を設けたものである。

主要被写体検出回路８８は、第１撮像部１２から得られた第１画像である画像９１Ｌ（図１４参照）の中から顔９２ａを検出することにより、その被写体を主要被写体９２であると特定する（ｓｔ２１）。同じ画像９１Ｌの中に複数の顔が検出された場合には、最も面積が大きい顔の被写体（最も手前にいる被写体等）を主要被写体と特定する。なお、括弧内のｓｔ（ステップの意）２１等は、図１３のフローチャートに示すｓｔ２１等に対応する。また、上記第１実施形態と同じ内容のシーケンスについては、同じステップ番号を付して説明を省略する。

顔の検出は、例えば、画像の各画素から肌色の候補となる画素を抽出し、抽出した画素の集合から画像内の肌色部分を求める。そして、求めた肌色部分と予め用意された顔型のテンプレートとを周知のパターン認識技術を用いて照合し、この照合結果を元に肌色部分が顔であるか否かを判定する。あるいは、肌色部分の面積が予め設定された閾値以上であった場合に、その肌色部分を顔として抽出する。もしくは、周知のパターン認識技術を用いて、目や口などの顔の特定部分を抽出することで行なう。

続いて、ＣＰＵ３０は、主要被写体９２の状態を判定する。図１４（Ａ）に示すように、主要被写体９２が画像９１Ｌのほぼ中央部に居て、ほとんど動かない状態であれば、ＣＰＵ３０は、ＬＵＴ８９を参照して、撮影レンズ５１の焦点距離よりもわずかに撮影レンズ６１の焦点距離を広角側へシフトしてセットする（ｓｔ２２）。これにより、同図（Ｂ）に示すように、第２撮像部１３から第２画像である画像９１Ｒを得る。画像９１Ｒのトリミング範囲９３から得られた画像９１Ｒ’は、拡大率が低く、画質の劣化が少ないから、高画質の３Ｄ画像を観賞することができる。

また、図１５（Ａ）に示すように、主要被写体９２が画像９５Ｌ（第１画像）内の端近くに写っている場合、主要被写体９２が画像９５Ｌから外れる可能性が高いから、ＣＰＵ３０は、ＬＵＴ８９を参照して、撮影レンズ５１の焦点距離よりも大幅に撮影レンズ６１の焦点距離を広角側へシフトする（ｓｔ２２）。

主要被写体９２が動いている場合や至近距離に居る場合も同様に、撮影レンズ６１の焦点距離は、撮影レンズ５１の焦点距離よりも大幅に広角側へシフトされる。主要被写体９２が動いているか否かは、スルー画の連続した数コマ分の画像内での主要被写体９２の位置から判る。また、主要被写体９２が至近距離、例えば２ｍ以内に居るか否かは、ＡＦ検出回路３９からの出力によって判る。

これにより、同図（Ｂ）に示すように、第２撮像部１３から画像９５Ｌよりも十分に広い画角の画像９５Ｒ（第２画像）を得るから、主要被写体９２が多少動いても、また、ユーザが手ブレを起こしても、画像９５Ｒに主要被写体９２が写っている可能性が高くなる。画像９５Ｒのトリミング範囲９６から拡大された画像９５Ｒ’と画像９５ＬとがＬＣＤ１８に表示されることにより、ユーザは主要被写体９２の３Ｄ画像を観賞することができる。

また、本実施形態に、上記第１実施形態の撮影レンズ５１の焦点距離に応じて撮影レンズ６１の焦点距離を広角側へシフトする度合を変更する構成を付加してもよいし、上記第２実施形態記載の記録画素数の設定手段を追加してもよい。

以上説明した第１〜第３実施形態では、第１〜第３画像に主要被写体が写っているか否かに関わらず、第１〜第３画像をメモリカードに記録したが、本番撮影後に、第１〜第３画像に主要被写体が写っているか否かをＣＰＵが主要被写体検出回路を用いて判別し、例えば、２Ｄ画像の第２画像のみに主要被写体が写っており、３Ｄ画像を構成する第１，第３画像には主要被写体が写っていない場合には、第１，第３画像を削除し、第２画像のみをメモリカードに残すようにするか、もしくは、第１〜第３画像をメモリカードに記録する前に、第１〜第３画像に主要被写体が写っているか否かを判別し、主要被写体が写っている画像のみ（例えば第２画像のみ）をメモリカードの記録するようにしてもよい。

上記実施形態では、第１，第２撮像部の各撮影レンズを、焦点距離が同じ一定の範囲内で変倍される同型のズームレンズとしたので、第１撮像部の撮影レンズを最広角にした場合、第２撮像部の撮影レンズも同じ焦点距離の最広角としていたが、第２撮像部の撮影レンズを第１撮像部の撮影レンズよりも少なくとも広角側で広い範囲まで変倍できるタイプのズームレンズとしてもよい。この場合、第１撮像部の撮影レンズを最広角にしたときでも、第２撮像部の撮影レンズの焦点距離が、第１撮像部の撮影レンズの最広角の焦点距離よりも更に広角側へシフトされ、第１撮像部の撮影範囲から外れた被写体が、第２撮像部の撮影範囲に写っている可能性をより高めることができる。

１０，８０，８７ ３Ｄカメラ
１１ カメラ本体
１２，１３ 第１，第２撮像部
１８ ＬＣＤ
１９ 操作部
２０ メモリカード
３０ ＣＰＵ
３２，８２，８９ ＬＵＴ
４４ トリミング処理回路
５１，６１ 撮影レンズ
５２，６２ レンズユニット
７１Ｌ，７１Ｒ，７１Ｒ’，７７Ｌ，７７Ｒ，７７Ｒ’，８３Ｌ，８３Ｒ，８３Ｒ’，８５Ｌ，８５Ｒ，８５Ｒ’，９１Ｌ，９１Ｒ，９１Ｒ’，９５Ｌ，９５Ｒ，９５Ｒ’ 画像
７２，７８，７８’ 被写体
７５，７９，８４，８６，９３，９６ トリミング範囲
８１ 記録画素数設定部
８８ 主要被写体検出回路
９２ 主要被写体

Claims (7)

1. 焦点距離が一定の範囲内で可変自在なズーム光学系をそれぞれ備え、互いに視差を有する画像を同時に撮像する第１，第２撮像手段と、
   前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離よりも広角側へシフトする焦点距離調整手段と、
   前記第２撮像手段から得られた第２画像から、この第２画像と同時に前記第１撮像手段から得られた第１画像と同じ画角の第３画像を生成する第３画像生成手段と、
   前記第１画像と第３画像とから立体画像を生成する立体画像生成手段と、
   前記第１，第２及び第３画像、又は第１，第２画像及び第１画像撮影時の焦点距離を記憶する記憶手段と
   を備えたことを特徴とする立体撮像装置。
2. 前記焦点距離調整手段は、前記第１撮像手段の光学系の焦点距離が望遠寄りであればある程、前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合が大きくなるようにすることを特徴とする請求項１記載の立体撮像装置。
3. 前記第１，第２撮像手段が互いに同じ範囲内で焦点距離の変倍を行なう同型のズーム光学系を備えたものである場合、前記焦点距離調整手段は、前記第１撮像手段の光学系が最広角の焦点距離であるとき、前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離と同じ最広角の焦点距離にセットし、この前記第１撮像手段の光学系が最広角の焦点距離であるときを除き、前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離よりも広角側へシフトすることを特徴とする請求項１または２記載の立体撮像装置。
4. 前記記憶手段に記憶する画像の記録画素数を設定する記録画素数設定手段を設け、前記記録画素数設定手段によって設定された記録画素数に応じて、前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合を変更することを特徴とする請求項１ないし３いずれか１項記載の立体撮像装置。
5. 前記第１画像から主要被写体を検出する主要被写体検出手段を設け、前記主要被写体の状態に応じて、前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合を変更することを特徴とする請求項１ないし４いずれか１項記載の立体撮像装置。
6. 前記第２撮像手段の光学系の焦点距離を広角側へシフトする度合を大きくする場合の前記主要被写体の状態は、前記主要被写体が前記第１画像の画面端に居る、前記主要被写体が動いている、前記主要被写体の被写体距離が所定の距離よりも短い、のいずれか１つの状態、またはこれらの組み合わせの状態であることを特徴とする請求項５記載の立体撮像装置。
7. 焦点距離が一定の範囲内で可変自在なズーム光学系をそれぞれ備えた第１，第２撮像手段が、互いに視差を有する画像を同時に撮像する第１ステップと、
   前記第２撮像手段の光学系の焦点距離を前記第１撮像手段の光学系の焦点距離よりも広角側へシフトする第２ステップと、
   前記第２撮像手段から得られた第２画像から、この第２画像と同時に前記第１撮像手段から得られた第１画像と同じ画角の第３画像を生成する第３ステップと、
   前記第１画像と第３画像とから立体画像を生成する第４ステップと、
   前記第１，第２及び第３画像、又は第１，第２画像及び第１画像撮影時の焦点距離を所定の記憶手段に記憶する第５ステップと
   からなることを特徴とする立体撮像方法。

Images