JP2014053707A - 立体画像撮像装置、カメラシステム、立体画像撮像装置の制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】各種ユーザーの鑑賞時の要請に応えることのできる立体画像を撮影する。
【解決手段】異なる複数の視点から被写体を撮像する複数の撮像手段と、複数の撮像手段の間の輻輳角を設定する輻輳角設定手段と、撮像手段から被写体までの距離を計測する被写体距離計測手段と、前記撮像手段を用いて第１の撮影と第２の撮影を行う制御部と、を有し、前記輻輳角設定手段は、前記第１の撮影において、前記被写体距離計測手段にて計測された前記距離のうち前記撮像手段に最も近い第１の距離にある点が撮像面上でなす視差量を、所定の第１の閾値以下とするように、第１の輻輳角を設定し、前記第２の撮影において、前記被写体距離計測手段にて計測された前記距離のうち前記第１の距離よりも遠い第２の距離にある被写体上の複数の点が撮像面上でなす視差変化量を、所定の第２の閾値以上とするように、前記第１の輻輳角とは異なる第２の輻輳角を設定することを特徴とする。
【選択図】 図５

Description

本発明は、撮像装置およびその制御方法に関し、特に立体画像を撮像可能な撮像装置およびその制御方法に関するものである。

特許文献１には、立体映像を撮像するために、単一の撮影光学系および単一の検出器アレイ上に設けられた一対の右目用の検出器と左目用の検出器を用いることが開示されている。

ところで、立体視には、ステレオカメラ式で言うところの基線長及び輻輳角を大きくすることで得られるより立体的な鑑賞と、実際に人が鑑賞するときに考慮するべき融合許容範囲という、相対する課題がある。特許文献２には、選択した構図から、最も近点の被写体および最も遠点の被写体ともに、この融合許容範囲に入るように、複数の撮像部の輻輳角及び基線長を制御する手法が開示されている。

一方、表示装置の種類、大きさ、撮影シーンや観察者（ユーザー）の好みに応じた立体画像を得る要求もある。特許文献３には、このような課題に対応し、１回のシャッタレリーズ操作で複数の撮像部の輻輳角及び基線長の少なくとも一方が異なる複数の多視点画像を連続的に撮影（３Ｄブラケット撮影）できるように制御する手法が開示されている。

特開昭５８−２４１０５号公報 特開平７−１６７６３３号公報 特開２００８−３１２０５８号公報

特許文献２によれば、選択した構図全体の立体画像を鑑賞する際に、観察者の輻輳と調節（目のピント調節）の矛盾は起こりにくく、したがって疲労を伴わずに鑑賞することができる。

しかしながら、デジタル画像技術の進展に伴い、立体画像の使い方も多様化していると言われ、必ずしも選択した構図の通りに鑑賞されるとは限らなくなってきた。例えば、得られた立体画像から主要被写体を切り出し保存して、これを鑑賞するといった立体画像の使い方などがでてきた。ここで、構図全体の奥行きが大きい場合は遠方に行くほど主要被写体の立体感は乏しくなる傾向にある。したがって、当該主要被写体を切り出し保存して鑑賞する場合に、必ずしもその主要被写体について十分な立体感が得られているとはいえず、観察者は所望の立体画像を鑑賞できない場合があるといった問題があった。

この点において、特許文献３によれば、構図全体での立体感にとらわれない撮影ができる可能性はあるが、特許文献３には、３Ｄブラケット撮影の範囲に関する示唆がない。

本発明は、各種ユーザーの鑑賞時の要請に応えることのできる立体画像を撮影することを例示的目的とする。

本発明の一側面としての立体画像撮像装置は、異なる複数の視点から被写体を撮像する複数の撮像手段と、前記複数の撮像手段の間の輻輳角を設定する輻輳角設定手段と、前記撮像手段から前記被写体までの距離を計測する被写体距離計測手段と、前記撮像手段を用いて第１の撮影と第２の撮影を行う制御部と、を有し、前記輻輳角設定手段は、前記第１の撮影において、前記被写体距離計測手段にて計測された前記距離のうち前記撮像手段に最も近い第１の距離にある点が撮像面上でなす視差量を、所定の第１の閾値以下とするように、第１の輻輳角を設定し、前記第２の撮影において、前記被写体距離計測手段にて計測された前記距離のうち前記第１の距離よりも遠い第２の距離にある被写体上の複数の点が撮像面上でなす視差変化量を、所定の第２の閾値以上とするように、前記第１の輻輳角とは異なる第２の輻輳角を設定することを特徴とする。

本発明の更なる目的又はその他の特徴は、以下、添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。

本発明によれば、撮影構図全体につき違和感なく鑑賞できる第一の立体撮影と、注目した被写体や遠方の被写体の立体感を損なわない第二の立体撮影とを行うことができる。したがって、第一の立体撮影で撮影した立体画像および第二の立体撮影で撮影した立体画像を用いることで各種ユーザーの鑑賞時の要請に応えることができる。

本発明に係る立体画像撮像装置の構成を表すブロック図である。 本発明に係る固体撮像素子の撮像面構成を表す平面図である。 本発明に係る光線図の一例を示す図である。 本発明に係る結像関係式を表すグラフである。 本発明第１の実施例に係る立体画像撮像装置の制御を表すフローチャートである。 本発明第２の実施例に係る立体画像撮像装置の制御を表すフローチャートである。 本発明に係る固体撮像素子の単位画素の断面図と瞳強度分布図である。 本発明第３の実施例に係る立体画像撮像装置の制御を表すフローチャートである。 本発明第４の実施例に係る立体画像撮像装置の制御を表すフローチャートである。 本発明第５の実施例に係る立体画像撮像装置の一例を示す図である。 本発明第５の実施例に係る立体画像撮像装置の制御を表すフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

まず、本発明の実施形態に係る立体画像撮像装置の全体構成について説明する。図１は、本発明の実施形態に係る立体画像撮像装置の全体構成を表すブロック図の一例である。なお、以下では、撮影光学系を含むレンズ一体型の立体画像撮像装置について説明するが、本発明は、立体画像撮像装置に対して撮影光学系（レンズ装置）が着脱可能な、いわゆるレンズ交換型のカメラシステムにも適用できることは言うまでもない。図１において、１は絞りやメカニカルシャッターを含むレンズ等の撮影光学系、２は撮影光学系１で結像された被写体像を光電変換し電気信号として取り出す固体撮像素子である。本発明の立体画像撮影を行うには、複数の視点からの撮像が可能な撮像手段と、その撮像手段間の輻輳角を制御することが必要となる。複数の視点からの撮像と輻輳角の制御は、撮影光学系１および固体撮像素子２の持つ特徴により具体的に実現されるが、本発明に特有の構造および制御であるため、詳細は後述することにする。

３は固体撮像素子２のアナログ電気信号をサンプリングするための相関二重サンプリング（ＣＤＳ）回路、４はサンプリングされたアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換器（Ａ／Ｄ変換部）である。デジタル化された画像信号は、画像メモリ８を介して信号処理回路７により、ホワイトバランス補正、ガンマ補正をはじめとした各種信号処理が施されて、視差を有する画像信号として記録媒体１０に記録される。記録回路９は、記録媒体１０とのインターフェイス回路を指す。また信号処理の施された画像信号は、インターフェイス回路である表示回路１１を通して液晶ディスプレーなどの画像表示装置１２に直接表示することもできる。本発明により得られる立体撮影画像の確認もしくは鑑賞のため、画像表示装置１２は、以下に述べるように構成してもよい。すなわち画像表示装置１２は、特定の周期にしたがって画像を更新していく。ある時刻にて偶数行表示の更新を開始し、更新周期の半分が経過したところで偶数行表示の更新を完了する。次に更新周期の半分が経過した時刻から奇数行表示の更新を開始し、全更新周期が経過したところで奇数行表示の更新を完了する。奇数行表示を更新している間、偶数行表示はホールドしている。反対に偶数行表示を更新している間、奇数行表示はホールドしている。偶数行表示のための画像ソースを、例えば右目に対応して撮像した視点とし、奇数行表示のための画像ソースを、左目に対応して撮像した視点とする。その上で、観察者は、右目に対応した偶数行表示をホールドしている期間に左目を覆い隠して右目から画像を見て、左目に対応した奇数行表示をホールドしている期間に右目を覆い隠して左目から画像を見る、ことができれば立体視ができる。すなわち観察者は、画像表示装置１２の更新周期に同期して左右の視界を覆い隠す液晶シャッターなどを備えた眼鏡等を装着することで、このような立体視による画像の確認もしくは鑑賞が可能となる。なお、画像表示装置１２は、立体画像表示にとらわれず、これから撮像しようとする画面を連続的にライブで表示するライブビュー表示や、記録した動画の再生表示も可能である。

タイミング発生回路５は、駆動回路６を通してレンズの絞り、メカニカルシャッター、固体撮像素子２などの撮像系を駆動する。さらに、撮像系の駆動ひいては固体撮像素子２の出力信号に同期してＣＤＳ回路３、Ａ／Ｄ変換器４を駆動・制御する。

システム制御部１３は、揮発性メモリ（ＲＡＭ）１４に一時記憶されたプログラムにより立体画像撮像装置全体を制御する。

また、立体画像撮像装置は、本発明に特有の輻輳角設定手段１６をさらに備えており、やはり駆動回路６を介して撮影光学系１および固体撮像素子２の輻輳角を設定する。輻輳角設定手段１６は、システム制御部１３を介して、被写体距離計測手段１７からの被写体距離情報に対応した輻輳角の分布を割り出し、所定の閾値と比較して、撮影前に輻輳角を設定する。こうした輻輳角設定手段１６の一連の機能については、本発明に特有の構造および制御であるため、詳細は各実施例の中で後述する。

被写体検知手段１８は、撮像画像やライブビュー表示画像から主要な被写体を検索する。本発明の実施例によっては、このような主要な被写体を検索する機能を利用することもある。

１５は、システム制御部１３による制御実行時に転送されるべきプログラム、各種データを格納した不揮発性メモリ（ＲＯＭ）で、後述の輻輳角設定に使用する各種閾値や関数も格納している。

次に、本発明で用いる撮影光学系１と固体撮像素子２の詳細を説明する。これらは、先に述べた、立体画像撮像に必要な複数の視点を与えるものである。簡略化のため、まず、２つの視点を持つ系について説明する。

図２は、固体撮像素子２の撮像面平面図を表す。固体撮像素子２は、左と右の２つに独立した一対の光電変換部（複数の撮像手段）２０Ｌおよび２０Ｒを覆う単一のマイクロレンズ２１を含む画素を単位画素として、それらが水平および垂直に、Ｎ行Ｍ列分配列されている（図２ではＮ＝４、Ｍ＝６）。各画素（１画素内）に含まれる各光電変換部は、撮影光学系１により結像した光学像を１組の視点として受光しており、例えば左側の光電変換部２０Ｌおよび右側の光電変換部２０Ｒにより２組の視点を得ることができる。光電変換部は、例えばフォトダイオード（ＰＤ）などで構成すればよい。なお、本実施の形態においては、左と右の２つに独立した光電変換部により２組の視点を得る、と説明するが、必ずしも左右方向でなくてもよいし、独立した光電変換部の個数は２つに限られない。マイクロレンズ２１の下にＮ（Ｎ≧２）個の独立した光電変換部を用いれば、Ｎ個の視点を有することができる。

図３は、このような固体撮像素子２の構成で、複数の視点を得る仕組みを撮影光学系１とともに示した光線図である。撮影光学系１には、口径Ｄの絞り１０が含まれている。図３（ａ）では、光軸上物体側の点Ａから出た光は、絞り１０等で規定された撮影光学系の口径Ｄにより、物体側の出射角度φ、固体撮像素子２への入射角度θまでに制限され、像側の点Ｂに結像する。撮影光学系１の焦点距離をｆとすると、物体側に距離ａだけ離れた点Ａは、像側に距離ｂだけ進んだ点Ｂに結像し、以下の関係式を満たす。

１／ａ＋１／ｂ＝１／ｆ （数１）
このような結像状態は、撮影光学系１の合焦距離で規定され、撮影シーンごとに自動焦点検出（ＡｕｔｏＦｏｃｕｓ＝ＡＦ）動作が行われて決定され、もしくはピントリングなどでユーザーにより設定される。図３（ａ）では、（数１）を満たしながら、点Ｂがちょうど固体撮像素子２のマイクロレンズ上の撮像面にくるように点Ａを作図したので、点Ａはピントの合った、いわゆる合焦距離にある。合焦距離にある点Ａからの光のうち、光軸上の光線から口径Ｄの上端部を通過する上限光線は、左側の光電変換部２０Ｌに入射し、光軸上の光線から口径Ｄの下端部を通過する下限光線は、同じ画素に含まれる右側の光電変換部２０Ｒに入射する。このように、合焦距離にある点Ａについては、左側の光電変換部２０Ｌと同じ画素位置にある右側の光電変換部２０Ｒとに結像するので、それゆえに２０Ｌと２０Ｒの示す電気信号の像は相互にずれのない状態となっている。

ところで、（数１）を満たす物体側の点Ａ、像側の点Ｂの組み合わせは、上述のようなピントの合った状態に限られない。図３（ｂ）は、点Ａよりも撮影光学系１から離れた点Ａ’から出た光が撮像面に結像せず、点Ｂよりも撮影光学系１に近い点Ｂ’に結像した光線図であり、（数１）のａをａ’、ｂをｂ’と置き換えて適用される。改めて図示はしないが、反対に、点Ａよりも撮影光学系１に近いところにある光軸上の１点から出た光は、点Ｂよりも撮影光学系１から離れた点に結像する。それゆえ、ピントが撮像面からずれている、いわゆる非合焦距離にある光軸上の点は、そのずれの分だけ（数１）にしたがって結像点が撮像面の前後にずれて結像する。したがって、光軸上の光線から上限光線までを集める左右一方の光電変換部と、光軸上の光線から下限光線までを集める他方の光電変換部との間には相互に像のずれが起こる。この像ずれを、視差と呼び、その絶対量を視差量と呼ぶ。

さらに図３（ｃ）は、図３（ａ）に対し、撮影光学系１の口径Ｄが大きく、光電変換部２０Ｌおよび２０Ｒに入射する光線の最大角度θが大きく、それゆえ絞り１０を介して光電変換部２０Ｌおよび２０Ｒが点Ａを望む出射角度φも大きい状態を示している。φとＤの関係は、点Ａまでの距離ａを用いて概略下式のように表される。

ｔａｎφ＝Ｄ／２ａ （数２）
ここで、光軸上の光線から口径Ｄの端部を通過する光線までの全光線うち、平均的な光線が絞り１０を通過するときの仮想的な口径Ｄ０を定義する。（数２）のＤをＤ０に置き換えて得られる角度φ０が、ステレオカメラ式における輻輳角に相当する角度である。（数２）より、輻輳角φ０は、仮想的な口径Ｄ０に対し単調増加であり、Ｄ０が絞り１０等で規定される口径Ｄに対し単調増加であることを考慮すれば、輻輳角φ０は、絞り１０の口径Ｄに対し単調増加することがわかる。さらに、図３（ｃ）において、点Ａよりも撮影光学系１から離れた点Ａ’から出た光線を、図３（ｂ）のごとく作図すれば、撮影光学系１の口径もしくは絞り１０により、非合焦距離にある点の視差量が増加することもわかる。以上より、撮影光学系１の口径もしくは絞り１０は、被写体の立体感を変え得るパラメータである。

ところで、撮影光学系１は、無限遠に存在する物体からの光線を、像側に焦点距離ｆだけ進んだ点に結像する。図４は、横軸に被写体距離を、縦軸に結像点までの距離をとって、このことを示したグラフである。遠方の被写体ほど、焦点距離ｆの近傍に結像していくので、所定よりも遠方の被写体の左右の視差量は一定量のまま変化が起こりにくく、近い距離にある被写体に比べて遠近差を生じにくい。このような傾向は、撮影光学系１の口径Ｄが小さいほど顕著である。

以上、固体撮像素子２の構成と併せ、撮影光学系１との組み合わせで成り立つ、複数の視点を得る基本的な仕組みについて説明した。なお、固体撮像素子２における電気信号転送のための構成については、電荷転送を伴うＣＣＤ型や画素ごとに増幅アンプを持つＡｃｔｉｖｅ−ＣＭＯＳ型などが考え得る。しかし、本発明の複数の視点用の光電変換部からの電気信号を出力できるものであれば、その他いかなる構成も適用可能である。

本実施例においては、合焦距離よりも近い距離にある被写体の視差量に制限を設けるための第１の撮影を行う一方で、合焦距離付近にある被写体の視差量をできるだけ大きくするための第２の撮影を行う。

図５は、このときの詳細な制御を示すフローである。

図１に図示しないスイッチによりメイン電源がオンされ、次にシステム制御部１３の電源がオンされる（ステップＳ５０１）。

次に、メカニカルシャッターを開き、固体撮像素子２に駆動設定信号を与える（ステップＳ５０２）。これにより、ライブの画像を画像表示装置１２に連続的に映し出すモードが実行可能となると同時に、連続的に取得される画像を使って測光し、撮影に使用する露出を調整する、いわゆる自動露出調整動作（ＡＥ）も可能となる（ステップＳ５０３）。すなわち、システム制御部１３は、撮像系からデジタル化された画像信号を画像メモリ８に取得して信号処理回路７に露出演算を行わせる。例えば画像信号から抽出した輝度情報を画面のエリア別に重み付け演算して、現状よりも何段明るくすればよいか（又は暗くすればよいか）を演算する。システム制御部１３は当該演算結果を受けて撮影光学系１の絞りを駆動することで次フレームから適切な明るさの画像を得る。固体撮像素子２に電子シャッター機能がある場合は、同時にシャッター速度を変更してもよい。このＡＥでは、撮影に使用する絞り値とシャッター速度および必要に応じてＩＳＯ感度、の組み合わせの候補を複数用意し、後述する第１の撮影と第２の撮影に備える。本実施例では、（表１）のような組み合わせを候補として検出する。

次に、２段階のストロークを有するシャッターレリーズボタン（不図示）のファーストストロークが行われたか否かを判定する（ステップＳ５０４）。ファーストストロークが行われていたと判定した場合は、被写体にピントが合うように焦点調節用レンズを自動的に駆動する焦点位置調整、いわゆるオートフォーカス（ＡＦ）が開始される（ステップＳ５０５）。一方、ファーストストロークが行われていないと判定した場合はステップＳ５０３に戻り、ステップＳ５０３〜ステップＳ５０４の動作を繰り返し行う。ＡＦでは、まず、撮影光学系１の焦点調節用レンズを複数ステップ駆動して複数枚の画像信号を得る。被写体距離計測手段１７は、それぞれの画像信号に演算処理を施して、被写体に最も焦点の合った焦点調節用レンズの位置を決定する。システム制御部１３は、この検出結果を受けて、撮影光学系１の焦点調節用レンズを駆動することで次フレームから最適なピントの画像を得る。なお、撮像系とは別に設けた被写体距離計測手段１７としての測距用センサーの信号から被写体距離を計測して、焦点調節用レンズを駆動する方式を用いてもよい。いずれの方式にしても、被写体の距離情報が取得できるので、これを後述する第１の撮影と第２の撮影に利用する。

第１の撮影に先立って、システム制御部１３は、最も撮影光学系１に近い被写体が融像できることを確認する。具体的には、（表１）に示した露出条件の候補と照らし合わせながら次のように演算する。演算には、（数１）を利用し、撮影光学系１の焦点距離をｆ、合焦距離をａ、撮影光学系１に最も近い被写体までの距離（第１の距離）をｓ（ｓ＜ａ）とすると、この被写体の結像位置は、（数１）により
ｓｆ／（ｓ−ｆ） （数３）
と計算される。合焦距離はａなので、固体撮像素子２の撮像面（マイクロレンズ２１面）は撮影光学系１からａｆ／（ａ−ｆ）だけ離れたところにある。その撮像面上で、被写体距離ｓの点からの光線がなす光電変換部２０Ｌおよび２０Ｒの視差量は
Ｄ０（（ｓ−ｆ）／ｓｆ）[（ｓｆ／（ｓ−ｆ））−（ａｆ／（ａ−ｆ））] （数４）
と表される。ここでＤ０は、前述の通り、平均的な光線が絞り１０を通過するときの仮想的な口径であり、絞り１０の口径Ｄと略一定の相関関係がある。

そして、（表１）に存在する絞りの候補から（数４）の視差量を算出する（ステップＳ５０６）。例えば、（表１）の絞りＦ４に相当する口径Ｄは焦点距離の約１／４に相当する。平均的な光線が絞り１０を通過するときの仮想的な口径Ｄ０を、その約半分の、焦点距離の１／８と見積もると、例えば焦点距離１００ｍｍの撮影条件で１２．５ｍｍとなる。（数４）より、合焦距離ａ＝３１００ｍｍの状態における、ｓ＝２１００ｍｍの被写体の視差量は、およそ０．２ｍｍと見積もられる。これは、固体撮像素子２の画素間隔が５μｍであれば、４０画素程度に相当する。

このような視差量が予め設定しておいた閾値（所定の第１の閾値）よりも大きい場合（ステップＳ５０７のＮｏ）、（表１）の中から絞りＦ４よりも小さな口径の絞り（第二の候補であるＦ５．６）を適用して再度視差量を見積もる（ステップＳ５０８のＹｅｓ）。所定の第１の閾値以下である場合は、融像可能と判定する（ステップＳ５０７のＹｅｓ）。そして、輻輳角設定手段１６は、当該絞りの値、すなわち第１の輻輳角を設定し、第１の撮影に備えたレリーズ待機に進む。

第二の候補を適用した場合の視差量算出に当たっては、第一の候補での見積もり値を参照しつつ、（数４）で視差量はＤ０に比例することを利用すると簡便である。第二の候補でも融像可能と判断されない場合（ステップＳ５０７のＮｏ）、さらに第三の候補を適用してもよい（ステップＳ５０８のＹｅｓ）。もし予め候補に指定された絞りの中に、閾値を満足する条件が存在しなければ（ステップＳ５０８のＮｏ）、測光データを利用して、より口径の小さな絞りを使用できるよう、撮影条件を再設定してもよい（ステップＳ５０９）。

以上により適正な絞りと合焦距離とが決定された後、シャッターレリーズボタンが押下（ＯＮ）されたか否かを判定する（ステップＳ５１０）。シャッターレリーズボタンが押下されていないと判定した場合（ステップＳ５１０のＮｏ）は、シャッターレリーズボタンが押下されたと判定されるまでステップＳ５１０を繰り返す。一方、シャッターレリーズボタンが押下されたと判定した場合（ステップＳ５１０のＹｅｓ）は、第１の撮影が実行される（ステップＳ５１１）。このように、第１の撮影は、最近接被写体の融像可能性を判定し、融像可能な絞りを用いて行う。第１の撮影動作が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ５１２）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第１の撮影が完了する（ステップＳ５１３）。

次に、ブラケット撮影を許可するか否かにより、許可があれば第２の撮影に移行する（ステップＳ５１４のＹｅｓ）。許可がなければフローを終了する（ステップＳ５１４のＮｏ）。第２の撮影は、最も遠い距離に存在する被写体に着目し、その輻輳角をできるだけ大きくする設定で行う。

第２の撮影に先立って、システム制御部１３は、撮影光学系１から最も遠い被写体に視差の変化量がどの程度発生するか確認する（ステップＳ５１５）。具体的には、（表１）に示した露出条件の候補と照らし合わせながら演算する。演算には、（数１）を利用し、撮影光学系１から最も遠い被写体までの距離（第２の距離）をｓ（ｓ＞ａ）とすると、当該被写体の視差量は、
−Ｄ０（（ｓ−ｆ）／ｓｆ）[（ｓｆ／（ｓ−ｆ））−（ａｆ／（ａ−ｆ））] （数５）
で表される。ここで符号−は、左右光電変換部間の視差の方向が（数４）の場合とは反対になっていることに対応するものである。

撮影光学系１から最も遠い被写体に視差の変化量がどの程度発生するかは、該最も遠い被写体の奥行き量を確認することで求めることができる。最も単純には、撮影光学系１から最も遠い被写体上の複数の点、すなわち前端までの距離ｓ１および後端までの距離ｓ２とを確認すればよい。

その場合、最も遠い被写体の前端ｓ１および後端ｓ２における視差量はそれぞれ、
−Ｄ０（（ｓ１−ｆ）／ｓ１ｆ）[（ｓ１ｆ／（ｓ１−ｆ））−（ａｆ／（ａ−ｆ））] （数６）
−Ｄ０（（ｓ２−ｆ）／ｓ２ｆ）[（ｓ２ｆ／（ｓ２−ｆ））−（ａｆ／（ａ−ｆ））] （数７）
で表され、その視差量変化は（数６）と（数７）との差分で得られる。

例えば最も遠い被写体の一つがｓ＝５１００ｍｍ〜６１００ｍｍに分布しているものとする。そうすると、それぞれに対応する視差量は、０．１６４ｍｍ〜０．２０５ｍｍであって、奥行き方向に１０００ｍｍの物体であるにも関わらず前端〜後端までの視差量の変化は０．０４ｍｍ程度となる。したがって、固体撮像素子２の画素間隔が５μｍであれば８画素分の違いしかない。すなわちこのような被写体は第１の撮影の下では、合焦距離よりも奥にある被写体であることは表現されるものの、当該被写体自体の立体感は実際と比較して十分には表現されていなかったのである。そこで、この視差変化量が予め設定された閾値（所定の第２の閾値）よりも小さい場合に遠方被写体の立体感が不足であると判断する（ステップＳ５１６のＹｅｓ）。そして、輻輳角設定手段１６は、（表１）の第四もしくは第五の候補、すなわち第２の輻輳角を設定し、第２の撮影に備えたレリーズ待機に進む。他方、遠方被写体の視差量変化が十分である（視差変化量が所定の第２の閾値以上である）と判断された場合はフローを終了する（ステップＳ５１６のＮｏ）。第五の候補であるＦ２であれば口径はＦ４の２倍であるので、（数５）でわかる通り、当該遠方被写体の視差量の違いは２倍の０．０８ｍｍに拡大する。

第２の撮影（ステップＳ５１７）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ５１８）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第２の撮影が完了する（ステップＳ５１９）。

このように第２の撮影は、撮影光学系１からの距離が長い遠方被写体は輻輳角が小さくなってしまうことを考慮して口径Ｄを設定することに加え、さらに遠方被写体の奥行き量に見合った視差変化量が発生するべく口径Ｄを設定することができる。なお、本実施例では、第２の撮影において、撮影光学系１から最も遠い被写体の視差の変化量について算出する例を示したが、本発明はこれに限定されず、合焦距離又は合焦距離より遠方の被写体の視差の変化量を算出してもよい。

以上に述べた第１の実施例によれば、撮影構図全体につき違和感なく鑑賞できる第１の立体撮影と、注目した被写体や遠方の被写体の立体感を損なわない第２の立体撮影ができる。したがって、例えば、得られた立体画像から遠方の被写体を切り出し保存して、これを鑑賞する場合にも立体感を損なわずに鑑賞することができる。よって各種ユーザーの鑑賞時の要請に応えることができる。

実施例１における第２の撮影による立体画像の用途として、合焦距離もしくはそれよりも遠方の被写体を切り出し保存しての鑑賞することなどが考えられる。切り出し保存するような主要被写体を特定し、その奥行き量に応じて最適な視差量変化を与えることができれば、さらに効果を発揮することができる。

そこで本実施例では、被写体検知手段１８をさらに設けて、合焦距離もしくはそれよりも遠方に主要な被写体があるか否かを判断する。そして、主要な被写体があると判断した場合は、当該主要被写体の奥行き量から視差の変化量を見積もり、これを予め設定された閾値以上となるように撮影する。

図６は、このときの詳細な制御を示すフローである。第１の撮影に関しては実施例１と同等なので簡略化して説明する。第１の撮影（ステップＳ６０１）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ６０２）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第１の撮影が完了する（ステップＳ６０３）。

次に、ブラケット撮影を許可するか否かにより、許可があれば第２の撮影に移行する（ステップＳ６０４のＹｅｓ）。許可がなければフローを終了する（ステップＳ６０４のＮｏ）。

第２の撮影に先立って、まず被写体検知手段１８により、合焦距離ａもしくはそれよりも遠方の被写体から、主要被写体を検索する（ステップＳ６０５）。そして、システム制御部１３は、主要と判断された被写体までの距離（第２の距離）から、当該主要被写体の奥行き量を確認する（ステップＳ６０６）。最も単純には、撮影光学系１から主要被写体上の複数の点、すなわち前端までの距離ｓ１および後端までの距離ｓ２とを確認すればよい。

次いで、当該主要被写体に視差量およびその変化がどの程度発生するか算出する（ステップＳ６０７）。当該主要被写体の視差量は、上述の（数６）および（数７）で表され、その視差量変化は（数６）と（数７）との差分で与えられる。この視差変化量が予め設定された閾値（所定の第２の閾値）よりも小さい場合に当該主要被写体の立体感が不足であると判断する（ステップＳ６０８のＹｅｓ）。そして、輻輳角設定手段１６は、絞りを開いた撮影条件（第２の輻輳角）を設定し、第２の撮影に備えたレリーズ待機に進む。他方、当該主要被写体の視差量変化が十分である（視差変化量が閾値以上である）と判断された場合はフローを終了する（ステップＳ６０８のＮｏ）。このときの閾値は、被写体の距離もしくは奥行き量に応じたテーブルとして与えられていてもよい。

第２の撮影（ステップＳ６０９）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ６１０）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第２の撮影が完了する（ステップＳ６１１）。

以上に述べた第２の実施例によれば、第２の立体撮影において、撮影光学系１からの距離が長い主要被写体は輻輳角が小さくなってしまうことを考慮するに加え、主要被写体の奥行き量に応じた視差変化量をもたらすことが可能となる。

本実施例においても、撮影構図全体につき違和感なく鑑賞できる第１の立体撮影と、注目した主要被写体や遠方の主要被写体の立体感を損なわない第２の立体撮影ができる。したがって、例えば、得られた立体画像から遠方の主要被写体を切り出し保存して、これを鑑賞する場合にも立体感を損なわずに鑑賞することができる。よって各種ユーザーの鑑賞時の要請に応えることができる。

なお、実施例２における第２の撮影は、主要と考えられる複数の被写体に対して、複数枚実行してもよい。

図７（ｂ）は、図７（ａ）に示す部分概略断面図である固体撮像素子２の左側の光電変換部２０Ｌの受光角度ごとの感度、すなわち瞳強度分布を例示したものである。図７（ａ）の紙面に平行な面内で、マイクロレンズ２１の頂点に立てた垂線とのなす角度θは、図３のθと同義の光入射角度である。図７（ｂ）では、光入射角度θを横軸にとって、光入射角度θごとの感度を縦軸にとり、左側の光電変換部２０Ｌの瞳強度分布を表示すると、図７（ｂ）の符号９０のように表される。感度の高い角度範囲θ１≦θ≦θ２が、絞り１０等で制限された撮影光学系１の口径Ｄから（数８）のように計算できる角度範囲θｍａｘと同程度に広ければ、輻輳角を規定する角度範囲は左側の光電変換部２０Ｌの制限を受けることはない。そのため、本実施形態の理論は成り立つ。

ｔａｎθｍａｘ＝Ｄ／２ｂ （数８）
ここでｂは結像距離を表す。右側の光電変換部２０Ｒについても同様である。

反対に、
θ２＜＜θｍａｘ （数９）
などのように、光電変換部の受光可能な角度範囲がθｍａｘより著しく小さい場合は、試算した通りに視差変化量を拡大することはできない。さらに、試算の通りに絞り開放側で撮影することは、露出範囲の観点で自由度が減少する不利点も多い。この理由は、光入射角度範囲が制限されていることに対応して、通常感度ゲインなどで別途信号レベルを補っているので、結局、高速シャッターもしくは低いＩＳＯ感度にシフトした撮影しかできないからである。

そこで、本実施例においては、第２の撮影における口径Ｄの設定時に、光電変換部の瞳強度分布を考慮して光入射角度を制限するステップを加えている。

図８は、このときの詳細な制御を示すフローである。

第１の撮影に関しては実施例１と同等なので簡略化して説明する。第１の撮影（ステップＳ８０１）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ８０２）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第１の撮影が完了する（ステップＳ８０３）。

次に、ブラケット撮影を許可するか否かにより、許可があれば第２の撮影に移行する（ステップＳ８０４のＹｅｓ）。許可がなければフローを終了する（ステップＳ８０４のＮｏ）。

第２の撮影に関しても、ステップＳ８０５〜ステップＳ８０８までのフローは、実施例２と共通である。すなわち、ステップＳ８０４のＹｅｓの後は、主要被写体を検索し（ステップＳ８０５）、主要被写体の距離および奥行き量を確認する（ステップＳ８０６）。次いで、主要被写体の視差変化量を算出し（ステップＳ８０７）、当該視差変化量を予め設定された閾値と比較する（ステップＳ８０８）。この視差変化量が予め設定された閾値よりも小さい場合には、当該主要被写体の立体感が不足であると判断する（ステップＳ８０８のＹｅｓ）。そして、輻輳角設定手段１６は、絞りを開いた撮影条件（第２の輻輳角）を設定し、第２の撮影に備えたレリーズ待機に進む。他方、当該主要被写体の視差量変化が十分である（視差変化量が閾値以上である）と判断された場合はフローを終了する（ステップＳ８０８のＮｏ）。このときの閾値は、被写体の距離もしくは奥行き量に応じたテーブルとして与えられていてもよい。

ステップＳ８０８のＹｅｓの後は、（数８）にしたがって、撮影光学系１の口径Ｄを通る最大光入射角度θｍａｘを求める（ステップＳ８０９）。θｍａｘを、センサー特性により予め設定された閾値（所定の第３の閾値）θ２と比較し、θｍａｘがθ２よりも小さい場合は第２の撮影に進む（ステップＳ８１０のＹｅｓ）。他方、θｍａｘがθ２を上回った場合（もしくは、θ２を著しく上回った場合）は（ステップＳ８１０のＮｏ）、撮影条件を再設定する（ステップＳ８１１）。ステップＳ８１１の後は、ステップＳ８０７に戻る。

第２の撮影（ステップＳ８１２）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ８１３）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第２の撮影が完了する（ステップＳ８１４）。

本実施例では、実施例２との差を明確にするため、図８のステップＳ８０９やステップＳ８１０のような判断ステップを設けることを特徴として説明した。しかし、本実施例は、センサー特性に応じたθ２を著しく超えないよう調節しながら口径Ｄを設定することが特徴であって、上述したような判断ステップの構成にはとらわれない。例えばセンサーが固定であれば、（数８）および（数９）より口径Ｄを規定する条件は撮影光学系１の結像距離ｂのみとなる。このような場合は撮影光学系１により定められた所定値以上とならないように口径Ｄを設定するだけでよい。

以上に述べた第３の実施例によれば、第２の立体撮影において、不用意に開放絞りを適用することなく、主要被写体の撮影光学系１からの距離や奥行き量に応じた視差変化量をもたらすことが可能となる。

実施例１〜３では、第２の撮影で使用する口径の大きな絞りによって被写界深度が浅くなり、合焦距離よりも遠方の主要被写体に対しピントが合わなくなるといった問題が発生する可能性がある。

そこで、本実施例においては、第２の撮影における口径Ｄの設定時に、撮影光学系１の被写界深度を考慮して合焦距離を再設定するステップを加えている。

図９は、このときの詳細な制御を示すフローである。

第１の撮影に関しては実施例１と同等なので簡略化して説明する。第１の撮影（ステップＳ９０１）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ９０２）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第１の撮影が完了する（ステップＳ９０３）。

次に、ブラケット撮影を許可するか否かにより、許可があれば第２の撮影に移行する（ステップＳ９０４のＹｅｓ）。許可がなければフローを終了する（ステップＳ９０４のＮｏ）。

第２の撮影に関しても、ステップＳ９０５〜ステップＳ９０８までのフローは、実施例２又は３と共通である。すなわち、ステップＳ９０４のＹｅｓの後は、主要被写体を検索し（ステップＳ９０５）、主要被写体の距離および奥行き量を確認する（ステップＳ９０６）。次いで、主要被写体の視差変化量を算出し（ステップＳ９０７）、当該視差変化量を予め設定された閾値と比較する（ステップＳ９０８）。この視差変化量が予め設定された閾値よりも小さい場合には、当該主要被写体の立体感が不足であると判断する（ステップＳ９０８のＹｅｓ）。そして、輻輳角設定手段１６は、絞りを開いた撮影条件（第２の輻輳角）を設定し、第２の撮影に備えたレリーズ待機に進む。他方、当該主要被写体の視差量変化が十分である（視差変化量が閾値以上である）と判断された場合はフローを終了する（ステップＳ９０８のＮｏ）。このときの閾値は、被写体の距離もしくは奥行き量に応じたテーブルとして与えられていてもよい。

次に、（数１０）にしたがって、撮影光学系１の後方被写界深度を求める（ステップＳ９０９）。

（ａ−ｆ）^２／（ｆＤ／δ−ａ） （数１０）
ここで、ａは合焦距離、ｆは撮影光学系１の焦点距離、Ｄは撮影光学系１の口径、δは許容錯乱円である。

主要被写体が被写界深度内に収まっていると判断できた場合は第２の撮影に進む（ステップＳ９１０のＹｅｓ）。被写界深度に収まらない（もしくは、著しく被写界深度に収まらない）と判断された場合は（ステップＳ９１０のＮｏ）、合焦距離を再設定し（ステップＳ９１１）、次のステップＳ９１２の第２の撮影へと進む。被写界深度内に収まっているかどうかの閾値には、主要被写体にどの程度の高周波成分が含まれているかを加味して上下させてもよい。主要被写体に高周波成分が多く含まれている場合は、特に合焦距離の再設定が効果的となる。

第２の撮影（ステップＳ９１２）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ９１３）。次いで信号処理回路７により、光電変換部２０Ｌの集合による画像と２０Ｒの集合による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第２の撮影が完了する（ステップＳ９１４）。

以上に述べた第４の実施例によれば、第２の立体撮影において、視差変化量を拡大したい主要被写体のピント状態を維持することが可能となる。さらに、合焦距離を再設定して絞りを開放にすれば、撮影光学系１に近い被写体はそもそもピントが合わなくなるので、視差量が過大になってしまっても違和感なく鑑賞できるという副次的な効果もある。

第３の実施例は、すなわち口径Ｄを所定以下に制限する撮影条件を求め、第４の実施例は、すなわち口径Ｄを所定以上に拡大できるよう合焦距離を再設定する側面を持つ。第２の撮影における視差を拡大する目的からは、第４の実施例を基本として口径Ｄを拡大することが望ましいことが多い。ただし、ある口径以上となった場合の過大な角度の光入射を回避する目的で、さらに第３の実施例のような制限を付加するとよい。

これまで、撮影光学系１と図２に示した単位画素内に複数の光電変換部を備えた固体撮像素子２とを使用した、立体画像撮像の課題と解決方法について述べてきた。しかし、本実施形態の一部は、必ずしもこのような撮像系の前提を必要とせず、いわゆるステレオカメラ式の立体画像撮像装置にも適用可能である。本実施例では、その適用例について述べる。

図１０（ａ）は、ステレオカメラ式の立体画像撮像装置による撮像例を示す平面図である。１０００〜１００２は、被写界に含まれ、奥行き方向に分散する被写体を表す。１００３および１００４は、右および左それぞれの視点に対応する撮像部であり、各々独立に撮影光学系と固体撮像素子を含む。本実施例での固体撮像素子は、図２のような構成を必須としない。１００３および１００４の間の距離Ｄを基線長と呼ぶことがある。また、図１０（ａ）では１００３と１００４からの視点がちょうど被写体１００１で交差している。このような交差点を輻輳点と呼ぶことがある。また、１００３からの視線と１００４からの視線が交差する角度αを輻輳角と呼ぶことがある。また、輻輳点を含む面Ｒを基準面と呼ぶことがある。１００５は、右側の視点からの撮像画面を模式的に示したものである。

被写体の倍率は使用しているレンズの焦点距離等により異なるが、図１０（ａ）に示す二つの撮像部の間の基線長Ｄおよび輻輳角φにより、右側の視点１００３から見て、被写体１０００との間は矢線１００７の分だけ離れたものとして結像される。また、右側の視点１００３から見て、被写体１００２との間は矢線１００６の分だけ離れたものとして結像される。これらの視差の方向が、左側の視点では反対になっていることを利用して、立体画像撮像を行うものである。なお、図１０には図示していないが、本実施例のステレオカメラ式の立体画像撮像装置には、撮像部１００３と撮像部１００４を回転制御することで、当該複数の撮像部の輻輳角を調整・設定する輻輳角設定手段が設けられている。また、撮像部１００３と撮像部１００４との間の間隔を調整・設定する間隔設定手段が設けられている。

図１０（ｂ）は、図１０（ａ）の基線長Ｄを長くし、被写体１００１を基準面としたまま輻輳角φを大きくした撮像例を示す平面図である。基準面よりも手前の被写体１０００や後方の被写体１００２との視差量を表す矢線１００７および１００６が長くなっていることがわかる。他の実施例で既に述べたように、視差量の大きい撮影条件および小さい撮影条件には、それぞれに利点がある。比較的視差量を小さくすれば、手前の被写体１０００も、後方の被写体１００２も、無理なく立体視を行うことができるのに対し、基準面付近の被写体１００１の立体感は乏しいものとなりがちである。反対に視差量を大きくすれば、被写体１００１の立体感を拡大することは可能であるが、手前の被写体１０００や後方の被写体１００２の視差量が大きすぎ、立体視鑑賞時に融像できなくなる可能性もある。

そこで、本実施例においては、撮影構図に含まれる被写体の視差量に制限を設けるための第１の撮影を行う一方で、基準面近傍にある被写体の視差量をできるだけ大きくするための第２の撮影を行う。

図１１は、このときの詳細な制御を示すフローである。

図１に図示しないスイッチによりメイン電源がオンされ、次にシステム制御部１３の電源がオンされる（ステップＳ１１０１）。

次に、メカニカルシャッターを開き、固体撮像素子２に駆動設定信号を与える（ステップＳ１１０２）。これにより、ライブの画像を画像表示装置１２に連続的に映し出すモードが実行可能となると同時に、連続的に取得される画像を使って測光し、撮影に使用する露出を調整する、いわゆる自動露出調整動作（ＡＥ）も可能となる（ステップＳ１１０３）。ＡＥの詳細に関しては、他の実施例と共通なので省略する。

次に、２段階のストロークを有するシャッターレリーズボタン（不図示）のファーストストロークが行われたか否かを判定する（ステップＳ１１０４）。ファーストストロークが行われたと判定した場合は、被写体にピントが合うように焦点調節用レンズを自動的に駆動する焦点位置調整、いわゆるオートフォーカス（ＡＦ）が開始される（ステップＳ１１０５）。一方、ファーストストロークが行われていないと判定した場合はステップＳ１１０３に戻り、ステップＳ１１０３〜ステップＳ１１０４の動作を繰り返し行う。ＡＦの詳細に関しても、他の実施例と共通なので省略する。ＡＦでは、被写体の距離情報が取得できるので、これを後述する第１の撮影と第２の撮影に利用する。

第１の撮影に先立って、システム制御部１３は、撮影構図に含まれる被写体の奥行き量を確認しつつ、設定可能な輻輳角の範囲を算出する。まず、固体撮像素子２の対角サイズｙ、焦点距離ｆ、基準面までの距離ｓなどの被写体距離情報および光学情報を取得し（ステップＳ１１０６）、左右の撮像部１００３および１００４が撮影する対角空間の大きさを算出する（ステップＳ１１０７）。対角空間の大きさは、おおよそ
ｙ×ｓ／ｆ （数１１）
で表される。このような対角空間に比して過大な視差量を与えると融像できなくなってしまう。そこで、（数１１）の関数である、許容可能な最大の最大許容視差量Ｄｉｆ１を求める（ステップＳ１１０８）。

次に、輻輳角設定手段１６が、輻輳角を算出し、設定する（ステップＳ１１０９）。撮像部１００３および１００４の中点から、最も近い被写体までの距離をｓ１、最も遠い被写体までの距離をｓ２とすると、撮影空間上での最大の視差量は輻輳角の正弦に（ｓ２−ｓ１）をかけたものとなるから、設定可能な輻輳角を、次のように演算する。

φ＝Ａｒｃｓｉｎ［Ｄｉｆ１／（ｓ２−ｓ１）］ （数１２）
輻輳角設定手段１６がこの輻輳角に設定した後、撮影に備えたレリーズ待機に進む。

次のステップでは、シャッターレリーズボタンが押下（ＯＮ）されたか否かを判定する（ステップＳ１１１０）。シャッターレリーズボタンが押下されていないと判定した場合（ステップＳ１１１０のＮｏ）は、シャッターレリーズボタンが押下されたと判定されるまでステップＳ１１１０を繰り返す。一方、シャッターレリーズボタンが押下されたと判定した場合（ステップＳ１１１０のＹｅｓ）は、第１の撮影が実行される（ステップＳ１１１１）。このように、第１の撮影は、撮影構図に含まれる被写体全ての融像可能性を判定し、融像可能な輻輳角を用いて行う。第１の撮影動作が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ１１１２）。次いで信号処理回路７により、撮像部１００３による画像と撮像部１００４による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第１の撮影が完了する（ステップＳ１１１３）。

次に、ブラケット撮影を許可するか否かにより、許可があれば第２の撮影に移行する（ステップＳ１１１４のＹｅｓ）。許可がなければフローを終了する（ステップＳ１１１４のＮｏ）。第２の撮影は、基準面付近から主要被写体を検索し、その輻輳角をできるだけ大きくする設定で行う。

第２の撮影に先立って、まず被写体検知手段１８により、基準面近傍の被写体から、主要被写体を検索する（ステップＳ１１１５）。そして、システム制御部１３は、主要と判断された被写体までの距離から、当該主要被写体の奥行き量を確認する（ステップＳ１１１６）。最も単純には、撮像部１００３および１００４の中点から、主要被写体１００１の前端までの距離と後端までの距離との差分Δｓを確認すればよい。

次いで、当該主要被写体に撮影空間上で発生する視差量の変化から、設定可能な輻輳角の範囲を見積もり、輻輳角を決定する（ステップＳ１１１７）。下式で、Ｄｉｆ２は、Ｄｉｆ１とは異なり、立体感を拡大するために必要な最小の視差量として与えられ、必ずしも撮影対角空間を表す（数１１）に依存していなくてもよい。輻輳角設定手段１６は、輻輳角φを（数１２）に準じて、（数１３）のように演算する。

φ＝Ａｒｃｓｉｎ［Ｄｉｆ２／Δｓ］ （数１３）
第２の撮影（ステップＳ１１１８）が完了すると、固体撮像素子２の出力信号を読み出し、Ａ／Ｄ変換器４でＡ／Ｄ変換が行われる（ステップＳ１１１９）。次いで信号処理回路７により、撮像部１００３による画像と撮像部１００４による画像とのそれぞれに対し、ホワイトバランス、ガンマ補正などの各種信号処理が行われて、記録媒体１０に記録されて第２の撮影が完了する（ステップＳ１１２０）。

以上に述べた第５の実施例によれば、撮影構図全体につき違和感なく鑑賞できる第１の立体撮影と、基準面近傍の主要被写体の立体感を損なわない第２の立体撮影ができる。したがって、例えば、得られた立体画像から基準面近傍の被写体を切り出し保存して、これを鑑賞する場合にも立体感を損なわずに鑑賞することができる。よって各種ユーザーの鑑賞時の要請に応えることができる。

以上、好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず適用可能である。また、その要旨の範囲内で種々の変形及び変更が可能である。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、ステレオカメラ式あるいは一眼レフカメラなどの立体画像撮像装置に好適に利用できる。

１３・・・システム制御部
１６・・・輻輳角設定手段
１７・・・被写体距離計測手段
２０Ｌ・・・固体撮像素子２の単位画素に含まれる左側の光電変換部
２０Ｒ・・・固体撮像素子２の単位画素に含まれる右側の光電変換部
１２０３・・・右側撮像部
１２０４・・・左側撮像部

Claims (14)

1. 異なる複数の視点から被写体を撮像する複数の撮像手段と、
   前記複数の撮像手段の間の輻輳角を設定する輻輳角設定手段と、
   前記撮像手段から前記被写体までの距離を計測する被写体距離計測手段と、
   前記撮像手段を用いて第１の撮影と第２の撮影を行う制御部と、を有し、
   前記輻輳角設定手段は、
   前記第１の撮影において、前記被写体距離計測手段にて計測された前記距離のうち前記撮像手段に最も近い第１の距離にある点が撮像面上でなす視差量を、所定の第１の閾値以下とするように、第１の輻輳角を設定し、
   前記第２の撮影において、前記被写体距離計測手段にて計測された前記距離のうち前記第１の距離よりも遠い第２の距離にある被写体上の複数の点が撮像面上でなす視差変化量を、所定の第２の閾値以上とするように、前記第１の輻輳角とは異なる第２の輻輳角を設定することを特徴とする立体画像撮像装置。
2. 前記第２の距離は、前記撮像手段から最も遠い距離であることを特徴とする請求項１に記載の立体画像撮像装置。
3. 前記被写体を検知する被写体検知手段をさらに備え、
   前記輻輳角設定手段は、
   前記第２の撮影において、前記被写体検知手段が検知した前記第２の距離にある被写体上の複数の点が撮像面上でなす視差変化量を、所定の第２の閾値以上とするように、前記第２の輻輳角を設定することを特徴とする請求項１又は２に記載の立体画像撮像装置。
4. 前記制御部は、前記被写体検知手段が複数の被写体を検出したときに、前記複数の被写体に対して、前記撮像手段を用いて複数の第２の撮影を行うことを特徴とする請求項３に記載の立体画像撮像装置。
5. 前記被写体上の複数の点は、前記被写体の前端と後端であることを特徴とする請求項１〜４のいずれか１項に記載の立体画像撮像装置。
6. 前記複数の撮像手段は、撮像素子の１画素内に設けられた複数の光電変換部であることを特徴とする請求項１〜５のいずれか１項に記載の立体画像撮像装置。
7. 前記立体画像撮像装置は、ステレオカメラ式の立体画像撮像装置であって、
   前記複数の撮像手段は、前記ステレオカメラ式の立体画像撮像装置が有する複数の撮像素子であることを特徴とする請求項１〜５のいずれか１項に記載の立体画像撮像装置。
8. 前記輻輳角設定手段は、絞り設定手段であることを特徴とする請求項６項に記載の立体画像撮像装置。
9. 前記輻輳角設定手段は、
   前記光電変換部への最大光入射角度を算出し、前記最大光入射角度が所定の第３の閾値よりも小さくなるように、前記第２の輻輳角を設定することを特徴とする請求項６に記載の立体画像撮像装置。
10. 前記輻輳角設定手段は、
    撮影光学系の被写界深度を算出し、前記被写体が前記被写界深度内に収まるように、前記第２の輻輳角を設定することを特徴とする請求項１〜９のいずれか１項に記載の立体画像撮像装置。
11. 撮影光学系と、
    請求項１〜１０のいずれか１項に記載の立体画像撮像装置と、を有することを特徴とするカメラシステム。
12. 異なる複数の視点から被写体を撮像する複数の撮像手段を有する立体画像撮像装置の制御方法であって、
    前記複数の撮像手段の間の輻輳角を設定する輻輳角設定ステップと、
    前記撮像手段から前記被写体までの距離を計測する被写体距離計測ステップと、
    前記撮像手段を用いて第１の撮影と第２の撮影を行う制御ステップと、を有し、
    前記輻輳角設定ステップは、
    前記第１の撮影において、前記被写体距離計測ステップにて計測された前記距離のうち前記撮像手段に最も近い第１の距離にある点が撮像面上でなす視差量を、所定の第１の閾値以下とするように、第１の輻輳角を設定し、
    前記第２の撮影において、前記被写体距離計測ステップにて計測された前記距離のうち前記第１の距離よりも遠い第２の距離にある被写体上の複数の点が撮像面上でなす視差変化量を、所定の第２の閾値以上とするように、前記第１の輻輳角とは異なる第２の輻輳角を設定することを特徴とする立体画像撮像装置の制御方法。
13. 請求項１２に記載の立体画像撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
14. コンピュータに、請求項１２に記載の立体画像撮像装置の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。