JP2011146825A - ステレオ画像撮影装置およびその方法 - Google Patents

Abstract

【課題】従来技術では、連写した画像列データから２枚の画像データを抽出してステレオ画像を撮影する場合、連写撮影枚数、連写時間を長く設定することで、多くの連写画像データを撮影でき、２枚の画像データの選択肢が増えるものの、すべての画像データを使用するわけではないので、必要以上に画像データを生成してしまう場合がある。
【解決手段】本発明のステレオ画像用撮像装置１０００では、焦点距離、被写体までの距離、撮影モード（マクロ、人物、風景）に応じて、最大連写時間、連写枚数の最大値を設定する。最大連写枚数や最大連写時間を小さく設定することで、特にステレオベースが小さくなるように誘導することが可能となり、適切なステレオベースを選択しやすくなり、適切な立体感をもつ立体画像を撮影可能となる。
【選択図】図１

Description

本発明は、ステレオ立体視用の右眼画像および左眼画面を撮影する撮影装置（ステレオ画像用撮像装置）、ステレオ画像用撮像方法、プログラムおよび集積回路に関する。

従来のステレオ画像撮影カメラ（ステレオ画像用撮像装置）では、左眼用撮影カメラと右眼用撮影カメラとのカメラ間距離（ステレオベース）を、人間の平均的な瞳間距離である約６．５〜７ｃｍに設定して固定するのが一般的であった。しかし、このような従来ステレオ画像用撮像装置では、左眼用撮影カメラと右眼用撮影カメラの２台、もしくは、撮像部を２つ搭載したカメラが必要であり、装置コスト等が高くなる課題がある。
こうした課題を解決するため、１台のカメラを用いて水平方向に移動させて左眼用の画像と右眼用の画像とを２回撮影することによりステレオ画像（立体画像）を取得（撮像）する方法や、連写で被写体の画像列（複数の画像）を撮影（取得）し、取得した画像列（複数の画像）から、ステレオ画像を構成させるための左眼用画像と右眼用画像の２枚の画像を選択する方法が提案されている（例えば、特許文献１参照）。

図３は、ステレオ画像用撮像装置で連写撮影された画像列からステレオ画像を生成する方法を説明するための図である。図３（ａ）は、ステレオ画像用撮像装置（カメラ）の撮影位置と被写体との位置関係およびステレオ画像用撮像装置の撮影時刻Ｔ０〜Ｔ５を模式的に示した図である。図３（ｂ）は、連写画像列（撮影時刻Ｔ０〜Ｔ５で撮像した複数の画像）を模式的に示す図である。図３（ｃ）は、ステレオ画像（連写画像列の中から取得した左眼用画像および右眼用画像）を模式的に示す図である。
図３（ａ）に示すように、１台のカメラ（ステレオ画像用撮像装置）を水平方向に移動させながら、連写画像列を撮影する。図３（ａ）は、画像列を構成する各画像の撮影時刻Ｔ０からＴ５におけるカメラ（ステレオ画像用撮像装置）と被写体の位置関係を示している。なお、撮影時刻Ｔ０〜Ｔ５におけるカメラ位置（ステレオ画像用撮像装置の位置）は、必ずしもカメラ移動方向（水平方向）に等間隔になるとは限らないが、カメラ（ステレオ画像用撮像装置）の移動を補助する装置と組み合わせて、撮影時刻Ｔ０〜Ｔ５におけるカメラ位置（ステレオ画像用撮像装置の位置）が等間隔となるように制御して、カメラ（ステレオ画像用撮像装置）により画像列を撮影（取得）することも可能である。

図３（ｂ）は、ステレオ画像用撮像装置により、図３（ａ）のカメラ位置で撮影した、時刻Ｔ０からＴ５での連写画像列を示している。ステレオ画像用撮像装置では、この連写画像列から所定の条件に基づき、ステレオ画像を構成する右眼用画像と左眼用画像の２枚の画像対を選択し、立体画像（ステレオ画像）として用いる。
図１５に、従来のステレオ画像用撮像装置において、連写撮影された画像列から左眼用画像と右眼用画像の２枚の画像対を選択する場合のフローチャートを示す。
この従来のステレオ画像用撮像装置では、立体視画像に適した２枚組みの画像として、安定したパンニングで撮影された画像であり、かつ、撮影された画像の撮影位置のずれが人間の両眼距離Ｌ程度（およそ１０ｃｍ弱）である画像を選択して記録する。
図１５に示すように、従来のステレオ画像用撮像装置では、ステップＳ１にて、立体撮影モードに設定され、従来のステレオ画像用撮像装置のレリーズボタンが半押しされたと判断すると、ステップＳ２にて、最初にパンニングが行われているか否かの判定が行われる。

そして、ステップＳ２の処理、すなわち、パンニングが行われているか否かの判定処理が終了したら、ステップＳ３にて、従来のステレオ画像用撮像装置は、パンニング速度を算出する。そして、ステップＳ４にて、従来のステレオ画像用撮像装置は、ステップＳ３で算出されたパンニング速度に基づいて、連写撮影を行い、画像列を記録する。
そして、従来のステレオ画像用撮像装置は、ステップＳ５にて、一連の連写画像の中から安定パンニング中に撮影された画像を抽出し、ステップＳ６にて、抽出された画像の中から、画像の撮影位置のずれが、人間の両眼距離Ｌ程度（およそ１０ｃｍ弱）である画像の２枚組みを作成する。次に、従来のステレオ画像用撮像装置は、ステップＳ７にて、作成された画像２枚組みの中から、最も滑らかにパンニングがされている２枚組みを最も立体画像（ステレオ画像）に適切な２枚組みとして抽出する。

特開２００９−１０３９８０号公報

しかしながら、従来技術（従来のステレオ画像用撮像装置）では、人間の両眼距離程度離れた画像の２枚組みを立体画像（右眼用画像および左眼用画像）として選択する。このため、従来のステレオ画像用撮像装置により近景シーンを撮影する場合、両眼視差が大きくなりすぎた状態で立体画像（ステレオ画像）が取得されたり、撮影対象物が、右眼用画像および左眼用画像のどちらか一方の画像にしか含まれず、立体視しづらい立体画像が取得されたりするという課題がある。また、従来のステレオ画像用撮像装置により遠景シーンを撮影する場合、従来技術（従来のステレオ画像用撮像装置）では、人間の両眼距離程度離れた画像の２枚組みを立体画像（右眼用画像および左眼用画像）として選択するため、仮想スクリーン上の視差量が少ない状態で撮像されることになる。その結果、従来技術（従来のステレオ画像用撮像装置）では、立体感が不足したステレオ画像が取得されるという課題がある。

図４は、被写体距離と視差量（仮想スクリーン上の視差量）との関係を説明するための図である。図４（ａ）は、被写体距離が短い場合の被写体距離と視差量（仮想スクリーン上の視差量）との関係を説明するための図である。図４（ｂ）は、被写体距離が長い場合の被写体距離と視差量（仮想スクリーン上の視差量）との関係を説明するための図である。
図４に示すように、被写体距離が短い場合、被写体距離が長い場合に比べ、仮想スクリーン面上での視差量が大きくなる。このように被写体距離が短い状態でステレオ画像用撮像装置によりステレオ画像を取得する場合、両眼視差が大きい状態でステレオ画像が取得されることになる。したがって、取得されたステレオ画像を表示装置で立体画像として表示させた場合、表示装置のスクリーン面上での視差が大きく（スクリーン面上での左眼画像と右眼画像のズレ量が大きく）、当該立体画像は、視聴者にとって、見づらい立体画像（ステレオ画像）になる可能性がある。

また、従来のステレオ画像用撮像装置では、連写した画像列データから２枚の画像データを選択する場合、連写撮影時間を長く設定することで、多くの連写画像列を撮影することができる。これにより、従来のステレオ画像用撮像装置では、２枚の画像データの選択肢が増えるものの、すべての画像データを使用するわけではないので、ステレオ画像として選択されない多くの無駄な画像データが生成されるという課題がある。
さらに、従来のステレオ画像用撮像装置では、画像列のデータ数が増えるほど、２枚の画像データの抽出に時間がかかるという課題がある。
本発明は、上記課題に鑑み、被写体距離に応じて、立体視として適切な視点間距離を決定した上で、連写画像列から２枚の画像データを選択することにより、飛び出しすぎ等のない見やすい立体画像を撮影することが可能となるステレオ画像用撮像装置、ステレオ画像用撮像方法、プログラムおよび集積回路を提供することを目的とする。

第１の発明は、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置であって、被写体距離計測部と、視点間距離算出部と、撮像部と、ステレオ画像選択部と、を備えるステレオ画像用撮像装置である。
被写体距離計測部は、少なくとも１つの被写体との距離である被写体距離を計測する。視点間距離算出部は、被写体距離計測部により計測された被写体距離から、所定の条件に基づいて視点間距離情報を算出する。撮像部は、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得する。ステレオ画像選択部は、視点間距離情報に基づいて、撮像部により取得された画像列の中から、左眼用画像と右眼用画像を選択する。
このステレオ画像用撮像装置では、被写体距離計測部により計測された被写体距離に応じて、適切な立体視を実現するステレオ画像が取得される視点間距離（目標視点間距離）が算出される。そして、このステレオ画像用撮像装置では、算出された適切な視点間距離（目標視点間距離）に基づいて、撮像部で取得された連写画像列（連写により取得された複数の画像）からステレオ画像を構成する２枚の画像（右眼用画像および左眼用画像）が、ステレオ画像選択部により選択される。これにより、このステレオ画像用撮像装置では、飛び出しすぎ等のない見やすい立体画像を撮影（取得）することが可能となる。

なお、このステレオ画像用撮像装置において、「撮影する位置を水平方向に変更させ」るために、（１）ステレオ画像用撮像装置自体を移動させてもよいし、（２）撮像部を移動させてもよいし、あるいは、（３）撮像部を構成する光学系の被写体光の入光位置を移動させてもよい。
また、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ）面上に焦点を結んでいる物体からカメラ（ステレオ画像用撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、ステレオ画像用撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）ステレオ画像用撮像装置の光学系のレンズ全体の重心位置から被写体までの距離、（２）撮像部の撮像素子面から被写体までの距離、（３）ステレオ画像用撮像装置の重心（あるいは中心）から被写体までの距離等を含む概念である。

第２の発明は、第１の発明であって、視点間距離算出部は、ステレオ画像選択部により選択される左眼用画像と右眼用画像による被写体の定位位置が、当該被写体を融合して視認可能な領域（以下、「立体視可能領域」という。）内となるように、視点間距離情報を算出する。
これにより、このステレオ画像用撮像装置で取得されるステレオ画像（左眼用画像と右眼用画像）の被写体の定位位置が、立体視可能領域内となるので、このステレオ画像用撮像装置で取得されるステレオ画像は、適切な立体感を実現するステレオ画像となる。
第３の発明は、第１または第２の発明であって、最大連写時間算出部と、連写時間制御部と、をさらに備える。
最大連写時間算出部は、算出された視点間距離情報に基づいて、最大連写時間を算出する。連写時間制御部は、最大連写時間に基づいて、撮像部の連続撮影時間を制御する。

そして、撮像部は、連写時間制御部により制御され、最大連写時間においてのみ、画像列を取得する。
このステレオ画像用撮像装置では、目標視点間距離に基づいて最大連写時間を設定（算出）し、設定した最大連写時間内で連写することで、撮像部により画像列が取得される。このため、このステレオ画像用撮像装置では、ステレオ画像として採用される可能性のない無駄な画像が取得されることがない。したがって、このステレオ画像用撮像装置では、無駄な撮影を行うことなく、かつ、適切な立体感を実現するステレオ画像（立体画像）を撮影（取得）することができる。
なお、このステレオ画像用撮像装置において、撮像部が、最大連写時間においてのみ、画像列を取得するように、連写時間制御部は、最大連写時間を超えた場合、撮像部の撮影動作（連写動作）を停止させるようにしてもよい。

第４の発明は、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置である。このステレオ画像用撮像装置は、撮像部と、撮影モード選択部と、被写体サイズ推定部と、被写体距離推定部と、視点間距離算出部と、最大連写時間算出部と、連写時間制御部と、ステレオ画像選択部と、を備える。
撮像部は、被写体からの光から画像を取得する。撮影モード選択部は、撮影モードを決定する。被写体サイズ推定部は、撮影モード選択部により決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する。被写体距離推定部は、被写体サイズ推定部により推定された被写体サイズ情報と、撮像部に設定されている焦点距離情報と、撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する。視点間距離算出部は、被写体距離推定部により推定された被写体距離から、所定の条件に基づいて、視点間距離情報を算出する。最大連写時間算出部は、視点間距離情報に基づいて、最大連写時間を算出する。連写時間制御部は、最大連写時間に基づいて、撮像部の連続撮影時間を制御する。ステレオ画像選択部は、撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択する。

そして、撮像部は、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得するとともに、連写時間制御部により制御され、最大連写時間においてのみ、画像列を取得する。
このステレオ画像用撮像装置では、被写体サイズ推定部により撮影モードから被写体の大きさが推定され、推定された被写体の大きさと撮像部の焦点距離とから、被写体までの距離（被写体距離）が、被写体距離推定部により推定される。さらに、このステレオ画像用撮像装置では、推定された被写体距離から最適な視差を実現するステレオ画像用撮像装置（あるいは撮像部）の水平移動距離（目標視点間距離）を算出した上で、最大連写時間を設定して視点間距離（ステレオベース）を調整する。これにより、このステレオ画像用撮像装置では、立体視に関する専門知識を必要とせず、無駄のない撮影で、適切な立体感をもつ立体画像（ステレオ画像）の撮影（取得）が可能となる。

第５の発明は、第４の発明であって、視点間距離算出部は、ステレオ画像選択部により選択される左眼用画像と右眼用画像による被写体の定位位置が、当該被写体を融合して視認可能な領域内となるように、視点間距離情報を算出する。
これにより、このステレオ画像用撮像装置で取得されるステレオ画像（左眼用画像と右眼用画像）の被写体の定位位置が、立体視可能領域内となるので、このステレオ画像用撮像装置で取得されるステレオ画像は、適切な立体感を実現するステレオ画像となる。
第６の発明は、第１から第５のいずれかの発明であって、被写体距離推定部は、顔検出部と、顔領域サイズ算出部と、被写体サイズ推定部と、を備える。
顔検出部は、撮影中の画像から人物の顔領域を検出する。顔領域サイズ算出部は、顔検出部により検出された顔領域サイズを算出する。被写体サイズ推定部は、顔領域サイズ算出部により算出された顔領域サイズに基づき、被写体サイズを推定する。

これにより、このステレオ画像用撮像装置では、顔領域に基づいて、被写体サイズの推定をすることができる。このため、より精度良く、被写体距離を推定することが可能となる。
第７の発明は、第５または第６の発明であって、最大連写時間算出部は、ステレオ画像撮影装置を起動する際に、起動時に設定されている撮影モードに基づいて、最大連写撮影時間を設定する。
第８の発明は、第４から第７のいずれかの発明であって、撮影モード選択部にて選択される対象の撮影モードには、被写体サイズを推定しやすい、被写体の撮影部分を表わす撮影モードが含まれている。
第９の発明は、第３から第８のいずれかの発明であって、ステレオ画像用撮像装置の撮影位置を水平方向に移動させながら撮影したときの、単位時間あたりのずれ量から移動速度情報を算出する移動距離測定部をさらに備える。

最大連写時間算出部は、移動距離測定部により算出された移動速度情報に基づいて、最大連写時間を算出する。
これにより、このステレオ画像用撮像装置では、移動距離測定部により算出された移動速度情報に基づいて、最大連写時間を算出（決定）することができる。
第１０の発明は、第９の発明であって、移動距離測定部は、撮影する毎に、単位時間あたりの撮影位置のずれ量から移動速度情報を算出し、前回の撮影で算出し記録した移動速度情報と、今回の撮影で算出した移動速度情報との平均値である平均移動速度情報を算出する。また、最大連写時間算出部は、移動距離測定部により算出された平均移動速度情報に基づいて、最大連写時間を算出する。
これにより、このステレオ画像用撮像装置では、移動距離測定部により算出された平均移動速度情報に基づいて、最大連写時間を算出（決定）することができる。

第１１の発明は、被写体距離計測部と、撮像部と、を備え、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法である。このステレオ画像用撮像方法は、被写体距離計測ステップと、視点間距離算出ステップと、撮像ステップと、ステレオ画像選択ステップと、を備える。
被写体距離計測ステップでは、被写体距離計測部に、少なくとも１つの被写体との距離である被写体距離を計測させる。視点間距離算出ステップでは、被写体距離計測ステップにより計測された被写体距離から、所定の条件に基づいて視点間距離情報を算出する。撮像ステップでは、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を撮像部に取得させる。ステレオ画像選択ステップでは、視点間距離情報に基づいて、撮像部により取得された画像列の中から、左眼用画像と右眼用画像を選択する。

これにより、第１の発明と同様の効果を奏するステレオ画像用撮像方法を実現することができる。
第１２の発明は、被写体距離計測部と、撮像部と、を備え、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムである。このステレオ画像用撮像方法は、被写体距離計測ステップと、視点間距離算出ステップと、撮像ステップと、ステレオ画像選択ステップと、を備える。
被写体距離計測ステップでは、被写体距離計測部に、少なくとも１つの被写体との距離である被写体距離を計測させる。視点間距離算出ステップでは、被写体距離計測ステップにより計測された被写体距離から、所定の条件に基づいて視点間距離情報を算出する。撮像ステップでは、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を撮像部に取得させる。ステレオ画像選択ステップでは、視点間距離情報に基づいて、撮像部により取得された画像列の中から、左眼用画像と右眼用画像を選択する。

これにより、第１の発明と同様の効果を奏するステレオ画像用撮像方法をコンピュータに実行させるプログラムを実現することができる。
第１３の発明は、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置であって、被写体距離計測部と、撮像部と、を備えるステレオ画像用撮像装置に用いられる集積回路である。この集積回路は、被視点間距離算出部と、ステレオ画像選択部と、を備える。
被写体距離計測部は、少なくとも１つの被写体との距離である被写体距離を計測する。撮像部は、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得する。
視点間距離算出部は、被写体距離計測部により計測された被写体距離から、所定の条件に基づいて視点間距離情報を算出する。ステレオ画像選択部は、視点間距離情報に基づいて、撮像部により取得された画像列の中から、左眼用画像と右眼用画像を選択する。

これにより、第１の発明と同様の効果を奏する集積回路を実現することができる。
第１４の発明は、被写体からの光から画像を取得する撮像部を備え、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法である。このステレオ画像用撮像方法は、撮影モード選択ステップと、被写体サイズ推定ステップと、被写体距離推定ステップと、視点間距離算出ステップと、最大連写時間算出ステップと、連写時間制御ステップと、撮像ステップと、ステレオ画像選択ステップと、を備える。
撮影モード選択ステップでは、撮影モードを決定する。被写体サイズ推定ステップでは、撮影モード選択ステップにより決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する。被写体距離推定ステップでは、被写体サイズ推定ステップにより推定された被写体サイズ情報と、撮像部に設定されている焦点距離情報と、撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する。視点間距離算出ステップでは、被写体距離推定ステップにより推定された被写体距離から、所定の条件に基づいて、視点間距離情報を算出する。最大連写時間算出ステップでは、視点間距離情報に基づいて、最大連写時間を算出する。連写時間制御ステップでは、最大連写時間に基づいて、撮像部の連続撮影時間を制御する。撮像ステップでは、撮像部に対して、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を、最大連写時間においてのみ、取得させる。ステレオ画像選択ステップでは、撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択する。

これにより、第４の発明と同様の効果を奏するステレオ画像用撮像方法を実現することができる。
第１５の発明は、被写体からの光から画像を取得する撮像部を備え、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムである。このステレオ画像用撮像方法は、撮影モード選択ステップと、被写体サイズ推定ステップと、被写体距離推定ステップと、視点間距離算出ステップと、最大連写時間算出ステップと、連写時間制御ステップと、撮像ステップと、ステレオ画像選択ステップと、を備える。

撮影モード選択ステップでは、撮影モードを決定する。被写体サイズ推定ステップでは、撮影モード選択ステップにより決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する。被写体距離推定ステップでは、被写体サイズ推定ステップにより推定された被写体サイズ情報と、撮像部に設定されている焦点距離情報と、撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する。視点間距離算出ステップでは、被写体距離推定ステップにより推定された被写体距離から、所定の条件に基づいて、視点間距離情報を算出する。最大連写時間算出ステップでは、視点間距離情報に基づいて、最大連写時間を算出する。連写時間制御ステップでは、最大連写時間に基づいて、撮像部の連続撮影時間を制御する。撮像ステップでは、撮像部に対して、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を、最大連写時間においてのみ、取得させる。ステレオ画像選択ステップでは、撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択する。

これにより、第４の発明と同様の効果を奏するステレオ画像用撮像方法をコンピュータに実行させるプログラムを実現することができる。
第１６の発明は、撮像部と、撮影モード選択部と、を備え、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられる集積回路である。
この集積回路は、被写体サイズ推定部と、被写体距離推定部と、視点間距離算出部と、最大連写時間算出部と、連写時間制御部と、ステレオ画像選択部と、を備える。
撮像部は、被写体からの光から画像を取得するとともに、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得する。撮影モード選択部は、撮影モードを決定する。

被写体サイズ推定部は、撮影モード選択部により決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する。被写体距離推定部は、被写体サイズ推定部により推定された被写体サイズ情報と、撮像部に設定されている焦点距離情報と、撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する。視点間距離算出部は、被写体距離推定部により推定された被写体距離から、所定の条件に基づいて、視点間距離情報を算出する。最大連写時間算出部は、視点間距離情報に基づいて、最大連写時間を算出する。連写時間制御部は、最大連写時間に基づいて、撮像部の連続撮影時間を制御する。ステレオ画像選択部は、撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択する。
これにより、第４の発明と同様の効果を奏する集積回路を実現することができる。

本発明によれば、被写体距離に応じて、立体視として適切な視点間距離を決定した上で、連写画像列から２枚の画像データを選択することにより、飛び出しすぎ等のない見やすい立体画像を撮影することが可能となるステレオ画像用撮像装置、ステレオ画像用撮像方法、プログラムおよび集積回路を実現することができる。

第１実施形態のステレオ画像用撮像装置１０００の概略構成図。 撮像部１０５の概略構成図。 連写撮影された画像列からステレオ画像を生成する方法に関する説明図。 被写体距離と視差量との関係についての説明図。 視点位置と視差量との関係についての説明図。 被写体距離と視点間距離と仮想スクリーンまでの距離についての説明図。 被写体距離と視点間距離と仮想スクリーンまでの距離についての説明図。 第１実施形態のステレオ画像用撮像装置１０００の処理（ステレオ画像用撮像方法）についてのフローチャート。 第２実施形態のステレオ画像用撮像装置２０００の概略構成図。 撮像部１０５Ａの概略構成図。 撮影モードと、推定被写体サイズと、最大連写時間とを対応付けたテーブルの一例に関する説明図。 被写体サイズと焦点距離とから被写体距離を推定する方法に関する説明図。 被写体サイズを推定しやすい撮影モード例に関する説明図。 第２実施形態のステレオ画像用撮像装置２０００の処理（ステレオ画像用撮像方法）についてのフローチャート。 従来技術の処理フローチャート。

以下、本発明の実施形態について、図面を参照しながら説明する。
［第１実施形態］
＜１．１：ステレオ画像用撮像装置の構成＞
図１に、第１実施形態のステレオ画像用撮像装置１０００の概略構成図を示す。また、図３に、ステレオ画像用撮像装置１０００の撮像部１０５の概略構成図を示す。
図１に示すように、ステレオ画像用撮像装置１０００は、ステレオ画像用撮像装置１０００と被写体との距離である被写体距離を計測する被写体距離計測部１０１と、被写体距離計測部１０１により計測された被写体距離に基づいて、目標視点間距離情報を算出する視点間距離算出部１０２と、算出された視点間距離に基づいて、最大連写時間を算出する最大連写時間算出部１０３と、を備える。

また、ステレオ画像用撮像装置１０００は、最大連写時間算出部１０３により算出された最大連写時間に基づき撮像部１０５での撮像タイミングおよび撮像時間を制御する連写時間制御部１０４と、連写時間制御部１０４の制御に従い、被写体を連続的に撮像（撮影）し、被写体についての画像列（複数の画像）を取得する撮像部１０５と、を備える。
また、ステレオ画像用撮像装置１０００は、撮像部１０５が取得した画像列（複数の画像）を記録する画像記録部１０６と、画像記録部１０６により記録された画像列（複数の画像）から、視点間距離算出部１０２により算出された目標視点間距離情報に基づき、右眼用画像および左眼用画像を選択し、選択した画像をステレオ画像として出力するステレオ画像選択部１０７と、を備える。
被写体距離計測部１０１は、測距センサ等を用いて構成され、被写体からステレオ画像用撮像装置１０００までの距離を計測する。具体的には、被写体距離計測部１０１は、ステレオ画像用撮像装置１０００から、主要被写体または最も近い被写体までの距離を計測する。そして、被写体距離計測部１０１は、計測した被写体距離情報を視点間距離算出部１０２に出力する。

視点間距離算出部１０２は、被写体距離計測部１０１により計測された被写体距離情報を入力とし、被写体距離計測部１０１により計測された被写体距離情報に基づいて、目標視点間距離を算出する。そして、視点間距離算出部１０２は、算出した目標視点間距離に関する情報を、目標視点間距離情報として、最大連写時間算出部１０３およびステレオ画像選択部１０７に出力する。
最大連写時間算出部１０３は、視点間距離算出部１０２から出力される目標視点間距離情報を入力とし、目標視点間距離情報に基づいて、ステレオ画像用撮像装置１０００の最大連写時間を算出する。そして、最大連写時間算出部１０３は、算出した最大連写時間に関する情報を連写時間制御部１０４に出力する。
連写時間制御部１０４は、最大連写時間算出部１０３から出力される最大連写時間に関する情報を入力とし、最大連写時間に関する情報に基づき撮像部１０５での撮像タイミングおよび撮像時間を制御する信号である撮像部制御信号を生成する。そして、連写時間制御部１０４は、生成した撮像部制御信号を撮像部１０５に出力する。

撮像部１０５は、図２に示すように、光学系１と、撮像素子部２と、カメラ信号処理部３と、備える。撮像部１０５は、連写時間制御部１０４の制御に従い、被写体を連続的に撮像（撮影）し、被写体についての画像列（複数の画像）を取得する。そして、取得した被写体についての画像列（複数の画像）を画像記録部１０６に出力する。
光学系１は、被写体からの光が撮像素子部２の撮像素子の撮像素子面に照射されるように、被写体からの光を集光する。
撮像素子部２は、ＣＭＯＳイメージセンサ等の撮像素子を有しており、光学系１により集光された光を光電変換し画像信号（画像を形成することができる電気信号）を取得する。また、撮像素子部２は、連写時間制御部１０４から出力される撮像部制御信号を入力とする。撮像素子部２は、撮像部制御信号に従い（撮像部制御信号で指示された所定のタイミングで）、画像信号を取得し、取得した画像信号をカメラ信号処理部３に出力する。

カメラ信号処理部３は、撮像素子部２から出力される画像信号を入力とし、入力された画像信号に対して、カメラ信号処理（ゲイン調整処理、ガンマ補正処理、アパーチャー調整処理、ＷＢ（Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理、フィルタ処理等）を実行する。そして、カメラ信号処理部３は、カメラ信号処理を施した画像信号を画像記録部１０６に出力する。
なお、カメラ信号処理部は、必ずしも、撮像部１０５内に含まれる必要はなく、例えば、撮像部１０５外（例えば、図１の画像記録部１０６の前段の位置）に配置されるものであってもよい。
画像記録部１０６は、撮像部１０５が取得した画像列（複数の画像）を入力とする。具体的には、画像記録部１０６は、撮像部１０５のカメラ信号処理部３から出力される画像信号を入力とする。そして、画像記録部１０６は、画像列（複数の画像）分の画像信号（画像データ）を、所定の記録フォーマットで、記録する。そして、画像記録部１０６は、所定のタイミングで、記録された画像列（複数の画像）分の画像信号（画像データ）をステレオ画像選択部１０７に出力する。

なお、画像記録部１０６は、画像列（複数の画像）分の画像信号（画像データ）を、それぞれ、その画像信号が取得された撮影時刻に関する情報とともに、記録することが好ましい。
また、画像記録部１０６は、ステレオ画像用撮像装置１０００の外部の記録メディアに画像列（複数の画像）分の画像信号（画像データ）を記録するものであってもよい。
ステレオ画像選択部１０７は、画像記録部１０６から出力される画像列（複数の画像）分の画像信号（画像データ）と、視点間距離算出部１０２から出力される目標視点間距離情報とを入力とする。ステレオ画像選択部１０７は、画像記録部１０６により記録された画像列（複数の画像）から、視点間距離算出部１０２により算出された目標視点間距離情報に基づき、右眼用画像および左眼用画像を選択し、選択した画像をステレオ画像（右眼用画像および左眼用画像から構成されるステレオ画像）として出力する。

なお、ステレオ画像用撮像装置１０００は、ステレオ画像用撮像装置１０００の各機能部を制御する制御部（不図示）を備える。この制御部は、例えば、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等により実現される。また、ステレオ画像用撮像装置１０００の各機能部の全部または一部は、直接接続されるものであってもよいし、バスを介して接続されるものであってもよい。
＜１．２：ステレオ画像用撮像装置の動作＞
以上のように構成されたステレオ画像用撮像装置１０００の動作について、以下、説明する。なお、図８は、ステレオ画像用撮像装置１０００で実行されるステレオ画像用撮像方法の処理フローを示すフローチャートである。
（ステップＳ１０１）：
被写体距離計測部１０１では、測距センサ等を用いて、被写体距離（ステレオ画像用撮像装置１０００と被写体との距離）を計測する。具体的には、被写体距離計測部１０１では、測距センサにより、主要被写体もしくは、最も視点（ステレオ画像用撮像装置１０００）に近い被写体までの距離を計測する。そして、計測した被写体距離に関する情報は、視点間距離算出部１０２に出力される。
（ステップＳ１０２）：
視点間距離算出部１０２では、被写体距離計測部１０１により算出された被写体距離に関する情報から、所定の条件（例えば、適切な立体感を実現するステレオ画像を取得するための条件）に基づいて、目標視点間距離情報が算出される。目標視点間距離情報は、目標視点間距離に関する情報である。目標視点間距離は、適切な立体感を実現するステレオ画像（右眼用画像および左眼用画像）を取得するために、撮像部１０５（あるいは、ステレオ画像用撮像装置１０００全体）を水平方向に移動させる距離（目標とする距離）である。

ここで、視点位置と視差量（仮想スクリーン上の視差量）との関係について、図５を用いて説明する。
図５は、視点位置と視差量との関係を説明するための図である。図５に示すとおり、左眼視点を固定した場合、右眼視点Ａに対応する仮想スクリーン上の視差量Ａと、右眼視点Ｂに対応する仮想スクリーン上の視差量Ｂとを比較すると、視点間距離の短い左眼視点Ａの場合、視差量が小さく、視点間距離の長い左眼視点Ｂの場合、視差量が大きくなる。
視点間距離算出部１０２では、被写体距離計測部１０１により計測された被写体距離に応じて、目標視点間距離を算出する。例えば、被写体距離が短い場合、視点間距離算出部１０２は、視点間距離が短くなるように目標視点間距離を設定（算出）し、仮想スクリーン上の視差量が所定の閾値内に制限されるようにする。これにより、ステレオ画像用撮像装置１０００では、ステレオ画像用撮像装置１０００により取得されるステレオ画像を立体表示した際の飛び出しすぎを抑制することができる。

なお、仮想スクリーン上の視差量が所定の閾値内に制限されるようにするために、例えば、立体視可能領域を考慮して、視点間距離算出部１０２で、目標視点間距離を算出することが好ましい。
≪視点間距離、仮想スクリーン面上での視差量、および、被写体距離との関係≫
ここで、視点間距離、仮想スクリーン面上での視差量、および、被写体距離との関係について、図６、図７を用いて、説明する。
図６は、被写体までの距離Ｌと、想定表示画面（仮想スクリーン）までの距離Ｋと、左眼視点位置と右眼視点位置との距離である視点間距離Ｖ（左眼用画像を取得するタイミングにおける光学系１の入光位置（被写体からの光が光学系１に入ってくる位置、つまり、光学系１を１つのレンズと仮想したときの当該レンズの主点に相当する位置）と右眼用画像を取得するタイミングにおける光学系１の入光位置との距離）と、想定表示画面（仮想スクリーン）上の視差量Ｄとの関係を説明するための図である。なお、本実施形態における入光位置は、レンズの主点に限定されるものではなく、当該レンズ全体の重心位置、撮像部１０５におけるセンサ面（撮像素子面）等、ステレオ画像用撮像装置１０００における任意の位置を用いることが出来る。

図６（ａ）に示すように、被写体が想定表示画面（仮想スクリーン）の奥に存在する場合、（引き込み側の）視差量Ｄは、
Ｄ＝（Ｌ−Ｋ）×Ｖ／Ｌ
により算出できる。
また、図６（ｂ）に示すように、被写体が想定表示画面（仮想スクリーン）の手前に存在する場合、（飛び出し側の）視差量Ｄは、
Ｄ＝−（Ｌ−Ｋ）×Ｖ／Ｌ
により算出できる。
図７に示すように、ステレオ画像用撮像装置１０００で撮影する最も手前の被写体位置Ｐｍｉｎとし、ステレオ画像用撮像装置１０００で撮影する最も奥の被写体位置Ｐｍａｘとしたとき、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、一般の人がステレオ画像を融像できる範囲（安全な立体視が可能な領域）となるように、ステレオ画像用撮像装置１０００において、視点間距離Ｖを調整することが好ましい。例えば、ステレオ画像用撮像装置１０００の設計者が視聴時における立体感を重要視する場合、図６（ａ）に示す被写体とのなす角α１と、仮想スクリーンと成す角β１との差分絶対値が１°以内となるように設定される構成等、一般にステレオ画像を視聴した際に２重像とは見えない領域である立体視可能領域内のとしても構わない。つまり、上記を考慮して、視点間距離算出部１０２で、目標視点間距離を算出（設定）することが好ましい。なお、立体視可能領域の視差量は、上記の値に限定されるものではなく、表示デバイスの性能若しくは、視聴環境等によって変動するものであってもよい。また、他の基準がある場合は当該基準に従って目標視差量が設定される。

例えば、図７に示す位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記のような安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）内となるように、ステレオ画像用撮像装置１０００において、視点間距離Ｖを調整することが好ましい。ここで、安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）について、図７（ｂ）を用いて説明する。
図７に示すように、視点間距離をＶとし、右眼視点位置をＰ１とし、左眼視点位置をＰ２とし、図７に示すように位置Ｐ３、Ｐ４を設定した場合、直線Ｐ１−Ｐ３と直線Ｐ３−Ｐ２のなす角度（視差角）αと、直線Ｐ１−Ｐ４と直線Ｐ４−Ｐ２のなす角度（視差角）βとの間に、
α−β≦１°
の関係があるとき、図７に示したＰ３、Ｐ４間の領域は、立体視可能領域内となる領域となり、この領域に被写体位置があれば、その状態で撮像されたステレオ画像は、多くの人にとって融像可能なステレオ画像となり、かつ、安全性が確保されたステレオ画像となることが知られている。

したがって、ステレオ画像用撮像装置１０００において、例えば、位置Ｐｍｉｎ〜位置Ｐｍａｘの領域が、上記安全な立体視が可能な領域（例えば、立体視可能領域に含まれる領域）内となるように、視点間距離算出部１０２が目標視点間距離を算出することが好ましい。
なお、ステレオ画像用撮像装置１０００において、想定表示画面（仮想スクリーン）までの距離Ｋを、ユーザーが設定しても構わないし、ステレオ画像用撮像装置１０００の出荷時にメーカー側で、標準値を決めて、想定表示画面（仮想スクリーン）までの距離Ｋを設定するようにしてもよい。
また、ステレオ画像用撮像装置１０００において、想定表示画面（仮想スクリーン）までの距離Ｋは、ユーザーが各家庭での状況に応じて設定されるものであってもよいし、ユーザーが保有するテレビのインチ数を設定して、テレビ画面のインチ数に基づいて、カメラ内部で標準視距離（例えば、画面の高さの３倍の距離等）に変換して設定されるものであってもよい。また、メーカー側で、出荷時に、標準インチ数を想定して、標準視距離に基づいて、想定表示画面（仮想スクリーン）までの距離Ｋが設定されるものであってもよい。

なお、上記の想定表示画面（仮想スクリーン）までの距離Ｋ等の情報は、ステレオ画像用撮像装置１０００において、制御部（不図示）により、視点間距離算出部１０２に提供される。
以上のようにして、視点間距離算出部１０２で算出された目標視点間距離情報は、最大連写時間算出部１０３およびステレオ画像選択部１０７に出力される。
（ステップＳ１０３）：
最大連写時間算出部１０３では、目標視点間距離情報に基づいて、最大連写時間が算出される。具体的には、目標視点間距離情報をＰとし、ステレオ画像用撮像装置１０００において想定される単位連写間隔あたりの移動距離をＱとし、ステレオ画像用撮像装置１０００における単位時間あたりの連写枚数をＲとすると、最大連写時間Ｘは、
Ｘ＝（Ｐ／Ｑ）／Ｒ
により算出される。

なお、想定される単位連写間隔あたりの移動距離Ｑについては、事前に撮影者にカメラ（ステレオ画像用撮像装置１０００）を移動させながら、所定の被写体（例えば、所定の被写体距離に設置した所定のテストパターン）を連写させて、撮影者特有の移動距離を計測（例えば、ステレオ画像用撮像装置１０００に加速度センサを設置し、その加速度センサにより計測した加速度およびステレオ画像用撮像装置１０００を移動させた時間により移動距離を計測）した上で、その測定した値に基づいた想定される単位連写間隔あたりの移動距離Ｑを、カメラ（ステレオ画像用撮像装置１０００）に設定するようにしてもよい。
また、毎連写撮影時に、ステレオ画像用撮像装置１０００において、移動距離Ｑを測定する移動距離測定部（不図示）を設け、当該移動距離測定部により移動距離Ｑを計測して、計測した移動距離Ｑと前に設定した移動距離Ｑ’との平均値（＝（Ｑ＋Ｑ’）／２）を求め、求めた平均値を次の撮影に用いる単位連写間隔あたりの移動距離Ｑに設定するようにしてもよい。また、移動距離測定部は、ステレオ画像用撮像装置１０００の撮像位置の移動速度（および／または加速度）から移動距離Ｑを算出（測定）するものであってもよい。

以上のようにして、最大連写時間算出部１０３で算出された最大連写時間Ｘに関する情報（最大連写時間情報）は、連写時間制御部１０４に出力される。
連写時間制御部１０４では、最大連写時間算出部１０３により設定（算出）された最大連写時間情報に基づき、撮像部１０５のシャッタ制御を行うための撮像部制御信号が生成される。そして、生成された撮像部制御信号は、撮像部１０５に出力される。
（ステップＳ１０４）：
撮像部１０５では、撮像部制御信号に従い、所定のタイミング（撮像部制御信号により指示されたタイミング）で、連続した画像列（複数の画像）が撮像（取得）される。具体的には、撮像部１０５の撮像素子部２は、光学系１により集光された被写体光を光電変換して単位画像（１枚の画像）分の画像信号を、撮像部制御信号に従い、所定のタイミングで取得する。そして、この処理を、撮像部制御信号に従い、複数回繰り返し、撮像素子部２により、連続した画像列（複数の画像）分の画像信号が撮像（取得）される。そして、連続した画像列（複数の画像）分の画像信号は、カメラ信号処理部３に出力され、カメラ信号処理部３により、カメラ信号処理が実行された後、画像記録部１０６に出力される。

なお、撮像部１０５において、連続した画像列（複数の画像）を撮像（取得）するとき、撮像部１０５は、撮像部制御信号により制御されるので、最大連写時間Ｘ内で、連続した画像列（複数の画像）が撮像（取得）されることになる。これにより、撮像部１０５では、必要以上に多くの（無駄な）画像が取得されることがない。
撮像部１０５で撮像（取得）された画像列（複数の画像（それぞれの画像が画像信号により形成される複数の画像））は、画像記録部１０６に出力される。
（ステップＳ１０５）：
画像記録部１０６では、撮像部１０５から出力された撮像された画像列（複数の画像）は、所定の記録フォーマット（例えば、ＪＰＥＧ等の所定の記録フォーマット）で記録される。
（ステップＳ１０６）：
ステレオ画像選択部１０７では、画像記録部１０６で記録された画像列（複数の画像）から、視点間距離算出部１０２で算出された目標視点間距離情報に基づき、右眼用画像（データ）、左眼用画像（データ）が選択される。右眼用画像（データ）および左眼用画像（データ）の選択方法は、例えば、ステレオ画像選択部１０７において、以下（１）〜（３）のように行う。
（１）右眼用画像の候補となる画像と、左眼用画像の候補となる画像とから、仮想スクリーン上の視差量を算出する。
（２）算出した視差量と目標視点間距離とから、被写体（主要被写体）位置が立体視可能領域内であるか否かを判断する。
（３）被写体（主要被写体）位置が立体視可能領域内となる右眼用画像の候補となる画像および左眼用画像の候補となる画像のペア（画像対）を、ステレオ画像を構成する右眼用画像（データ）および左眼用画像（データ）として選択する。

なお、上記（３）において、複数の画像のペア（画像対）が存在する場合、被写体位置がより好ましい位置（例えば、ユーザーがより所望する位置）となる画像のペア（画像対）を、ステレオ画像を構成する右眼用画像（データ）および左眼用画像（データ）として選択するようにすればよい。
このようにして選択された右眼用画像（データ）および左眼用画像（データ）は、ステレオ画像選択部１０７から出力される。
以上のように、ステレオ画像用撮像装置１０００では、被写体距離計測部１０１により計測された被写体距離に応じて、適切な立体視を実現するステレオ画像が取得される視点間距離（目標視点間距離）を決定（算出）する。そして、ステレオ画像用撮像装置１０００では、決定（算出）した適切な視点間距離（目標視点間距離）に基づいて、連写画像列からステレオ画像を構成する２枚の画像データを選択する。これにより、ステレオ画像用撮像装置１０００では、飛び出しすぎ等のない見やすい立体画像を撮影（取得）することが可能となる。

また、ステレオ画像用撮像装置１０００では、目標視点間距離に基づいて最大連写時間を設定（算出）し、設定した最大連写時間内で連写することで、画像列を取得する。このため、ステレオ画像用撮像装置１０００では、ステレオ画像として採用される可能性のない無駄な画像が取得されることがない。
以上により、ステレオ画像用撮像装置１０００では、無駄な撮影を行うことなく、かつ、適切な立体感を実現するステレオ画像（立体画像）を撮影（取得）することができる。
なお、Ｓ１０３以降の動作を、ステレオ画像用撮像装置１０００が備えるシャッターが半押しされたときのみ動作させる構成にしても構わない。
［第２実施形態］
次に、本発明の第２実施形態について、図面を参照しながら、説明する。

＜２．１：ステレオ画像用撮像装置の構成＞
図９に第２実施形態のステレオ画像用撮像装置２０００の概略構成図を示す。また、図１０に、ステレオ画像用撮像装置２０００の撮像部１０５Ａの概略構成図を示す。
図９に示すように、第２実施形態のステレオ画像用撮像装置２０００は、第１実施形態のステレオ画像用撮像装置１０００において、被写体距離計測部１０１を、撮影モード選択部２０１、被写体サイズ推定部２０２および被写体距離推定部２０３に変更し、また、撮像部１０５を撮像部１０５Ａに変更した構成となっている。それ以外については、第２実施形態のステレオ画像用撮像装置２０００は、第１実施形態のステレオ画像用撮像装置１０００と同様である。本実施形態において、前述の実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。

撮影モード選択部２０１は、例えば、ユーザが選択した撮影モード（あるいは、ステレオ画像用撮像装置２０００が自動設定した撮影モード）に関する情報を取得し、取得した撮影モードに関する情報を被写体サイズ推定部２０２に出力する。
被写体サイズ推定部２０２は、撮影モード選択部２０１から出力される撮影モードに関する情報を入力とし、選択されている撮影モードから推定被写体サイズを決定（推定）する。なお、被写体サイズ推定部２０２は、撮影モードと、それに対応する推定被写体サイズと、を対応付けたテーブルを有しており、当該テーブルにより、選択されている撮影モードから推定被写体サイズを決定（推定）する。そして、被写体サイズ推定部２０２は、決定（推定）した推定被写体サイズに関する情報（この情報に選択されている撮影モードに関する情報を含めても良い。）を被写体距離推定部２０３に出力する。

被写体距離推定部２０３は、被写体サイズ推定部２０２から出力される推定被写体サイズに関する情報（および選択されている撮影モードに関する情報）と、制御部（不図示）により取得されている撮像部１０５Ａの光学系１の焦点距離ｆ１に関する情報と、カメラ信号処理部３Ａから出力されるカメラ信号処理を実行した画像信号（これを「スルー画像信号」という。）と、を入力とする。被写体距離推定部２０３は、スルー画像信号により形成される画像上で被写体に相当する画像領域を特定し、特定した画像領域の大きさと焦点距離ｆ１から被写体距離を推定する。
被写体距離推定部２０３は、推定した被写体距離に関する情報を視点間距離算出部１０２に出力する。
撮像部１０５Ａは、図９に示すように、第１実施形態のステレオ画像用撮像装置１０００の撮像部１０５において、カメラ信号処理部３をカメラ信号処理部３Ａに変更した構成となっている。

カメラ信号処理部３Ａは、被写体距離推定部２０３にスルー画像信号を出力する。この点がカメラ信号処理部３と相違する。それ以外については、カメラ信号処理部３Ａは、カメラ信号処理部３と同様である。
＜２．２：ステレオ画像用撮像装置の動作＞
以上のように構成されたステレオ画像用撮像装置２０００の動作について、以下、説明する。なお、図１４は、ステレオ画像用撮像装置１０００で実行されるステレオ画像用撮像方法の処理フローを示すフローチャートである。
（ステップＳ２０１）：
撮影モード選択部２０１では、撮影者（ユーザー）がシーンに応じて、カメラ（ステレオ画像用撮像装置２０００）の設定をしやすいように用意された複数の撮影モードの中から、１つの撮影モードを選択する。撮影モードとしては、例えば、（１）人物モード、（２）子供モード、（３）ペットモード、（３）マクロモード、（４）風景モードなどが想定される。なお、ステレオ画像用撮像装置１０００が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。

撮影モード選択部２０１で選択された撮影モードに関する情報は、被写体サイズ推定部２０２に出力される。
（ステップＳ２０２）：
被写体サイズ推定部２０２では、撮影モード選択部２０１で選択された撮影モードに基づいて、被写体のサイズ（被写体の高さ）を推定する。推定方法としては、各撮影モードで想定される標準的な被写体サイズをテーブル化して、テーブル参照による求める方法が考えられる。図１１に、撮影モードと推定被写体サイズと最大連写時間とを対応付けたテーブルの一例を示す。例えば、撮影モード選択部２０１で選択された撮影モードが「人物モード」である場合、図１１に示したテーブルを参照し、「人物モード」に対応する「推定被写体サイズ」である「１．６ｍ」および「最大連写時間」である「３秒」を取得する。そして、取得した推定被写体サイズに関する情報および最大連写時間に関する情報は、被写体距離推定部２０３に出力される。なお、このとき、被写体サイズ推定部２０２は、取得された推定被写体サイズに関する情報および最大連写時間に関する情報とともに、選択されている撮影モードに関する情報も被写体距離推定部２０３に出力するようにしてもよい。
（ステップＳ２０３）：
被写体距離推定部２０３では、被写体サイズ推定部２０２で推定された推定された被写体サイズ情報と撮像部１０５に設定されている焦点距離情報とから、ステレオ画像用撮像装置２０００から被写体までの距離（被写体距離）を推定する。

ここでは、選択されている撮影モードが「人物モード」である場合を例に、図１１を用いて、説明する。
図１２は、被写体サイズと焦点距離とから被写体距離を推定する方法に説明するための図である。
被写体距離推定部２０３では、カメラ信号処理部３Ａから出力されるスルー画像（スルー画像信号が形成する画像）上において、人物を形成する画像領域を特定する。そして、特定した画像領域の撮像部１０５の撮像素子部２の撮像素子面上での大きさを特定し、被写体距離を推定する。
図１２では、撮像部１０５Ａにより取得された画像について、仮想スクリーンと、撮像部１０５の撮像素子面（センサ面）と、被写体距離Ｌと、焦点距離ｆとの関係を模式的に示している。例えば、図１２において、センサ面（撮像部１０５Ａの撮像素子部２の撮像素子面）上で、被写体の高さｈが撮像素子面（センサ）の高さｓに対して「３／４」になる場合、つまり、被写体距離推定部２０３により、特定した画像領域（人物を構成する画像領域）の撮像部１０５Ａの撮像素子面上での大きさが、画像信号が形成する画像（スルー画像）上において、垂直方向の高さの「３／４」であると特定された場合、被写体距離推定部２０３により、被写体距離Ｌは、
Ｌ＝４／３×（ｈ×ｆ／ｓ）
と推定される。

このようにして、被写体距離推定部２０３で推定された被写体距離Ｌに関する情報は、視点間距離算出部１０２に出力される。
視点間距離算出部１０２では、被写体距離推定部２０３で推定された被写体距離Ｌから、所定の条件に基づいて、撮像部１０５を水平方向にずらすことにより実現する目標視点間距離情報を算出する。
（ステップＳ１０２〜Ｓ１０６）：
以降の動作（図１４のステップＳ１０２〜Ｓ１０６の処理）は、第１実施形態と同様である。
なお、ステレオ画像用撮像装置２０００の被写体距離推定部２０３において、顔検出部を追加してもよい。この場合、顔検出部は、スルー画像上において顔を形成する画像領域（顔領域）を検出し、検出した顔領域について、顔領域サイズあるいは顔領域位置を算出する。そして、顔検出部が算出した顔領域サイズあるいは顔領域位置に基づいて、被写体距離推定部２０３は、被写体サイズを推定する。

また、ステレオ画像用撮像装置２０００において、被写体サイズを推定しやすい、被写体の撮影部分を表わす撮影モードを追加することで、被写体サイズの推定精度を高めることが可能である。図１３に、被写体サイズを推定しやすい撮影モード例に関する説明図を示す。図１３中に示すように、人物モードをさらに分類し、（１）人物全体を撮影することを想定した全身モード、（２）上半身を撮影することを想定したバストアップモード、（３）顔を撮影することを想定した顔アップモードなどのモードを追加することで、ステレオ画像用撮像装置２０００において、人物の大きさをより精度よく推定することが可能となる。また、ステレオ画像用撮像装置２０００において追加する撮影モードについては、被写体の撮影部分を表わすことができれば、人物モードに限らない。
以上のように、ステレオ画像用撮像装置２０００では、撮影モードから被写体の大きさを推定し、推定した被写体の大きさと焦点距離とから、被写体までの距離（被写体距離）を推定する。さらに、ステレオ画像用撮像装置２０００では、推定した被写体距離から最適な視差を実現するカメラの水平移動距離（目標視点間距離）を算出した上で、最大連写時間を設定して視点間距離（ステレオベース）を調整する。これにより、ステレオ画像用撮像装置２０００では、立体視に関する専門知識を必要とせず、無駄のない撮影で、適切な立体感をもつ立体画像（ステレオ画像）の撮影（取得）が可能となる。

なお、Ｓ２０３以降の動作を、ステレオ画像用撮像装置２０００が備えるシャッターが半押しされたときのみ動作させる構成にしても構わない。
［他の実施形態］
なお、上記実施形態で説明したステレオ画像用撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係るステレオ画像用撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。

なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

本発明のステレオ画像撮影装置、ステレオ画像用撮像方法、プログラムおよび集積回路は、ステレオ画像撮影機能を有するデジタルカメラ、デジタルビデオカメラにおいて、適切な立体感をもつステレオ画像を撮影する用途に有用である。

１０００ ２０００ ステレオ画像用撮像装置
１０１ 被写体距離計測部
１０２ 視点間距離算出部
１０３ 最大連写時間算出部
１０４ 連写時間制御部
１０５、１０５Ａ 撮像部
１０６ 画像記録部
１０７ ステレオ画像選択部
２０１ 撮影モード選択部
２０２ 被写体サイズ推定部
２０３ 被写体距離推定部

Claims (16)

1. 撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置であって、
   少なくとも１つの被写体との距離である被写体距離を計測する被写体距離計測部と、
   前記被写体距離計測部により計測された前記被写体距離から、所定の条件に基づいて視点間距離情報を算出する視点間距離算出部と、
   前記視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得する撮像部と、
   前記視点間距離情報に基づいて、前記撮像部により取得された前記画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択部と、
   を備えるステレオ画像用撮像装置。
2. 前記視点間距離算出部は、ステレオ画像選択部により選択される前記左眼用画像と前記右眼用画像による被写体の定位位置が、前記被写体を融合して視認可能な領域内となるように、前記視点間距離情報を算出する、
   請求項１に記載のステレオ画像用撮像装置。
3. 算出された前記視点間距離情報に基づいて、最大連写時間を算出する最大連写時間算出部と、
   前記最大連写時間に基づいて、前記撮像部の連続撮影時間を制御する連写時間制御部と、
   をさらに備え、
   前記撮像部は、前記連写時間制御部により制御され、前記最大連写時間においてのみ、前記画像列を取得する、
   請求項１または２に記載のステレオ画像用撮像装置。
4. 各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置であって、
   被写体からの光から画像を取得する撮像部と、
   撮影モードを決定する撮影モード選択部と、
   前記撮影モード選択部により決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する被写体サイズ推定部と、
   前記被写体サイズ推定部により推定された前記被写体サイズ情報と、前記撮像部に設定されている焦点距離情報と、前記撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する被写体距離推定部と、
   前記被写体距離推定部により推定された前記被写体距離から、所定の条件に基づいて、視点間距離情報を算出する視点間距離算出部と、
   前記視点間距離情報に基づいて、最大連写時間を算出する最大連写時間算出部と、
   前記最大連写時間に基づいて、前記撮像部の連続撮影時間を制御する連写時間制御部と、
   前記撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択部と、
   を備え、
   前記撮像部は、前記視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得するとともに、前記連写時間制御部により制御され、前記最大連写時間においてのみ、前記画像列を取得する、
   ステレオ画像用撮像装置。
5. 前記視点間距離算出部は、ステレオ画像選択部により選択される前記左眼用画像と前記右眼用画像による被写体の定位位置が、前記被写体を融合して視認可能な領域内となるように、前記視点間距離情報を算出する、
   請求項４に記載のステレオ画像用撮像装置。
6. 前記被写体距離推定部は、
   撮影中の画像から人物の顔領域を検出する顔検出部と、
   前記顔検出部により検出された顔領域サイズを算出する顔領域サイズ算出部と、
   前記顔領域サイズ算出部により算出された前記顔領域サイズに基づき、被写体サイズを推定する被写体サイズ推定部と、
   を備える、
   請求項１から５のいずれかに記載のステレオ画像用撮像装置。
7. 前記最大連写時間算出部は、
   ステレオ画像撮影装置を起動する際に、起動時に設定されている撮影モードに基づいて、最大連写撮影時間を設定する、
   請求項５または６に記載のステレオ画像用撮像装置。
8. 前記撮影モード選択部にて選択される対象の撮影モードには、被写体サイズを推定しやすい、被写体の撮影部分を表わす撮影モードが含まれている、
   請求項４から７のいずれかに記載のステレオ画像用撮像装置。
9. ステレオ画像用撮像装置の撮影位置を水平方向に移動させながら撮影したときの、単位時間あたりのずれ量から移動速度情報を算出する移動距離測定部をさらに備え、
   前記最大連写時間算出部は、前記移動距離測定部により算出された前記移動速度情報に基づいて、前記最大連写時間を算出する、
   請求項３から８のいずれかに記載のステレオ画像撮影装置。
10. 前記移動距離測定部は、撮影する毎に、単位時間あたりの撮影位置のずれ量から移動速度情報を算出し、前回の撮影で算出し記録した移動速度情報と、今回の撮影で算出した移動速度情報との平均値である平均移動速度情報を算出し、
    前記最大連写時間算出部は、前記移動距離測定部により算出された前記平均移動速度情報に基づいて、前記最大連写時間を算出する、
    請求項９に記載のステレオ画像撮影装置。
11. 被写体距離計測部と、撮像部と、を備え、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法であって、
    被写体距離計測部に、少なくとも１つの被写体との距離である被写体距離を計測させる被写体距離計測ステップと、
    前記被写体距離計測ステップにより計測された前記被写体距離から、所定の条件に基づいて視点間距離情報を算出する視点間距離算出ステップと、
    前記視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を撮像部に取得させる撮像ステップと、
    前記視点間距離情報に基づいて、前記撮像部により取得された前記画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択ステップと、
    を備えるステレオ画像用撮像方法。
12. 被写体距離計測部と、撮像部と、を備え、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムであって、
    被写体距離計測部に、少なくとも１つの被写体との距離である被写体距離を計測させる被写体距離計測ステップと、
    前記被写体距離計測ステップにより計測された前記被写体距離から、所定の条件に基づいて視点間距離情報を算出する視点間距離算出ステップと、
    前記視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を撮像部に取得させる撮像ステップと、
    前記視点間距離情報に基づいて、前記撮像部により取得された前記画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択ステップと、
    を備えるステレオ画像用撮像方法をコンピュータに実行させるためのプログラム。
13. 撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置であって、
    少なくとも１つの被写体との距離である被写体距離を計測する被写体距離計測部と、
    視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得する撮像部と、
    を備えるステレオ画像用撮像装置に用いられる集積回路であって、
    前記被写体距離計測部により計測された前記被写体距離から、所定の条件に基づいて視点間距離情報を算出する視点間距離算出部と、
    前記視点間距離情報に基づいて、前記撮像部により取得された前記画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択部と、
    を備える集積回路。
14. 被写体からの光から画像を取得する撮像部を備え、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法であって、
    撮影モードを決定する撮影モード選択ステップと、
    前記撮影モード選択ステップにより決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する被写体サイズ推定ステップと、
    前記被写体サイズ推定ステップにより推定された前記被写体サイズ情報と、前記撮像部に設定されている焦点距離情報と、前記撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する被写体距離推定ステップと、
    前記被写体距離推定ステップにより推定された前記被写体距離から、所定の条件に基づいて、視点間距離情報を算出する視点間距離算出ステップと、
    前記視点間距離情報に基づいて、最大連写時間を算出する最大連写時間算出ステップと、
    前記最大連写時間に基づいて、前記撮像部の連続撮影時間を制御する連写時間制御ステップと、
    前記撮像部に対して、前記視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を、前記最大連写時間においてのみ、取得させる撮像ステップと、
    前記撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択ステップと、
    を備える、
    ステレオ画像用撮像方法。
15. 被写体からの光から画像を取得する撮像部を備え、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられるステレオ画像用撮像方法をコンピュータに実行させるためのプログラムであって、
    撮影モードを決定する撮影モード選択ステップと、
    前記撮影モード選択ステップにより決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する被写体サイズ推定ステップと、
    前記被写体サイズ推定ステップにより推定された前記被写体サイズ情報と、前記撮像部に設定されている焦点距離情報と、前記撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する被写体距離推定ステップと、
    前記被写体距離推定ステップにより推定された前記被写体距離から、所定の条件に基づいて、視点間距離情報を算出する視点間距離算出ステップと、
    前記視点間距離情報に基づいて、最大連写時間を算出する最大連写時間算出ステップと、
    前記最大連写時間に基づいて、前記撮像部の連続撮影時間を制御する連写時間制御ステップと、
    前記撮像部に対して、前記視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を、前記最大連写時間においてのみ、取得させる撮像ステップと、
    前記撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択ステップと、
    を備える、
    ステレオ画像用撮像方法をコンピュータに実行させるためのプログラム。
16. 被写体からの光から画像を取得するとともに、視点間距離情報に相当する水平方向の距離を移動させているときに、被写体からの光を変換して複数の画像である画像列を取得する撮像部と、
    撮影モードを決定する撮影モード選択部と、
    を備え、各種の被写体、撮影シーンに応じた撮影条件設定および／または画像信号処理を実施する複数の撮影モードにより撮影を行うとともに、撮影する位置を水平方向に変更させながら画像列を撮影するステレオ画像用撮像装置に用いられる集積回路であって、
    前記撮影モード選択部により決定された撮影モードに基づいて被写体サイズに関する情報である被写体サイズ情報を推定する被写体サイズ推定部と、
    前記被写体サイズ推定部により推定された前記被写体サイズ情報と、前記撮像部に設定されている焦点距離情報と、前記撮像部が取得する画像とに基づいて、被写体までの距離である被写体距離を推定する被写体距離推定部と、
    前記被写体距離推定部により推定された前記被写体距離から、所定の条件に基づいて、視点間距離情報を算出する視点間距離算出部と、
    前記視点間距離情報に基づいて、最大連写時間を算出する最大連写時間算出部と、
    前記最大連写時間に基づいて、前記撮像部の連続撮影時間を制御する連写時間制御部と、
    前記撮像部が取得する複数の画像により形成される画像列の中から、左眼用画像と右眼用画像を選択するステレオ画像選択部と、
    を備える、
    集積回路。

Images