JP2015102602A - 立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】移動被写体に対して高速に焦点検出可能な立体撮像装置を提供する。【解決手段】立体撮像装置は、互いに視差を有する複数の画像を取得する撮像素子と、撮像素子により得られた複数の画像に基づいて位相差を検出する検出手段と、検出手段により検出された位相差の変化に基づいてフォーカスレンズの移動方向を決定する決定手段と、決定手段により決定されたフォーカスレンズの移動方向に従ってフォーカスレンズを制御するフォーカス制御手段とを有する。【選択図】図１

Description

本発明は、立体動画を撮影する立体撮像装置に関する。

従来から、立体画像を撮像する撮像装置として、２つの撮像手段を用いて撮影した画像の視差または視差から求められる距離情報を用いてフォーカスを行う撮像装置が知られている。

特許文献１には、左右画像の視差からフォーカス方向のずれを求め、合焦画像が得られるようにフォーカスレンズを駆動する手術顕微鏡が開示されている。特許文献２には、左右画像から得られる視差情報に基づいて、制御パラメータを最適化する立体画像撮像制御装置が開示されている。

特開平０７−２２２７５４号公報 特開平０８−００９４２４号公報

しかしながら、特許文献１、２に開示された構成では、初期のフォーカス合わせは可能であるが、移動被写体に対してフォーカスを追従させることは困難である。また、視差画像から距離情報を算出してフォーカスを行う場合、距離情報の算出処理に時間を要する。

そこで本発明は、移動被写体に対して高速に焦点検出可能な立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての立体撮像装置は、互いに視差を有する複数の画像を取得する撮像素子と、前記撮像素子により得られた前記複数の画像に基づいて位相差を検出する検出手段と、前記検出手段により検出された前記位相差の変化に基づいてフォーカスレンズの移動方向を決定する決定手段と、前記決定手段により決定された前記フォーカスレンズの移動方向に従って前記フォーカスレンズを制御するフォーカス制御手段とを有する。

本発明の他の側面としての立体撮像システムは、フォーカスレンズを含む撮像光学系と、前記立体撮像装置とを有する。

本発明の他の側面としての立体撮像装置の制御方法は、互いに視差を有する複数の画像を取得するステップと、前記複数の画像に基づいて位相差を検出するステップと、前記位相差の変化に基づいてフォーカスレンズの移動方向を決定するステップと、決定された前記フォーカスレンズの移動方向に従って前記フォーカスレンズを制御するステップとを有する。

本発明の他の側面としてのプログラムは、互いに視差を有する複数の画像を取得するステップと、前記複数の画像に基づいて位相差を検出するステップと、前記位相差の変化に基づいてフォーカスレンズの移動方向を決定するステップと、決定された前記フォーカスレンズの移動方向に従って前記フォーカスレンズを制御するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、移動被写体に対して高速に焦点検出可能な立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

実施例１における立体撮像装置の構成図である。 実施例１における立体撮像装置による撮影シーンの一例を示す図である。 実施例１における立体撮像装置により得られた画像を示す図である。 実施例１における立体撮像装置により得られた画像の演算領域を示す図である。 実施例１における立体撮像装置により得られた画像の演算領域における輝度分布を示す図である。 実施例１における立体撮像装置により得られた画像の輝度分布から位相差を求める方法を示す図である。 実施例１における立体撮像装置の制御方法を示すフローチャートである。 実施例１において、主被写体が立体撮像装置側に移動している状態を示す図である。 実施例１において、主被写体が立体撮像装置側に移動したときの画像を示す図である。 実施例１において、主被写体が立体撮像装置側に移動したときの画像の輝度分布を示す図である。 実施例１において、主被写体が立体撮像装置側に移動したときの画像の輝度分布から位相差を求める方法を示す図である。 実施例１において、主被写体が横方向に移動している状態を示す図である。 実施例１において、主被写体が横方向に移動したときの演算領域を示す図である。 実施例２において、複数の演算領域を設定した場合の画像を示す図である。 実施例２において、主被写体の前を別の被写体が横切る状態を示す図である。 実施例２において、主被写体の前を横切る被写体の領域を演算領域から除外することを説明する図である。 各実施例における別形態の撮像光学系の構成図である。 各実施例における別形態の撮像光学系の構成図である。 図１８の撮像光学系を用いて得られた画像を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。

まず、図１を参照して、本発明の実施例１における立体撮像装置について説明する。図１は、本実施例における立体撮像装置１の構成図である。立体撮像装置１は、立体動画を撮影可能なカメラなどの撮像装置である。

図１において、２は第１の画像を撮影する左側撮像系（第１の撮像系）、３は第２の画像を撮影する右側撮像系（第２の撮像系）である。２１は左側撮像系２における左側撮像光学系（第１の撮像光学系）、２２は左側撮像系２における左側撮像素子（第１の撮像素子）である。３１は右側撮像系３における右側撮像光学系（第２の撮像光学系）、３２は右側撮像系３における右側撮像素子（第２の撮像素子）である。左側撮像素子２２および右側撮像素子３２は、互いに視差を有する複数の画像を取得する撮像素子である。すなわち、第１の撮像素子は複数の画像のうち第１の視点から得られた画像を取得する撮像素子であり、第２の撮像素子は複数の画像のうち第１の視点とは異なる第２の視点から得られた画像を取得する撮像素子である。

４は、左側撮像素子２２および右側撮像素子３２上にフォーカスを合わせるときに左側撮像光学系２１および右側撮像光学系３１のそれぞれの全体または一部のレンズを駆動するフォーカス駆動手段である。５は、左側撮像素子２２および右側撮像素子３２から出力された信号（第１の画像データおよび第２の画像データ）に基づいて、フォーカス駆動手段４を用いて所定の方向に左側撮像光学系２１および右側撮像光学系３１を移動するように制御する制御手段である。制御手段５は、画像取得部５１ａ、５１ｂ、画像切り出し部５２ａ、５２ｂ、輝度情報抽出部５３ａ、５３ｂ、および、画像情報積算部５４ａ、５４ｂを備えて構成される。制御手段５は、更に、位相差検出部５５（検出手段）、位相差変化算出部５６、位相差変化判定部５７、フォーカス方向決定部５８（決定手段）、および、フォーカス制御部５９（フォーカス制御手段）を備えて構成されている。また制御手段５は、記憶部６０を備えて構成されている。

続いて、図２を参照して、立体撮像装置１による撮影シーンについて説明する。図２は、立体撮像装置１による撮影シーンの一例を示す図である。図２において、１０１は主被写体（人物）、１０２は主被写体１０１よりも前方に位置する被写体（人物）、１０３は主被写体１０１よりも後方に位置する物体、１０４は遠方に位置する物体である。なお好ましくは、主被写体１０１は合焦制御対象の被写体である。

続いて、図３を参照して、立体撮像装置１により得られる画像について説明する。図３は、立体撮像装置１により得られる画像を示す図であり、図２の撮影シーンを撮影した場合に得られる画像を示している。図３（ａ）は、図２の撮影シーンを左側撮像系２で撮像して得られた第１の画像である。図３（ｂ）は、図２の撮影シーンを右側撮像系３で撮像して得られた第２の画像である。図３（ａ）、（ｂ）において、撮像された各被写体（人物、物体）は、図２と同じ符号で示されている。また、図３（ｂ）に示されるように、右側撮像系３により得られた第２の画像中の各被写体を表す符号には「’」を付している。図３（ｃ）は、図３（ａ）、（ｂ）に示される２つの画像（第１の画像および第２の画像）を重ねて表した画像である。図３（ｃ）に示されるように、遠方に位置する物体１０４、１０４’は、互いに一致する位置にあるように撮像される。一方、他の被写体は、立体撮像装置１からの撮影距離に応じてズレ（視差）が生じ、立体撮像装置１に近いほどズレ（視差）が大きくなる。

画像取得部５１ａ、５１ｂは、フォーカス制御を行うため、左側撮像素子２２および右側撮像素子３２から出力された第１の画像および第２の画像（画像データ）に位相差演算を行う一部の領域（演算領域）を定義する。図４（ａ）、（ｂ）は、それぞれ、第１の画像および第２の画像の位相差演算対象の領域２０１、２０１’（演算領域）を示している。画像切り出し部５２ａ、５２ｂは、それぞれ、第１の画像および第２の画像から領域２０１、２０１’を切り出す。輝度情報抽出部５３ａ、５３ｂは、それぞれ、第１の画像および第２の画像から切り出された領域２０１、２０１’の画像情報から輝度情報を抽出する。画像情報積算部５４ａ、５４ｂは、抽出された輝度情報を各画像の所定の方向（縦方向）に積算する。これにより画像情報積算部５４ａは、図４（ａ）に示される領域２０１の画像に対して、図５（ａ）に示されるような位相差演算対象の領域２０１内の画像の輝度分布（Ｉ１（ｘ））を生成する。また、画像情報積算部５４ｂは、図４（ｂ）に示される領域２０１’の画像に対して、図５（ｂ）に示されるような位相差演算対称の領域２０１’内の画像の輝度分布（Ｉ２（ｘ））を生成する。

図５（ａ）、（ｂ）に示される輝度分布は連続した関数を用いて表されているが、実際には画素に対する輝度値であるため、離散的な輝度データとなる。ここで、演算対象の領域の横方向の幅をＸ、縦方向の幅をＹとし、演算対象の領域の中心を原点とする。また、第１の画像および第２の画像の各画素の輝度分布をそれぞれＩ０１（ｘ，ｙ）、Ｉ０２（ｘ，ｙ）する。このとき、領域２０１、２０１’内の画像の輝度分布Ｉ１（ｘｉ）、Ｉ２（ｘｉ）は、それぞれ、以下の式（１）、（２）のように表される。

Ｉ１（ｘｉ）＝ΣＩ０１（ｘｉ，ｙｊ） … （１）
（ｘｉ：−Ｘ／２〜Ｘ／２、Σ：ｊ＝−Ｙ／２〜Ｙ／２の和）
Ｉ２（ｘｉ）＝ΣＩ０２（ｘｉ，ｙｊ） … （２）
（ｘｉ：−Ｘ／２〜Ｘ／２、Σ：ｊ＝−Ｙ／２〜Ｙ／２の和）
次に、図６（ａ）、（ｂ）を参照して、第１の画像と第２の画像との位相差を求める方法について説明する。図６（ａ）、（ｂ）は、画像の輝度分布から位相差を求める方法を示す図である。第１の画像と第２の画像との輝度差をＪ（ｘｋ）とすると、J(ｘｋ)は以下の式（３）のように表される。

Ｊ（ｘｋ）＝Σ｜Ｉ２（ｘｉ）−Ｉ１（ｘｉ−ｘｋ）｜ … （３）
（ｘｋ：−３Ｘ／２〜３Ｘ／２、Σ：ｉ＝−３Ｘ／２〜３Ｘ／２の和）
式（３）において、ｘｉ＜−Ｘ／２、ｘｉ＞Ｘ／２の場合、Ｉ１（ｘｉ）＝Ｉ２（ｘｉ）＝０である。

図６（ａ）は、輝度分布の演算のイメージを示し、図６（ｂ）は輝度分布から算出された輝度差Ｊ（ｘｋ）を示している。位相差δ０は、輝度差Ｊ（ｘｋ）が最小値になる位置に対応する。

輝度差Ｊ（ｘｋ）は、輝度差Ｊ（ｘｋ）をｘｋで微分した値が０となる位置で最小となる。このため、以下の式（４）を満たす場合、輝度差Ｊ（ｘｋ）が最小値になる位置（位相差）が得られる。

ΔＪ（ｘｋ）／Δｘｋ＝０ … （４）
式（４）において、Δｘｋは一定である。このため、以下の式（５）を満たす場合、位相差δが得られる。

ΔＪ（ｘｋ）＝０ … （５）
輝度分布Ｉ（ｘｉ）は、画素ごとの離散的データであるため、輝度差Ｊ（ｘｋ）も離散的な値となる。ただし、輝度差Ｊ（ｘｋ）を所定の関数を用いてフィッティングすることにより、画素のピッチよりも細かく（すなわち高精度で）位相差δを求めることができる。

次に、図７を参照して、立体撮像装置１の制御方法（フォーカス制御方法）について説明する。図７は、立体撮像装置１の制御方法を示すフローチャートである。図７の各ステップは、主に、立体撮像装置１の制御手段５の指令に基づいて実行される。

主被写体にフォーカスした状態で、図７に示される制御が開始する。まずステップＳ１において、制御手段５の画像取得部５１ａ、５１ｂは、左側撮像素子２２および右側撮像素子３２のそれぞれから出力された左右の画像データ（第１の画像、第２の画像）を取得する。続いてステップＳ２において、画像切り出し部５２ａ、５２ｂは、それぞれ、第１の画像および第２の画像から画像情報（第１の画像情報および第２の画像情報）を切り出す。そして輝度情報抽出部５３ａ、５３ｂは、それぞれ、画像情報（第１の画像情報および第２の画像情報）から輝度情報（第１の輝度情報および第２の輝度情報）を抽出する。

続いてステップＳ３において、画像情報積算部５４ａ、５４ｂは、それぞれ、輝度情報（第１の輝度情報および第２の輝度情報）を所定の方向（画面の縦方向）に積算し、輝度分布（第１の輝度分布および第２の輝度分布）を生成する。そしてステップＳ４において、位相差検出部５５は、式（３）で表される演算を行うことにより第１の輝度分布と第２の輝度分布との差（輝度差）を算出し、位相差δ０（第１の位相差）を求める。

次にステップＳ５において、画像取得部５１ａ、５１ｂは、それぞれ、左側撮像素子２２および右側撮像素子３２から、次のフレームの左右の画像データ（第３の画像および第４の画像）を取得する。続いてステップＳ６において、画像切り出し部５２ａ、５２ｂは、それぞれ、第３の画像および第４の画像から画像情報（第３の画像情報および第４の画像情報）を切り出す。そして輝度情報抽出部５３ａ、５３ｂは、それぞれ、画像情報（第３の画像情報および第４の画像情報）から輝度情報（第３の輝度情報および第４の輝度情報）を抽出する。

続いてステップＳ７において、画像情報積算部５４ａ、５４ｂは、それぞれ、輝度情報（第３の輝度情報および第４の輝度情報）を所定の方向（画面の縦方向）に積算し、輝度分布（第３の輝度分布および第４の輝度分布）を生成する。そしてステップＳ８において、位相差検出部５５は、式（３）で表される演算を行うことにより第３の輝度分布と第４の輝度分布との差（輝度差）を算出し、位相差δ（第２の位相差）を求める。

次にステップＳ９において、位相差変化算出部５６は、位相差δ（第２の位相差）と位相差δ０（第１の位相差）との差（位相差の変化）を算出する。続いてステップＳ１０において、位相差変化判定部５７は、位相差δと位相差δ０との差に基づいて、主被写体が前または後に移動したか否かを判定する。例えば位相差変化判定部５７は、位相差の変化が所定量よりも小さい場合、主被写体は移動していないと判定し、ステップＳ５に戻り、ステップＳ５〜Ｓ１０を繰り返す。一方、位相差変化判定部５７は、位相差の変化が所定量以上である場合、主被写体が移動したと判定し、ステップＳ１１に進む。

ステップＳ１１において、フォーカス方向決定部５８は、位相差δ（第２の位相差）と位相差δ０（第１の位相差）との差に基づいて、フォーカス駆動方向を決定する。続いてステップＳ１２において、フォーカス制御部５９は、フォーカス駆動制御を行う。具体的には、フォーカス制御部５９は、左側撮像光学系２１および右側撮像光学系３１を移動させるようにフォーカス駆動手段４を制御する。そしてステップＳ１３において、制御手段５は、位相差δ（第２の位相差）を位相差δ０（第１の位相差）として記憶（保存）して、ステップＳ５に戻る。

本実施例において、各撮像光学系（フォーカスレンズ）の移動量は、位相差δと位相差δ０との差（位相差の変化量）に基づいて算出される。ただし本実施例はこれに限定されるものではなく、フォーカスレンズの移動量と位相差の変化量との関係を示す情報を予め記憶部６０（記憶手段）に記憶しておいてもよい。例えば、フォーカスレンズの移動量と、位相差δと位相差δ０との差（位相差の変化量）との関係を数値データとして予め記憶部６０（メモリなど）に保存し、逐次、数値データを読み出すように構成してもよい。また、フォーカスレンズの移動量と、位相差δと位相差δ０との差（位相差の変化量）との関係を関数化し、関数に関するデータを記憶部６０（メモリなど）に保存し、逐次、関数を計算するように構成してもよい。

図８は、主被写体１０１が立体撮像装置１の側（前方）に移動している状態を示す図である。図９（ａ）、（ｂ）は、主被写体１０１が立体撮像装置１の側（前方）に移動したときの画像（第１の画像および第２の画像）を示す図である。図８中の矢印は、主被写体１０１の移動方向を示している。このとき、図９（ａ）に示されるように、左側撮像系２により得られる第１の画像において、主被写体１０１の位置は左側（矢印方向）に移動する。一方、図９（ｂ）に示されるように、右側撮像系３により得られる第２の画像において、主被写体１０１の位置は右側（矢印方向）に移動する。

図１０（ａ）、（ｂ）は、主被写体１０１が立体撮像装置１側に移動したときの演算対象領域（焦点検出領域）の画像の輝度分布Ｉ１、Ｉ２を示す図である。図１１は、このときの演算対象領域（焦点検出領域）における輝度分布から位相差を求める方法を示す図であり、式（３）で表される演算の結果を示している。

図１１において、主被写体１０１の移動前の演算結果を点線で示している。図１１に示されるように、主被写体１０１が移動すると、式（３）の演算により、輝度差Ｊが最小値となる位相差δが変化する。すなわち、主被写体１０１の移動前と移動後との間で、輝度値Ｊが最小となる位相差は（δ−δ０）だけ変化する。このため、位相差変化算出部５６および位相差変化判定部５７は、位相差の変化を算出することにより主被写体１０１が移動したか否かを判定することができる。また図１１において、主被写体１０１が立体撮像装置１に近づく場合、位相差δは増加（δ＞δ０）する。一方、主被写体１０１が立体撮像装置１から遠ざかる場合、位相差δは減少（δ＜δ０）。このためフォーカス方向決定部５８は、位相差δの変化する符号（増減）を判定することにより、主被写体１０１の移動方向を判定することができ、この結果、フォーカス方向を決定することが可能となる。

図１２は、主被写体１０１が横方向（図中の右方向）に移動している状態を示す図である。図１２中の矢印は、主被写体１０１の移動方向を示している。このとき、左右の画像（第１の画像および第２の画像）において、輝度分布（第１の輝度分布および第２の輝度分布）が同じ量だけ同じ方向に移動する。このため、式（３）で表される演算の結果、位相差δは変化しない。

図１３（ａ）、（ｂ）は、主被写体１０１が横方向に移動したときの演算領域（領域２０１、２０１’）を示す図である。主被写体１０１が横方向に移動した場合、演算領域（領域２０１、２０１’）から主被写体１０１がはみ出すことを回避するため、図１３（ａ）、（ｂ）に示されるように主被写体１０１に追従して演算領域を移動してもよい。図１３（ａ）、（ｂ）中の矢印は、主被写体１０１の移動に合わせて演算領域（領域２０１、２０１’）が移動していることを示している。

このように本実施例において、位相差検出部５５（検出手段）は、撮像素子（左側撮像素子２２、右側撮像素子３２）により得られた複数の画像に基づいて位相差を検出する。また、フォーカス方向決定部５８（決定手段）は、位相差検出部５５により検出された位相差の変化に基づいて、撮像光学系に含まれるフォーカスレンズの移動方向を決定する。そしてフォーカス制御部５９（フォーカス制御手段）は、フォーカス方向決定部５８により決定された移動方向に従ってフォーカスレンズを制御する。

好ましくは、位相差検出部５５は、複数の画像から抽出された複数の輝度情報の差に基づいて位相差を検出する。より好ましくは、位相差検出部５５は、複数の画像のそれぞれの一部の領域（演算領域）に対して位相差を検出する。

また好ましくは、撮像素子（第１の撮像素子、第２の撮像素子）は、互いに視差を有する第１の画像と第２の画像、および、互いに視差を有する第３の画像と第４の画像を取得する。そして、位相差検出部５５は、第１の画像と第２の画像に基づいて第１の位相差を検出し、第３の画像と第４の画像に基づいて第２の位相差を検出する。また位相差検出部５５は、第１の位相差と第２の位相差との関係に基づいて、フォーカスレンズの移動方向を決定する。

より好ましくは、撮像素子は、第１の画像および第２の画像を第１のタイミングで取得し、第３の画像および第４の画像を第１のタイミング（第１のフレーム）よりも後の第２のタイミング（第２のフレーム、例えば第１のフレームの次のフレーム）で取得する。そして位相差検出部５５は、第１の位相差よりも第２の位相差が大きい場合、主被写体が近づいたと判定する。一方、位相差検出部５５は、第１の位相差よりも第２の位相差が小さい場合、主被写体が遠ざかったと判定する。

次に、本発明の実施例２における立体撮像装置について説明する。本実施例の立体撮像装置は、複数の演算領域を用いてフォーカス制御を実行可能である点で、実施例１の立体撮像装置とは異なる。他の構成は実施例１と同様であるため、それらの説明は省略する。

図１４は、複数の演算領域が設定されている場合の画像を示す図であり、図１４（ａ）、（ｂ）は左側撮像系２および右側撮像系３により得られた画像をそれぞれ示している。図１４（ａ）、（ｂ）に示されるように、制御手段５は、格子状に複数の領域１２０１、１２０１’（演算領域）を設定し、各領域に対して式（３）の演算を行う。そして制御手段５は、その演算結果を用いて得られた複数の差分データに基づいて、フォーカス駆動手段４を制御する。このような構成により、演算対象の領域１２０１、１２０１’内に複数の被写体が存在する場合でも、複数の被写体のそれぞれにフォーカスが合うように被写界深度を調整することが可能となる。

図１５は、主被写体１０１の前を別の被写体１０２が横切る状態を示す図である。図１６は、主被写体１０１の前を横切る被写体１０２の領域Ｎを演算領域（領域１２０１、１２０１’）から除外することを説明する図である。本実施例の構成によれば、図１５に示されるように撮影対象の主被写体１０１の手前を別の被写体１０２が横切る場合、別の被写体１０２が主被写体１０１と重なる前に別の被写体１０２の情報を得ることができる。そして制御手段５（画像切り出し部５２ａ、５２ｂ、位相差検出部５５）は、この情報に基づいて、主被写体１０１よりも手前の被写体１０２が存在する領域Ｎをフォーカス制御に用いられる領域１２０１、１２０１’（演算領域）から除外する。

このように本実施例において、複数の画像のそれぞれの演算領域（領域１２０１、１２０１’）は、第１の分割領域および第２の分割領域を含む。そして、第１の分割領域に主被写体１０１が存在し、かつ第２の分割領域に主被写体１０１とは異なる被写体１０２が存在する場合、位相差検出部５５は、第２の分割領域に対して位相差を検出することなく、第１の分割領域に対して位相差を検出する。これによりフォーカス制御部５９は、別の被写体１０２と主被写体１０１とが互いに重なった状態でも、手前の被写体１０２に影響されることなく主被写体１０１に対して適切なフォーカス制御を行うことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、左右の画像を取得する撮像系として、図１に示されるような２つの撮像光学系２１、３１を設ける構成に限定されるものではない。図１７は、各実施例における別形態の立体撮像装置（撮像光学系）の構成図である。図１７に示されるように、１つの撮像光学系１２１を用いて左右の画像（第１の画像および第２の画像）を取得するように構成することができる。この構成において、１つの撮像素子１２２が設けられている。また、撮像光学系１２１の被写体側において、光路を分離するミラー１２３、および、それぞれの光路に撮影する画像を切り替える液晶シャッター１２４が設けられている。そして、液晶シャッター１２４の切り替えに同期して、撮像素子１２２から各画像を取得することができる。

図１８は、各実施例における更に別形態の立体撮像装置（撮像光学系）の構成図である。この構成では、図１８に示されるように、１つの撮像光学系１３１および１つの撮像素子１３２が設けられている。また、撮像光学系１４１の被写体側に光路を分離するミラー１３３、および、それぞれの光路に光学倍率を横方向に圧縮するアナモフィックコンバータ３４（倍率圧縮手段）が設けられている。図１９は、図１８の撮像光学系１３１を用いて得られた画像（撮像素子１３２上の画像）を示す図である。この構成によれば、撮像素子１３２上には、横方向に圧縮した２つの画像（第１の画像および第２の画像）が撮像される。そして、撮像素子１３２の互いに異なる領域１５０ａ、１５０ｂ（第１の領域および第２の領域）から２つの画像（第１の画像および第２の画像）をそれぞれ取得することができる。

また各実施例において、立体撮像装置１は、フォーカスレンズを含む撮像光学系と立体撮像装置本体とが一体的に構成されているが、これに限定されるものではない。各実施例は、立体撮像装置本体と、立体撮像装置本体に着脱可能な撮像光学系（レンズ装置）とを備えて構成される立体撮像装置システムにも適用可能である。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、立体撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施例の立体撮像装置によれば、撮影者が注目する被写体に対して常にフォーカスが一致した立体画像を撮像し快適な立体画像視聴が可能となる。このため各実施例によれば、移動被写体に対して高速に焦点検出可能な立体撮像装置、立体撮像システム、立体撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

１ 立体撮像装置
２２ 左側撮像素子
３２ 右側撮像素子
５５ 位相差検出部
５８ フォーカス方向決定部
５９ フォーカス制御部

Claims (14)

1. 互いに視差を有する複数の画像を取得する撮像素子と、
   前記撮像素子により得られた前記複数の画像に基づいて位相差を検出する検出手段と、
   前記検出手段により検出された前記位相差の変化に基づいてフォーカスレンズの移動方向を決定する決定手段と、
   前記決定手段により決定された前記フォーカスレンズの移動方向に従って前記フォーカスレンズを制御するフォーカス制御手段と、を有することを特徴とする立体撮像装置。
2. 前記検出手段は、前記複数の画像から抽出された複数の輝度情報の差に基づいて前記位相差を検出することを特徴とする請求項１に記載の立体撮像装置。
3. 前記撮像素子は、互いに視差を有する第１の画像と第２の画像、および、互いに視差を有する第３の画像と第４の画像を取得し、
   前記検出手段は、前記第１の画像と前記第２の画像に基づいて第１の位相差を検出し、前記第３の画像と前記第４の画像に基づいて第２の位相差を検出し、
   前記決定手段は、前記第１の位相差と前記第２の位相差との関係に基づいて、前記フォーカスレンズの移動方向を決定することを特徴とする請求項１または２に記載の立体撮像装置。
4. 前記撮像素子は、前記第１の画像および前記第２の画像を第１のタイミングで取得し、前記第３の画像および前記第４の画像を該第１のタイミングよりも後の第２のタイミングで取得し、
   前記決定手段は、
   前記第１の位相差よりも前記第２の位相差が大きい場合、主被写体が近づいたと判定し、
   前記第１の位相差よりも前記第２の位相差が小さい場合、前記主被写体が遠ざかったと判定することを特徴とする請求項３に記載の立体撮像装置。
5. 前記撮像素子は、前記複数の画像のうち第１の視点から得られた画像を取得する第１の撮像素子と、該複数の画像のうち該第１の視点とは異なる第２の視点から得られた画像を取得する第２の撮像素子とを有することを特徴とする請求項１または２に記載の立体撮像装置。
6. 前記フォーカスレンズの移動量と前記位相差の変化量との関係を示す情報を記憶した記憶手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の立体撮像装置。
7. 前記検出手段は、前記複数の画像のそれぞれの一部の領域に対して前記位相差を検出することを特徴とする請求項１乃至６のいずれか１項に記載の立体撮像装置。
8. 前記領域は、第１の分割領域および第２の分割領域を含み、
   前記第１の分割領域に主被写体が存在し、かつ前記第２の分割領域に該主被写体とは異なる被写体が存在する場合、前記検出手段は、該第２の分割領域に対して前記位相差を検出することなく、該第１の分割領域に対して前記位相差を検出することを特徴とする請求項７に記載の立体撮像装置。
9. フォーカスレンズを含む撮像光学系と、
   請求項１乃至８のいずれか１項に記載の立体撮像装置と、を有することを特徴とする立体撮像システム。
10. 互いに視差を有する複数の画像を取得するステップと、
    前記複数の画像に基づいて位相差を検出するステップと、
    前記位相差の変化に基づいてフォーカスレンズの移動方向を決定するステップと、
    決定された前記フォーカスレンズの移動方向に従って前記フォーカスレンズを制御するステップと、を有することを特徴とする立体撮像装置の制御方法。
11. 前記複数の画像から複数の輝度情報を抽出するステップを更に有し、
    前記位相差を検出するステップにおいて、前記複数の輝度情報に基づいて該位相差を検出することを特徴とする請求項１０に記載の立体撮像装置の制御方法。
12. 前記位相差を検出するステップにおいて、互いに視差を有する第１の画像と第２の画像に基づいて第１の位相差を検出し、互いに視差を有する第３の画像と第４の画像に基づいて第２の位相差を検出し、
    前記フォーカスレンズの移動方向を決定するステップにおいて、前記第１の位相差と前記第２の位相差との関係に基づいて前記フォーカスレンズの移動方向を決定することを特徴とする請求項１０または１１に記載の立体撮像装置の制御方法。
13. 互いに視差を有する複数の画像を取得するステップと、
    前記複数の画像に基づいて位相差を検出するステップと、
    前記位相差の変化に基づいてフォーカスレンズの移動方向を決定するステップと、
    決定された前記フォーカスレンズの移動方向に従って前記フォーカスレンズを制御するステップと、をコンピュータに実行させるように構成されていることを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。