JP2014096761A

JP2014096761A - 画像処理装置、その制御方法、および制御プログラム

Info

Publication number: JP2014096761A
Application number: JP2012248450A
Authority: JP
Inventors: Masaaki Matsuoka; 正明松岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-11-12
Filing date: 2012-11-12
Publication date: 2014-05-22
Anticipated expiration: 2032-11-12
Also published as: JP5925109B2

Abstract

【課題】左右の視点の幾何学的な位置を撮像手段で調整できない場合であっても、用途を限定することなく距離画像を生成する。
【解決手段】信号画像回路１０４は互いに異なる視点から特定の被写体を撮像して得られた複数の画像の視差量に応じた視差画像を得る。システム制御回路１０７は撮像装置から特定の被写体までの距離を示す距離情報を求める。信号処理回路は視差量および距離情報に応じて、視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求めて、視差画像と並進移動量とに応じて距離画像を生成する。
【選択図】図１

Description

本発明は、撮像装置によって２つ以上の異なる視点から被写体を撮像し、当該撮像装置から被写体までの距離に応じて画像を生成する画像処理装置、その制御方法、および制御プログラムに関する。

従来、２つの異なる視点から被写体を撮像して、撮像装置から被写体までの距離に応じて画像（以下距離画像と呼ぶ）を生成することが行われている。

例えば、２台の撮像装置によって左右の異なる視点から被写体を撮像して、距離画像を生成する手法として、非特許文献１に記載の手法がある。

非特許文献１では、まず、左右の異なる視点で撮影された２つの画像について、撮像レンズの歪み補正を行う。そして、左右の異なる視点間においてカメラの角度と距離とを調整するため、左右の画像を写像する（ステレオ平行化）。続いて、左右のカメラのビューにおいて同一の特徴を求めて、視差画像を生成する（ステレオ対応点探索）。次に、左右のカメラの幾何学的な位置情報に応じて、視差画像を距離画像に変換する（３Ｄ再投影）。

ＧａｒｙＢｒａｄｓｋｉ、ＡｄｒｉａｎＫａｅｂｌｅｒ（著）、松田晃一（訳）、「詳解ＯｐｅｎＣＶ」、オライリー・ジャパン、オーム社、２００９年８月、ｐ．３７７―４６６

ところが、非特許文献１に記載の手法では、１台のカメラを撮影者が手動で視点移動させて視差のある２つの画像を撮像する場合においては、左右の視点の幾何学的な位置をカメラが調整してその位置情報を特定することができない。よって、視差画像を距離画像に変換することができないという問題点がある。

さらに、非特許文献１に記載の手法では、左右のカメラの幾何学的な位置情報を取得する際、所謂ステレオキャリブレーションを用いている。このため、非特許文献１においては、位置情報を得るためチェスボードチャートのような形状が既知であるキャリブレーションパターンを撮影する必要がある。このため、ロボットアーム用のカメラおよびやセキュリティカメラなど、その用途が限定されてしまう。

従って、本発明の第１の目的は、左右の視点の幾何学的な位置を調整できない場合においても距離画像を生成することができる画像処理装置、その制御方法、および制御プログラムを提供することにある。

本発明の第２の目的は、その用途が限定されることが少ない画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置であって、前記複数の画像の視差量に応じた視差画像を得る視差画像取得手段と、前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得手段と、前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得手段と、前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得手段と、を有することを特徴とする。

本発明による制御方法は、撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置の制御方法であって、前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、を実行させることを特徴とする制御プログラム。

本発明によれば、左右の視点の幾何学的な位置を撮像手段で調整できない場合であっても、用途を限定することなく距離画像を生成することができる。

本発明の第１の実施形態による画像処理装置が用いられた撮像装置の一例についてその構成を示すブロック図である。図１に示す信号処理回路の構成を説明するためのブロック図である。左右の視点が形成する撮像系をピンホールモデルで示す図である。ホモグラフィの写像手順を説明するための図であり、（ａ）は右画像の投影平面におけるオブジェクトの結像イメージおよびエピポールのピクセル座標を示す図、（ｂ）は（ａ）について回転行列を適用したピクセル座標系を示す図、（ｃ）は（ｂ）についてホモグラフィＧを適用したピクセル座標系を示す図である。本発明の第１の実施形態において撮像された画像（生画像）をステレオ平行化された左右画像に写像する手順を説明するための図であり、（ａ）は生画像を示す図、（ｂ）は歪み補正後の画像を示す図、（ｃ）は平行化処理後の画像を示す図、（ｄ）は切り出し処理後の画像を示す図である。本発明の第１の実施形態におけるステレオ対応点探索で用いられるブロックマッチング手法を説明するための図である。図１に示すカメラで行われる距離画像生成制御を説明するためのフローチャートである。図１に示すカメラによる視点移動を説明するための図である。図１に示すカメラにおいて左視点および右視点で撮像されたステレオ平行化画像を説明するための図である。図１に示すカメラで生成された視差画像を示す図である。図１に示すカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。本発明の第２の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。本発明の第２の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。本発明の第３の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。本発明の第３の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。本発明の第４の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。本発明の第５の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。本発明の第５の実施形態によるカメラで行われる連続フレーム処理を説明するためのフローチャートである。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置が用いられた撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、カメラは結像光学系１０１を有している。そして、この結像光学系１０１は撮影レンズおよび絞りなどを備えており、フォーカス調節および焦点距離調整を行う。

結像光学系１０１の後段には、ＣＣＤなどの撮像素子１０２が配置され、結像光学系１０１から入射した光学像（被写体像）は撮像素子１０２に結像する。撮像素子１０２は光学像に応じた電気信号（アナログ画像信号）を出力する。このアナログ画像信号はＡ／Ｄ変換回路１０３によってデジタル画像信号に変換されて、信号処理回路１０４およびＡＦ評価値取得回路１０８に与えられる。

信号処理回路１０４はデジタル画像信号に対して所定の信号処理を施して画像データとする。そして、この画像データはメモリ制御回路１０５によってメモリ（例えば、ＤＲＡＭ）１０６に書き込まれる。また、メモリ制御回路１０５はメモリ１０６に書き込まれた画像データを読み出して、表示部１０９に画像データに応じた画像を表示するとともに、必要に応じて当該画像データを信号処理回路１０４に送る。

ＡＦ評価値取得回路１０８は、デジタル画像信号に応じて、結像光学系１０１のオート・フォーカス（ＡＦ）調整用のＡＦ評価値を生成する。そして、このＡＦ評価値はメモリ制御回路１０５を介してシステム制御回路１０７に与えられ、システム制御回路１０７はＡＦ評価値に基づいて、結像光学系１０１のＡＦ制御を行う。なお、システム制御回路１０７はカメラ全体の制御を司る。

システム制御回路１０７には操作部１１０が接続され、ユーザは操作部１１０を操作して各種指示をシステム制御回路１１０に与える。また、システム制御回路１０７は表示部１０９にカメラに関する各種カメラ情報を表示する。

結像光学系１０１のＡＦ制御を行う際には、既知の山登りコントラストＡＦが用いられる。つまり、デジタル画像信号に応じた画面において、ＡＦ測距枠で規定された領域におけるコントラスト（つまり、ＡＦ評価値）が極大となるようにＡＦ制御が行われる。さらに、フォーカス調整後の結像光学系１０１の位置（光軸に沿った位置）に応じて、ＡＦ測距枠の合焦被写体までの距離が求められる。

図２は、図１に示す信号処理回路１０４の構成を説明するためのブロック図である。

図２において、左画像２０１および右画像２０２は、撮影の結果得られた画像データであり、メモリ１０６に格納されている。ここでは、ユーザが被写体をフレーミングしている際においても、撮像素子１０２は、システム制御回路１０７の制御下で連続的に被写体を撮像しており、これによって、フレーミングによる視点移動を用いて左画像２０１および右画像２０２を得る。

カメラから被写体までの距離に応じて画像（以下距離画像と呼ぶ）を生成する際には、システム制御回路１０７の制御下でメモリ制御回路１０５によってメモリ１０６から左画像２０１および右画像２０２が読み出されて、信号処理回路１０４に送られる。

図示のように、信号処理回路１０４は、ホモグラフィ推定回路２０３、逆写像処理回路２０４および２０５、ステレオ対応点探索回路２０６、および３次元（３Ｄ）再投影回路２０７を備えている。そして、左画像２０１はホモグラフィ推定回路２０３および逆写像回路２０４に与えられ、右画像２０２はホモグラフィ推定回路２０３および逆写像回路２０５に与えられる。

ホモグラフィ推定回路２０３は左画像２０１および右画像２０２を受けて、ステレオ平行化のためのホモグラフィを推定するホモグラフィ推定処理を行う。ホモグラフィ推定処理では、結像光学系１０１による歪みが補正された座標系を用いる必要がある。ここで用いられる歪み補正は非特許文献１に記載の補正手法と同様であり、座標変換式は次の式（１）で表される。

ここで、（ｘ，ｙ）は歪んだ点の元の位置であり、（ｘ_{ｃｏｒｒｅｃｔｅｄ}，ｙ_{ｃｏｒｒｅｃｔｅｄ}）は補正の結果得られる位置である。さらに、ｒは歪んだ点の元の位置のレンズ中心からの距離であり、ｋ１、ｋ２、およびｋ３は結像光学系１０１で用いられるレンズの形状から決定される歪み補正係数である。

ここでは、歪み補正において半径方向歪みのみを補正するものとしたが、半径方向の歪み補正に限定されるものではなく、例えば、円周方向の歪みも補正するようにしてもよい。

また、ステレオ平行化のためのホモグラフィ推定の手法は非特許文献１に記載の手法と同様である。

図３は、左右の視点が形成する撮像系をピンホールモデルで示す図である。

図３において、Ｏ_ｌおよびＯ_ｒはそれぞれ左右の視点の投影中心位置、Ｐは被写体位置、ｐ_ｌおよびｐ_ｒはそれぞれ左右の視点の投影平面に投影される被写体の結像位置を示す。また、ｅ_ｌおよびｅ_ｒはそれぞれ左右の視点におけるエピポールを示し、そして、ｐ_ｌ，ｅ_ｌおよびｐ_ｒ，ｅ_ｒはそれぞれ左右の視点におけるエピポーラ線を示す。

エピポーラ拘束によって、１つの画像内の特徴点が与えられると、もう一つの画像内で対応する点は対応するエピポーラ線上に存在する。このため、ステレオ対応点探索はエピポーラ線に沿って対応点探索することになる。そして、２つの画像においてエピポーラ線を平行にして対応点の高さを合わせると、水平方向の１次元における対応点探索となるので、２次元のものよりも計算量が大幅に軽減され、さらに結果の信頼度も高い。２つの画像でエピポーラ線を平行にして対応点の高さを合わせる座標変換がステレオ平行化と呼ばれる。

ステレオ平行を行う際には次のステップが実行される。

（２−１）２つの画像で８点以上の特徴点の対応を求める。

（２−２）８点以上の特徴点の対応から基礎行列Ｆを求める。

（２−３）基礎行列Ｆからエピポールｅ_ｌおよびｅ_ｒを求める。

（２−４）エピポールｅ_ｒから右画像のステレオ平行化のためのホモグラフィＨ_ｒを推定する。

（２−５）特徴点の対応、ホモグラフィＨ_ｒ、およびエピポールｅ_ｌから左画像のステレオ平行化のためのホモグラフィＨ_ｌを推定する。

（２−１）の処理においては、２つの画像間でブロックマッチング手法による２次元の対応点探索を行って、必要な特徴点の対応を求める。画素単位で対応点探索するステレオ対応点探索とは異なり、画像一面内で最低８点の対応を求めればよいので、２次元であっても計算量が少なく結果の信頼度にも大きな影響はない。ブロックマッチング手法の詳細については、後述するステレオ対応点探索と同様であるが、ステレオ対応点探索のブロックマッチング手法は１次元方向のみの探索なので、ここではその探索範囲を２次元方向に拡張したブロックマッチング手法を用いる。

（２−２）の処理においては、８点の特徴点の対応から３×３行列の基礎行列Ｆを求める。また、特徴点の座標は上記の式（１）で歪み補正されたものを用いる。式（２）は一般にエピポーラ方程式と呼ばれている方程式である。

式（２）において、Ｅは３×３行列の基本行列である。また、３×３行列のカメラ内部行列Ｍを用いると、一般に、式（３）によって３次元物理座標ｐを投影平面の２次元ピクセル座標ｑに変換できる。

また、カメラ内部行列Ｍを用いると、一般に式（４）によって基本行列Ｅを基礎行列Ｆに変換できる。

式（２）から式（４）を用いると、基礎行列Ｆに関して、式（５）の方程式が導かれる。

基礎行列Ｆは３×３行列で、かつスカラの自由度を有するので、９個の行列要素のうちの８個が変数となる。よって、式（５）に左右画像のｑ_ｌおよびｑ_ｒの対応を８点代入すれば、単なる連立１次方程式となり、この連立１次方程式を解くことで基礎行列Ｆを求めることができる。

本発明の第１の実施形態では、基礎行列Ｆを求めるために左右画像のｑ_ｌおよびｑ_ｒの対応を８点用いているが、本発明はこれに限定されるものではなく、例えば、非特許文献１で記載されているように８点以上の対応を用いた最小二乗法によって基礎行列Ｆを推定するようにしてもよい。

（２−３）の処理においては、基礎行列Ｆからエピポールｅ_ｌおよびｅ_ｒを求める。基礎行列Ｆとエピポールｅ_ｌおよびｅ_ｒとの関係は一般に式（６）および（７）で示される。そして、式（６）および（７）に求めた基礎行列Ｆを代入することでエピポールｅ_ｌおよびｅ_ｒを求めることができる。

（２−４）の処理においては、エピポールｅ_ｒからホモグラフィＨ_ｒを推定する。

図４は、ホモグラフィＨ_ｌおよびＨ_ｒの写像手順を説明するための図である。そして、図４（ａ）は右画像の投影平面におけるオブジェクトの結像イメージ（網掛けの三角形）およびエピポールｅ_ｒのピクセル座標（ｘ_ｅ，ｙ_ｅ）を示す図であり、図４（ｂ）は図４（ａ）について回転行列Ｒを適用したピクセル座標系を示す図である。また、図４（ｃ）は図４（ｂ）についてホモグラフィＧを適用したピクセル座標系を示す図である。

まず、エピポールｅ_ｒをｘ軸上の（ｋ，０）に写像する回転行列Ｒを、式（８）によって求める。

式（８）をエピポールｅ_ｒに適用すると、式（９）が得られる。

次に、ｘ軸上に写像されたエピポール（ｋ，０）を無限遠点（±∞，０）に写像するホモグラフィＧを、式（１０）によって求める。

このようなホモグラフィは、全てのエピポーラ線をｘ軸に対して平行な直線に写像する。従って、図４（ｃ）におけるエピポーラ線はｘ軸に対して平行な直線に写像される。

式（８）〜式（１０）を用いると、ホモグラフィＨ_ｒは式（１１）で示される。

（２−５）の処理において、特徴点の対応、ホモグラフィＨ_ｒ、およびエピポールｅ_ｌから左画像のステレオ平行化のためのホモグラフィＨ_ｌを推定する。このホモグラフィＨ_ｌは、左画像の全てのエピポーラ線をｘ軸に対して平行な直線に写像して、左右画像の対応するエピポーラ線の高さを揃える。

左画像の全てのエピポーラ線をｘ軸に対して平行な直線に写像する際には、（２−４）の処理で説明した手順と同様の手順が用いられる。また、同様の手順で左画像について得られた行列を、Ｇ’およびＲ’とする。

左右画像の対応するエピポーラ線の高さを揃える際には、左右画像間に存在する特徴点の対応において特徴点間距離の総和が最小になるようなホモグラフィＫを推定すればよい。

つまり、推定したホモグラフィＨ_ｌは式（１２）で示される。

さらに、ホモグラフィＫを推定するためには、式（１３）が用いられる。

なお、式（１３）において、ｄｄ（ｑ_ｌ，ｑ_ｒ）は、２つのピクセル座標間の距離自乗和を示している。また、特徴点の対応（ｑ^ｌ _ｉ，ｑ^ｒ _ｉ）については、（２−１）の処理で求めたものを用いればよい。

逆写像処理回路２０４および２０５は、ステレオ平行化のためのホモグラフィを用いて、それぞれ左画像２０１および右画像２０２をステレオ平行化する。ここで、ステレオ平行化のための逆写像処理の手法は非特許文献１に記載の手法と同様である。

図５は、本発明の第１の実施形態において、撮像された画像（生画像）をステレオ平行化された左右画像に写像する手順を説明するための図である。そして、図５（ａ）は生画像を示す図であり、図５（ｂ）は歪み補正後の画像を示す図である。また、図５（ｃ）は平行化処理後の画像を示す図であり、図５（ｄ）は切り出し処理後の画像を示す図である。

ここでは、ステレオ平行化された画像内の各整数座標（図５（ｃ））に対して、歪んでいない画像（図５（ｂ））内の座標を求めて、これら座標を用いて生画像（図５（ａ））内の小数点座標を参照する逆写像処理を行う。つまり、この小数点座標を用いて生画像内で画素補間処理を行って、ステレオ平行化画像（図５（ｃ））内での画素値を求める。

なお、図中のＤＩＳＴ（）は、式（１）に示す（ｘ_{ｃｏｒｒｅｃｔｅｄ}，ｙ_{ｃｏｒｒｅｃｔｅｄ}）から（ｘ，ｙ）を求める式（１）の逆変換処理である。

逆写像処理回路２０４および２０５の出力はステレオ対応点探索回路２０６に与えられる。ステレオ対応点探索回路２０６はステレオ平行化された左画像２０１および右画像２０２から視差画像２０８を生成する。なお、ステレオ対応点探索回路２０６におけるステレオ対応点探索は非特許文献１に記載の手法と同様である。

図６は、本発明の第１の実施形態におけるステレオ対応点探索で用いられるブロックマッチング手法を説明するための図である。

ブロックマッチングは、差分絶対値和（ＳＡＤ）ウィンドウを行方向にスライドすることによって行われる。これによって、左の画像内おける各特徴点に対して、右の画像において対応する行から最もよくマッチするものを探す。左右画像はステレオ平行化されて各行がエピポーラ線になっており、右の画像内でマッチングする箇所は左の画像内の同一の行にあるため、探索方向は行方向だけに限定することができる。

左の画像内のある特徴点のｘ座標ｘ_ｌに対して、対応する右の画像内の対応点のｘ座標ｘ_ｒまでの距離ｄ＝（ｘ_ｌ−ｘ_ｒ）が対応する視差量となる。

ステレオ対応点探索回路２０６で生成された視差画像２０８は、３Ｄ再投影回路２０７に与えられる。３Ｄ再投影回路２０７は視差画像２０８から距離画像２０９を生成する。なお、ここで用いられる３Ｄ再投影は非特許文献１に記載の手法と同様である。

三角測量の手法によって、距離Ｚと視差量ｄとの関係は一般に式（１４）で表される。

ここで、ｆは撮像系の焦点距離、Ｔは左右２つの視点の投影中心の距離である。

３Ｄ再投影回路２０７で生成された距離画像２０９は、メモリ制御回路１０５を介してメモリ１０６に書き込まれる。

図７は、図１に示すカメラで行われる距離画像生成制御を説明するためのフローチャートである。

距離画像生成が開始されると、前述したようにして、システム制御回路１０７の制御下で、ステレオ対応点探索回路２０６は、逆写像処理回路２０４および２０５でステレオ平行化された左右画像を処理して視差画像を生成する（ステップＳ１０１）。

図８は、図１に示すカメラによる視点移動を説明するための図である。

図８において、撮像素子１０２は投影平面の配置されており、撮像素子１０２の後側に左画像を撮像した時の投影中心３０１および右画像を撮影した時の投影中心３０２がある。また、図８における左右視点の投影中心および投影平面の位置はステレオ平行化後のものであって、Ｘ軸方向は並進移動の方向、Ｚ軸方向は距離画像における距離の方向である。

図８においては、被写体（Ａ）３０３、被写体（Ｂ）３０４、および被写体（Ｃ）３０５が存在するとともに、背景被写体３０６が存在する。なお、ｆは結像光学系１０１の焦点距離、Ｔは左視点の投影中心に対する右視点の投影中心の並進移動量、Ｚ_Ａ、Ｚ_Ｂ、およびＺ_ＣはそれぞれＸ軸から被写体３０２、被写体３０４、および被写体３０５までの距離である。

図９は、図１に示すカメラにおいて左視点および右視点で撮像されたステレオ平行化画像を説明するための図である。

図９において、実線は左画像における被写体輪郭、破線は右画像における被写体輪郭を表している。ｄ_Ａ、ｄ_Ｂ、およびｄ_Ｃはそれぞれ被写体（Ａ）３０３、被写体（Ｂ）３０４、および被写体（Ｃ）３０５の視差量である。被写体（Ａ）３０３が最も距離が近いので視差量が最も大きく、被写体の視差量は被写体（Ｃ）３０５および被写体（Ｂ）３０４の順で小さくなる。

図１０は、図１に示すカメラで生成された視差画像を示す図である。

図１０に示す例では、被写体（Ａ）３０３はその視差量が５０μｍであり、被写体（Ｂ）３０４はその視差量が１０μｍである。また、被写体（Ｃ）３０５はその視差量が２０μｍであり、背景被写体３０６はその視差量が２μｍである。

システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は視差画像から視差量信頼度が高い被写体を選択被写体（つまり、特定の被写体）として選択する（ステップＳ１０２）。ここでは、視差量信頼度は被写体の視差量に応じて判定されるものとする。つまり、視差量閾値をｄ_ｔｈとした際、ｄ＞ｄ_ｔｈを満たす視差量ｄを有する被写体が被写体信頼度の高い被写体と判定される。例えば、ｄ_ｔｈ＝４０μｍとすると、図１０から被写体（Ａ）３０３が視差量信頼度の高い被写体として選択されることになる。

続いて、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は選択された被写体までの距離を取得する（ステップＳ１０３）。

図１１は、図１に示すカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。

図１１において、被写体（Ａ）３０３が測距の対象であるので、システム制御回路１０７は被写体（Ａ）３０３に合わせてＡＦ測距枠４０１を設定し、山登りコントラストＡＦによって被写体（Ａ）３０３までの距離Ｚ_Ａを求める。

次に、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は投影中心の並進移動量を取得する（ステップＳ１０４）。前述の式（１４）から、並進移動量は、Ｔ＝（Ｚ_Ａｄ_Ａ／ｆ）となる。また、視差量の検出誤差をΔｄ、並進移動量の検出誤差をΔＴとすると、検出誤差ΔＴは、次の式（１５）で表される。

最後に、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は視差画像について画素毎に式（１４）を適用して、距離画像２０８を生成する（ステップＳ１０５）。そして、システム制御回路１０７は距離画像生成処理を終了する。

このように、本発明の第１の実施形態では、左右の視点の幾何学的な位置をカメラで調整できない場合であっても、用途を限定することなく距離画像を生成することができる。また、視差量ｄが大きい被写体、つまり、距離Ｚがカメラに近い被写体から並進移動量Ｔを検出するようにしたので、式（１５）から容易に理解できるように、並進移動量の検出誤差ΔＴを小さくすることができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。

図１２は、本発明の第２の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。なお、図１２において、図７に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。

図７で説明したようにして視差画像が生成された後、システム制御回路１０７は、ＡＦ測距枠によって指定された被写体までの距離を取得する（ステップＳ２０２）。ユーザがＡＦ測距枠によって被写体を指定する際には、ユーザは表示部１０９に表示された撮像画像を確認しつつ操作部１１０を操作してＡＦ測距枠を移動する。そして、ユーザ所望の被写体にＡＦ測距枠を位置づけて操作部１１０によって被写体を指定する。

図１３は、本発明の第２の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。

図１３において、ユーザは被写体（Ｂ）３０４にＡＦ測距枠４０１を指定されているので、ここでは、被写体（Ｂ）３０４が測距の対象となる。そして、システム制御回路１０７は山登りコントラストＡＦによって被写体（Ｂ）３０４までの距離Ｚ_Ｂを求める。

続いて、システム制御回路１０７の制御下で、ステップＳ１０４において３Ｄ再投影回路２０７は投影中心の並進移動量を取得する。前述の式（１４）から並進移動量は、Ｔ＝（Ｚ_Ｂｄ_Ｂ／ｆ）となる。

最後に、システム制御回路１０７の制御下で、ステップＳ１０５において３Ｄ再投影回路２０７は視差画像について画素毎に式（１４）を適用して、距離画像２０８を生成する。そして、システム制御回路１０７は距離画像生成処理を終了する。

このように、本発明の第２の実施形態では、左右の視点の幾何学的な位置をカメラで調整できない場合であっても、用途を限定することなく距離画像を生成することができる。また、距離画像を生成する際、ユーザ所望の被写体にフォーカス位置を合わせることができる。

［第３の実施形態］
続いて、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。

図１４は、本発明の第３の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。なお、図１４において、図７に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。

図７で説明したようにして、ステップＳ１０２において、視差画像から視差量信頼度が高い被写体が選択される。なお、第３の実施形態では、ｄ_ｔｈ＝１５μｍとする。よって、ここでは、図１０に示す例においては、被写体（Ａ）３０３および被写体（Ｃ）３０５が視差量信頼度の高い被写体として選択されることになる。

次に、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は表示重要度が高い被写体を選択する（ステップＳ３０３）。ここでは、画像中心からの２次元距離が近い被写体ほど重要度が高いものとする。

図１５は、本発明の第３の実施形態によるカメラにおいて投影平面上におけるＡＦ測距枠の位置を説明するための図である。

図１５において、画像中心から被写体（Ａ）３０３までの距離はＲ_Ａであり、画像中心から被写体（Ｃ）３０５までの距離はＲ_Ｃである。ここでは、Ｒ_Ａ＞Ｒ_Ｃであるので、３Ｄ再投影回路２０７は被写体（Ｃ）３０５の方が被写体（Ａ）３０３よりも表示重要度が高いと判定して、被写体（Ｃ）３０５を選択することになる。そして、システム制御回路１０７は被写体（Ｃ）３０５に合わせてＡＦ測距枠４０１を設定し、ステップＳ１０３で山登りコントラストＡＦによって被写体（Ｃ）３０５までの距離Ｚ_Ｃを求める。

その後、図７で説明したステップＳ１０４およびＳ１０５の処理を行った後、システム制御回路１０７は距離画像生成処理を終了する。なお、第３の実施形態では、前述の式（１４）から、並進移動量はＴ＝（Ｚ_Ｃｄ_Ｃ／ｆ）となる。

このように、本発明の第３の実施形態では、左右の視点の幾何学的な位置をカメラで調整できない場合であっても、用途を限定することなく距離画像を生成することができる。また、視差量ｄが大きい被写体、つまり、距離Ｚがカメラに近い被写体から並進移動量Ｔを検出するようにしたので、並進移動量の検出誤差ΔＴを小さくすることができる。さらに、距離画像を生成する際、表示重要度に応じてフォーカスが行われるので、表示に関して品位を保つことができる。

［第４の実施形態］
次に、本発明の第４の実施形態によるカメラの一例について説明する。なお、第４の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。

図１６は、本発明の第４の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。

距離画像生成が開始されると、システム制御回路１０７は、電子ビューファインダ表示中でいるか否かを判定する（ステップＳ４０１）。ここでは、ユーザが被写体をフレーミングする目的で撮像画像を連続フレーム表示させることを電子ビューファインダと呼ぶ。ユーザは操作部１１０を操作して電子ビューファインダの表示又は非表示を選択する。

電子ビューファインダが表示中でないと（ステップＳ４０１において、ＮＯ）、システム制御回路１０７は距離優先モードに移行して、距離優先モードに応じた処理を実行する（ステップＳ４０２）。そして、システム制御回路１０７は距離画像生成処理を終了する。ここで、距離優先モードに応じた処理とは第１の実施形態で説明した距離画像生成に係る処理をいう。

一方、電子ビューファインダが表示中であると（ステップＳ４０１において、ＹＥＳ）、システム制御回路１０７はユーザがＡＦ測距枠の位置を指示しているか否かを判定する（ステップＳ４０３）。ユーザによるＡＦ測距枠の指示がなければ（ステップＳ４０３において、ＮＯ）、システム制御回路１０７は距離表示優先モードに移行して、距離表示優先モードに応じた処理を実行する（ステップＳ４０４）。そして、システム制御回路１０７は距離画像生成処理を終了する。ここで、距離表示優先モードに応じた処理とは第３の実施形態で説明した距離画像生成に係る処理をいう。

ユーザによるＡＦ測距枠の指示があると（ステップＳ４０３において、ＹＥＳ）、システム制御回路１０７は表示優先モードに移行して、表示優先モードに応じた処理を実行する（ステップＳ４０５）。そして、システム制御回路１０７は距離画像生成処理を終了する。ここで、表示優先モードに応じた処理とは第２の実施形態で説明した距離画像生成に係る処理をいう。

このように、本発明の第４の実施形態では、電子ビューファインダが表示されているか否かにに応じて、距離画像の生成を変更することができる。つまり、電子ビューファインダが表示されていない場合には、距離画像の精度を高くすることができ、電子ビューファインダが表示されかつユーザ所望の被写体にフォーカスを合わせる際には、フォーカス位置に影響がないように距離画像を生成することができる。さらに、電子ビューファインダが表示されかつフォーカスが自動的に調整される際には、距離画像の精度を高くしつつ表示の品位を保つことができる。

［第５の実施形態］
続いて、本発明の第５の実施形態によるカメラの一例について説明する。なお、第５の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。

図１７は、本発明の第５の実施形態によるカメラおける距離画像の生成を説明するためのフローチャートである。なお、図１７において、図１６に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。

距離画像の生成が開始されると、まず、ステップＳ４０２において、距離優先モードに応じた処理が行われる。続いて、システム制御回路１０７の制御下で、３Ｄ再投影回路２０７は視差画像において視差量信頼度が高い被写体が選択されたか否かを判定する（ステップＳ５０２）。

いま、視差量閾値ｄ_ｔｈが５５μｍであるとすると、図１０に示す例では、いずれの被写体も視差量信頼度が高くないと判定されることになる。視差量信頼度が高い被写体が選択されないと（ステップＳ５０２において、ＮＯ）、システム制御回路１０７は結像光学系１０１の焦点距離を調整して長くする（焦点距離を望遠側に調整する）。つまり、システム制御回路１０７は視差量信頼度が十分高くなるように焦点距離を調整する（ステップＳ５０３）。そして、システム制御回路１０７はステップＳ４０２の処理に戻る。

例えば、図１０に示す例では、焦点距離を１．２倍に調整すると、ＡＦ測距枠内にある被写体（Ａ）３０３の視差量が１．２倍の６０μｍに調整されることになる。この場合、焦点距離を調整した影響によってピントが若干ずれてしまうが、焦点距離を調整する際には、その範囲は各被写体像における錯乱円の大きさが許容錯乱円径を超えない範囲とする。

一方、視差量信頼度が高い被写体が選択されると（ステップＳ５０２において、ＹＥＳ）、システム制御回路１０７は距離画像の生成処理を終了する。

このように、本発明の第５の実施形態では、距離優先モードによる処理の際、常に視差量信頼度が高い被写体に合わせて距離画像を生成することができる。

［第６の実施形態］
次に、本発明の第５の実施形態によるカメラの一例について説明する。なお、第５の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるので、説明を省略する。また、ここでは、時間的に連続する複数のフレーム画像について距離画像を生成する連続フレーム処理について説明する。

図１８は、本発明の第５の実施形態によるカメラで行われる連続フレーム処理を説明するためのフローチャートである。なお、ここでは、複数のフレーム画像を撮影する際には、フレーム（１）、フレーム（２）、フレーム（３）、・・・の順で撮像が行われる。

連続フレーム処理が開始されると、システム制御回路１０７の制御下で、距離画像生成処理が行われて（ステップＳ６０１）、少なくとも１つの距離画像が生成される（Ｓ６０１）。この距離画像生成処理は、第１の実施形態から第４の実施形態のいずれかによる処理であり、ここでは、ステップＳ６０１の処理による投影中心の並進移動量を取得する対象となる被写体までの距離Ｚが連続フレーム処理で用いられる。

続いて、システム制御回路１０７はカウント数Ｎ＝１（Ｎは１以上の整数）を設定する（ステップＳ６０２）。そして、システム制御回路１０７はカウント数Ｎが予め定められた最大数ＭＡＸ＿ＮＵＭ以下であるか否かを判定する（ステップＳ６０３）。Ｎ＞ＭＡＸ＿ＮＵＭであると（ステップＳ６０３において、ＮＯ）、システム制御回路１０７は連続フレーム処理を終了する。

一方、Ｎ≦ＭＡＸ＿ＮＵＭであれば（ステップＳ６０３において、ＮＯ）、システム制御回路１０７の制御下で、前述したように、信号処理回路１０４は時間的に連続する第Ｎの画像（つまり、フレーム（Ｎ））と第（Ｎ＋１）の画像（つまり、フレーム（Ｎ＋１））に応じて視差画像を生成する（ステップＳ６０４）。そして、システム制御回路１０７の制御下で、信号処理回路１０４は投影中心の並進移動量を取得する対象となる被写体を選択する（ステップＳ６０５）。

続いて、信号処理回路１０４は、前述の式（１４）を用いて、ステップＳ６０５で選択した被写体の視差量ｄと被写体距離Ｚとに応じて、投影中心の並進移動量を求める（ステップＳ６０６）。そして、信号処理回路１０４はフレーム（Ｎ）とフレーム（Ｎ＋１）に応じた距離画像を生成する（ステップＳ６０７）。

なお、視差画像の生成、並進移動量を求める被写体の選択、並進移動量の算出、および、距離画像生成に係る処理は、前述の第１の実施形態〜第４の実施形態で説明したいずれかの手法が用いられる。

続いて、システム制御回路１０７は、カウント数Ｎ＝Ｎ＋１として（ステップＳ６０８）、ステップＳ６０３の処理に戻る。

前述したように、カウント数Ｎが最大数ＭＡＸ＿ＮＵＭを超えると、投影中心の並進移動量を求める対象である被写体が移動して被写体距離Ｚが変化することがある。このため、カウント数Ｎが最大数ＭＡＸ＿ＮＵＭを超えると、システム制御回路１０７は連続フレーム処理を終了する。

例えば、許容する距離Ｚの精度が１０ｃｍ、想定する被写体移動速度が１０ｃｍ／秒、フレームレートが６０フレーム／秒である場合には、６０フレームで距離Ｚの許容精度の１０ｃｍに達するので、最大数ＭＡＸ＿ＮＵＭは６０とする。

よって、続けて連続フレーム処理によって距離画像を生成する際には、ステップＳ６０１から処理をやり直すことになる。

このように、本発明の第６の実施形態では、一連のフレーム処理において直前の処理で参照したフレーム画像のうちの一つを次のフレームでも参照するので、撮像のフレームレートと同一のレートで距離画像が生成されることになって、距離画像の時間分解能を高くすることができる。

上述の説明から明らかなように、図１に示す例においては、システム制御回路１０７および信号処理回路１０４が視差画像取得手段、距離情報取得手段、並進移動量取得手段、および距離画像取得手段として機能する。また、システム制御回路１０７は被写体選択手段として機能し、システム制御回路１０７および操作部１１０はモード選択手段として機能する。そして、システム制御回路１０７は焦点距離調整手段、視差量調整手段、および制御手段として機能する。

なお、図１において、少なくとも信号処理回路１０４、メモリ制御回路１０５、システム制御回路１０７、ＡＦ評価値取得回路１０８、および操作部１１０は画像処理装置を構成する。また、結像光学系、撮像素子１０２、Ａ／Ｄ変換回路、およびシステム制御回路１０７が撮像手段を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも視差画像取得ステップ、距離情報取得ステップ、並進移動量取得ステップ、および距離画像取得ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１結像光学系
１０２撮像素子
１０３Ａ／Ｄ変換回路
１０４信号処理回路
１０５メモリ制御回路
１０６メモリ
１０７システム制御回路
１０８ＡＦ評価値取得回路
１０９表示部
１１０操作部

Claims

撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置であって、
前記複数の画像の視差量に応じた視差画像を得る視差画像取得手段と、
前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得手段と、
前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得手段と、
前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得手段と、
を有することを特徴とする画像処理装置。
前記視差画像取得手段は、前記複数の画像の各々を平行化画像に写像して、複数の平行化画像の視差量に応じて視差画像を得ることを特徴とする請求項１に記載の画像処理装置。
前記特定の被写体として、前記視差画像において前記視差量が所定の閾値よりも大きい被写体を選択する被写体選択手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
前記特定の被写体としてピントを合わせた被写体を選択する被写体選択手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
前記視差画像において前記視差量が所定の閾値より高い被写体からピントを合わせる被写体を選択被写体として選択し、当該選択被写体を前記特定の被写体とする被写体選択手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
距離優先モード、表示優先モード、および距離表示優先モードのうち少なくとも２つのモードから１つのモードを選択するモード選択手段と、
前記距離優先モードが選択されると、前記特定の被写体として前記視差画像において前記視差量が所定の閾値より高い被写体を選択し、前記表示優先モードが選択されると、前記特定の被写体としてピントを合わせた被写体を選択し、前記距離表示優先モードが選択されると、前記視差画像において前記視差量が所定の閾値より高い被写体からピントを合わせる被写体を選択被写体として選択して当該選択被写体を前記特定の被写体とする被写体選択手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。
前記撮像手段における焦点距離を調整する焦点距離調整手段と、
前記特定の被写体に係る視差量が所定の閾値よりも小さいと、前記焦点距離調整手段を制御して前記焦点距離を望遠側に調整し前記特定の被写体に係る視差量を前記閾値より大きくする視差量調整手段とを有することを特徴とすることを特徴する請求項１〜６のいずれか１項に記載の画像処理装置。
前記撮像手段によって前記複数の画像を連続的に得て、
第Ｎの画像と第（Ｎ＋１）の画像（Ｎは１以上の整数）とに応じて、前記視差画像取得手段、前記距離情報取得手段、前記並進移動量取得手段、および前記距離画像取得手段を制御して連続的に前記距離画像を求める制御手段を有することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置の制御方法であって、
前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、
前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、
前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、
前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、
を有することを特徴とする制御方法。
撮像手段によって互いに異なる視点から特定の被写体を撮像して得られた複数の画像に応じて、前記撮像手段から前記特定の被写体までの距離に応じた距離画像を生成する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記複数の画像の視差量に応じた視差画像を得る視差画像取得ステップと、
前記撮像手段から前記特定の被写体までの距離を示す距離情報を求める距離情報取得ステップと、
前記視差量および前記距離情報に応じて、前記視点うちの一つの投影中心に対する他の視点の投影中心の移動量である並進移動量を求める並進移動量取得ステップと、
前記視差画像と前記並進移動量とに応じて前記距離画像を生成する距離画像取得ステップと、
を実行させることを特徴とする制御プログラム。