JP2008070120A - 距離計測装置 - Google Patents

Abstract

【課題】
ズームが可変なステレオ撮像を用いた距離計測装置において、ズームが変化した場合でも正確なステレオ画像処理による距離計測を行うこと。
【解決手段】
撮像を行うズームが可変な第一、第二の撮像手段と、第一、第二の撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い距離情報を演算するステレオ画像処理手段と、第一の撮像手段と第二の撮像手段が出力する撮像画像を用いて画像処理を行い、ズームの変化量を検出するズーム変化量検出手段とを、有する。
検出した第一、第二の撮像手段のズーム倍率に差がある場合に、その差を補正するように第一、第二の撮像手段とを制御し、また、ステレオ画像処理手段がズーム変化量検出手段の出力するズーム変化量を用いてステレオ画像処理を行うことで、ズーム変化時にも精度の良いステレオ画像処理を行い、正確な距離計測を行うことが可能となる。
【選択図】 図４

Description

本発明は、ステレオ撮像手段とステレオ画像処理手段を備える距離計測装置に関する。

本技術分野の背景技術として、例えば、特開平５−１３０６４６号公報（特許文献１）がある。該公報には、「撮像装置の光学系に発生する光軸ズレ等を自動的に修正し、適正な撮像条件で立体視映像を得る。」ことを目的とし、解決手段として、「上述した課題を解決するために第１の発明は、撮像条件設定部を有する撮像装置を複数用い、立体像化処理部を介して観察対象の立体像を感得可能な立体カメラ装置において、上記撮像条件設定部は上記撮像装置の位置を検出する位置検出部と、撮像条件補正値が格納された補正データ格納部と、上記位置検出部で検出された位置信号を上記補正データ格納部に格納された撮像条件補正値で補正する位置ズレ補正部とを備え、上記撮像条件補正値を参照して適正撮像条件となるように上記撮像装置の位置ズレ補正制御を行うことを特徴とするものである。また、第２の発明は、撮像条件設定部を有する撮像装置を複数用い、立体像化処理部を介して観察対象の立体視像を感得可能な立体カメラ装置において、上記撮像条件設定部は上記撮像装置の位置を検出する位置検出部と、各撮像装置で撮像された立体視画像を記憶する画像記憶部と、この画像記憶部からの画像色情報あるいは濃度情報を比較計算する画像解析部と、この計算結果から撮像条件補正値を作成し格納する補正値計算部と、上記位置検出部で検出された位置信号を上記補正値計算部の撮像条件補正値で補正する位置ズレ補正部とを備え、上記画像解析部で標本化された画像データをもとに撮像条件補正値を作成更新し、この撮像条件補正値を参照して各撮像時に適正撮像条件となるように上記撮像装置の位置ズレ補正制御を行なうことを特徴とするものである。」という技術が開示されている。

特開平５−１３０６４６号公報

上記特許文献１では、立体視を行うための複数の撮像部を持つステレオカメラ乃至マルチカメラにおいて、ズームが変化した際にカメラ間に生じる光軸のずれやズーム量の差を補正し、自然な感得を可能としている。しかし、ステレオカメラにより距離計測を行うためには、カメラ間の相対的なずれ量を補正するだけでなく、そのズームにおけるカメラの焦点距離の値そのものを取得する必要がある。

そこで、ステレオ画像処理を用いた距離計測装置において、ズームが変化した際に焦点距離の変化量を自動で演算して焦点距離の値を更新し、また、カメラ間にズームのずれが生じた場合にはこれを自動で補正することで、ズームが変化した場合でも正確な距離計測を継続することが必要である。

本発明は、距離計測装置における距離計測の正確性の向上を目的とする。

上記目的は特許請求の範囲に記載の本発明により達成される。

本発明のある一面の概要は、複数の撮像手段それぞれにおけるズームの変化量をそれぞれ検出し、これらが異なる場合、一致するようにズーム位置を補正し、そして、複数の撮像手段から出力される画像情報をステレオ画像処理して、距離を計測することを特徴とする。

本発明によれば、ステレオ距離計測装置においてズームが変化した場合でも正確な距離計測が可能となる。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係るステレオ距離計測システムを示す模式図である。図１において、０１０１はステレオ撮像部、０１０２はステレオ画像処理部、０１０３はステレオ撮像制御部、０１０４はズーム変化量検出部である。

ステレオ距離計測システムにおいて、ステレオ撮像部０１０１は、ズーミングやフォーカシングが可能なレンズ群やシャッタやアイリスや撮像素子やAGCやADやカメラ信号処理DSPやタイミングジェネレータ等から構成される撮像部を２つ持ち、それぞれの撮像部に置いて光電変換により撮像を行い、ステレオ画像データを出力する。光電変換のために用いる撮像素子には、CCDやCMOSを用いればよい。また、ステレオ撮像部０１０１がミラーやプリズムを用いて構成され、１つの撮像素子から構成される１つの撮像部を持つ形態としても良い。また、ステレオ撮像部０１０１が3つ以上の撮像部から構成され、複数の撮像画像を出力するマルチ撮像部の形態としても良い。ステレオ画像処理部０１０２は、ステレオ撮像部０１０１が出力するステレオ画像データを用いてステレオ画像処理を行い、距離情報や情報の信頼度を演算し出力する。ステレオ画像処理部０１０２で行われるステレオ画像処理には、レンズ歪み補正処理・画像間倍率補正処理・平行化処理等のキャリブレーション処理や、ノイズ除去を行うためのローパスフィルタ処理等の前処理や、エッジ検出等の特徴量演算処理、正規化相互相関や差分絶対値和等のブロックマッチングやspace-sweep法等の各種の相関演算処理を用いてステレオ画像間の対応点検索を行い視差情報を取得するステレオマッチング処理、ランクフィルタ処理やラベリング等により特異点の除去を行う後処理、視差情報を用いて距離情報を演算する距離計算処理、などがあり、処理の途中で得られる情報、例えばステレオマッチング処理で対応点検索を行った場合のテンプレート画像とマッチング画像の輝度情報や、視差情報、評価値すなわち演算スコアや、探索領域での評価値の分布、を出力することもできる。ステレオ撮像制御部０１０３は、不図示の操作部におけるユーザの操作や不図示の画像処理部における画像認識結果等に基づく制御によりズームの変化量や変化方向を決定し、ステレオ撮像部０１０１のズーミングやフォーカシングが可能なレンズ群の制御を行う。レンズ群の駆動を行うものとしては、ステッピングモータや超音波モータ等がある。ステレオ画像処理を好適に行うために、ズーム倍率は2つの撮像部で等しくなるように制御を行われることが望ましい。ただし、実際にはレンズ特性の個々のばらつきや構造の精度から、複数の撮像部間でレンズ位置を等量だけ制御してもズーム倍率が等しく変化するとは限らない。そのため、工場出荷時にズーム及びフォーカスのレンズの制御量とズーム倍率の変化量の関係をデータテーブルに保存し、ズーム制御時に2つの撮像部のズーム倍率が等量だけ変化するようにすれば良い。また、このときデータテーブルにはいくつかの代表的な関係のみを保存しておき、データテーブルに保存されていない値だけレンズの制御を行った場合は、データテーブルに保存されている近傍の値を用いて補間することで、保存データ量の削減を図っても良い。また、ステレオ撮像制御部０１０３はズームの変化量を検出する装置を備え、ズーム制御情報としてステレオ画像処理部０１０２に出力しても良い。但し、ステレオ撮像制御部０１０３の出力するズーム制御情報はステレオ画像処理に用いるには十分な精度で無い場合がある。ズーム変化量検出部０１０４は、ステレオ撮像部０１０１の出力するステレオ画像データに画像処理を行い、ズームやフォーカスの変化に伴う焦点距離変化量や、ステレオ撮像間の焦点距離の差を検出する。ステレオ画像処理部０１０２は、ステレオ撮像制御部０１０３から取得したズーム制御情報や、ズーム変化量検出部０１０４から取得した焦点距離変化量の情報を個別に、あるいは組み合わせて用いて、距離計算に必要なパラメータを演算する。

図２は、本発明の第１実施例に係る焦点距離変化量の検出処理の一例を示す第一の図である。図２の焦点距離変化量の検出処理は、ズーム変化量検出部０１０４で実行される。

図２において、０２０１＿１はズーム変化前の第一の撮像画像、０２０２＿１はズーム変化前の第二の撮像画像、０２０１＿２はズーム変化後の第一の撮像画像、０２０２＿２はズーム変化後の第二の撮像画像である。但し、第一の撮像画像及び第二の撮像画像は、ステレオ撮像部０１０１の撮像部がそれぞれ出力する撮像画像を指す。

ズーム変化量検出部０１０４は、ズーム変化前の第一の撮像画像０２０１＿１における静止物体の特徴点０２０３＿１のズーム変化前のステレオ画像における視差ｄ１と、カメラから静止物体の特徴点０２０３＿１までの空間中の距離Zをステレオ画像処理部より取得する。ズーム変化前の静止物体の特徴点０２０３＿１の検出において、静止物体の検出は、ズーム変化前の第一の撮像画像０２０１＿１を、それより過去の1フレーム乃至複数フレームの撮像画像と比較し差分情報を演算することで行うことができる。また、特徴点の検出には、PrewittやSobel等のエッジ強調フィルタや、Harrisオペレータなどのコーナ抽出フィルタを利用することができる。また、静止物体の特徴点０２０３＿１のステレオ画像にける視差ｄ１及びカメラから静止物体の特徴点０２０３＿１までの空間中の距離Zは、ステレオ画像処理部０１０２より取得するのではなく、ズーム変化量検出部０１０４で演算しても良い。その場合、焦点距離変化量の検出をステレオ画像処理とは独立に行うことができるため、得られた焦点距離変化量の情報をステレオ画像処理時に用いて、高精度にステレオ画像処理を行うことができる。次に、ズーム変化後の第一の撮像画像０２０１＿１において静止物体の特徴点０２０３＿１に対応する特徴点０２０３＿２を検出し、特徴点０２０３＿２のズーム変化後のステレオ画像における視差ｄ２をステレオ画像処理部より取得する。ズーム変化前の静止物体の特徴点に対応するズーム変化後の特徴点は、ＫＬＴ法やオプティカルフローなどを利用した特徴追跡手法や、同一の撮像部の画像内においてズーム変化前後の自己相関を行い相関値を評価することにより取得できる。また、静止物体の特徴点０２０３＿２のステレオ画像にける視差ｄ２は、ステレオ画像処理部０１０２より取得するのではなく、ズーム変化量検出部０１０４で演算しても良い。

ズーム変化量検出部０１０４は、ズームの変化の前後でカメラから静止した物体の特徴点までの空間中の距離Zが不変であることを利用し、特徴点のズーム変化前のステレオ画像における視差ｄ１と、特徴点のズーム変化後のステレオ画像における視差ｄ２と、カメラから特徴点までの距離Zから焦点距離変化量を演算する。図２では一つの静止物体の特徴点を用いた場合を図示しているが、静止物体の特徴点をステレオ画像中から複数個検出し、それぞれに焦点距離の変化量を演算してヒストグラムを作成し評価することで、静止領域の検出における誤検出や、マッチング処理における誤対応の影響を低減し、焦点距離変化量の演算の確度向上を図ることが可能である。このように、静止した物体の特徴点の撮像画像間の視差情報を利用することで焦点距離変化量を演算することができ、ズーム変化時も正しい焦点距離を用いて正確な距離計測を行うことが可能となる。

図３は、本発明の第１実施例に係る焦点距離変化量の検出処理の一例を示す第二の図である。図３の焦点距離変化量の検出処理は、ズーム変化量検出部０１０４で実行される。

図２で示した焦点距離変化量の検出処理では、焦点距離の変化量を演算するための特徴点を、静止した物体の特徴点に限定していた。それに対し本方法では、ステレオ画像中から任意の特徴点を多数検出し、それぞれの特徴点について、ズーム変化前のステレオ画像における視差と、ズーム変化後のステレオ画像における視差と、カメラから特徴点までの空間中の距離とを用いて焦点距離の変化量を推定する。ズーム変化量検出部０１０４は、推定した焦点距離の変化量を横軸に、頻度を縦軸にとり、図３に示すようなヒストグラムを作成し、評価を行うことで、正しい焦点距離変化量を検出する。図３において、A１は静止物体０３０１や不図示の背景領域の特徴点などズームの変化時において距離の不変な特徴点の焦点距離変化量推定値であり、すなわち正しい焦点距離変化量である。A２は第一の移動物体０３０２の特徴点などズームの変化時において距離がカメラより遠方に変化する特徴群の焦点距離変化量推定値、A３は第二の移動物体０３０３の特徴点などズームの変化時において距離がカメラより近方に変化する特徴群の焦点距離変化量推定値である。撮像画像中に背景などの静止する領域を多く含む場合や、動きのある物体が少ない場合には、ヒストグラムにおけるＡ１の頻度はＡ２及びＡ３の頻度より大きくなるため、ヒストグラムを評価することにより正しい焦点距離変化量を取得することができる。ヒストグラムを作成する際には、特徴点毎に画像中心からの距離により推定した焦点距離の変化量に重みを付けたヒストグラムを作成し、ズームが広角に変化した時に画角外に外れた特徴点の影響を低減しても良い。また、ヒストグラムを作成する際には、特徴追跡時の相関度の演算結果により推定した焦点距離の変化量に重みを付けたヒストグラムを作成し、オクルージョンにより隠れた特徴点や見え方の変化により誤追跡した特徴点の影響を低減しても良い。

前記の静止物体の検出処理では、ズーム変化前のステレオ画像を取得した時点で静止した物体を検出しており、ズーム変化時に突然移動して距離の変化した物体に関しては正しい焦点距離変化量が得られない可能性があったが、この方法では、ズーム変化時に距離の変化する物体に関しても、その影響による焦点距離変化量の誤演算を低減することが可能である。

図２または図３に示す焦点距離変化量の演算処理は、ステレオ制御撮像部０１０３がステレオ撮像部０１０１のズームを制御する際にズーム変化量検出部０１０４に制御開始信号と制御終了信号を通知して、ステレオ撮像部０１０１のズーム変化時の前後を含む一定時間のみに限定して処理を行うことで処理の効率化を図ることができる。また、ステレオ撮像部０１０１が出力するステレオ画像に対し毎フレームに処理を行って、焦点距離が変化した場合のみに、その変化量をステレオ画像処理部０１０２に出力すれば、振動や衝撃によりズームやフォーカスが変化した場合の焦点距離変化量を検出できるようにしてが可能である。

かように本実施例に拠れば、ステレオ距離計測処理において、ステレオ撮像部のズームが変化した場合でも、静止した被写体のズーム変化前の視差情報とズーム変化後の視差情報を用いて焦点距離の変化量を演算し、正しい焦点距離の値を用いることで正確な距離計測を行うことが可能となる。

実施例１で説明したように、ステレオ距離計測装置においてズームが変化した場合、焦点距離変化量を検出して、焦点距離の値を更新することで正確な距離計測を行うことができる。しかし実際には、レンズ特性や構造の精度不足から複数の撮像部間でズーム倍率が等量に変化するとは限らない。また、工場出荷時にこれらの要因を考慮してズーム倍率が等量に変化するように制御可能なデータテーブルを作成し、ズーム制御時に利用した場合でも、レンズや構造の経年変化により、ズーム倍率の等量変化に必要な制御データがデータテーブルの保存値とずれる場合がある。また、振動や接触による衝撃により、ズーム倍率が変化する場合もある。このような場合においては、以下に示すアルゴリズムで解決すればよい。

図４は、本発明の第2実施例に係るステレオ距離計測システムを示す模式図である。図４において、０４０１＿１は第一の撮像部、０４０１＿２は第二の撮像部である。

第一の撮像部０４０１＿１は、レンズやシャッタやアイリスや撮像素子やAGCやAD等から構成され、光電変換により撮像を行い撮像データを出力する。第二の撮像部０４０１＿２は、レンズやシャッタやアイリスや撮像素子やAGCやAD等から構成され、光電変換により撮像を行い撮像データを出力する。

図５は、本発明の第2実施例に係るステレオ距離計測システムの処理シーケンスの一例を示す図である。図５に示す焦点距離変化量の演算処理シーケンスは、ズーム変化量検出部０１０４で実行される。

図５の焦点距離変化量の演算処理シーケンスにおいて、ＳＴ０５０１では、第一の撮像部０４０１＿１の焦点距離変化量を単眼の画像処理を用いて算出する。焦点距離変化量の検出処理の説明については後述する。ＳＴ０５０２では、第二の撮像部０４０１＿２の焦点距離変化量を単眼の画像処理を用いて算出する。ＳＴ０５０３では、第一の撮像部０４０１＿１の焦点距離変化量と、第二の撮像部０４０１＿２の焦点距離変化量とを、ステレオ撮像制御部０１０３に出力する。ステレオ撮像制御部０１０３は、第一の撮像部０４０１＿１の焦点距離変化量と、第二の撮像部０４０１＿２の焦点距離変化量とを比較し、ズームの差を補正するために必要なズーム変化量と変化方向を決定して、第一の撮像部０４０１＿１または第二の撮像部０４０１＿２のズーム及びフォーカスを制御することによりズームの差を補正する。このとき、ズームの制御を行う撮像部としては、記録やモニタリングなどに用いる主撮像部が存在する場合には、主撮像部のズームに合わせるようにもう一方の撮像部を選択すれば良い。また、現在のズーム倍率に応じて重みを付け、２つの撮像部のズーム倍率の間の特定のズーム倍率に合わせるように、２つの撮像部を制御してもよい。また、ズーム倍率のずれの補正には、ズーム及びフォーカスのレンズ位置を制御して光学的に補正するだけでなく、撮像部内にて電子ズームを用いて補正しても良い。ＳＴ０５０４では、第一の撮像部０４０１＿１の焦点距離変化量と、第二の撮像部０４０１＿２の焦点距離変化量とを、ステレオ画像処理部０１０２に通知する。ステレオ画像処理部０１０２は、ズーム変化前の焦点距離情報と、第一の撮像部０４０１＿１の焦点距離変化量と、第二の撮像部０４０１＿２の焦点距離変化量とを元に、距離計測に必要な焦点距離の値を演算する。また、ＳＴ０５０３にて撮像部間のズーム倍率の差を検出してから、ステレオ撮像制御部０１０３が補正処理を行うまでの間に得られるステレオ画像には、ズーム倍率の差が存在し続けることになる。よって、このように誤差がある場合には、ステレオ画像処理の前処理として、ＳＴ０５０４で通知された情報を元に、ステレオ画像処理部０１０２で電子ズームによる倍率補正を行っても良い。この場合、撮像部間にズーム倍率の誤差がある場合でも精度の良いマッチング処理などのステレオ画像処理を行うことが可能となり、計測する距離情報の精度が向上する。さらに、ズームが変化している途中でも撮像画像間のズーム倍率差を補正し、高精度な距離計測を継続することが可能となる。なお、倍率の補正を行う画像は、ＳＴ０５０３にてズームの制御を行う撮像部と同じ基準で決定すれば良い。

図６は、本発明の第２実施例の焦点距離変化量を検出する処理の一例を示す第一の図である。図６の焦点距離変化量の検出処理は、図５においてＳＴ０５０１及びＳＴ０５０２に該当し、ズーム変化量検出部０１０４において第一の撮像部０４０１＿１により得られた画像及び第二の撮像部０４０１＿２により得られた画像のそれぞれについて行う処理である。

図６において、０６０１＿１はズーム変化前の撮像画像、０６０１＿２はズーム変化後の撮像画像、０６０２＿１及び０６０３＿１はズーム変化前の撮像画像０６０１＿１において撮像部からの光軸方向の距離が等距離である特徴点でかつ静止する特徴点、０６０２＿２及び０６０３＿２はズーム変化後の撮像画像０６０１＿２においてそれぞれ０６０２＿１及び０６０３＿１に対応する特徴点である。今、ズーム変化前の特徴点０６０２＿１及び０６０３＿１の間隔ａ１と、ズーム変化後の対応する特徴点０６０２＿２及び０６０３＿２の間隔ａ２との関係は、撮像部から特徴点までの空間中の光軸方向の距離Ｚとズーム変化前の焦点距離ｆ１及びズーム変化後の焦点距離ｆ２を用いて一意に表すことができる。よって、撮像部からの距離が既知で、かつ撮像部から等距離に存在する静止した特徴点を画像から抽出し、その特徴点間隔を利用することで、ズーム変化に伴う焦点距離変化量を取得することができる。また、撮像部から特徴点までの空間中の光軸方向の距離Zが焦点距離ｆ１及びｆ２より十分に大きいときは、撮像部から等距離にある特徴点の間隔は焦点距離にほぼ比例する。この近似を用いて、撮像部から特徴点までの空間中の距離Zを用いず、処理量の低減を図っても良い。さらに、この近時を用いることができる場合には、２つの特徴点は撮像部からの光軸方向の距離が等距離であるという制限を無視することができ、距離が既知の任意の２点の特徴点で代替して用いることができるため、撮影環境への依存性が低減する。図６では、2点の特徴点を用いているが、３つ以上の複数の特徴点を用いて確度向上を図っても良い。また、静止する特徴点の検出や、ズーム変化時における特徴点の追跡処理は、第一実施例における焦点距離変化量の検出処理の第一の例と同様に行えばよい。このように、撮像部からの光軸方向の距離が既知の２つ以上の特徴点の間隔を利用するとで、少ない計算量で高速に焦点距離変化量を取得することが可能となる。

図7は、本発明の第２実施例の焦点距離変化量を検出する処理の一例を示す第二の図である。図７の焦点距離変化量の検出処理は、図５においてＳＴ０５０１及びＳＴ０５０２に該当し、ズーム変化量検出部０１０４において第一の撮像部０４０１＿１により得られた画像及び第二の撮像部０４０１＿２により得られた画像のそれぞれについて行う処理である。

図７において、０７０１はズーム変化前の撮像画像、０７０２はズーム変化後の撮像画像、０７０３はズーム変化後の撮像画像０７０２をズーム変化量検出部０１０４において画像処理でn倍に拡大縮小処理した画像である。ズーム変化量検出部０１０４は、ｎの値を変化させながらｎ倍化されたズーム変化後の撮像画像０７０３とズーム変化前の撮像画像０７０１とのマッチング処理を行い相関値を評価することで、焦点距離変化量をｎの値から取得することができる。マッチング処理は画像全体について相関値を演算しても良いし、ズーム変化の影響の受けにくい画像中心付近の任意サイズのブロックについて相関値を演算しても良い。図７（ｃ）に示すように、ｎがズーム倍率と等しくなったときにｎ倍化されたズーム変化後の撮像画像０７０３とズーム変化前の撮像画像０７０１は最も高い相関を得る。ここではズーム変化後の撮像画像に拡大縮小処理を行ったが、ズーム変化前の撮像画像に拡大縮小処理を行ってからマッチング処理を行っても良い。画像処理による拡大縮小処理においては、拡大処理より縮小処理のほうが精度の良い画像を得られるため、広角の画像を優先して縮小処理を行っても良い。また、ステレオ撮像制御部０１０３のズーム制御情報から各撮像部の凡そのズーム量を取得し、ｎを変化させるときの初期値として、その近傍の値で拡大縮小処理を行っても良い。

このように、画像全体を拡大縮小処理してマッチング処理による相関値を演算することで、特定の特徴点を評価して選択する処理を行わずに、焦点距離変化量の取得を行うことができる。

図８は、本発明の第２実施例の焦点距離変化量を検出する処理の一例を示す第三の図である。図８の焦点距離変化量の検出処理は、図５においてＳＴ０５０１及びＳＴ０５０２に該当し、ズーム変化量検出部０１０４において第一の撮像部０４０１＿１により得られた画像及び第二の撮像部０４０１＿２により得られた画像のそれぞれについて行う処理である。

図８において、０８０１＿１はズーム変化前の撮像画像、０８０１＿２はズーム変化後の撮像画像、０８０２＿１はズーム変化前の撮像画像０８０１＿１において静止した特徴点、０８０２＿２はズーム変化後の撮像画像０８０１＿２において特徴点０８０２＿１に対応する特徴点である。ズーム変化前の特徴点０８０２＿１と画像中心との間隔ｂ１と、ズーム変化後の対応する特徴点０８０２＿２と画像中心との間隔ｂ２との関係は、カ撮像部から特徴点までの光軸方向の距離Ｚとズーム変化前の焦点距離ｆ１及びズーム変化後の焦点距離ｆ２を用いて一意に表すことができる。よって、撮像部からの距離が既知でかつ静止した特徴点を画像から抽出し、その特徴点と画像中心との間隔を利用することで、ズーム変化に伴う焦点距離変化量を取得することができる。また、撮像部から特徴点までの空間中の距離Ｚが焦点距離ｆ１及びｆ２より十分に大きいときは、特徴点と画像中心との間隔は焦点距離にほぼ比例する。この近似を用いて、撮像部から特徴点までの空間中の距離Ｚを用いず、処理量の低減を図っても良い。図８では、１点の特徴点を用いているが、２つ以上の複数の特徴点を用いて確度向上を図っても良い。画像中心の座標の値は、x座標とy座標を、画像の幅と画像の高さをそれぞれ二分の一にした値で近似して用いることができる。ただし実際には、画像中心の座標の値は撮像部ごとに多少のばらつきが存在するため、正確な画像中心の座標の値を工場出荷時に計測し、メモリ等に格納して用いてもよい。また、静止する特徴点の検出や、ズーム変化時における特徴点の追跡処理は、第一実施例における焦点距離変化量の検出処理の第一の例と同様に行えばよい。このように、撮像部からの距離が既知の１つ以上の特徴点と画像中心との間隔を利用することで、撮像部から等距離にある特徴点を複数検出するのが困難で、図6で示した方法が適用できない場合や、画面内で動いている物体が多数存在し、図７で示した方法が適用できない場合でも焦点距離変化量の取得を行うことができる。

図６〜図８で示した焦点距離変化量の計測処理は、撮影環境や処理能力に応じてそれぞれ単独で用いても良いし、いくつかを組み合わせて用いても良い。このとき、例えば、特徴点追跡の信頼性やマッチング処理時の相関値に応じて、焦点距離変化量に重み付けして選択した値を用いても良い。

かように本実施例に拠れば、ステレオ距離計測処理において、ステレオ撮像部のズームが変化した際に撮像部間でズーム倍率の誤差が生じた場合でも、カメラ毎の必要な焦点距離の変化量を演算し、撮像部間のズーム倍率の誤差を補正し、また、正しい焦点距離の値を用いることで、正確な距離計測を継続することが可能となる。また、本実施例では単眼の撮像部の撮像画像を用いて焦点距離変化量を取得しているため、ステレオ画像処理を用いた焦点距離変化量の取得処理に比べ、撮像部間の見え方の違いの影響を受けにくく、より精度の良い焦点距離変化量の取得が行える。

第２実施例では、ステレオ距離計測システムにおいて第一の撮像部０４０１＿１のズーム変化量と第二の撮像部０４０１＿２のズーム変化量をそれぞれ演算することでズームの倍率差の補正を行った。ステレオ画像処理による距離計測では撮像部間のズームの倍率差が精度に大きく寄与するが、第二実施例に記載の方法では、一方の撮像部または両方の撮像部に置いてズーム変化量の演算結果に誤差が存在すると、ズームの倍率差が精度良く補正できない可能性がある。また、ズーム制御を繰り返し行う場合に、ズーム変化量の演算時に生じる誤差が蓄積される可能性がある。そこで、撮像部間のズームの倍率差を精度良く補正するには、以下に示すアルゴリズムで解決してやればよい。

図９は、本発明の第３実施例に係るステレオ距離計測システムの処理シーケンスの一例を示す図である。図９に示す焦点距離の撮像部間の差分の演算処理シーケンスは、ズーム変化量検出部０１０４で実行される。

図９の焦点距離の撮像部間の差分の演算処理シーケンスにおいて、ＳＴ０９０１では、第一の撮像部０４０１＿１より取得した第一の撮像画像と、第二の撮像部０４０１＿２より取得した第二の撮像画像とを用いて画像処理を行い、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２との間の焦点距離の差分を算出する。焦点距離の差分の演算処理の説明については後述する。ＳＴ０９０２では、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２との間の焦点距離の差分情報を、ステレオ撮像制御部０１０３に出力する。ステレオ撮像制御部０１０３は、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２との間の焦点距離の差分情報を用いて、ズームの差を補正するために必要なズーム変化量と変化方向を決定して、第一の撮像部０４０１＿１または第二の撮像部０４０１＿２のズーム及びフォーカスを制御することによりズームの差を補正する。このとき、ズームの制御を行う撮像部としては、記録やモニタリングなどに用いる主撮像部が存在する場合には、主撮像部のズームに合わせるようにもう一方の撮像部を選択すれば良い。また、現在のズーム倍率に応じて重みを付け、２つの撮像部のズーム倍率の間の特定のズーム倍率に合わせるように、２つの撮像部を制御してもよい。また、ズーム倍率のずれの補正には、ズーム及びフォーカスのレンズ位置を制御して光学的に補正するだけでなく、撮像部内にて電子ズームを用いて補正しても良い。ＳＴ０９０３では、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２との間の焦点距離の差分情報を、ステレオ画像処理部０１０２に通知する。ステレオ画像処理部０１０２は、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２との間の焦点距離の差分情報を用いて、ステレオ画像処理の前処理として、電子ズームによる倍率補正を行う。この場合、撮像部間にズーム倍率の誤差がある場合でも精度の良いマッチング処理などのステレオ画像処理を行うことが可能となり、計測する距離情報の精度が向上する。さらに、ズームが変化している途中でも撮像画像間のズーム倍率差を補正し、高精度な距離計測を継続することが可能となる。なお、倍率の補正を行う画像は、ＳＴ０５０３にてズームの制御を行う撮像部と同じ基準で決定すれば良い。また、ステレオ画像処理部０１０２は、撮像画像間のズーム倍率を補正した後、距離計測に必要な焦点距離の値を演算する。焦点距離の値の演算には、撮像画像内から距離が既知の特徴と、その特徴における視差情報を用いて算出すれば良い。この距離情報は、以前にステレオ画像処理部０１０２が演算した距離計測結果を用いることができる。また、ズーム補正処理による誤差が蓄積して距離計測結果の信頼性が劣化した場合や、撮像部の視野が変化し既存の距離計測結果が用いることができない場合には、不図示の距離情報入力部からユーザの入力や他の距離センサが入力した距離情報を用いても良い。

このように、第一の撮像部０４０１＿１により取得した撮像画像と、第二の撮像部０４０１＿２により取得した撮像画像とを用いて焦点距離の差分を演算し、撮像部間のズームの倍率差を検出することにより、直接撮像部間の撮像画像を比較することから、第２実施例にて示した方法に対し高精度にズームの倍率差を検出することが可能である。そこで、本実施例にて示す方法を、第1実施例や第2実施例にて示した処理の、前処理や後処理や連携した処理として用いても良い。この場合、本実施例にて示す、撮像部間のズームの倍率差の検出処理と、第一実施例または第二実施例にて示す、ズームの変化量の検出処理を組み合わせることにより、非常に高精度なステレオ画像処理による距離計測が行える。

また、本実施例では、第２実施例にて示した方法と比較し、画像処理に用いる撮像画像が少ないことからメモリ量の削減も図れる。

図１０は、本発明の第3実施例に係る焦点距離の差分情報を検出する処理の一例を示す第一の図である。図１０の焦点距離の差分情報の検出処理は、ズーム変化量検出部０１０４において行われる処理である。

図１０において、１００１は第一の撮像部０４０１＿１より取得できる第一の撮像画像、１００２は第一の撮像部０４０１＿１とは異なるズーム倍率の第二の撮像部０４０１＿２より取得できる第二の撮像画像、１００３は第二の撮像画像をズーム変化量検出部０４０４において画像処理でn倍に拡大縮小処理した画像である。ズーム変化量検出部０１０４は、ｎの値を変化させながらｎ倍化された第二の撮像画像１００３と第一の撮像画像１００１とのマッチング処理を行い相関値を評価することで、焦点距離変化量をｎの値から取得することができる。ただし、第一の撮像画像１００１とｎ倍化された第二の撮像画像１００３の間には、撮像位置の違いによる視差が存在するため、視差方向に２つの画像をずらしながらマッチング処理を行い、最大相関値を取得する。マッチング処理は画像全体について相関値を演算しても良いし、撮像位置の違いによるオクルージョンや見え方の違いの影響を低減するため、任意のサイズのブロックに分割してそれぞれ相関値を演算しても良い。図１０に示すように、ｎがズーム倍率と等しくなったときにｎ倍化された第二の撮像画像１００３と第一の撮像画像１００１は最も高い最大相関値を得る。ここでは、第二の撮像画像に拡大縮小処理を行ってからマッチング処理を行ったが、画像処理による拡大縮小処理においては、拡大処理より縮小処理のほうが精度の良い画像を得られるため、広角の画像を優先して縮小処理を行っても良い。また、ステレオ撮像制御部０１０３のズーム制御情報から各撮像部の凡そのズーム量を取得し、ｎを変化させるときの初期値として、その近傍の値で拡大縮小処理を行っても良い。このように、画像全体を拡大縮小処理してマッチング処理による相関値を演算することで、特定の特徴点を評価して選択する処理を行わずに、高速に撮像部間の焦点距離の差の取得を行うことができる。

図１１は、本発明の第3実施例に係る焦点距離の差分情報を検出する処理の一例を示す第二の図である。図１１の焦点距離の差分情報の検出処理は、ズーム変化量検出部０１０４において行われる処理である。

図１１において、１１０１＿１は第一の撮像部０４０１＿１より取得できる第一の撮像画像、１１０１＿２は第二の撮像部０４０１＿２より取得できる第二の撮像画像、１１０２＿１は第一の撮像画像１１０１＿１に撮像されている撮像部からの距離が既知の被写体、１１０２＿２は第一の撮像画像１１０１＿２に撮像されている、被写体１１０２＿１に対応する被写体である。ズーム変化量検出部０１０４は、被写体１１０１＿１から2個以上の特徴を検出し、それぞれの特徴について、第一の撮像画像１１０１＿１と第二の撮像画像１１０１＿２の間でマッチング処理を行う。特徴の検出には、PrewittやSobel等のエッジ強調フィルタや、Harrisオペレータなどのコーナ抽出フィルタを利用することができる。また、マッチング処理には、正規化相互相関や差分絶対値和等の各種の相関演算法を利用することができる。なお、マッチング処理を行う場合には、あらかじめ撮像部間にズーム倍率の差があることを考慮し、ブロックマッチングにおけるブロックサイズや、対応点を検索する探索領域を変更することで、マッチング精度の向上と探索処理量の低減を図ることができる。このとき、ブロックサイズや探索領域の変更量の基準として、ステレオ撮像制御部０１０３のズーム制御情報から各撮像部の凡そのズーム量を取得し、用いても良い。各特徴についてマッチング処理したら、特徴ごとにエピポーラ線のずれを検出する。２つの撮像部が、それぞれの走査線方向が一致するように水平に設置されている場合、撮像部間にズーム倍率の差がなければ、エピポーラ線は走査線と一致する。一方で、２つの撮像部間にズーム倍率の差があった場合、図１１に示すように、対応する特徴の縦軸方向の座標のずれがエピポーラ線のずれとして生じる。このとき、被写体１１０１＿１内の第一の特徴におけるエピポーラずれｃ１と、第一の特徴におけるエピポーラずれｃ２と、撮像部から被写体までの空間中の光軸方向の距離Ｚを用いることで、焦点距離の差を演算できる。なお、第一の特徴と第二の特徴が、撮像部から異なる距離を持っていても、それぞれの距離情報が既知であれば、焦点距離の差を演算可能である。また、第一の特徴と第二の特徴が同一の被写体に存在しない場合でも当然構わない。また、複数の特徴を用いて焦点距離の差の最適解を推定することで確度の向上を図っても良い。このとき、マッチング処理時の相関の評価値を用いて、演算した焦点距離の差に重み付けすることで、マッチング処理時の誤対応の影響を低減することが可能である。なお、２つの撮像部が走査線方向が一致するように水平に設置されていない場合でも、撮像部間の幾何関係などの情報を用いて、ステレオ撮像画像に対して平行化処理を行うことで、２つの撮像部が走査線方向が一致するように水平に設置されている場合と同様に扱うことができる。平行化処理に用いる情報は、ステレオ画像処理部０１０２にてキャリブレーション時に用いる情報を取得して用いれば良い。このように、ステレオ画像内の撮像部からの距離が既知の特徴のエピポーラ線のずれを用いることで、オクルージョンの影響や、視線方向の違いから、撮像画像の見え方が撮像部ごとに大きく異なり、図１０で示した方法を適用できない場合でも、選択的に検出した特徴を用いることで、高精度な撮像部間の焦点距離の差の取得が行える。

図１２は、本発明の第3実施例に係る焦点距離の差分情報を検出する処理の一例を示す第三の図である。図１２の焦点距離の差分情報の検出処理は、ズーム変化量検出部０１０４において行われる処理である。

図１２において、１２０１は第一の撮像部０４０１＿１より取得できる第一の撮像画像、１２０２は第一の撮像画像１２０１において、空間中に存在する直線成分の投影像上の特徴点群である。図１２（ａ）に示すように、空間中に存在する直線成分は、レンズ歪みの影響がない状態では、画像上でも直線として存在する。そこで、第一の撮像画像１２０１と、第二の撮像部０４０１＿２より取得できる不図示の第二の撮像画像とを用いてステレオ画像処理による距離計測を行い、特徴点群１２０２の３次元位置を取得すると、撮像画像間にズームの倍率差がない場合は、図１２（ｂ）に示すように、特徴点群１２０２の３次元位置は直線上に存在する。一方で、撮像画像間にズームの倍率差がある場合には、図１２（ｂ）に示すように、特徴点群１２０２の３次元位置は曲線上に存在する。ズーム変化量検出部０１０４は、第一の撮像画像１２０１から、直線上の３点以上の特徴点群を抽出する。特徴の検出には、PrewittやSobel等のエッジ強調フィルタや、Harrisオペレータなどのコーナ抽出フィルタを利用することができる。また、抽出した特徴が直線上に存在するかは、ハフ変換などを利用して直線度の評価を行えば良い。こうして得られた、直線上の特徴点群に対し、撮像部間のズームの倍率差を考慮した上で、マッチング処理を行い、距離計測による３次元位置の取得を行う。マッチング処理を行う場合には、ブロックマッチングにおけるブロックサイズや、対応点を検索する探索領域をズームの倍率差に応じて変更することで、マッチング精度の向上と探索処理量の低減を図ることができる。ここでは、ズームの倍率差の予測値を用いて上記のマッチング処理時の補正を行う。また、距離計測時には、このズームの倍率差の予測値を用いて距離計測に必要なパラメータの更新を行う。このようにして得られた３点以上の特徴点群の３次元位置が、直線上に存在するかを判定することで、予測したズームの倍率差から実際のズーム倍率差を取得し、焦点距離の差を演算する。ただし、撮像部間のズームの倍率差は未知であるため、予測値として複数の値を用い、最適な結果を用いる。このとき、予測値として、ステレオ撮像制御部０１０３のズーム制御情報から各撮像部の凡そのズーム量を取得し、その近傍で変更して用いても良い。また、マッチング処理時に、ズームの倍率差を考慮して逐次補正するのではなく、前処理として撮像画像間のズームの倍率差がなくなるように電子ズームによる補正処理を行って、一度の補正処理で済むようにしても良い。室内や、屋外でも建築物が多い場面など、撮影環境中に直線成分が多い場合には、この直線上の特徴点群の３次元位置情報を利用する方法を用いて高精度に撮像部間の焦点距離の差の取得が行える。

かように本実施例に拠れば、ステレオ距離計測において、撮像部間でズームの倍率差が存在する場合でも、高精度に撮像部間のズームの倍率差を検出し、精度の良いステレオ画像処理を行い、正確な距離計測を行うことができる。

第１実施例から第３実施例では、撮像部間のズームの倍率差やズームの変化量などを検出し、高精度なステレオ画像処理による距離計測を可能としていた。しかし、ズーミングやフォーカシングを行うためにレンズ群を駆動した場合、ズーム及びフォーカスの機構によってはレンズの光軸が多少ずれる場合がある。また、レンズの歪み特性はズーム量に応じて変化することが知られている。ステレオ画像処理を高精度に行うための光軸の補正やレンズ歪みの補正は、ステレオ画像処理部０１０２においてキャリブレーション処理により実現するが、キャリブレーションを行う際に必要なパラメータは、ズームやフォーカスのレンズ群の位置が変わると、光軸やレンズ歪みの影響が変化するため、適宜に最適な値を用いる必要がある。このような場合は、以下に示す方法で解決すれば良い。

図１３は、本発明の第４実施例に係るステレオ距離計測システムを示す模式図である。図１３において、１３０５は補正テーブル格納部である。

補正テーブル格納部１３０５には、工場出荷時の時点で、ズーミング及びフォーカシングを行うレンズ群の制御量と、それに伴う光軸の変化やレンズ歪みなどを補正するための補正データとの関係を、補正データテーブルとして保存されている。この補正データテーブルは、レンズ群の各々の制御量と補正データとを多次元テーブルとして記述しても良いし、データ量を削減するために、レンズ群を一つのレンズとみなして、レンズ群の統合の制御量と補正データとを2次元テーブルとして記述しても良い。また、補正データテーブルにはいくつかの代表的な関係のみを保存しておき、データテーブルに保存されていない値だけレンズの制御を行った場合は、データテーブルに保存されている近傍の値を用いて補間することで、保存データ量の削減を図っても良い。

補正テーブル格納部１３０５は、ズーム変化量検出部０１０４から、第一の撮像部０４０１＿１及び第二の撮像部０４０１＿２のズームの変化量を取得し、その情報を元にズーム時のレンズ群の制御量に応じた補正データをテーブルから読み込みステレオ画像処理部０１０２に出力する。ステレオ画像処理部０１０２は、取得した補正データを用いてキャリブレーション処理を行うことで、高精度な距離計測を行うことが可能となる。

ズーム変化量検出部０１０４は、画像処理を用いてズームの変化量を検出するため、ズーム変化に伴う光軸の変化やレンズ歪み特性の変化の影響により、ズームの変化量の検出精度が低下する可能性がある。そこで、補正テーブル格納部１３０５が、ズーム変化量検出部０１０４が検出したズーム変化量を取得して、対応する補正データテーブルをズーム変化量検出部０１０４に出力し、ズーム変化量検出部０１０４が取得した補正データテーブルを用いて前処理としてステレオ画像の画像補正処理を行った上で、再度ズーム変化量を検出するプロセスを行っても良い。この処理を再帰的に繰り返すことにより、ズーム変化量検出部０１０４は、最終的に、光軸の変化やレンズの歪み特性の変化の影響を受けない高精度なズーム変化量を検出することが可能となる。なお、このズーム変化量検出の再帰的な処理を行う際に、ズーム変化量の初期値に、軸の変化やレンズの歪み特性の変化の影響を最も受けた、ズーム変化量検出部０１０４が最初に検出したズーム変化量を用いる変わりに、ステレオ撮像制御部０１０３が出力する、凡そのズーム制御情報を用いても良い。

また、レンズ歪み量や光軸の変化量は、キャリブレーションパターンなどを用いて、機知の方法で検出し、補正データテーブルを更新しても良い。これにより、経年変化や振動などにより、実際に必要な補正データテーブルの値が、工場出荷時から変わってしまった場合でも、再度最適なパラメータに更新し直して用いることができる。この処理はズーム変化量検出部０１０４で、必要に応じてズーム変化量の検出処理と並行して行えば良い。

かように本実施例に拠れば、ズーミングやフォーカシングに伴い、ズーム変化の他に、光軸の変化やレンズの歪み特性の変化が起きた場合でも、補正データテーブルを用いて高精度なステレオ画像処理による距離計測を行うことができる。

本発明において、ステレオ撮像制御部０１０２におけるズーム変化量の制御の方法の例を以下に示す。

ステレオ撮像制御部０１０２は、第一の撮像部０４０１＿１及び第二の撮像部０４０１＿２のズームが、撮像部間で等速度で変化するように制御する。例えば、レンズ特性の個々のばらつきや構造の精度から、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２のズーム倍率を等量だけ変化するためのレンズの駆動量に差異があり、第一の撮像部０４０１＿１が第二の撮像部０４０１＿２のｎ倍だけ、レンズが駆動するように制御する必要がある場合は、ステレオ撮像制御部０１０３は、第一の撮像部０４０１＿１のレンズ駆動を、第二の撮像部０４０１＿２のレンズ駆動の１／ｎ倍の速度で行うように制御する。このように、各々の撮像部のズーム倍率が等速に移動することで、ズームが変化する途中で、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２がそれぞれ撮像した撮像画像が、撮像部間のレンズ特性の違いや構造に関わらず、常に等量のズーム倍率を持つため、ズームが変化する途中でもステレオ画像処理による距離計測を高精度に行うことができる。

また、第一の撮像部０４０１＿１及び第二の撮像部０４０１＿２のズームが大きく変化する場合、ステレオ撮像制御部０１０２は、ズームを一度に変化するのではなく、ズームが所望の量になるまで複数のズーム制御を段階的に行っても良い。このとき、ズーム制御が終わったタイミングで撮像した画像を、ズーム変化量検出部０１０４及びステレオ画像処理部０１０２が画像処理に用いることで、ズーム時に撮像画像中に生じるぶれの影響を低減し、高精度な画像処理が行える。また、複数のズーム制御がそれぞれ終わったときに、逐次にズーム変化量検出部０１０４が撮像部間のズーム変化量の差を検出し、ステレオ撮像制御部０１０３が、次の段階のズーム制御を行う前に、ズーム変化量の差を補正するズーム制御を行うことで、一度に大きくズームを変化させる場合に、撮像部間で大きなズーム変化量の差が生じることを回避することができる。

かように、本実施例に拠れば、ステレオ画像処理に好適なズーム制御を行うことで、撮像画像間のズーム倍率の差のない、あるいは小さいステレオ画像を用いて、高精度なステレオ画像処理による距離計測を行うことができる。

図１４は、本発明の第６実施例に係るステレオ距離計測システムを示す模式図である。図１４において、１４０６は制御指示インタフェース部である。

図１４に示すステレオ距離計測システムは、撮像部のズーミングやフォーカシングを行うレンズ群として、バリフォーカルレンズなどの手動でズーミングを行うことの可能なレンズを用いた場合を考慮したシステムである。

ユーザ操作指示インタフェース部１４０６は、ズーム変化量検出部０１０３の出力した、第一の撮像部０４０１＿１と第二の撮像部０４０１＿２のそれぞれのズーム変化量、または、ズーム倍率の差の情報を取得し、撮像部間のズーム倍率の差を補正するために必要なズーム制御情報を、映像や音声を用いてユーザに通知する。通知するための手段としては、ＴＶやＰＣのモニタや携帯端末やスピーカやブザーなどの、各種の映像端末や音源を用いることができる。ユーザは、制御指示インタフェース部１４０６の指示を元に、直接第一の撮像部０４０１＿１または第二の撮像部０４０１＿２のレンズ群を操作し、ズーム制御を行う。このように、ズームの倍率差を補正するのに必要なズーム制御情報を、ユーザ操作指示インタフェース部１４０６を用いてユーザに指示することで、手動でズーム制御を行うレンズ群を持つ撮像部に対しても、精度良く撮像部間のズーム倍率の差を補正することが可能である。

図１５は、本発明の第６実施例に係るズーム補正のためのズーム制御情報を映像を用いてユーザに指示する方法の一例を示す図である。

図１５において、１５０１はユーザ操作指示インタフェースであり、ここではＰＣのモニタを想定している。ＰＣのモニタには、ズームの制御を行う必要のある撮像部の撮像画像に、ズーム制御を行うために必要な情報を重畳して表示している。ズームの制御を行う必要のある撮像部としては、記録やモニタリングなどに用いる主撮像部が存在する場合には、主撮像部のズームに合わせるようにもう一方の撮像部を選択すれば良い。また、現在のズーム倍率に応じて重みを付け、２つの撮像部のズーム倍率の間の特定のズーム倍率に合わせるように、２つの撮像部を制御しても良く、その場合にはモニタ上には、各撮像部の撮像画像を並べて表示すれば良い。撮像画像に重畳した、ズーム制御を行うために必要な情報の表現として、図１５では、撮像画像中の特定の被写体を用いた方法と、文字や記号を用いた方法を組み合わせて用いている。撮像画像中の特定の被写体を用いた方法としては、撮像画像中の被写体がズーム補正後に表示される位置を、ズーム補正後の倍率で拡大した被写体を透過させ、点線で表示することで示している。ユーザは手動でズーム制御を行い、実際の撮像画像中の被写体が、モニタ上に重畳されたズーム補正後の被写体に重なるようにすることで、必要な量のズーム制御を直感的に操作して行うことができる。この他に、ユーザにズーム制御方法が理解しやすいように、ズーム制御方法そのものを図示しても良い。例えば、ズームの制御をネジ回しで行う場合には、ネジの位置や回す方向を映像上に図示することで、ユーザは簡易にズーム制御の操作が行える。また、モニタ右上に表示しているように、ズーム補正に必要なズーム方向とズーム倍率を矢印や文字で記述しても良い。この例では、上矢印と「×１．１」の組み合わせは、ズームを拡大方向に１．１倍制御する必要があることを示している。この他に、必要なズームの制御方向や、制御量、一致度を文字や記号や数値の組み合わせで表示しても良い。この場合、映像上に図示する場合に比べ、少ない情報量と表示量ですむため、携帯端末などでも表示することができる。

図１５では、映像によりユーザにズーム制御の指示を行う方法を示したが、映像の変わりに音声を用いても良い。映像上に文字で表示する場合のズーム制御情報を音声でそのままユーザに通知しても良いし、ズーム補正に必要なズーム方向とズーム倍率と一致度を、ブザー音の間隔や高低や音量で組み合わせて表現しても良い。音声を用いた場合には、モニタを設置するようなスペースが存在しない場合でも、ズーム制御に必要な情報をユーザに通知することが可能である。また、ユーザが操作している撮像部を見ながら作業できるという利点がある。

なお、以上のような映像や音声によるユーザへの操作方法の指示は、ズーム補正時だけでなく、実施例４で記載した光軸のずれなどを補正する場合に用いることもできる。

かように、本実施例に拠れば、撮像部間のズーム倍率の差の補正に必要な情報をユーザに通知することで、手動でレンズ群の制御を行うようなステレオ距離計測システムにおいても、精度の良い撮像部間のズーム倍率の差の補正が行える。

本発明において、ズーム変化量検出部０１０４が行うズーム変化量の検出処理を、経年変化の補正に応用する例を示す。

ズーム変化量検出部０１０４は第一実施例から第三実施例にて示した方法で、ズームの変化量や、撮像部間のズームの倍率差を取得する。この処理を、ズーム撮像制御部がズーム制御を行っていないときにも常に行うことで、振動や、装置の経年による劣化によりズームが微小に変化した場合でも、その影響を低減するようにズームの補正を行うことができ、高精度なステレオ画像処理が行える。

また、図６で示した、撮像画像中の２つの特徴点間の間隔の変化を用いて、ズームの変化量を検出する処理を応用し、特徴点の位置の変化量から撮像部の平行移動、及び光軸周りの回転移動を検出することができる。撮像部のズーム変化が起きずに、撮像部が撮像面と並行に並行移動を行ったり、光軸周りの回転を行った場合には、撮像画像中の２つの特徴点間の間隔が変わらず、特徴点の画像上の位置のみが変化する。よって、特徴点の画像上の位置の変化を検出することで、これらの撮像部の移動を検出できる。このように、ズーム変化量検出処理を応用して、ズーム変化以外の、光軸変化などへの経年変化による影響を検出し、補正しても良い。

かように、本実施例に拠れば、第一実施例から第三実施例までに示した、ズーム変化量の検出処理を応用して、ステレオ距離計測システムの経年変化に対するロバスト性を向上することが可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

本発明は監視カメラや立体視カメラ、車載カメラに利用可能である。

本発明の第１実施例に係るステレオ距離計測システムを示す模式図である。 本発明の第１実施例に係る焦点距離変化量の検出処理の一例を示す第一の図である。 本発明の第１実施例に係る焦点距離変化量の検出処理の一例を示す第二の図である。 本発明の第２実施例に係るステレオ距離計測システムを示す模式図である。 本発明の第２実施例に係るステレオ距離計測システムの処理シーケンスの一例を示す図である。 本発明の第２実施例の焦点距離変化量を検出する処理の一例を示す第一の図である。 本発明の第２実施例の焦点距離変化量を検出する処理の一例を示す第二の図である。 本発明の第２実施例の焦点距離変化量を検出する処理の一例を示す第三の図である。 本発明の第３実施例に係るステレオ距離計測システムの処理シーケンスの一例を示す図である。 本発明の第３実施例に係る焦点距離の差分情報を検出する処理の一例を示す第一の図である。 本発明の第３実施例に係る焦点距離の差分情報を検出する処理の一例を示す第二の図である。 本発明の第３実施例に係る焦点距離の差分情報を検出する処理の一例を示す第三の図である。 本発明の第４実施例に係るステレオ距離計測システムを示す模式図である。 本発明の第６実施例に係るステレオ距離計測システムを示す模式図である。 本発明の第６実施例に係るズーム補正のためのズーム制御情報を映像を用いてユーザに指示する方法の一例を示す図である。

符号の説明

０１０１ ステレオ撮像部
０１０２ ステレオ画像処理部
０１０３ ステレオ撮像制御部
０１０４ ズーム変化量検出部
０２０１＿１ ズーム変化前の第一の撮像画像
０２０１＿２ ズーム変化後の第一の撮像画像
０２０２＿１ ズーム変化前の第二の撮像画像
０２０２＿２ ズーム変化後の第二の撮像画像
０２０３＿１ ズーム変化前の静止物体の特徴点
０２０３＿２ ズーム変化後の静止物体の特徴点
０３０１ 静止物体
０３０２ 第一の移動物体
０３０３ 第二の移動物体
０４０１＿１ 第一の撮像部
０４０１＿２ 第二の撮像部
０６０１＿１ ズーム変化前の撮像画像
０６０１＿２ ズーム変化後の撮像画像
０６０２〜３＿１ ズーム変化前の撮像画像において撮像部からの光軸方向の距離が等距離である特徴点でかつ静止する特徴点
０６０２〜３＿２ ズーム変化後の０６０２〜３＿１にそれぞれ対応する特徴点
０７０１ ズーム変化前の撮像画像
０７０２ ズーム変化後の撮像画像
０７０３ ｎ倍化されたズーム変化後の撮像画像
０８０１＿１ ズーム変化前の撮像画像
０８０１＿２ ズーム変化後の撮像画像
０８０２＿１ ズーム変化前の撮像画像において静止した特徴点
０８０２＿２ ズーム変化後の撮像画像において０８０２＿１に対応する特徴点
１００１ 第一の撮像画像
１００２ 第二の撮像画像
１００３ ｎ倍化された第二の撮像画像
１１０１＿１ 第一の撮像画像
１１０１＿２ 第二の撮像画像
１１０２＿１〜２ 被写体
１２０１ 第一の撮像画像
１２０２ 特徴点群
１３０５ 補正テーブル格納部
１４０６ ユーザ操作指示インタフェース部
１５０１ ズーム制御指示インタフェース

Claims (20)

1. ズームが可変な複数の撮像手段と、
   該複数の撮像手段から出力される画像情報を用いて、該複数の撮像手段それぞれにおけるズームの変化量をそれぞれ検出するズーム変化量検出手段と、
   該ズーム変化量検出手段で検出された該複数の撮像手段それぞれにおけるズームの変化量が異なる場合に、該複数の撮像手段それぞれにおけるズームの変化量を一致させるように該複数の撮像手段の一部または全部のズームの位置を補正するズーム位置補正手段と、
   該複数の撮像手段から出力される画像情報に対してステレオ画像処理をし、該ステレオ撮像処理により生成された視差情報を用いて被写体までの距離を計測する距離計測手段と、
   を備えることを特徴とする距離計測装置。
2. ステレオ撮像を行うズームが可変なステレオ撮像手段と、
   該ステレオ撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い距離情報を演算するステレオ画像処理手段と、
   該ステレオ撮像手段の撮像条件を制御するステレオ撮像制御手段と、
   を備え、
   前記ステレオ撮像制御手段が前記ステレオ撮像手段のズームを制御した場合に、前記ステレオ撮像制御手段がズーム制御情報を前記ステレオ画像処理手段に出力し、前記ステレオ画像処理手段が前記ズーム変化量検出手段の出力するズーム制御情報を用いてステレオ画像処理を行うこと、
   を特徴とする距離計測装置。
3. ステレオ撮像を行うズームが可変なステレオ撮像手段と、
   該ステレオ撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い距離情報を演算するステレオ画像処理手段と、
   該ステレオ撮像手段の撮像条件を制御するステレオ撮像制御手段と、
   該ステレオ撮像手段が出力するステレオ撮像画像を用いてズームの変化量を検出するズーム変化量検出手段とを備え、
   該ズーム変化量検出手段が、ステレオ撮像画像内の特徴の視差情報を用いてズーム変化量を演算し、該ステレオ画像処理手段が、該ズーム変化量検出手段の出力するズーム変化量を用いてステレオ画像処理を行うこと、
   を特徴とする距離計測装置。
4. 請求項３に記載の距離計測装置において、
   該ズーム変化量検出手段がズーム変化量の演算を行う場合に、ステレオ撮像手段からの距離がズーム変化時に不変な特徴の視差情報を用いてズーム変化量を検出すること、
   を特徴とする距離計測装置。
5. 請求項３に記載の距離計測装置において、
   該ズーム変化量検出手段がズーム変化量の演算を行う場合に、複数の特徴についてズーム変化量推定値を演算し、そのヒストグラム情報を用いてズーム変化量を検出すること、
   を特徴とする距離計測装置。
6. 撮像を行うズームが可変な第一の撮像手段と、
   撮像を行うズームが可変な第二の撮像手段と、
   該第一の撮像手段と該第二の撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い距離情報を演算するステレオ画像処理手段と、
   該第一の撮像手段と該第二の撮像手段の撮像条件を制御するステレオ撮像制御手段と、
   該第一の撮像手段と該第二の撮像手段が出力する撮像画像を用いて画像処理を行い、ズームの変化量を画像処理を用いて検出するズーム変化量検出手段と、
   を備え、
   該ステレオ撮像制御手段が、該ズーム変化量検出手段からズームの変化量の情報を取得し、ズーム倍率に差がある場合に、その差を補正するように該第一の撮像手段と該第二の撮像手段とを制御し、該ステレオ画像処理手段が該ズーム変化量検出手段の出力するズーム変化量を用いてステレオ画像処理を行うこと、
   を特徴とする距離計測装置。
7. 請求項６に記載の距離計測装置において、
   該ステレオ画像処理手段が、該ズーム変化量検出手段からズームの変化量の情報を取得してステレオ画像処理を行う場合に、ズーム倍率に差がある場合にその差を補正するようにステレオ撮像画像の倍率補正を行うこと、
   を特徴とする距離計測装置。
8. 請求項６または７に記載の距離計測装置において、
   前記ズーム変化量検出手段がズーム変化量を検出する場合に、第一の撮像手段のズーム変化量と、第二の撮像手段のズーム時のズーム変化量とをそれぞれ演算すること、
   を特徴とする距離計測装置。
9. 請求項８に記載の距離計測装置において、
   該ズーム変化量検出手段がズーム変化量を検出する際に、複数の特徴点間の間隔を利用してズーム変化量を演算すること、
   を特徴とする距離計測装置。
10. 請求項８に記載の距離計測装置において、
    該ズーム変化量検出手段がズーム変化量を検出する際に、ズーム変化前に取得した撮像画像とズーム変化後に取得した撮像画像の一方を複数の倍率で拡大縮小し、もう一方の撮像画像とマッチング処理を行って得られる相関値を利用してズーム変化量を演算すること、
    を特徴とする距離計測装置。
11. 請求項８に記載の距離計測装置において、
    該ズーム変化量検出手段がズーム変化量を検出する際に、撮像画像内の特徴点と画像中心との間隔を利用してズーム変化量を演算すること、
    を特徴とする距離計測装置。
12. 請求項６または７に記載の距離計測装置において、
    前記ズーム変化量検出手段がズーム変化量を検出する場合に、第一の撮像手段より取得した撮像画像と第二の撮像手段より取得した撮像画像を比較してズーム量の倍率差を演算すること、
    を特徴とする距離計測装置。
13. 請求項１２に記載の距離計測装置において、
    前記ズーム変化量検出手段がズーム倍率差を検出する際に、前記第一の撮像手段より取得した撮像画像と前記第二の撮像手段より取得した撮像画像の一方を複数の倍率で拡大縮小し、もう一方の撮像画像とマッチング処理を行って得られる相関値を利用してズーム倍率差を演算すること、
    を特徴とする距離計測装置。
14. 請求項１２に記載の距離計測装置において、
    前記ズーム変化量検出手段がズーム倍率差を検出する際に、複数の特徴について前記第一の撮像手段より取得した撮像画像と前記第二の撮像手段より取得した撮像画像との間でマッチング処理を行い、マッチング位置のずれの情報を利用してズーム倍率差を演算すること、
    を特徴とする距離計測装置。
15. 請求項１２に記載の距離計測装置において、
    前記ズーム変化量検出手段がズーム倍率差を検出する際に、前記第一の撮像手段より取得した撮像画像と前記第二の撮像手段より取得した撮像画像を用いてステレオ画像処理による距離計測を行い、その結果を利用してズーム倍率差を演算すること、
    を特徴とする距離計測装置。
16. 請求項６に記載の距離計測装置において、
    ズーム変化時に生じる光軸やレンズ歪みなどの変化を補正するためのパラメータを格納する補正テーブル格納手段を備え、
    該補正テーブル格納手段が、前記ステレオ撮像制御部が出力するズーム制御情報や、前記ズーム変化量検出手段が検出したズーム変化量情報を取得して、適切なパラメータを前記ステレオ画像処理手段に出力し、前記ステレオ画像処理手段が補正テーブルを用いてキャリブレーション処理を行うこと、
    を特徴とする距離計測装置。
17. 請求項１６に記載の距離計測装置において、
    前記補正テーブル格納手段が、前記ズーム変化量検出手段が検出したズーム変化量情報に対応する補正テーブルを前記ズーム変化量検出手段に出力し、前記ズーム変化量検出手段が補正テーブルを用いてステレオ撮像画像の補正処理を前意処理にて行い、ズーム変化量の検出を再度行うこと、
    を特徴とする距離計測装置。
18. 請求項１から１７のいずれかに記載の距離計測装置において、
    前記ステレオ撮像制御手段が、前記ステレオ画像処理手段がズーム制御の途中で取得したステレオ撮像画像においても好適にステレオ画像処理が行えるように、ズームの制御を行うこと、
    を特徴とする距離計測装置。
19. 撮像を行うズームが可変な第一の撮像手段と、
    撮像を行うズームが可変な第二の撮像手段と、
    該第一の撮像手段と該第二の撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い距離情報を演算するステレオ画像処理手段と、
    該第一の撮像手段と該第二の撮像手段が出力する撮像画像を用いて画像処理を行い、ズームの変化量を画像処理を用いて検出するズーム変化量検出手段と、
    該第一の撮像手段と該第二の撮像手段とを制御するために必要な情報を映像または音声などで出力するユーザ操作指示インタフェース手段と、
    を備え、
    該ユーザ操作指示インタフェース手段が、該ズーム変化量検出手段からズームの変化量の情報を取得し、ズーム倍率に差がある場合に、該第一の撮像手段と該第二の撮像手段とをユーザが操作してその差を補正するために必要な情報を出力し、該ステレオ画像処理手段が該ズーム変化量検出手段の出力するズーム変化量を用いてステレオ画像処理を行うこと、
    を特徴とする距離計測装置。
20. 請求項１から１９に記載の距離計測装置において、
    前記ズーム変化量検出手段が行うズーム変化量の検出処理を、距離計測装置の経年変化の対応に利用すること、
    を特徴とする距離計測装置。
    

Images