JP2021162305A - 測距システム、測距方法及び測距プログラム - Google Patents

Abstract

【課題】高い精度で対象物までの距離を測定する。【解決手段】測距システムは、それぞれ異なる位置から対象物を撮像する複数の撮像部と、取得部と、較正部と、生成部とを備える。取得部は、複数の撮像部のうち、第１の撮像部により撮像された第１画像、第２の撮像部により撮像された第２画像、及び第３の撮像部により撮像された第３画像を取得する。較正部は、第１画像と第２画像とを含む第１のステレオ画像を較正するとともに、第１のステレオ画像の較正に用いられたパラメータを用いて、第１画像と第３画像とを含む第２のステレオ画像を較正する。生成部は、較正された第１のステレオ画像と、較正された第２のステレオ画像とに基づいて、対象物までの距離を示す３次元情報を生成する。【選択図】図４

Description

本発明は、測距システム、測距方法及び測距プログラムに関する。

ステレオカメラ等により異なる位置から撮像された複数の画像の視差を用いて、撮像された対象物までの距離を測定する技術が知られている。この場合において、測定される距離の精度は、例えば、ステレオカメラなどのステレオセットを構成する２つのレンズの距離である基線長と、対象物との距離とに左右される。

例えば、基線長に対して対象物までの測定距離が遠い場合、左右の視差の変化が、距離の測定結果に大きな影響を与えるため、正確な距離をすることが難しい。一方、基線長に対して対象物までの測定距離が近い場合、左右の視差の変化が大きくとも、距離の測定結果に与える影響が小さいため、視差に基づいて測定される距離に誤差が生じやすくなる。

そこで、基線長の異なる複数のステレオセットにより撮像された画像を用いて、対象物までの測定距離に適したステレオセットを選択して距離を測定する技術が知られている。

特開２０１１−２０３２３８号公報 国際公開２０１５／１２５７４４号公報

しかし、上記技術において、それぞれのステレオセットから得られた視差情報を統合して距離を測定することは容易ではない。

一つの側面では、高い精度で対象物までの距離を測定できる測距システム、測距方法及び測距プログラムを提供することを目的とする。

一つの態様において、測距システムは、それぞれ異なる位置から対象物を撮像する、複数の撮像部と、取得部と、較正部と、生成部とを備える。取得部は、前記複数の撮像部のうち、第１の撮像部により撮像された第１画像、前記複数の撮像部のうち、第２の撮像部により撮像された第２画像、及び前記複数の撮像部のうち、第３の撮像部により撮像された第３画像を取得する。較正部は、前記第１画像と前記第２画像とを含む第１のステレオ画像を較正するとともに、前記第１のステレオ画像の較正に用いられたパラメータを用いて、前記第１画像と前記第３画像とを含む第２のステレオ画像を較正する。生成部は、較正された前記第１のステレオ画像と、較正された前記第２のステレオ画像とに基づいて、前記対象物までの距離を示す３次元情報を生成する。

一つの態様によれば、高い精度で対象物までの距離を測定できる。

図１は、ステレオカメラを用いた測距処理の一例を示す図である。 図２は、ステレオカメラを用いた測距処理における誤差の一例を示す図である。 図３は、ステレオカメラを用いた測距処理における視差と対象物までの距離との関係の一例を示す図である。 図４は、実施形態における測距システムの一例を示すブロック図である。 図５は、実施形態におけるステレオセットにより撮像される画像の一例を示す図である。 図６は、実施形態における平行化後の撮像画像の一例を示す図である。 図７は、実施形態における測距処理の途中経過の一例を示す図である。 図８は、実施形態におけるステレオカメラを用いた測距処理における視差と対象物までの距離との関係の一例を示す図である。 図９は、実施形態における測距処理の一例を示すフローチャートである。

以下、実施形態に係る測距システム、測距方法及び測距プログラムについて図面を参照して説明する。なお、この実施形態によりこの発明が限定されるものではない。また、図面における各要素の寸法の関係、各要素の比率などは、現実と異なる場合がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。また、１つの実施形態や変形例に記載された内容は、原則として他の実施形態や変形例にも同様に適用される。

図１は、ステレオカメラを用いた測距処理の一例を示す図である。図１に示すように、ステレオカメラは、左イメージセンサＩＬ１に投影される画像を撮像するレンズ２Ｌと、右イメージセンサＩＲ１に投影される画像を撮像するレンズ２Ｒとを用いて、対象物Ｔ１を撮像する。この場合において、左イメージセンサＩＬ１において対象物Ｔ１が表示される画素（ピクセル）の位置（−ｎ１）と、右イメージセンサＩＲ１において対象物Ｔ１が表示される画素の位置（ｎ２）とに差（視差）が生じる。例えば、左画像Ｌ１において、対象物Ｔ１は、イメージセンサの中心から左にｎ１ピクセルずれた位置（−ｎ１）に表示される。一方、右イメージセンサＩＲ１において、対象物Ｔ１は、イメージセンサの中心から右にｎ２ピクセルずれた位置に表示される。なお、図１に示すように、ピクセルは所定のイメージャーピクセルピッチｕを有する。

左イメージセンサＩＬ１と右イメージセンサＩＲ１との視差ｄは、対象物Ｔ１までの距離Ｚ、レンズ２Ｌ及び２Ｒの焦点距離ｆ、及びレンズ２Ｌとレンズ２Ｒとの距離である基線（ベースライン）の長さ（基線長）ｂにより変わる。これにより、対象物Ｔ１までの距離は、以下に示す式（１）により算出される。
Ｚ ＝ ｆ×ｂ ／ （ｕ×ｄ） 式（１）

ステレオカメラにおいては、対象物の撮像をピクセル（画素）単位で取得することが一般的である。これにより、ステレオカメラの個別のカメラで撮像された画像には、イメージャーピクセルピッチｕの幅に応じた誤差が生じる場合がある。

図２は、ステレオカメラを用いた測距処理における誤差の一例を示す図である。図２において、物体Ｔ０は、左カメラにより撮像された左画像Ｌ１のピクセルＬＰに投影される。また、物体Ｔ０は、右カメラにより撮像された右画像Ｒ１のピクセルＲＰに投影される。この場合において、ピクセルＬＰ及びピクセルＲＰは、それぞれイメージャーピクセルピッチｕの幅に応じた誤差ｄＺが生じることがある。かかる誤差は、距離を測定する場合の誤差の原因となる。

図３は、ステレオカメラを用いた測距処理における視差と対象物までの距離との関係の一例を示す図である。図３に示すグラフは、縦軸に対象物までの距離を示し、横軸にステレオカメラにおける視差を示す。例えば、図３のＶＲ１に示すように、対象物までの距離がＶＲ２に示す距離と比べて遠い場合においては、視差が小さくなる。また、対象物までの距離がＶＲ２に示す距離と比べて遠い場合においては、左右の視差の変化が、距離の測定結果に大きな影響を与える。

このように、例えば、対象物までの距離が、図３のＶＲ２に示すような距離の変化と視差の変化との関係が適切な距離から離れている場合は、イメージャーピクセルピッチｕの幅に応じた誤差ｄＺが大きくなるため、１ピクセル当たりの距離測定の精度が粗くなる。例えば、サブピクセルオーダーで距離を測定する技術も知られているが、１ピクセル当たりの距離測定の精度が粗くなる結果、サブピクセルオーダーにおいても誤差が生じやすくなる。

一方、対象物までの距離が近過ぎる場合においても、誤差が大きくなる場合がある。例えば、図３のＶＲ３に示すように、ＶＲ２に示す距離と比べて対象物までの距離が近い場合においては、左右の視差の変化が大きくとも、距離の測定結果に与える影響が小さい。このため、視差から測定される距離に、誤差が生じやすくなる。すなわち、ステレオカメラにおいては、例えば、図３のＶＲ２に示すような距離の変化と視差の変化との関係が適切な距離から、対象物までの距離が遠過ぎても近過ぎても、左右の視差から測定される距離の精度が粗くなる。

そこで、実施形態における測距システム１は、相互に基線長が異なるステレオカメラである複数のステレオセットを用いて、対象物までの距離を測定するための複数の視差を算出する。図４は、実施形態における測距システムの一例を示すブロック図である。図４に示すように、測距システム１は、測距装置１０と、撮像装置２０とを備える。測距装置１０と、撮像装置２０とは、例えば、有線又は無線のネットワーク等を通じて、通信可能に接続されている。

撮像装置２０は、ステレオカメラ等の被写体を撮像する装置である。本実施形態において、撮像装置２０は、第１撮像部２１と、第２撮像部２２と、第３撮像部２３とを備える。第１撮像部２１、第２撮像部２２、及び第３撮像部２３は、測距装置１０の制御に応じて、同時に撮像を行う。撮像装置２０は、撮像された画像を、ネットワーク等を通じて、測距装置１０に出力する。なお、以下において、第１撮像部２１、第２撮像部２２、及び第３撮像部２３を区別せずに表現する場合に、単に「撮像部２」と表記する場合がある。

第１撮像部２１、第２撮像部２２、及び第３撮像部２３は、それぞれ異なる位置に設けられる。例えば、左端に設けられる第１撮像部２１、中間に設けられる第２撮像部２２、及び右端に設けられる第３撮像部２３が、相互に異なる基線長だけ離間して設けられる。なお、第１撮像部２１、第２撮像部２２、及び第３撮像部２３は、例えば、各撮像部２の光軸が互いに平行になるように設けられるが、これに限られない。例えば、各撮像部２の光軸が互いに交差するように、第１撮像部２１、第２撮像部２２、及び第３撮像部２３が設けられてもよい。また、撮像装置２０に含まれる撮像部２の数は３に限られず、後に説明するように４以上の撮像部２が含まれていてもよい。

撮像装置２０に含まれる撮像部２のうちのいずれか２つの組み合わせは、後に説明する較正部１５２により、ステレオセットとして決定される。この場合において、撮像部２のうちのいずれか１つは、２つのステレオセットに共通して含まれる基準撮像部となる。基準撮像部は、各ステレオセットにより撮像される画像に共通する画像（以下において「（ステレオセットの）基準画像」と表記する場合がある）を撮像する。

図５は、実施形態におけるステレオセットにより撮像される画像の一例を示す図である。本実施形態において、例えば、第１撮像部２１と第２撮像部２２との組み合わせは、第１ステレオセットＳＳ１を構成する。また、第１撮像部２１と第３撮像部２３との組み合わせは、第２ステレオセットＳＳ２を構成する。なお、以下において、第１ステレオセットＳＳ１及び第２ステレオセットＳＳ２を区別せずに表現する場合に、単に「ステレオセットＳＳ」と表記する場合がある。

この場合において、基準撮像部となる第１撮像部２１は、第１ステレオセットＳＳ１及び第２ステレオセットＳＳ２の基準画像となる第１画像ＢＬ１（以下において「基準画像ＢＬ１」と表記する場合がある）を撮像する。また、第２撮像部２２は、第２画像ＲＬ２を撮像し、第３撮像部２３は、第３画像ＲＲ１を撮像する。

また、上述したように、本実施形態においては、第１ステレオセットＳＳ１の基線長と、第２ステレオセットＳＳ２の基線長とは相互に異なる。例えば、図５に示すように、第１ステレオセットＳＳ１における第１撮像部２１と第２撮像部２２との基線長ｂ１は、第２ステレオセットＳＳ２における第１撮像部２１と第３撮像部２３との基線長ｂ２よりも短い。

図５に示すように、基準画像ＢＬ１には、対象物Ｔ１と対象物Ｔ２とが含まれる。撮像部２から対象物Ｔ１までの距離は、撮像部２から対象物Ｔ２までの距離よりも近い。また、対象物Ｔ１は、第１ステレオセットＳＳ１に対応する第２画像ＲＬ１に含まれ、対象物Ｔ２は、第２ステレオセットＳＳ２に対応する第３画像ＲＲ１に含まれる。なお、図５には図示されていないが、第２画像ＲＬ１に対象物Ｔ２がさらに含まれ、第３画像ＲＲ１に対象物Ｔ１がさらに含まれていてもよい。

図４に戻って、測距装置１０は、撮像画像に基づいて被写体までの距離を測定する装置である。測距装置１０は、パーソナルコンピュータ、サーバ又はタブレットコンピュータ等の情報処理装置である。測距装置１０は、通信部１１と、入力部１２と、表示部１３と、記憶部１４と、制御部１５とを備える。

通信部１１は、ネットワークを通じた撮像装置２０等の外部装置とのデータ入出力の通信を制御する。例えば、通信部１１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現され、撮像装置２０から出力される画像のデータを受信する。

入力部１２は、制御部１５に接続され、測距システム１の利用者（不図示）から受け付けた入力操作を電気信号に変換して制御部１５に出力する。例えば、入力部１２は、スイッチ、ボタン、マウス、キーボード、タッチパネル等である。また、入力部１２は、外部の入力装置を測距装置１０に接続するためのインターフェース等であってもよい。

表示部１３は、制御部１５に接続され、制御部１５から出力される各種情報及び各種画像データを表示する。表示部１３は、例えば、後に説明する図７に示すような測距処理の途中経過や、処理結果が出力される。例えば、表示部１３は、液晶モニタ、ＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル又は有機ＥＬ（Electro Luminescence）等によって実現される。また、表示部１３は、外部の表示装置に測距装置１０を接続するためのインターフェース等であってもよい。

記憶部１４は、例えば、ＲＡＭ（Random Access Memory）又は磁気記憶装置等の記憶装置により実現される。記憶部１４には、制御部１５により実行される各種のプログラムが記憶されている。また、記憶部１４には、制御部１５により各種のプログラムが実行される際に用いられる各種のデータが一時的に記憶される。例えば、記憶部１４は、撮像装置２０から取得された、各撮像部２により撮像された第１画像ＢＬ１、第２画像ＲＬ２、第３画像ＲＲ１等のデータを記憶する。また、記憶部１４は、制御部１５による距離測定処理の途中経過を記憶する。

制御部１５は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実現される。制御部１５は、測距システム１全体を制御する。制御部１５は、記憶部１４に記憶された各種のプログラムを読み取り、読み取ったプログラムを実行することで、各種の処理を実行する。プログラムは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等のコンピュータ読み取り可能な記録媒体に記録されてもよい。例えば、制御部１５は、測距プログラムを実行することで、測距処理を実行する。

図４に示すように、測距処理を実行する制御部１５を機能的に表すと、例えば、制御部１５は、取得部１５１と、較正部１５２と、算出部１５３と、生成部１５４とを有することとなる。

取得部１５１は、例えば、通信部１１を通じて、撮像装置２０から第１画像ＢＬ１、第２画像ＲＬ２、第３画像ＲＲ１等の画像を取得する。取得部１５１は、取得された画像を記憶部１４に格納する。

較正部１５２は、取得された第１画像ＢＬ１、第２画像ＲＬ２、第３画像ＲＲ１等の画像に対して、ステレオ画像の較正（キャリブレーション）処理を行う。なお、本実施形態において、「ステレオ画像の較正」とは、例えば、ステレオセットに含まれる複数の撮像部により撮像されたそれぞれの画像における対応する部位の検出や視差の算出を容易にするために、各画像に幾何変換を加える等の調整を施すことを示す。ステレオ画像の較正処理は、例えば、回転行列や並進行列等のパラメータを用いた、公知の平行化処理である。なお、本実施形態においては、各撮像部２の個別のレンズの歪みや、輝度の正規化等については、それぞれ既に較正済みであるものとする。

較正部１５２は、まず、共通する基準撮像部を含み、かつ互いに基線長が異なる複数のステレオセットを決定する。較正部１５２は、例えば、上で述べたように、第１撮像部２１を基準撮像部とする。較正部１５２は、第１撮像部２１と第２撮像部２２とを含む第１ステレオセットＳＳ１を決定する。較正部１５２は、第１撮像部２１と第３撮像部２３とを含む第２ステレオセットＳＳ２を決定する。

次に、較正部１５２は、各撮像部２から取得された、各ステレオセットに対応する画像を、記憶部１４から抽出する。例えば、較正部１５２は、各ステレオセットに共通して対応する基準画像となる第１画像ＢＬ１と、第１ステレオセットＳＳ１に対応する第２画像ＲＬ１と、第２ステレオセットＳＳ２に対応する第３画像ＲＲ１とを抽出する。なお、以下において、第１画像ＢＬ１を「Left Image」、第２画像ＲＬ１を「Right Image」、第３画像ＲＲ１を「Right-Right Image」と表記する場合がある。

較正部１５２は、まず、第１ステレオセットＳＳ１に対応するステレオ画像の較正処理として、第１画像ＢＬ１と第２画像ＲＬ１とを平行化する。較正部１５２は、例えば、第１画像ＢＬ１と第２画像ＲＬ１との間の特徴点の点対応を計算する等の公知の方法により、平行化パラメータを算出する。そして、較正部１５２は、算出された平行化パラメータを用いて、第１画像ＢＬ１と第２画像ＲＬ１とを変換することにより、第１画像ＢＬ１と第２画像ＲＬ１とを平行化する。なお、特徴情報を容易に特定できるようにするため、ステレオ画像の較正には、例えば公知のキャリブレーションボード等を撮像した画像を用いてもよい。

次に、較正部１５２は、第２ステレオセットＳＳ２に対応するステレオ画像の較正処理として、第１画像ＢＬ１と第３画像ＲＲ１とを平行化する。その際、較正部１５２は、例えば、第１ステレオセットＳＳ１に対応するステレオ画像の較正処理の際に用いた平行化パラメータを、第１画像ＢＬ１と第３画像ＲＲ１との平行化にも用いる。なお、以下において、第１ステレオセットＳＳ１に対応するステレオ画像を「第１ステレオ画像ＳＩ１」と表記する場合がある。また、第２ステレオセットＳＳ２に対応するステレオ画像を、「第２ステレオ画像ＳＩ２」と表記する場合がある。なお、「第１ステレオ画像ＳＩ１」は第１のステレオ画像の一例であり、「第２ステレオ画像ＳＩ２」は第２のステレオ画像の一例である。

図６は、実施形態における平行化後の撮像画像の一例を示す図である。図６に示すように、平行化後の第１ステレオ画像ＳＩ１に含まれる第１画像（Left Image）ＬＬ２と、平行化後の第２画像（Right Image）ＲＬ２とは、対応する特徴点が同一の平行線上に位置するように調整されている。

本実施形態において、平行化後の第２ステレオ画像ＳＩ２に含まれる第１画像（Left Image）ＬＲ２は、第１ステレオ画像ＳＩ１の較正処理の際に用いた平行化パラメータにより変換されている。そのため、平行化後の第１ステレオセットＳＳ１に対応する第１画像ＬＬ２と、平行化後の第２ステレオセットＳＳ２に対応する第１画像ＬＲ２とは同一の画像となる。

これにより、後に説明するように、算出部１５３により算出される第１ステレオセットＳＳ１に対応する視差情報と、第２ステレオセットＳＳ２に対応する視差情報とを、同一の画像である第１画像ＬＬ２又は第１画像ＬＲ２に重ね合わせることができる。すなわち、同一の画像である第１画像ＬＬ２又は第１画像ＬＲ２は、それぞれ基準画像として用いることができる。なお、以下において、第１画像ＬＬ２を「平行化後の基準画像ＬＬ２」と表記し、第１画像ＬＲ２を「平行化後の基準画像ＬＲ２」と表記する場合がある。

算出部１５３は、平行化された各ステレオセットＳＳに対応する視差情報及び信頼度を算出する。本実施形態において、ステレオセットＳＳの信頼度とは、当該ステレオセットＳＳに対応するステレオ画像を用いて算出された視差が、距離測定において有用であるか否かを示す情報を示す。信頼度は、例えば画素単位で算出される。例えば、特定の画素において、第１ステレオセットＳＳ１の信頼度が低くなるほど、当該画素において第１ステレオセットＳＳ１に対応するステレオ画像ＳＩ１の視差を用いて算出された距離情報の精度が粗くなる。

算出部１５３は、例えば、公知のステレオマッチング等により、第１ステレオセットＳＳ１に対応する、平行化後の基準画像ＬＬ２と平行化後の第２画像ＲＬ２との視差を画素ごとに算出する。同様に、算出部１５３は、第２ステレオセットＳＳ２に対応する、平行化後の基準画像ＬＲ２と平行化後の第３画像ＲＲ２との視差を画素ごとに算出する。

算出部１５３は、視差情報を生成するにあたって、撮像画像を所定の部分画像に区切り、部分画像毎に視差情報を生成してもよい。この場合、算出部１５３は、ブロックマッチングを用いて部分画像に区切ってもよいし、superpixels等の公知の手段を用いて部分画像に区切ってもよい。

そして、算出部１５３は、算出された第１ステレオセットＳＳ１に対応する視差を、平行化後の基準画像ＬＬ２に重ね合わせた視差情報ＬＬ３を生成する。また、算出部１５３は、算出された第２ステレオセットＳＳ２に対応する視差を、平行化後の基準画像ＬＲ２に重ね合わせた視差情報ＬＲ３を生成する。

図７は、実施形態における測距処理の途中経過の一例を示す図である。図７に示すように、算出された視差情報ＬＬ３及び視差情報ＬＲ３は、同一の画像である平行化後の基準画像ＬＬ２及びＬＲ２にそれぞれ重ね合される。これにより、視差情報ＬＬ３及び視差情報ＬＲ３は、画素単位で相互に比較可能である。

次に、算出部１５３は、例えば、公知のＬＲ−Ｃｈｅｃｋ法等を用いて、第１ステレオセットＳＳ１の信頼度及び第２ステレオセットＳＳ２の信頼度を、画素ごとに算出する。そして、算出部１５３は、算出された第１ステレオセットＳＳ１の信頼度を、平行化後の基準画像ＬＬ２に重ね合わせた信頼度情報ＬＬ４を生成する。また、算出部１５３は、算出された第２ステレオセットＳＳ２の信頼度を、平行化後の基準画像ＬＲ２に重ね合わせた信頼度情報ＬＲ４を生成する。

図７に示すように、算出された信頼度情報ＬＬ４及び信頼度情報ＬＲ４も、視差情報ＬＬ３及び視差情報ＬＲ３と同様に、画素単位で相互に比較可能な態様で生成される。図７に示すように、信頼度情報ＬＬ４及び信頼度情報ＬＲ４は、画素ごとに色分けして示される。各画素の色は、信頼度情報ＬＬ４及び信頼度情報ＬＲ４の右側に設けられるゲージＬ４ｇにより示されるように、各画素における信頼度を表す。

図７に示す例において、信頼度情報ＬＬ４の領域ＬＬｌに含まれる画素の色は、ゲージＬ４ｇにおける信頼度「０〜」の色に対応する。一方、信頼度情報ＬＬ４の領域ＬＬｈに含まれる画素の色は、ゲージＬ４ｇにおける信頼度「２００」前後の色に対応する。すなわち、図７に示す例において、第１ステレオ画像ＳＩ１において、領域ＬＬｌに含まれる画素における信頼度は、領域ＬＬｈに含まれる画素における信頼度よりも低い。

以上説明したように、図７に示す例において、領域ＬＬｌに含まれる画素は、第１ステレオ画像ＳＩ１において、信頼度が低い画素を示す。また、領域ＬＬｈに含まれる画素は、第１ステレオ画像ＳＩ１において、信頼度が高い画素を示す。同様に、図７に示す例において、領域ＬＲｌに含まれる画素は、第２ステレオ画像ＳＩ２において、信頼度が低い画素を示す。領域ＬＲｈに含まれる画素は、第２ステレオ画像ＳＩ２において、信頼度が高い画素を示す。

生成部１５４は、算出された視差情報と信頼度とに基づいて、距離情報を生成する。生成部１５４は、視差情報ＬＬ３及び視差情報ＬＲ３の両方を活用して、距離情報を生成する。その際、生成部１５４は、例えば、視差情報ＬＬ３及び視差情報ＬＲ３のうち、どちらの視差情報を距離情報の算出に用いるかを、信頼度情報ＬＬ４及び信頼度情報ＬＲ４を用いて、画素単位で判定してもよい。また、生成部１５４は、例えば、視差情報ＬＬ３と視差情報ＬＲ３とを組み合わせて距離情報の算出に用いてもよい。

生成部１５４は、例えば、画素単位で、信頼度情報ＬＬ４における信頼度と、信頼度情報ＬＲ４における信頼度との差分を算出する。生成部１５４は、例えば、信頼度の差分が所定の閾値以上であるか否かを判定する。なお、所定の閾値は、測距システム１に要求される処理速度や、測距装置１０の処理能力に応じて、任意に設定される。なお、信頼度の差分は、以下に示すように、正の値を取る場合もあれば、負の値を取る場合もある。また、生成部１５４は、信頼度の差分に代えて、信頼度の比率等を算出して、閾値との比較に用いてもよい。信頼度の比率を用いる構成については、後に詳しく説明する。

例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｌ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｈ内に含まれる画素である場合、生成部１５４は、信頼度の差分が所定の閾値以上であると判定する。同様に、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｈ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｌ内に含まれる画素である場合も、生成部１５４は、信頼度の差分が所定の閾値以上であると判定する。

一方、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｌ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｌ内に含まれる画素である場合、生成部１５４は、信頼度の差分が所定の閾値未満であると判定する。同様に、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｈ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｈ内に含まれる画素である場合、生成部１５４は、信頼度の差分が所定の閾値未満であると判定する。画素単位での信頼度の差分と所定の閾値との比較結果ＬＣの一例を、図７に示す。

図７に示すように、比較結果ＬＣは、例えば、基準画像ＢＬ１に重畳して表示される。図７に示すように、比較結果ＬＣは、画素ごとに色分けして示される。各画素の色は、比較結果ＬＣの右側に設けられるゲージＬＣｇにより示されるように、各画素における信頼度の比較結果を表す。

ゲージＬＣｇにおいて、正の値は、信頼度情報ＬＬ４における信頼度、すなわち第１ステレオセットＳＳ１の信頼度が、第２ステレオセットＳＳ２の信頼度よりも高いことを示す。ゲージＬＣｇにおいて、負の値は、信頼度情報ＬＲ４における信頼度、すなわち第２ステレオセットＳＳ２の信頼度が、第１ステレオセットＳＳ１の信頼度よりも高いことを示す。

この場合において、生成部１５４は、信頼度と所定の閾値との比較を、例えば、信頼度の絶対値と所定の閾値との比較により実行する。例えば、所定の閾値が「１．１」であるとした場合、生成部１５４は、信頼度の差分の絶対値が「１．１」以上である場合に、信頼度の差分が所定の閾値以上であると判定する。

図７に示す例において、比較結果ＬＣの領域ＣＬに含まれる画素の色は、ゲージＬＣｇにおける信頼度「１．６」前後の色に対応する。すなわち、領域ＣＬに含まれる画素においては、第１ステレオセットＳＳ１の信頼度と第２ステレオセットＳＳ２の信頼度との差分が、所定の閾値以上であることを示す。また、比較結果ＬＣの領域ＣＲに含まれる画素の色は、ゲージＬＣｇにおける信頼度「−１．６」前後の色に対応する。すなわち、領域ＣＲに含まれる画素においては、第２ステレオセットＳＳ１の信頼度と第１ステレオセットＳＳ１の信頼度との差分が、所定の閾値以上であることを示す。

さらに、図７に示す例において、比較結果ＬＣの領域Ｃ０及び領域ＣＣに含まれる画素の色は、ゲージＬＣｇにおける信頼度「０」前後の色に対応する。すなわち、領域Ｃ０及び領域ＣＣに含まれる画素においては、第１ステレオセットＳＳ１の信頼度と、第２ステレオセットＳＳ２の信頼度との差分が所定の閾値よりも小さいことを示す。

生成部１５４は、例えば、信頼度の差分が所定の閾値以上である場合、信頼度が高い方のステレオセットに対応する視差情報を用いて、対象画素の距離情報を算出する。例えば、判定対象となる画素が、比較結果ＬＣにおける領域ＣＲに含まれる場合、生成部１５４は、対象画素において信頼度が高い方のステレオセットに対応する視差情報ＬＲ３を用いて、距離情報を算出する。この場合、生成部１５４は、第２ステレオセットＳＳ２に対応する、対象画素における視差情報ＬＲ３を用いて、距離情報を算出する。なお、「画素が比較結果ＬＣにおける領域ＣＲに含まれる場合」は、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｌ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｈ内に含まれる画素である場合である。

一方、例えば、判定対象となる画素が、比較結果ＬＣにおける領域ＣＬに含まれる場合、生成部１５４は、対象画素において信頼度が高い方のステレオセットに対応する、視差情報ＬＬ３を用いて、距離情報を算出する。この場合、生成部１５４は、第１ステレオセットＳＳ１に対応する、対象画素における視差情報ＬＬ３を用いて、距離情報を算出する。なお、「対象画素が比較結果ＬＣにおける領域ＣＬに含まれる場合」は、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｈ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｌ内に含まれる画素であるである。

生成部１５４は、例えば、信頼度情報ＬＬ４における信頼度と、信頼度情報ＬＲ４における信頼度との差分が所定の閾値未満である場合、第１ステレオ画像ＳＩ１の視差情報ＬＬ３と、第２ステレオ画像ＳＩ２の視差情報ＬＲ３とを組み合わせて、距離情報を算出してもよい。信頼度の差分が所定の閾値未満である場合とは、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｈ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｈ内に含まれる画素である場合、すなわち対象画素が比較結果ＬＣにおける領域ＣＣに含まれる場合である。

この場合、生成部１５４は、例えば、第１ステレオ画像ＳＩ１の視差情報ＬＬ３を、信頼度情報ＬＬ４における信頼度で重み付けするとともに、第２ステレオ画像ＳＩ２の視差情報ＬＲ３を、信頼度情報ＬＲ４における信頼度で重み付けしてもよい。そして、生成部１５４は、重み付けされた第１ステレオ画像ＳＩ１の視差情報と、第２ステレオ画像ＳＩ２の視差情報とを組み合わせて、比較結果ＬＣにおける領域ＣＣに含まれる対象画素の距離情報を算出する。

なお、例えば、信頼度情報ＬＬ４における信頼度と、信頼度情報ＬＲ４における信頼度との差分が所定の閾値未満である場合であっても、第１ステレオセットＳＳ１の信頼度と、第２ステレオセットＳＳ２の信頼度との両方が低い場合は、精度の高い距離情報が測定できない場合がある。なお、両方の信頼度が低い場合とは、例えば、判定対象となる画素が、信頼度情報ＬＬ４における領域ＬＬｌ内に含まれる画素であり、かつ信頼度情報ＬＲ４における領域ＬＲｌ内に含まれる画素である場合、すなわち対象画素が比較結果ＬＣにおける領域Ｃ０に含まれる場合である。

このような場合、生成部１５４は、視差情報ＬＬ３と視差情報ＬＲ３とを組み合わせて距離情報の算出に用いる代わりに、例えば「距離算出不能」を示す距離情報を出力してもよい。例えば、生成部１５４は、比較結果ＬＣにおける領域Ｃ０に含まれる対象画素に対して、「距離算出不能」を示す距離情報を出力してもよい。

そして、生成部１５４は、比較結果ＬＣに示す各画素について算出又は出力された距離情報を、平行化後の基準画像ＬＬ２又はＬＲ２に統合することで、統合された距離情報ＣＤを生成する。

このような構成により、測距システム１は、第１ステレオセットＳＳ１に対応するステレオ画像ＳＩ１の視差情報と、第２ステレオセットＳＳ２に対応するステレオ画像ＳＩ２の視差情報との両方を活用することで、より精度の高い距離情報を測定することができる。

図８は、実施形態におけるステレオカメラを用いた測距処理における視差と対象物までの距離との関係の一例を示す図である。図８に示すグラフは、図３と同様に、縦軸に対象物までの距離を示し、横軸に各ステレオセットに対応するステレオ画像における視差を示す。

図８において、グラフＶＳ１は、第１ステレオ画像ＳＩ１における距離と視差との対応関係を示す。矢印ＡＲ１は、第１ステレオ画像ＳＩ１を用いて適切な距離測定ができる距離の範囲を示す。同様に、グラフＶＳ２は、第２ステレオ画像ＳＩ２における距離と視差との対応関係を示す。矢印ＡＲ２は、第２ステレオ画像ＳＩ２を用いて適切な距離測定ができる距離の範囲を示す。

図８において、矢印ＡＲ１に含まれる距離の範囲は、例えば、図７に示す比較結果ＬＣにおける領域ＣＬと略対応関係にある。同様に、矢印ＡＲ２に含まれる距離の範囲は、例えば、比較結果ＬＣにおける領域ＣＲと略対応関係にある。すなわち、本実施形態においては、対象物までの距離に応じて、第１ステレオセットＳＳ１に対応するステレオ画像ＳＩ１の視差情報と、第２ステレオセットＳＳ２に対応するステレオ画像ＳＩ２の視差情報とのうち、より適切な視差情報が距離測定に用いられる。

また、図８において、矢印ＡＲ３は、矢印ＡＲ１が示す距離の範囲と、矢印ＡＲ２が示す距離の範囲とに重複して含まれる範囲を示す。矢印ＡＲ３に含まれる距離の範囲は、例えば、図７に示す比較結果ＬＣにおける領域ＣＣと略対応関係にある。すなわち、本実施形態において、第１ステレオ画像ＳＩ１の視差情報と、第２ステレオ画像ＳＩ２の視差情報との両方が距離測定において有用である場合、距離情報は両方の視差情報の組み合わせに基づいて算出される。これにより、本実施形態においては、より高い精度で対象物までの距離を測定できる。

なお、図８において、矢印ＡＲ０は、矢印ＡＲ１が示す距離の範囲にも、矢印ＡＲ２が示す距離の範囲にも含まれない範囲を示す。矢印ＡＲ０に含まれる距離の範囲は、例えば、図７に示す比較結果ＬＣにおける領域Ｃ０と略対応関係にある。

図９は、実施形態における測距処理の一例を示すフローチャートである。図９に示すように、まず、取得部１５１は、撮像装置２０により撮像された第１画像、第２画像及び第３画像の各画像を取得する（ステップＳ１０１）。次に、較正部１５２は、複数の撮像部２の組み合わせであるステレオセットとして、第１ステレオセットＳＳ１及び第２ステレオセットＳＳ２を決定する（ステップＳ１０２)。

次に、較正部１５２は、第１ステレオセットＳＳ１に対応するステレオ画像ＳＩ１を平行化する（ステップＳ１０３）。また、較正部１５２は、第１ステレオ画像ＳＩ１を平行化する際に用いたパラメータを用いて、第２ステレオセットＳＳ２に対応する第２ステレオ画像ＳＩ２を平行化する（ステップＳ１０４）。

次に、算出部１５３は、平行化された第１ステレオ画像ＳＩ１及び平行化された第２ステレオ画像ＳＩ２のそれぞれについて、画素単位で視差情報を算出する（ステップＳ１０５）。また、算出部１５３は、平行化された第１ステレオ画像ＳＩ１及び平行化された第２ステレオ画像ＳＩ２のそれぞれについて、画素単位で信頼度を算出する（ステップＳ１０６）。

次に、生成部１５４は、第１ステレオ画像ＳＩ１及び第２ステレオ画像ＳＩ２から、対応する画素を選択する（ステップＳ１１１）。そして、生成部１５４は、第１ステレオセットＳＳ１の信頼度と、第２ステレオセットＳＳ２の信頼度との差分を選択された画素に基づいて算出し、所定の閾値以上であるか否かを判定する（ステップＳ１２０）。

生成部１５４は、信頼度の差分が所定の閾値以上であると判定した場合（ステップＳ１２０：Ｙｅｓ）、信頼度が高い方のステレオセットＳＳに対応する視差を用いて、距離を算出する（ステップＳ１２１）。一方、生成部１５４は、信頼度の差分が所定の閾値未満であると判定した場合（ステップＳ１２０：Ｎｏ）、それぞれのステレオセットＳＳに対応する視差に重み付けをして、重み付き距離を算出する（ステップＳ１２２）。

そして、生成部１５４は、平行化後の基準画像ＬＬ２に含まれる全ての画素について距離を測定したか否かを判定する（ステップＳ１３０）。生成部１５４は、全ての画素について距離を測定していないと判断した場合（ステップＳ１３０：Ｎｏ）、ステップＳ１１１に戻って処理を繰り返す。

生成部１５４は、全ての画素について距離を測定したと判断した場合（ステップＳ１３０：Ｙｅｓ）、算出された画素ごとの距離を合成して、平行化後の基準画像ＬＬ２に重ね合わせた距離情報を生成する（ステップＳ１３１）。

以上述べたように、実施形態における測距システム１は、それぞれ異なる位置から対象物を撮像する、複数の撮像部２１，２２，２３と、取得部１５１と、較正部１５２と、生成部１５４とを備える。取得部１５１は、前記複数の撮像装置のうち、第１の撮像部２１により撮像された第１画像ＢＬ１、第２の撮像部２２により撮像された第２画像ＲＬ１、及び第３の撮像部２３により撮像された第３画像ＲＲ１を取得する。較正部１５２は、前記第１画像と前記第２画像とを含む第１のステレオ画像ＳＩ１を較正するとともに、前記第１のステレオ画像ＳＩ１の較正に用いられたパラメータを用いて、前記第１画像と前記第３画像とを含む第２のステレオ画像ＳＩ２を較正する。生成部１５４は、較正された前記第１のステレオ画像ＳＩ１と、較正された前記第２のステレオ画像ＳＩ２とに基づいて、前記対象物までの距離を示す３次元情報を生成する。これにより、高い精度で対象物までの距離を測定できる。

なお、上で述べたように、背景技術においては、例えば対象物までの距離Ｚが３０ｃｍ未満である場合や、対象物の大きさがφ１．５未満であるような場合は、距離を正確に推測できない場合がある。本実施形態においては、いずれかのステレオセットの基線長を短くすることで、より小さい対象物や近くにある対象物についても、より精度よく距離を測定できる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて種々の変更が可能である。例えば、測距システム１が、３つの撮像部２１、２２及び２３を有する構成について説明したが、実施形態はこれに限られず、例えば測距システムが４つ以上の撮像部を備えるような構成であってもよい。この場合、測距システムは、同一の基準画像を含む３つ以上のステレオセットを決定することができるので、距離測定の精度をより高めることができる。

また、３つの撮像部のうち、左端に設けられる第１撮像部２１を基準撮像部とする実施形態について説明したが、これに限られず、第２撮像部２２又は第３撮像部２３が基準撮像部となってもよい。これにより、３つの撮像部２を用いて、より多くのステレオセットＳＳの組み合わせを実現できる。

また、画素単位でステレオ画像間の信頼度を比較する構成について説明したが、実施の形態はこれに限られない。例えば、より小さなサブピクセルオーダーで信頼度を比較してもよく、画素よりも大きな単位で信頼度を比較してもよい。

また、視差情報は、各カメラの性質や周辺の明るさ等にも左右される。そこで、視差情報の信頼度の安定性を向上させるために、比較対象とする画素に近接する画素における信頼度（周辺視差に関する信頼度）を比較対象としてもよい。その際、比較対象とする画素の信頼度と、周辺視差に関する信頼度とのうち、より安定度が高い方を選択するような構成であってもよい。

また、上で述べたように、信頼度の差分の代わりに、信頼度の比率に基づいて、距離情報を算出するような構成であってもよい。例えば、図９に示すフローチャートのステップＳ１２０において、生成部１５４は、信頼度の比率が所定の閾値以上であるか否かを判定してもよい。

この場合において、生成部１５４は、信頼度の比率が所定の閾値以上であると判定した場合（ステップＳ１２０：Ｙｅｓ）、信頼度が高い方のステレオセットＳＳに対応する視差を用いて、距離を算出する（ステップＳ１２１）。一方、生成部１５４は、信頼度の差分が所定の閾値未満であると判定した場合（ステップＳ１２０：Ｎｏ）、それぞれのステレオセットＳＳに対応する視差に重み付けをして、重み付き距離を算出する（ステップＳ１２２）。

また、較正部１５２は、入力部１２を介して、測距システム１の利用者から基準撮像部の選択を受け付けてもよい。この場合における入力部１２及び較正部１５２は、選択部の一例である。

また、測距装置１０と撮像装置２０とが別々の装置である構成について説明したが、測距装置１０と撮像装置２０とは一体に形成されていてもよい。また、一つの撮像装置２０が複数の撮像部２を備える測距システム１について説明したが、これに限られず、測距システムが複数の撮像装置２０を含むような構成であってもよい。この場合、測距装置１０は、複数の撮像装置２０により、同一時点において撮像された画像を用いる。

また、上記実施の形態により本発明が限定されるものではない。上述した各構成要素を適宜組み合わせて構成したものも本発明に含まれる。また、さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、上記の実施の形態に限定されるものではなく、様々な変更が可能である。

１ 測距システム、 １０ 測距装置、 １１ 通信部、 １２ 入力部、 １３ 表示部、 １４ 記憶部、 １５ 制御部、 １５１ 取得部、 １５２ 較正部、 １５３ 算出部、 １５４ 生成部、 ２０ 撮像装置、 ２１ 第１撮像部、 ２２ 第２撮像部、 ２３ 第３撮像部

Claims (11)

1. それぞれ異なる位置から対象物を撮像する、複数の撮像部を備える測距システムであって、
   前記複数の撮像部のうち、第１の撮像部により撮像された第１画像、前記複数の撮像部のうち、第２の撮像部により撮像された第２画像、及び前記複数の撮像部のうち、第３の撮像部により撮像された第３画像を取得する取得部と、
   前記第１画像と前記第２画像とを含む第１のステレオ画像を較正するとともに、前記第１のステレオ画像の較正に用いられたパラメータを用いて、前記第１画像と前記第３画像とを含む第２のステレオ画像を較正する較正部と、
   較正された前記第１のステレオ画像と、較正された前記第２のステレオ画像と、に基づいて、前記対象物までの距離を示す３次元情報を生成する生成部と、を備える測距システム。
2. 前記較正された前記第１のステレオ画像を用いて、第１の視差情報を算出するとともに、前記較正された前記第２のステレオ画像を用いて、第２の視差情報を算出する算出部をさらに備え、
   前記生成部は、算出された前記第１の視差情報及び前記第２の視差情報を用いて、前記３次元情報を生成する、
   請求項１に記載の測距システム。
3. 前記算出部は、前記第１の視差情報の信頼度及び前記第２の視差情報の信頼度をそれぞれ算出し、
   前記生成部は、生成された前記第１の視差情報の信頼度及び前記第２の視差情報の信頼度に基づいて、前記３次元情報を生成する、
   請求項２に記載の測距システム。
4. 前記生成部は、前記第１の視差情報の信頼度及び前記第２の視差情報の信頼度との差分又は比率が、所定の閾値以上である場合に、前記第１の視差情報及び前記第２の視差情報のうち、前記信頼度が高い方の視差情報を用いて、前記３次元情報を生成する、請求項３に記載の測距システム。
5. 前記生成部は、前記第１の視差情報の信頼度及び前記第２の視差情報の信頼度との差分又は比率が、所定の閾値未満である場合に、前記第１の視差情報及び前記第２の視差情報をそれぞれ重み付けして、前記３次元情報を生成する、請求項３又は４に記載の測距システム。
6. 前記算出部は、前記第１の視差情報の信頼度及び前記第２の視差情報の信頼度をそれぞれ画素単位で算出し、
   前記生成部は、前記画素単位における前記対象物までの距離を示す前記３次元情報を生成する、
   請求項３乃至５のいずれか１つに記載の測距システム。
7. 前記算出部は、前記第１画像に含まれる特徴情報と、前記第２画像に含まれる特徴情報及び前記第３画像に含まれる特徴情報のうち少なくともいずれかを用いて、較正処理に使われる前記パラメータとして平行化パラメータを算出する、請求項２乃至６のいずれか１つに記載の測距システム。
8. 前記第１画像、前記第２画像及び前記第３画像のうちいずれかの選択を受け付ける選択部をさらに備え、
   前記較正部は、選択された前記いずれかの画像を含む２組のステレオ画像を前記第１のステレオ画像及び前記第２のステレオ画像として決定する、
   請求項２乃至７のいずれか１つに記載の測距システム。
9. 前記算出部が、複数の前記パラメータを算出し、
   前記選択部が、算出された複数の前記パラメータのうち、較正に用いられる前記パラメータの選択をさらに受け付ける、請求項８に記載の測距システム。
10. それぞれ異なる位置から対象物を撮像した第１画像、第２画像及び第３画像を取得し、
    前記第１画像と前記第２画像とを含む第１のステレオ画像を較正するとともに、前記第１のステレオ画像の較正に用いられたパラメータを用いて、前記第１画像と前記第３画像とを含む第２のステレオ画像を較正し、
    較正された前記第１のステレオ画像と、較正された前記第２のステレオ画像と、に基づいて、前記対象物までの距離を示す３次元情報を生成する、
    コンピュータが実行する測距方法。
11. それぞれ異なる位置から対象物を撮像した第１画像、第２画像及び第３画像を取得し、
    前記第１画像と前記第２画像とを含む第１のステレオ画像を較正するとともに、前記第１のステレオ画像の較正に用いられたパラメータを用いて、前記第１画像と前記第３画像とを含む第２のステレオ画像を較正し、
    較正された前記第１のステレオ画像と、較正された前記第２のステレオ画像とに基づいて、前記対象物までの距離を示す３次元情報を生成する、
    コンピュータにより実行される測距プログラム。

Images