JP2010091426A - 距離計測装置及びプログラム - Google Patents

Abstract

【課題】対象物の３次元位置を精度よく計測することができるようにする。
【解決手段】第１撮像部２０及び第２撮像部２２によって、撮像対象物を各々異なる位置から撮像して、複数の撮像画像データを出力し、３次元距離算出部２４によって、出力された複数の撮像画像データに基づいて、撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出して距離画像を生成する。レーザレーダ１４によって、レーザの走査方向に並んだ各２次元位置までの距離を計測する。座標変換部３２によって、レーザレーダ１４によって距離が計測された２次元位置を、距離画像の画素座標に変換する。補正領域抽出部３４によって、変換された画素座標に基づいて、位置距離画像から補正対象領域を抽出し、３次元距離補正部３６によって、補正対象領域内の各画素に対応する３次元位置までの距離を、レーザレーダ１４によって計測された距離に補正する。
【選択図】図１

Description

本発明は、距離計測装置及びプログラムに係り、特に、撮像対象物の３次元位置までの距離を計測する距離計測装置及びプログラムに関する。

従来より、複数台のカメラによる画像情報を基に、三角測量の原理を利用して対象物の３次元的な位置を算出し、３次元障害物の認識を行うことが知られている。例えば、複数台の広角カメラを利用して、複数の画像の情報から、対象物の３次元位置を計測する広角測距システムが知られている（特許文献１）。
特開２００７−２７８８３７号公報

しかしながら、特許文献１に記載の技術では、対象物までの距離が遠くなるにつれて、計測の距離分解能が大きく低下し、計測結果の分散も大きくなるため、計測精度が低下してしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、３次元位置までの距離を精度よく計測することができる距離計測装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る距離計測装置は、撮像対象物を各々異なる位置から撮像して、複数の撮像画像データを出力する撮像手段と、前記撮像手段より出力された複数の撮像画像データに基づいて、前記撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する画像距離算出手段と、前記画像距離算出手段で算出された距離より高い精度で、前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段と、前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段と、前記位置変換手段によって変換された画素位置と前記距離計測手段によって計測された距離とに基づいて、前記距離算出手段によって算出された前記領域内の画素に対応する３次元位置までの距離を補正する補正手段とを含んで構成されている。

また、第２の発明に係るプログラムは、コンピュータを、撮像対象物を各々異なる位置から撮像して、複数の撮像画像データを出力する撮像手段より出力された複数の撮像画像データに基づいて、前記撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する画像距離算出手段、前記画像距離算出手段で算出された距離より高い精度で、前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段、前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段、及び前記位置変換手段によって変換された画素位置と前記距離計測手段によって計測された距離とに基づいて、前記距離算出手段によって算出された前記領域内の画素に対応する３次元位置までの距離を補正する補正手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、撮像手段によって、撮像対象物を各々異なる位置から撮像して、複数の撮像画像データを出力し、画像距離算出手段によって、撮像手段より出力された複数の撮像画像データに基づいて、撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する。

また、距離計測手段によって、画像距離算出手段で算出された距離より高い精度で、撮像対象物を表わす領域より狭い領域の特定位置までの距離を計測する。

そして、位置変換手段によって、距離計測手段によって距離が計測された特定位置を、撮像対象物を表わす領域内の画素位置に変換し、補正手段によって、位置変換手段によって変換された画素位置と距離計測手段によって計測された距離とに基づいて、距離算出手段によって算出された領域内の画素に対応する３次元位置までの距離を補正する。

このように、複数の撮像画像から算出された距離より高い精度で計測された狭い領域の特定位置までの距離を用いて、撮像対象物を表わす領域内の画素に対応する３次元位置までの距離を補正することにより、３次元位置までの距離を精度よく計測することができる。

第１の発明に係る補正手段は、位置変換手段によって変換された画素位置を含む周辺画素のうち、該画素に対応する３次元位置までの距離が、距離計測手段によって計測された距離を含む所定範囲内である画素について、画素に対応する３次元位置までの距離を、距離計測手段によって計測された距離に補正することができる。これによって、撮像対象物を表わす領域内の複数の画素に対応する３次元位置までの距離を精度よく計測することができる。

第１の発明に係る距離計測手段は、撮像対象物を表わす領域より狭い領域に対して、レーザを照射し、レーザが照射された位置を、狭い領域の特定位置として、特定位置までの距離を計測することができる。また、本発明に係る距離計測手段は、レーザを走査することにより、レーザが照射された走査方向に並んだ各位置を特定位置として、特定位置までの距離を計測することができる。

上記のレーザを走査する距離計測手段を含む発明に係る補正手段は、位置変換手段によって変換された画素位置を含む走査方向と直交する方向に並んだ複数の画素のうち、該画素に対応する３次元位置までの距離が、距離計測手段によって計測された距離を含む所定範囲内である画素について、画素に対応する３次元位置までの距離を、距離計測手段によって計測された距離に補正することができる。これによって、撮像対象物を表わす領域内の複数の画素に対応する３次元位置までの距離を精度よく計測することができる。

第１の発明に係る距離計測装置は、撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する画像分割手段を更に含み、補正手段は、位置変換手段によって変換された画素位置を含む分割された領域内の画素について、画素に対応する３次元位置までの距離を、距離計測手段によって計測された距離に補正することができる。これによって、撮像対象物を表わす分割領域内の複数の画素に対応する３次元位置までの距離を精度よく計測することができる。

第３の発明に係る距離計測装置は、撮像対象物を撮像して、撮像画像データを出力する撮像手段と、前記撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する画像分割手段と、前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段と、前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段と、前記位置変換手段によって変換された画素位置を含む前記分割された領域内の画素について、前記画素に対応する３次元位置までの距離として、前記距離計測手段によって計測された距離を計測する距離計測手段とを含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、撮像対象物を撮像して、撮像画像データを出力する撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する画像分割手段、前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段、前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段、及び前記位置変換手段によって変換された画素位置を含む前記分割された領域内の画素について、前記画素に対応する３次元位置までの距離として、前記距離計測手段によって計測された距離を計測する距離計測手段として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、撮像手段によって、撮像対象物を撮像して、撮像画像データを出力する。画像分割手段によって、撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する。

そして、距離計測手段によって、撮像対象物を表わす領域より狭い領域の特定位置までの距離を計測し、位置変換手段によって、距離計測手段によって距離が計測された特定位置を、撮像対象物を表わす領域内の画素位置に変換する。

そして、距離計測手段によって、位置変換手段によって変換された画素位置を含む分割された領域内の画素について、画素に対応する３次元位置までの距離として、距離計測手段によって計測された距離を計測する。

このように、撮像対象物を表わす領域より狭い領域の特定位置までの計測された距離を用いて、撮像対象物を表わす領域毎に分割された領域内の画素に対応する３次元位置までの距離を計測することにより、撮像対象物を表わす領域の３次元位置までの距離を計測することができる。

以上説明したように、本発明の距離計測装置及びプログラムによれば、複数の撮像画像から算出された距離より高い精度で計測された狭い領域の特定位置までの距離を用いて、撮像対象物を表わす領域内の画素に対応する３次元位置までの距離を補正することにより、３次元位置までの距離を精度よく計測することができる、という効果が得られる。

また、撮像対象物を表わす領域より狭い領域の特定位置までの計測された距離を用いて、撮像対象物を表わす領域毎に分割された領域内の画素に対応する３次元位置までの距離を計測することにより、撮像対象物を表わす領域の３次元位置までの距離を計測することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、屋内環境や街中の歩道環境を移動する知的移動体に搭載された距離計測装置に、本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る距離計測装置１０は、知的移動体の前方に存在する撮像対象物を各々異なる位置から撮像して２枚の撮像画像データを生成し、２枚の撮像画像データから撮像対象物が存在する３次元位置までの距離を計測する３次元距離計測装置１２と、知的移動体の前方を含む周囲に対してレーザを走査して、レーザが照射された各２次元位置までの距離を計測するレーザレーダ１４と、レーザレーダ１４によって計測された距離に基づいて、３次元距離計測装置１２によって計測された距離を補正して、補正された計測結果を表示装置１８に表示させるコンピュータ１６とを備えている。

３次元距離計測装置１２は、例えばＣＣＤカメラから構成され、かつ、知的移動体の前方に存在する撮像対象物を撮像し、図２に示すような撮像画像データを出力する第１撮像部２０と、例えばＣＣＤカメラから構成され、かつ、知的移動体の前方に存在する撮像対象物を、第１撮像部２０とは異なる位置から撮像し、撮像画像データを出力する第２撮像部２２と、第１撮像部２０から出力された撮像画像データ、及び第２撮像部２２から出力された撮像画像データに基づいて、撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する３次元距離算出部２４とを備えている。

第１撮像部２０及び第２撮像部２２の各々は、撮像対象物を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。後述する処理を簡易化するために、第１撮像部２０及び第２撮像部２２は、同じ焦点距離であることが好ましく、本実施の形態では、第１撮像部２０及び第２撮像部２２の焦点距離が同じ場合を例に説明する。

３次元距離算出部２４は、第１撮像部２０から出力された撮像画像データが表わす撮像対象物を、第２撮像部２２から出力された撮像画像データにおいて追跡し、２つの撮像画像データ間で投影された撮像対象物の対応点を抽出し、以下に説明するように、三角測量の原理を利用して、撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する。

まず、図３に示すように、第１撮像部２０から出力された撮像画像データ（図３の左画像参照）の中心から対応点までの距離ｄｌと、第２撮像部２２から出力された撮像画像データ（図３の右画像参照）の中心から対応点までの距離ｄｒとを算出する。そして、第１撮像部２０及び第２撮像部２２の距離ｂ（ベースラインの距離）、焦点距離ｆ、及び算出された距離ｄｌ、ｄｒに基づいて、三角測量の原理により、撮像対象物の対応点に対応する３次元位置までの距離ｒを算出する。

３次元距離算出部２４は、上記の算出方法により、撮像画像データが表わす撮像対象物の各対応点に対応する３次元位置までの距離を算出し、図４（Ｂ）に示すような、各画素に対応する３次元位置までの距離を表した距離画像を生成する。

また、レーザレーダ１４は、知的移動体の周囲に対してレーザ光を横方向に走査しながら照射するレーザ走査部２６と、レーザ光が照射された位置からのレーザ光の反射光を受光するレーザ受光部２８と、レーザ光が照射された周囲の走査方向に並んだ２次元位置の各々までの距離を演算する２次元距離算出部３０とを備えている。なお、レーザレーダ１４は、３次元距離計測装置１２で計測される距離より高い精度で、２次元位置までの距離を計測する。また、レーザレーダ１４は、距離画像が生成される範囲（第１撮像部２０及び第２撮像部２２の撮像範囲）より狭い範囲にレーザ光を走査するため、レーザ光が照射される領域は、距離画像が表わす領域よりも狭い領域となる。

２次元距離算出部３０は、レーザ光が照射された周囲の走査方向に並んだ２次元位置の各々に対して、レーザ走査部２６によってレーザ光を照射してから、レーザ受光部２８によって受光するまでの時間によって、２次元位置までの距離を算出すると共に、算出された距離及びレーザ光の走査位置に基づいて、図４（Ｂ）に示すように、レーザ光が照射された走査方向に並んだ各２次元位置までの距離を演算する。上記図４（Ｂ）では、レーザレーダ１４を上面から見た場合の、各レーザ照射方向に存在する対象物までの距離を示している。

コンピュータ１６は、ＣＰＵ、後述する計測距離補正処理ルーチンを実行するためのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、レーザレーダ１４によって距離が計測された各２次元位置を、３次元距離計測装置１２で生成された距離画像の座標系における画素座標に変換する座標変換部３２と、座標変換部３２によって変換された画素座標、及び３次元距離計測装置１２で生成された距離画像の各画素の距離に基づいて、距離画像から距離の補正対象となる領域を抽出する補正領域抽出部３４と、抽出された補正対象の領域内の各画素について、レーザレーダ１４によって計測された距離を用いて、画素に対応する３次元位置までの距離を補正する３次元距離補正部３６と、補正された計測結果を表わす画像を表示装置１８に表示させる表示制御部３８とを備えている。

座標変換部３２は、以下に説明するように、レーザレーダ１４によって距離が計測された各２次元位置を、３次元距離計測装置１２で生成された距離画像の座標系における画素座標に変換する。

ここで、レーザレーダ１４と３次元距離計測装置１２（特に、第１撮像部２０及び第２撮像部２２）との設置オフセットを既知とし、レーザレーダ１４の照射方向のピッチ角と、３次元距離計測装置１２の第１撮像部２０及び第２撮像部２２の撮像方向のピッチ角とが同一とする。また、レーザレーダ１４と３次元距離計測装置１２の第１撮像部２０及び第２撮像部２２との各々の幅方向及び奥行き方向の軸の向きを合わせ、レーザレーダ１４と３次元距離計測装置１２の第１撮像部２０及び第２撮像部２２との幅方向の設置オフセットをｘ＿ｏｆｆｓｅｔとし、高さ方向の設置オフセットをｙ＿ｏｆｆｓｅｔとし、奥行き方向の設置オフセットをｚ＿ｏｆｆｓｅｔとする。

そして、上記の設置オフセットを用いて、レーザレーダ１４によって距離が計測された２次元位置を、３次元距離計測装置１２で生成された距離画像の画素座標に変換する。

また、座標変換部３２は、レーザレーダ１４によって計測された２次元位置までの距離を、３次元距離計測装置１２で生成された距離画像上における距離に変換する。

補正領域抽出部３４は、以下に説明するように、距離画像から距離の補正対象となる領域を抽出する。

まず、レーザレーダ１４によって距離が計測された２次元位置に対応する画素の各々について、計測された２次元位置に対応する注目画素を含む、走査方向と直交する縦ラインの複数の画素から、画素に対応する３次元位置までの距離とレーザレーダ１４により計測された注目画素に対応する２次元位置までの距離（座標変換部３２により変換された距離）との差の絶対値が、閾値範囲内となる画素を検索する。

ここで、上記の閾値について、レーザレーダ１４によって計測された注目画素に対応する２次元位置までの距離が長いほど、誤差が大きくなるため、大きな閾値が決定される。例えば、第１撮像部２０及び第２撮像部２２の焦点距離をｆとし、ベースライン（第１撮像部２０及び第２撮像部２２間の設置距離）をｂとし、視差（左画像と右画像との違い）あたりの距離をΔｄとし、レーザレーダ１４によって計測された対象までの距離とｒとした場合、２枚の撮像画像データから算出される距離解像度は、以下の（１）式で算出される。

上記（１）式で算出される距離解像度は、図５に示すように、距離ｒが大きいほど、距離解像度が大きくなる。従って、上記（１）式で算出される距離解像度が大きいほど、上記の閾値として大きな値を設定すればよい。

そして、レーザレーダ１４によって距離が計測された走査方向の各２次元位置に対応する画素を注目画素として、上記のように画素の検索を行い、検索された画素群を、補正対象領域として抽出する。

例えば、図６に示すように、レーザレーダ１４によって距離が計測された走査方向の各２次元位置に対応する画素を含む複数の縦ラインからなる領域が、補正対象の領域として抽出される。上記図６では、レーザレーダ１４からのレーザが照射されている対象物を表わす領域が補正対象の領域として抽出され、レーザレーダ１４からのレーザが照射されていない対象物を表わす領域については、補正対象の領域として抽出されてないため、３次元距離計測装置１２の計測結果がそのまま出力される。

ここで、本実施の形態における原理について説明する。複数の画像データから対象物の３次元位置を計測する方法においては、複数画像データ間で投影された対象物の対応点を抽出し、それらの対応点のずれを用いて３次元位置を計測する。しかしながら、この対象物のずれの検出は、画像の画素（ピクセル）単位でしか検出できない。従って、レンズの焦点距離により異なるが、対象物が遠くになるほど、この対象物の対応点のずれが小さくなっていく。さらに、対象物の位置が遠くなるほど、画素あたりの撮像範囲が広くなり、細かい対象を検出することが出来なくなる。これらの技術的理由から、結果的に距離解像度が低下し、遠い距離において精度の高い３次元計測を行うことが難しくなり、計測される３次元位置までの距離の精度が低下する。

そこで、本実施の形態では、３次元距離補正部３６において、補正対象の領域内にある、レーザレーダ１４によって距離が計測された２次元位置に対応する画素に対してレーザレーダ１４によって計測された距離（座標変換部３２により変換された距離）を用いて、抽出された補正対象の領域内の各画素について、画素に対応する３次元位置までの距離を補正する。例えば、補正対象の領域内に、レーザレーダ１４によって距離が計測された２次元位置に対応する画素が複数存在する場合、補正対象の領域内の全ての画素の距離を、レーザレーダ１４による計測距離のうち最も小さい値に補正する。

表示制御部３８は、撮像画像から検出される対象物までの距離として、補正された距離を用いて、図７に示すような計測結果を表わす画像を表示装置１８に表示させる。上記図７では、対象物を表わす領域の中心点の距離を表示している。

次に、本実施の形態に係る距離計測装置１０の作用について説明する。

まず、３次元距離計測装置１２の第１撮像部２０及び第２撮像部２２の各々によって、前方が撮像されて、前方に存在する撮像対象物を表わす撮像画像データが出力され、２枚の撮像画像データから距離画像が生成される。また、レーザレーダ１４によって、レーダが知的移動体の周囲を横方向に走査されて、走査方向に並んだレーザ照射位置としての２次元位置の各々までの距離が計測される。

そして、コンピュータ１６によって、図８に示す計測距離補正処理ルーチンが実行される。

まず、ステップ１００において、レーザレーダ１４から、走査方向に並んだ各２次元位置までの計測距離を表わすデータを取得し、ステップ１０２において、３次元距離計測装置１２から、前方に存在する撮像対象物を表わす領域の各画素に対応する３次元位置までの距離を表わす距離画像を取得する。

そして、ステップ１０４において、上記ステップ１００で取得されたデータが表わす距離が計測された２次元位置の各々を、上記ステップ１０２で取得された距離画像の画素座標に変換する。次のステップ１０６では、上記ステップ１００で取得されたデータが表わす２次元位置までの距離を、上記ステップ１０２で取得された距離画像上における距離に変換する。

そして、ステップ１０８において、上記ステップ１０４で変換された２次元位置に対応する画素座標と、上記ステップ１０６で変換された計測距離に対応する距離画像上の距離と、距離画像の各画素に対応する３次元位置までの距離に基づいて、距離画像から補正対象の領域を抽出する。

次のステップ１１０では、上記ステップ１０８で抽出された補正対象の領域内の各画素に対応する３次元位置までの距離を、上記ステップ１０８で変換された２次元位置までの距離に対応する距離画像上の距離を用いて補正する。

そして、ステップ１１２において、上記ステップ１１０で補正された計測結果を表わす画像を表示装置１８に表示させて、計測距離補正処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る距離計測装置によれば、複数の撮像画像データから算出される距離より高い精度でレーザレーダにより計測された２次元位置までの距離を用いて、複数の撮像画像データから算出される撮像対象物の３次元位置までの距離を補正することにより、撮像対象物の３次元位置までの距離を精度よく計測することができる。

また、複数の画像データから算出される３次元位置までの距離は、距離が遠くなると精度が大きく低下するが、距離による精度の低下が少ないレーザレーダの計測結果を用いて、複数の画像データから算出される３次元位置までの距離を補正することにより、高精度な３次元障害物の認識が可能となる。

なお、レーザレーダによって距離が計測された２次元位置に対応する画素を注目画素として、注目画素を含む縦ラインの複数の画素から、画素に対応する３次元位置までの距離が所定範囲内となる画素を検索して、補正対象の領域を抽出する場合を例に説明したが、これに限定されるものではなく、注目画素を含む周辺の複数の画素から、画素に対応する３次元位置までの距離が所定範囲内となる画素を検索して、補正対象の領域を抽出するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、形状認識により領域分割を行い、レーザレーダにより計測された２次元位置までの距離を用いて、分割領域内の３次元位置までの距離を補正している点が、第１の実施の形態と異なっている。

図９に示すように、第２の実施の形態に係る距離計測装置２１０のコンピュータ２１６は、座標変換部３２と、第１撮像部２０から出力された撮像画像データに対して、エッジ処理を行って、形状認識し、撮像対象物を表わす領域毎に領域分割する領域分割部２３２と、座標変換部３２によって変換された画素座標、及び領域分割部２３２によって分割された分割領域に基づいて、距離画像から距離の補正対象となる領域を抽出する補正領域抽出部２３４と、３次元距離補正部３６と、表示制御部３８とを備えている。

領域分割部２３２は、第１撮像部２０から出力された撮像画像データに対して、エッジ処理を行って、撮像画像データが表わす撮像対象物の形状を認識し、撮像対象物を表わす領域毎に領域分割する。なお、撮像画像データに対して、パターン認識を行って、撮像対象物を表わす領域毎に領域分割するようにしてもよい。

補正領域抽出部３４は、距離画像から、レーザレーダ１４によって距離が計測された２次元位置に対応する画素の各々について、計測された２次元位置に対応する注目画素を含む、分割領域を特定し、特定された分割領域を、補正対象領域として抽出する。

第２の実施の形態に係る計測距離補正処理ルーチンでは、まず、レーザレーダ１４から、走査方向に並んだ各２次元位置までの計測距離を表わすデータを取得し、３次元距離計測装置１２から、前方に存在する撮像対象物を表わす領域の各画素に対応する３次元位置までの距離を表わす距離画像を取得する。

そして、上記で取得されたデータが表わす距離が計測された２次元位置の各々を、上記で取得された距離画像の画素座標に変換する。次に、取得されたデータが表わす２次元位置までの距離を、取得された距離画像上における距離に変換する。

そして、第１撮像部２０から撮像画像データを取得し、取得した撮像画像データについて、撮像対象物を表わす領域毎に、領域分割を行う。

そして、変換された２次元位置に対応する画素座標と、各分割領域とに基づいて、距離画像から補正対象となる分割領域を抽出する。

次に、抽出された補正対象となる分割領域内の各画素に対応する３次元位置までの距離を、上記で変換された２次元位置までの距離に対応する距離画像上の距離を用いて補正する。そして、補正された計測結果を表わす画像を表示装置１８に表示させて、計測距離補正処理ルーチンを終了する。

以上説明したように、第２の実施の形態に係る距離計測装置によれば、複数の撮像画像データから算出される距離より高い精度でレーザレーダにより計測された２次元位置までの距離を用いて、複数の撮像画像データから算出される、分割領域が表わす撮像対象物の３次元位置までの距離を補正することにより、撮像対象物の３次元位置までの距離を精度よく計測することができる。

なお、上記の実施の形態では、補正対象の領域内に含まれるレーザレーダ１４の計測位置に対応する画素の、２次元位置までの距離のうち、最小値を用いて、補正対象の領域内の画素に対応する３次元位置までの距離を補正する場合を例に説明したが、これに限定されるものではなく、例えば、補正対象の領域内に含まれるレーザレーダ１４の計測位置に対応する画素の、２次元位置までの距離の平均値を用いて、補正対象の領域内の画素に対応する３次元位置までの距離を補正するようにしてもよい。また、補正対象の領域内に含まれるレーザレーダ１４の計測位置に対応する画素の、２次元位置までの距離のうち、最大値を用いて、補正対象の領域内の画素に対応する３次元位置までの距離を補正するようにしてもよい。

また、２つの撮像部を用いて、２枚の撮像画像データを取得する場合を例に説明したが、これに限定されるものではなく、１つの撮像部によって各々異なる位置から撮像して、２枚の撮像画像データを取得するようにしてもよい。また、３つ以上の撮像部を用いて、３枚以上の撮像画像データを取得し、３枚以上の撮像画像データに基づいて、３次元位置までの距離を算出するようにしてもよい。

次に、第３の実施の形態について説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、形状認識により領域分割を行い、レーザレーダにより計測された２次元位置までの距離を用いて、分割領域内の３次元位置までの距離を計測している点が、第１の実施の形態と異なっている。

図１０に示すように、第３の実施の形態に係る距離計測装置３１０は、知的移動体の前方に存在する撮像対象物を撮像して撮像画像データを生成する撮像部３２０と、レーザレーダ１４と、レーザレーダ１４によって計測された距離に基づいて、撮像部３２０によって生成された撮像画像データの各画素に対応する３次元位置までの距離を計測して、計測結果を表示装置１８に表示させるコンピュータ３１６とを備えている。

コンピュータ３１６は、レーザレーダ１４によって距離が計測された各２次元位置を、撮像部３２０で生成された撮像画像データの座標系における画素座標に変換する座標変換部３３２と、領域分割部２３２と、座標変換部３３２によって変換された画素座標、及び領域分割部２３２によって分割された分割領域に基づいて、距離の計測対象となる分割領域を抽出する計測領域抽出部３３４と、抽出された計測対象の分割領域内の各画素について、レーザレーダ１４によって計測された距離を用いて、画素に対応する３次元位置までの距離を計測する３次元距離計測部３３６と、表示制御部３８とを備えている。

座標変換部３３２は、レーザレーダ１４によって距離が計測された各２次元位置を、撮像部３２０で生成された撮像画像データの座標系における画素座標に変換する。また、座標変換部３３２は、レーザレーダ１４によって計測された２次元位置までの距離を、撮像画像データ上における距離に変換する。

計測領域抽出部３３４は、撮像画像データから、レーザレーダ１４によって距離が計測された２次元位置に対応する画素の各々について、計測された２次元位置に対応する注目画素を含む、分割領域を特定し、特定された分割領域を、計測対象領域として抽出する。

３次元距離計測部３３６において、計測対象の分割領域内にある、レーザレーダ１４によって距離が計測された２次元位置に対応する画素に対してレーザレーダ１４によって計測された距離（座標変換部３３２によって変換された距離）を用いて、抽出された計測対象の分割領域内の各画素について、画素に対応する３次元位置までの距離を計測する。例えば、計測対象の分割領域内に、レーザレーダ１４によって距離が計測された２次元位置に対応する画素が複数存在する場合、計測対象の分割領域内の全ての画素の距離の計測値を、レーザレーダ１４による計測距離のうち最も小さい値とする。

次に、第３の実施の形態に係る距離計測装置３１０の作用について説明する。なお、第１の実施の形態と同様の処理について同一符号を付して詳細な説明を省略する。

まず、撮像部３２０によって、前方が撮像されて、前方に存在する撮像対象物を表わす撮像画像データが生成される。また、レーザレーダ１４によって、レーダが知的移動体の周囲を横方向に走査されて、走査方向に並んだレーザ照射位置としての２次元位置の各々までの距離が計測される。

そして、コンピュータ３１６によって、図１１に示す距離計測処理ルーチンが実行される。

まず、ステップ１００において、レーザレーダ１４から、走査方向に並んだ各２次元位置までの計測距離を表わすデータを取得し、ステップ３５０において、撮像部３２０から、撮像画像データを取得する。

そして、ステップ３５２において、上記ステップ１００で取得されたデータが表わす距離が計測された２次元位置の各々を、上記ステップ３５０で取得された撮像画像データの画素座標に変換する。次のステップ３５４では、上記ステップ１００で取得されたデータが表わす２次元位置までの距離を、上記ステップ３５０で取得された撮像画像データ上における距離に変換する。

そして、ステップ３５６において、取得した撮像画像データについて、撮像対象物を表わす領域毎に、領域分割を行う。次のステップ３５８では、上記ステップ３５２で変換された２次元位置に対応する画素座標と、上記ステップ３５６で分割された分割領域に基づいて、計測対象領域となる分割領域を抽出する。

次のステップ３６０では、上記ステップ３５８で抽出された計測対象の分割領域内の各画素に対応する３次元位置までの距離を、上記ステップ３５４で変換された２次元位置までの距離に対応する撮像画像データ上の距離を用いて補正する。

そして、ステップ３６２において、上記ステップ３６０で計測された計測結果を表わす画像を表示装置１８に表示させて、距離計測処理ルーチンを終了する。

以上説明したように、第３の実施の形態に係る距離計測装置によれば、高い精度でレーザレーダにより計測された２次元位置までの距離を用いて、撮像画像データにおける撮像対象物を表わす領域毎に分割された領域内の画素に対応する３次元位置までの距離を計測することにより、撮像対象物を表わす領域の３次元位置までの距離を精度よく計測することができる。

本発明の第１の実施の形態に係る距離計測装置を示すブロック図である。 第１撮像部によって出力された撮像画像データの例を示すイメージ図である。 三角測量を用いて３次元位置までの距離を算出する方法を説明するための図である。 （Ａ）距離画像の例を示すイメージ図、及び（Ｂ）レーザレーダによる計測結果を示すイメージ図である。 対象物までの距離と距離解像度との関係を示すグラフである。 抽出された補正対象となる領域を示すイメージ図である。 補正された計測結果を示すイメージ図である。 本発明の第１の実施の形態に係る距離計測装置における計測距離補正処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る距離計測装置を示すブロック図である。 本発明の第３の実施の形態に係る距離計測装置を示すブロック図である。 本発明の第３の実施の形態に係る距離計測装置における距離計測処理ルーチンの内容を示すフローチャートである。

符号の説明

１０、２１０、３１０ 距離計測装置
１２ ３次元距離計測装置
１４ レーザレーダ
１６ コンピュータ
２０ 第１撮像部
２２ 第２撮像部
２４ ３次元距離算出部
２６ レーザ走査部
２８ レーザ受光部
３０ ２次元距離算出部
３２、３３２ 座標変換部
３４、２３４ 補正領域抽出部
３６ ３次元距離補正部
２３２ 領域分割部
３２０ 撮像部
３３４ 計測領域抽出部
３３６ ３次元距離計測部

Claims (9)

1. 撮像対象物を各々異なる位置から撮像して、複数の撮像画像データを出力する撮像手段と、
   前記撮像手段より出力された複数の撮像画像データに基づいて、前記撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する画像距離算出手段と、
   前記画像距離算出手段で算出された距離より高い精度で、前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段と、
   前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段と、
   前記位置変換手段によって変換された画素位置と前記距離計測手段によって計測された距離とに基づいて、前記距離算出手段によって算出された前記領域内の画素に対応する３次元位置までの距離を補正する補正手段と、
   を含む距離計測装置。
2. 前記補正手段は、前記位置変換手段によって変換された画素位置を含む周辺画素のうち、該画素に対応する３次元位置までの距離が、前記距離計測手段によって計測された距離を含む所定範囲内である画素について、前記画素に対応する３次元位置までの距離を、前記距離計測手段によって計測された距離に補正する請求項１記載の距離計測装置。
3. 前記距離計測手段は、前記撮像対象物を表わす前記領域より狭い領域に対して、レーザを照射し、レーザが照射された位置を前記特定位置として、前記特定位置までの距離を計測する請求項１又は２記載の距離計測装置。
4. 前記距離計測手段は、レーザを走査することにより、レーザが照射された走査方向に並んだ各位置を、前記狭い領域の前記特定位置として、前記特定位置までの距離を計測する請求項３記載の距離計測装置。
5. 前記補正手段は、前記位置変換手段によって変換された画素位置を含む前記走査方向と直交する方向に並んだ複数の画素のうち、該画素に対応する３次元位置までの距離が、前記距離計測手段によって計測された距離を含む所定範囲内である画素について、前記画素に対応する３次元位置までの距離を、前記距離計測手段によって計測された距離に補正する請求項４記載の距離計測装置。
6. 前記撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する画像分割手段を更に含み、
   前記補正手段は、前記位置変換手段によって変換された画素位置を含む前記分割された領域内の画素について、前記画素に対応する３次元位置までの距離を、前記距離計測手段によって計測された距離に補正する請求項１記載の距離計測装置。
7. 撮像対象物を撮像して、撮像画像データを出力する撮像手段と、
   前記撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する画像分割手段と、
   前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段と、
   前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段と、
   前記位置変換手段によって変換された画素位置を含む前記分割された領域内の画素について、前記画素に対応する３次元位置までの距離として、前記距離計測手段によって計測された距離を計測する距離計測手段と、
   を含む距離計測装置。
8. コンピュータを、
   撮像対象物を各々異なる位置から撮像して、複数の撮像画像データを出力する撮像手段より出力された複数の撮像画像データに基づいて、前記撮像対象物を表わす領域内の各画素に対応する３次元位置までの距離を算出する画像距離算出手段、
   前記画像距離算出手段で算出された距離より高い精度で、前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段、
   前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段、及び
   前記位置変換手段によって変換された画素位置と前記距離計測手段によって計測された距離とに基づいて、前記距離算出手段によって算出された前記領域内の画素に対応する３次元位置までの距離を補正する補正手段
   として機能させるためのプログラム。
9. コンピュータを、
   撮像対象物を撮像して、撮像画像データを出力する撮像手段より出力された撮像画像データが表わす領域を、各撮像対象物を表わす領域に分割する画像分割手段、
   前記撮像対象物を表わす前記領域より狭い領域の特定位置までの距離を計測する距離計測手段、
   前記距離計測手段によって距離が計測された特定位置を、前記撮像対象物を表わす領域内の画素位置に変換する位置変換手段、及び
   前記位置変換手段によって変換された画素位置を含む前記分割された領域内の画素について、前記画素に対応する３次元位置までの距離として、前記距離計測手段によって計測された距離を計測する距離計測手段
   として機能させるためのプログラム。