JP2006262009A

JP2006262009A - 移動体用の障害物検出装置

Info

Publication number: JP2006262009A
Application number: JP2005076000A
Authority: JP
Inventors: Hidekazu Araki; 秀和荒木
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2005-03-16
Filing date: 2005-03-16
Publication date: 2006-09-28
Anticipated expiration: 2025-03-16
Also published as: JP4333611B2

Abstract

【課題】姿勢安定装置のような機構を不要とし、かつハフ変換に比較して処理負荷を軽減することができる移動体用の障害物検出装置を提供する。
【解決手段】距離画像センサ１１は、移動体本体２に搭載され移動体本体２が走行しようとする面を含む空間領域を斜め下向きに撮像する。基準画像記憶部１５には、移動体本体２が平面上を走行する際に距離画像センサ１１で生成されることが予測される角度範囲内の平面の距離画像が所定の刻み幅で候補基準画像として格納される。差分画像生成部１２は、基準画像記憶部１５に格納された複数の候補基準画像のうち距離画像センサ１１で生成された距離画像との差分画像を生成し、基準距離画像選択部１３は、差分画像において一致領域の面積が最大になる候補基準画像を基準距離画像として選択する。判断部１４は、この基準距離画像に対する差分画像の一致領域以外を障害物が存在する領域とする。
【選択図】図１

Description

本発明は、移動体本体の走行中において距離画像を用いて障害物の有無を判断する移動体用の障害物検出装置に関するものである。

一般に、対象となる距離画像と背景となる距離画像（標準パターン）との差分画像を用いて侵入者などの対象物の存在領域を距離画像から抽出する技術が知られている。（たとえば、特許文献１参照）。

また、ロボットが歩行する床面上の障害物を検出するために、三次元情報を持つ画像に対してハフ変換の技術を適用することにより、三次元情報を持つ画像から床面となる平面を抽出する技術が提案されている（たとえば、非特許文献１参照）。
特公平８−２１１４９号公報佐部浩太郎他，「二足歩行ロボットによるステレオ画像を用いた障害物回避と歩行計画」，第８回画像センシングシンポジウム講演論文集，ｐ．２３７−２４２，２００２

特許文献１に記載の技術は、距離画像センサが定位置に固定されている場合には利用可能であるが、この技術を移動体に適用しようとすると、走行時の振動によって背景となる距離画像と対象となる距離画像との位置関係にずれが生じる。したがって、距離画像センサが移動体の走行時の振動の影響を受けないように姿勢安定装置のような機構が必要になる。

一方、非特許文献１に記載の技術では、視差画像に含まれる情報によって床面を検出するから、姿勢安定装置のような機構は不要であるが、ハフ変換などを行う必要があるから、処理負荷が大きく、移動体の走行中において障害物の有無を判断するためには、処理能力の高い高価なプロセッサが必要になるという問題がある。

本発明は上記事由に鑑みて為されたものであり、その目的は、距離画像から得られる情報を用いて距離画像内において移動体が走行する面を容易に抽出できるようにし、もって姿勢安定装置のような機構を不要とし、かつハフ変換に比較して処理負荷を軽減することができる移動体用の障害物検出装置を提供することにある。

請求項１の発明は、移動体本体に搭載され移動体本体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、移動体本体が平面上を走行する際に距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として格納した基準画像記憶部と、基準画像記憶部に格納された複数の候補基準画像のうち距離画像センサで生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域の面積が最大になる候補基準画像を基準距離画像として選択する基準距離画像選択部と、基準距離画像選択部で選択された基準距離画像に対する差分画像における一致領域以外を障害物が存在する領域と判断する判断部とを備えることを特徴とする。

この構成によれば、距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として用意しておき、距離画像センサにより生成された距離画像との差分画像を生成したときに一致領域の面積が最大である候補基準画像を基準距離画像として採用するから、距離画像を生成したときの距離画像センサの姿勢に対応した基準距離画像を障害物の評価に用いることができる。したがって、距離画像センサの姿勢を考慮する必要がなく、距離画像センサの姿勢を安定させる機構や、距離画像センサの姿勢に応じて距離画像と比較するための基準距離画像を演算により求める処理負荷の高い演算処理が不要になる。

請求項２の発明では、請求項１の発明において、前記基準画像記憶部に格納されたデフォルトの候補基準画像と前記距離画像センサにより生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域を求める機能を有した差分画像生成部と、一致領域の主軸に直交する方向を用いて前記移動体本体の走行面の傾斜方向を推定しこの傾斜方向に対して所定範囲内である候補基準画像を前記基準画像記憶部から取り出す候補画像絞り込み部とを備え、前記基準距離画像選択部は候補画像絞り込み部で絞り込まれた候補基準画像から基準距離画像を選択することを特徴とする。

この構成によれば、デフォルトの候補基準画像と実際の距離画像との差分画像を用いて距離画像に対応する候補基準画像の範囲を絞り込むことができるから、基準画像記憶部に格納された多数の候補基準画像から絞り込んだ少数の候補基準画像について一致領域の面積を評価すればよく、結果的に処理負荷が軽減されて高速な処理が期待できる。

請求項３の発明では、請求項１の発明において、前記基準画像記憶部に格納されたデフォルトの候補基準画像と前記距離画像センサにより生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域を求める機能を有した差分画像生成部と、一致領域の主軸に直交する方向における一致領域の幅を用いて前記移動体本体の走行面の傾斜角度を推定しこの傾斜角度に対して所定範囲内である候補基準画像を前記基準画像記憶部から取り出す候補画像絞り込み部とを備え、前記基準距離画像選択部は候補画像絞り込み部で絞り込まれた候補基準画像から基準距離画像を選択することを特徴とする。

請求項４の発明では、請求項１の発明において、前記基準画像記憶部に格納されたデフォルトの候補基準画像と前記距離画像センサにより生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域を求める機能を有した差分画像生成部と、一致領域の主軸に直交する方向を用いて前記移動体本体の走行面の傾斜方向を推定するとともに一致領域の主軸に直交する方向における一致領域の幅を用いて前記移動体本体の走行面の傾斜角度を推定し傾斜方向および傾斜角度の組合せに対して所定範囲内である候補基準画像を前記基準画像記憶部から取り出す候補画像絞り込み部とを備え、前記基準距離画像選択部は候補画像絞り込み部で絞り込まれた候補基準画像から基準距離画像を選択することを特徴とする。

この構成によれば、デフォルトの候補基準画像と実際の距離画像との差分画像を用いて距離画像に対応する候補基準画像の範囲を絞り込み、しかも走行面の傾斜方向と傾斜角度との両方を用いて候補基準画像の範囲を狭めるから、基準画像記憶部に格納された多数の候補基準画像から絞り込んだ少数の候補基準画像について一致領域の面積を評価すればよく、結果的に処理負荷が軽減されて請求項２、３の構成よりも一層高速な処理が期待できる。

請求項５の発明では、請求項１の発明において、前記基準距離画像選択部は、時系列として得られる距離画像に対して前回用いた基準距離画像に対して規定した範囲内の候補基準画像から基準距離画像を選択することを特徴とする。

この構成によれば、前回用いた基準距離画像から大きく逸脱しない範囲で次の基準距離画像を選択するから、少数の候補基準画像に絞り込んで一致領域の面積を評価すればよく、処理負荷が軽減されて高速な処理が期待できる。

請求項６の発明は、移動体本体に搭載され移動体本体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、移動体本体が平面上を走行する際に距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として格納した基準画像記憶部と、基準画像記憶部に格納された複数の候補基準画像のうち距離画像センサで生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域の面積が最大になる候補基準画像を基準距離画像として選択する基準距離画像選択部と、一致領域を移動体本体に近い近接領域と移動体本体から遠い遠方領域とに分割し、近接領域において一致領域の占める面積が第１の閾値以下でありかつ遠方領域において一致領域の占める面積が第２の閾値以上であるという条件が満たされるときには、一致領域を障害物の存在する領域と判断し、前記条件が満たされないときには、基準距離画像選択部で選択された基準距離画像に対する差分画像における一致領域以外を障害物が存在する領域と判断する判断部とを備えることを特徴とする。

この構成によれば、距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として用意しておき、距離画像センサにより生成された距離画像との差分画像を生成したときに一致領域の面積が最大である候補基準画像を基準距離画像として採用するから、距離画像を生成したときの距離画像センサの姿勢に対応した基準距離画像を障害物の評価に用いることができる。したがって、距離画像センサの姿勢を考慮する必要がなく、距離画像センサの姿勢を安定させる機構や、距離画像センサの姿勢に応じて距離画像と比較するための基準距離画像を演算により求める処理負荷の高い演算処理が不要になる。しかも、選択した基準距離画像が障害物に一致しているときでも、距離画像内において障害物を分離することができる。

本発明の構成によれば、距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として用意しておき、複数の候補基準画像から距離画像の基準面に一致する可能性の高い基準距離画像を選択するから、距離画像を生成したときの距離画像センサの姿勢に対応した基準距離画像を基準面の距離画像に用いることになり、距離画像センサの姿勢を安定させる機構が不要になり、また距離画像センサの姿勢に応じて距離画像と比較するための基準距離画像を演算により求める処理負荷の高い演算処理が不要になるという利点がある。

以下に説明する実施形態では、移動範囲の地図情報を用いて自律的に移動する自律移動装置を例示する。自律移動装置は、図１に示すように、電動モータあるいはエンジンのような駆動源を持つ移動体本体２と、移動体本体２に搭載した障害物検出装置１とからなる。移動体本体２としては電動モータのような駆動源でタイヤを回転駆動させて推進力を得る構成を採用している。たとえば、駆動源を電動モータとすれば、移動体本体２は外部から推進力および進行方向に関する指示を受けると電動モータへの通電電流を制御し、通電電流の増減により推進力を調節し、左右のタイヤの回転数を異ならせるように通電電流を制御することにより進行方向を変化させる。進行方向の変化にはタイヤの向きを変化させるように操舵する構成を採用してもよい。

移動体本体２の構成については詳述しないが、一般に移動体本体２は、現在位置を認識する機能を有し、保有する地図情報において指示された経路を通るように自律的に走行する。ただし、本実施形態の要部は、障害物を回避して走行するために障害物を検出する機能にあるので、以下では、障害物検出装置１について説明する。

障害物検出装置１は、移動体本体２の前方を含む所定範囲を視野に持つ距離画像センサ１１と、距離画像センサ１１により生成された距離画像から障害物の存在する領域を抽出するための画像処理を行う画像処理装置１０とで構成される。画像処理装置１０は、以下に説明する機能を実現するプログラムを実行するコンピュータにより構成される。また、移動体本体２とは適宜のインターフェイスを介して接続される。移動体本体２は一般に外部と通信するためのネットワーク用のインターフェイスを備えるから、障害物検出装置１はネットワーク用のインターフェイスを介して移動体本体２に接続することができる。

距離画像センサ１１は、視野内に存在する物体までの距離を求め、画素値が距離値である距離画像を生成する。この種の距離画像センサの原理としては、複数台の撮像装置の視差を利用してステレオ画像法により物体までの距離を求めるもの、強度を変調した信号光を投光するとともに信号光の物体による反射光を受光し、信号光の投光時と受光時との時間差を変調波形の位相差により求めるものなどが知られている。ここでは、強度を変調した信号光を投光して投受光の位相差を求める構成を採用しているものとする。信号光の投光には赤外線発光ダイオードを用い、信号光の受光にはＣＣＤイメージセンサあるいは類似構成のイメージセンサを用いるものとする。また、ＣＣＤイメージセンサの前方にはレンズ群からなる受光光学系が配置される。

ステレオ画像法あるいは投受光の位相差を用いる距離画像センサ１１では、数分の１秒より短い時間内で得られる情報を用いて視野内の全領域の距離を計測することができるから、光切断法を用いる場合よりも短時間で距離の測定が可能である。したがって、とくに高速に移動するものでなければ、移動体本体２が移動している間においても視野内の全領域の距離を実質的に時間差なく計測することができる。また、距離画像センサ１１では受光量を距離に換算する処理をイメージセンサの１フレーム内の時間で行う。また、以下に説明する画像処理装置１０の動作もイメージセンサの１フレーム内の時間で行うものとする。１秒毎のフレーム数は移動体本体２の速度に応じて設定され、本実施形態では移動体本体２の速度を０．５〜１ｍ／ｓと想定し、１秒間に５〜６フレームの処理を行うものとする。

距離画像センサ１１は移動体本体２の上部に取り付けられ、距離画像センサ１１の視野Ｖｆは、図２のように、移動体本体２が走行しようとする面（通常は、路面、地面、床面のいずれか）を含む移動体本体２の前方の空間領域であって斜め下向きに設定される。距離画像センサ１１は移動体本体２が走行する範囲における障害物の有無を検出するのが目的であるから、距離画像センサ１１の視野角は、移動体本体２の走行性能に応じて適宜に設定される。移動体本体２の速度が速く、旋回性能が高いほど視野は広く設定することになる。

距離画像センサ１１の各画素は受光系の所定位置を原点とした球座標における角度（伏角と方位角）に対応する。つまり、画素位置が持つ球座標の角度の情報と、画素値が持つ球座標の距離の情報とにより、距離画像センサ１１に設定した球座標での物体の三次元の座標位置を特定することができる。

距離画像から障害物の存在領域を抽出するには、移動体本体２が走行する面に関して、障害物の存在しない状態での距離画像と、距離画像センサ１１により実空間から生成した距離画像との差分を用いる。移動体本体２が走行する面に障害物が存在しない状態を想定するとき、この面を基準面とする。言い換えると、移動体本体２が走行している面を延長した平面が基準面になる。したがって、距離画像センサ１１により生成した距離画像と基準面の距離画像との差分が規定した判別閾値より大きくなる領域に障害物が存在する可能性があると判断する。

ところで、移動体本体２に搭載された距離画像センサ１は移動体本体２の振動などにより姿勢が変化するから、距離画像センサ１１で得られた距離画像の中では差分画像を生成すべき基準面も変化する。本実施形態では、移動体本体２が静止している状態での基準面をｘｙ平面とし移動体本体２の前方をｘ軸の正の向きとするとき、基準面の変化がｘ軸回りの回転（ロール）、ｙ軸回りの回転（ピッチ）として生じるものとする。以下では、説明を簡単にするために、ｚ軸回りの回転（ヨー）、ｘ軸方向、ｙ軸方向、ｚ軸方向の直進変位はとくに考慮せずに説明するが、実際には基準面の変化には、これらの要素の変化も併せて生じる。この点は後述する。

本発明の特徴は、移動体本体２の走行時の基準面として予測される所定の刻み幅のすべての基準面に関する距離画像を候補基準画像として用意しておき、多数の候補基準画像の中から基準面の画像として最適なものを基準面の距離画像である基準距離画像として選択し、選択した基準距離画像と距離画像センサ１１で生成した距離画像との差分画像を用いて障害物を検出する点にある。

そこで、本実施形態では、ロール、ピッチの角度変化について、変化が想定される角度範囲内で刻み幅（角度分解能）を１度としたすべての候補基準画像を格納する基準画像記憶部１５と、距離画像センサ１１で撮像した距離画像と基準画像記憶部１５に格納した各候補基準画像との差分画像を生成する差分画像生成部１２とを設けてある。変化が想定される角度範囲は、たとえばロール、ピッチについてそれぞれ±１０度、±２０度とすれば、２０×４０＝８００であって、この場合には８００枚の候補基準画像を基準画像記憶部１５に格納しておけばよい。

ここで、差分画像生成部１２において、距離画像センサ１１で生成された距離画像と８００枚のすべての候補基準画像との差分画像を生成するとすれば、処理負荷が比較的大きくなる。そこで、基準画像記憶部１５に格納された候補基準画像のうち実際に差分画像を生成する候補基準画像を絞り込むことが必要である。この目的のために、候補画像絞り込み部１６を設けている。候補画像絞り込み部１６の動作については後述する。

候補画像絞り込み部１６では差分画像を生成する候補基準画像を１０枚程度に絞り込み、各候補基準画像を差分画像生成部１２に与えて、各候補基準画像と距離画像との差分画像を生成させる。距離画像と各候補基準画像とのそれぞれの差分画像が得られると、差分画像の中で画素値（つまり、差分値）が０に近い領域は候補基準画像との一致度が高い領域であると言える。距離画像が障害物を含まない基準面であって候補基準画像が距離画像の基準面に一致しているときには、差分画像のすべての画素値は理想的には０になるから、距離画像に障害物が含まれているときであっても複数の候補基準画像のうち距離画像に含まれる基準面との一致度がもっとも高い候補基準画像では、差分画像の画素値が０に近い領域の面積が最大になると考えられる。そこで、画像処理装置１０に、各候補基準画像と距離画像とのそれぞれの差分画像について、画素値が規定の閾値以下になる一致領域の面積を求め、当該面積が最大になる候補基準画像を基準距離画像として選択する基準距離画像選択部１３を設けている。

基準画像選択部１３で基準距離画像を選択した後は、障害物を検出するための通常の方法を用いることができる。ここでは、距離画像センサ１１で生成した距離画像と基準距離画像との差分画像は、差分画像生成部１３においてすでに生成されているから、この差分画像を判断部１４に与える。判断部１４では差分画像の中で画素値が規定した判別閾値を越える領域を障害物が存在する可能性のある領域として抽出する。ここに、判別閾値は一致領域を抽出するための閾値とは、必ずしも一致している必要はないが両者を一致させておけば、基準距離画像選択部１３で候補基準画像から基準距離画像を選択する際に行う２値化で得られた情報をそのまま用いて障害物の評価に用いることが可能になり、処理負荷の軽減につながる。

ところで、候補画像絞り込み部１６においては、基準画像記憶部１５に格納された候補基準画像から差分画像生成部１２に与える候補基準画像を以下の手順で絞り込む。移動体本体２の走行中には、時間経過に伴って次々に距離画像が生成されており、時系列において隣接する一対の距離画像が得られる程度の時間間隔では、移動体本体２が走行する面の傾斜や距離画像センサ１１の姿勢が大きく変動することはないと考えられる。つまり、この時間間隔では、基準距離画像選択部１３で選択される基準距離画像についてもロールおよびピッチの変化は少ないと考えられる。そこで、時間経過に伴って次々に距離画像が生成されており、前回の基準距離画像を採用することができる場合であって、前回の基準距離画像として選択された候補基準画像のロールおよびピッチの角度が（θ，φ）であるときには、今回の基準距離画像は規定した角度範囲（±Δα，±Δβ）内で選択できると推定し、候補画像絞り込み部１６では、（θ±Δα，φ±Δβ）の範囲である候補基準画像を基準画像記憶部１５から取り出して差分画像生成部１３に与える。ここで、たとえば、α＝β＝３度と設定すれば、差分画像生成部１３に与える候補基準画像の枚数を３６枚に絞り込むことができ、差分画像を生成する際の処理負荷を小さくすることができる。なお、この手順は、移動体本体２の速度と距離画像センサ１１の毎秒のフレーム数との関係に依存しており、フレーム数と速度との関係が、時系列において隣接する基準距離画像の相関性が低くなるような関係（毎秒のフレーム数に比較して速度が大きい関係）であるときには採用することができない。

移動体本体２が走行中であって、速度や方向にほとんど変化がないときには、上述の手順で候補基準画像を絞り込むことができるが、移動体本体２の移動開始時や移動体本体２の速度や方向に大きな変化が生じたときには、前回の基準距離画像を採用することができるとは限らない。要するに、時系列において隣接する基準距離画像の相関性が低いときには、基準距離画像の関係を利用して候補基準画像を絞り込むことができない。そこで、このような場合には以下の手順を採用する。まず、デフォルトとしてロールおよびピッチの角度が所定値（δ，ε）である候補基準画像を用いる。δ＝ε＝０とすれば、移動体本体２が静止している状態で水平面を基準面としたときの距離画像に相当する。

時系列において隣接する基準距離画像の相関性の高さは、移動体本体２の動作に応じて評価することができるから、相関性が規定値以下になる動作の場合（たとえば、停止状態から発信した場合）には、次の手順で候補基準画像を絞り込む。まず、候補画像絞り込み部１６では、基準画像記憶部１５に格納されているデフォルトの候補基準画像と、距離画像センサ１１で生成した距離画像とを差分画像生成部１３に与え、両者の差分画像を生成する。距離画像センサ１１で生成した距離画像Ｐ１とデフォルトの候補基準画像Ｐ０とは、基準面が一致している場合を除けば、図３（ａ）に示すように、距離画像Ｐ１が候補基準画像Ｐ０に対して前後に傾斜している（ローリング）か、図３（ｂ）に示すように、距離画像Ｐ１が候補基準画像Ｐ０に対して左右に傾斜している（ピッチング）か、あるいは前後の傾斜と左右の傾斜を合成した関係になると考えられる。

前後に傾斜している場合には、図４（ａ）のように差分画像において画素値の絶対値が規定の閾値以下になる一致領域Ｄ１が横長（長手方向がｙ軸方向）になり、左右に傾斜している場合には、図４（ｂ）のように差分画像における一致領域Ｄ１が縦長（長手方向がｘ軸方向）になる。そこで、一致領域Ｄ１について、主軸の方向を抽出するとともに主軸の方向に直交する方向での最大幅を抽出する。この処理は候補画像絞り込み部１６において行われる。

なお、デフォルトの候補基準画像Ｐ０は、一致領域Ｄ１が距離画像の中心付近に生じるように設定しておく。また、上述の例では説明を簡単にするためにロールをｙ軸回りの回転としピッチをｘ軸回りの回転として説明したが、本実施形態におけるロールは純粋のロールではなくｘ軸方向およびｚ軸方向の変位を含み、またピッチも純粋のピッチではなくｙ軸方向およびｚ軸方向の変位を含んでいる。したがって、基準画像記憶部１５に格納される候補基準画像は、実際には回転のみではなく、ｘ軸方向、ｙ軸方向、ｚ軸方向の変位を適宜に含んで補正される。

図３と図４とを比較すれば明らかなように、主軸の方向に直交する方向は傾斜方向を表しており、主軸の方向に直交する方向の最大幅は傾斜角度に対応する。傾斜方向と傾斜角度との一方がわかれば、その傾斜方向または傾斜角度に対応するロールの角度θとピッチの角度φとの組合せの範囲がわかる。また、傾斜方向と傾斜角度との両方がわかれば、ロールの角度θとピッチの角度φとの組合せを一つの値に決めることが可能になる。本実施形態では、傾斜方向および傾斜角度の組合せに角度（θ，φ）を対応付けたテーブルを用意することにより、角度（θ，φ）を特定している。

上述のようにして角度（θ，φ）が求められると、候補画像絞り込み部１６では、この角度（θ，φ）に対して適宜の角度範囲（±Δα，±Δβ）の基準画像記憶部１５から候補基準画像を取り出し、取り出した各候補基準画像と距離画像センサ１１で生成した距離画像との差分画像を差分画像生成部１２において求める。差分画像を生成した後の処理は、上述した処理と同様であって、基準距離画像選択部１３では候補基準画像のうち差分画像に含まれる一致領域の面積が最大になるものを基準距離画像として選択し、判断部１４ではこの基準距離画像を用いて障害物の有無を判断する。

候補絞り込み部１６の動作をまとめると図５のようになる。すなわち、前回に用いた基準距離画像を採用することができるときには（Ｓ１）、前回の基準距離画像の角度（θ，φ）を求める（Ｓ２）。この角度（θ，φ）に対して、（θ±Δα，φ±Δβ）の範囲である候補基準画像を基準画像記憶部１５から取り出して差分画像生成部１３に与える（Ｓ３）。

一方、前回の基準距離画像を採用することができない場合には（Ｓ１）、デフォルトの角度（δ，ε）である候補基準画像を基準画像記憶部１５から選択し（Ｓ４）、距離画像センサ１１で生成した距離画像と、この候補基準画像との差分画像を生成する（Ｓ５）。差分画像のうち画素値の絶対値が規定の閾値以下である画素領域を一致領域として抽出し（Ｓ６）、一致領域の主軸に直交する方向と当該方向における一致領域の最大幅を求める（Ｓ７）。次に、主軸に直交する方向を傾斜方向（勾配方向）とし、最大幅から傾斜角度（θ，φ）を推定する（Ｓ８）。こうして角度（θ，φ）が求まれば、（θ±Δα，φ±Δβ）の範囲である候補基準画像を基準画像記憶部１５から取り出して差分画像生成部１３に与える（Ｓ９）。なお、主軸に直交する方向の最大幅を用いる代わりに幅の平均値を用いたり、主軸の中点に対して所定の範囲内の幅の平均値を用いたりすることも可能である。また、上述の例では傾斜方向および傾斜角度の組合せに角度（θ，φ）を対応付けたデータテーブルを用いる例を示したが、傾斜方向と傾斜角度との一方に、角度（θ，φ）の範囲を対応付けたデータテーブルを用いて候補基準画像を絞り込むことも可能である。この場合は、傾斜方向と傾斜角度との両方を用いる場合に比較すると候補基準画像の数が多くなるが、基準画像記憶部１５に格納されているすべての候補基準画像から基準距離画像を選択する場合よりは処理負荷を大幅に軽減することができる。

ところで、図６のように障害物Ｏｂの上面の面積が大きく距離画像センサ１１の視野内の大部分を占めるときには、差分画像において一致領域が最大になる基準距離画像を選択すると、障害物Ｏｂの上面との一致度が高い基準距離画像Ｐ２を選択することがある。この場合、距離画像センサ１１で得た距離画像と基準距離画像選択部１３で選択した基準距離画像との差分画像からでは障害物Ｏｂを発見できない可能性がある。

そこで、判断部１４では、基準距離画像選択部１３で選択した基準距離画像と距離画像センサ１１で得た距離画像との差分画像Ｄｄを生成した後、図７に示すように、この差分画像Ｄｄを移動体本体２に近い近接領域Ｄ２と、移動体本体２から遠い遠方領域Ｄ３とに分割するとともに（分割線を一点鎖線で示している）、近接領域Ｄ２と遠方領域Ｄ３とに含まれる各一致領域Ｄ１の面積を求める。ここに、基準距離画像との一致度が高い障害物Ｏｂであれば、近接領域Ｄ２では一致領域（斜線部）Ｄ１の面積が小さくなり、遠方領域Ｄ３では一致領域Ｄ１の面積が大きくなる。これは、移動体本体２が障害物Ｏｂに徐々に近付くことにより、遠方領域Ｄ３のほうが距離画像内で障害物Ｏｂの占める面積が先に大きくなるからである。

上述の特性を踏まえて、判断部１４では、近接領域Ｄ２と遠方領域Ｄ３とについて、それぞれ一致領域Ｄ１の面積に対する閾値ｔｈ２，ｔｈ３を個別に用意している。近接領域Ｄ２について一致領域Ｄ１の面積Ｓ２が閾値ｔｈ２以下（Ｓ２≦ｔｈ２）であり、かつ遠方領域Ｄ３について一致領域Ｄ１の面積Ｓ３が閾値ｔｈ３以上（Ｓ３≧ｔｈ３）であるときには、図６のような関係であると判断し、差分画像における一致領域Ｄ１が障害物Ｏｂに対応すると判断する。一方、近接領域Ｄ２について一致領域Ｄ１の面積Ｓ２が閾値ｔｈ２より大きく（Ｓ２＞ｔｈ２）、かつ遠方領域Ｄ３について一致領域Ｄ１の面積Ｓ３が閾値ｔｈ３未満（Ｓ３＜ｔｈ３）であるときには、一致領域Ｄ１ではない領域を障害物Ｏｂに対応すると判断する。

判断部１４では、距離画像センサ１１から得られた距離画像のうち障害物Ｏｂと判断した領域について、移動体本体２について設定した直交座標系の三次元空間にマッピングするように座標変換を行い、このデータを移動体本体２に引き渡す。移動体本体２では判断部１４から引き渡された三次元データを用いて障害物Ｏｂに対応する行動を行う。障害物Ｏｂに対する移動体本体２の行動は、移動体本体２にルールとして規定され、たとえば障害物との回避するように移動方向を変化させるようにルールが設定される。

ところで、上述した移動体本体２は、走行範囲の地図情報を保有しており、適宜手段で自己位置を取得するとともに地図情報を用いて自己位置に合致する行動をとるように自律的に構造するように構成されている。自己位置を取得する手段は、種々提案されており、たとえば位置が既知である複数の基地局からの電波を受信し、電波の到来方向あるいは電波の到来時間などの情報を用いて自己位置を取得する電波航法による技術、あるいは既知の基準位置からの走行距離と走行方向との履歴を用いて現在の自己位置を取得する技術などが提案されている。

一方、移動体本体２が自律的に走行するには、取得した自己位置を照合する地図情報が必要であり、地図情報には位置が固定されている（つまり移動しない）障害物に関する情報をあらかじめ登録しておくのが望ましい。上述したように、本実施形態では障害物を検出するとともに、障害物の位置を獲得する機能を有するから、この機能と自己位置を取得する機能とを用いることで、障害物の位置を特定した地図情報を生成することが可能である。

以下では、地図情報を生成する手順について簡単に説明する。なお、図８に示すように、移動体本体２には自己位置を取得するための位置検出装置２１と、画像処理装置１０の出力と位置検出装置２１の出力とに基づいて地図情報を生成する地図作成部２２と、地図作成部２２で作成した地図を格納する地図格納部２３とが設けられているものとする。また、地図情報は、移動体本体２とは関係なく設定される絶対座標系での物体の位置やサイズに関する情報とする。ここで、建物のように絶対座標系での位置およびサイズが既知である情報については、あらかじめ地図格納部２３に地図情報として格納しておく。

上述のように移動体本体２の移動中に判断部１４が障害物Ｏｂを検出すると、距離画像センサ１１について設定した座標系での障害物Ｏｂの位置が地図作成部２２に引き渡される。判断部１４では距離画像と基準距離画像との差分画像により障害物Ｏｂの有無を判断するから、障害物Ｏｂが存在する基準面を認識している。つまり、この基準面を路面（または地面、床面）とみなすことができる。

地図作成部２２では、距離画像から得られる移動体本体２と障害物Ｏｂとの距離情報に基づいて、障害物Ｏｂの存在する領域について基準面を絶対座標系におけるｘｙ平面とみなした座標変換を行う。このとき、基準面からの障害物Ｏｂの高さ情報およびｘｙ平面内でのサイズも得られる。このような座標変換により障害物Ｏｂに関して基準面上での移動体本体２との相対位置を求めることができる。

一方、移動体本体２の自己位置は位置検出装置２１により認識されているから、地図作成部２２では、上述のようにして得られた移動体本体２と障害物Ｏｂとの相対位置と、位置検出装置２１により得られている自己位置とを用いて絶対座標系における障害物Ｏｂの位置を求める。このようにして求めた障害物Ｏｂの位置およびサイズに関する地図情報は地図格納部２３に格納される。

ここに、判断部１４で採用している基準面は、路面（または地面、床面）に対応するものの、路面（または地面、床面）が絶対座標系におけるｘｙ平面に対して傾斜していることがあるから、上述のようにして得られた障害物Ｏｂの位置座標には誤差が含まれる可能性がある。ただし、地図格納部２３に格納される地図情報は、移動体本体２が走行する際に用いる地図情報であるから、必ずしも絶対座標系における正確な位置を反映していなくてもよい。つまり、移動体本体２が実際に走行する際に障害物Ｏｂの位置を認識することができればよいから、地図格納部２３における障害物Ｏｂの位置誤差は実使用上では何ら問題を生じない。

本発明の実施形態を示すブロック図である。同上の外観斜視図である。同上の動作説明図である。同上の動作説明図である。同上における候補基準画像を選択する手順を示す動作説明図である。同上の動作説明図である。同上の動作説明図である。本発明の他の実施形態を示すブロック図である。

符号の説明

１障害物検出装置
２移動体本体
１０画像処理装置
１１距離画像センサ
１２差分画像生成部
１３基準距離画像選択部
１４判断部
１５基準画像記憶部
１６候補画像絞り込み部

Claims

移動体本体に搭載され移動体本体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、移動体本体が平面上を走行する際に距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として格納した基準画像記憶部と、基準画像記憶部に格納された複数の候補基準画像のうち距離画像センサで生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域の面積が最大になる候補基準画像を基準距離画像として選択する基準距離画像選択部と、基準距離画像選択部で選択された基準距離画像に対する差分画像における一致領域以外を障害物が存在する領域と判断する判断部とを備えることを特徴とする移動体用の障害物検出装置。
前記基準画像記憶部に格納されたデフォルトの候補基準画像と前記距離画像センサにより生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域を求める機能を有した差分画像生成部と、一致領域の主軸に直交する方向を用いて前記移動体本体の走行面の傾斜方向を推定しこの傾斜方向に対して所定範囲内である候補基準画像を前記基準画像記憶部から取り出す候補画像絞り込み部とを備え、前記基準距離画像選択部は候補画像絞り込み部で絞り込まれた候補基準画像から基準距離画像を選択することを特徴とする請求項１記載の移動体用の障害物検出装置。
前記基準画像記憶部に格納されたデフォルトの候補基準画像と前記距離画像センサにより生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域を求める機能を有した差分画像生成部と、一致領域の主軸に直交する方向における一致領域の幅を用いて前記移動体本体の走行面の傾斜角度を推定しこの傾斜角度に対して所定範囲内である候補基準画像を前記基準画像記憶部から取り出す候補画像絞り込み部とを備え、前記基準距離画像選択部は候補画像絞り込み部で絞り込まれた候補基準画像から基準距離画像を選択することを特徴とする請求項１記載の移動体用の障害物検出装置。
前記基準画像記憶部に格納されたデフォルトの候補基準画像と前記距離画像センサにより生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域を求める機能を有した差分画像生成部と、一致領域の主軸に直交する方向を用いて前記移動体本体の走行面の傾斜方向を推定するとともに一致領域の主軸に直交する方向における一致領域の幅を用いて前記移動体本体の走行面の傾斜角度を推定し傾斜方向および傾斜角度の組合せに対して所定範囲内である候補基準画像を前記基準画像記憶部から取り出す候補画像絞り込み部とを備え、前記基準距離画像選択部は候補画像絞り込み部で絞り込まれた候補基準画像から基準距離画像を選択することを特徴とする請求項１記載の移動体用の障害物検出装置。
前記基準距離画像選択部は、時系列として得られる距離画像に対して前回用いた基準距離画像に対して規定した範囲内の候補基準画像から基準距離画像を選択することを特徴とする請求項１記載の移動体用の障害物検出装置。
移動体本体に搭載され移動体本体が走行しようとする面を含む空間領域を斜め下向きに撮像し画素値が距離値である距離画像を生成する距離画像センサと、移動体本体が平面上を走行する際に距離画像センサで生成されることが予測される角度範囲内の平面の距離画像を所定の刻み幅で候補基準画像として格納した基準画像記憶部と、基準画像記憶部に格納された複数の候補基準画像のうち距離画像センサで生成された距離画像との差分画像において差分値が規定の閾値以下である一致領域の面積が最大になる候補基準画像を基準距離画像として選択する基準距離画像選択部と、一致領域を移動体本体に近い近接領域と移動体本体から遠い遠方領域とに分割し、近接領域において一致領域の占める面積が第１の閾値以下でありかつ遠方領域において一致領域の占める面積が第２の閾値以上であるという条件が満たされるときには、一致領域を障害物の存在する領域と判断し、前記条件が満たされないときには、基準距離画像選択部で選択された基準距離画像に対する差分画像における一致領域以外を障害物が存在する領域と判断する判断部とを備えることを特徴とする移動体用の障害物検出装置。