JP2000222563A - 障害物検出装置および障害物検出装置を搭載した移動体 - Google Patents

Abstract

(57)【要約】 【課題】 壁や箱などの大きな障害物を確実に検出し
て、信頼性を高める。 【解決手段】 仮想平面座標算出部２０はロボット前方
をカメラで撮影して得られる画像上の位置を表す座標値
と、移動体前方に延在する仮想平坦面上の位置の座標値
との対応関係を取得する。無限遠線座標算出部２１は仮
想平面座標算出部２０が取得した前記対応関係にもとづ
き床面の無限遠線が仮想床面上でカメラ１０より充分遠
方に存在する点の集合であるとして無限遠線の画像上の
理論的な位置を特定する。その上で領域拡張処理部２２
はカメラ画像に対し無限遠線座標算出部２１が特定した
無限遠線の位置またはその近傍に存在する画像上の画素
の値をもとに領域拡張処理を行って障害物の領域を確定
する。そして障害物マップ生成部２は上記障害物領域、
および仮想平面座標算出部２０が取得した前記対応関係
にもとづいて床面上における障害物の位置を表すマップ
データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、平坦面上を移動す
る移動体に搭載して移動体前方に存在する障害物を検出
する装置、および同装置を搭載した移動体に関するもの
である。

【０００２】

【従来の技術】従来より、自律走行車（移動体）の走行
を制御する際に、ステレオ画像を用いて車両前方の障害
物を検出し、車両の衝突を回避する手法が種々提案され
ている。例えば、特願平３−３３２５７０では、２台の
カメラを相互に間隔をおいて左右に並べて配置し、２台
のカメラで撮影して得られた２つの画像のうち、一方の
画像を基準として、他方の画像のシフト画像を作成し、
その上で両者の差分画像を生成して障害物を検出すると
いう方式が開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のステレオ照合法を用いた障害物検出では、カ
メラで撮影した画像に含まれる画像のエッジ近傍に存在
する障害物を判定することはできるが、エッジから離れ
た箇所では障害物を判定できず、したがって壁などが左
右のカメラで撮影した画像の大部分を占めるような場合
には障害物を検出できないという問題がある。

【０００４】すなわち、ステレオ照合法を用いたある種
の障害物検出においては、エッジ等の特徴のある画素あ
るいは領域に関して複数画像間で対応部分を求めること
で障害物か否かを判断しており、その結果、上述のよう
にエッジから離れた箇所では障害物の判定は困難であ
る。また、ステレオ照合法を用いた別の障害物検出にお
いては、自立走行車が走行すべき平面を仮定した上で複
数画像間の対応すべき画素の組み合わせをもとに一つの
画像を基準にして他の画像を平行移動し、基準画像と平
行移動後の画像との差分画像にもとづいて障害物か否か
を判断している。したがって、障害物の判定は画像のエ
ッジ近傍でしか行えず、均一な輝度値を持つ画素が画面
上の比較的大きな部分を占めている場合には、大部分の
箇所で障害物判定は不可能となってしまう。

【０００５】住宅やオフィスのような屋内環境でロボッ
ト（移動体）などが自律移動する場合、走行を妨げる小
物体の検出も重要ではあるが、ロボットの移動を完全に
阻む壁や箱などの大きな物体を検出することがより重要
である。したがって、これらの壁や箱を安定に検出でき
なければ、ロボットが障害物に衝突することなく安全に
自律移動することは不可能である。

【０００６】本発明はこのような問題を解決するために
なされたもので、その目的は、壁や箱などの大きな障害
物を確実に検出することが可能な障害物検出装置および
障害物検出装置を搭載した移動体を提供することにあ
る。

【０００７】

【課題を解決するための手段】本発明は、上記目的を達
成するため、実平坦面上を移動する移動体に搭載して前
記移動体前方に存在する障害物を検出する装置であっ
て、前記移動体の前方を撮影するカメラと、前記移動体
前方を前記カメラで撮影して得られる画像上の位置を表
す座標値と、前記移動体前方に延在する仮想平坦面上の
位置の座標値との対応関係を取得する仮想平面座標算出
手段と、前記仮想平面座標算出手段が取得した前記対応
関係にもとづき、前記実平坦面の無限遠線が前記仮想平
坦面上で前記カメラより充分遠方に存在する点の集合で
あるとして、前記無限遠線の前記画像上の理論的な位置
を特定する無限遠線特定手段と、前記カメラで撮影して
得られた画像に対し、前記無限遠線特定手段が特定した
前記無限遠線の位置またはその近傍に存在する前記画像
上の画素の値をもとに領域拡張処理を行って障害物の画
像を構成する画素集合の領域を確定する領域拡張処理手
段と、前記領域拡張処理手段が確定した前記画素集合の
領域、および前記仮想平面座標算出手段が取得した前記
座標値の対応関係にもとづいて前記実平坦面上における
前記障害物の位置を表すマップデータを生成する障害物
マップ生成手段とを備えたことを特徴とする。

【０００８】本発明の障害物検出装置では、仮想平面座
標算出手段が、移動体前方をカメラで撮影して得られる
画像上の位置を表す座標値と、移動体前方に延在する仮
想平坦面上の位置の座標値との対応関係を取得する。そ
して、無限遠線特定手段は、仮想平面座標算出手段が取
得した前記対応関係にもとづき、実平坦面の無限遠線を
仮想平坦面上でカメラより充分遠方に存在する点の集合
であるとして、無限遠線の前記画像上の理論的な位置を
特定する。その上で、領域拡張処理手段は、カメラで撮
影して得られた画像に対し、無限遠線特定手段が特定し
た無限遠線の位置またはその近傍に存在する前記画像上
の画素の値をもとに領域拡張処理を行って障害物の画像
を構成する画素集合の領域を確定する。そして、障害物
マップ生成手段は、領域拡張処理手段が確定した前記画
素集合の領域、および仮想平面座標算出手段が取得した
前記座標値の対応関係にもとづいて実平坦面上における
前記障害物の位置を表すマップデータを生成する。した
がって本発明の障害物検出装置では、カメラで撮影した
画像にエッジが含まれているか否かは特に問題ではな
く、壁や箱などの大きい障害物が存在してそれらの画像
が撮影画像の大部分を占めているような場合でも障害物
を確実に検出することができる。

【０００９】また、本発明は、前記障害物マップ生成手
段が生成した前記マップデータと、前記障害物マップ生
成手段が前記マップデータを生成する際の前記カメラの
前記実平坦面上での位置を表すデータとを時間間隔をお
いて蓄積する画像蓄積手段と、前記画像蓄積手段が蓄積
した各マップデータに対して、対応して前記画像蓄積手
段が蓄積している前記位置データにもとづいて座標変換
を行うマップ変換手段と、マップ変換手段により変換さ
れた複数の前記マップデータにおいて、各マップデータ
を構成する同一位置のデータのうち、障害物を表すデー
タの数を各位置のデータごとに計数し、計数値にもとづ
いて、前記複数の前記マップデータを統合したマップデ
ータを生成するマップデータ統合手段とをさらに備えた
ことを特徴とする。

【００１０】本発明では、画像蓄積手段は、障害物マッ
プ生成手段が生成したマップデータと、障害物マップ生
成手段がマップデータを生成する際のカメラの前記実平
坦面上での位置を表すデータとを時間間隔をおいて蓄積
し、マップ変換手段は、画像蓄積手段が蓄積した各マッ
プデータに対して、対応して画像蓄積手段が蓄積してい
る前記位置データにもとづいて座標変換を行う。そし
て、マップデータ統合手段は、マップ変換手段により変
換された複数のマップデータにおいて、各マップデータ
を構成する同一位置のデータのうち、障害物を表すデー
タの数を各位置のデータごとに計数し、計数値にもとづ
いて、前記複数のマップデータを統合したマップデータ
を生成する。

【００１１】本発明の障害物検出装置を移動体に搭載し
た場合、画像蓄積手段が蓄積するマップデータは、移動
体が移動していることから視点の異なる場所から撮影し
た画像にもとづいて生成したものとなっている。そし
て、視点が異なると物体の見え方も違うので、例えばあ
る画像では障害物の周辺部などにおける部分的な途切れ
や、障害物ではない不要な画像の混入などがあったとし
ても、他の画像では画像の途切れや、不要画像の混入は
生じていないということがある。したがって、蓄積され
た複数のマップデータの統合処理を行うことで、単一画
像における画像の途切れや、不要画像の混入などを原因
とする誤検出が平滑化によって解消される。したがっ
て、本発明では、いっそう信頼性の高い障害物マップを
得ることができる。

【００１２】また、本発明は、障害物検出装置を備え、
前記障害物検出装置による障害物の検出結果にもとづい
て実平坦面上を移動する移動体であって、前記移動体の
前方を撮影するカメラと、前記移動体前方を前記カメラ
で撮影して得られる画像上の位置を表す座標値と、前記
移動体前方に延在する仮想平坦面上の位置の座標値との
対応関係を取得する仮想平面座標算出手段と、前記仮想
平面座標算出手段が取得した前記対応関係にもとづき、
前記実平坦面の無限遠線が前記仮想平坦面上で前記カメ
ラより充分遠方に存在する点の集合であるとして、前記
無限遠線の前記画像上の理論的な位置を特定する無限遠
線特定手段と、前記カメラで撮影して得られた画像に対
し、前記無限遠線特定手段が特定した前記無限遠線の位
置またはその近傍に存在する前記画像上の画素の値をも
とに領域拡張処理を行って障害物の画像を構成する画素
集合の領域を確定する領域拡張処理手段と、前記領域拡
張処理手段が確定した前記画素集合の領域、および前記
仮想平面座標算出手段が取得した前記座標値の対応関係
にもとづいて前記実平坦面上における前記障害物の位置
を表すマップデータを生成する障害物マップ生成手段と
を前記障害物検出装置が備え、前記障害物マップ生成手
段が生成した前記マップデータにもとづいて移動すべき
方向および目標とする位置のいずれか一方または両方を
表すデータを生成する移動経路生成手段と、前記移動経
路生成手段が生成した前記データが表す前記方向、また
は前記目標位置の方向に移動すべく操縦する移動制御手
段とを備えたことを特徴とする。

【００１３】本発明の障害物検出装置を搭載した移動体
では、移動経路生成手段が、障害物マップ生成手段によ
り生成されたマップデータにもとづいて移動すべき方向
および目標とする位置のいずれか一方または両方を表す
データを生成し、移動制御手段は、この移動経路生成手
段が生成した前記データが表す前記方向、または前記目
標位置の方向に移動すべく操縦する。したがって本発明
の障害物検出装置を搭載した移動体は、カメラによる撮
影画像の大部分が、壁や箱などの大きい障害物の画像で
占められ、エッジによる障害物の検出が困難な場合で
も、障害物を確実に検出して、障害物に衝突することな
く安全に移動することができる。

【００１４】また、本発明は、実平坦面上を移動する移
動体に搭載して前記移動体前方に存在する障害物を検出
する装置であって、相互に間隔をおいて配置され前記移
動体の前方を撮影してステレオ画像を得る第１および第
２のカメラと、前記第１および第２のカメラの少なくと
も一方により前記移動体前方を撮影して得られる画像上
の位置を表す座標値と、前記移動体前方に延在する仮想
平坦面上の位置の座標値との対応関係を取得する仮想平
面座標算出手段と、前記仮想平面座標算出手段が取得し
た前記対応関係にもとづき、前記実平坦面の無限遠線が
前記仮想平坦面上で前記カメラより充分遠方に存在する
点の集合であるとして、前記無限遠線の前記画像上の理
論的な位置を特定する無限遠線特定手段と、前記カメラ
で撮影して得られた画像に対し、前記無限遠線特定手段
が特定した前記無限遠線の位置またはその近傍に存在す
る前記画像上の画素の値をもとに領域拡張処理を行って
障害物の画像を構成する画素集合の領域を確定する領域
拡張処理手段と、前記領域拡張処理手段が確定した前記
画素集合の領域、および前記仮想平面座標算出手段が取
得した前記座標値の対応関係にもとづいて前記実平坦面
上における前記障害物の位置を表す第１のマップデータ
を生成する第１の障害物マップ生成手段と、前記第１お
よび第２のカメラにより得られた前記ステレオ画像にも
とづきステレオ照合法によって画像上の障害物の位置を
検出するステレオ照合障害物検出手段と、前記ステレオ
照合障害物検出手段が検出した前記障害物の位置、およ
び前記仮想平面座標算出手段が取得した前記座標値の対
応関係にもとづいて前記実平坦面上における前記障害物
の位置を表す第２のマップデータを生成する第２の障害
物マップ生成手段と、前記第１および第２の障害物マッ
プ生成手段が生成した前記第１および第２のマップデー
タを統合して前記実平坦面上における前記障害物の位置
を表す第３のマップデータを生成する第３の障害物マッ
プ生成手段とを備えたことを特徴とする。

【００１５】本発明の障害物検出装置では、仮想平面座
標算出手段が、第１および第２のカメラの少なくとも一
方により移動体前方を撮影して得られるステレオ画像上
の位置を表す座標値と、移動体前方に延在する仮想平坦
面上の位置の座標値との対応関係を取得する。そして、
無限遠線特定手段は、仮想平面座標算出手段が取得した
前記対応関係にもとづき、実平坦面の無限遠線が仮想平
坦面上でカメラより充分遠方に存在する点の集合である
として、無限遠線の前記画像上の理論的な位置を特定す
る。その上で、領域拡張処理手段は、カメラで撮影して
得られた画像に対し、無限遠線特定手段が特定した無限
遠線の位置またはその近傍に存在する前記画像上の画素
の値をもとに領域拡張処理を行って障害物の画像を構成
する画素集合の領域を確定する。そして、第１の障害物
マップ生成手段は、領域拡張処理手段が確定した前記画
素集合の領域、および仮想平面座標算出手段が取得した
前記座標値の対応関係にもとづいて実平坦面上における
前記障害物の位置を表す第１のマップデータを生成す
る。

【００１６】一方、ステレオ照合障害物検出手段は、第
１および第２のカメラにより得られたステレオ画像にも
とづきステレオ照合法によって画像上の障害物の位置を
検出し、第２の障害物マップ生成手段は、ステレオ照合
障害物検出手段が検出した前記障害物の位置、および仮
想平面座標算出手段が取得した前記座標値の対応関係に
もとづいて実平坦面上における前記障害物の位置を表す
第２のマップデータを生成する。その後、第３の障害物
マップ生成手段は、第１および第２の障害物マップ生成
手段が生成した第１および第２のマップデータを統合し
て実平坦面上における前記障害物の位置を表す第３のマ
ップデータを生成する。

【００１７】領域拡張による障害物検出は、画素値の近
い画素同士を併合して障害物領域を判定するという手法
であるから、その性格上、エッジなどを含まずコントラ
ストのあまり無い障害物の検出に適している。一方、ス
テレオ照合法を用いた障害物検出は、複数画像間で対応
する領域あるいは画素を求めるという手法であるから、
その性格上、特徴のある領域あるいは特徴のある領域内
の画素の障害物判定に適している。このように、領域拡
張による障害物検出とステレオ照合法による障害物検出
は互いに検出能力において相補的な関係にあるので、領
域拡張にもとづく第１のマップデータと、ステレオ照合
法にもとづく第２のマップデータとを統合した第３のマ
ップデータは、いっそう信頼性の高いマップデータとな
る。したがって本発明では、さらに信頼性の高い障害物
マップを得ることができる。

【００１８】また、本発明の障害物検出装置は、前記第
１の障害物マップ生成手段が、前記領域拡張処理手段に
より確定された前記画素集合の領域、および前記仮想平
面座標算出手段が取得した前記座標値の対応関係にもと
づいて前記実平坦面上における前記障害物の位置を表す
前記第１のマップデータを、前記第１および第２のカメ
ラによりそれぞれ撮影して得られた２枚の画像ごとに生
成し、前記第３の障害物マップ生成手段は、前記第１の
障害物マップ生成手段が生成した２つの前記第１のマッ
プデータを統合して最終的な前記第１のマップデータを
生成することを特徴とする。第１および第２のカメラで
撮影した画像は、視点の異なる場所から撮影した画像と
なっており、視点が異なると物体の見え方も違うので、
例えば左側の画像では障害物の周辺部などにおける部分
的な途切れや、障害物ではない不要な画像の混入などが
あったとしても、右側の画像では画像の途切れや、不要
画像の混入は生じていないということがある。したがっ
て、第１および第２のカメラによる２枚の画像の障害物
検出結果の統合処理を行うことで、単一画像における画
像の途切れや、不要画像の混入などを原因とする誤検出
が平滑化により解消される。そのため、本発明では、い
っそう信頼性の高い障害物マップを得ることができる。

【００１９】また、本発明は、障害物検出装置を備え、
前記障害物検出装置による障害物の検出結果にもとづい
て実平坦面上を移動する移動体であって、相互に間隔を
おいて配置され前記移動体の前方を撮影してステレオ画
像を得る第１および第２のカメラと、前記第１および第
２のカメラの少なくとも一方により前記移動体前方を撮
影して得られる画像上の位置を表す座標値と、前記移動
体前方に延在する仮想平坦面上の位置の座標値との対応
関係を取得する仮想平面座標算出手段と、前記仮想平面
座標算出手段が取得した前記対応関係にもとづき、前記
実平坦面の無限遠線が前記仮想平坦面上でカメラより充
分遠方に存在する点の集合であるとして、前記無限遠線
の前記画像上の理論的な位置を特定する無限遠線特定手
段と、前記カメラで撮影して得られた画像に対し、前記
無限遠線特定手段が特定した前記無限遠線の位置または
その近傍に存在する前記画像上の画素の値をもとに領域
拡張処理を行って障害物の画像を構成する画素集合の領
域を確定する領域拡張処理手段と、前記領域拡張処理手
段が確定した前記画素集合の領域、および前記仮想平面
座標算出手段が取得した前記座標値の対応関係にもとづ
いて前記実平坦面上における前記障害物の位置を表す第
１のマップデータを生成する第１の障害物マップ生成手
段と、前記第１および第２のカメラにより得られた前記
ステレオ画像にもとづきステレオ照合法によって画像上
の障害物の位置を検出するステレオ照合障害物検出手段
と、前記ステレオ照合障害物検出手段が検出した前記障
害物の位置、および前記仮想平面座標算出手段が取得し
た前記座標値の対応関係にもとづいて前記実平坦面上に
おける前記障害物の位置を表す第２のマップデータを生
成する第２の障害物マップ生成手段と、前記第１および
第２の障害物マップ生成手段が生成した前記第１および
第２のマップデータを統合して前記実平坦面上における
前記障害物の位置を表す第３のマップデータを生成する
第３の障害物マップ生成手段とを前記障害物検出装置が
備え、前記第３の障害物マップ生成手段が生成した前記
第３のマップデータにもとづいて移動すべき方向および
目標とする位置のいずれか一方または両方を表すデータ
を生成する移動経路生成手段と、前記移動経路生成手段
が生成した前記データが表す前記方向、または前記目標
位置の方向に移動すべく操縦する移動制御手段とを備え
たことを特徴とする。

【００２０】本発明の障害物検出装置を搭載した移動体
では、移動経路生成手段が、障害物マップ生成手段によ
り生成されたマップデータにもとづいて移動すべき方向
および目標とする位置のいずれか一方または両方を表す
データを生成し、移動制御手段は、この移動経路生成手
段が生成した前記データが表す前記方向、または前記目
標位置の方向に移動すべく操縦する。したがって本発明
の障害物検出装置を搭載した移動体は、カメラによる撮
影画像の大部分が、壁や箱などの大きい障害物の画像で
占められ、エッジによる障害物の検出が困難な場合で
も、障害物を確実に検出し、さらにマップデータ統合処
理によっていっそう高い信頼性で障害物を検出して、障
害物に衝突することなく安全に移動することができる。

【００２１】

【発明の実施の形態】次に本発明の実施の形態例につい
て図面を参照して説明する。図１は本発明による障害物
検出装置の一例を示すブロック図、図２は図１の障害物
検出装置を搭載した本発明による移動体の一例としての
ロボットを示す構成図である。図２に示したロボット１
は、車輪１５上にロボット制御装置１３を支持し、ロボ
ット制御装置１３による制御のもとでモータ１４により
車輪１５を回転させ、おおむね矢印Ａの方向に移動する
構成となっている。車輪１５は前方に配置された左右一
対の車輪と、後方に配置された左右一対の車輪１５とか
ら成る。モータ１４はこれらの車輪１５を駆動すること
でロボット１を移動させると共に、ロボット１の移動方
向を変更する。

【００２２】ロボット１の上部にはＣＣＤカメラ１０
（単にカメラ１０とも記す）が設置され、ＣＣＤカメラ
１０によって撮像された画像は電気信号として画像入力
装置１１に入力され、画像入力装置１１においてアナロ
グ信号からデジタル信号に変換される。デジタル化され
た画像信号は、画像データ処理装置１２に入力され、画
像データ処理装置１２は入力された画像信号にもとづい
てロボット１前方に存在する障害物を検出し、障害物に
衝突しないように移動命令を生成する。そして、ロボッ
ト制御装置１３は、画像データ処理装置１２が生成した
移動命令にしたがってモーター１４を動作させる。

【００２３】本実施の形態例の障害物検出装置は、上記
ＣＣＤカメラ１０、画像入力装置１１、ならびに画像デ
ータ処理装置１２などにより構成され、画像データ処理
装置１２は機能的には図１に示したように、仮想平面座
標算出部２０、無限遠線座標算出部２１、領域拡張処理
部２２、障害物マップ生成部２、ならびに移動命令生成
部２４を含んで構成されている。そして、カメラ１０、
仮想平面座標算出部２０、無限遠線座標算出部２１、領
域拡張処理部２２、ならびに障害物マップ生成部２が障
害物検出装置の中心的な構成要素となっている。

【００２４】仮想平面座標算出部２０は、カメラ１０の
位置情報（カメラパラメータ）をもとに、ロボット１前
方に延在する床などのロボット走行平面がカメラ１０に
より撮影されているとした場合の、撮影画像上の各画素
の位置と、実際の平坦面上の位置との対応関係を取得す
る。なお、その際、上記平坦面は画像全体に広がってい
ると仮定し、このような平坦面をここでは仮想平坦面と
呼ぶ。また、実際の床などの平坦面は実平坦面と呼ぶ。
カメラ１０で撮影した実平坦面の画像は、通常、画像全
体のうちの例えば下部側を占めることになる。

【００２５】無限遠線座標算出部２１（本発明にかかわ
る無限遠線特定手段）は、仮想平面座標算出部２０が取
得した前記対応関係にもとづき、実平坦面の無限遠線が
仮想平坦面上でカメラ１０より充分遠方に存在する点の
集合であるとして、無限遠線の前記画像上の理論的な位
置を特定する。領域拡張処理部２２は、カメラ１０で撮
影して得られた画像に対し、無限遠線座標算出部２１が
特定した無限遠線の位置またはその近傍に存在する前記
画像上の画素の値をもとに領域拡張処理を行って障害物
の画像を構成する画素集合の領域を確定する。

【００２６】そして、障害物マップ生成部２３は、領域
拡張処理部２２が確定した前記画素集合の領域、および
仮想平面座標算出部２０が取得した前記座標値の対応関
係にもとづいて実平坦面上における前記障害物の位置を
表すマップデータを生成する。移動命令生成部２４は、
不図示の移動経路生成部と移動制御部とから成り、移動
経路生成部は、障害物マップ生成部２３により生成され
たマップデータにもとづいてロボット１が移動すべき方
向および目標とする位置のいずれか一方または両方を表
すデータを生成する。そして、移動制御手段は、移動経
路生成部が生成した前記データが表す前記方向、または
前記目標位置の方向に移動すべくモータ１４を制御す
る。

【００２７】次に、このように構成された本実施の形態
例の障害物検出装置および障害物検出装置を搭載した移
動体の動作について詳しく説明する。まず、ロボット１
が走行する床面（実平坦面）を基準として高さ方向をｙ
座標軸の正方向とし、正面方向（図２の矢印Ａ）をｚ座
標軸の正方向とし、右横方向をｘ座標軸の正方向とする
ワールド座標系を設定し、この座標系で表される点の座
標を（ｘ， ｙ， ｚ）とする。また、ロボット１に設
置されたカメラ１０のレンズ中心Ｃ（図３）のワールド
座標は（ｘ０， ｙ０， ｚ０）であるとし、カメラ座
標系で表現される座標を（ｘ’， ｙ’， ｚ’）とす
る。なお、カメラ座標系は、レンズの正面方向がｚ座標
軸の正方向、カメラ１０の上部方向がｙ座標軸の正方
向、カメラ１０の右側方向がｘ座標軸の正方向となるよ
うに設定する。そして、カメラ座標系とワールド座標系
との関係は、座標系の変換を表現する３つの回転角パ
ン、チルト、スイングをそれぞれφ、ψ、θとすると、
次の関係式で表現されることが知られている。

【００２８】

【数１】 この変換式は、変換行列部分をＲとして、以下のように
表現することもできる。

【００２９】

【数２】 図３はカメラ座標系の点Ｐ’がカメラ１０による撮影画
像上の点Ｑに投影される様子を示す説明図である。図
中、矩形Ｅはカメラによる撮影領域を表している。この
図から分かるように、カメラ座標系で表現される座標
Ｐ’（ｘ’， ｙ’， ｚ’）と画像上の座標Ｑ（Ｘ，
Ｙ）との関係は次式で表すことができる。

【００３０】

【数３】 ただし、Ｎｘはｘ方向の画素数、Ｎｙはｙ方向の画素
数、ｆは焦点距離を表す。画像上の全ての画素が床面で
あると仮定すると、ｙ＝０であるから、［数２］、［数
３］より次のようなｘ、ｚに関する連立方程式が得られ
る。

【００３１】

【数４】 ここで、カメラ１０の位置情報（カメラパラメータ）は
ロボット１の制作時に計測したり、あるいはロボット稼
働時にあらかじめ装備したセンサなどから取得すること
ができるので、上記変換行列Ｒは既知となる。また、Ｎ
ｘ、Ｎｙ、ｆもカメラ１０あるいはレンズ固有の値であ
り、あらかじめ知ることができる。したがって、画像中
の画素座標（Ｘ， Ｙ）を与えると、上記の連立方程式
を解くことにより対応する仮想床面（仮想平坦面）の座
標（ｘ， ｚ）を求めることができる。

【００３２】仮想平面座標算出部２０は上記連立方程式
を解くことで仮想床面の座標（ｘ，ｚ）を算出し、カメ
ラ１０で撮影して得られる画像上の位置を表す座標値
と、ロボット１前方に延在する仮想床面上の位置の座標
値との対応関係を取得する。そして、床面のいわば水平
線に相当する無限遠線においては、ｚの値が無限大とな
るので、無限遠線座標算出部２１は、仮想平面座標算出
部２０が取得した前記対応関係にもとづき、床面の無限
遠線が仮想床面上でカメラ１０より充分遠方に存在する
点の集合であるとして、床面の無限遠線の前記画像上に
おける理論的な位置を特定し、無限遠線上の各点の座標
（Ｘ， Ｙ）を求める。

【００３３】その後、領域拡張処理部２２は、領域拡張
処理を行って、カメラ１０で撮影した画像上で障害物を
検出する。図４は、理論的な無限遠線を含む画像の一例
を示す模式図である。無限遠線４０は、無限遠線座標算
出部２１が上述のようにして理論的な位置を特定したも
のである。この無限遠線より上方には床面は存在しない
ので、無限遠線４０よりも上方に映っている画像は障害
物の画像となる。そして、模様の無い壁や箱などの障害
物の画像では、画像を構成する画素は相互にかなり近い
画素値を持つ。そこで、領域拡張処理部２２は、図４に
示したように、カメラ１０により撮影して得られた画像
１０Ａ中で、無限遠線４０よりも少し上に位置する画素
を領域拡張の種点画素４１とし、これらの種点画素４１
より下方向（矢印Ｂ）に向かって画素値にもとづき領域
拡張処理を行う。

【００３４】領域拡張処理としては種々の手法が知られ
ているが、本実施例では、一例として単純領域拡張処理
を行うものとする。図５の（Ａ）および（Ｂ）は単純領
域拡張処理を示す説明図である。図５の（Ａ）に示した
９つの画素（斜線およびドットが施された正方形の図
形）の中央の画素５１が種点画素であり、まず、この種
点画素５１と周辺８画素５２の画素値を比較する。な
お、ここでは一例として画素値は輝度値であるとする。
種点画素５１と周囲の８画素（斜線画素）のそれぞれの
輝度値の差がしきい値より小さければ、周囲の８画素は
種点画素５１と同一の領域に含まれているとして領域を
拡張し、拡張された画素を新たな種点画素として同様の
手順を行う。そして、領域拡張処理を行っても領域が拡
大しなくなるまで、領域拡張を繰り返す。なお、種点画
素５１と周囲８画素５２との輝度値の差を調べる代わり
に、種点画素４１と、その上下左右の４画素との輝度値
を調べて領域拡張を行うことも可能である。

【００３５】例えば、種点画素５１および周囲の画素５
２の輝度値が図５の（Ｂ）に示したような値であり、し
きい値を４とした場合、点線Ｄで囲まれる４つの画素が
同一領域に含まれことになる。図６は領域拡張処理によ
って得られた処理結果の一例を示す説明図である。この
図は、無限遠線４０上方の種点画素６０をもとに上述し
たような領域拡張処理を行った結果、拡張領域６１Ａ、
６１Ｂが障害物領域として検出されたことを表し、拡張
領域６１Ａ、６１Ｂが、障害物の画像を構成する画素集
合の領域となる。なお、領域拡張処理には種々の手法が
知られており、本発明は上記単純領域拡張処理以外の領
域拡張処理を行う場合にも無論有効である。

【００３６】つづいて、障害物マップ生成部２は、領域
拡張処理部２２が確定した画素集合の領域、および仮想
平面座標算出部２０が取得した座標値の対応関係にもと
づいて床面上における障害物の位置を表すマップデータ
を生成する。仮想平面座標算出部２０は上述のようにし
て、画像上の位置と仮想平坦面上の位置との対応関係を
取得しており、障害物マップ生成部２はこの対応関係を
利用してマップデータを生成する。すなわち、仮想平面
座標算出部２０は、画像中の各画素座標（Ｘ， Ｙ）ご
とに、［数４］の連立方程式を解いて、対応する仮想床
面の座標（ｘ， ｚ）を求めている。したがって、この
結果を参照して、領域拡張処理部２２が確定した画素集
合の領域が、床面上のどの領域に対応するかを特定する
ことができる。

【００３７】具体的には、障害物マップ生成部２は、ま
ず、障害物マップデータの配列Ｑ（ｘ， ｚ）を用意
し、障害物マップデータＱのすべての構成データに非観
測のマークを付ける（例えば、値を１２８にする）。な
お、このマップデータＱは床面に対応しており、ｚ座標
軸の正方向はロボット１の進行方向に設定され、ｘ座標
軸の正方向はロボット１の右手方向に設定されている。
そして、画像中の障害物領域の各画素ごとに、それらが
床面上で対応する位置を、仮想平面座標算出部２０が取
得した上記対応関係より求め、その位置のマップデータ
Ｑのデータに障害物のマークを付ける（例えば、値を２
５５にする）。また、画像中の障害物領域以外の各画素
ごとに、それらが床面上で対応する位置を、仮想平面座
標算出部２０が取得した上記対応関係より求め、その位
置のマップデータＱのデータに非障害物のマークを付け
る（例えば、値を０にする）。

【００３８】図７の（Ａ）は領域拡張処理部２２により
確定された障害物領域を含む画像を示す説明図、（Ｂ）
は障害物マップ生成部２が生成したマップデータにより
作成した障害物マップを示す説明図である。図７の
（Ａ）において斜線を施した領域６１Ａ、６１Ｂが、領
域拡張処理部２２により確定された障害物領域である。
障害物マップ生成部２は、これら領域内の点が床面上の
どの点に対応するか、したがって図７の（Ｂ）に示した
障害物マップ上のどの点に対応するかを調べ、上述のよ
うにマップデータの各データ値を設定する。そして、図
７の（Ａ）に示した障害物領域６１Ａ、６１Ｂは、それ
ぞれ図７の（Ｂ）のマップにおける障害物領域７０Ａ、
７０Ｂに対応している。図７の（Ｂ）で、無地の領域７
１はロボット１が移動可能な領域を表し、斜線領域７２
Ａ、７２Ｂはカメラ１０により撮影できない領域を表し
ている。

【００３９】移動命令生成部２４の上記移動経路生成部
は、障害物マップ生成部２により生成された上記マップ
データにもとづき、領域７１内を移動すべくロボット１
が移動すべき方向および目標とする位置のいずれか一方
または両方を表すデータを生成する。そして、移動命令
生成部２４の上記移動制御手段は、移動経路生成部が生
成した前記データが表す前記方向、または前記目標位置
の方向に移動すべくモータ１４を制御する。

【００４０】このように、本実施の形態例の障害物検出
装置では、カメラ１０で撮影した画像に画像のエッジが
含まれているか否かは特に問題ではなく、したがって、
壁や箱などの大きい障害物が存在して、それらの画像が
撮影画像の大部分を占めているような場合でも障害物を
確実に検出することができる。また、本実施の形態例の
ロボット１は、カメラ１０による撮影画像の大部分が壁
や箱などの大きい障害物の画像で占められ、エッジによ
る障害物の検出が困難な場合でも、障害物を確実に検出
して、障害物に衝突することなく安全に移動することが
できる。

【００４１】次に本発明の他の形態例について図面を参
照して説明する。図８は、本発明の第２の実施の形態例
のロボットを構成する画像データ処理装置１２および関
連要素を示すブロック図である。なお図中、図１と同一
の要素には同一の符号が付されており、それらに関する
詳しい説明はここでは省略する。

【００４２】本発明の第２の実施の形態例のロボット
は、図８に示したように、ステレオ画像入力手段８０を
備え、上記画像データ処理装置１２に相当する画像デー
タ処理装置８４が、ステレオ照合障害物検出処理部８１
と、複数障害物マップ統合処理部８２とを有し、障害物
検出を左右両方のカメラ入力画像に対して行い、また時
系列画像を用いて障害物検出を行う点で上記実施の形態
例と異なっている。

【００４３】ステレオ画像入力手段８０は、上記カメラ
１０の代わりにＣＣＤによる左カメラ８０Ａと右カメラ
８０Ｂ（本発明にかかわる第１および第２のカメラ）と
を含み、これらは相互に間隔をおいて左右に配置されて
いる。これらのカメラにより撮影して得られた画像信号
は、デジタル化された後、ステレオ画像データとして画
像データ処理装置８４に供給される。

【００４４】画像データ処理装置８４のステレオ照合障
害物検出処理部８１は、ステレオ画像入力手段８０から
入力されたステレオ画像を用いて、周知のステレオ照合
処理を行って障害物検出を行う。ステレオ照合処理につ
いては、種々の方法が文献などに示されているが、本発
明は、ステレオ照合による障害物検出の方法を特に限定
するものではなく、必要に応じて種々の方法を用いるこ
とができる。障害物マップ生成部２３Ｂ（本発明にかか
わる第２の障害物マップ生成手段）は、ステレオ照合障
害物検出処理部８１が検出した前記障害物の位置、およ
び仮想平面座標算出部２０が取得した上記座標値の対応
関係にもとづいて実平坦面上における前記障害物の位置
を表す第２のマップデータを生成する。この第２のマッ
プデータは上記障害物マップ生成部２３が生成するマッ
プデータと基本的に同じ形式のものである。

【００４５】なお、本実施の形態例では、左右のカメラ
ごとに仮想平面座標算出部２０、無限遠線座標算出部２
１、領域拡張処理部２２、ならびに障害物マップ生成部
２が設けられており、各部は各カメラごとに上述のよう
に機能し、最終的に２つの障害物マップ生成部２３より
２つの第１のマップデータが出力される。

【００４６】複数障害物マップ統合処理部８２（本発明
にかかわる第３の障害物マップ生成手段）は、障害物マ
ップ生成部２３が生成した２つの第１のマップデータ
と、障害物マップ生成部２３Ｂが生成した第２のマップ
データとを統合して、より高い信頼度で障害物の位置を
表す第３のマップデータを生成する。図９は複数障害物
マップ統合処理部８２の構成を詳しく示すブロック図で
ある。このブロック図を参照して複数障害物マップ統合
処理部８２について詳しく説明する。時系列画像蓄積手
段９０（本発明にかかわる画像蓄積手段）は、所定の時
間間隔で、左カメラ８０Ａおよび右カメラ８０Ｂにより
撮影された各画像をもとに領域拡張法を用いて得られた
２つの上記第１のマップデータに、各画像が撮影された
ときのロボットの予測位置であるオドメトリ情報を付加
して記憶する。

【００４７】障害物マップ変換部９１（本発明にかかわ
るマップ変換手段）は、時系列画像蓄積手段９０から入
力された過去の第１のマップデータを、それぞれの予測
位置と最新の第１のマップデータの予測位置とから最新
の予測位置を基準とした座標系にアフィン変換を用いて
変換し、すべてのマップデータの位置合わせを行う。障
害物判定処理部９２（本発明にかかわるマップデータ統
合手段）は、障害物マップ変換部９１によって同一座標
系に変換された複数の障害物マップを統合して障害物判
定を行い、一つの統合された障害物マップデータを生成
する。

【００４８】図１０は障害物判定処理部９２が行う処理
を示すフローチャートである。障害物判定処理部９２
は、まず最初に、結果を格納する統合障害物マップデー
タをクリアした後（ステップＳ１）、マップデータの各
データごとに、障害物があるとマークされているか否か
を調べ、マークされている場合には、統合障害物マップ
データにおける同一位置のデータの値を１だけ増加させ
る（ステップＳ２）。

【００４９】そして、この処理を蓄積された第１のマッ
プデータの数だけ繰り返す（ステップＳ３）。その後、
統合障害物マップデータの各データ値と、しきい値とを
比較し、データ値がしきい値を上回っている場合には、
そのデータ値を障害物であることを表す値（例えば２５
５）に設定する（ステップＳ４）。なお、しきい値とし
ては、例えば蓄積されたマップデータの数（蓄積された
撮影画像枚数）に１より小さい正の数を掛けたものとす
ることができる。このようにして得られた統合障害物マ
ップデータが、データ統合後の第１のマップデータとな
る。

【００５０】障害物判定処理部９２はこのような処理
を、左右のカメラで撮影した画像による２つの第１のマ
ップデータごとに行い、その後、２つの第１のマップデ
ータをさらに統合して最終的な１つの第１のマップデー
タを生成する。より詳しくは、障害物判定処理部９２は
まず、２つの第１のマップデータのいずれか一方を基準
とし、カメラパラメータなど用いて、もう一方の第１の
マップデータの座標変換を行い２つのデータの位置合わ
せを行う。その後、２つの第１のマップデータにいおて
同一位置のデータごとに値を調べ、それらのデータが共
に障害物を表すか（すなわちマークが付けられている
か）、いずれも障害物を表さないか、あるいは一方のみ
が障害物を表すかにもとづいて２つの第１のマップデー
タを統合して最終的な第１のマップデータを生成する。

【００５１】具体的には、例えば２つのデータが共に障
害物を表す場合は、最終的な第１のマップデータにおい
ても対応するデータは障害物を表すものとし、２つのデ
ータが共に障害物を表さない場合は、最終的な第１のマ
ップデータにおいても対応するデータは障害物を表さな
いものとする。また、いずれか一方のみが障害物を表す
場合は、より高い安全性が要求されるときは最終的な第
１のマップデータにおいても対応するデータは障害物を
表すものとし、逆により積極的なロボットの移動が要求
される場合には対応するデータは障害物を表さないもの
とする。

【００５２】障害物判定処理部９２がこのようにして第
１のマップデータを生成すると、画像間論理和処理部９
３は、この第１のマップデータと、ステレオ照合の結果
得られた第２のマップデータとにおいて、同一位置のデ
ータごとに障害物であることを表すマークが付けられて
いるか否かを調べ、いずれか一方にでもそのマークが付
けられている場合には、生成する第３のマップデータに
おいて対応箇所のデータに障害物であることを示すマー
クを付ける。

【００５３】そして、移動命令生成部２４は上記実施の
形態例の場合と同様に、複数障害物マップ統合処理部８
２が生成した第３のマップデータにもとづき、ロボット
前方の障害物を避けてロボットを安全に移動させる。

【００５４】このように、本実施の形態例では、時系列
画像および左右のカメラで撮影した画像にもとづいて複
数の障害物マップデータを生成し、その後、それらを統
合して最終的な障害物マップデータを生成する。その結
果、上記実施の形態例で得られる効果に加えて、より信
頼性の高い障害物マップデータを生成でき、したがって
また、ロボットをいっそう安全かつ円滑に移動させるこ
とができるという効果が得られる。

【００５５】すなわち、上述した領域拡張による障害物
検出では、しきい値の取り方や物体の境界部分の画像上
でのエッジの途切れなどが原因となって、本来の領域よ
りも過剰に領域拡張が行われてしまうことがある。この
ような過剰に領域拡張された結果を用いて移動制御を行
うと、本来ロボットが進めるはずの方向でも障害物があ
ると判断してロボットのその方向への進行が控えられて
しまう。

【００５６】しかしながら、時系列画像、あるいは左右
のカメラで撮影した画像のように、視点の異なる場所か
ら撮影した画像においては、物体の見え方も違うので、
例えば左側の画像では障害物画像の周辺部などにおける
部分的な途切れや、障害物ではない不要な画像の混入な
どがあったとしても、右側の画像では画像の途切れや、
不要画像の混入は生じていないということがある。した
がって、第１および第２のカメラによる２枚の画像の障
害物検出結果の統合処理、あるいは時系列画像蓄積手段
９０に蓄積された複数の第１のマップデータの統合処理
を行うことで、単一画像における画像の途切れや、不要
画像の混入、さらにはしきい値選択などを原因とする誤
検出が平滑化により解消され、障害物マップデータの信
頼性が大きく向上する。

【００５７】図１１の（Ａ）ないし（Ｃ）は、左右のカ
メラで撮影した画像で障害物検出を行い、検出結果を統
合した場合の一例を示す説明図である。図１１の（Ａ）
は左カメラ８０Ａで撮影した画像に対して、領域拡張に
よる障害物検出を行って得られた第１のマップデータに
もとづく障害物マップを示し、図１１の（Ｂ）は右カメ
ラ８０Ｂで撮影した画像に対して、領域拡張による障害
物検出を行って得られた第１のマップデータにもとづく
障害物マップを示している。そして、図１１の（Ｃ）は
左右のこれら２つの第１のマップデータを統合して得ら
れたマップデータによる障害物マップを示している。

【００５８】障害物候補領域１１０Ａ、１１０Ｃ、１１
０Ｄ、１１０Ｆは左右両方において検出されているの
で、統合された障害物検出結果でも障害物領域１１１
Ａ、１１１Ｂとして検出されている。一方、障害物候補
領域１１０Ｂ、１１０Ｄに関しては、左右一方において
しか検出されていないので、統合された障害物検出結果
においては除去されている。したがって、図１１の
（Ｃ）の障害物マップにしたがってロボットの移動を制
御することで、２つの障害物領域１１１Ａ、１１１Ｂの
間の領域へもロボットを進行させることが可能となる。

【００５９】図１２の（Ａ）および（Ｂ）は、時系列画
像の障害物検出結果の統合例を示す説明図である。図１
２の（Ａ）は時系列画像に対して、領域拡張による障害
物検出を行った場合のそれぞれの検出結果を示し、図１
２の（Ｂ）は時系列画像の障害物検出結果を統合した障
害物検出結果を示している。図１２の（Ａ）における障
害物候補領域１２０Ａ、１２０Ｂは、図１２の（Ｂ）の
統合された障害物検出結果に障害物領域１２１Ａ、１２
１Ｂとして検出されているが、障害物候補領域１２０
Ｃ、１２０Ｄに関しては、統合された障害物検出結果に
おいては除去されている。そして、図８に示した実施の
形態例では、左右のカメラで撮影した画像を用いると共
に、時系列画像も用いているため、このような不要障害
物領域の除去効果はいっそう高いものとなっている。

【００６０】また、画像間論理和処理部９３では、上述
のように無限遠線を用いた領域拡張処理によって作成さ
れた障害物マップとステレオ法を用いて作成された障害
物マップとを画素単位で論理和を取ることで統合してお
り、この統合処理によっても障害物マップの信頼性向上
が実現されている。

【００６１】すなわち、領域拡張による障害物検出は、
画素値の近い画素同士を併合して障害物領域を判定する
という手法であるから、その性格上、エッジなどを含ま
ずコントラストのあまり無い障害物の検出に適してい
る。一方、ステレオ照合法を用いた障害物検出は、複数
画像間で対応する領域あるいは画素を求めるという手法
であるから、その性格上、特徴のある領域あるいは特徴
のある領域内の画素の障害物判定に適している。このよ
うに、領域拡張による障害物検出とステレオ照合法によ
る障害物検出は互いに検出能力において相補的な関係に
あるので、各座標毎に論理和をとることで、両者の長所
が生かされ、得られた障害物マップの信頼性が向上す
る。なお、本実施の形態例では２つのカメラで得られた
時系列画像を同時に用いるとしたが、１台のカメラで撮
影して得られた時系列画像により統合した障害物マップ
を作成しても、不要な障害物領域の除去効果が発揮さ
れ、より信頼性の高い障害物マップを得ることができ
る。

【００６２】

【発明の効果】以上説明したように本発明の障害物検出
装置では、仮想平面座標算出手段が、移動体前方をカメ
ラで撮影して得られる画像上の位置を表す座標値と、移
動体前方に延在する仮想平坦面上の位置の座標値との対
応関係を取得する。そして、無限遠線特定手段は、仮想
平面座標算出手段が取得した前記対応関係にもとづき、
実平坦面の無限遠線を仮想平坦面上でカメラより充分遠
方に存在する点の集合であるとして、無限遠線の前記画
像上の理論的な位置を特定する。その上で、領域拡張処
理手段は、カメラで撮影して得られた画像に対し、無限
遠線特定手段が特定した無限遠線の位置またはその近傍
に存在する前記画像上の画素の値をもとに領域拡張処理
を行って障害物の画像を構成する画素集合の領域を確定
する。そして、障害物マップ生成手段は、領域拡張処理
手段が確定した前記画素集合の領域、および仮想平面座
標算出手段が取得した前記座標値の対応関係にもとづい
て実平坦面上における前記障害物の位置を表すマップデ
ータを生成する。したがって本発明の障害物検出装置で
は、カメラで撮影した画像にエッジが含まれているか否
かは特に問題ではなく、壁や箱などの大きい障害物が存
在してそれらの画像が撮影画像の大部分を占めているよ
うな場合でも障害物を確実に検出することができる。

【００６３】また、本発明の障害物検出装置では、画像
蓄積手段は、障害物マップ生成手段が生成したマップデ
ータと、障害物マップ生成手段がマップデータを生成す
る際のカメラの前記実平坦面上での位置を表すデータと
を時間間隔をおいて蓄積し、マップ変換手段は、画像蓄
積手段が蓄積した各マップデータに対して、対応して画
像蓄積手段が蓄積している前記位置データにもとづいて
座標変換を行う。そして、マップデータ統合手段は、マ
ップ変換手段により変換された複数のマップデータにお
いて、各マップデータを構成する同一位置のデータのう
ち、障害物を表すデータの数を各位置のデータごとに計
数し、計数値にもとづいて、前記複数のマップデータを
統合したマップデータを生成する。

【００６４】本発明の障害物検出装置を移動体に搭載し
た場合、画像蓄積手段が蓄積するマップデータは、移動
体が移動していることから視点の異なる場所から撮影し
た画像にもとづいて生成したものとなっている。そし
て、視点が異なると物体の見え方も違うので、例えばあ
る画像では障害物の周辺部などにおける部分的な途切れ
や、障害物ではない不要な画像の混入などがあったとし
ても、他の画像では画像の途切れや、不要画像の混入は
生じていないということがある。したがって、蓄積され
た複数のマップデータの統合処理を行うことで、単一画
像における画像の途切れや、不要画像の混入などを原因
とする誤検出が平滑化によって解消される。したがっ
て、本発明では、いっそう信頼性の高い障害物マップを
得ることができる。

【００６５】また、本発明の障害物検出装置を搭載した
移動体では、移動経路生成手段が、障害物マップ生成手
段により生成されたマップデータにもとづいて移動すべ
き方向および目標とする位置のいずれか一方または両方
を表すデータを生成し、移動制御手段は、この移動経路
生成手段が生成した前記データが表す前記方向、または
前記目標位置の方向に移動すべく操縦する。したがって
本発明の障害物検出装置を搭載した移動体は、カメラに
よる撮影画像の大部分が、壁や箱などの大きい障害物の
画像で占められ、エッジによる障害物の検出が困難な場
合でも、障害物を確実に検出して、障害物に衝突するこ
となく安全に移動することができる。

【００６６】また、本発明の障害物検出装置では、仮想
平面座標算出手段が、第１および第２のカメラの少なく
とも一方により移動体前方を撮影して得られるステレオ
画像上の位置を表す座標値と、移動体前方に延在する仮
想平坦面上の位置の座標値との対応関係を取得する。そ
して、無限遠線特定手段は、仮想平面座標算出手段が取
得した前記対応関係にもとづき、実平坦面の無限遠線が
仮想平坦面上でカメラより充分遠方に存在する点の集合
であるとして、無限遠線の前記画像上の理論的な位置を
特定する。その上で、領域拡張処理手段は、カメラで撮
影して得られた画像に対し、無限遠線特定手段が特定し
た無限遠線の位置またはその近傍に存在する前記画像上
の画素の値をもとに領域拡張処理を行って障害物の画像
を構成する画素集合の領域を確定する。そして、第１の
障害物マップ生成手段は、領域拡張処理手段が確定した
前記画素集合の領域、および仮想平面座標算出手段が取
得した前記座標値の対応関係にもとづいて実平坦面上に
おける前記障害物の位置を表す第１のマップデータを生
成する。

【００６７】一方、ステレオ照合障害物検出手段は、第
１および第２のカメラにより得られたステレオ画像にも
とづきステレオ照合法によって画像上の障害物の位置を
検出し、第２の障害物マップ生成手段は、ステレオ照合
障害物検出手段が検出した前記障害物の位置、および仮
想平面座標算出手段が取得した前記座標値の対応関係に
もとづいて実平坦面上における前記障害物の位置を表す
第２のマップデータを生成する。その後、第３の障害物
マップ生成手段は、第１および第２の障害物マップ生成
手段が生成した第１および第２のマップデータを統合し
て実平坦面上における前記障害物の位置を表す第３のマ
ップデータを生成する。

【００６８】領域拡張による障害物検出は、画素値の近
い画素同士を併合して障害物領域を判定するという手法
であるから、その性格上、エッジなどを含まずコントラ
ストのあまり無い障害物の検出に適している。一方、ス
テレオ照合法を用いた障害物検出は、複数画像間で対応
する領域あるいは画素を求めるという手法であるから、
その性格上、特徴のある領域あるいは特徴のある領域内
の画素の障害物判定に適している。このように、領域拡
張による障害物検出とステレオ照合法による障害物検出
は互いに検出能力において相補的な関係にあるので、領
域拡張にもとづく第１のマップデータと、ステレオ照合
法にもとづく第２のマップデータとを統合した第３のマ
ップデータは、いっそう信頼性の高いマップデータとな
る。したがって本発明では、さらに信頼性の高い障害物
マップを得ることができる。

【００６９】また、本発明の障害物検出装置は、前記第
１の障害物マップ生成手段が、前記領域拡張処理手段に
より確定された前記画素集合の領域、および前記仮想平
面座標算出手段が取得した前記座標値の対応関係にもと
づいて前記実平坦面上における前記障害物の位置を表す
前記第１のマップデータを、前記第１および第２のカメ
ラによりそれぞれ撮影して得られた２枚の画像ごとに生
成し、前記第３の障害物マップ生成手段は、前記第１の
障害物マップ生成手段が生成した２つの前記第１のマッ
プデータを統合して最終的な前記第１のマップデータを
生成することを特徴とする。すなわち、本発明の障害物
検出装置では、第１および第２のカメラで撮影した画像
は、視点の異なる場所から撮影した画像となっており、
視点が異なると物体の見え方も違うので、例えば左側の
画像では障害物の周辺部などにおける部分的な途切れ
や、障害物ではない不要な画像の混入などがあったとし
ても、右側の画像では画像の途切れや、不要画像の混入
は生じていないということがある。したがって、第１お
よび第２のカメラによる２枚の画像の障害物検出結果の
統合処理を行うことで、単一画像における画像の途切れ
や、不要画像の混入などを原因とする誤検出が平滑化に
より解消される。そのため、本発明では、いっそう信頼
性の高い障害物マップを得ることができる。

【００７０】また、第１および第２のカメラによりステ
レオ画像を取得する本発明の障害物検出装置を搭載した
移動体では、移動経路生成手段が、障害物マップ生成手
段により生成されたマップデータにもとづいて移動すべ
き方向および目標とする位置のいずれか一方または両方
を表すデータを生成し、移動制御手段は、この移動経路
生成手段が生成した前記データが表す前記方向、または
前記目標位置の方向に移動すべく操縦する。したがって
本発明の障害物検出装置を搭載した移動体は、カメラに
よる撮影画像の大部分が、壁や箱などの大きい障害物の
画像で占められ、エッジによる障害物の検出が困難な場
合でも、障害物を確実に検出し、さらにマップデータ統
合処理によっていっそう高い信頼性で障害物を検出して
障害物に衝突することなく安全に移動することができ
る。

【図面の簡単な説明】

【図１】本発明による障害物検出装置の一例を示すブロ
ック図である。

【図２】図１の障害物検出装置を搭載した本発明による
移動体の一例としてのロボットを示す構成図である。

【図３】カメラ座標系の点Ｐ’がカメラによる撮影画像
上の点Ｑに投影される様子を示す説明図である。

【図４】理論的な無限遠線を含む画像の一例を示す模式
図である。

【図５】（Ａ）および（Ｂ）は単純領域拡張処理を示す
説明図である。

【図６】領域拡張処理によって得られた処理結果の一例
を示す説明図である。

【図７】（Ａ）は領域拡張処理部により確定された障害
物領域を含む画像を示す説明図、（Ｂ）は障害物マップ
生成部が生成したマップデータにより作成した障害物マ
ップを示す説明図である。

【図８】本発明の第２の実施の形態例のロボットを構成
する画像データ処理装置および関連要素を示すブロック
図である。

【図９】複数障害物マップ統合処理部の構成を詳しく示
すブロック図である。

【図１０】障害物判定処理部が行う処理を示すフローチ
ャートである。

【図１１】（Ａ）ないし（Ｃ）は、左右のカメラで撮影
した画像で障害物検出を行い、検出結果を統合した場合
の一例を示す説明図である。

【図１２】（Ａ）および（Ｂ）は、時系列画像の障害物
検出結果の統合例を示す説明図である。

【符号の説明】

１……ロボット、１０……ＣＣＤカメラ（カメラ）、１
１……画像入力装置、１２……画像データ処理装置、１
３……ロボット制御装置、１４……モータ、１５……車
輪、２０……仮想平面座標算出部、２１……無限遠線座
標算出部、２２……領域拡張処理部、２３、２３Ｂ……
障害物マップ生成部、２４……移動命令生成部、８０…
…ステレオ画像入力手段、８１……ステレオ照合障害物
検出処理部、８２……複数障害物マップ統合処理部、８
４……画像データ処理装置、９０……時系列画像蓄積手
段、９１……障害物マップ変換部、９２……障害物判定
処理部、９３……画像間論理和処理部。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA03 AA06 CC00 CC11 FF04 FF05 JJ03 JJ05 JJ26 QQ03 QQ24 QQ31 2F112 AC06 BA01 CA04 CA12 FA07 FA21 FA35 FA45 5B057 CA08 CA13 CA16 CB08 CB13 CB16 CC03 CD20 CH08 DA08 DB02 DB09 5H301 AA01 CC03 CC06 GG03 GG09 GG23 GG29

Claims (16)

【特許請求の範囲】
1. 【請求項１】 実平坦面上を移動する移動体に搭載して
   前記移動体前方に存在する障害物を検出する装置であっ
   て、 前記移動体の前方を撮影するカメラと、 前記移動体前方を前記カメラで撮影して得られる画像上
   の位置を表す座標値と、前記移動体前方に延在する仮想
   平坦面上の位置の座標値との対応関係を取得する仮想平
   面座標算出手段と、 前記仮想平面座標算出手段が取得した前記対応関係にも
   とづき、前記実平坦面の無限遠線が前記仮想平坦面上で
   前記カメラより充分遠方に存在する点の集合であるとし
   て、前記無限遠線の前記画像上の理論的な位置を特定す
   る無限遠線特定手段と、 前記カメラで撮影して得られた画像に対し、前記無限遠
   線特定手段が特定した前記無限遠線の位置またはその近
   傍に存在する前記画像上の画素の値をもとに領域拡張処
   理を行って障害物の画像を構成する画素集合の領域を確
   定する領域拡張処理手段と、 前記領域拡張処理手段が確定した前記画素集合の領域、
   および前記仮想平面座標算出手段が取得した前記座標値
   の対応関係にもとづいて前記実平坦面上における前記障
   害物の位置を表すマップデータを生成する障害物マップ
   生成手段とを備えたことを特徴とする障害物検出装置。
2. 【請求項２】 前記カメラで撮影して得られる前記画像
   は、前記カメラの焦点距離近傍を撮影して得られる画像
   であることを特徴とする請求項１記載の障害物検出装
   置。
3. 【請求項３】 前記仮想平面座標算出手段は、前記移動
   体前方を前記カメラで撮影して得られる前記画像上の位
   置を表す座標値より、前記画像上の位置に対応する、前
   記移動体前方に延在する前記仮想平坦面上の位置の座標
   値を算出することを特徴とする請求項１記載の障害物検
   出装置。
4. 【請求項４】 前記仮想平面座標算出手段が算出する前
   記座標値は、前記カメラの位置を基準に設定した座標軸
   に係わる座標値であることを特徴とする請求項３記載の
   障害物検出装置。
5. 【請求項５】 前記障害物マップ生成手段が生成した前
   記マップデータと、前記障害物マップ生成手段が前記マ
   ップデータを生成する際の前記カメラの前記実平坦面上
   での位置を表すデータとを時間間隔をおいて蓄積する画
   像蓄積手段と、 前記画像蓄積手段が蓄積した各マップデータに対して、
   対応して前記画像蓄積手段が蓄積している前記位置デー
   タにもとづいて座標変換を行うマップ変換手段と、 マップ変換手段により変換された複数の前記マップデー
   タにおいて、各マップデータを構成する同一位置のデー
   タのうち、障害物を表すデータの数を各位置のデータご
   とに計数し、計数値にもとづいて、前記複数の前記マッ
   プデータを統合したマップデータを生成するマップデー
   タ統合手段とをさらに備えたことを特徴とする請求項１
   記載の障害物検出装置。
6. 【請求項６】 前記マップデータ統合手段は、前記計数
   値が基準値を上回るか否かに応じて、前記統合した前記
   マップデータを構成するデータが障害物を表すか否かを
   決定することを特徴とする請求項５記載の障害物検出装
   置。
7. 【請求項７】 障害物検出装置を備え、前記障害物検出
   装置による障害物の検出結果にもとづいて実平坦面上を
   移動する移動体であって、 前記移動体の前方を撮影するカメラと、 前記移動体前方を前記カメラで撮影して得られる画像上
   の位置を表す座標値と、前記移動体前方に延在する仮想
   平坦面上の位置の座標値との対応関係を取得する仮想平
   面座標算出手段と、 前記仮想平面座標算出手段が取得した前記対応関係にも
   とづき、前記実平坦面の無限遠線が前記仮想平坦面上で
   前記カメラより充分遠方に存在する点の集合であるとし
   て、前記無限遠線の前記画像上の理論的な位置を特定す
   る無限遠線特定手段と、 前記カメラで撮影して得られた画像に対し、前記無限遠
   線特定手段が特定した前記無限遠線の位置またはその近
   傍に存在する前記画像上の画素の値をもとに領域拡張処
   理を行って障害物の画像を構成する画素集合の領域を確
   定する領域拡張処理手段と、 前記領域拡張処理手段が確定した前記画素集合の領域、
   および前記仮想平面座標算出手段が取得した前記座標値
   の対応関係にもとづいて前記実平坦面上における前記障
   害物の位置を表すマップデータを生成する障害物マップ
   生成手段とを前記障害物検出装置が備え、 前記障害物マップ生成手段が生成した前記マップデータ
   にもとづいて移動すべき方向および目標とする位置のい
   ずれか一方または両方を表すデータを生成する移動経路
   生成手段と、 前記移動経路生成手段が生成した前記データが表す前記
   方向、または前記目標位置の方向に移動すべく操縦する
   移動制御手段とを備えたことを特徴とする障害物検出装
   置を搭載した移動体。
8. 【請求項８】 実平坦面上を移動する移動体に搭載して
   前記移動体前方に存在する障害物を検出する装置であっ
   て、 相互に間隔をおいて配置され前記移動体の前方を撮影し
   てステレオ画像を得る第１および第２のカメラと、 前記第１および第２のカメラの少なくとも一方により前
   記移動体前方を撮影して得られる画像上の位置を表す座
   標値と、前記移動体前方に延在する仮想平坦面上の位置
   の座標値との対応関係を取得する仮想平面座標算出手段
   と、 前記仮想平面座標算出手段が取得した前記対応関係にも
   とづき、前記実平坦面の無限遠線が前記仮想平坦面上で
   前記カメラより充分遠方に存在する点の集合であるとし
   て、前記無限遠線の前記画像上の理論的な位置を特定す
   る無限遠線特定手段と、 前記カメラで撮影して得られた画像に対し、前記無限遠
   線特定手段が特定した前記無限遠線の位置またはその近
   傍に存在する前記画像上の画素の値をもとに領域拡張処
   理を行って障害物の画像を構成する画素集合の領域を確
   定する領域拡張処理手段と、 前記領域拡張処理手段が確定した前記画素集合の領域、
   および前記仮想平面座標算出手段が取得した前記座標値
   の対応関係にもとづいて前記実平坦面上における前記障
   害物の位置を表す第１のマップデータを生成する第１の
   障害物マップ生成手段と、 前記第１および第２のカメラにより得られた前記ステレ
   オ画像にもとづきステレオ照合法によって画像上の障害
   物の位置を検出するステレオ照合障害物検出手段と、 前記ステレオ照合障害物検出手段が検出した前記障害物
   の位置、および前記仮想平面座標算出手段が取得した前
   記座標値の対応関係にもとづいて前記実平坦面上におけ
   る前記障害物の位置を表す第２のマップデータを生成す
   る第２の障害物マップ生成手段と、 前記第１および第２の障害物マップ生成手段が生成した
   前記第１および第２のマップデータを統合して前記実平
   坦面上における前記障害物の位置を表す第３のマップデ
   ータを生成する第３の障害物マップ生成手段とを備えた
   ことを特徴とする障害物検出装置。
9. 【請求項９】 前記第１および第２のカメラで撮影して
   得られる前記画像は、前記カメラの焦点距離近傍を撮影
   して得られる画像であることを特徴とする請求項８記載
   の障害物検出装置。
10. 【請求項１０】 前記仮想平面座標算出手段は、前記移
    動体前方を前記カメラで撮影して得られる前記画像上の
    位置を表す座標値より、前記画像上の位置に対応する、
    前記移動体前方に延在する前記仮想平坦面上の位置の座
    標値を算出することを特徴とする請求項８記載の障害物
    検出装置。
11. 【請求項１１】 前記仮想平面座標算出手段が算出する
    前記座標値は、前記カメラの位置を基準に設定した座標
    軸に係わる座標値であることを特徴とする請求項１０記
    載の障害物検出装置。
12. 【請求項１２】 前記第３の障害物マップ生成手段は、
    前記第１および第２の障害物マップ生成手段が生成した
    前記第１および第２のマップデータに対して、各マップ
    データを構成する、対応する位置のデータ間で論理和演
    算を行うことにより前記第１および第２のマップデータ
    を統合することを特徴とする請求項８記載の障害物検出
    装置。
13. 【請求項１３】 前記第１の障害物マップ生成手段は、
    前記領域拡張処理手段が確定した前記画素集合の領域、
    および前記仮想平面座標算出手段が取得した前記座標値
    の対応関係にもとづいて前記実平坦面上における前記障
    害物の位置を表す前記第１のマップデータを、前記第１
    および第２のカメラによりそれぞれ撮影して得られた２
    枚の画像ごとに生成し、 前記第３の障害物マップ生成手段は、前記第１の障害物
    マップ生成手段が生成した２つの前記第１のマップデー
    タを統合して最終的な前記第１のマップデータを生成す
    ることを特徴とする請求項８記載の障害物検出装置。
14. 【請求項１４】 前記第３の障害物マップ生成手段は、
    前記第１の障害物マップ生成手段が生成した前記２つの
    前記第１のマップデータにおいて各マップデータを構成
    する同一位置の２つのデータごとに、それらのデータが
    共に障害物を表すか、いずれも障害物を表さないか、あ
    るいは一方のみが障害物を表すかにもとづき前記生成し
    た２つの前記第１のマップデータを統合して前記最終的
    な第１のマップデータを生成することを特徴とする請求
    項１３記載の障害物検出装置。
15. 【請求項１５】 前記第３の障害物マップ生成手段は、
    前記最終的な前記第１のマップデータと、前記第２の障
    害物マップ生成手段が生成した前記第２のマップデータ
    とを統合して前記第３のマップデータを生成することを
    特徴とする請求項１３記載の障害物検出装置。
16. 【請求項１６】 障害物検出装置を備え、前記障害物検
    出装置による障害物の検出結果にもとづいて実平坦面上
    を移動する移動体であって、 相互に間隔をおいて配置され前記移動体の前方を撮影し
    てステレオ画像を得る第１および第２のカメラと、 前記第１および第２のカメラの少なくとも一方により前
    記移動体前方を撮影して得られる画像上の位置を表す座
    標値と、前記移動体前方に延在する仮想平坦面上の位置
    の座標値との対応関係を取得する仮想平面座標算出手段
    と、 前記仮想平面座標算出手段が取得した前記対応関係にも
    とづき、前記実平坦面の無限遠線が前記仮想平坦面上で
    カメラより充分遠方に存在する点の集合であるとして、
    前記無限遠線の前記画像上の理論的な位置を特定する無
    限遠線特定手段と、 前記カメラで撮影して得られた画像に対し、前記無限遠
    線特定手段が特定した前記無限遠線の位置またはその近
    傍に存在する前記画像上の画素の値をもとに領域拡張処
    理を行って障害物の画像を構成する画素集合の領域を確
    定する領域拡張処理手段と、 前記領域拡張処理手段が確定した前記画素集合の領域、
    および前記仮想平面座標算出手段が取得した前記座標値
    の対応関係にもとづいて前記実平坦面上における前記障
    害物の位置を表す第１のマップデータを生成する第１の
    障害物マップ生成手段と、 前記第１および第２のカメラにより得られた前記ステレ
    オ画像にもとづきステレオ照合法によって画像上の障害
    物の位置を検出するステレオ照合障害物検出手段と、 前記ステレオ照合障害物検出手段が検出した前記障害物
    の位置、および前記仮想平面座標算出手段が取得した前
    記座標値の対応関係にもとづいて前記実平坦面上におけ
    る前記障害物の位置を表す第２のマップデータを生成す
    る第２の障害物マップ生成手段と、 前記第１および第２の障害物マップ生成手段が生成した
    前記第１および第２のマップデータを統合して前記実平
    坦面上における前記障害物の位置を表す第３のマップデ
    ータを生成する第３の障害物マップ生成手段とを前記障
    害物検出装置が備え、 前記第３の障害物マップ生成手段が生成した前記第３の
    マップデータにもとづいて移動すべき方向および目標と
    する位置のいずれか一方または両方を表すデータを生成
    する移動経路生成手段と、 前記移動経路生成手段が生成した前記データが表す前記
    方向、または前記目標位置の方向に移動すべく操縦する
    移動制御手段とを備えたことを特徴とする障害物検出装
    置を搭載した移動体。