JP2001266123A

JP2001266123A - 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体

Info

Publication number: JP2001266123A
Application number: JP2000080935A
Authority: JP
Inventors: Shinichi Matsunaga; 慎一松永
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-03-22
Filing date: 2000-03-22
Publication date: 2001-09-28
Anticipated expiration: 2020-03-22
Also published as: US20010024514A1; US6826293B2; JP4409035B2

Abstract

(57)【要約】【課題】ロボットや自動車が自律的に移動する際に、
行動の制御を必要とする特異箇所の検出を行うことがで
きる画像処理装置を提供する。【解決手段】距離センサの前方視野内の物体表面の各
点の距離を測定して得られた物体表面の各点の３次元座
標値に基づいて距離画像を得る距離画像取得手段と、距
離画像から得られる物体表面の３次元座標値から平面を
検出する平面検出手段と、距離画像からエッジを検出す
るエッジ検出手段と、エッジ検出手段において検出され
たエッジと平面検出手段によって検出された平面とが所
定の条件を満たすか否かによって、該エッジが特異箇所
であるかを判定する特異箇所判定手段と、特異箇所判定
手段の結果に基づいて特異箇所を記憶する特異箇所マッ
プ記憶手段とを備えたことを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、距離画像を用いて
ロボットや自動車が移動する際に必要な特異箇所の検出
を行う画像処理装置、特異箇所検出方法、及び特異箇所
検出プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】自律ロ
ボットや自動走行の自動車が安全に移動するには、交差
点や下り階段等の特別な環境構造を検出する必要があ
る。そのため、ロボットや自動車にレーダ等を備え付け
このレーダによって得られる周囲環境の情報から行動の
制御が行われることが多い。ところで、検出された情報
から自己の行動の制御を行う場合には、検出される情報
は正確であり、また、不要な情報が含まれないようにす
る必要がある。しかしながら、ロボットや自動車が移動
する際の周囲環境は複雑であるため、正確にかつ的確な
情報のみを抽出するには、処理がたいへん複雑になった
り、周囲環境を検出する手段を複数備えなければならな
いという問題がある。

【０００３】本発明は、このような事情に鑑みてなされ
たもので、ロボットや自動車が自律的に移動する際に、
行動の制御を必要とする特異箇所の検出を行うことがで
きる画像処理装置、特異箇所検出方法、及び特異箇所検
出プログラムを記録した記録媒体を提供することを目的
とする。

【０００４】

【課題を解決するための手段】請求項１に記載の発明
は、距離センサの前方視野内の物体表面の各点の距離を
測定して得られた物体表面の各点の３次元座標値に基づ
いて距離画像を得る距離画像取得手段（例えば、実施形
態における距離画像取得部１）と、前記距離画像から得
られる前記物体表面の３次元座標値から平面を検出する
平面検出手段（例えば、実施形態における平面検出部
３）と、前記距離画像からエッジを検出するエッジ検出
手段（例えば、実施形態におけるエッジ検出部４）と、
前記エッジ検出手段において検出されたエッジと前記平
面検出手段によって検出された平面とが所定の条件を満
たすか否かによって、該エッジが特異箇所であるかを判
定する特異箇所判定手段（例えば、実施形態における特
異箇所判定部５）と、前記特異箇所判定手段の結果に基
づいて特異箇所を記憶する特異箇所マップ記憶手段（特
異箇所マップ記憶部７）とを備えたことを特徴とする。

【０００５】請求項１に記載の発明によれば、距離画像
に対してエッジ検出処理を施し、距離の急激変化を検出
するようにしたため、交差点や下り階段などの特異箇所
を高速で検出することが可能となる。また、エッジ検出
によって検出されたエッジと、平面検出によって検出さ
れた平面とが所定の条件を満たしたときのみ、このエッ
ジの箇所を特異箇所としたため、特異箇所の検出精度を
向上させることができる。さらに、エッジ検出と平面検
出を並行して処理するようにしたため、特異箇所の検出
処理速度を向上することができるという効果が得られ
る。

【０００６】請求項２に記載の発明は、請求項１に記載
の画像処理装置を備えた車両走行制御装置であって、前
記車両走行制御装置は、車両の走行の際に前記特異箇所
マップを参照して、走行の制御を行う移動制御手段（例
えば、実施形態における移動制御部８）を備えたことを
特徴とする。

【０００７】請求項２に記載の発明によれば、特異箇所
マップを参照しながら自動車の移動を制御するようにし
たため、精度よく自動車の位置の制御を行うことができ
るとともに、特異箇所への接近に伴い必要な行動を起こ
す制御をすることが可能になるという効果が得られる。

【０００８】請求項３に記載の発明は、請求項１に記載
の画像処理装置を備えた自律走行ロボットであって、前
記自律走行ロボットは、ロボットの移動の際に前記特異
箇所マップを参照して、走行の制御を行う移動制御手段
（例えば、実施形態における移動制御部８）を備えたこ
とを特徴とする。

【０００９】請求項３に記載の発明によれば、特異箇所
マップを参照しながらロボットの移動を制御するように
したため、精度よくロボットの位置の制御を行うことが
できるとともに、特異箇所への接近に伴い必要な行動を
起こす制御をすることが可能になるという効果が得られ
る。

【００１０】請求項４に記載の発明は、距離センサの前
方視野内の物体表面の各点の距離を測定して得られた物
体表面の各点の３次元座標値に基づいて距離画像を得る
距離画像取得処理と、前記距離画像から得られる前記物
体表面の３次元座標値から平面を検出する平面検出処理
（例えば、実施形態におけるステップＳ１）と、前記距
離画像からエッジを検出するエッジ検出処理（例えば、
実施形態におけるステップＳ２）と、前記エッジ検出手
段において検出されたエッジと前記平面検出手段によっ
て検出された平面とが所定の条件を満たすか否かによっ
て、該エッジが特異箇所であるかを判定する特異箇所判
定処理（例えば、実施形態におけるステップＳ５）とを
有することを特徴とする。

【００１１】請求項４に記載の発明によれば、距離画像
に対してエッジ検出処理を施し、距離の急激変化を検出
するようにしたため、交差点や下り階段などの特異箇所
を高速で検出することが可能となる。また、エッジ検出
によって検出されたエッジと、平面検出によって検出さ
れた平面とが所定の条件を満たしたときのみ、このエッ
ジの箇所を特異箇所としたため、特異箇所の検出精度を
向上させることができる。さらに、エッジ検出と平面検
出を並行して処理するようにしたため、特異箇所の検出
処理速度を向上することができるという効果が得られ
る。

【００１２】請求項５に記載の発明は、前方視野内の特
異箇所を検出する特異箇所検出プログラムを記録したコ
ンピュータ読み取り可能な記録媒体であって、前記特異
箇所検出プログラムは、距離センサの前方視野内の物体
表面の各点の距離を測定して得られた物体表面の各点の
３次元座標値に基づいて距離画像を得る距離画像取得処
理と、前記距離画像から得られる前記物体表面の３次元
座標値から平面を検出する平面検出処理（例えば、実施
形態におけるステップＳ１）と、前記距離画像からエッ
ジを検出するエッジ検出処理（例えば、実施形態におけ
るステップＳ２）と、前記エッジ検出手段において検出
されたエッジと前記平面検出手段によって検出された平
面とが所定の条件を満たすか否かによって、該エッジが
特異箇所であるかを判定する特異箇所判定処理（例え
ば、実施形態におけるステップＳ５）とをコンピュータ
に行わせることを特徴とする。

【００１３】請求項５に記載の発明によれば、距離画像
に対してエッジ検出処理を施し、距離の急激変化を検出
するようにしたため、交差点や下り階段などの特異箇所
を高速で検出することが可能となる。また、エッジ検出
によって検出されたエッジと、平面検出によって検出さ
れた平面とが所定の条件を満たしたときのみ、このエッ
ジの箇所を特異箇所としたため、特異箇所の検出精度を
向上させることができる。さらに、エッジ検出と平面検
出を並行して処理するようにしたため、特異箇所の検出
処理速度を向上することができるという効果が得られ
る。

【００１４】

【発明の実施の形態】以下、本発明の一実施形態による
画像処理装置を図面を参照して説明する。図１は同実施
形態の構成を示すブロック図である。この図において、
符号１は、ロボットや自動車が移動する際の移動方向の
視野内に存在する物体の距離画像を取得する距離画像取
得部である。この距離画像取得部１の距離センサは、２
台のＣＣＤカメラや電磁波を用いたレーダ等で構成され
る。符号２は、距離画像取得部１において得られた距離
画像の１フレーム分を記憶する距離画像記憶部である。
符号３は、距離画像記憶部２に記憶された距離画像を処
理して平面を検出する平面検出部である。

【００１５】符号４は、距離画像記憶部２に記憶された
距離画像を処理してエッジ検出を行うエッジ検出部であ
る。符号５は、平面検出部３及びエッジ検出部４の検出
結果に基づいて特異箇所を判定する特異箇所判定部であ
る。符号６は、平面検出結果を参照して、距離画像から
特異箇所マップに使用する平面図へ変換する距離画像変
換部である。符号７は、距離画像変換部６によって作成
された平面図と特異箇所判定部５の判定結果に基づいて
作成される特異箇所マップを記憶する特異箇所マップ記
憶部である。符号８は、特異箇所マップを参照してロボ
ットや自動車等の移動を制御する移動制御部である。こ
こでは、図１に示す画像処理装置は屋内を移動する自律
走行のロボットに備えられているものとして説明する。

【００１６】ここで、以下の説明において用いる座標系
を定義する。ロボットの前方の距離方向をＸ軸、ロボッ
トの左右方向をＹ軸、鉛直方向をＺ軸とし、これらの３
軸は互いに直交している。また、以下でいう距離とは、
距離画像取得部１から各物体までの直線距離である。し
たがって、距離画像データは、距離画像取得部１の測定
視野における物体表面の測定点の３次元座標値の集合で
ある。

【００１７】次に、図面を参照して、図１に示す画像処
理装置の動作を説明する。図２は、図１に示す画像処理
装置の動作を示すフローチャートである。まず、距離画
像取得部１は、距離画像を取得し、そのデータをＡ／Ｄ
変換して各測定点毎に距離画像記憶部２へ格納する。こ
こでは、一例として各測定点の距離を８ビット（２５６
階調）で表現するものとする。通常の画像の画素は、セ
ンサの視野内における物体表面の輝度を表現したもので
あるが、距離画像の画素は、センサの視野内における物
体表面までの距離を２５６階調で表現したものである。

【００１８】したがって、距離画像中の画素の位置によ
って、ＹＺ平面上の１点を特定することができ、さらに
この画素がもつ距離の情報によってＸ軸方向の位置を特
定することができるため、３次元空間に存在する物体の
表面上の１点を特定することができる。なお、より精度
が必要な場合には、レーダを併用するなどして精度を向
上させることもできる。さらに、距離データを２５６階
調で表現せずに、距離センサの出力値をそのまま使用す
るようにしてもよい。ここで、現時点におけるロボット
の位置関係を定義するために、ロボットの前方視野の情
景の一例を図３に示す。図３に示すように、ロボット
は、廊下がＴ字になるように交差している位置へ接近し
ているものとする。

【００１９】次に、距離画像記憶部２に距離画像が格納
された後に、平面検出部３は、距離画像記憶部２に記憶
されている距離画像を読み取り、この距離画像を処理し
て平面の検出を行う（ステップＳ１）。この平面検出処
理の詳細な説明は、後述するが、後述する検出処理に限
らず周知の処理方法が利用できる。この平面検出処理に
よって、平面検出部３内には、図４に示す平面検出結果
の画像が得られる。この処理によって検出された平面は
式（１）によって表される。ａ_kｘ＋ｂ_kｙ＋ｃ_kｚ＝ｄ_k・・・・・・・（１）ただし、ｋは面毎に区別するためのインデックスであ
る。

【００２０】一方、平面検出部３の処理と並行して、エ
ッジ検出部４は、平面検出部３が読み込んだ距離画像と
同一の距離画像を読み取り、この距離画像を処理してエ
ッジの検出を行う（ステップＳ２）。通常の輝度画像に
対する画像処理においては、輝度変化が急激な箇所をエ
ッジとして抽出する処理を行うが、距離画像に対するエ
ッジ検出は、距離の変化が急激な箇所をエッジと抽出す
るものである。このエッジ検出処理には、輝度画像に対
する周知の画像処理技術を用いることができ、例えば、
距離画像に対して、Ｓｏｂｅｌフィルタを用いてエッジ
検出のための２値画像を生成し、この２値画像に対し
て、さらにＨｏｕｇｈ変換を用いて線分を抽出すればよ
い。このエッジ検出処理によって、エッジ検出部４内に
は、図５に示すエッジ検出結果の画像が得られる。ま
た、この処理によって、抽出線分の方向ベクトルｎ＝
（ｘ_j，ｙ_j，ｚ_j）と抽出線分上の任意の点Ｐ_j0＝
（ｘ₀，ｙ₀，ｚ₀）が得られる。

【００２１】次に、距離画像変換部６は、距離画像記憶
部２に記憶されている距離画像と、平面検出部３におけ
る平面検出結果から平面図を生成する（ステップＳ
３）。ここでいう平面図とは、ロボットの上方から見た
位置関係を示す画像であり、ＸＹ平面に測定点を投影し
て生成される。この処理によって得られる平面図の画像
の一例を図６に示す。この図に示すように、平面図画像
は、廊下の配置関係と自己の位置を把握することができ
る画像となっている。

【００２２】次に、特異箇所判定部５は、エッジ検出部
４に保持されているエッジ情報を１つずつ読み出す（ス
テップＳ４）。そして、特異箇所判定部５は、この読み
出したエッジに対応する平面が、平面検出部３内に保持
されているか否かを判定する（ステップＳ５）。この判
定は、式（２）、（３）を満たすか否かによって判定さ
れる。｜ａ_kｘ_j＋ｂ_kｙ_j＋ｃ_kｚ_j｜≦ε_v・・・・・・・（２）｜ａ_kｘ₀＋ｂ_kｙ₀＋ｃ_kｚ₀−ｄ_k｜≦ε_p・・・・・（３）ただし、ε_v，ε_pはしきい値であり、０に近い値であ
る。式（２）が満たされれば、抽出された線分の方向ベ
クトルと平面の法線ベクトルが９０度で直交しているこ
とを意味する。また、式（３）が満たされれば、抽出さ
れた線分上の各点が式（１）によって定義される面上に
存在することを意味する。

【００２３】この判定の結果、対応する平面が存在しな
い場合、ステップＳ７へ進む。一方、対応する平面が存
在した場合、特異箇所判定部５は、対応する平面とエッ
ジの情報からその位置を求め、この求められた位置を特
異箇所として距離画像変換部６が生成した特異箇所マッ
プ上にマーキングすることによって特異箇所マップを更
新する（ステップＳ６）。図６に特異箇所をマーキング
した状態の特異箇所マップを示す。

【００２４】次に、特異箇所判定部５は、エッジ検出部
４において検出されたエッジの全てについて処理を行っ
たか否かを判定し、行っていなければステップＳ４へ戻
り処理を繰り返す。一方、全てのエッジについて処理を
行った場合は特異箇所検出処理を終了する。距離画像取
得部１は、１回の特異箇所検出処理が終了したのを受け
て、新たな距離画像を取得して、その結果を距離画像記
憶部２へ格納する。そして、前述したステップＳ１〜Ｓ
７の処理を再度実行する。これによって、ロボットの移
動に伴い特異箇所マップが更新される。

【００２５】このように、距離画像に対してエッジ検出
処理を施し、距離の急激変化を検出するようにしたた
め、交差点や下り階段などの特異箇所を高速で検出する
ことが可能となる。また、エッジ検出によって検出され
たエッジと、平面検出によって検出された平面とが所定
の条件を満たしたときのみ、このエッジの箇所を特異箇
所としたため、特異箇所の検出精度を向上させることが
できる。さらに、エッジ検出と平面検出を並行して処理
するようにしたため、特異箇所の検出処理速度を向上す
ることができる。

【００２６】一方、移動制御部８は、時々刻々更新され
る特異箇所マップ記憶部７の内容を参照しながら、特異
箇所を認識することによって移動経路の設定を行うとと
もに、特異箇所に接近した時点で走行速度を小さくする
などのロボットの移動制御を行う。これによって交差点
に接近したときに走行速度を小さくして出会い頭の衝突
を回避する等の行動が起こしやすくなり、周囲の環境構
造に応じて車速等を制御することができる。

【００２７】次に、平面検出部３が平面を検出する動作
を説明する。図７は、平面検出部３３が距離画像から壁
に相当する垂直平面を抽出する動作を示すフローチャー
トである。平面検出部３は、１フレーム分の距離データ
を読み出し、予め設定されているマスクによって画像上
の着目画素（ここでは、Ｐ１と称する）と他の１点の画
素（ここでは、Ｐ２と称する）を選択する（ステップＳ
１２）。図９（ａ）にステップＳ１において用いられる
マスクの一例を示す。この図に示すように、垂直平面用
マスクは５×５画素のものであり、中心の点がＰ１であ
り、４隅の点がＰ２となる。

【００２８】次に、平面検出部３は、このマスクによっ
て選択された２点Ｐ１（ｘ₁，ｙ₁，ｚ₁）、Ｐ２（ｘ₂，
ｙ₂，ｚ₂）から式（４）、（５）によって、Ｈｏｕｇｈ
空間上のパラメータθ、ρを求める（ステップＳ１
２）。 θ＝−ｔａｎ^-1［（ｘ₁−ｘ₂）／（ｙ₁−ｙ₂）］・・・・（４） ρ＝ｘ₁ｃｏｓθ＋ｙ₂ｓｉｎθ・・・・・・・・・・・（５）式（４）、（５）に示すように、パラメータθ、ρは、
Ｚ成分を用いずにＸ成分及びＹ成分のみによって算出さ
れる。図７に示す処理は、壁等の垂直平面を抽出する処
理であるため、Ｚ成分を無視することができる。特に屋
内においては、垂直平面がほとんどであるため、Ｚ成分
を無視しても平面抽出の処理結果に及ぼす影響は小さく
することができる。したがって、３次元座標値を有する
物体表面上の測定点をＸＹ平面に投影し、その投影され
た点からＸＹ平面上の直線を抽出すれば３次元空間上の
垂直平面を抽出することができる。ここで、式（４）、
（５）によって算出されるパラメータθは、抽出しよう
とする直線が鉛直軸周りになす回転角度であり、パラメ
ータρは、この直線と原点との距離を表している。

【００２９】次に、平面検出部３は、ステップＳ１２に
おいて求めたパラメータθ、ρを３次元ヒストグラムへ
投票する（ステップＳ１３）。続いて、平面検出部３
は、同一のＰ１に対して、他の３つのＰ２（図９（ａ）
における斜線の位置）についてステップＳ１１〜Ｓ１３
の処理を行う（ステップＳ１４）。さらに、平面検出部
３は、図９（ａ）に示すマスクを使用して、図１０に示
すように、距離画像の左上の位置から右下の位置まで距
離画像全体に対してＰ１の位置を１画素分ずつ移し、ス
テップＳ１１〜Ｓ１３の処理を繰り返す（ステップＳ１
５）。この処理によって、３次元ヒストグラムが生成さ
れる。

【００３０】次に、平面検出部３は、３次元ヒストグラ
ムを参照して、度数のすべての極大値を抽出する（ステ
ップＳ１６）。そして、抽出した極大値を持つパラメー
タθ、ρを求め、このθ、ρによって、ＸＹ平面上の直
線を特定する。したがって、ここで特定される直線の数
は、極大値の数と同数となる。なお、極大値の抽出にお
いて、ある大きさ以上の極大値のみを抽出するようにし
てもよい。

【００３１】次に、平面検出部３は、３次元座標値を持
つ測定点をＸＹ平面に投影した点が、先に特定された直
線上の点となるか否かによってこの測定点が平面上の点
であるか否かを判定する。そして、この判定を特定され
た直線毎に行うことによって、距離画像上の垂直平面を
抽出し、この結果から平面抽出画像を生成する（ステッ
プＳ１７）。この平面抽出画像は、同一の直線上に存在
する測定点を、特定された直線毎に色分けするなどして
生成すればよい。この処理によって、垂直平面のみが色
付けされて抽出され、垂直平面でない部分は色付けがさ
れていない状態の平面抽出画像が得られる。

【００３２】次に、図８を参照して、平面検出部３が床
等に相当する水平平面を抽出する動作を説明する。図８
は、平面検出部３が水平平面を抽出する動作を示すフロ
ーチャートである。ここでいう水平平面とは、床面や道
路面のことであり、現実的なスロープの角度（例えば最
大で１０度）を有する床面や道路面が含まれる。まず、
距離画像記憶部２に距離画像が格納された後に平面検出
部３は、１フレーム分の距離データを読み出し、予め設
定されているマスクによって画像上の着目画素（ここで
は、Ｐ１と称する）と他の２点の画素（ここでは、Ｐ
２、Ｐ３と称する）を選択する（ステップＳ２１）。図
９（ｂ）にステップＳ２１において用いられるマスクの
一例を示す。この図に示すように、水平平面用マスクは
９×９画素のものであり、中心の５×５画素の部分は、
図９（ａ）に示す垂直平面用マスクと同等であり、さら
にこのマスクは、９×９画素の４隅がＰ３となってい
る。

【００３３】次に、平面検出部３は、このマスクによっ
て選択された３点Ｐ１（ｘ₁，ｙ₁，ｚ₁）、Ｐ２（ｘ₂，
ｙ₂，ｚ₂）、Ｐ３（ｘ₃，ｙ₃，ｚ₃）から式（６）、
（７）によって、単位外積ベクトルｎを求める（ステッ
プＳ２２）。以下の式の説明において、ベクトルの表現
を「ヘ゛クトルｎ」という表現を用いる。

【００３４】単位外積ベクトルｎは、式（６）によっ
て、まず外積ベクトルｎ_tmpを求め、さらにこれを式
（７）によって正規化することによって求められる。外積ヘ゛クトルｎ_tmp＝（（ｙ₂−ｙ₁）（ｚ₃−ｚ₁）−（ｚ₂−ｚ₁）（ｙ₃−ｙ₁），（ｚ₂−ｚ₁）（ｘ₃−ｘ₁）−（ｘ₂−ｘ₁）（ｚ₃−ｚ₁），（ｙ₂−ｙ₁）（ｚ3−ｚ₁）−（ｚ₂−ｚ₁）（ｙ₃−ｙ₁））・・・（６）単位外積ヘ゛クトルｎ＝ヘ゛クトルｎ_tmp／｜ヘ゛クトルｎ_tmp｜・・・・・・・・・・・・（７）式（７）によって正規化された大きさ１の単位外積ベク
トルｎは、単位外積ヘ゛クトルｎ＝（ｎ_x，ｎ_y，ｎ_z）とな
り、このベクトルが先に選択した３点で張る面の垂直ベ
クトルとなる。

【００３５】次に、平面検出部３は、求めた単位外積ベ
クトルｎから式（８）、（９）、（１０）、（１１）に
よって、パラメータρ、θx、θy、θzを求める（ステ
ップＳ２３）。 ρ＝ｎ_xｘ₁＋ｎ_yｙ₁＋ｎ_zｚ₁・・・・・・（８） θx＝ｃｏｓ^-1ｎ_x・・・・・・・・・・・（９） θy＝ｃｏｓ^-1ｎ_y・・・・・・・・・・・（１０） θz＝ｃｏｓ^-1ｎ_z・・・・・・・・・・・（１１）ここで、パラメータρは、抽出しようとする平面に原点
からの距離を表し、パラメータθx、θy、θzは、それ
ぞれ垂直ベクトルの各成分に対する方向余弦に対する角
度を表している。

【００３６】次に、平面検出部３は、垂直ベクトルのＺ
成分の方向余弦に対する角度 θzが、｜θz｜≦Ｔｈを
満たすか否かを判定する（ステップＳ２４）。ここで、
Ｔｈはしきい値であり、床面や道路面のスロープの最大
角度である。通常、屋内における床面はスロープを考慮
しても最大で１０度程度であるので、このＴｈは１０度
を設定することが望ましい。

【００３７】次に、平面検出部３は、ステップＳ２４に
おいて、｜θz｜≦Ｔｈを満たしていれば、ステップＳ
２３において求めたパラメータρ、θx、θy、θzを４
次元ヒストグラムへ投票する（ステップＳ２５）。一
方、｜θz｜≦Ｔｈを満たしていなければ、ステップＳ
２６へ進む。

【００３８】続いて、平面検出部３は、同一のＰ１に対
して、他の３つのＰ２及び他の３つのＰ３（図９（ｂ）
における斜線の位置）についてステップＳ２１〜Ｓ２５
の処理を行う（ステップＳ２６）。さらに、平面検出部
３は、図９（ｂ）に示すマスクを使用して、図１０に示
すように、距離画像の左上の位置から右下の位置まで距
離画像全体に対してＰ１の位置を１画素分ずつ移し、ス
テップＳ２１〜Ｓ２５の処理を繰り返す（ステップＳ２
７）。この処理によって、４次元ヒストグラムが生成さ
れる。ただし、投票されるのは、｜θz｜≦Ｔｈが満た
されたときのみである。

【００３９】次に、平面検出部３は、４次元ヒストグラ
ムを参照して、度数のすべての極大値を抽出する（ステ
ップＳ２８）。そして、抽出した極大値を持つパラメー
タρ、θx、θy、θzを求め、このρ、θx、θy、θzに
よって、３次元空間上の平面を特定する。したがって、
ここで特定される平面の数は、極大値の数と同数とな
る。なお、極大値の抽出において、ある大きさ以上の極
大値のみを抽出するようにしてもよい。

【００４０】次に、平面検出部３は、特定された水平平
面から平面抽出画像を生成する（ステップＳ２９）。こ
の平面抽出画像は、特定された平面上に存在する測定点
を、特定された平面毎に色分けするなどして生成すれば
よい。この処理によって、水平平面のみが色付けされて
抽出され、水平平面でない部分は色付けがされていない
状態の平面抽出画像が得られる。

【００４１】なお、図７に示す垂直平面抽出処理と図８
に示す水平平面抽出処理は、同時に動作し、その結果を
合成して、垂直平面と水平平面とが色分けされた平面抽
出画像を生成するようにしてもよい。また、距離画像取
得部１は、平面検出部３および平面検出部３が、距離画
像記憶部２に記憶されている距離データの読み出しが終
了した時点で、新たな距離画像を取得し、距離画像記憶
部２を更新するようにする。そして、前述した処理を繰
り返すことによって、平面検出画像を更新する。図１１
に平面検出画像の一例を示す。

【００４２】このように、垂直平面の検出の際にＺ成分
を用いずにＸ、Ｙ成分のみによって演算を行い、３次元
のヒストグラムを使用してＸＹ平面の直線を特定するこ
とによって壁に相当する垂直平面を抽出するようにした
ため、使用するメモリ量を削減することができ、さらに
処理時間も短縮することができる。また、床面や道路面
に相当する水平平面の検出の際に、検出しようとする平
面の候補に対して、垂直ベクトルの角度が所定の範囲内
である候補のみを使用して４次元ヒストグラムの投票を
行うようにしたため、使用するメモリ量を削減すること
ができ、さらに処理時間も短縮することができる。ま
た、垂直平面と水平平面の検出処理を分けて、並行して
同時に動作するようにしたため、さらに処理効率を向上
させることが可能となる。さらに平面検出画像と距離画
像を参照しながらロボットの移動を制御するようにした
ため、精度よくロボットの位置の制御を行うことができ
るとともに、処理時間を短縮することが可能となるため
にロボット内における経路選定処理の負荷を低減するこ
とが可能となる。また、マスクを用いて投票範囲を制限
したので、処理時間を短縮できるととに平面の検出精度
が向上する。

【００４３】なお、図２、７、８における処理部の機能
を実現するためのプログラムをコンピュータ読み取り可
能な記録媒体に記録して、この記録媒体に記録されたプ
ログラムをコンピュータシステムに読み込ませ、実行す
ることにより特箇所検出処理を行ってもよい。なお、こ
こでいう「コンピュータシステム」とは、ＯＳや周辺機
器等のハードウェアを含むものとする。また、「コンピ
ュータシステム」は、ＷＷＷシステムを利用している場
合であれば、ホームページ提供環境（あるいは表示環
境）も含むものとする。また、「コンピュータ読み取り
可能な記録媒体」とは、フロッピー（登録商標）ディス
ク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒
体、コンピュータシステムに内蔵されるハードディスク
等の記憶装置のことをいう。さらに「コンピュータ読み
取り可能な記録媒体」とは、インターネット等のネット
ワークや電話回線等の通信回線を介してプログラムが送
信された場合のサーバやクライアントとなるコンピュー
タシステム内部の揮発性メモリ（ＲＡＭ）のように、一
定時間プログラムを保持しているものも含むものとす
る。

【００４４】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク（通信網）や電話回線等の通信回
線（通信線）のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル（差分プログラム）であっても良
い。

【００４５】

【発明の効果】以上説明したように、請求項１、４、５
に記載の発明によれば、距離画像に対してエッジ検出処
理を施し、距離の急激変化を検出するようにしたため、
交差点や下り階段などの特異箇所を高速で検出すること
が可能となる。また、エッジ検出によって検出されたエ
ッジと、平面検出によって検出された平面とが所定の条
件を満たしたときのみ、このエッジの箇所を特異箇所と
したため、特異箇所の検出精度を向上させることができ
る。さらに、エッジ検出と平面検出を並行して処理する
ようにしたため、特異箇所の検出処理速度を向上するこ
とができるという効果が得られる。

【００４６】また、請求項２に記載の発明によれば、特
異箇所マップを参照しながら自動車の移動を制御するよ
うにしたため、精度よく自動車の位置の制御を行うこと
ができるとともに、特異箇所への接近に伴い必要な行動
を起こす制御をすることが可能になるという効果が得ら
れる。

【００４７】また、請求項３に記載の発明によれば、特
異箇所マップを参照しながらロボットの移動を制御する
ようにしたため、精度よくロボットの位置の制御を行う
ことができるとともに、特異箇所への接近に伴い必要な
行動を起こす制御をすることが可能になるという効果が
得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態の構成を示すブロック図
である。

【図２】図１に示す画像処理装置の動作を示すフロー
チャートである。

【図３】ロボットの前方視野の情景の一例を示す説明
図である。

【図４】図１に示す平面検出部３によって生成された
平面検出画像の一例を示す説明図である。

【図５】図１に示すエッジ検出部４によって生成され
たエッジ検出画像の一例を示す説明図である。

【図６】図１に示す特異箇所マップ記憶部７に記憶さ
れる特異箇所マップの一例を示す説明図である。

【図７】図１に示す平面検出部３の動作を示すフロー
チャートである。

【図８】図１に示す平面検出部３の動作を示すフロー
チャートである。

【図９】図１に示す平面検出部３において用いられる
マスクの一例を示す説明図である。

【図１０】図１に示す平面検出部３の処理において、
距離画像の走査方向の一例を示す説明図である。

【図１１】図１に示す平面検出部３によって生成され
た平面検出画像の一例を示す説明図である。

【符号の説明】

１・・・距離画像取得部、２・・・距離画像記憶部、３・・・平面検出部、４・・・エッジ検出部、５・・・特異箇所判定部、６・・・距離画像変換部、７・・・特異箇所マップ記憶部、８・・・移動制御部。

フロントページの続きＦターム(参考） 3F059 AA11 BB07 DA05 DA08 DB02 DB09 DC08 DD08 FA03 FA10 FB01 FB11 FC02 5B057 AA05 AA16 BA02 BA11 CA13 CA16 CB12 CB16 CH01 CH11 DA08 DB03 DC05 DC16 5H301 AA02 AA10 BB14 CC03 FF06 FF13 GG03 GG08 GG09 GG23 JJ01 LL01 LL06 LL11 LL14 5L096 AA09 BA04 BA05 CA05 CA14 FA06 FA09 FA35 FA66 FA67 LA05

Claims

【特許請求の範囲】

【請求項１】距離センサの前方視野内の物体表面の各
点の距離を測定して得られた物体表面の各点の３次元座
標値に基づいて距離画像を得る距離画像取得手段と、前記距離画像から得られる前記物体表面の３次元座標値
から平面を検出する平面検出手段と、前記距離画像からエッジを検出するエッジ検出手段と、前記エッジ検出手段において検出されたエッジと前記平
面検出手段によって検出された平面とが所定の条件を満
たすか否かによって、該エッジが特異箇所であるかを判
定する特異箇所判定手段と、前記特異箇所判定手段の結果に基づいて特異箇所を記憶
する特異箇所マップ記憶手段と、を備えたことを特徴とする画像処理装置。
【請求項２】請求項１に記載の画像処理装置を備えた
車両走行制御装置であって、前記車両走行制御装置は、車両の走行の際に前記特異箇所マップを参照して、走行
の制御を行う移動制御手段を備えたことを特徴とする車
両走行制御装置。
【請求項３】請求項１に記載の画像処理装置を備えた
自律走行ロボットであって、前記自律走行ロボットは、ロボットの移動の際に前記特異箇所マップを参照して、
走行の制御を行う移動制御手段を備えたことを特徴とす
る自律走行ロボット。
【請求項４】距離センサの前方視野内の物体表面の各
点の距離を測定して得られた物体表面の各点の３次元座
標値に基づいて距離画像を得る距離画像取得処理と、前記距離画像から得られる前記物体表面の３次元座標値
から平面を検出する平面検出処理と、前記距離画像からエッジを検出するエッジ検出処理と、前記エッジ検出手段において検出されたエッジと前記平
面検出手段によって検出された平面とが所定の条件を満
たすか否かによって、該エッジが特異箇所であるかを判
定する特異箇所判定処理と、を有することを特徴とする特異箇所検出方法。
【請求項５】前方視野内の特異箇所を検出する特異箇
所検出プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、前記特異箇所検出プログラムは、距離センサの前方視野内の物体表面の各点の距離を測定
して得られた物体表面の各点の３次元座標値に基づいて
距離画像を得る距離画像取得処理と、前記距離画像から得られる前記物体表面の３次元座標値
から平面を検出する平面検出処理と、前記距離画像からエッジを検出するエッジ検出処理と、前記エッジ検出手段において検出されたエッジと前記平
面検出手段によって検出された平面とが所定の条件を満
たすか否かによって、該エッジが特異箇所であるかを判
定する特異箇所判定処理と、をコンピュータに行わせることを特徴とする特異箇所検
出プログラムを記録した記録媒体。