JP2003204546A - 車外監視装置 - Google Patents

Abstract

(57)【要約】 【課題】 道路がカーブしている場合にも、道路の境界
を構成する一連の立体物を壁面として検出する。 【解決手段】 イメージプロセッサ２０からの距離画像
を認識処理用コンピュータ３０に読み込み、距離画像を
所定間隔で区分した各区分毎にヒストグラムを作成して
立体物の存在位置と、その距離を求めてグループ化して
立体物のグループと側壁のグループに分類する。そし
て、側壁のグループのデータから道路の境界を構成する
壁面の位置を検出し、壁面モデルを構成する各ノード点
の位置を動的に決定・修正してゆくことで、道路がカー
ブしている場合にも、カーブした道路に沿った壁面を検
出することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車外の対象を撮像
した画像を処理して車外の状況を認識する車外監視装置
に関し、特に、ガードレール等の道路の境界となる連続
した立体物としての側壁を検出する車外監視装置に関す
る。

【０００２】

【従来の技術】最近では、自動車にＴＶカメラやレーザ
・レーダ等を搭載して前方の車両や障害物を検知し、そ
れらに衝突する危険度を判定して運転者に警報を発した
り、自動的にブレーキを作動させて停止させる、あるい
は、先行車との車間距離を安全に保つよう自動的に走行
速度を増減する等のＡＳＶ（Advanced Safety Vehicl
e；先進安全自動車）に係わる技術の開発が積極的に進
められている。

【０００３】ＴＶカメラの画像から前方の物体を検知す
る技術としては、本出願人によって先に提出された特開
平５−２６５５４７号公報の技術があり、この技術で
は、車両の左右に取り付けた２台のステレオカメラの画
像を距離画像に変換し、この距離画像を所定の間隔で格
子状の領域に区分し、各区分毎に立体物を検出してい
る。また、本出願人は、同様に、区分毎に立体物のデー
タを抽出し、これらのデータをハフ変換によって処理
し、ガードレール等の道路に沿った立体物（側壁）を検
出する技術を、特開平６−２６６８２８号公報において
提案している。

【０００４】

【特許文献１】特開平５−２６５５４７号公報

【０００５】

【特許文献２】特開平６−２６６８２８号公報

【０００６】

【発明が解決しようとする課題】しかしながら、従来の
技術では、立体物のデータをハフ変換等によって処理す
るため、カーブした道路に沿ったガードレール等は、比
較的近距離の範囲にある部分を直線として捉えるに過ぎ
ず、遠方まで認識することは困難であった。

【０００７】本発明は上記事情に鑑みてなされたもの
で、道路がカーブしている場合にも、道路の境界を構成
する一連の立体物を壁面として検出することのできる車
外監視装置を提供することを目的としている。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明による第１の車外監視装置は、車外の立体物
の位置を検出して車外の状況を認識する車外監視装置に
おいて、道路境界を構成する壁面に分類される壁面位置
データ群を抽出する手段と、壁面形状を表す複数のノー
ド点を先に設定したノード点に基づき順次設定する手段
と、上記設定されたノード点を含む所定領域内の上記壁
面位置データ群に対して壁面パターンとのマッチング処
理を施すことにより求めた壁面位置に基づき上記ノード
点を特定する手段と、上記ノード点の設定及び壁面位置
に基づくノード点の特定を順次施すことにより、複数の
ノード点により壁面形状を表す壁面モデルを形成する手
段とを備えたことを特徴とする。

【０００９】本発明による第２の車外監視装置は、車外
の立体物の位置を検出して道路境界を示す立体物の位置
を壁面位置として設定する車外監視装置において、道路
境界を構成する壁面に分類される壁面位置データ群を抽
出する手段と、上記壁面位置データ群に分類される複数
の立体物に対して、立体物との位置関係が予め設定して
いる壁面パターンに最も類似する位置を壁面位置として
設定する手段とを備えたことを特徴とする。

【００１０】すなわち、本発明の第１の車外監視装置
は、道路境界を構成する壁面に分類される壁面位置デー
タ群を抽出すると、壁面形状を表す複数のノード点を先
に設定したノード点に基づき順次設定し、設定されたノ
ード点を含む所定領域内の壁面位置データ群に対して壁
面パターンとのマッチング処理を施すことにより求めた
壁面位置に基づきノード点を特定する。そして、このノ
ード点の設定及び壁面位置に基づくノード点の特定を順
次施すことにより、複数のノード点により壁面形状を表
す壁面モデルを形成する。

【００１１】その際、各壁面位置データのＸ座標と壁面
パターンのパターン中心のＸ座標との偏差に対応する重
みの総和により一致度を評価し、壁面パターンを壁面位
置データ群に対してＸ座標方向に移動させて一致度が最
大になったときのパターン中心の位置をノード点として
特定することが望ましく、また、特定された所定ノード
点の座標を、その前後のノード点を結ぶ直線に漸近する
方向に修正することが望ましい。

【００１２】また、本発明の第２の車外監視装置は、道
路境界を構成する壁面に分類される壁面位置データ群を
抽出し、壁面位置データ群に分類される複数の立体物に
対して、立体物との位置関係が予め設定している壁面パ
ターンに最も類似する位置を壁面位置として設定する。

【００１３】その際、所定領域内における壁面位置デー
タ群を構成する立体物に対して壁面パターンによるマッ
チング処理を適用し、順次領域を設定すると共に領域毎
にマッチング処理を施すことにより、複数の壁面位置を
設定することが望ましい。壁面パターンとしては、壁面
パターンの横軸方向においてパターン中心点に対して一
方の側を相対的に高く設定すると共に他方の側を相対的
に低く設定した重み係数を縦軸に有するパターンを採用
することが望ましい。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図２０は本発明の実施の一
形態に係わり、図１は車外監視装置の全体構成図、図２
は車外監視装置の回路ブロック図、図３〜図５は立体物
・側壁グループ検出処理のフローチャート、図６は壁面
検出処理のフローチャート、図７及び図８は壁面位置修
正処理のフローチャート、図９は車載のカメラで撮像し
た画像の例を示す説明図、図１０は距離画像の例を示す
説明図、図１１は区分毎に検出した立体物の位置を示す
説明図、図１２は側壁の検出結果を示す説明図、図１３
は側壁の検出結果をＸ−Ｚ平面で示した説明図、図１４
は壁面モデルの説明図、図１５は壁面パターンの探索法
を示す説明図、図１６は重み係数パターンを示す説明
図、図１７は一致度の計算結果を示す説明図、図１８は
ノード点の連結を示す説明図、図１９は壁面の検出結果
を示す説明図、図２０は壁面の検出結果をＸ−Ｚ平面で
示した説明図である。

【００１５】図１において、符号１は自動車等の車両で
あり、この車両１に、車外の対象を撮像し、撮像画像か
ら車外の状況を認識して監視する車外監視装置２が搭載
されている。この車外監視装置２は、車外の対象物を異
なる位置から撮像するためのステレオ光学系１０、この
ステレオ光学系１０で撮像した画像を処理して三次元の
距離分布情報を算出するイメージプロセッサ２０、及
び、イメージプロセッサ２０からの距離情報を入力し、
その距離情報から道路形状や複数の立体物の三次元位置
を高速で検出し、その検出結果に基づいて先行車や障害
物を特定して衝突警報の判断処理等を行う認識処理用コ
ンピュータ３０等から構成されている。

【００１６】また、上記認識処理用コンピュータ３０に
は、車速センサ４、舵角センサ５等の現在の車両の走行
状態を検出するためのセンサが接続され、認識された物
体が自車両１の障害物となる場合、運転者の前方に設置
されたディスプレイ９へ表示して運転者に対する警告を
行う他、図示しないアクチュエータ類を制御する外部装
置を接続することで車体の自動衝突回避制御等が可能と
なっている。

【００１７】上記ステレオ光学系１０は、例えば電荷結
合素子（ＣＣＤ）等の固体撮像素子を用いた左右１組の
ＣＣＤカメラ１０ａ，１０ｂからなり、イメージプロセ
ッサ２０では、ＣＣＤカメラ１０ａ，１０ｂで撮像した
１対の画像の相関を求め、同一物体に対する視差から三
角測量の原理により距離を求める、いわゆるステレオ法
により画像全体に渡る三次元の距離分布を算出する。

【００１８】認識処理用コンピュータ３０では、イメー
ジプロセッサ２０からの距離分布情報を読み込んで道路
形状や複数の立体物（車両や障害物等）の三次元位置を
高速で検出し、この検出物体との衝突や接触可能性を車
速センサ４や舵角センサ５等によって検出した自車両の
走行状態に基づいて判断し、その結果をディスプレイ９
に表示して運転者に知らせる。

【００１９】イメージプロセッサ２０及び認識処理用コ
ンピュータ３０は、詳細には、図２に示すハードウエア
構成となっている。イメージプロセッサ２０は、ＣＣＤ
カメラ１０ａ，１０ｂで撮像した１組みのステレオ画像
対に対して所定の小領域毎に同一の物体が写っている部
分を探索し、対応する位置のずれ量を求めて物体までの
距離を算出し、三次元の距離分布情報として出力する距
離検出回路２０ａと、この距離検出回路２０ａから出力
される距離分布情報を記憶する距離画像メモリ２０ｂと
から構成されている。

【００２０】上記距離検出回路２０ａから出力される距
離分布情報は、画像のような形態をした疑似画像（距離
画像）であり、左右２台のＣＣＤカメラ１１ａ，１１ｂ
で撮影した画像、例えば、図９に示すような画像（図９
は片方のカメラで撮像した画像を模式的に示す）を上記
距離検出回路２０ａで処理すると、図１０のような距離
画像となる。

【００２１】図１０に示す距離画像の例では、画像サイ
ズは横６００画素×縦２００画素であり、距離データを
持っているのは図中白点の部分で、これは図９の画像の
各画素のうち、左右方向に隣合う画素間で明暗変化が大
きい部分である。距離検出回路２０ａでは、この距離画
像を、１ブロックを４×４画素の小領域として横１５０
×縦５０のブロックからなる画像として扱い、各ブロッ
ク毎に距離（画素ズレ数）の算出を行う。

【００２２】一方、認識処理用コンピュータ３０は、道
路形状等の検出処理を主とするマイクロプロセッサ３０
ａと、検出した道路形状に基づいて個々の立体物を検出
する処理を主とするマイクロプロセッサ３０ｂと、検出
した立体物の位置情報に基づいて先行車や障害物を特定
し、衝突や接触危険性を判断する処理を主とするマイク
ロプロセッサ３０ｃとがシステムバス３１を介して並列
に接続されたマルチマイクロプロセッサのシステム構成
となっている。

【００２３】そして、上記システムバス３１には、距離
画像メモリ２０ｂに接続されるインターフェース回路３
２と、制御プログラムを格納するＲＯＭ３３と、計算処
理途中の各種パラメータを記憶するＲＡＭ３４と、処理
結果のパラメータを記憶する出力用メモリ３５と、上記
ディスプレイ（ＤＩＳＰ）９を制御するためのディスプ
レイコントローラ（ＤＩＳＰ．ＣＯＮＴ．）３６と、車
速センサ４、舵角センサ５等からの信号を入力するＩ／
Ｏインターフェース回路３７とが接続されている。

【００２４】認識処理用コンピュータ３０では、画素を
単位とする距離画像上の座標系を、図９に示すように、
左下隅を原点として横方向をｉ座標軸，縦方向をｊ座標
軸として扱い、画素ズレ数をｄｐとする距離画像上の点
（ｉ，ｊ，ｄｐ）を実空間の座標系に変換し、道路形状
の認識や立体物の位置検出等の処理を行う。

【００２５】すなわち、実空間の三次元の座標系を、自
車（車両１）固定の座標系とし、Ｘ軸を車両１の進行方
向右側側方、Ｙ軸を車両１の上方、Ｚ軸を車両１の前
方、原点を２台のＣＣＤカメラ１０ａ，１０ｂの中央の
真下の道路面とすると、Ｘ−Ｚ平面（Ｙ＝０）は、道路
が平坦な場合、道路面と一致することになり、以下の
(1)〜(3)式により、距離画像上の点（ｉ，ｊ，ｄｐ）
を、実空間上の点（ｘ，ｙ，ｚ）に座標変換することが
できる。 ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …(1) ｙ＝ＣＨ＋Ｚ・ＰＷ・（ｊ−ＪＶ） …(2) ｚ＝ＫＳ／ｄｐ …(3) 但し、ＣＤ ：ＣＣＤカメラ１０ａ，１０ｂの間隔 ＰＷ ：１画素当たりの視野角 ＣＨ ：ＣＣＤカメラ１０ａ，１０ｂの取付け高さ ＩV，ＪV：車両１の真正面の無限遠点の画像上の座標
（画素） ＫＳ ：距離係数（ＫＳ＝ＣＤ／ＰＷ） 尚、実空間上の点（ｘ，ｙ，ｚ）から画像上の点（ｉ，
ｊ，ｄｐ）を算出する式は、上記(1)〜(3)式を変形し、
次のようになる。

【００２６】 ｉ ＝（ｘ−ＣＤ／２）／（ｚ・ＰＷ）＋ＩＶ …(4) ｊ ＝（ｙ−ＣＨ）／（ｚ・ＰＷ）＋ＪＶ …(5) ｄｐ＝ＫＳ／ｚ …(6)

【００２７】次に、認識処理用コンピュータ３０におけ
る個々の処理について説明する。まず、マイクロプロセ
ッサ３０ａによる道路検出処理では、距離画像メモリ２
０ｂに記憶された距離画像からの三次元的な位置情報を
利用し、内蔵した道路モデルのパラメータを実際の道路
形状と合致するよう修正・変更して道路形状を認識す
る。

【００２８】上記道路モデルは、認識対象範囲までの道
路の自車線を、設定した距離によって複数個の区間に分
け、各区間毎に左右の白線やガードレール等を三次元の
直線式で近似して折れ線状に連結したものであり、実空
間の座標系における水平方向の直線式のパラメータａ，
ｂ、及び、垂直方向の直線式のパラメータｃ，ｄを求
め、以下の(7)式に示す水平方向の直線式、及び、以下
の(8)式に示す垂直方向の直線式を得る。 ｘ＝ａ・ｚ＋ｂ …(7) ｙ＝ｃ・ｚ＋ｄ …(8)

【００２９】また、マイクロプロセッサ３０ｂによる立
体物検出処理では、距離画像を格子状に所定の間隔で区
分し、各区分毎に立体物のデータを抽出してヒストグラ
ムを作成し、このヒストグラムから各区分を代表する立
体物の存在位置と、その距離を求める。次に、区分毎の
距離を画像の左から右へ順次比較してゆき、前後方向
（Ｚ軸方向）及び横方向（Ｘ軸方向）の距離が接近して
いるものをグループとしてまとめ、さらに、各グループ
についてデータの並び方向をチェックして方向が大きく
変化する部分でグループを分割する。

【００３０】そして、グループ全体としての距離データ
の並び方向（Ｚ軸との傾き）から個々のグループを立体
物あるいは側壁に分類し、立体物と分類されたグループ
について、グループ内の距離データから平均距離や左
端、右端のＸ座標等のパラメータを算出し、側壁と分類
されたグループについては、並び方向（Ｚ軸との傾き）
や前後端の位置（Ｚ，Ｘ座標）等のパラメータを算出す
ることにより、立体物の後部や側部、ガードレール等の
道路に沿った構造物すなわち側壁を検出する等の処理を
行う。

【００３１】尚、距離画像の生成、この距離画像から道
路形状を検出する処理、及び、衝突・接触判断処理につ
いては、本出願人によって先に提出された特開平５−２
６５５４７号公報や特開平６−２６６８２８号公報等に
詳述されている。

【００３２】この場合、ガードレール等の側壁は、道路
がカーブしている場合においても、道路に沿ってカーブ
した壁面を遠方まで認識することができる。以下、マイ
クロプロセッサ３０ｂによる壁面検出に係わる処理につ
いて、図３〜図８に示すフローチャートを用いて説明す
る。

【００３３】図３〜図５は、距離画像から得られる距離
データを処理して立体物のグループと側壁のグループと
に分類するプログラムであり、まず、ステップS101〜ス
テップ115の処理で、距離画像を所定間隔で格子状に区
分した各区分毎に、立体物の存在と、その距離の算出を
行う。すなわち、ステップS101で、距離画像を所定間隔
（例えば、８〜２０画素間隔）で格子状に区分し、ステ
ップS102で、各区分毎に立体物のデータを抽出し、その
検出距離を算出するため、最初の区分のデータを読み込
む。

【００３４】次に、ステップS103へ進んで区分内の最初
のデータをセットすると、ステップS104で被写体の三次
元位置（ｘ，ｙ，ｚ）を前述の(1)〜(3)式によって求
め、ステップS105で、前述の道路形状の直線式(7),(8)
を使って距離ｚに於ける道路表面の高さｙｒを算出す
る。尚、白線が無い道路等、当初、道路形状を認識でき
ないときには、道路表面は車両１に水平であると仮定し
て道路表面の高さｙｒを設定する。

【００３５】次に、ステップS106へ進み、以下の(9)式
によって算出した被写体の道路表面からの高さＨに基づ
いて、道路面より上にあるデータを立体物データとして
抽出する。この場合、高さＨが０．１ｍ程度以下の被写
体は、道路上の白線や汚れ、影等と考えられるため、こ
の被写体のデータは棄却する。また、自車両１の高さよ
り上にある被写体も、歩道橋や標識などと考えられるの
で棄却し、道路上の立体物と推定されるデータのみを選
別する。 Ｈ＝ｙ−ｙｒ …(9)

【００３６】その後、ステップS107へ進んで最終データ
か否かを調べ、最終データでないときには、ステップS1
08で区分内の次のデータをセットして前述のステップS1
04へ戻り、同様の処理を繰り返して道路面より上にある
データを抽出する。そして、１つの区分内で最終データ
の処理が完了すると、ステップS107からステップS109へ
進み、抽出された立体物データに対し、予め設定された
距離ｚの区間に含まれるデータの個数を数えて距離ｚを
横軸とするヒストグラムを作成する。

【００３７】続くステップS110では、ヒストグラムの度
数が判定値以上で、かつ最大値となる区間を検出し、該
当する区間があれば、ステップS111において、その区間
に立体物が存在すると判断し、その立体物までの距離を
検出する。上記ヒストグラムでは、入力される距離画像
中の距離データには誤って検出された値も存在し、実際
には物体の存在しない位置にも多少のデータが現れる。
しかしながら、ある程度の大きさの物体があると、その
位置の度数は大きな値を示し、一方、物体が何も存在し
ない場合には誤った距離データのみによって発生する度
数は小さな値となる。

【００３８】従って、作成されたヒストグラムの度数
が、予め設定した判定値以上かつ最大値をとる区間があ
れば、その区間に物体が存在すると判断し、度数の最大
値が判定値以下の場合は物体が存在しないと判断しても
差し支えなく、画像のデータに多少のノイズが含まれて
いる場合においても、ノイズの影響を最小限にして物体
を検出できる。

【００３９】その後、上記ステップS111からステップS1
12へ進んで最終区分に達したか否かを調べる。そして、
最終区分に達していないときには、上記ステップS112か
らステップS113へ進んで次の区分のデータを読み込む
と、前述のステップS103へ戻り、道路面より上にあるデ
ータの抽出、ヒストグラムの作成、及び、各区分内での
立体物の検出と距離の算出を行う。以上の処理を繰り返
し、やがて、最終区分に達すると、上記ステップS112か
らステップS114以降へ進む。

【００４０】図１１は、図９の元画像から区分毎に検出
した立体物の位置を示し、これらの立体物の距離データ
は、ステップS114〜ステップS120の処理により、距離が
接近しているグループに分けられる。この処理では、各
区分の立体物の検出距離を調べ、隣接する区分において
立体物までの検出距離の差異が判定値以下の場合は同一
の立体物と見なし、一方、判定値を超えている場合は別
々の立体物と見なしてグループ分けを行う。

【００４１】このため、ステップS114では、まず、最初
の区分（例えば左端）を調べ、立体物が検出されている
場合には、距離データを読み込んで、この区分Ｒ１を、
グループＧ１、距離Ｚ１に分類する。次に、ステップS1
15へ進んで右隣の区分Ｒ２を調べ、立体物が検出されて
いない場合には、グループＧ１は区分Ｒ１の内部とその
近辺に存在し、その距離はＺ１と判定し、一方、区分Ｒ
２で立体物が検出されており、その検出距離がＺ２であ
る場合には、区分Ｒ１の距離Ｚ１と右隣の区分Ｒ２の距
離Ｚ２の差を計算する。

【００４２】その後、ステップS116へ進んで右隣の区分
との距離の差が判定値以下か否かを調べ、距離の差が判
定値以下で互いに接近しているときには、ステップS117
で、区分Ｒ２で検出された立体物は、先に検出されたグ
ループＧ１に属すると判定して同一グループにラベル付
けを行い、その距離をＺ１とＺ２との平均値としてステ
ップS119へ進む。

【００４３】一方、右隣の区分との距離の差が判定値を
超えているときには、上記ステップS116からステップS1
18へ進み、区分Ｒ２で検出された立体物は、先に検出さ
れたグループＧ１とは異なると判定して新しいグループ
（グループＧ２、距離Ｚ２）にラベル付けを行い、ステ
ップS119へ進む。

【００４４】ステップS119では、最終区分に達したか否
かを調べ、最終区分に達していないときには、ステップ
S120で次の区分の距離を読み込んで上記ステップS115へ
戻っり、さらに右隣の領域を調べてゆく。また、最終区
分に達したときには、ステップS119からステップS121以
降へ進む。

【００４５】以上の処理では、例えば、ガードレールの
脇に車両が駐車している状況等において、ガードレール
の距離データと、このガードレールに脇に駐車している
車両上の距離データとが同一のグループとして処理され
てしまう場合がある。従って、次のステップS121〜ステ
ップS131における処理で距離データのＸ−Ｚ平面上での
並び方向を調べ、並び方向がＺ軸と平行な部分とＸ軸と
平行な部分とでグループを分割する。

【００４６】このグループを分割する処理では、ステッ
プS121で、最初のグループのデータを読み込み、ステッ
プS122で、このグループ内の各区分の並び方向を算出す
ると、ステップS123で各区分に“物体”、“側壁”のラ
ベルを付ける。具体的には、グループ内での左端の区分
Ｋ１の位置をＺ１，Ｘ１とし、Ｎ個だけ右側の区分の位
置をＺｐ，Ｘｐとすると、点Ｘ１，Ｚ１と点Ｘｐ，Ｚｐ
との２点を結ぶ直線のＺ軸に対する傾きＡ１を算出し、
この直線の傾きＡ１を設定値（例えば、４５°程度）と
比較する。そして、直線の傾きＡ１が設定値以下でデー
タの並びが略Ｚ軸方向の場合には、区分Ｋ１は“側壁”
とラベル付けし、上記直線の傾きＡ１が設定値を超え、
データの並びが略Ｘ軸方向の場合には、“物体”とラベ
ル付けする。

【００４７】ラベル付けの際の区分の間隔Ｎは、Ｎ＝２
〜４区分程度とする。これは、Ｎ＝１すなわち右隣の区
分では、検出距離のバラツキのために並び方向が大きく
ばらついてしまい、分割の判断が難しくなるためであ
り、少し離れた区分との並び方向を使うことにより、方
向の安定化を図る。そして、この“側壁”あるいは“物
体”のラベル付けを、グループ内の左端の区分から順
に、右端からＮ個左側の区分まで行い、各区分にラベル
付けをする。

【００４８】以上により、各区分のラベル付けが完了す
ると、上記ステップS123からステップS124へ進んで左端
の区分のラベルを読み込み、さらに、ステップS125で、
その右隣の区分のラベルを読み込む。次いで、ステップ
S126へ進み、左端のラベルと、その右隣のラベルが異な
るか否かを調べる。その結果、ラベルが同じときにはス
テップS126からステップS128へジャンプし、ラベルが異
なるとき、ステップS126からステップS127へ進んで“側
壁”とラベル付けされた区分と“物体”とラベル付けさ
れた区分とを分割して別のグループとし、ステップS128
へ進む。分割する区分の位置は、ラベルが“側壁”←→
“物体”で変化する位置のＮ／２区分だけ右側となる。

【００４９】尚、この場合、距離データのバラツキ等に
より部分的にラベルが変化する状況に対処するため、同
じラベルが判定値以上（例えば、３区分以上）連続して
並んでいる場合にのみ分割を行い、判定値未満の場合に
は、分割は行わない。

【００５０】ステップS128では、最終区分か否かを調
べ、最終区分でないとき、ステップS129で次の区分のラ
ベルを読み込んで上記ステップS125へ戻り、同様の処理
を繰り返す。そして、最終区分に達すると、上記ステッ
プS128からステップS130ヘ進み、最終グループに達した
か否かを調べる。その結果、最終グループに達していな
いときには、ステップS131で次のグループのデータを読
み込み、次のグループに対して同様にグループを分割す
る処理を行う。この処理を繰り返し、やがて、最終グル
ープに達すると、グループ分割の処理を完了してステッ
プS130からステップS132以降へ進む。

【００５１】次のステップS132〜ステップS137は、分割
された各グループに対し、側壁か物体かの分類を行って
各グループのパラメータを算出する処理であり、ステッ
プS132で最初のグループのデータを読み込むと、ステッ
プS133で、グループ内の各区分の位置（Ｘｉ，Ｚｉ）か
らハフ変換あるいは最小二乗法によって近似直線を求
め、グループ全体の傾きを算出する。

【００５２】次に、ステップS134へ進んで、グループ全
体の傾きから、Ｘ軸方向の傾きを有するグループを物
体、Ｚ軸方向の傾きを有するグループを側壁に分類し、
ステップS135で、各グループのパラメータを算出する。
このパラメータは、物体と分類されたグループでは、グ
ループ内の距離データから算出される平均距離や、左
端、右端のＸ座標等のパラメータであり、側壁と分類さ
れたグループでは、並びの方向（Ｚ軸との傾き）や前後
端の位置（Ｚ，Ｘ座標）等のパラメータである。尚、グ
ループの分類は、前述のグループ分割処理で付けられた
各区分の“側壁”あるいは“物体”のラベルによって行
っても良い。

【００５３】そして、上記ステップS135からステップS1
36へ進んで最終グループに達したか否かを調べ、最終グ
ループでないときには、ステップS137で次のグループの
データを読み込んで上記ステップS133へ戻り、最終グル
ープに達したとき、プログラムを抜ける。

【００５４】以上の処理では、図１２に示すような側壁
の検出結果となり、区分毎の距離をＸ−Ｚ平面上に示す
と、図１３に示すような直線状の側壁グループとして捉
えられ、カーブした道路に沿った部分は認識されない。
従って、図６の壁面検出処理のプログラムでは、以上に
よって得られた側壁グループのデータを用い、カーブし
た道路にそった壁面を認識する。

【００５５】このプログラムでは、まず、ステップS201
で、自車両との位置関係を調べて側壁のグループの中か
らガードレール等の壁面を検出していると推定されるグ
ループを選出し（左右各１個以下）、ステップS202以降
で、この選出した側壁グループのデータ（位置と方向）
を手掛かりにし、壁面モデルを用いて壁面を探索・拡張
する。

【００５６】この壁面モデルは、図１４に示すように、
自車両の前方の所定範囲を設定間隔毎に設けたノード点
で結んで壁面の輪郭を表現したものであり、例えば前方
１０ｍから９０ｍまでを２ｍ間隔の４１個のノード点で
輪郭を構成し、各ノード点は自車両側から順に番号を付
して管理される。各ノード点のＺ座標は固定とし、その
Ｘ座標を後述する手順により決定する。

【００５７】このため、まず、ステップS202では、ステ
ップS201で選択された側壁グループの手前側の端点のＺ
座標から対応するノード点Ｎsとして求め、このノード
点ＮsのＸ座標を、側壁の位置に合わせて設定すると、
次に、ステップS203へ進み、次のノード点Ｎs+ｉの位置
（Ｘ座標）を設定する。このノード点Ｎｓ+ｉの設定
は、ｉ＝１でノード点Ｎsと隣のノード点Ｎs+1を設定す
るときには、側壁グループの傾きの方向に沿った位置と
し、ｉ≧２でノード点Ｎs+2以降のノード点を設定する
ときには、その前の２つのノード点で決定される方向に
沿った位置とする。

【００５８】次いで、ステップS204へ進み、図１５に示
すように、ステップS203で設定されたノード点Ｎs+ｉの
座標（Ｘｎｓ+ｉ，Ｚｎｓ+ｉ）を中心として、所定の範
囲でパターンマッチングにより壁面の位置を探索する。
この探索範囲は、例えばＸ方向にＸｎｓ+ｉ±３〜５ｍ
程度、Ｚ方向にＺｎｓ+ｉ±１ｍ程度であり、探索範囲
内にある区分毎の立体物Ｐｉを抽出する。

【００５９】そして、この探索範囲内の立体物Ｐｉに対
して壁面パターンのマッチングを行う。図１６はこのパ
ターンマッチングにて使用される壁面パターン（重み係
数パターン）の一例を示している（図１６は左側の壁面
に対応するパターンであり、右側の壁面検出には左側と
対称のパターンを用いる）。この壁面パターンの横軸は
Ｘ座標方向の距離、縦軸は重み係数を示しており、この
壁面パターンの中心点を探索範囲内でＸ座標方向へずら
しながらマッチング度の最も高い位置を探索する。具体
的には、各立体物Ｐｉの壁面パターン中心点からのＸ座
標方向の偏差に対応する重みＷｉを図１６に示す壁面パ
ターンに基づいて求め、各立体物Ｐｉに対応する重みＷ
ｉの総和をマッチング度Ｆとして算出する。そして、こ
のマッチング度Ｆが最大となるときの壁面パターンの中
心点位置が壁面の位置と認識される。但し、マッチング
度Ｆの最大値が判定値以下の場合には壁面なしと判断す
る。

【００６０】以上のステップS204の処理が終了すると、
ステップS205へ進み、マッチング度Ｆが最大となるとき
の壁面パターンの中心点のＸ座標（Ｘｐｗ）をノード点
Ｎs+ｉに対応する壁面位置のＸ座標として確定する。

【００６１】そして、ステップS206へ進んで上記選出さ
れた側壁グループ内の最後のノード点か否かを調べ、最
後のノード点でないとき、ステップS203へ戻って次のノ
ード点を設定し同様の処理を繰り返す。また、最後のノ
ード点に達すると、ステップS207へ進んでステップS202
〜S205で確定されたノード点の中で最も番号の小さいも
の（最も自車両に近いもの）と最も番号の大きいもの
（最も自車両から遠いもの）とを探し、それらを検出範
囲の始点Ｎs、終点Ｎeとしてプログラムを抜ける。この
プログラムは、左側の側壁グループについて実行された
後、右側の側壁グループについて実行される。図１４の
例では、自車両右側で第９ノードから第２６ノードまで
壁面が検出され、第９ノードを始点Ｎsとして第２６ノ
ードを終点Ｎeとする各ノード点が有効なノード点とし
て管理される。

【００６２】以上の処理で検出された壁面の位置は、さ
らに、前述の図３〜図５のプログラムで得られる側壁グ
ループの新たなデータを用い、図７及び図８に示すプロ
グラムによって修正される。

【００６３】この壁面位置修正のプログラムでは、ステ
ップS301で、前回の処理で得られた有効なノード点の始
点Ｎsが壁面モデルの１番目のノード点Ｎ1よりも大きい
か否かを調べ、Ｎs＝Ｎ1で１番目のノード点Ｎ1まで既
に壁面が検出されているときにはステップS306へジャン
プし、Ｎs＞Ｎ1のとき、ステップS302へ進んで手前側の
方向に戻ってノード点Ｎs-iを設定し、ステップS303で
壁面パターンを探索すると、その探索結果に従ってステ
ップS304で壁面のＸ座標を確定する。

【００６４】次いで、ステップS304からステップS305へ
進んで１番目のノード点に達したか否かを調べ、１番目
のノード点Ｎ1に達していないときには、ステップS302
〜S304を繰り返してノード点Ｎ1までの壁面位置の探索
を続け、１番目のノード点Ｎ1までの処理を終えると、
ステップS306へ進んで有効なノード点の終点Ｎeが壁面
モデルの最後のノード点Ｎse（例えば、壁面モデルを４
１個のノード点で構成する場合には、ノード点Ｎ41）よ
り小さいか否かを調べる。

【００６５】その結果、Ｎe＝Ｎseで最後のノード点ま
で既に壁面が検出されているときには、ステップS306か
らステップS311へジャンプし、Ｎe＜Ｎseのとき、ステ
ップS306からステップS307へ進んで終点Ｎe以降のノー
ド点Ｎe+iを順次設定し、ステップS308で壁面のパター
ンマッチングを行うと、そのマッチング結果に従ってス
テップS309で壁面のＸ座標を確定する。そして、ステッ
プS310で、最後のノード点Ｎseに達したか否かを調べて
最後のノード点Ｎseまでの壁面位置のマッチングを続
け、最後のノード点Ｎseまでの処理を終えると、ステッ
プS311へ進む。

【００６６】以上のステップS302〜S304、及び、ステッ
プS307〜S309におけるノード点の設定、壁面パターンの
マッチング、探索結果に応じた壁面のＸ座標の確定は、
前述の壁面検出処理のプログラムにおけるステップS20
3,S204,S205の処理と同様である。

【００６７】ステップS311以降の処理は、１番目のノー
ド点Ｎ1から最後のノード点Ｎseまでの各ノード点の位
置（Ｘ座標）を修正する処理であり、まず、ステップS3
11で最初のノード点Ｎ1のデータをセットし、ステップS
312へ進む。ステップS312〜ステップS321までの処理
は、ステップS322で順次ノード点のデータがセットされ
ることにより、最初のノード点Ｎ1から最後のノード点
Ｎseまで繰り返し実行される。

【００６８】まず、ステップS312でノード点Ｎiにおけ
る壁面を検索し、ステップS313で、パターンマッチング
により壁面が検出されているか否かを調べる。そして、
パターンマッチングにより壁面が検出されているとき、
ステップS313からステップS314へ進んで読み出した壁面
位置Ｘｐｗとノード点の位置Ｘｎｉとの差が設定値以内
（例えば、±１ｍ以内）であるか否かを調べ、差が設定
値以内であるとき、ステップS315でノード点を壁面位置
に移動し（Ｘｎｉ←Ｘｐｗ）、差が設定値を超えている
ときには、ステップS316でノード点を壁面の方向に所定
量（例えば、±０．３ｍ程度）だけ移動する（Ｘｎｉ←
Ｘｎｉ±０．３ｍ）。

【００６９】一方、パターンマッチングにより壁面が検
出されていないときには、上記ステップS313からステッ
プS317へ分岐し、ノード点の位置Ｘｎｉに対し、左側に
存在する立体物のデータＸｐｉ（Ｘｎｉ＜Ｘｐｉ）の個
数Ｃ０と、右側に存在する立体物のデータＸｐｉ（Ｘｎ
ｉ＞Ｘｐｉ）の個数Ｃ１とをカウントし、ステップS318
で、立体物のデータの個数が多く、立体物が片寄って存
在する側にノード点を所定量（例えば、０．８ｍ）移動
する（Ｘｎｉ←Ｘｎｉ±０．８）。

【００７０】すなわち、ノード点の近くに壁面パターン
が検出されない場合には、ノード点の左右方向で立体物
が検出されている方向にノード点を所定量移動させるこ
とにより、ノード点の位置が壁面から大きく離れてしま
った場合にもノード点の位置を壁面が存在する可能性の
ある方向に近づけることができる。

【００７１】以上のステップS315,S316,S318のいずれか
により、ノード点の位置を移動すると、次にステップS3
19へ進み、現在のノード点Ｎiに対して１つ遠方側のノ
ード点Ｎi+1と、現在のノード点Ｎiに対して１つ近傍側
のノード点Ｎi-1とを結ぶ直線の中点の位置（Ｘ座標）
Ｘｃを求め、ステップS320で、図１８に示すように、現
在のノード点Ｎiと遠方側のノード点Ｎi+1とを結ぶ直
線、及び、現在のノード点Ｎiと近傍側のノード点Ｎi+1
とを結ぶ直線の２本の直線があたかもバネで連結されて
おり、真直になろうとするかのように、ノード点を中点
の方向に移動する。この場合の移動量は、中点の位置Ｘ
ｃとノード点の位置Ｘｎｉとの差の１／２〜１／５程度
に留める。

【００７２】すなわち、パターンマッチング等で検出さ
れる壁面の位置には、データのバラツキ等の影響で凹凸
が存在するが、多くの場合、実際に道路の境界を形成す
るガードレール等の壁面は滑らかにカーブしている。こ
のため、上述のようなバネの作用を加えることで細かい
凹凸を平滑化し、滑らかなカーブ形状を得ることができ
る。この場合、ノード点の全体の形状を平滑化する一般
的な手法として最小二乗法等があるが、上述のバネ作用
による手法は計算処理が簡素であり、処理速度を向上す
ることができる。

【００７３】その後、ステップS321へ進んで最後のノー
ド点Ｎseに達したか否かを調べ、最後のノード点Ｎseに
達していないときには、ステップS322で次のノード点の
データをセットしてステップS312へ戻り、以上の処理を
繰り返す。そして、最後のノード点Ｎseまでの処理が終
了すると、ステップS321からステップS323へ進んですべ
てのノード点において移動量が判定値（例えば、±０．
１ｍ）以内になったか否かを調べる。

【００７４】そして、移動量が判定値を超えているノー
ド点が１つでも存在するときには、ステップS311へ戻っ
て１番目のノード点から最後のノード点まで以上の位置
の修正処理を繰り返し、すべてのノード点の移動量が判
定値以内となったとき、ステップS324で、ノード点の検
出範囲の始点Ｎs及び終点Ｎeを求めてプログラムを抜け
る。これにより、部分的な誤検出等は、繰り返しの中で
修正され、全体として最もふさわしい壁面の形状が得ら
れる。尚、このプログラムも、左側の側壁グループにつ
いて実行された後、右側の側壁グループについて実行さ
れる。

【００７５】図１９は、図９の元画像に対し、カーブし
た道路に沿った壁面を遠方まで捉えた検出結果を示し、
Ｘ−Ｚ平面上では、壁面モデルの修正結果は図２０に示
すようになる。この壁面モデルによるカーブした壁面の
検出結果では、図１３に示すような直線として側壁を捉
える場合に比較し、例えば約２倍といった遠方まで壁面
を検出することができる。

【００７６】また、以上の壁面モデルでは、様々な形状
に対応することができ、ガードレールのみではなく、道
路周辺の植え込み、住宅の塀等、様々な物体を連ねて道
路の境界を構成する一連の立体物を壁面として検出する
ことができる。従って、以上の壁面検出結果を用いるこ
とにより、白線が無い道路や雪道等の白線を認識できな
い道路においても、道路形状を認識することができる。

【００７７】

【発明の効果】以上説明したように本発明によれば、道
路がカーブしている場合にも、道路の境界を構成する一
連の立体物を壁面として検出することができ、この壁面
検出結果を用いることで白線が無い道路や雪道等の白線
を認識できない道路においても道路形状を認識すること
ができ、車外状況を常に的確に把握することができる等
優れた効果が得られる。

【図面の簡単な説明】

【図１】車外監視装置の全体構成図

【図２】車外監視装置の回路ブロック図

【図３】立体物・側壁グループ検出処理のフローチャー
ト（その１）

【図４】立体物・側壁グループ検出処理のフローチャー
ト（その２）

【図５】立体物・側壁グループ検出処理のフローチャー
ト（その３）

【図６】壁面検出処理のフローチャート

【図７】壁面位置修正処理のフローチャート（その１）

【図８】壁面位置修正処理のフローチャート（その２）

【図９】車載のカメラで撮像した画像の例を示す説明図

【図１０】距離画像の例を示す説明図

【図１１】区分毎に検出した立体物の位置を示す説明図

【図１２】側壁の検出結果を示す説明図

【図１３】側壁の検出結果をＸ−Ｚ平面で示した説明図

【図１４】壁面モデルの説明図

【図１５】壁面パターンの探索法を示す説明図

【図１６】重み係数パターンを示す説明図

【図１７】一致度の計算結果を示す説明図

【図１８】ノード点の連結を示す説明図

【図１９】壁面の検出結果を示す説明図

【図２０】壁面の検出結果をＸ−Ｚ平面で示した説明図

【符号の説明】

１ …車外監視装置 １０ａ，１０ｂ…ＣＣＤカメラ ２０…イメージプロセッサ ３０…認識処理用コンピュータ Ｎi …ノード点

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 Ｇ０６Ｔ 7/00 Ｃ ２００ ２００Ｚ // Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｆターム(参考） 5B057 AA16 BA02 DA07 DA08 DA15 DB03 DB05 DB09 DC14 DC16 DC23 DC33 5C054 AA01 FC12 FC14 HA30 5H180 AA01 CC04 LL02 LL08 5L096 AA09 BA04 CA05 DA03 FA03 FA32 FA35 FA66 FA69 GA34

Claims (6)

【特許請求の範囲】
1. 【請求項１】 車外の立体物の位置を検出して車外の状
   況を認識する車外監視装置において、 道路境界を構成する壁面に分類される壁面位置データ群
   を抽出する手段と、 壁面形状を表す複数のノード点を先に設定したノード点
   に基づき順次設定する手段と、 上記設定されたノード点を含む所定領域内の上記壁面位
   置データ群に対して壁面パターンとのマッチング処理を
   施すことにより求めた壁面位置に基づき上記ノード点を
   特定する手段と、 上記ノード点の設定及び壁面位置に基づくノード点の特
   定を順次施すことにより、複数のノード点により壁面形
   状を表す壁面モデルを形成する手段とを備えたことを特
   徴とする車外監視装置。
2. 【請求項２】 上記ノード点を特定する手段は、各壁面
   位置データのＸ座標と上記壁面パターンのパターン中心
   のＸ座標との偏差に対応する重みの総和により一致度を
   評価し、上記壁面パターンを上記壁面位置データ群に対
   してＸ座標方向に移動させて上記一致度が最大になった
   ときのパターン中心の位置を上記ノード点として特定す
   ることを特徴とする請求項１記載の車外監視装置。
3. 【請求項３】 上記壁面モデルを形成する手段は、特定
   された所定ノード点の座標を、その前後のノード点を結
   ぶ直線に漸近する方向に修正することを特徴とする請求
   項１又は２記載の車外監視装置。
4. 【請求項４】 車外の立体物の位置を検出して道路境界
   を示す立体物の位置を壁面位置として設定する車外監視
   装置において、 道路境界を構成する壁面に分類される壁面位置データ群
   を抽出する手段と、 上記壁面位置データ群に分類される複数の立体物に対し
   て、立体物との位置関係が予め設定している壁面パター
   ンに最も類似する位置を壁面位置として設定する手段と
   を備えたことを特徴とする車外監視装置。
5. 【請求項５】 所定領域内における上記壁面位置データ
   群を構成する立体物に対して上記壁面パターンによるマ
   ッチング処理を適用し、順次領域を設定すると共に領域
   毎にマッチング処理を施すことにより、複数の壁面位置
   を設定することを特徴とする請求項４記載の車外監視装
   置。
6. 【請求項６】 上記壁面パターンは、上記壁面パターン
   の横軸方向においてパターン中心点に対して一方の側を
   相対的に高く設定すると共に他方の側を相対的に低く設
   定した重み係数を縦軸に有するパターンであることを特
   徴とする請求項４記載の車外監視装置。