JP2001101420A - 障害物検出装置及びその方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 車載のステレオカメラを用いて道路面上に存
在する障害物を検出し、さらに、その障害物が自車が衝
突するまでの時間を計測する。 【解決手段】 複数台のＴＶカメラによりなる画像入力
部１からの複数枚の画像を蓄積するための画像蓄積部２
と、基準カメラの画像を基準画像としその他を参照画像
として、３次元空間中のある面上を基準カメラに対して
静止、又は運動する物体の動きの無限遠点に対応した基
準画像上の投影点を抽出する特徴抽出部３と、基準画像
上の任意の点が道路面上にあると仮定した場合の参照画
像上の対応点を算出し、これらの点の輝度差から道路面
上に存在しない点を検出する検出部４と、検出した基準
画像上における道路面上に存在しない点と、特徴抽出部
により抽出した投影点とに基づいて、道路面上に存在し
ない点を含む障害物が基準カメラに衝突するまでの時間
を計算する衝突時間計算部５とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、自動車の
安全運転を支援するために、車載カメラにより、先行車
や歩行者、駐車車両等、道路上に存在する障害物を検出
する障害物検出装置、その方法及び記録媒体に関する。

【０００２】

【従来の技術】車に搭載したセンサを用いて、歩行者、
他の歩行車両、駐車車両等の道路上の障害物を検知する
ための技術は、交通事故を防止する上で極めて重要な技
術である。

【０００３】この車載センサによる障害物検知技術は、
レーザや超音波等を利用するものと、ＴＶカメラを利用
するものに大別される。

【０００４】レーザを利用するものは高価であり、超音
波を利用するものは超音波の解像度が低いため、障害物
の検出精度に問題がある。

【０００５】これに対し、ＴＶカメラは比較的安価であ
り、解像度や計測精度、計測範囲の面からも障害物検出
に適する。また、ＴＶカメラは走行レーンの検出も可能
である。

【０００６】このＴＶカメラを用いる場合、１台のカメ
ラを使用する方法と複数台のカメラ（ステレオカメラ）
を使用する方法がある。

【０００７】１台のカメラを使用する方法は、そのカメ
ラで撮影した１枚の画像から、輝度や色、あるいはテク
スチャ（模様）等の情報を手がかりにして道路領域と障
害物領域を分離する。

【０００８】例えば、画像中で精度の低い中程度の輝度
領域、つまり灰色の領域を道路領域として抽出したり、
テクスチャの少ない領域を道路領域として抽出し、それ
以外の領域を障害物領域とする。

【０００９】しかし、道路と似た輝度、色、あるいはテ
クスチャを持つ障害物も数多く存在するため、この方法
で一般の状況下において障害物領域と道路領域を切り分
けるのは困難である。

【００１０】これに対し、複数台のカメラを用いる方法
は３次元情報を手がかりにして障害物を検出する。

【００１１】複数台のカメラを用いて対象シーンの３次
元情報を得る技術は、一般にステレオ視と呼ばれる。ス
テレオ視とは、例えば２つのカメラを左右に配置し、３
次元空間中で同一である点を左右画像間で対応づけ、三
角測量の要領で、その点の３次元位置を求めるものであ
る。各カメラの道路平面からの高さや道路平面に対する
傾き等を予め求めておくと、ステレオ視により、画像中
の任意の点の道路平面からの高さが得られる。したがっ
て、道路平面からの高さの有無により、障害物領域と道
路領域を分離することができる。

【００１２】前記の１台のカメラを用いる方式では、前
述のように、道路と似た輝度や色、テクスチャを持つ領
域を障害物として検出することは困難であるが、ステレ
オ視によれば、道路面からの高さを手がかりにして障害
物を検出するため、より一般的なシーンでの障害物検出
が可能である。

【００１３】しかし、通常のステレオ視は、画像上の任
意の点のステレオカメラからの距離を求める技術であ
り、このためには、予め複数のカメラの間隔や向き、及
びカメラレンズの焦点距離、画像中心等に関するパラメ
ータ（カメラパラメータ）を求める必要がある。これら
のパラメータを求める作業をキャリブレーション（カメ
ラキャリブレーション）と呼ぶ。

【００１４】キャリブレーションは、３次元位置が既知
なサンプル点を多数用意し、その画像への投影位置を求
め、各サンプル点の３次元位置と投影位置の間に成り立
つ関係式を連立させてカメラパラメータを算出する作業
である。

【００１５】しかし、このキャリブレーションは多大な
時間と労力を必要とし、ステレオ視による障害物検出の
実用化を妨げる原因の１つとなっている。

【００１６】また、通常のステレオ視は、３次元空間中
で同一である点を左右画像間で対応づける必要がある。

【００１７】この対応づけ処理は図１に示すように行わ
れる。左画面上のある点の右画像上の対応点は、同図に
示すエピポーララインと呼ばれる線上にある。

【００１８】例えば、２台のカメラを平行に配置した場
合には、エピポーララインは走査線に一致する。このエ
ピポーラライン上で最も周囲の輝度のパターンが似てい
る点を対応点とする。

【００１９】しかし、基本的にこの対応づけは探索計算
により行われるため、計算コストが極めて高いという問
題がある。

【００２０】

【発明が解決しようとする課題】上記のように、障害物
検出装置は、レーザや超音波を用いるものとＴＶカメラ
を用いるものに大別できるが、レーザや超音波を利用す
る障害物検出装置は高価であったり、計測精度が低いと
いう問題があった。

【００２１】また、ＴＶカメラを利用する障害物検出装
置は、使用環境が限定されていたり、多大な時間と労力
を必要とするキャリブレーションや、計算コストが高い
左右画像の対応探索が必要であるという問題があった。

【００２２】そこで、本発明は上記事情を鑑みてなされ
たもので、一般環境において、比較的低価格で高精度な
障害物検出が可能なステレオカメラを使用し、従来のス
テレオ視の問題であったキャリブレーションと対応探索
処理を行うことなく、道路平面上に存在する障害物を高
速に検出し、さらに、障害物の画像上の動きから、障害
物が自車に衝突するまでの時間を計測する障害物検出装
置、その方法及び記録媒体を提供する。

【００２３】

【課題を解決するための手段】請求項１の発明は、撮像
点の異なる少なくとも２画像を入力し、蓄積する画像入
力手段と、前記画像入力手段が蓄積した複数の画像のう
ち一の画像を基準画像とし、他の画像を参照画像とし
て、３次元空間中のある面上を前記基準画像の撮像点に
対して相対的に静止、または、運動する物体の動きの無
限遠点に対応した前記基準画像上の投影点Uを抽出する
特徴抽出手段と、前記基準画像上の任意の点Ｐが前記面
上にあると仮定した場合の前記参照画像上の対応点Ｐ’
を算出し、これら点Ｐと点Ｐ’の輝度差から前記面上に
存在しない点を検出する検出手段と、前記検出手段によ
り検出した前記基準画像上における前記面上に存在しな
い点と、前記特徴抽出手段により抽出した前記投影点U
とに基づいて、前記面上に存在しない点が前記基準画像
の撮像点と一致するまでの時間を計算する衝突時間計算
手段とを有することを特徴とする障害物検出装置であ
る。

【００２４】請求項２の発明は、前記衝突時間計算手段
は、前記検出手段により検出した前記面上に存在しない
点のうち、前記基準画像上における前記面との境界線上
の点と、前記特徴抽出手段により抽出した前記投影点U
に基づいて、前記面との境界線上の点が、前記基準画像
の撮像点に一致するまでの時間を計算することを特徴と
する請求項１記載の障害物検出装置である。

【００２５】請求項３の発明は、前記特徴抽出手段が、
前記面上を前記基準画像の撮像点に対して相対的に静
止、または、運動する物体の動きの方向に一致する複数
の線を、前記基準画像から抽出し、それら抽出した複数
の線の交点を前記投影点Uとすることを特徴とする請求
項１，２記載の障害物検出装置である。

【００２６】請求項４の発明は、前記複数の画像の撮像
点の互いの位置、姿勢、及び、各画像の焦点距離、画像
中心が未知であることを特徴とする請求項１，２，３記
載の障害物検出装置である。

【００２７】請求項５の発明は、前記検出手段は、前記
基準画像上の任意の点Ｐが前記面上にあると仮定した場
合の前記参照画像上の対応点Ｐ’を算出し、前記点Ｐと
点Ｐ’の周囲の輝度の類似性から前記面上に存在しない
点を検出することを特徴とする請求項１，２，３，４記
載の障害物検出装置である。

【００２８】請求項６の発明は、撮像点の異なる少なく
とも２画像を入力し、蓄積する画像入力ステップと、前
記画像入力ステップにおいて蓄積した複数の画像のうち
一の画像を基準画像とし、他の画像を参照画像として、
３次元空間中のある面上を前記基準画像の撮像点に対し
て相対的に静止、または、運動する物体の動きの無限遠
点に対応した前記基準画像上の投影点Uを抽出する特徴
抽出ステップと、前記基準画像上の任意の点Ｐが前記面
上にあると仮定した場合の前記参照画像上の対応点Ｐ’
を算出し、これら点Ｐと点Ｐ’の輝度差から前記面上に
存在しない点を検出する検出ステップと、前記検出ステ
ップにより検出した前記基準画像上における前記面上に
存在しない点と、前記特徴抽出ステップにより抽出した
前記投影点Uとに基づいて、前記面上に存在しない点が
前記基準画像の撮像点と一致するまでの時間を計算する
衝突時間計算ステップとを有することを特徴とする障害
物検出方法である。

【００２９】請求項７の発明は、撮像点の異なる少なく
とも２画像を入力し、蓄積する画像入力機能と、前記画
像入力機能において蓄積した複数の画像のうち一の画像
を基準画像とし、他の画像を参照画像として、３次元空
間中のある面上を前記基準画像の撮像点に対して相対的
に静止、または、運動する物体の動きの無限遠点に対応
した前記基準画像上の投影点Uを抽出する特徴抽出機能
と、前記基準画像上の任意の点Ｐが前記面上にあると仮
定した場合の前記参照画像上の対応点Ｐ’を算出し、こ
れら点Ｐと点Ｐ’の輝度差から前記面上に存在しない点
を検出する検出機能と、前記検出機能により検出した前
記基準画像上における前記面上に存在しない点と、前記
特徴抽出機能により抽出した前記投影点Uとに基づい
て、前記面上に存在しない点が前記基準画像の撮像点と
一致するまでの時間を計算する衝突時間計算機能と、を
実現するプログラムを記録したことを特徴とする障害物
検出方法の記録媒体である。

【００３０】本発明であると複数台のカメラで取得した
複数の画像を処理して、３次元空間中のある面からの高
さの有無により障害物を検出するため、明るさの変動や
影の影響を受けず、画像中から障害物を検出することが
できる。

【００３１】また、従来のステレオ視の問題であった、
多大な時間と労力を要するカメラキャリブレーションの
作業と、計算コストの高い奥行き探索（対応探索）処理
が不要なため、実用的効果は多大である。

【００３２】

【発明の実施の形態】以下で本発明の実施例を図面に従
い説明する。

【００３３】本実施例は、図２に示すように車（以下で
は「自車」と呼ぶ）に左右２台のカメラを搭載し、その
ステレオカメラで取得したステレオ画像を処理すること
により、歩行者や先行車、駐車車両等、道路平面上に存
在する障害物を検出し、さらに、その障害物が自車に衝
突するまでの時間を計算する場合を想定している。

【００３４】図３は、本実施例における障害物検出装置
の概略構成を示すもので、ここでは画像入力部１、画像
蓄積部２、特徴抽出部３、検出部４、衝突時間計算部５
から構成している。

【００３５】障害物検出装置では、互いの位置・姿勢
や、レンズの焦点距離・画像中心等が未知な２台のカメ
ラによりステレオ画像を取得し、静止時に予め求めてお
いた道路平面上の点の左右画像への投影位置の間に成り
立つ関係を表した式（以下では「道路平面拘束式」と呼
ぶ）を用いて、画像上の各点に対して道路平面からの高
さの有無を判別し、障害物領域と道路領域を分離する。
さらに、その障害物の画像上の軌跡から障害物が自車に
衝突するまでの時間を計算する。

【００３６】図４に自車座標系を示す。

【００３７】自車座標系は、自車の進行（前後）方向を
Ｙ軸方向とし、左右、上下方向を各々Ｘ，Ｚ軸、道路平
面をＸＹ平面とする。本実施例では、自車と障害物は共
に道路両端の２本の白線（直線ｌ，ｌ'）に沿って走行
することを前提とする。

【００３８】（画像入力部１）画像入力部１は、左右２
台のＴＶカメラを用いて２枚の画像を取得する。これら
２台のカメラの自車座標系に対する位置や姿勢、各カメ
ラのレンズの焦点距離や画像中心は未知であってよい
が、本実施例では、各カメラは車に固定されており、走
行中には変化しないものとする。

【００３９】（画像蓄積部２）画像蓄積部２は、画像入
力部１により入力された２枚の画像を画像メモリに蓄積
する。

【００４０】（特徴抽出部３）特徴抽出部３は、画像蓄
積部２により蓄積された２枚のうちの片方の画像を基準
画像とし（以下では左画像を基準画像とする）、その基
準画像から図５に示すように、２本の直線ｌ_１，ｌ_２を
検出する。

【００４１】その交点（２直線上の無限遠点の画像への
投影点、以下では「消失点」と呼ぶ）をｕ_０＝
（ｕ_０，ｖ_０）とする。この直線検出は例えば、エッジ
抽出処理とHough変換等を用いて行う。

【００４２】（検出部４）検出部４は、道路平面上の点
の左右画像への投影点間に成り立つ拘束（以下では「道
路平面拘束」と呼ぶ）を用いて障害物を検出する。以下
にこの道路平面拘束について説明する。

【００４３】道路平面（ＸＹ平面）上の任意の点（Ｘ，
Ｙ）の左右画像への投影点を各々（ｕ，ｖ），（ｕ_ｒ，
ｖ_ｒ）とすると、

【数１】 という関係式が成り立つ。

【００４４】ｈ＝（ｈ_１１，ｈ_１２，……，
ｔ_３）^Ｔ，ｈ'＝（ｈ'_１１，ｈ'_１２，……，ｔ'_３）
^Ｔは各カメラの自車座標系に対する３次元位置と姿勢、
各カメラに装着したレンズの焦点距離、画像中心に関す
るパラメータである。

【００４５】式(1)，(2)からＸとＹを消去すると、

【数２】 となる。

【００４６】ただし、Ｈ＝（Ｈ_１１，Ｈ_１２，……Ｈ
_３３）^Ｔはｈ，ｈ'で表される定数である。

【００４７】この式により、左画像上の点（ｕ，ｖ）が
道路面上の点であると仮定した時の右画像上の対応点を
求めることができる。

【００４８】言い換えると、左画像上の点（ｕ，ｖ）が
道路平面上にあると仮定すると、その右画像上の対応点
（ｕ_ｒ，ｖ_ｒ）は上式によって決まる。この式を道路平
面拘束式と呼ぶ。

【００４９】なお、この式のパラメータＨ＝
（Ｈ_１１，Ｈ_１２，……Ｈ_３３）^Ｔは、静止時に予め求
めておく。

【００５０】以下にその方法について説明する。

【００５１】まず、左画像から道路面上の特徴点（道路
平面上に描かれた直線の交点や、ペイントの角点等）を
Ｎ（≧４）個抽出する。

【００５２】次に、抽出した各特徴点の右画像上の対応
点を求める。なお、この特徴点抽出と対応づけ処理は、
マウスで画像上の点をポインティングすることにより行
ってもよい。これらのＮ組の対応関係は、各々、式(3)
を満たすので、２Ｎ本の連立方程式を得る。

【００５３】この連立方程式をＨについて解くことに
よりパラメータＨを求めることができる。

【００５４】この道路平面拘束式を用いて障害物を検出
する方法について以下に示す。

【００５５】左画像の任意の点Ａ（ｕ，ｖ）の輝度をＩ
_Ｌ（ｕ，ｖ）とし、点Ａが道路平面上に存在すると仮定
した場合の右画像上の対応点Ａ'（ｕ_ｒ，ｖ_ｒ）を式(3)
から求め、その輝度をＩ_Ｒ（ｕ_ｒ，ｖ_ｒ）とする。

【００５６】点（ｕ，ｖ）が実際に道路平面上に存在す
れば、点ＡとＡ'は正しい対応点の組（点ＡとＡ'が道路
面上の同じ点の投影点）となるから、基本的には点Ａと
点Ａ'の輝度が同じになる。したがって、

【数３】 とおくとＤｉｆｆ＝０となる。

【００５７】逆に、Ｄｉｆｆ＝０でなければ点Ａ（ｕ，
ｖ）とＡ'（ｕ_ｒ，ｖ_ｒ）は正しい対応点の組ではない
ことになり、点（ｕ，ｖ）は道路平面上に存在しない
点、つまり障害物上の点となる。

【００５８】これら一連の処理を基準画像上の全ての点
に対して行うと、障害物領域を検出することができる。

【００５９】この際、障害物か否かの判定基準として、
ある程度の誤差を考慮し、Ｄｉｆｆ＞Ｔｈｒとなる点は
障害物領域に属すると判定してもよい。

【００６０】ここで、Ｔｈｒは予め設定した閾値であ
る。

【００６１】例えば、図６上に示すステレオ画像から、
同図下に示すような障害物領域が検出される。

【００６２】（衝突時間計測部５）衝突時間計測部５
は、ステレオ画像のうちのどちらかの画像（これを基準
画像と呼び、本実施例では、前記したように左画像を基
準画像とする）上の障害物の軌跡（障害物の位置の時間
変化）から、自車がその障害物に衝突するまでの時間
（衝突時間）を計測する。

【００６３】まず、衝突時間について説明する。

【００６４】式(1)の分母をＤとおく。すなわち、 Ｄ＝ｈ_３１Ｘ＋ｈ_３２Ｙ＋ｔ_３ (5) である。

【００６５】Ｄは、図７に示すように、障害物の道路平
面との接点Ｔ（Ｘ，Ｙ）と基準カメラの視点Ｃの光軸方
向の距離、すなわち奥行きである。

【００６６】時刻ｔ−ｄｔ，ｔにおける障害物の道路平
面との接点Ｔ'，Ｔの奥行きを各々Ｄ'，Ｄとする。ここ
で、障害物が自車座標系に対して時刻ｔ−ｄｔ，ｔ間の
運動を継続した場合に奥行きが０になるまでの時間を衝
突時間ｔ_ｃと定義する。

【００６７】図８に奥行きの時間変化を示す。

【００６８】現在の時刻ｔから奥行きが０になるまでの
時間が衝突時間ｔ_ｃなので、ｔ_ｃは同図のように表され
る。斜線で示した２つの三角形の相似関係から、

【数４】 ただし、γ＝Ｄ'／Ｄである。

【００６９】つまり、異なる２時刻における奥行きの比
γから衝突時間ｔ_ｃを求めることができる。

【００７０】以下に検出部４によって求めた各時刻の障
害物領域の位置から、その衝突時間を計算する方法につ
いて説明する。

【００７１】現在の時刻ｔとそれより前の時刻ｔ−ｄｔ
において障害物領域が基準画像上で図９に示すように検
出されたとし、時刻ｔにおいて検出された障害物領域の
最下端の線（障害物領域と道路領域の境界線）上の任意
の１点をｕ＝（ｕ，ｖ）とする。点ｕ＝（ｕ，ｖ）
の時刻ｔ−ｄｔにおける位置ｕ'＝（ｕ'，ｖ'）は、
点ｕ_０，ｕを結ぶ直線と、時刻ｔ−ｄｔにおける障
害物領域と道路領域の境界線の交点として求めることが
できる。

【００７２】また、時刻ｔ−ｄｔ，ｔにおける障害物の
道路平面上の位置を各々、Ｘ'＝（Ｘ，Ｙ＋ｄＹ），
Ｘ＝（Ｘ，Ｙ）とする。

【００７３】本実施例では、自車と障害物はＹ軸に沿っ
て運動する（進行方向が一致する）と仮定しているの
で、各時刻の障害物の位置のＸ座標は同一となる。
Ｘ'までの奥行きは、

【数５】 ここで、Ｙ軸に平行な直線ｌ，ｌ'上の無限遠方の点の
投影点がｕ_０＝（ｕ _０，ｖ_０）であるから、式(1)で
Ｙ→∞として、

【数６】 このγを式(7)に代入することによって、障害物の衝突
時間を計算することができる。

【００７４】つまり、図９に示すように道路平面上を運
動する障害物の衝突時間は、その障害物の道路平面との
接点の時刻ｔ−ｄｔ，ｔにおける画像上の位置ｕ'，ｕ
と、直線ｌ，ｌ'の消失点ｕ_０のみから計算でき、自
車座標系に対するカメラの位置や姿勢に依存しない。

【００７５】以上のようにして、車載のステレオカメラ
からカメラパラメータを用いずに、かつ、奥行き探索を
行うことなく道路平面上の障害物を検出し、さらに、そ
の障害物が自車に衝突するまでの時間を計算することが
できる。

【００７６】（実施例の効果）以上により、本実施例で
あると、ステレオカメラで取得したステレオ画像を処理
して、道路平面からの高さの有無により障害物を検出す
るため、明るさの変動や影の影響を受けず、画像中から
先行車や歩行者等の障害物を検出することができる。ま
た、従来のステレオ視の問題であった、多大な時間と労
力を要するカメラキャリブレーションの作業と、計算コ
ストの高い奥行き探索（対応探索）処理が不要なため、
実用的効果は多大である。

【００７７】（変更例１）本実施例は画像入力部１で、
２台のＴＶカメラを左右に並べて２枚の画像を入力して
いるが、これらのカメラは上下に配置してもよい。

【００７８】また、３台以上のカメラを配置してもよ
い。

【００７９】（変更例２）特徴抽出部３は、道路平面上
の２本の線を抽出する場合について説明したが、３本以
上の線を抽出してもよいし、方向ベクトルが同じであれ
ば、道路平面上にない線、例えば、ガードレール上の線
を抽出してもよい。

【００８０】（変更例３）検出部４はさらに図１０に示
す構成をとることもできる。

【００８１】ここでは、画像変換部４−１，差異計算部
４−２から構成している。

【００８２】画像変換部４−１は、右画像を以下の手順
に従って画像変換する。一般に、画像は画像上の点
（ｕ，ｖ）を変数とし、その各点に対して輝度値が定義
された関数ｆ（ｕ，ｖ）として表現できる。以下では画
像をこのように表現する。

【００８３】図１１に示すようなステレオ画像が入力さ
れたとし、右画像をｇ（ｕ，ｖ）、その変換後の画像を
ｇ'（ｕ，ｖ）を求める。以下のように、ｇ'（ｕ，ｖ）
を求める。

【００８４】

【数７】 ただし、（ｕ_ｒ，ｖ_ｒ）は、式(3)より求める。ｇ'
（ｕ，ｖ）は、画像ｇ（ｕ，ｖ）上の全ての点が道路平
面上に存在すると仮定した場合に、左カメラで得られる
画像である。

【００８５】例えば、図１２の右画像からは、同図に示
すような変換画像を得る。

【００８６】図１３に示すように、道路平面上にある点
の投影点は、左画像と変換画像で同一となるのに対し、
道路平面上にない点、すなわち、障害物（この場合は先
行車両）上の点は、道路からの高さに応じて異なる位置
に投影される。

【００８７】したがって、この左画像と変換画像の差分
を取ることにより、道路平面上の障害物を検出する。つ
まり、左画像をｆ（ｕ，ｖ）とすると、

【数８】 として、Ｄｉｆｆ'＝０でなければ、あるいは誤差を考
慮して、Ｄｉｆｆ'＞Ｔｈｒ（Ｔｈｒは予め設定した閾
値）となる点（ｕ，ｖ）は障害物領域に属すると判定す
る。

【００８８】（変更例４）検出部４は画素間差分をとる
ことによって２枚の画像の差異を検出したが、各点に対
して（２ｗ＋１）×（２ｗ＋１）のウィンドウを設定
し、ウィンドウ内の輝度値の平均や分散、正規化相互相
関等から差異を検出してもよい。

【００８９】２枚の画像Ｆ（ｕ，ｖ），Ｇ（ｕ，ｖ）の
点（ｕ，ｖ）の正規化相互相関Ｃは以下の式から算出で
きる。

【００９０】

【数９】 ここで、Ｎ＝（２ｗ＋１）×（２ｗ＋１），ａ_１，ａ_２
は２枚の画像のウィンドウ内の輝度の平均、σ^２ _１，σ
^２ _２は２枚の画像ウィンドウ内の輝度の分散であり、−
１≦Ｃ≦１である。

【００９１】この場合、Ｃ＜Ｔｈｒとなる点（ｕ，ｖ）
が障害物領域に属すると判定する。ここで、Ｔｈｒ（≦
１）は予め設定した閾値である。

【００９２】（変更例５）本実施例では道路両端の２本
の白線を直線として抽出したが、道路がカーブしている
場合には白線は曲線となる。

【００９３】この場合には、白線を曲線として抽出すれ
ば、同様に障害物を検出することができる。

【００９４】（変更例６）道路面として平面を仮定して
説明したが、曲面の場合であっても、平面の場合と同様
に障害物を検出することができる。

【００９５】（変更例７）自車と障害物に対し、車線に
平行な運動を仮定したが、平行でない場合（例えば、車
線変更する場合）にも適用可能である。

【００９６】（変更例８）本実施例は、車載カメラから
の障害物検出に関して記述したが、例えば、移動ロボッ
トの自律走行にも適用することが可能であり、本手法は
車載カメラからの障害物検出に限定されるものではな
い。

【００９７】（変更例９）ステレオカメラを車の前方に
設置し、前方の障害物を検出する場合について記述した
が、車の側方や後方に設置して、各々の方向の障害物を
検出することも可能である。

【００９８】（変更例１０）衝突時間計測部５は、計算
した障害物に衝突するまでの時間が小さい場合には自車
ドライバーに警報を発したり、衝突時間の大小に応じて
音量や音質の異なる警報を発することも可能である。

【００９９】（変更例１１）車載ステレオカメラのカメ
ラパラメータは走行中に変化しないものとしたが、変化
する場合には道路平面拘束を更新すれば同様に障害物を
検出し、その衝突時間を計算することができる。

【０１００】その他、本発明の要旨を逸脱しない範囲で
変形を実施できる。

【０１０１】

【発明の効果】本発明であると複数台のカメラで取得し
た複数の画像を処理して、３次元空間中のある面からの
高さの有無により障害物を検出するため、明るさの変動
や影の影響を受けず、画像中から障害物を検出すること
ができる。

【０１０２】また、従来のステレオ視の問題であった、
多大な時間と労力を要するカメラキャリブレーションの
作業と、計算コストの高い奥行き探索（対応探索）処理
が不要なため、実用的効果は多大である。

【図面の簡単な説明】

【図１】ステレオ視の対応探索を説明するための図であ
る。

【図２】本実施例の自車の説明図である。

【図３】本実施例の障害物検出装置のブロック図であ
る。

【図４】自車座標系を説明するための図である。

【図５】特徴抽出部３における直線抽出処理を説明する
ための図である。

【図６】検出部４における障害物検出処理を説明するた
めの図である。

【図７】奥行きを説明するための図である。

【図８】衝突時間を説明するための図（その１）であ
る。

【図９】衝突時間を説明するための図（その２）であ
る。

【図１０】検出部４の変更例のブロック図である。

【図１１】ステレオ画像である。

【図１２】右画像とその変換画像を説明するための図で
ある。

【図１３】左画像と右画像の変換画像を説明するための
図である。

【符号の説明】

１ 画像入力部 ２ 画像蓄積部 ３ 特徴抽出部 ４ 検出部 ５ 衝突時間計算部

フロントページの続き Ｆターム(参考） 2F065 AA03 AA24 BB15 CC11 DD06 FF01 FF05 FF63 JJ03 JJ05 JJ07 JJ19 JJ26 QQ13 QQ24 QQ31 QQ36 QQ42 RR06 SS09 5B057 AA16 CA13 DA07 DA15 DB03 DC13 DC16 DC34 DC36 5H180 AA01 CC04 CC07 LL01 LL07 LL08 5L096 CA05 DA02 FA03 FA06 FA10 FA19 FA24 FA33 FA34 FA69 GA08 GA51 HA04 9A001 BB06 GG01 HH23 JJ77 KK16

Claims (7)

【特許請求の範囲】
1. 【請求項１】撮像点の異なる少なくとも２画像を入力
   し、蓄積する画像入力手段と、 前記画像入力手段が蓄積した複数の画像のうち一の画像
   を基準画像とし、他の画像を参照画像として、３次元空
   間中のある面上を前記基準画像の撮像点に対して相対的
   に静止、または、運動する物体の動きの無限遠点に対応
   した前記基準画像上の投影点Uを抽出する特徴抽出手段
   と、 前記基準画像上の任意の点Ｐが前記面上にあると仮定し
   た場合の前記参照画像上の対応点Ｐ’を算出し、これら
   点Ｐと点Ｐ’の輝度差から前記面上に存在しない点を検
   出する検出手段と、 前記検出手段により検出した前記基準画像上における前
   記面上に存在しない点と、前記特徴抽出手段により抽出
   した前記投影点Uとに基づいて、前記面上に存在しない
   点が前記基準画像の撮像点と一致するまでの時間を計算
   する衝突時間計算手段とを有することを特徴とする障害
   物検出装置。
2. 【請求項２】前記衝突時間計算手段は、 前記検出手段により検出した前記面上に存在しない点の
   うち、前記基準画像上における前記面との境界線上の点
   と、前記特徴抽出手段により抽出した前記投影点Uに基
   づいて、 前記面との境界線上の点が、前記基準画像の撮像点に一
   致するまでの時間を計算することを特徴とする請求項１
   記載の障害物検出装置。
3. 【請求項３】前記特徴抽出手段が、 前記面上を前記基準画像の撮像点に対して相対的に静
   止、または、運動する物体の動きの方向に一致する複数
   の線を、前記基準画像から抽出し、 それら抽出した複数の線の交点を前記投影点Uとするこ
   とを特徴とする請求項１，２記載の障害物検出装置。
4. 【請求項４】前記複数の画像の撮像点の互いの位置、姿
   勢、及び、各画像の焦点距離、画像中心が未知であるこ
   とを特徴とする請求項１，２，３記載の障害物検出装
   置。
5. 【請求項５】前記検出手段は、 前記基準画像上の任意の点Ｐが前記面上にあると仮定し
   た場合の前記参照画像上の対応点Ｐ’を算出し、 前記点Ｐと点Ｐ’の周囲の輝度の類似性から前記面上に
   存在しない点を検出することを特徴とする請求項１，
   ２，３，４記載の障害物検出装置。
6. 【請求項６】撮像点の異なる少なくとも２画像を入力
   し、蓄積する画像入力ステップと、 前記画像入力ステップにおいて蓄積した複数の画像のう
   ち一の画像を基準画像とし、他の画像を参照画像とし
   て、３次元空間中のある面上を前記基準画像の撮像点に
   対して相対的に静止、または、運動する物体の動きの無
   限遠点に対応した前記基準画像上の投影点Uを抽出する
   特徴抽出ステップと、 前記基準画像上の任意の点Ｐが前記面上にあると仮定し
   た場合の前記参照画像上の対応点Ｐ’を算出し、これら
   点Ｐと点Ｐ’の輝度差から前記面上に存在しない点を検
   出する検出ステップと、 前記検出ステップにより検出した前記基準画像上におけ
   る前記面上に存在しない点と、前記特徴抽出ステップに
   より抽出した前記投影点Uとに基づいて、前記面上に存
   在しない点が前記基準画像の撮像点と一致するまでの時
   間を計算する衝突時間計算ステップとを有することを特
   徴とする障害物検出方法。
7. 【請求項７】撮像点の異なる少なくとも２画像を入力
   し、蓄積する画像入力機能と、 前記画像入力機能において蓄積した複数の画像のうち一
   の画像を基準画像とし、他の画像を参照画像として、３
   次元空間中のある面上を前記基準画像の撮像点に対して
   相対的に静止、または、運動する物体の動きの無限遠点
   に対応した前記基準画像上の投影点Uを抽出する特徴抽
   出機能と、 前記基準画像上の任意の点Ｐが前記面上にあると仮定し
   た場合の前記参照画像上の対応点Ｐ’を算出し、これら
   点Ｐと点Ｐ’の輝度差から前記面上に存在しない点を検
   出する検出機能と、 前記検出機能により検出した前記基準画像上における前
   記面上に存在しない点と、前記特徴抽出機能により抽出
   した前記投影点Uとに基づいて、前記面上に存在しない
   点が前記基準画像の撮像点と一致するまでの時間を計算
   する衝突時間計算機能と、 を実現するプログラムを記録したことを特徴とする障害
   物検出方法の記録媒体。