JP2000207693A

JP2000207693A - 車載用障害物検出装置

Info

Publication number: JP2000207693A
Application number: JP11003137A
Authority: JP
Inventors: Kazumi Fujimoto; 和巳藤本
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1999-01-08
Filing date: 1999-01-08
Publication date: 2000-07-28

Abstract

(57)【要約】【課題】障害物や背景の色等に左右されずに障害物を検
知し、その障害物と自車両との距離を求める車載用障害
物検出装置を提供する。【解決手段】相互に光軸が平行で、撮像面の水平軸が同
じライン上に揃うように設置された二つのカメラを備
え、一方のカメラの画像を所定の大きさの領域毎に分割
し（Ｓ１０１）、そのうちからエッジを含んだ領域を抽
出し（Ｓ１０２）、抽出した領域内のエッジの方向を求
め（Ｓ１０３）、エッジの方向が垂直および斜め方向の
領域に対して、他方の画像で最も一致度が高い領域を検
出して各領域毎の視差を求め（Ｓ１０５）、その視差と
前記二つのカメラの位置関係から三角測量の原理に基づ
いて各領域内に存在する物体までの自車両からの距離を
演算し（Ｓ１０６）、隣接して同じような距離と算出さ
れた領域のかたまりを一つの障害物と判定する（Ｓ１０
７）ことで障害物を検出する車載用障害物検出装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ画像処
理を用いて、障害物や背景の色等に左右されずに前方の
障害物を検知し、その障害物と自車両までの距離を求め
る技術に関する。

【０００２】

【従来の技術】従来の障害物検出装置としては、例えば
特開平８−３１５２９７号公報に記載されたものがあ
る。この装置では、二つのカメラで撮像した左右画像に
基づいて左右のエッジヒストグラムを作成し、作成され
た左右ヒストグラムのピ一ク値を先行車のエッジ位置と
判断し、左右のエッジのズレ量に基づいて先行車までの
距離を求めるものである。

【０００３】

【発明が解決しようとする課題】しかし、上記の障害物
検出装置においては、各走査線毎の微分値を積算するこ
とによってエッジヒストグラムを作成しているため、先
行車以外の障害物を検知できないという問題がある。ま
た微分値を利用するため背景によって検出能力が左右さ
れるという問題がある。

【０００４】本発明は上記のごとき従来技術の問題を解
決するためになされたものであり、障害物や背景の色等
に左右されずに障害物を検知し、その障害物と自車両と
の距離を求めることのできる車載用障害物検出装置を提
供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め本発明においては、特許請求の範囲に記載するように
構成している。すなわち、請求項１においては、画像全
体に小領域（ウィンドウ）を定義し、前方に障害物が存
在すると同じ視差の領域が固まることを利用して物体の
検出を行なうように構成している。また、定義した個々
の領域において視差を求める際、道路や空で構成される
領域はエッジ等の特徴を含んでおらず、このような領域
に対してマッチングを行なうと正確なマッチング位置が
求められない可能性があり、同様に水平エッジについて
も正確なマッチング位置が求められないので、水平エッ
ジの領域を除いて垂直および斜めエッジを含む領域につ
いてのみ視差を求めるように構成している。このように
構成したことにより、物体の個数や検出対象の色や形に
左右されず、かつ複数の物体があっても同時に検出する
ことが出来る。また、垂直および斜めエッジを含む領域
についてのみ視差を求める演算を行なうので、計算量を
削減することができ、処理の高速化が可能になる。

【０００６】また、請求項２においては、前記エッジ方
向検出手段で求めたエッジの方向が水平方向である領域
を記憶する記憶手段を有し、かつ、前記障害物検出手段
は、前記エッジの方向が水平方向である領域を挟んで前
記同じ距離の領域のかたまりがある場合はそれらを一つ
の障害物と判定するように構成している。すなわち、先
行車などは車両の左端を示す縦エッジと右端を示す縦エ
ッジとの間が水平エッジで結ばれていることが多いの
で、このような場合にはそれらを一つの障害物（車両）
と判断するものである。

【０００７】また、請求項３は、コントラストの強いエ
ッジと弱いエッジとで視差演算における一致度（マッチ
ング）の算出方法を変更するものである。すなわち、コ
ントラストの弱いエッジは背景部分との差が明確にでな
いため、正確なマッチング位置が求められない可能性が
ある。そのため、エッジ強度を算出してコントラストの
弱いエッジ（エッジ強度が所定値未満）に対しては、領
域間のエネルギー分布の面積差に応じて一致度を計算す
ることにした。そしてコントラストの強い（エッジ強度
が所定値以上）領域に対しては、通常のマッチング演
算、すなわち左右の領域内の対応する位置の画素の輝度
の差の絶対値を一つの領域について合計した値（後記数
２式）に応じて一致度を演算するようにした。このよう
に構成したことにより、背景の状態によってコントラス
トの弱い対象物であっても検出することが可能となり、
誤計測が減少する。

【０００８】また、請求項４は、請求項３におけるエッ
ジ領域抽出手段とエッジ方向・強度検出手段との具体的
な構成例を示すものであり、各領域内の画像を空間周波
数成分に分解して周波数成分の和と方向成分の和の二つ
のエネルギー分布を求め、それらの値を判定することに
よってエッジの有無、方向、および強度を求めるように
構成している。なお、請求項４において、「所定値より
高い周波数ｒ１におけるエネルギー分布の値Ｐ(ｒ
１）」とは、例えば後記図７におけるｒ１とＰ(ｒ１）
に相当する。

【０００９】

【発明の効果】本発明においては、検出物体や背景の色
や形に左右されず、かつ検出物体の個数に拘りなく、同
時に複数の物体を検出することが出来る、という効果が
ある。また、マッチング処理を行なう前に、対象となる
領域内のエッジ状態を判断することにより、視差の算出
が困難な領域における一致度の計算を省略することが可
能なため処理が高速になる。さらにマッチングが困難な
道路や空などの無地に近いテクスチャをマッチングから
除外することで、障害物検出の信頼性が向上する。

【００１０】また、請求項２においては、垂直や斜めエ
ッジと水平エッジとから成る車両のような物体を一つの
障害物としてまとめて認識することが出来る。

【００１１】また、請求項３においては、マッチング処
理の一致度の算出方法をエッジ強度によって場合分けす
ることにより、背景との濃度差の少ないエッジであって
も視差を求めることができる。これにより、コントラス
トの弱いエッジの視差の信頼性が向上し障害物検出の誤
検出を減少させることが出来る。

【００１２】また、請求項４においては、領域を空間周
波数に分解し、パワースペクトルを求めることでエッジ
についての複数の情報（有無、方向、強度）を一度に得
ることができるという利点がある。

【００１３】

【発明の実施の形態】図１は本発明の一実施の形態の構
成を示すブロック図である。図１において、１および２
は電子式のカメラであり、自車の前部に前方を向いて設
置されており、両カメラの光軸は相互に平行で、かつ撮
像面の水平軸が同じライン上に揃うように設置されてい
る。なお、車両の後部に後方を向けて設置し、車両後方
の障害物を検出するように構成することもできる。３、
４はそれぞれカメラ１、２から入力した画像信号を記憶
する画像メモリである。５は演算部であり、例えばＣＰ
Ｕ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュータで
構成される。６は自車の前方に存在する障害物等の検出
対象物であり、図１では先行車を例示している。

【００１４】図２は、図１の演算部５における演算内容
を示すフローチャートである。以下、図２に示すフロー
チャートの内容を簡単に説明し、続いて各ステップにつ
いて詳細に説明する。図２において、まずステップＳ１
００では、カメラ１と２によるステレオ画像、すなわち
カメラ１による左画像とカメラ２による右画像を入力す
る。

【００１５】次に、ステップＳ１０１では、上記のステ
レオ画像の何れか一方の画像を同じ大きさの複数の領域
（ウィンドウ）に分割する（領域定義）。

【００１６】次にステップＳ１０２〜Ｓ１０５では、上
記の定義した領域一つ一つに対して視差を計算すること
によって距離を求める。なお、視差とは、同じ対象物を
撮像した場合における左画像と右画像において写ってい
る画像位置の差を意味する。例えば前方に存在する先行
車の左エッジが左画像では画像中心から右方５ｍｍに写
っており、右画像では画像中心から右方１５ｍｍの位置
に写っていた場合には、視差は１０ｍｍということにな
る。

【００１７】まず、ステップＳ１０２では最初の処理対
象領域に対して領域内のエッジ有無判断処理を行なう。
すなわち後記（数４）式に基づいてテクスチャの密度を
示すＰ(ｒ）を計算し、密度の高い（エッジのコントラ
ストの高い）部分に相当するＰ(ｒ１）が所定のしきい
値未満（エッジなし）であればその位置の視差をゼロと
おいて次の領域の処理に移る。なお、テクスチャとは画
像に現われた形状や模様を意味する。

【００１８】ステップＳ１０２でＰ(ｒ１）がしきい値
以上（エッジあり）であれば、次のステップＳ１０３で
領域内のエッジ方向判断処理を行なう。すなわち後記
（数５）式に基づいてテクスチャの方向性を示すＰ
(θ）を計算し、水平方向に相当するＰ(９０°）が所定
のしきい値以上（水平エッジ）であれば、その位置の視
差を−１とおいて格納し、次の領域の処理に移る。

【００１９】ステップＳ１０３でしきい値未満（垂直エ
ッジや斜めエッジ）の場合には、ステップＳ１０４で一
致度計算方法を決定する。すなわち、ステップＳ１０２
のエッジ有無判断に用いたＰ(ｒ１）を再評価し、所定
のしきい値未満（コントラストが弱い領域）であれば、
一致度の算出にエネルギー分布面積の差分値を用いる。
しきい値以上であれば、後記（数２）式に示すような画
像間の差分値を一致度として用いる。

【００２０】次にステップＳ１０５では、マッチング処
理を行なって視差を求める。ここでは、探索範囲内の全
ての一致度を求め、一致度が最小となる位置を探し、そ
の位置（基準となった方の画像位置からの差）をこの領
域の視差とする。

【００２１】次にステップＳ１０６では、上記のような
操作を全ての領域に対して行なうことにより、距離画像
を作成する。これにより、各領域内の物体までの距離を
後記（数１）式によって算出することができる。

【００２２】次にステップＳ１０７では、上記の求めた
距離が同じ値となる連続する領域のかたまりをみつける
ことにより、障害物を検出する。

【００２３】次にステップＳ１０８では、検出した障害
物が車両で有るか否かの判断を行なう。これは障害物と
した領域のかたまりの中に長い水平エッジを含んでいる
場合に車両と判断するものである。

【００２４】以上のような処理を行なうことにより、前
方に存在する障害物（単数でも複数でも可）を検出し、
かつそれらの障害物までの距離を求めることができる。

【００２５】なお、図２に示した各処理のうち、ステッ
プＳ１０４を省略し、上記の二つの一致度算出方法のう
ち、予め定めた何れか一方の方法のみで、垂直および斜
めエッジの領域についての一致度を算出するように構成
することも出来る。

【００２６】以下、上記の各ステップの内容について各
々詳細に説明する。まず、図３はステレオ画像を用いて
三角測量の原理でカメラから障害物までの距離を求める
原理を説明する図である。図３において、Ｘ軸は地表面
に水平、Ｙ軸は地表面に垂直、Ｚ軸は左カメラの光軸
（車両前方正面方向）に一致しているものとする。ま
た、左カメラ（図１のカメラ１に相当）と右カメラ（図
１のカメラ２に相当）の光軸は相互に平行で、かつ撮像
面の水平軸が同じライン上に揃うように設置されてい
る。なお、両カメラのレンズは図示を省略しているが、
Ｘ軸から焦点距離ｆだけ前方のローカル座標系を示した
場所に存在する。そして実際の画像はＸ軸の位置に結像
されるが、図３ではレンズの位置に示している。

【００２７】上記の構成において、空間中の点Ｐ(ｘ，
ｙ，ｚ）を撮影して得た左画像において、点Ｐを投影し
たＰ_LのＸ_LＹ_Lローカル座標系における座標をＰ_L(ｘ_L，
ｙ_L）とし、同様に右画像における点Ｐを投影したとき
のローカル座標をＰ_R(ｘ_R，ｙ_R）とする。このとき、２
つのカメラの間隔をｈ、焦点距離をｆとすると、点Ｐ
(ｘ，ｙ，ｚ）のｘ座標、ｙ座標、ｚ座標位置は下記
（数１）式で求めることが出来る。

【００２８】

【００２９】これらの式から空間中の点を、左右画像に
投影したときの点を求めること、言い換えれば左画像と
右画像で対応する点を決定することによって、画像中の
各点の３次元座標を求めることが出来る。特に上記の光
学系では、左右のカメラをつなぐ線分が水平でＸ軸に平
行であり、ｙ_L＝ｙ_Rであるので、左右画像の存在する水
平線上の画素間の対応関係を決定すればよい。すなわ
ち、２つの画像間のマッチング位置ｘ_L，ｘ_R（左画像と
同じ画像が存在する右画像の位置）を求め、それによっ
て視差（ｘ_L−ｘ_R）を求めれば、（数１）式のｚによっ
てカメラから先行車まで距離を計測することが出来る。
本発明は原理的には上記の方法によって距離を計測する
ものであり、前記図２のフローチャートにおけるステッ
プＳ１００の画像入力は、上記のカメラ１と２で撮像し
た左画像と右画像を入力するものである。

【００３０】次に、ステップＳ１０１における領域定義
と、ステップＳ１０２、Ｓ１０３における領域内エッジ
の有無および方向のチェックと、ステップＳ１０５、Ｓ
１０６におけるマッチングと距離画像作成について説明
する。図４は入力した左右画像のうち何れか一方（例え
ば左画像）の画像を小領域に分割し、領域内に存在する
特徴的なエッジを利用して、２つの画像間でのマッチン
グ位置を求めた結果を示す図である。図４（ａ）は左画
像を複数の小領域に分割した状態を示す図であり、道路
前方に先行車が存在する画像を例示している。図４
（ｂ）は右画像を示す図であり、左画像の或る領域と一
致する部分（マッチング）を求め、両者の視差を求める
状態を示している。図４（ｃ）は視差の値が同じ領域の
かたまりを抜き出した図である。

【００３１】図４に示すように、各領域毎に視差（ｘ_L
−ｘ_R）を求めれば、前記（数１）式によりその領域内
に撮像されている物体までの距離を求めることが出来
る。この図４のように各領域毎にその内部の物体の距離
を求めた画像を“距離画像”と呼ぶ。さらに各領域毎に
求められる距離は領域内の物体の特徴的なエッジまでの
距離であるため、隣接する領域で同じような距離がある
場合には同一物体であると判断することが出来る。例え
ば図４（ｃ）で四角な枠で領域が示されている部分が視
差の値が同じ個所であり、この部分が先行車に相当す
る。

【００３２】図５は、画像上に存在する道路の領域（先
行車の下の部分）と、空の領域（画面の上部ほぼ三分の
一の範囲）と、先行車のエッジを含む領域とのそれぞれ
において、マッチングを行なって視差を求める状態を表
した図であり、（ａ）は左画像、（ｂ）は右画像、
（ｃ）はマッチング位置が存在する場合の視差と一致度
との関係を示すグラフ、（ｄ）はマッチング位置が存在
しない場合の視差と一致度との関係を示すグラフであ
る。

【００３３】前記図３に示したように、２つのカメラを
光軸が平行になるように設置した場合には、画像のマッ
チング位置は同一線上にのる。このことから、左画像に
一致する右画像の対象領域の探索は、同一線上において
視差方向に１画素づつずらしながら左右の領域間で下記
（数２）式に示すような一致度Ｈ（差分値）を求めるこ
とによって行なうことが出来る。なお、一致度Ｈは差分
値で表しているので、この値が小さいほど両者が一致し
ていることになる。

【００３４】Ｈ＝Σ_i｜Ｌ_i−Ｒ_i｜ …（数２）（数２）式において、ＬとＲはそれぞれ左画像と右画像
の輝度であり、一つの領域（ウィンドウ）内に含まれる
画素のうち、左画像と右画像とで対応する位置の画素毎
に両者の差の絶対値｜Ｌ_i−Ｒ_i｜を求め、その総和をＨ
とする。このＨの値は左画像と右画像とで対応する位置
の画素の輝度が近い値であるほど、すなわち一つの領域
内に含まれる画像が左画像と右画像とで近似しているほ
ど小さな値になる。したがって左画像の或る領域に対し
て右画像の領域を順次ずらしながら上記Ｈの値を求めて
ゆくと、同じ画像が存在する位置では、図５（ｃ）に示
すように、Ｈの値が最小値をとる。この位置がマッチン
グ位置であり、このときの左画像と右画像との位置の差
（走査の始点からマッチング位置までのズレ量）が視差
である。例えば図５（ｂ）の先行車の部分については図
５（ｃ）に示すように一致度の最小値（マッチング位
置）が存在し、視差を求めることが出来る。

【００３５】しかし、道路領域や空領域は同じ画像が連
続しているので、左画像と右画像の一致を探索する場合
に、探索範囲内に同様な領域が存在するので複数の位置
に最小値が存在し、マッチング位置を特定することが出
来ない。例えば図５（ａ）において空領域、道路領域と
記載した部分については、図５（ｂ）に「？」で示した
ように同じ画像の領域が連続して存在するので、図５
（ｄ）に示したように最小値の位置が連続して存在し、
マッチング位置を求めることが出来ない。

【００３６】なお、実際の画像では空領域や道路領域で
も多少の差異が存在するので、実際にはそれぞれの位置
で異なる差分値が求められ、最小値の位置も求められる
ことになるが、これらは物体の真の視差を算出したもの
ではないため、この値を物体の認識に用いると誤検出の
原因になる。つまり、このような領域は誤検出の原因の
可能性が高いためマッチング処理を行なうべきではな
い。

【００３７】以下、上記のような誤検知の要因を取り除
く方法を説明する（ステップＳ１０２、Ｓ１０３）。上
記のように、空領域や道路領域のような誤検出の原因と
なる領域は、エッジなどの特徴を含んでいないため、エ
ッジ特徴を含む領域のみを特定することにより誤検出の
原因となる領域を取り除くことができる。エッジの有
無、方向、および強度は、各領域内の画像を空間周波数
成分に分解して周波数成分の和と方向成分の和の二つの
エネルギー分布を求め、それらの値を判定することによ
って求めることが出来る。まず、エッジ特徴を含む領域
の特定は、小領域画像ｆ(ｘ,ｙ）に対して、下記（数
３）式に示すような２次元フーリエ変換Ｆ(ｕ,ｖ）のパ
ワースペクトル｜Ｆ(ｕ,ｖ)｜²を求めることによって行
なうことが出来る。

【００３８】Ｆ(ｕ,ｖ)＝∬ｆ(ｘ,ｙ)×ｅｘｐ{−２πｊ(ｕｘ＋ｖｙ)}ｄｙｄｘ…（数３）図６に示すように、｜Ｆ(ｕ,ｖ)｜²を極座標形式Ｆ(ｒ,
θ）とすると｜Ｆ(ｕ,ｖ)｜²のｒ方向成分は、テクスチ
ャの密度を表す。すなわちテクスチャが粗い場合には、
｜Ｆ(ｕ,ｖ)｜²は中心付近だけが大きくなり、逆に密度
が高い場合、つまりエッジ成分を含む場合はｒが大きい
部分でも大きくなる。したがって、周波数ｒの成分の和
である下記（数４）式のＰ(ｒ）を計算してエネルギー
分布を求め、周波数ｒが所定値より高い値ｒ１における
Ｐ(ｒ１）の値がしきい値以上か否かを判別することに
より領域内にエッジ成分が含まれるか否かを判断するこ
とが出来る。なお、上記所定値は、エッジの無い画像と
有る画像とを明瞭に識別出来るような周波数の値であ
る。

【００３９】

【００４０】図７は、上記の状態を示す図であり、実線
で示したエッジを含む画像のエネルギー分布は周波数が
高い値ｒ１において大きな値を示しているのに対し、破
線で示した道路領域や空領域のエネルギー分布は周波数
が低い値で大きな値を示し、周波数が高い値ｒ１では小
さな値になっている。したがって周波数ｒ１におけるエ
ネルギーの値を所定のしきい値と比較することにより、
エッジ画像か否かを判別することが出来る。なお、上記
ｒ１の値やしきい値は、実用上、道路や空の画像とエッ
ジを含む画像とを明瞭に区別出来るような値に設定すれ
ばよい。

【００４１】同様にθ方向の成分の和である下記（数
５）式のＰ(θ）はテクスチャの方向性を表す。

【００４２】

【００４３】θ方向に沿って線やエッジの多く存在する
テクスチャの場合にはフーリエ領域ではθ＋(π／
２）、すなはちθに直角の方向にエネルギーが集中して
現れる。このことからＰ(θ）を計算してエネルギー分
布を求め、図８に示すように水平方向、すなわちＰ(９
０°）の値がしきい値以上か否かによってエッジの方向
性を判断し、水平方向のエッジを持つ領域の位置を格納
する。そして水平エッジは２つのカメラを光軸が平行に
なるように設置した場合ではマッチング位置の特定が難
しいためマッチングは行わない。なお、上記しきい値
は、完全な水平エッジに限らず、実用上マッチング位置
の特定が難しくなる程度に水平なエッジを検出出来る値
に設定する。上記のごとき処理により、誤検知の可能性
の高い領域を削除することができ、同時にマッチング時
の計算量も削減することが出来る。

【００４４】次に、ステップＳ１０４における一致度計
算方法決定について説明する。図９は、或るコントラス
トの弱いエッジを持つ領域での同位置線上における走査
範囲内の全差分値の値を示した図であり、（ａ）は画
像、（ｂ）はズレ量と一致度の関係を示す。図９に示す
ように、各画素間の一致度の変化が少ない場合には、最
小値付近に同じような値が多く存在するため、画像のノ
イズ等でマッチング位置を間違える可能性が高い。その
ため、テクスチャ特徴を反映している前記（数４）式の
エネルギー分布の面積を計算し、左画像と右画像の領域
の面積差に応じて一致度を求める（面積差が小さいほど
両者は一致しており、一致度は小さくなる）。ただし、
この方法では計算量が通常の差分を求める方法よりも増
えるため、図１０に示すように前記（数４）式で求めた
エネルギー分布から周波数ｒｌにおけるエネルギーが所
定のしきい値以上か否かによってコントラストの強弱を
判定し、コントラストの弱い領域に対してのみこの方法
を実施する。これによりコントラストの弱いエッジに対
しても障害物検出の確実性を向上させることが出来る。
前記図２のステップＳ１０４は上記の処理を行なうステ
ップであり、コントラストの弱い領域に対しては上記の
エネルギー分布の面積を計算し、左画像と右画像の領域
の面積差を一致度とする方法を用い、それ以外の領域に
関しては前記（数２）式を用いた方法を適用する。な
お、上記コントラストの強弱を判定するのに用いるしき
い値は、実用上、一致度の計算を正確に行なうのに適す
るように強と弱が分けられる値に設定する。

【００４５】次に、ステップＳ１０７、ステップＳ１０
８における前方に存在する物体が障害物であるか否かの
判断と先行車の判断について説明する。図１１は複数の
領域における視差の値から垂直方向に距離のヒストグラ
ムを作成し、同じ距離のかたまりを見付けることによっ
て障害物を判断する方法を示す図であり、（ａ）は領域
分けした画像、（ｂ）は距離のヒストグラムを示す。図
１１（ｂ）において、「０」は「エッジなし」の領域、
「−１」は水平エッジが存在する領域、正の数字はヒス
トグラムの値を示す。

【００４６】検出した物体が複数の領域にまたがる場
合、隣接する領域では同じ距離が算出されるため、この
ことを利用して同じ距離となる連続する領域のかたまり
をみつける。図１１に示すように、まず、求めた距離か
ら垂直方向に距離のヒストグラムを作成する。或る程度
の大きさの物体が存在すれば、その位置でのヒストグラ
ムは大きい値をとるため、その値を当該物体の視差とす
る。隣接して同じような距離がある場合は、ひとかたま
りとして一つの障害物と見なす。例えば図１１（ｂ）で
は視差の値が「１２」のかたまりがある。

【００４７】また、距離が「−１」のかたまりは水平エ
ッジのかたまりなので、その両側に同じような距離のか
たまりが存在する場合にはそれら３つのかたまりを一つ
の障害物とみなす。例えば図１１（ｂ）では画面の中央
部に「−１」の大きなかたまりがあり、その左右両側に
視差が「１２」のかたまりがある。左側の視差「１２」
のかたまりは車両の左側の縦エッジに相当し、右側の視
差「１２」のかたまりは車両の右側の縦エッジに相当
し、中央部の「−１」のかたまりは車両の水平エッジに
相当する。したがってこれらの３個所のかたまりで一つ
の障害物と判断することが出来る。

【００４８】また、一般に車両は、上記のように左側の
縦エッジと長い水平エッジと右側の縦エッジとから成る
ので、そのような組み合せの場合には前方の障害物が車
両（この場合は先行車）であると判断することが出来
る。

【図面の簡単な説明】

【図１】本発明の一実施の形態の構成を示すブロック
図。

【図２】本発明にお行ける演算内容の一実施の形態を示
すフローチャート。

【図３】ステレオ画像を用いて三角測量の原理でカメラ
から障害物までの距離を求める原理を説明する図。

【図４】入力した左右画像の２つの画像間でのマッチン
グ位置を求めた結果を示す図であり、（ａ）は左画像を
複数の小領域に分割した状態を示す図、（ｂ）は右画像
を示す図、（ｃ）は視差の値が同じ領域のかたまりを抜
き出した図。

【図５】画像上に存在する道路の領域と、空の領域と、
先行車のエッジを含む領域とにおいて視差を求める状態
を表した図であり、（ａ）は左画像、（ｂ）は右画像、
（ｃ）はマッチング位置が存在する場合の視差と一致度
との関係を示すグラフ、（ｄ）はマッチング位置が存在
しない場合の視差と一致度との関係を示すグラフ。

【図６】２次元フーリエ変換Ｆ(ｕ,ｖ）のパワースペク
トル｜Ｆ(ｕ,ｖ)｜²を極座標形式Ｆ(ｒ,θ）で示した
図。

【図７】エッジを含む画像と空や道路などのエネルギー
分布を示す図。

【図８】水平エッジと垂直・斜めエッジとのエネルギー
分布の差異を示す図。

【図９】或るコントラストの弱いエッジを持つ領域での
同位置線上における走査範囲内の全差分値の値を示した
図。

【図１０】コントラストの強弱によるエネルギー分布の
差異を示す図。

【図１１】距離のヒストグラムを示す図であり、（ａ）
は領域分けした画像、（ｂ）は距離のヒストグラム。

【符号の説明】

１、２…電子式のカメラ３、４…画像メモリ５…演算部６…検出対象物（先行車）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 7/18 Ｂ６０Ｒ 21/00 ６２４Ｃ // Ｇ０５Ｄ 1/02 Ｇ０６Ｆ 15/62 ４１５Ｆターム(参考） 2F065 AA02 AA06 AA12 BB05 CC11 DD06 FF05 FF09 HH13 JJ03 JJ05 JJ26 QQ04 QQ13 QQ16 QQ21 QQ23 QQ32 QQ38 5B057 AA16 CG05 DA07 DA08 DB03 DC02 DC16 5C054 FC12 FC15 GA04 GB01 HA30 5H180 AA01 CC04 LL01 LL02 LL04 LL08 5H301 AA01 BB20 CC03 CC06 DD06 DD16 EE02 EE08 EE12 FF06 FF11 FF23 GG01 GG11 GG19 HH03 LL01 LL03 LL06 LL07 LL11 LL14 LL17

Claims

【特許請求の範囲】

【請求項１】車両に搭載された二つの電子式カメラから
なり、両カメラが共に車両前方または後方に向けて相互
に光軸が平行で、かつ撮像面の水平軸が同じライン上に
揃うように設置されたカメラと、一方のカメラの画像を所定の大きさの領域毎に分割する
領域分割手段と、前記各領域のうちからエッジを含んだ領域を抽出するエ
ッジ領域抽出手段と、前記の抽出した領域内のエッジの方向を求めるエッジ方
向検出手段と、前記の求められたエッジの方向が水平方向の領域を除い
て垂直および斜め方向の領域に対して、他方の画像にお
いてその領域と最も一致度が高い領域を検出し、最も一
致度が高い両領域の位置の差から各領域毎の視差を求め
る視差検出手段と、前記各領域毎の視差と前記二つのカメラの位置関係から
三角測量の原理に基づいて各領域内に存在する物体まで
の自車両からの距離を演算する距離演算手段と、隣接して同じような距離と算出された領域のかたまりを
一つの障害物と判定することで障害物を検出する障害物
検出手段と、を備えたことを特徴とする車載用障害物検出装置。
【請求項２】前記エッジ方向検出手段で求めたエッジの
方向が水平方向である領域を記憶する記憶手段を有し、
かつ、前記障害物検出手段は、前記エッジの方向が水平
方向である領域を挟んで前記同じ距離の領域のかたまり
がある場合はそれらを一つの障害物と判定することで障
害物を検出する、ことを特徴とする請求項１に記載の車
載用障害物検出装置。
【請求項３】前記エッジ領域抽出手段と、前記の抽出し
た領域内のエッジの方向およびその強度を求めるエッジ
方向・強度検出手段を有し、かつ、前記視差検出手段
は、垂直および斜め方向のエッジの強度が所定値未満の
領域については、各領域内の画像を空間周波数成分に分
解して周波数成分の和のエネルギー分布の面積を計算
し、左画像と右画像の領域の面積差に応じて一致度を演
算し、垂直および斜め方向のエッジの強度が所定値以上
の領域については、左右の領域内の対応する位置の画素
の輝度の差の絶対値を一つの領域について合計した値に
応じて一致度を演算することにより、他方の画像におい
てその領域と最も一致度が高い領域を検出し、最も一致
度が高い両領域の位置の差から各領域毎の視差を求める
ことを特徴とする請求項１または請求項２に記載の車両
用障害物検出装置。
【請求項４】前記エッジ領域抽出手段は、各領域画像ｆ(ｘ,ｙ）に対して、（数３）式に示すよう
な２次元フーリエ変換Ｆ(ｕ,ｖ）を求め、Ｆ(ｕ,ｖ)＝∬ｆ(ｘ,ｙ)×ｅｘｐ{−２πｊ(ｕｘ＋ｖｙ)}ｄｙｄｘ…（数３）さらに、そのパワースペクトル｜Ｆ(ｕ,ｖ)｜²を求め、
周波数ｒの成分の和である（数４）式のＰ(ｒ）を計算
してエネルギー分布を求め、所定値より高い周波数ｒ１
におけるエネルギー分布の値Ｐ(ｒ１）が所定のしきい
値以上の場合は領域内にエッジ成分が含まれ、しきい値
未満の場合はエッジ成分が含まれないと判断するもので
あり、前記エッジ方向・強度検出手段は、 θ方向の成分の和である下記（数５）式のＰ(θ）にお
いて、Ｐ(９０°）の値が所定のしきい値以上の場合は
エッジの方向が水平方向であり、未満の場合は垂直また
は斜め方向であると判断し、前記（数４）式で求めたエネルギー分布の値Ｐ(ｒ１）
から周波数ｒｌにおけるエネルギーが所定のしきい値以
上の場合は強度が大きく、未満の場合は強度が小さいと
判断するものである、ことを特徴とする請求項３に記載
の車載用障害物検出装置。