JP2000136905A

JP2000136905A - 物体端の位置計測装置および移動体の通行判断装置

Info

Publication number: JP2000136905A
Application number: JP10311903A
Authority: JP
Inventors: Tomoko Shimomura; 倫子下村
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-11-02
Filing date: 1998-11-02
Publication date: 2000-05-16
Anticipated expiration: 2018-11-02
Also published as: JP3596314B2; US6477260B1

Abstract

(57)【要約】【課題】白線や車両の位置に影響されずに障害物の位置
を検出し、その障害物の横端の位置を高精度に求められ
る位置計測装置を提供する。【解決手段】光軸が平行で、撮像面の水平軸が同じライ
ン上に揃うように設置された二つのカメラ１、２による
ステレオ画像処理であって、前方に物体２０があると同
じ方向に同じ視差を示すウィンドウが固まることを利用
し、ウィンドウ毎に求めた視差を視差と横位置からなる
表の対応する位置に値を加算し、表から値の高い位置を
探すことで物体の距離と先行車が撮像される画像上の範
囲を求め、その範囲内で水平エッジのヒストグラムから
エッジを検出することで先行車の上下端に挟まれる範囲
Ｂを求め、範囲Ｂ内において垂直エッジのヒストグラム
を求めることで垂直エッジを求め、それらのエッジの中
から視差×横位置の表で求めたおおよその横位置の範囲
付近にあるエッジを選択することで画像上の車両の横端
位置を求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ画像処
理を用いて、前方の障害物を検知し、その障害物まで距
離および横端の位置を周囲の環境に影響されることな
く、かつ、精度良く求める技術に関し、例えば自動車用
の障害物検知装置、速度制御装置、ブレーキ制御装置、
自動操舵装置等に応用される技術である。

【０００２】

【従来の技術】従来の障害物検出方法としては、例えば
特開平８−２７８１２６号公報に記載されたものがあ
る。上記従来技術は、検出対象を先行車としたものであ
り、先行車は路面上に存在すること、および車両は横エ
ッジが長いことが多いことから、検出対象物の探索範囲
を白線検出により求めた路面上に限定し、路面上の横エ
ッジを探索することで先行車の画像上の位置を求め、そ
の位置においてステレオマッチングを行なうことで先行
車までの距離を求めるものである。

【０００３】

【発明が解決しようとする課題】しかし、この方法にお
いては、先行車の検出範囲を、白線を基にして求めた自
車レーン上に限定しているため、白線のない道路や先行
車が近距離にあって白線が隠れてしまう場合には路面領
域を限定できないので、そのような場面では水平エッジ
の探索範囲の限定ができなくなり、先行車検出が不安定
になる、という問題がある。また、この方法では、路面
上の垂直エッジの探索を行ない、その垂直エッジを用い
てステレオマッチングにより先行車の距離と画像上の位
置検出を行っており、先行車の横端の位置は、路面上に
存在する垂直エッジ端から予想して判断しているため、
他の物体の端や背景との区別がつきにくいので、車両の
横方向の位置精度が悪いという問題がある。

【０００４】本発明は、上記のごとき従来技術の問題を
解決するためになされたものであり、白線や車両の位置
などの周囲環境に影響されることなく障害物の位置を検
出し、かつ、その障害物の横端の位置を高精度に求める
ことのできる物体端の位置計測装置を提供することを目
的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明においては、特許請求の範囲に記載するよう
に構成している。すなわち、請求項１においては、ステ
レオ画像全体を複数のに画像領域（以下、ウィンドウと
記す）に分割し、各ウィンドウ毎に視差を求める。そし
て前方に物体が存在すると、同じ視差のウィンドウが固
まることを利用し、視差×水平方向位置（横方向つまり
ｘ軸方向に定義したウィンドウ）の表（以下、視差×横
位置の表と呼ぶ）を用いて、各ウィンドウ毎に求めた視
差に基づいて、表の対応する位置に投票する。そして、
ｘ軸方向において同じ位置に並ぶウィンドウのうち同じ
視差となるウィンドウの数を求め、表中の値の高い位置
を物体の位置として検出する。また、その値が高くなる
表中の視差に応じて物体までの距離を求め、かつ、その
表の横方向の位置をもとに、画像上において物体が撮像
される横方向のおおよその位置を求める。さらに、その
おおよその範囲内において求めた各垂直方向位置（ｙ座
標）毎の水平微分値の絶対値のヒストグラムに基づいて
物体の上下端を求め、その上下端と判断されたエッジに
挟まれる範囲を画像上で物体が存在する縦方向の範囲Ｂ
として限定する。これらの方法で求めた上下方向の範囲
が物体（先行車）が撮像されている範囲である。また、
範囲Ｂ内において求めた各ｘ座標毎の垂直微分の絶対値
のヒストグラムから求めた垂直エッジの中から、視差×
横位置の表で求めた先行車位置付近のエッジを選択する
ことにより、先行車の横端エッジの位置を精度よく、か
つ周囲の環境に影響されることなく求めることが出来
る。最後に、画像上において今までに述べた方法で求め
たこの横端のエッジの座標位置を用いて、この値を実座
標系に変換することにより前方の物体の距離と横端の実
空間上の位置を求めることが出来る。

【０００６】また、本発明においては、検出領域を自車
レーンだけに限定していないため、検出物体の個数や検
出対象物の形や色にかかわらず、同じ処理で同時に複数
物体を検出することが可能になり、検出した個々の物体
の全てにおいて同様の方法により画像上での横端位置の
計測が可能となる。

【０００７】次に、請求項２に記載の発明においては、
請求項１における視差×横位置の表の投票結果より画像
上におけるおおよその横位置を特定する際、或る一定時
間内でヒストグラムをとり、その時間内において連続し
て物体と判断される範囲Ａと、或る回数以上物体と判断
される範囲Ａ’(Ａより広い範囲)とを決め、ほぼ確実に
物体と判断できるＡの範囲を、前方物体の縦方向の範囲
Ｂを求めるためのヒストグラムを求める範囲とするよう
に構成している。

【０００８】次に、請求項３に記載の発明においては、
範囲Ｂを求める際、請求項２で求めたＡの範囲内にある
横エッジを探索するように構成している。

【０００９】次に、請求項４に記載の発明においては、
範囲Ｂを求める際、請求項１で求めた物体までの距離
と、カメラの焦点距離と、カメラの高さと、前方物体の
一般的な寸法から予想される概略の高さ応じて予め設定
した値（例えば車両の一般的な高さに相当する値で、予
め設定した値）とに基づいて、物体の上下端が撮像され
うるおおよそのｙ座標位置ＨＵ，ＨＤを幾何学的に求
め、範囲Ａ内で求めた水平微分値のヒストグラムの高い
位置、または、請求項３の範囲Ａ内で求めた水平エッジ
位置のうち、ｙ＝ＨＵとｙ＝ＨＤ付近のエッジを選択す
るように構成している。

【００１０】次に、請求項５に記載の発明においては、
請求項１において画像上の物体の横端座標を求める際、
各ｘ座標毎に範囲Ｂ内の輝度の平均値を求め、時間的に
連続して毎回の処理で求めた輝度の平均値を格納し、或
る一定時間内における各ｘ座標毎の輝度の平均値の分散
が低い範囲を縦エッジの存在する範囲として求めるよう
に構成している。

【００１１】次に、請求項６に記載の発明においては、
請求項１において画像上の物体の横端座標を求める際、
範囲Ｂ内で求めた垂直エッジのヒストグラムやＨｏｕｇ
ｈ変換などで求められた垂直エッジの中から、請求項５
で求めた輝度の平均値の時間的分散の低い範囲の両端付
近にあり、かつ、請求項２で求めた範囲Ａ（物体が確実
に存在する範囲）と範囲Ａ’（物体が存在する可能性の
高い範囲）との間付近にあるエッジを選択するように構
成している。

【００１２】次に、請求項７に記載の発明は、請求項１
〜請求項６に記載の物体端の位置計測装置を用いた移動
体の通行判断装置であり、位置計測装置の計測結果に基
づいて、上記位置計測装置を搭載した移動体（例えば車
両）の前進判断と経路誘導との少なくとも一方を決定す
る手段を備えたものである。上記の構成により、移動体
の前進の判断や他物体に衝突することなく移動できる経
路を誘導することが出来る。

【００１３】

【発明の効果】請求項１では、水平エッジに比べて短
く、周囲の木や壁などの影響により検出が困難である車
両の横端位置を、高精度かつ背景の影響のないロバスト
な検出が可能になるという効果がある。さらに、複数の
先行車が検出された場合においても、それぞれに同様の
処理を施すことで、複数の障害物の横位置を求めること
ができるという利点がある。

【００１４】請求項２では、より正確かつ背景の影響を
受けずに水平エッジを検出できるようになるという効果
がある。さらに、先行車が至近距離にある場合、オクル
ージョンの影響によって視差×横位置の表における車両
の横端位置付近のウィンドウの視差が不安定になるた
め、水平エッジの検出範囲だけでなく、範囲Ｂ内におい
て検出した垂直エッジの中からの車両端エッジの選択を
誤判断する可能性があるが、請求項２の構成によれば、
確実に車両内である領域Ａと車両の候補領域Ａ’とを求
めているため、それら二つの範囲を考慮に入れることで
エッジの選択もより正確になる。

【００１５】請求項３では、請求項２で求めた確実に車
両の内部であると判断された領域Ａ内だけでの水平エッ
ジを検出する構成としたことにより、背景に存在するエ
ッジの影響が減少するので、その範囲内で単純なエッジ
検出法を用いることにより高速な方法にすることが可能
である。また、対象物が既知の場合（例えば車両）で
は、範囲Ａ内において対象物に応じたエッジ検出方法に
することにより、確実かつ高速な処理に応用できるとい
う利点もある。また、範囲の限定だけ確実性の増加を図
っているので、エッジ検出方法は様々な応用が可能であ
る。

【００１６】請求項４では、範囲Ａ内で求めたエッジか
ら車両の上下端を選択する際に、先行車の距離をもと
に、先行車の上下端が撮像されうるおおよその位置を求
め、その付近で検出されたエッジを選択する構成とした
ことにより、路面上の影や歩道橋など、範囲Ａ内にたま
たま撮像されてしまう先行車以外の水平エッジとの誤検
出を防ぐことができるという効果がある。さらに、エッ
ジの検出範囲を、予め求めておいた先行車の上下端が撮
像されうる付近だけに限定することで高速化も可能であ
る。

【００１７】請求項５では、範囲Ｂ内で車両の横端位置
を求める際、時間的に連続して範囲Ｂ内で各ｘ座標毎の
輝度の平均値を計算し、各ｘ座標毎で求めた輝度の平均
値の時間的な分散の小さい位置を車両が撮像されている
範囲として求めることにより、車高が低い場合や背景が
車両と同じ色であるなど、縦エッジの検出が困難である
ような状況下でも車両端の検出が可能になるという効果
がある。

【００１８】請求項６では、請求項４で求めたエッジの
うち、請求項５で求めた各ｘ座標毎の輝度の平均値の分
散の小さい範囲の両端付近にあり、かつ、視差から求め
た範囲Ａと範囲Ａ’の間付近にあるエッジを車両の横端
として選択することにより、背景や車両の形に左右され
ることなく、かつ、車両の距離とは異なる位置と誤判断
することがないため、より確実に車両端座標を求めるこ
とが可能となるという効果がある。

【００１９】請求項７では、請求項１〜請求項６に記載
の物体端の位置計測装置を利用することにより、前方障
害物の正確な横位置判断を行なうことが出来るので、例
えば、料金所前の合流による渋滞など、左右の斜め前に
車両などの障害物がある場合においても自車両の通行判
断が可能な装置を実現することが出来る。

【００２０】

【発明の実施の形態】（第１の実施の形態）図１は第１
の実施の形態の構成を示すブロック図である。この構成
は請求項１に相当する。図１において、１および２は電
子式のカメラであり、自車の前部に前方を向いて設置さ
れており、両カメラの光軸は相互に平行で、かつ撮像面
の水平軸が同じライン上に揃うように設置されている。
なお、車両の後部に後方を向けて設置し、車両後方の障
害物を検出するように構成することもできる。２０は自
車の前方に存在する障害物等の検出対象物であり、図１
では先行車を例示している。３０は演算部であり、例え
ばＣＰＵ、ＲＡＭ、ＲＯＭ等からなるマイクロコンピュ
ータで構成される。演算部３０において、３、４はそれ
ぞれカメラ１、２から入力した画像信号を記憶する画像
メモリである。また、５〜１１は演算部３０における演
算内容をブロックで示したものであり、５はウィンドウ
（画像領域）設定手段、６は視差算出手段、７は投票手
段、８は距離・水平範囲算出手段、９は垂直範囲算出手
段、１０はエッジ選択手段、１１は実位置算出手段であ
る。なお、演算部３０内のこれらの各手段については詳
細を後述する。

【００２１】図２は、ステレオ画像を用いて三角測量の
原理でカメラから検出対象までの距離を求める原理を説
明する図である。図２においては、カメラＡ（前記カメ
ラ１に相当）で撮像した画像を画像Ａ、カメラＢ（前記
カメラ２に相当）で撮像した画像を画像Ｂで示し、検出
対象の位置を点ｐ（ｘ，ｙ，ｚ）としている。

【００２２】図２から判るように、焦点距離ｆ、眼間距
離（両カメラ間の距離）Ｄが既知であり、光軸が互いに
平行な２台のカメラＡ、Ｂで撮像したステレオ画像にお
いて、２枚の画像間のマッチング位置ｘａ、ｘｂを求め
ることできれば、カメラから対象物ｐまでの距離Ｚは下
記（数１）式より求めることができる。

【００２３】Ｚ＝ｆ・Ｄ／（ｘａ−ｘｂ）＝ｆ・Ｄ／Ｓ …（数１）ただし、ｘａ−ｘｂ＝Ｓは視差であり、図２のように、
光軸が平行で、所定間隔を隔てて設置された二つのカメ
ラＡ、Ｂで一つの物体を撮像した場合に、それぞれのカ
メラに写った画像の位置の差、すなわち画像Ａにおける
位置ｘａと画像Ｂにおける位置ｘｂとの差である。な
お、この例では、眼間距離Ｄと距離Ｚの単位はｍ、焦点
距離ｆ、視差Ｓおよび位置ｘａ、ｘｂの単位は画素であ
る。例えばカメラＡ、ＢはＣＣＤを用いたものであり、
画素数を６４０×４８０とした場合、１画素の大きさは
１０μｍ程度である。

【００２４】上記（数１）式の焦点距離ｆは単位を画素
として計算しているが、一般に、焦点距離ｆは単位がｍ
ｍで表される場合が多い。それを単位が画素の値に換算
するには、例えば、図３に示すように、大きさの判って
いる幅Ｗ（ｍｍ）の対象物を距離ｚ（ｍｍ）離れたとこ
ろにおいて撮像し、そのときに撮像される画像上での対
象物の画素数ｗｘをエッジ検出などの画像処理によって
検出することにより、下記（数２）式で求めることがで
きる。

【００２５】ｆ＝ｚ・ｗｘ／Ｗ …（数２）ただし、ｗｘ、ｆの単位は画素、ｚ、Ｗの単位はｍｍまた、上記の視差Ｓを検出するには、一方の画像（例え
ば画像Ｂ）上において点ｐが撮像されている点（ｘｂ、
ｙｂ）に対応する他方の画像（例えば画像Ａ）上の点
（ｘａ、ｙａ）を検出する必要がある。その方法として
は、画像Ｂ上の点（ｘｂ、ｙｂ）を含む或る範囲の画像
（ウィンドウ）と最も類似した範囲を画像Ａ内から探す
ことで求めることができる。この類似度の算出には、画
像間の差分法や正規化相関法などがある。

【００２６】図４は、両画像の対応する位置毎の視差を
求めた結果を示す図であり、詳しくは、道路前方を撮像
した画像において、一方の画像（例えば画像Ｂ）をウィ
ンドウ毎に切り、その全てのウィンドウにおいて他方の
画像（例えば画像Ａ）からそのウィンドウと最も類似度
の高い画像の位置を求めることで、両画像における対応
する位置を検出し、それぞれの対応する位置から各ウィ
ンドウ毎の視差を求めた結果を表したものである。図４
において、（Ａ）は左画像（画像Ａに相当）、（Ｂ）は
右画像（画像Ｂに相当）、（Ｃ）は視差の表、（Ｄ）は
視差が「１５」のウィンドウ部分のみを抜き出した画像
を示す。また、図４（Ｂ）、（Ｃ）の(1)〜(20)は各ウ
ィンドウの水平方向（以下、横方向と記す）の位置を示
す。ただし、図においては(1)〜(20)を丸付き数字で表
している。また、一つのウィンドウは幅（ｘ方向の長
さ）がｘｗ、高さ（ｙ方向の長さ）がｙｗである。上記
のように、各ウィンドウ毎の視差が判れば、前記（数
１）式を用いることによって、該当するウィンドウに撮
像されている物体までの距離を求めることが出来る。

【００２７】以下、図４のようにウィンドウ毎にその内
部に撮像されている物体までの視差を求めた画像を“距
離画像”と呼ぶことにする。このウィンドウ毎に算出さ
れる視差は、当該ウィンドウの内部に撮像されていてエ
ッジ（画像が明から暗または暗から明に変化する点が連
続した部分で、画像の端などを示す線分に相当する）な
どの特徴的な部分を持つ物体までの距離に相当するか
ら、一つの対象物が複数ウィンドウに跨って撮像されて
いると、隣接するウィンドウで同じ視差が求められる。
例えば、道路前方を撮像した画像における距離画像の場
合、先行車と、先行車が存在する真下の路面とは同距離
なので、図４（Ｄ）に太線のウィンドウで示すように、
先行車の下部と同じｙ座標上にあるウィンドウは先行車
と同じ視差で算出される。例えば図４（Ｃ）の下から２
行目に「１５」が横方向に連続しているのが上記の部分
に相当する。なお、図４（Ｃ）において、中央部分に視
差「１５」が集合している部分が先行車に相当し、
(3)、(4)列に視差「１９」が集合している部分が「左方
の木」に相当し、(6)列に視差「５」が連続している部
分が「中央の木」に相当する。

【００２８】上記のように、距離画像は前方に高さのあ
る物体が存在すると、その物体が撮像されているｘ座標
位置のウィンドウでは同じ視差が検出される。一方、車
両横にある白線部分のように路面などの高さを持たない
位置では、同じｘ座標上で同じ視差が検出されるウィン
ドウは一つである。すなわち、前方に物体が存在する場
合、同一ｘ座標の方向でのウィンドウにおいて同じ視差
の個数を数えることにより、物体を検知することができ
る。この方法によれば、複数の物体も一つの物体も同じ
方法で検出することができ、検出対象や背景の色に左右
されずに物体を検知できるようになる。また、白線や停
止線などの路面表示は、同じ視差を示すウィンドウが同
じ方向に現れないため、路面表示と高さをもつ障害物と
を誤検出することがなくなるという利点もある。加え
て、距離画像だけを利用しているため、検出対象の色や
形状および背景色にかかわらず同様の処理で複数物体を
検出できる。

【００２９】これまでに説明した構成は、本出願人が既
に出願した特願平１０−１５４６２５号（未公開）と同
じである。本発明は、上記本出願人の先行発明をさらに
発展させたものであり、上記のようにして検出した前方
物体の横方向の位置をより正確に検出する技術である。

【００３０】図５は、距離画像上の或るウィンドウで求
めた視差とそのウィンドウの横方向の位置に基づいて、
対応する表中の位置に投票する様子を表した図であり、
（Ａ）は右画像、（Ｂ）は視差の表、（Ｃ）は投票用の
表を示す。なお、この場合における「投票」とは、或る
横方向位置とそれに対応する視差の値の位置に、＋１ず
つ加算することを意味する。例えば位置(8)の位置に視
差「１５」が１個存在する場合には、図５（Ｃ）の位置
(8)で視差「１５」の位置に「＋１」が加算される。図
５（Ｂ）の例では、位置(8)の位置に視差「１５」が５
個存在するから、最終的には位置(8)で視差「１５」の
位置に「５」が投票されることになる。

【００３１】また、図６は、上記の投票を全てのウィン
ドウにおいて行った結果を示す図であり、（Ａ）は右画
像、（Ｂ）は視差の表、（Ｃ）は投票用の表を示す。

【００３２】図５から判るように、図４で設定したウィ
ンドウにおいて、横方向が同じ位置のウィンドウは同じ
方向を撮像したものである。また、図６から判るよう
に、前方に物体が存在する場合、物体を検知している部
分では同じｘ座標上の縦方向のウィンドウは同じ視差が
求められ、路面上に物体が存在しない場合では同じｙ座
標上の横方向のウィンドウで同じ視差が求められる。こ
のような距離画像を用いて、図５に示した方法で表に投
票を行なうと、同じ方向（同じｘ座標上）に同じ視差が
並んでいると、その方向と視差への値への投票回数が多
くなるため、その位置の値が高くなる。したがって、図
６の表から値の高い位置を探すことで前方の物体の有無
を検知できる。図６に示す例では、(3)、(4)番目のウィ
ンドウで視差「１９」の部分（左方の木に相当）、(5)
番目のウィンドウで視差「５」の部分（中央の木に相
当）、(8)〜(16)番目のウィンドウで視差「１５」の部
分（先行車に相当）で投票が集中し、値が高くなってい
る。例えば視差「１５」の部分の値が高いということ
は、カメラが撮像した画角内に視差が約１５画素となる
物体が撮像されていることを示す。仮に前記図２に示し
た眼間距離Ｄを０.１ｍ、焦点距離ｆを１５００画素と
すると、カメラからその物体までの距離は、前記（数
１）式により、前方１０ｍ（＝１５００×０.１／１
５）であると求められる。また、視差が１５画素の位置
の投票結果をｘ軸方向で見ると、ｘ軸方向に定義した
(8)〜(16)番目のウィンドウ付近の値が高く、その左右
両側のウィンドウでは投票値が低くなっている。

【００３３】図７は、上記の内容を判りやすく示すた
め、図６の投票結果から視差１５の部分を抜き出して１
次元グラフとしてあらわした図である。図７において、
（ａ）は図６の（ｃ）に相当する表、（ｂ）は１次元グ
ラフ、（ｃ）は対応する画像である。以下、図７を用い
て、物体が撮像されるおおよその横方向（ｘ軸方向）の
範囲を求める方法を説明する。

【００３４】図７（ｂ）において、横軸はｘ方向に定義
したウィンドウの位置、縦軸はそのｘ座標位置で視差＝
１５となったウィンドウの個数である。この図では、
(8)〜(16)番目の値が高い。このことは(8)〜(16)番目の
間に高さをもつ物体が撮像されていることを示してい
る。また、グラフ内の横線は、物体が撮像されているか
否かを判断するために設けたしきい値である。しきい値
は、例えば次の方法で設定すればよい。すなわち、表の
値は画像上に撮像される物体の高さに比例し、画像上の
物体の高さは実際の物体の高さを一定とすると物体まで
の距離に反比例する。このことから、物体までの距離に
応じて画像上の高さを計算し、その高さに含まれるウィ
ンドウの個数を基準にヒストグラムのしきい値を設定す
ることができる。例えば、図７（ｂ）では、しきい値を
５.５に設定している。したがって、しきい値以上の値
を持つ位置は(8)〜(16)番目のウィンドウであるので、
前方の物体が撮像されるおおよその横方向の範囲は(8)
〜(16)番目のウィンドウの間であると求められる。

【００３５】図８は、図７で求めた範囲内で輝度の水平
微分の絶対値を求め、その水平微分値の絶対値をｘ座標
毎に加算して求めたヒストグラムを表した図である。図
８において、（ａ）は原画像、（ｂ）は水平微分した結
果を示す画像、（ｃ）はそのヒストグラムである。な
お、ｘｓとｘｅは車両が撮像されたおおよその両端のｘ
座標位置を示す。

【００３６】前方に検出した物体が車両の場合、図８に
示すように車両の上下端やバンパー、窓枠など水平エッ
ジを持つ位置のヒストグラムが高くなる。ここで、微分
の絶対値を加算するのは、車両の色によらないようにす
るためと、エッジが多少斜めで細い場合に互いに打ち消
し合うことでエッジのヒストグラムがエッジがあるにも
かかわらず低くなることを防ぐためである。また、ここ
では、水平微分値のヒストグラムをとる範囲を、物体を
検出したおおよその範囲内に横方向を限定したため、車
両以外のエッジ成分の値が加算されることが少ない。つ
まり、このヒストグラムの値が高い位置は車両のエッジ
とみなせるため、これらのエッジの中から或る程度上部
のものと或る程度下部にあるエッジとがそれぞれ車両の
上下端のエッジとなる。

【００３７】図９は、上記の結果に基づいて、前方車両
の上下端を求めた結果を示す図である。図９において、
小さな星印は水平エッジを検出した場所を示し、大きな
星印は車両の上下端のｙ座標位置（ｙｕ、ｙｄ）を示
す。また、範囲Ｂは車両の上下端に挟まれた範囲を示
す。

【００３８】図１０は、前述の方法で求めた車両の上下
端に挟まれる範囲Ｂ内の画像を垂直微分し、範囲Ｂ内の
垂直微分成分の各ｘ座標毎のヒストグラムをとった結果
を示す図である。図１０において、（ａ）はヒストグラ
ム、（ｂ）は垂直微分画像、（ｃ）は原画像である。

【００３９】この場合も範囲Ｂを求めたときと同様に、
車両が撮像されている部分だけの垂直微分成分のヒスト
グラムであるので、車両のエッジのある部分のヒストグ
ラムが高くなる。また、ここでは、図７の処理により画
像上において車両の両端が撮像されるおおよその横方向
の位置（図１０の(8)〜(16)の間）がわかっている。こ
れらのことから、距離画像から求めた車両左右両端付近
にあり、かつ、垂直エッジ成分を多く含むｘ座標位置を
車両の左右端として求めることができる。図１０（ａ）
に大きな星印で示した位置が上記の左右端に相当する。
この例では、図７で求めたおおよその位置ｘｅ、ｘｓよ
りも、やや外側に位置している。

【００４０】この方法では、エッジのヒストグラムをと
る範囲を車両以外を含まない範囲としたため、背景が変
化してもそれに影響されない。また、画素単位で横エッ
ジの位置を求めることができるため、距離画像からの横
位置探索方法よりも位置を高精度に求めることができ
る。

【００４１】図１１は、図２に示したカメラ設定を上方
から見た図である。この図をもとに、画像上において求
めた障害物の横位置と距離に基づいて、カメラに対する
実際の横位置を求める方法を説明する。

【００４２】座標系の原点を２台のカメラのレンズ中心
間を結ぶ線分の中点とし、右画像において求めた先行車
の左右端の座標をｘｌｒ，ｘｒｒ（単位は画素）、焦点
距離をｆ（画素）、視差から求めた先行車までの距離を
ｚ（ｍ）、眼間距離（カメラ間の距離）をＤ（ｍ）とす
ると、２台のカメラのレンズ中心間を結ぶ線分の中点か
ら見た、前方車両の左右端の距離ｘｌ，ｘｒ（ｍ）は、
下記（数３）式で求めることができる。

【００４３】

【００４４】なお、前記図１の演算部３０における各ブ
ロックは、それぞれこれまで説明した下記の部分に相当
する。すなわち、ウィンドウ設定手段５および視差算出
手段６は図４で説明した内容に、投票手段７は図５およ
び図６で説明した内容に、距離・水平範囲算出手段８は
図６〜図８で説明した内容に、垂直範囲算出手段９は図
９で説明した内容に、エッジ選択手段１０は図１０で説
明した内容に、実位置算出手段１１は図１１で説明した
内容に、それぞれ相当する。

【００４５】以上説明してきたように、第１の実施の形
態においては、前方に物体が存在すると同じ方向に同じ
視差を示すウィンドウが固まることを利用し、定義した
ウィンドウ毎に求めた視差をそのウィンドウの横方向の
位置をもとに視差と横位置からなる表中の対応する位置
に値を加算し、全ウィンドウにおいてその操作を行った
結果できた表中から値の高い位置を探すことで物体の距
離と画像上において先行車が撮像されるおおよその範囲
を求め、背景の影響を防ぐために、その範囲内において
水平エッジのヒストグラムによりエッジを検出すること
で先行車の上下端に挟まれる範囲Ｂを求め、範囲Ｂ内に
おいて垂直エッジのヒストグラムを求めることで垂直エ
ッジを求め、それらのエッジの中から視差×横位置の表
から求めたおおよその横位置の範囲付近にあるエッジを
選択することで画像上における車両の横端位置を求め、
その横端位置と視差から求めた車両までの距離をもと
に、前方の車両の端の横方向の位置を求める構成として
いる。そのため、通常、水平エッジに比べて短く、周囲
の木や壁などの影響により検出が困難である車両の横端
位置を、高精度かつ背景の影響を受けないロバストな検
出が可能になるという効果がある。さらに、この方法に
よれば、視差×横位置の表により、複数の先行車が検出
された場合においても、それぞれに同様の処理を施すこ
とで、複数の障害物の横位置を求めることができるとい
う利点がある。

【００４６】（第２の実施の形態）次に、第２の実施の
形態について説明する。この構成は請求項２に相当す
る。前記第１の実施の形態の処理では、図７の処理でお
およその車両の横位置をウィンドウ単位で求めている。
しかし、車両が至近距離にある場合は、図１２に示すよ
うに、車両端付近の画像はステレオ画像処理の問題点の
一つであるオクルージョン（前方の画像がそれより近く
にある画像で隠される範囲が左画像と右画像とで異なる
こと）により対応点が見つからない領域となるため、背
景によって結果が左右されることが多く、車両端付近で
求めた視差は誤計測である場合が多い。オクルージョン
により視差が不安定になる領域は、図１２の右画像にお
いて車両左端が撮像される位置ｘｌｒと左画像において
車両の左端が撮像される位置ｘｌｌとの間と、右画像に
おいて車両右端が撮像される位置ｘｒｒと左画像におい
て車両の右端が撮像される位置ｘｒｌとの間の領域であ
る。このことから、ｘｌｒとｘｌｌとの間、およびｘｒ
ｒとｘｒｌとの間を除いたｘｌｌ〜ｘｒｒの範囲を確実
に車両である範囲Ａとして、この後の処理である水平エ
ッジのヒストグラムをとる範囲とする。

【００４７】また、上記の不安定領域も含めたｘｌｒ〜
ｘｒｌの範囲をＡ’とし、車両の候補となる領域とす
る。この範囲Ａ’は、前記第１の実施の形態において、
最終的に画像上の左右の横端エッジを求める際のエッジ
の存在選択範囲の基準としても用いている。

【００４８】上記の範囲Ａを求めるには、画像が存在す
るおおよそのｘ軸方向の範囲を求める処理を時間的に連
続して行なったときに、連続して範囲内と判断された部
分を範囲Ａとする。また、範囲Ａ’を求めるには、連続
的ではないが所定の指定の回数以上範囲内であると判断
された部分を範囲Ａ’とする。

【００４９】上記のように第２の実施の形態において
は、第１の実施の形態で作成した表から先行車のおおよ
その横位置を求める際、時間的に連続して先行車の範囲
内と判断される領域Ａと連続的ではないが或る指定回数
以上先行車の範囲内と判断される領域Ａ’とを求め、先
行車の水平エッジを求める際に、領域Ａ内においてエツ
ジを求める構成としたため、より正確かつ背景の影響を
受けずに水平エッジを検出できるようになるという効果
がある。さらに、先行車が至近距離にある場合、オクル
ージョンの影響により、視差×横位置の表における車両
の横端位置付近のウィンドウの視差が不安定になるた
め、水平エッジの検出範囲だけでなく、範囲Ｂ内におい
て検出した垂直エッジの中からの車両端エッジの選択を
誤判断することもありうるが、この実施の形態では、確
実に車両内である領域と車両の候補領域とを求めている
ため、それら二つの範囲を考慮に入れることでエッジの
選択もより正確になる。

【００５０】（第３の実施の形態）次に、第３の実施の
形態について説明する。この構成は請求項３に相当す
る。第３の実施の形態においては、画像上の車両の上下
端を求める際、第２の実施の形態において確実に物体が
存在すると判断された範囲Ａ内においてＨｏｕｇｈ変換
などの一般的直線検出方法などを用いて水平直線を検出
するものである。

【００５１】上記のように車両の水平エッジを求める
際、確実に車両の内部であると判断された領域内だけで
の水平エッジを検出する構成としたことにより、背景に
存在するエッジの影響が減少するため、その範囲内で単
純なエッジ検出法を用いることが可能になるので、より
高速な方法にすることが出来る。また、対象物が既知な
場合では、範囲Ａ内において対象物に応じたエッジ検出
方法にすることで、確実かつ高速な処理に応用できると
いう利点もある。そして範囲の限定だけ確実性を向上さ
せることが出来るので、エッジ検出方法は様々な応用が
可能である。

【００５２】（第４の実施の形態）次に、第４の実施の
形態について説明する。この構成は請求項４に相当す
る。第４の実施の形態においては、画像上の車両の上下
端（上下方向の範囲Ｂ）を求める際、まず、車両の上下
端が撮像されうる位置を限定し、その位置付近で検出さ
れたエッジを選択するように構成している。位置の限定
は次の計算で行なうことが出来る。ここでは、距離画像
に基づいて車両までの距離が求められているので、図１
３に示すように、画像上に車両が撮像されるおおよその
縦方向（ｙ軸方向）の位置を求めることができる。

【００５３】図１３において、検出した車両までの距離
をｚ、その車両の高さをｈ（一般的な車両の寸法から予
想される概略の高さで、予め設定した値）、路面からの
カメラの高さをＨとすると、画像上に車両が撮像される
おおよその範囲ＨＵ〜ＨＤは下記（数４）式で求めるこ
とができる。

【００５４】ＨＵ＝ｆ×（ｈ−Ｈ）／ｚ，ＨＤ＝−ｆ×Ｈ／ｚ …（数４）車両の上下端のｙ座標位置は、範囲Ａ内でとった水平エ
ッジのヒストグラムや範囲Ａ内でＨｏｕｇｈ変換などで
検出した水平エッジのうち、ｙ１（ＨＵに相当）とｙ２
（ＨＤに相当）付近にあるものを選択する。

【００５５】上記のように、第４の実施の形態において
は、範囲Ａ内で求めたエッジから車両の上下端を選択す
る際に、先行車の距離をもとに、先行車の上下端が撮像
されうるおおよその位置を求め、その付近で検出された
エッジを選択する構成としたことにより、路面上の影や
歩道橋など、範囲Ａ内にたまたま撮像されてしまう先行
車以外の水平エッジとの誤検出を防ぐことができるとい
う効果がある。さらに、エッジの検出範囲を、あらかじ
め求めておいた先行車の上下端が撮像されうる付近だけ
に限定することで高速化も可能である。

【００５６】（第５の実施の形態）次に、第５の実施の
形態について説明する。この構成は請求項５に相当す
る。第５の実施の形態おいては、画像上の車両の左右端
を求める際、車両の内部の輝度は時間的に不変であるが
車両周囲の背景は変化することを利用し、時間的に連続
して各ｘ座標毎における範囲Ｂ内の輝度の平均値を求
め、その各ｘ座標毎に求めた毎回の平均値を格納し、所
定時間内における各ｘ座標毎の輝度の平均値の分散を求
め、分散が低い範囲を車両の内部と判断することで、車
両の横端位置を求める。

【００５７】上記のように、範囲Ｂ内で車両の横端位置
を求める際、時間的に連続して範囲Ｂ内で各ｘ座標毎の
輝度の平均値を計算し、各ｘ座標毎に求めた輝度の平均
値の時間的な分散の小さい位置を車両が撮像されている
範囲として求めるように構成したことにより、車高が低
い、背景が車両と同じ色であるなど、縦エッジの検出が
困難であるような状況化でも車両端の検出が可能になる
という効果がある。

【００５８】（第６の実施の形態）次に、第６の実施の
形態について説明する。この構成は請求項６に相当す
る。第６の実施の形態においては、画像上の車両の左右
端を求める際、第５の実施の形態の方法で求めた車両の
内部に相当するｘ軸方向の範囲と、第２の実施の形態で
求めた確実領域Ａと候補領域Ａ’の間付近にあり、範囲
Ｂ内で垂直エッジのヒストグラムやＨｏｕｇｈ変換など
で求められた垂直エッジの位置を求め、検出されたエッ
ジのうち、時間的に連続して求めた輝度分散の小さい範
囲の両端付近にあるエッジを選択するように構成してい
る。

【００５９】上記のように、求めたエッジのうち、各ｘ
座標毎の輝度の平均値の分散の小さい範囲の両端付近
で、かつ、視差から求めた範囲Ａと範囲Ａ’の間付近に
あるエッジを車両の横端として選択することにより、背
景や車両の形に左右されることなく、かつ、車両の距離
とは異なる位置と誤判断することがないため、より確実
に車両横端の座標を求めることが可能になる、という効
果がある。

【００６０】（第７の実施の形態）次に、第７の実施の
形態について説明する。この構成は請求項７に相当す
る。第７の実施の形態においては、第１〜第６の実施の
形態で説明した物体端の位置計測装置と、この位置計測
装置の計測結果に基づいて、位置計測装置を搭載した車
両の前進判断と経路誘導との少なくとも一方を決定する
手段と、を備えるように構成している。すなわち、上記
物体端の位置計測装置を用いて、自車両前方に存在する
物体（例えば先行車）までの距離とその横端位置を計測
し、その結果に基づいて、先行車との衝突の可能性と安
全な経路を判断し、自車両の前進の可否、および経路を
決定するものである。

【００６１】上記の車両の前進判断と経路誘導との少な
くとも一方を決定する手段としては、例えば、先行車の
横の空間の幅と自車両の幅とを比較することにより、通
り抜けが可能か否かを判断し、可能な場合には自車両の
進行を“可”とし、かつ先行車の横端位置から判断し
て、自車両が安全に通過出来る進路を経路として決定す
る装置を用いることが出来る。その決定結果は、例えば
液晶表示器のような車載の表示器に表示したり、あるい
は自動操舵装置に経路情報として与える。また、自車両
の進行が“不可”の場合には、ブレーキ制御装置等を制
御して、減速または停車等の措置を行なうことが出来
る。

【００６２】通常、車両は水平エッジに比べて垂直エッ
ジが短いため、画像全体で検出した垂直エッジから車両
の横端の位置を求めることは困難である。例えば、エッ
ジの検出だけの判断では、車両の縦エッジと白線や路肩
などとの区別が困難である。一方、距離画像からの横位
置検出では、横位置をウィンドウ単位でしか求めること
ができないため精度が粗い。さらに、仮に１画素単位で
視差を算出し、画素単位で横位置を求める場合でも、前
記第２の実施の形態で説明したように、オクルージョン
によって視差が不安定な領域が横位置となるため、エッ
ジ検出と同様に視差×横位置への投票結果からの判断だ
けでは車両の横位置を精度よく求めることはできない。
特に、車両の横方向の位置を精度良く必要とする状況
は、先行車が比較的至近距離にある場合が多い。例え
ば、駐車車両のある路地でのすり抜け判断や、渋滞時に
おける斜め前方車両の幅寄せ時のブレーキ判断などであ
る。しかし、従来の方法では、エッジ検出はもちろん、
ウィンドウ毎に求めた視差ｘの表からの横位置範囲検出
でも、物体が近いがゆえに起こるオクルージョンの問題
により横端位置の精度良い検出は困難であった。

【００６３】それに対して本発明の物体端の計測装置に
よれば、車両端の検出を距離画像から求められる位置と
するだけにとどめず、まず、その距離画像から求められ
るおおよその車両撮像範囲に限定した上で比較的検出し
やすい水平エッジを検出し、長さが短いことが多いため
通常検出が困難である車両左右端の垂直エッジを、車両
の上下端からなる水平エッジに挟まれた範囲内だけで検
出し、車両の横端も含む数本の垂直エッジを検出し、そ
れらのエッジの中から、距離画像から求めたおおよその
範囲の両端付近にあるものを選択することにより、単な
るエッジ検出や距離画像からの検出では困難な車両の横
端エッジの正確な検出を可能とした。

【００６４】また、本発明においては、エッジ検出範囲
やエッジの選択範囲をステレオ画像処理で求めた同じ距
離として求められるおおよその範囲としたため、背景や
路面状態、路面への影、白線の有無など、車両以外の周
囲の状況に依らない正確な計測処理が可能となる。

【００６５】加えて、テクスチャ（本来存在する物体表
面の模様：例えば木目などで、ノイズとは異なる）やエ
ッジが少なく、時間的に連続して撮像した場合でも背景
に比べて輝度の変化が非常に少ないという車両ボディ面
の画像の特徴を利用し、距離画像と水平エッジの処理に
よって車両を挟む範囲に上下方向を限定した後、その範
囲内において各ｘ座標毎の輝度の平均値を時間的に連続
してとり、その時間的分散の小さい範囲を車両内と判断
することもできる。さらに、車両の存在する範囲内にお
いて検出したエッジの中から先行車の横端に位置するも
のを選択する際に、距離画像から求めたおおよその位置
と、この各ｘ座標毎に求めた輝度の平均の時間的分散が
小さい範囲も考慮にいれることでより、確実に横端の位
置を求めることが可能となる。

【００６６】以下、これまで説明した実施の形態におけ
る具体的な実施例について処理のフローチャートを用い
て説明する。図１４は、本発明の処理の第１の実施例を
示すフローチャートである。ここでは、前記図２に示し
たようにカメラを路面に対して横に平行に並べ、２台の
カメラのｙ軸が同一ライン上にのるように配置したステ
レオカメラを用いている。

【００６７】図１４において、まず、ステップＳ１００
では、視差×横位置の表の初期化とヒストグラムの初期
化を行なう。次に、ステップＳ１０１では、ステレオ画
像の画像Ａと画像Ｂを入力する。次に、ステップＳ１０
２では、ステレオ画像のどちらか片方の画像上にウィン
ドウを定義する。ここでは、図４に示したように、縦に
１０個横に２０個の合計１０×２０個のウィンドウを定
義する。

【００６８】次に、ステップＳ１０３では、定義したウ
ィンドウの全てにおいて視差を検出し、図５で説明した
ように、視差×横位置の表への投票を行なう。ここで、
距離画像作成のための画像のマッチングは、正規化相関
法や差分法などを用いればよい。次に、ステップＳ１０
４では、上記の表への投票結果を用いて表中の値の高い
位置をもとに、図６で説明したように、先行車の有無
と、その視差から、先行車までの距離の計算を行なう。
ここで、先行車がなければステップＳ１０１へ戻って次
の画像入力へ移り、先行車があれば、ステップＳ１０５
へ進む。

【００６９】次に、ステップＳ１０５では、横位置の判
断を行なう。横方向の範囲の判断は図７で説明した方法
でよい。また、横位置の判断において第２の実施の形態
で説明した方法を用いる場合は、各処理毎に求めた横位
置を毎回更新しながら過去数回分格納し、この過去数回
において時間的に連続して先行車範囲内と判断される範
囲Ａと、連続的ではないが、格納した個数の半分程度に
設定した所定回数以上で先行車範囲内と判断される範囲
Ａ’を求める。

【００７０】次に、ステップＳ１０６では、範囲Ａを求
めた後に、この範囲内にある水平エッジを検出し、車両
の上下端を求める。この処理では図８に示したように、
範囲Ａ内の各画素において輝度の水平微分値の絶対値を
求め、各ｙ座標毎の水平微分値のヒストグラムをとれば
よい。

【００７１】ここで、ｙ＝ｙｐの水平微分値のヒストグ
ラムをＨｈ(ｙｐ）とすると、その値は、点（ｘ，ｙ
ｐ）の水平微分の絶対値を｜ｄＩｙ(ｘ，ｙｐ)｜、範囲
Ａの始点をｘｓ、終点をｘｅとすると下記（数５）式で
求められる。

【００７２】

【００７３】この水平微分値の絶対値は、例えば図１５
（ａ）に示したようなソーベルオペレータとのコンボリ
ューション結果の絶対値として求めればよい。また、水
平エッジのヒストグラムは非常に有効な検出方法と考え
られるが、この範囲Ａ内には、図８からも判るように先
行車以外の物体はほとんど無いため、第３の実施の形態
で説明したように、範囲Ａ内におけるＨｏｕｇｈ変換な
ど一般的な直線検出方法などにより水平方向の直線を用
いてもよい。

【００７４】上記の方法で検出された数本の水平直線か
ら、次の処理である車両の横端エッジの検出範囲を限定
するために、車両の上下端の直線を選択する。通常、車
両の上下は空と路面の領域となり、車両は長い水平エッ
ジを持つことが多いため、検出された水平エッジのう
ち、この後の処理であるヒストグラムをとるために十分
な大きさをもつ領域を作る２本のエッジを適当に選択し
てもよい。しかし、前方の歩道橋や路面の影などの誤検
出を防ぎ、より確実に求めるためには、第４の実施の形
態で説明した方法を用いる方が確実である。この場合、
図１３で示したように、（数５）式によって車両が発見
された距離をもとに車両が撮像されうるｙ座標値ＨＵ，
ＨＤを求めておき、そのＨＵ，ＨＤ付近で検出されたエ
ッジを選択すればよい。このような方法で求めた車両の
上端エッジｙ＝ｙｕと下端エッジｙ＝ｙａに挟まれる範
囲を範囲Ｂとする。

【００７５】次に、ステップＳ１０７では、範囲Ｂ内に
含まれる縦エッジを検出することで画像上における先行
車の左右横端位置を求める。この処理は、図１０に示し
たように、範囲Ｂ内で輝度の垂直微分値の絶対値を求
め、各ｙ座標毎に範囲Ｂ内の微分値のヒストグラムをと
る。ここで、ｙ＝ｙｐの垂直微分値のヒストグラムをＨ
ｖ(ｘｐ）とすると、その値は、点（ｘｐ，ｙ）の水平
微分の絶対値を｜ｄＩｘ(ｘｐ，ｙ)｜、範囲Ｂの始点を
ｙｕ、終点をｙｄとすると下記（数６）式で求められ
る。

【００７６】

【００７７】この垂直微分値の絶対値は、例えば図１５
（ｂ）に示したソーベルオペレータとのコンボリューシ
ョン結果の絶対値として求められる。また、エッジの検
出範囲を範囲Ｂ内とすると、その範囲内には確実に先行
車のエッジが含まれ、同時に先行車以外のエッジが減る
ため、第５の実施の形態で説明したように、範囲Ｂ内に
おけるＨｏｕｇｈ変換など一般的な直線検出方法などに
より垂直方向の直線を用いてもよい。

【００７８】これらの方法で検出された数本の垂直直線
から車両の左右端の直線を選択する。車両のおおよその
横位置は、視差×横位置の表を用いた検出結果から求め
られているので、図１６に示すように、範囲Ｂ内で検出
したエッジの中から視差×横位置の表から検出した範囲
の両端付近にあるものを選択すればよい。

【００７９】また、車両が至近距離にあるときは、図１
２で説明したオクルージョンにより視差をもとに求めた
車両の範囲が不安定であるため、第６の実施の形態で説
明したように、確実に先行車と判断される範囲Ａと先行
車である可能性のある範囲と判断された範囲Ａ’の間に
挟まれる範囲付近をもとに、右画像の場合は図１２のよ
うにｘ＝ｘｌｒとｘ＝ｘｒｒ付近、左画像の場合は、ｘ
＝ｘｌｌとｘ＝ｘｒｌ付近にあるエッジを選択してもよ
い。この状態を図１７に示す。

【００８０】次に、ステップＳ１０８では、ステップＳ
１０７の処理で求めた画像上の車両の横端位置をもと
に、実座標系におけるカメラに対する横位置を求める。
具体的には、図１１の関係により、右画像または左画像
で検出した横端の画像上の座標を用いて、（数３）式に
より実座標系における前方の車両端の位置を求めること
ができる。

【００８１】次に、図１８は、本発明の処理の第２の実
施例を示すフローチャートである。この処理において、
Ｓ１００〜Ｓ１０６（初期設定から範囲Ｂを求める）ま
では前記図１４と同じ処理であり、ステップＳ１０９と
Ｓ１１０とを追加したものである。

【００８２】先行車は水平エッジに比べて垂直エッジは
短いことが多い。そのため、周囲の樹木や建物など背景
に縦エッジを多く含む場面においては、範囲Ｂ内でのエ
ッジ検出だけでは検出位置が安定しない場合もある。第
５の実施の形態はそのような場面に対処するための方法
であり、本フローチャートのステップＳ１０９とＳ１１
０とがその処理に相当する。

【００８３】通常１台の車両に追従している場合、背景
の画像は変化するが、車両を撮像している部分の輝度は
変化しない。特に、車両のボディはテクスチャがなく一
様であることが多いため、時間的に連続して撮像した画
像間において、輝度の変化が非常に少ない。車両部分の
輝度分布の変化が背景に比べて少ないことは、走行中の
ような背景が変化する場合だけでなく、渋滞のように車
両がほぼ停止しているときにも同じことが言える。すな
わち、背景には、木などのように風で動くものや、周囲
の歩行者など車の走行状態に関係なく動くものがたくさ
んあり、さらに、車両のボディのように人工的に一様に
塗装された面は光りの当り具合の微妙な変化に関係なく
一様な輝度として撮像されるが、路面や壁などテクスチ
ャをもつ部分は、光の微妙な変化や撮像している微妙な
角度の変化などにより、画像上の輝度が変化するためで
ある。

【００８４】図１９（ａ）、（ｂ）、（ｃ）は、時刻
ｔ、ｔ＋１、・・・、ｔ＋ｎの連続した処理毎におい
て、範囲Ｂ内の各ｘ座標毎の輝度の平均値を求めた状態
を示す図であり、図１９（ｄ）に示したグラフは、ｎ回
の時間的に連続した処理のそれぞれにおいて、各ｘ座標
毎に求めた範囲Ｂ内の輝度の平均値の分散を表したもの
である。

【００８５】ここで、時刻ｔに撮像された画像の点
（ｘ，ｙ）の輝度をＩｔ(ｘ，ｙ）、範囲Ｂの上の座標
をｙｕ、下の座標をｙｄとすると、ｘ＝ｘｐにおける輝
度の平均値Ｉt(ｘｐ)は下記（数７）式で求められる。

【００８６】

【００８７】また、時刻ｔ−ｎ〜時刻ｔの間に計算した
輝度の平均値の分散Ｖt(ｘｐ)は、下記（数８）式で求
められる。

【００８８】ここで、輝度の平均値を計算する際に用い
る値は、車両の上下端に挟まれる範囲に限定したため、
車両が撮像されているｘ座標上では車両上の輝度だけが
加算される。車両の特にボディにはテクスチャやエッジ
がないため、多少光りの加減や車両の位置が変化しても
輝度の変化が小さい。そのため時間的に連続して車両上
の輝度の平均値（数８）を求めた場合、その値はほとん
ど変化しない。一方、車両以外の撮像される部分では、
カメラ搭載車両が動いているときはもちろん、車両が停
止している状態であっても、背景の草木や周囲の歩行
者、路面の細かいテクスチャヘの光の当たり具合が変化
するため、時間的に輝度の平均値が変化する。このこと
から、図１９に示したように、分散の小さい範囲は車両
が撮像されている範囲とみなすことができる。図１８の
ステップＳ１０９ではこの分散の小さい範囲を求めてい
る。また、ここでは、輝度の合計ではなく輝度の平均値
を求めている。すなわち、範囲Ｂの幅（ｙｕ〜ｙｄの間
の長さ）は車間距離の変化により画像上の大きさが変化
してもその大きさに応じた範囲が求められるため、車両
の画像上の大きさが変化する場合にも同じことが適用で
きる。

【００８９】次に、ステップＳ１１０では、この輝度の
平均値の分散の結果と、ステップＳ１０７で行ったエッ
ジ検出結果を用いて、図２０に示すように、（数８）式
で求めた分散の小さい範囲の両端付近にあり、かつ、ス
テップＳ１０４の処理で求めた範囲Ａと範囲Ａ’の間付
近にあるエッジを車両の横端位置として選択する。この
ような処理を行なうことにより、周囲環境に影響されな
い、よりロバスト性の高い横位置検出が可能となる。

【００９０】次に、図２１は、第７の実施の形態におけ
る本発明の適用を説明するための図である。図２１
（ａ）は、斜め前に車両がある場合や料金所前の渋滞の
ように、車両が白線に沿わず入り乱れている場合に、自
車が安全に進行出来るか否かを判断する状態を示す。本
発明の物体端の位置計測装置によれば、前方の障害物
（先行車）の横端位置を正確に検出することが出来るの
で、自車の横幅と比較することによって安全に前進出来
るか否かを判断することが出来る。その結果は車載の液
晶表示器等に表示し、運転者に提示することが出来る。
また、上記の判断結果を用いて、例えば右端が接触する
おそれのある進路の場合は、それを表示して左側へ寄る
ように指示する等、進行経路を表示することも可能であ
る。また、自動的にブレーキ装置を作動させて、減速や
停止の制御に利用することも可能である。

【００９１】また、図２１（ｂ）は、駐車車両のある路
地の状況を示す。このような場合でも斜め前方の車両の
横端を判断できるため、自車が車両に衝突することなく
前進できるか否かの判断が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図。

【図２】ステレオ画像を用いて三角測量の原理でカメラ
から検出対象までの距離を求める原理を説明する図。

【図３】ステレオ画像処理による距離算出方法を説明す
る図。

【図４】二つの画像の対応する位置毎の視差を求めた結
果を示す図。

【図５】距離画像上の或るウィンドウで求めた視差とそ
のウィンドウの横方向の位置に基づいて、対応する表中
の位置に投票する様子を表した図。

【図６】図５の投票を全てのウィンドウにおいて行った
結果を示す図。

【図７】図６の投票結果から視差が１５画素の部分を抜
き出して１次元グラフとして表した図。

【図８】図７で求めた範囲内で輝度の水平微分の絶対値
を求め、その水平微分値の絶対値をｘ座標毎に加算して
求めたヒストグラムを表した図。

【図９】図８の結果に基づいて、前方車両の上下端を求
めた結果を示す図。

【図１０】図９の方法で求めた車両の上下端に挟まれる
範囲Ｂ内の画像を垂直微分し、範囲Ｂ内の垂直微分成分
の各ｘ座標毎のヒストグラムをとった結果を示す図。

【図１１】図２に示したカメラ設定を上方から見た図。

【図１２】オクルージョンによって不安定になる理由を
説明するための図。

【図１３】画像上における前方車両のおおよその撮像位
置の求め方を説明するための図。

【図１４】本発明の処理の第１の実施例を示すフローチ
ャート。

【図１５】水平・垂直微分画像算出用のソーベルオペレ
ータの一例を示す図。

【図１６】垂直エッジの選択方法を示す図。

【図１７】垂直エッジの選択方法の他の例を示す図。

【図１８】本発明の処理の第２の実施例を示すフローチ
ャート。

【図１９】時間的分散と範囲Ａと範囲Ａ’を考慮した垂
直エッジの選択方法を説明するための図。

【図２０】垂直エッジの選択方法の他の例を説明するた
めの図。

【図２１】本発明の移動体の通行判断装置における適用
状況を説明するための図。

【符号の説明】

１、２…電子式のカメラ３、４…画像
メモリ５…ウィンドウ設定手段６…視差算出
手段７…投票手段８…距離・水
平範囲算出手段９…垂直範囲算出手段１０…エッジ選
択手段１１…実位置算出手段３０…演算部２０…自車の前方に存在する検出対象物（先行車両）

フロントページの続きＦターム(参考） 2F065 AA02 AA12 AA22 AA24 BB05 CC11 DD03 FF05 JJ03 JJ16 JJ26 QQ08 QQ13 QQ25 QQ26 QQ27 QQ36 QQ41 QQ43 RR09 5B057 AA16 BA02 BA19 CA08 CB08 CC01 CC03 CE20 DA08 DA20 DB09 DC16 DC19 DC31 DC32 5H180 AA01 CC04 CC24 LL01 LL04 LL08 LL09

Claims

【特許請求の範囲】

【請求項１】車両に搭載された二つの電子式カメラから
なり、両カメラが共に車両前方または後方に向けて相互
に光軸が平行で、かつ撮像面の水平軸が同じライン上に
揃うように設置されたカメラと、一方のカメラの画像を所定の大きさの画像領域毎に分割
する画像領域設定手段と、上記の各画像領域毎に、当該画像領域内の画像と他方の
カメラの画像との類似度を算出し、当該画像領域と他方
のカメラで最も類似度の高かった画像位置との位置の差
を検出することにより、各画像領域毎の視差を求める視
差算出手段と、上記各画像領域の水平方向の位置と視差の値とを横軸と
縦軸とに対応させた表を有し、上記各画像領域毎の水平
方向の位置と当該画像領域における視差の値とに対応し
た上記表の該当する位置に、所定値を加算する投票手段
と、上記表中で高い値の存在する位置から、その位置の視差
に基づいて前方の物体までの距離を求め、かつ、上記高
い値の位置の水平方向位置に基づいて、画像上において
その物体が撮像されるおおよその水平方向の範囲を求め
る距離・水平範囲算出手段と、上記距離・水平範囲算出手段で求めた範囲内において、
各垂直座標毎に水平エッジのヒストグラムを求め、その
値が高い位置に挟まれる垂直方向の範囲を求める垂直範
囲検出手段と、上記垂直範囲算出手段で求めた範囲内において、各水平
座標毎に垂直エッジ成分のヒストグラムを求め、該ヒス
トグラムから求められた原画像の縦エッジの中から上記
距離・水平範囲算出手段で求めた範囲の両端付近のエッ
ジを選択するエッジ選択手段と、上記距離・水平範囲算出手段で求めた物体までの距離と
上記エッジ選択手段で求めた縦エッジ座標とに基づい
て、上記画像上の縦エッジに相当する前方物体の横端
の、上記カメラに対する実空間上の位置を求める実位置
算出手段と、を有することを特徴とする物体端の位置計測装置。
【請求項２】上記距離・水平範囲算出手段における水平
範囲算出処理を時間的に連続して行ったときに、連続し
て範囲内と判断される範囲Ａと、連続的ではないが所定
回数以上範囲内であると判断される範囲Ａ’とを求め、
上記垂直範囲算出手段において水平エッジのヒストグラ
ムを求める際に、上記範囲Ａ内でヒストグラムを求める
ように構成したことを特徴とする請求項１に記載の物体
端の位置計測装置。
【請求項３】上記垂直範囲算出手段において垂直方向の
範囲Ｂを求める際、上記範囲Ａ内で水平エッジの探索を
行なうことを特徴とする請求項２に記載の物体端の位置
計測装置。
【請求項４】上記垂直範囲算出手段において垂直方向の
範囲Ｂを求める際、上記距離・水平範囲算出手段で求め
た前方物体までの距離と、上記カメラの焦点距離と、上
記カメラを設置した高さと、上記前方物体の一般的な寸
法から予想される概略の高さ応じて予め設定した値と、
に基づいて、画像上で物体の上下端が撮像されているお
およそのｙ座標位置ＨＵ，ＨＤを求め、上記範囲Ａ内で
求めた水平エッジのヒストグラムの高さの高い位置、ま
たは請求項３で求めたエッジ位置の中から、ｙ座標がＨ
Ｕ，ＨＤ付近の位置を上記範囲Ｂとして選択するように
構成したことを特徴とする請求項２または請求項３に記
載の物体端の位置計測装置。
【請求項５】上記エッジ選択手段で縦エッジの存在する
水平方向位置を求める際、時間的に連続した処理におい
て、同一水平方向位置に並ぶ範囲Ｂ内の輝度の平均値を
求め、所定時間内において各水平方向位置毎に求めた平
均値が小さい範囲を縦エッジの存在する範囲として求め
るように構成したことを特徴とする請求項１乃至請求項
４の何れかに記載の物体端の位置計測装置。
【請求項６】上記エッジ選択手段で縦エッジの存在する
水平方向位置を求める際、上記範囲Ｂ内の垂直エッジ成
分に基づいて求めた垂直エッジのうち、請求項５で求め
た輝度の平均値の時間的分散の小さい範囲の両端付近に
あり、かつ、請求項２で求めた範囲Ａと範囲Ａ’との間
付近にあるエッジを選択するように構成したことを特徴
とする請求項１乃至請求項５の何れかに記載の物体端の
位置計測装置。
【請求項７】請求項１乃至請求項６の何れかに記載の物
体端の位置計測装置と、上記位置計測装置の計測結果に基づいて、上記位置計測
装置を搭載した移動体の前進判断と経路誘導との少なく
とも一方を決定する手段と、を備えたことを特徴とする
移動体の通行判断装置。