JP2001082954A - 画像処理装置及び画像処理測距方法 - Google Patents

Abstract

(57)【要約】 【課題】 カメラから撮影した画像に基づいて、より簡
単な方法で誤マッチングを減少させ、精度の良い測距を
行う。 【解決手段】 同方向を向いた一対のカメラで各々の画
像を撮影する。前記各々の画像から各々のエッジ成分を
求め、前記各々の垂直エッジ成分について各々の投影図
を作成する。前記各々の投影図において現れるピーク
を、ピーク値、ピーク間間隔、ピーク尖鋭度、過去の連
続性等を考慮して各々選択し、前記選択されたピークの
位置に対応するエッジ線を各々抽出する。そして、エッ
ジ線との差、エッジ線の連続長さ、エッジ線の始点と終
点、エッジ線間の間隔、エッジ線の尖鋭度等を判断条件
として、前記各々の画像から抽出された前記各エッジ線
を、各々マッチングさせて組み合わせ候補を求め、前記
組み合わせ候補における視差により距離を計算するよう
にした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで取り込ん
だ画像を処理することにより、周囲にある物体までの距
離を把握する画像処理装置及び画像処理測距方法に関
し、例えば、自動車等の移動体にカメラを搭載して障害
物等の物体の存在を把握し、移動体の円滑な運転を支援
するようにした画像処理装置及び画像処理測距方法に関
する。

【０００２】

【従来の技術】近年、各種の電子技術が自動車に取り入
れられ、運転操作の安全性、簡易性を向上する技術が開
発されている。その中でも、自車両の外部情報を捉えて
自車両の制御に反映するようにした運転支援システムが
開発されている。そこで、運転支援に最も重要な外部情
報は自車両の前方にある他車両あるいは障害物である。
これらの障害物等の捕捉、測距することが必要となる
が、従来、これらの捕捉、測距には、レーダが用いられ
ている。

【０００３】しかし、最近の自動車では、障害物等の捕
捉、測距について、カメラから取り込んだ画像から画像
処理して直接認識することが注目されている。そこで、
図１を参照して、障害物等の捕捉、測距を画像処理によ
り認識する画像処理装置について説明する。図１は、画
像処理装置の概略ブロックを示している。

【０００４】画像処理装置３は、自車両前方の画像を撮
影する左右一対のカメラ１及び２を備えており、カメラ
１及び２は、前方の障害物等を撮影するため、例えば、
自動車の室内ルームミラーの両端に前方に向けて設置さ
れる。必要があれば、自動車の側方、後方に向けて配置
してもよい。ただ、左右一対のカメラ１及び２の配置に
あたっては、これらから得られる画像によりステレオ測
距することから、カメラ間の距離は視差に影響するた
め、適当な距離を置く必要がある。

【０００５】一方、画像処理装置３には、認識した結果
に基づいて出力手段１４により動作する警報装置などの
報知手段１５が接続されている。また、報知手段１５
は、ブレーキ駆動装置、ハンドル駆動装置などであって
もよい。さらに、画像処理装置３は、画像入力手段４及
び５、同期発生回路６、画像メモリ７及び８、そしてＣ
ＰＵ９で構成されている。画像入力手段４及び５のそれ
ぞれは、カメラ１及び２から得られた画像を取り込み、
その画像データを画像メモリ７及び８に送り格納する。
そして、同期発生回路６は、カメラ１及び２を一定間隔
を置いて左右同時に撮影駆動する同期信号を発生する。

【０００６】また、ＣＰＵ９は、エッジ抽出手段１０及
び１１、左右対応測距手段１２及び障害物認識手段１３
の機能を有しており、画像メモリ７及び８に格納された
左右一枚づつの画像データからエッジ抽出を行う。得ら
れた左右それぞれのエッジを対応させ、三角測量法によ
り距離を演算する。そして、エッジに対応して求められ
た距離から障害物であるかどうかを認識し、出力手段１
４を駆動する。

【０００７】ここで、エッジ抽出について説明する。画
像入力手段１０に格納されるデータは、カメラ１から得
られたモノクロ画像データである。このモノクロ画像デ
ータを画面表示したとき、画像中の濃度値の変化量が大
きい部分を抽出する。これは、画像中に映し出されてい
る物の輪郭線を表している。この輪郭線のみで構成した
ものがエッジ画像であり、エッジ画像自体を表示する必
要はなく、ＣＰＵ９内で演算処理されれば十分である。
また、路側物体からの影のエッジが混在する場合には、
時系列平均化処理を施してもよい。この様にして、左カ
メラ１のデータと同時点による右カメラ２から得られた
モノクロ画像データについても、エッジ画像処理を行
う。

【０００８】次に、左右対応測距手段１２において、こ
うして得られた左右のエッジ画像におけるエッジ線を対
応させる。そして、対応する左右のエッジ線の位置のず
れを視差として求める。左右カメラ１及び２間の距離は
既知であるので、三角測量法により、エッジ線が存在す
る位置における距離を算出できる。エッジ画像中の対応
するエッジ線について順次その距離の算出を行う。

【０００９】そこで、障害物認識手段１３では、エッジ
線の位置における算出された距離に基づいて障害物の認
識を行い、エッジ画像から障害物を認識できたときに
は、出力手段を駆動して報知手段を作動させる。

【００１０】

【発明が解決しようとする課題】しかしながら、図１に
示された画像処理装置３のエッジ抽出手段１０では、画
像中の濃度値の変化量が大きい部分を抽出し、画像中に
映し出された物の輪郭線によるエッジ画像を作成してい
る。そして、得られた左右のエッジ画像を単に対応させ
ているだけである。

【００１１】そこで、エッジ抽出の際に濃度値の差を顕
著にするため、その閾値を工夫し、あるいは、時系列平
均化処理を施し、エッジ線を明確にできたとしても、実
際の道路環境は複雑であり、しかも障害物は一様の物で
はなく様々な形状を有しているものである。そのため、
それぞれのエッジ画像中に現れるエッジ線には、左右の
カメラの撮影角度のずれによる微妙な差が生ずる。さら
に、光の当たり具合によっては左右のカメラで撮影感度
が異なってしまい、エッジ線がでるべきところに現れな
かったりするものである。

【００１２】この様にエッジ線の表出には不安定性があ
ることに加えて、障害物の形状に応じてエッジ線は複雑
な形になっている。その複雑な形をしたエッジ線同士を
そのまま左右マッチングさせているので、左右のカメラ
の画像中からエッジ線を抽出して対応するエッジ線の視
差から測距する場合には、誤マッチングが起きやすく、
測距できない場合が多い。しかも、それらのマッチング
には膨大な演算が必要となる。

【００１３】したがって、本発明は、より簡単な方法で
誤マッチングを減少させ、精度の良い測距を行うことが
できる画像処理装置及び画像処理測距方法を提供するこ
とを目的とする。

【００１４】

【課題を解決するための手段】そこで、本発明において
は、上記の課題を解決するため、同方向を向いた一対の
カメラで各々の画像を撮影し、前記各々の画像から各々
のエッジ成分を求め、前記各々のエッジ成分について各
々の投影図を作成し、前記各々の投影図において現れる
ピークを各々選択し、前記選択されたピークの位置に対
応するエッジ線を各々抽出し、そして前記各々の画像か
ら抽出された前記各エッジ線を各々マッチングさせて組
み合わせ候補を求め、前記組み合わせ候補における視差
により距離を計算するようにした。さらに、前記各々の
エッジ成分を垂直エッジ成分とし、前記各々の投影図に
おいて所定間隔内にある複数の隣接するピークの内から
一つピークに対するエッジ線抽出、複数の隣接するピー
クの尖鋭度によるエッジ線抽出、抽出したエッジ線から
過去の連続性に基づく選択、又は抽出したエッジ線から
過去の連続変化に基づく選択のいずれかを組み合わせて
行えるようした。さらに、前記各々の画像から抽出され
た前記各エッジ線を、エッジ線の長さ、エッジ線の連続
した長さ、エッジ線の始点又は終点、当該エッジ線と隣
接した他のエッジ線との間隔、又は投影図において現れ
たピークの尖鋭度のいづれかに基づいて比較し、当該エ
ッジ線を組み合わせ候補とした。また、前記組み合わせ
候補から求めた視差について、過去の視差と連結し、物
体までの距離及び大きさを計算する場合、前記マッチン
グにより求めた隣接する前記各視差が同一範囲に入る場
合をグルーピングし、前記マッチングにより求めた前記
各視差に係る過去の動き又は向きに基づいてグルーピン
グするようにしたものである。

【００１５】

【発明の実施の形態】以下に、本発明の実施形態につい
て、図を参照して説明する。本実施形態における画像処
理において、左右一対の複眼カメラで撮影した画像を処
理して、カメラ前方の障害物を認識するものであり、そ
の画像処理装置の基本的構成は図１に示したブロック構
成と同様であるが、本実施形態では、エッジ抽出手段１
０、１１と、左右対応測距手段における画像処理手法が
前述の画像処理装置と異なっている。

【００１６】ここで、左右一対の複眼カメラ１及び２
を、自車両のルームミラーの両端に前方に向けて設置
し、自車両前方の障害物、例えば、前を走行する車両と
の距離を認識する場合について説明する。自車両の前方
で他車両が道路を走行しているとき、複眼カメラ１及び
２で撮影する画像は、モノクロ画像である。ただし、左
右のカメラ１及び２は距離を置いて配置されているか
ら、それぞれの画像は被写体との距離に応じてそれぞれ
の物体の写った位置が水平にずれている筈である。ここ
では、左カメラ１から得た画像を図２に示した。

【００１７】先ず、図２に示した左カメラ１による左画
像の処理を説明する。この左カメラ１で撮影した左画像
データは画像メモリ７に格納される。そして、エッジ抽
出手段１０は、画像メモリ７から当該画像データを読み
出し、左画像のエッジ検出を行う。エッジ検出に当たっ
ては、濃淡で表されたモノクロ画像について、その濃度
差により物体の輪郭を求める。図２に示された左画像に
対するその輪郭をエッジ線として示した左エッジ線画像
を図３に示す。この様にエッジ線画像を濃度差で求める
ことから、その閾値の設定の仕方と、光の当たり具合と
によって、左画像に映し出されている物体の全てのエッ
ジ線を求めることはできないが、特徴的な部分に対する
エッジ線を得ることができる。

【００１８】同様にして、エッジ抽出手段１１によっ
て、右カメラ２から得られた右画像についても、濃度差
による輪郭を示した右エッジ線画像を作成する。前述の
画像処理装置においては、図３に示されるエッジ線画像
を得た段階で左右のエッジ線画像を対応させ左右マッチ
ングを行っている。この段階での左右マッチングでは、
前述のように、誤マッチングを起こし認識結果が不安定
となるものである。

【００１９】そこで、本実施形態では、図３に示される
エッジ画像において、垂直方向のエッジ成分のみを抽出
し、左右画像における垂直エッジ成分同士で対応させマ
ッチングを行うようにした。そこで、エッジ線画像から
垂直エッジ成分又は水平エッジ成分の抽出を、検出オペ
レータのマスクを適用することにより行う。本実施形態
では、図６に示される差分型オペレータの一つであるＳ
ｏｂｅｌオペレータを検出オペレータとして用い、図３
に示される左画像によるエッジ画像に対し、エッジに対
応する画素に重み付けを行った。そうすると、エッジ画
像中の水平成分及び斜め成分がフィルタイングされて、
垂直エッジ成分のみが残る。なお、検出オペレータにつ
いて、Ｓｏｂｅｌオペレータを示したが、Ｐｒｅｗｉｔ
ｔオペレータ等でもよく、これらのオペレータによるフ
ィルタリング動作は、一般に知られているので、ここで
は、その説明を省略する。

【００２０】本実施形態では、濃淡画像から物体の輪郭
を示すエッジ線を検出し、垂直エッジ成分を抽出してい
るが、水平エッジ成分を抽出してもよい。しかし、自動
車に適用する場合には、水平エッジ成分で認識を行うと
すると、左右一対の複眼カメラを上下に配置することに
なり、自動車にはそのような場所が少ない。そのため、
手軽に取り付けられる場所として、その設置にルームミ
ラーを利用することから、垂直エッジ成分を選択した。

【００２１】また、垂直エッジ成分を求める際に、水平
エッジ成分と垂直エッジ成分とを求めた後に、水平エッ
ジ成分を取り除くことによって垂直エッジ成分を残すよ
うにしてもよい。次に、左右マッチングのために精度の
高いエッジ線を選択する必要がある。そこで、上で求め
た垂直エッジ成分の投影を求める。その投影図を図４
（Ａ）に示す。この投影図は、垂直エッジ成分の画素を
累積して、ｘ軸上に垂直エッジ成分を投影したものであ
る。この投影図によれば、長い垂直エッジ成分があるｘ
座標位置において高いピークを示すことが分かる。た
だ、実際には、図３に詳細には示していないが、背景等
によって発生する小さなエッジ線が存在するため、投影
図上では、１乃至１３のピークを有する連続した波形と
なる。

【００２２】そこで、図４（Ａ）に示した投影図から、
必要とするエッジ線を選択しなければならない。投影図
の中でピーク値が大きいほどエッジ線として有力候補に
なるものであるので、必要候補数となるように、適宜閾
値Ｓを設定して、ピーク値の大きい順にエッジ線を選択
する。図４（Ａ）に示した投影図の場合には、ｘ軸上の
ピーク１乃至１３位置にあるエッジ線が候補として選択
されたことになる。

【００２３】しかしながら、そのピーク値が大きいから
といって、全てを候補としてしまうと、左右マッチング
の際に演算が多くなってしまう。そのため、隣接するエ
ッジが密接しており、かつ同じようなピーク値となって
いる場合には、同じ物体から得られたエッジ線である可
能性が高いとして、その近傍のピーク値の大きいピーク
を代表候補として選択し、隣接する他のピークを使わな
い。これには、所定間隔を設定して、その間隔内にある
大きいピーク値のピークを代表候補とする。図４（Ａ）
に示した投影図の場合には、ピーク５乃至８がこの場合
に該当し、そのピーク値が閾値Ｓより大きいが、ピーク
４及び９を代表候補とし、ピーク５乃至８に対応するエ
ッジ線を抽出しない。

【００２４】また、投影図に現れたピークによっては、
閾値Ｓを超えていても幅がある場合がある。ピークに幅
があるということは、輪郭線が複雑な形である可能性が
高く、異なった距離にある複数の物体からのものである
可能性もある。この様な場合に、左右のカメラで撮影し
たとき、その見え方に差異も出やすい。したがって、ピ
ーク値が高くてもその幅が広い場合、左右のマッチング
を精度良く行えるエッジ線を抽出することは困難であ
る。そのため、隣接するピークの尖鋭度を比較して、尖
鋭度が悪い場合には、そのピークに対応するエッジ線を
抽出しない。そうすることにより、マッチング精度をよ
り高めることができる。

【００２５】さらに、図４（Ａ）に示された投影図に現
れたピークに関する情報として、それらのピーク値とピ
ーク位置とを記憶しておくと良い。左右のカメラ１及び
２の撮影タイミングは、同期発生回路６で決められる
が、例えば、１秒に１回のように撮影し、１０回分程度
記憶しておく。そこで、今回撮影した画像から得られた
投影図に現れたそれぞれのピークについて、前回撮影分
まで、つまり直前まで過去連続してｎ回、同じ位置に同
じピーク値のピークが現れていた場合には、そのピーク
は、同じ物体に関するエッジ線を抽出できる可能性が極
めて高い。そのため、そのピークは、安定して正確な情
報を提供し、信頼度が高いものであるから、これをエッ
ジ線として抽出する。

【００２６】しかし、過去連続して同じ位置にピークが
現れるとは限らない。例えば、自車両が曲がっていくよ
うな場合、または前方車両が曲がっていくような場合に
は、過去連続してｎ回現れるピークも投影図上でその曲
がり具合に従ってｘ軸方向にずれていく。そこで、直前
まで過去ｎ回についてｘ軸方向の動きを追跡する。例え
ば、特定のピークがｘ軸上を右方向にずれていく場合、
今回の撮影した画像によるピークも類似のずれを有して
いたならば、同じ物体から得られたピークの可能性が高
い。一方、今回の撮影した画像によるピークが過去連続
するｎ回の動きと異なって、反対方向の位置に現れてい
たり、あるいは、ずれ幅が急に大きくなる等の変化が有
る場合には、そのピークは信頼度が低いとしてエッジ線
を抽出しないようにする。

【００２７】以上のようにして、図４（Ａ）に示した垂
直エッジ成分のみによる投影図から、エッジ抽出条件に
従ってピーク１乃至１３を選択し、輪郭線のうち、その
ピークの中心点をエッジ線位置として、該当する垂直エ
ッジ線ａ乃至ｉを抽出する。これらのエッジ線を画像と
して描くと、図４（Ｂ）に示されるエッジ線画像のよう
になる。このエッジ線画像中によって、画像中における
各エッジ線ａ乃至ｉの長さと位置が分かる。

【００２８】これまでのエッジ線抽出は、左カメラ１に
より撮影された画像に基づいて、図４（Ｂ）に示される
左エッジ線画像を求めたが、同様にして、右カメラ２に
より撮影された画像に基づいて右エッジ線画像を求め
る。左カメラ１と同時に、図２に示したように右カメラ
２により自車両から前方を撮影した画像からエッジ線抽
出を行う。図５（Ａ）（Ｂ）に、前述と同様の抽出条件
に基づいて求めた垂直エッジ成分の投影図と右エッジ線
画像を示す。

【００２９】図５（Ａ）の投影図におけピーク１乃至１
３は、図４（Ａ）の投影図におけるピーク１乃至１３
に、そして、図５（Ｂ）のエッジ線画像にけるエッジ線
ａ乃至ｉは、図４（Ｂ）ののエッジ線画像にけるエッジ
線ａ乃至ｉにそれぞれ対応しているものとして示した。
ここで、図４の左画像と図５の右画像との差異について
説明する。例えば、ピーク３についてみると、右画像で
はそのピーク値が左画像のそれより低くなっている。そ
のため、図５（Ｂ）のエッジ線画像では、エッジ線ｃは
抽出されない。また、ピーク１２を見ると、右画像で
は、左画像より、そのピーク値が低くなりかつ幅が広が
っている。

【００３０】これらは、光の当たり具合とか、撮影する
角度による違いによるものである。ピーク１２の場合、
右カメラが左カメラより右方から撮影するため、前方車
両の右側面が現れたことにより、その輪郭線が左画像よ
り複雑になったことを示している。そのため、投影図に
おけるピークの幅が広がる結果となり、しかも、前方車
両の右テールライト部の右端の濃度差が顕著なものでな
くなったことが分かる。ピーク３の場合、図５（Ｂ）の
エッジ線画像で抽出されなかったのは、左テールライト
部の右端で濃度差が顕著なものでなくなったということ
である。この様な場合、このピークの最大値の位置でエ
ッジ線として抽出したとしても信頼度は低下する。

【００３１】次に、以上のようにして求めた左右のエッ
ジ線画像に基づいて、自車両から前方にある物体までの
測距原理について説明する。左右のカメラ１及び２が距
離ｌだけ離れて設置されていることから、図４と図５と
で示されたエッジ線の位置はそれぞれ異なっている。左
右エッジ線画像のｘ軸を共通にして、例えば、図５
（Ｂ）の右画像における右エッジ線ｄについてみる。右
エッジ線ｄのｘ座標位置ｘ_Rdに対して左画像による左エ
ッジ線ｄのｘ座標位置ｘ_Ldは間隔ｌ_d だけずれている。
一方、右エッジ線ｉについてみると、右画像によるその
ｘ座標位置ｘ_Riと左画像によるそのｘ座標位置ｘ_Liは間
隔ｌ_i だけずれている。ここで、間隔ｌ_d 又は間隔ｌ_i
は視差に相当し、画像から画素数をカウントして視差を
求めることができ、しかも距離ｌは既知であるから、三
角測量法を用いて、左右のエッジ線ｄ又はエッジ線ｉの
視差により、それらのエッジ線を有する物体までの距離
を計算することができる。

【００３２】例えば、図５に示すように間隔ｌ_d と間隔
ｌ_i が異なっているとすれば、エッジ線ｄとエッジ線ｉ
を有するそれぞれの物体は、自車両から異なった距離に
あることになる。このことを利用して、複数の隣合うエ
ッジ線について計算した結果、得られた距離が同じにな
った場合、それらのエッジ線は同一物体の輪郭線から抽
出されたものと判断できる。したがって、この判断か
ら、その物体が図２の前方車両等の障害物であると認識
でき、その計算した距離に応じて、その距離を表示し、
それが近い場合には警報等の報知をすることができる。

【００３３】ただし、これらの距離を精度よく計算で
き、前方車両を正確に認識するためには、例えば、右画
像の右エッジ線ｄが、左画像の左エッジ線ｄに対応して
いることが確実であるとする信頼度を高めることが必要
である。そこで、次に、距離を精度よく計算できるよう
にした本実施形態における左右画像のマッチングについ
て説明する。

【００３４】先ず、左エッジ線画像から左エッジ線を読
み出す。このときの読み出す順番は左エッジ線ａから、
または左エッジ線ｉからのどちらでもよい。ここでは、
左エッジ線ａから読み出したとする。次に、この左エッ
ジ線ａに対応する右画像の右エッジ線の候補を探すた
め、右エッジ線画像から一つの右エッジ線を読みだす。
ところで、読みだされた右エッジ線の全てが視差を取り
える組み合わせ候補選択の対象になるわけではない。前
述したように、左右カメラ１及び２が距離ｌだけ離れて
水平に設置されているから、右エッジ線は同じ物体から
得られた左エッジ線の位置より左側に現れる筈である。
そうすると、右エッジ線画像のｘ軸上で、左エッジ線の
位置より右側にある右エッジ線は候補対象とはならな
い。

【００３５】また、その左エッジ線の位置より左側にあ
っても、その左エッジ線の位置より左側にある全ての右
エッジ線が候補対象に成るわけではない。例えば、自車
両から０ｍの距離に前方車両があったとする。この距離
は両車両の衝突を意味し、０ｍ以下となることはない。
このとき、左エッジ線と右エッジ線とのずれはｘ軸上の
最大ずれ幅となる。その最大ずれ幅ｌ（実際には、画像
中のｘ軸方向画素数）とすれば、左エッジ線の左側にあ
って、幅ｌを超えた位置にある右エッジ線は、理論上、
組み合わせ候補対象にならない。

【００３６】したがって、読みだした右エッジ線が視差
を取りえる候補であるかどうかは、右エッジ線のｘ座標
が左エッジ線の左側にあって、幅ｌの範囲内にあること
を条件となる。そこで、今読みだした右エッジ線ａにつ
いて見ると、右エッジ線ａの位置は左エッジ線ａから幅
ｌの範囲内にある。しかも、右エッジ線ａの長さも左エ
ッジ線ａと類似している。さらに、幅ｌの範囲内に他の
エッジ線が存在しないから、右エッジ線ａは左エッジ線
ａと視差を取り得る組み合わせ候補となる。

【００３７】次に、左エッジ線ａとは異なる別の左エッ
ジ線ｂを読み出し、右エッジ線画像から右エッジ線を読
みだす。ここで、左エッジ線ｂの位置から左側で幅ｌの
範囲内にある右エッジ線が組み合わせ候補の対象とな
る。右エッジ線の幅ｌの範囲内にある右エッジ線とし
て、図５（Ｂ）に示されるように、右エッジ線ａと右エ
ッジ線ｂが存在する。そこで、右エッジ線ｂの長さは左
エッジ線ｂに類似しているから、視差を取り得る候補と
なる。

【００３８】しかしながら、その範囲内に右エッジ線ａ
が組み合わせ候補対象として存在する。この場合、右エ
ッジ線ａと右エッジ線ｂのどちらが候補であるのかを決
めなければならない。そこで、左エッジ線ｂと、右エッ
ジ線ａ又は右エッジ線ｂとを比較したとき、それぞれの
長さの差が小さい方が左エッジ線ｂと視差を取りえる可
能性が大きい。図５（Ｂ）と図４（Ｂ）によれば、右エ
ッジ線ａと左エッジ線ｂとを比較すると、その長さの差
は右エッジ線ｂとのそれに比べて大きいことが分かる。
このため、右エッジ線ａ又は右エッジ線ｂのうち、左エ
ッジ線ｂと視差を取りえる候補は右エッジ線ｂとなる。

【００３９】以下、同様にして、順次左エッジ線ｃから
左エッジ線ｉについて、右エッジ線を選択しながら、左
エッジ線と右エッジ線とで視差を取り得る組み合わせ候
補を求めていく。ところで、上述のエッジ線同士の比較
には、一本のエッジ線全体の長さに基づいて行っている
が、この条件だけで組み合わせ候補を求めることができ
ない場合がある。例えば、左エッジ線ｈについてみる
と、それに対応する右エッジ線はｈとｈ´とに分離して
いる。この場合、分離したエッジ線のそれぞれの長さが
短いと信頼度が低下するが、右エッジ線ｈはある程度の
長さがあり、右エッジ線ｈ´も右エッジ線ｈと同一のｘ
座標位置であるから、右エッジ線ｈは左エッジ線ｈと同
一物体から得られたものと推定できる。そのため、図５
（Ｂ）に示されたエッジ線画像では、隣接する右エッジ
線、例えば、ｆ、ｇに比較して、右エッジ線ｈが最も長
いということで、右エッジ線ｈは視差を取り得る候補と
するこができる。

【００４０】また、以上のようにエッジ線の長さだけで
は、組み合わせ候補を求めることができない場合があ
る。例えば、左右のカメラ１及び２の見え方の違いによ
り、ｘ座標が同じでも別の物体のエッジ線を抽出してい
ると考えこともできる。そうすると、当該エッジ線の近
傍に、上下の位置は異なるが、類似の長さのエッジ線が
現れることもありえる。同一物体から得られるエッジ線
同士はその上下の位置は似通ったものである。さらに、
右エッジ線ｈ及びｈ´のように、同一物体から得られる
エッジ線であれば、右エッジ線ｈの下端の位置、右エッ
ジ線ｈ´の上端の位置は、左エッジ線ｈの下端と上端に
それぞれ対応するものである。

【００４１】したがって、エッジ線同士の比較に当たっ
て、エッジ線の上下の始点、終点を考慮すると、より精
度の高い組み合わせ候補を求めることができる。例え
ば、図４（Ｂ）の左エッジ線ｃを見ると、図５（Ｂ）に
示されるエッジ線画像では、それに対応する右エッジ線
ｃは抽出されていない。左右エッジ線を比較するとき、
幅ｌの範囲内には、右エッジ線ｂのみが存在することに
なるが、右エッジ線ｃの上下位置、つまり始点及び終点
が異なっているから、右エッジ線ｂを左エッジ線ｃの組
み合わせ候補とすることはできない。

【００４２】一方、比較に当たってエッジ線の長さ情報
ばかりでなく、エッジ線間の距離を、つまりエッジ線の
ｘ座標を考慮することもできる。例えば、左エッジ線ｄ
に関して距離ｌの範囲内に、右エッジ線ｂ及びｄが存在
する場合、ｘ座標で見るかぎり、右エッジ線ｄが左エッ
ジ線ｃに対応する可能性を否定できない。このとき、左
エッジ線ｂとｄのｘ軸方向の距離、右エッジ線ｂとｄの
ｘ軸方向の距離をそれぞれ計算し、これらの距離が同じ
であれば、右エッジ線ｄは左エッジ線ｄとの対応におい
て信頼度が高いといえ、右エッジ線ｄが左エッジ線ｃに
対応する可能性を否定できる。したがって、距離ｌの範
囲内にあるエッジ線を選択する場合、エッジ線間の間隔
を考慮することは有効である。

【００４３】さらに、エッジ線画像では、垂直エッジ成
分の投影図での各ピークの幅、つまり尖鋭度は分からな
い。しかし、実際には、エッジ線ａのように、左右のピ
ーク１の尖鋭度がほぼ同じである場合もあるし、エッジ
線ｈのように、左右のピーク１２の尖鋭度は大きく異な
っている場合もある。この尖鋭度が低いということは、
ピークの幅の中心点をそのエッジ線位置としていること
から、場合によっては、エッジ線画像に現れたエッジ線
は、求めようとしているエッジ線ではない可能性もあ
る。そこで、尖鋭度に関する情報を読み出し、尖鋭度が
類似のエッジ線を組み合わせ候補とすることにより、信
頼度を向上できる。

【００４４】以上、組み合わせ候補を選択する際のマッ
チング条件について説明してきたが、これらのマッチン
グ条件は、単独でなく、適宜組み合わせることにより一
層の信頼度を増すことができる。次に、各エッジ線に対
する組み合わせ候補を決めることができたなら、その組
み合わせ候補のエッジ線のｘ座標からそれぞれの視差を
求める。このとき、今回得られた視差が、前回まで過去
の記憶された視差の変化と比較して、急に異なる変化を
している場合には、その視差に係るエッジ線については
誤マッチングしている可能性が高い。このため、今回の
視差を過去の視差と連結することにより、誤マッチング
した視差を取り除くことができるから、より精度の高い
最適候補による視差を求めることができる。

【００４５】この様にして各組み合わせ候補から得た視
差に基づいて、三角測量法により、各エッジ線に対する
距離の計算を行う。ここで、マッチングして求めた組み
合わせ候補に対する各視差が、ある範囲内に入る場合、
各エッジ線は同一物体の輪郭線から抽出された可能性が
高いから、互いに隣接したｘ座標を有し、且つある範囲
内に入る視差をグルーピングすることにより、前方車両
等の障害物が存在することが分かり、また、その障害物
までの距離を把握できるばかりでなく、グルーピングし
た視差における最も外側にあるエッジ線のｘ座標から、
障害物の横方向幅を測定することができる。

【００４６】さらに、マッチングして求めた組み合わせ
候補に対する各視差について、前回もでの過去における
視差の動きや向きを考慮してグルーピングすることによ
り、誤マッチングを排除でき、物体までの距離測定の精
度を向上できる。以上のようにして、自車両の前方に障
害物が有るかどうかを判断でき、そして、その障害物ま
での距離を把握できるから、自車両の運転者にその障害
物に関する情報を報知するこができ、又は危険な場合に
はブレーキ制動を駆動するなど、安全運転への支援を行
うことができる。

【００４７】次に、本実施形態における画像処理装置３
の動作を、図７及び図８に示されたフローチャートを参
照して説明する。先ず、左カメラ１によってモノクロ撮
影された左画像は、画像入力手段４を介して画像メモリ
７に格納される。同様に、右カメラ２によって右画像が
画像メモリ８に格納される（ステップＳ１）。左右のカ
メラ１及び２は、同期発生回路６によって同時にワンシ
ョット撮影する。

【００４８】次に、エッジ抽出手段１０は、画像メモリ
７から左画像を読み出し、画像中における濃度差に基づ
いて輪郭線を作成する。その輪郭線に対してオペレータ
による空間フィルタリングを施すことにより垂直エッジ
成分を取り出す（ステップＳ２）。そして、取り出した
垂直エッジ成分をｘ軸上に投影した投影図を作成する。
そこで、投影図中に現れたピークに対して、閾値Ｓ、隣
接エッジの間隔、尖鋭度等の条件を考慮して、適正なマ
ッチングを行えるような精度のピークを選択する。さら
に、選択されたピークの中心点のｘ座標を垂直エッジ線
のｘ軸方向位置とし、そのピーク値をエッジ線の長さと
して、左エッジ線画像を作成する（ステップＳ３）。こ
の左エッジ線画像を記憶しておく。

【００４９】次いで、左エッジ線画像に現れたエッジ線
に対して、過去の連続性、又は過去の連続した変化を考
慮し、今回抽出した各エッジ線が異常な変化をしている
かどうかの判断をする（ステップＳ４）。当該エッジ線
が過去と比較して連続しない異常な変化を示していると
きは、信頼度が低下しているとして、当該エッジ線をマ
ッチング候補から排除する。

【００５０】以上で左画像に関する左エッジ線の抽出を
終了する。右画像についても、左画像の処理と並行して
同様に、ステップＳ５からステップＳ７によって、右エ
ッジ線画像が作成され、記憶される。ここで、左右のエ
ッジ線画像が得られたので、各エッジ線について左右マ
ッチング処理を行う（ステップＳ８）。この左右マッチ
ング処理について、図８のフローチャートを参照して説
明する。

【００５１】先ず、左エッジ画像から一つの左エッジ線
を読みだす（ステップＳ２１）。次に、右エッジ画像か
ら一つの右エッジ線を読みだす（ステップＳ２２）。こ
こで、読みだされた右エッジ線が読みだされた左エッジ
線と視差を取りえるかどうか判断される（ステップＳ２
３）。つまり、右エッジ線のｘ座標が読みだされた左エ
ッジ線に関して左側であり、且つ距離ｌの範囲内にあれ
ば、右エッジ線は左エッジ線と視差を取りえる（Ｙ）。
しかし、そうでないと判断されると（Ｎ）、次の右エッ
ジ線の読み出しを行うため、ステップＳ２８に進む。

【００５２】右エッジ線は左エッジ線と視差を取りえる
場合（Ｙ）、読みだされた左エッジ線に関して距離ｌの
範囲内という条件によれば、今回読みだされた右エッジ
線の他にも右エッジ線が存在しうる。この他の右エッジ
線も今回読みだされた左エッジ線と視差を取りえる可能
性があるから、この存在を確認する必要がある（ステッ
プＳ２４）。

【００５３】もし、今回読みだされた右エッジ線の他に
右エッジ線がなければ（Ｎ）、今回読みだされた右エッ
ジ線と読みだれた左エッジ線とは視差を取りえるとし
て、今回の組み合わせを候補とする（ステップＳ２
７）。この場合には、次に読みだれる右エッジ線に対応
するため、ステップＳ２８に進む。一方、今回読みださ
れた右エッジ線の他に右エッジ線がある場合（Ｙ）に
は、どの右エッジ線が左エッジ線と視差を取りえるのか
判断しなければならない（ステップＳ２５）。ここで、
例えば、今回読みだされた右エッジ線及び他の右エッジ
線と今回読みだされた左エッジ線との差を考慮する。こ
のとき、今回読みだされた右エッジ線と左エッジ線との
差の方が、他の右エッジ線と左エッジ線との差より小さ
い場合（Ｙ）には、今回読みだされた右エッジ線の方が
他の右エッジ線より視差を取りえる信頼度が高いと言え
る。そうして、今回の組み合わせを候補とする（ステッ
プＳ２６）。ステップＳ２６では、視差を取りえるのか
どうかの判断に、エッジ線との差を考慮する他に、エッ
ジ線の連続長さ、エッジ線の始点と終点、エッジ線間の
間隔、エッジ線の尖鋭度等を判断条件とすることがで
き、これらを適宜組み合わせることもできる。

【００５４】ここで、今回読みだされた右エッジ線と左
エッジ線との組み合わせ候補を決定できたので、次に読
みだされる右エッジ線があるかどうか判断される（ステ
ップＳ２８）。まだ、右エッジ線画像に次に読みだされ
る右エッジ線があれば（Ｙ）、ステップＳ２２に戻り、
次に読み出した右エッジ線について、上記と同様の処理
が行われる。右エッジ線画像に次に読みだされる右エッ
ジ線がなければ（Ｎ）、ステップＳ２６又はステップＳ
２７で得られた組み合わせ候補から視差を求める（ステ
ップＳ２９）。

【００５５】そして、右エッジ線画像中にある右エッジ
線全てについて同様の処理が行われる。この様にして、
今回読みだされた左エッジ線に対するマッチング処理を
終了し、次に、左エッジ線画像から他の左エッジ線を読
みだして上記と同様のマッチング処理が繰り返し行われ
る。以上のようにして、図７のステップＳ８の左右マッ
チング処理を終了し、組み合わせ候補に基づく各視差を
求めることができる。

【００５６】ここで、各視差に関する過去の視差と連結
させ、過去の視差の連続性を考慮することにより、誤マ
ッチングの可能性を排除する（ステップＳ９）。そし
て、求められた各視差に基づいて距離を計算する（ステ
ップＳ１０）。この計算結果を障害物認識手段１３に出
力され（ステップＳ１１）、求めた各視差のグルーピン
グにより障害物等の判別がなされる。

【００５７】以上、本実施形態による画像処理装置につ
いて説明してきたが、この画像処理装置では、左右のカ
メラで撮影した画像から、濃度差による輪郭線を求め、
この輪郭線の垂直エッジ成分のみの投影図を作成した。
この投影図に現れるピークに基づき、閾値Ｓ、隣接エッ
ジの間隔、尖鋭度、過去の連続性、過去の連続した変化
等の条件を考慮して左右エッジ線画像を作成したので、
より精度の高い信頼できるエッジ線を得ることができ
た。そして、求めた左右エッジ線とを、エッジ線との
差、エッジ線の連続長さ、エッジ線の始点と終点、エッ
ジ線間の間隔、エッジ線の尖鋭度等を判断条件として左
右マッチングを行うようにしたので、誤マッチングの発
生を抑え、最適マッチングを行え、そのため、より簡単
な方法で、より精度よく測距することができる。

【図面の簡単な説明】

【図１】複眼測距システムにおける画像処理装置の概略
ブロック構成を示す図である。

【図２】自車両の左カメラから前方の車両を撮影した画
像を示す図である。

【図３】図２の画像から作成した左エッジ線画像を示す
図である。

【図４】左カメラによる左エッジ線画像から得た垂直エ
ッジ成分の投影図と左エッジ線画像を示す図である。

【図５】右カメラによる右エッジ線画像から得た垂直エ
ッジ成分の投影図と右エッジ線画像を示す図である。

【図６】垂直エッジ成分を抽出するためのオペレータの
重み付けを表す図である。

【図７】本発明による画像処理のフローチャートを示す
図である。

【図８】左右のエッジ線をマッチングするフローチャー
トを示す図である。

【符号の説明】

１、２…カメラ ３…画像処理装置 ４、５…画像入力手段 ６…同期発生回路 ７、８…画像メモリ ９…ＣＰＵ １０、１１…エッジ抽出手段 １２…左右対応測距手段 １３…障害物認識手段 １４…出力手段 １５…報知装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA06 BB15 CC11 DD03 EE03 FF05 FF09 JJ03 JJ26 KK02 QQ04 QQ23 QQ32 QQ38 RR09 SS09 UU05 2F112 AC03 BA06 CA05 CA12 FA03 FA31 FA45 5B057 AA16 CH11 DA07 DB03 DC02 DC03 DC16 DC32

Claims (24)

【特許請求の範囲】
1. 【請求項１】 同方向を向いた一対のカメラで撮影した
   各々の画像を取り込む画像メモリ手段と、 前記画像メモリから読み出した各々の画像に基づき得ら
   れたエッジ成分による各々の投影図を作成する手段と、 前記各々の投影図において現れるピークを各々選択し、
   当該ピーク位置に対応するエッジ線を各々抽出するエッ
   ジ線抽出手段と、 前記各々の画像から抽出された前記各エッジ線を各々対
   応させて組み合わせ候補を求め、当該候補から視差を求
   めるマッチング手段と、を有する画像処理装置。
2. 【請求項２】 前記エッジ成分は、垂直エッジ成分であ
   ることを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 抽出した前記エッジ成分から他のエッジ
   成分を分離することにより垂直エッジ成分を求めること
   を特徴とする請求項１に記載の画像処理装置。
4. 【請求項４】 前記エッジ線抽出手段は、前記各々の投
   影図において所定間隔内にある複数の隣接するピークの
   内から代表する一つのピークについてエッジ線を抽出す
   ることを特徴とする請求項１又は２に記載の画像処理装
   置。
5. 【請求項５】 前記エッジ線抽出手段は、前記各々の投
   影図において複数の隣接するピークの尖鋭度を比較して
   エッジ線を抽出することを特徴とする請求項１に記載の
   画像処理装置。
6. 【請求項６】 前記エッジ線抽出手段は、抽出したエッ
   ジ線を過去の連続性に基づいて選択することを特徴とす
   る請求項１又は２に記載の画像処理装置。
7. 【請求項７】 前記エッジ線抽出手段は、抽出したエッ
   ジ線を過去の連続変化に基づいて選択することを特徴と
   する請求項１又は２に記載の画像処理装置。
8. 【請求項８】 前記エッジ線抽出手段は、前記各々の投
   影図において所定間隔内にある複数の隣接するピークの
   内から一つピークに対するエッジ線抽出、複数の隣接す
   るピークの尖鋭度によるエッジ線抽出、抽出したエッジ
   線から過去の連続性に基づく選択、又は抽出したエッジ
   線から過去の連続変化に基づく選択のいずれかを組み合
   わせて行うことを特徴とする請求項１又は２に記載の画
   像処理装置。
9. 【請求項９】 前記マッチング手段は、前記各々の画像
   から抽出された前記各エッジ線を比較してエッジ線の長
   さが同様のエッジ線を組み合わせ候補とすることを特徴
   とする請求項１又は２に記載の画像処理装置。
10. 【請求項１０】 前記マッチング手段は、前記各々の画
    像から抽出された前記各エッジ線を比較してエッジ線の
    連続した長さが同様のエッジ線を組み合わせ候補とする
    ことを特徴とする請求項１又は２に記載の画像処理装
    置。
11. 【請求項１１】 前記マッチング手段は、前記各々の画
    像から抽出された前記各エッジ線の始点又は終点を比較
    して同様のエッジ線を組み合わせ候補とすることを特徴
    とする請求項１又は２に記載の画像処理装置。
12. 【請求項１２】 前記マッチング手段は、前記一の画像
    から抽出された前記各エッジ線のうち当該エッジ線と隣
    接した他のエッジ線との間隔が前記他方の画像から抽出
    された前記各エッジ線のうち当該エッジ線と隣接した他
    のエッジ線との間隔と同様の場合、当該エッジ線を組み
    合わせ候補とすることを特徴とする請求項１又は２に記
    載の画像処理装置。
13. 【請求項１３】 前記マッチング手段は、前記各々の画
    像から抽出された前記各エッジ線のうち前記各エッジ線
    に係る前記各々の投影図において現れたピークの尖鋭度
    に基づいて選択し、当該各エッジ線を組み合わせ候補と
    することを特徴とする請求項１又は２に記載の画像処理
    装置。
14. 【請求項１４】 前記マッチング手段は、前記各々の画
    像から抽出された前記各エッジ線を、エッジ線の長さ、
    エッジ線の連続した長さ、エッジ線の始点又は終点、当
    該エッジ線と隣接した他のエッジ線との間隔、又は投影
    図において現れたピークの尖鋭度のいづれかに基づいて
    比較し、当該エッジ線を組み合わせ候補とすることを特
    徴とする請求項１又は２に記載の画像処理装置。
15. 【請求項１５】 前記マッチング手段は、前記組み合わ
    せ候補から求めた視差について、過去の視差と連結した
    視差を出力することを特徴とする請求項１４に記載の画
    像処理装置。
16. 【請求項１６】 前記マッチング手段が求めた隣接する
    前記各視差が同一範囲に入る場合をグルーピングして、
    当該視差に係る撮影した物体までの距離及び大きさを確
    定することを特徴とする請求項１４に記載の画像処理装
    置。
17. 【請求項１７】 前記マッチング手段が求めた前記各視
    差に係る過去の動き又は向きに基づいてグルーピングし
    て、当該視差に係る撮影した物体までの距離及び大きさ
    を確定することを特徴とする請求項１６に記載の画像処
    理装置。
18. 【請求項１８】 同方向を向いた一対のカメラで各々の
    画像を撮影し、 前記各々の画像から各々のエッジ成分を求め、 前記各々のエッジ成分について各々の投影図を作成し、 前記各々の投影図において現れるピークを各々選択し、 前記選択されたピークの位置に対応するエッジ線を各々
    抽出し、 前記各々の画像から抽出された前記各エッジ線を各々マ
    ッチングさせて組み合わせ候補を求め、 前記組み合わせ候補における視差により距離を計算する
    画像処理測距方法。
19. 【請求項１９】 前記各々のエッジ成分は、垂直エッジ
    成分であることを特徴とする請求項１８に記載の画像処
    理測距方法。
20. 【請求項２０】 前記各々の投影図において、所定間隔
    内にある複数の隣接するピークの内から一つのピークに
    対するエッジ線抽出、複数の隣接するピークの尖鋭度に
    よるエッジ線抽出、抽出したエッジ線から過去の連続性
    に基づく選択、又は抽出したエッジ線から過去の連続変
    化に基づく選択のいずれかを組み合わせて行うことを特
    徴とする請求項１８又は１９に記載の画像処理測距方
    法。
21. 【請求項２１】 前記各々の画像から抽出された前記各
    エッジ線を、エッジ線の長さ、エッジ線の連続した長
    さ、エッジ線の始点又は終点、当該エッジ線と隣接した
    他のエッジ線との間隔、又は投影図において現れたピー
    クの尖鋭度のいづれかに基づいて比較し、当該エッジ線
    を組み合わせ候補とすることを特徴とする請求項１８又
    は１９に記載の画像処理測距方法。
22. 【請求項２２】 前記組み合わせ候補から求めた視差に
    ついて、過去の視差と連結した視差を出力することを特
    徴とする請求項１８又は１９に記載の画像処理測距方
    法。
23. 【請求項２３】 前記マッチングにより求めた隣接する
    前記各視差が同一範囲に入る場合をグルーピングして、
    当該視差に係る撮影した物体までの距離及び大きさを計
    算することを特徴とする請求項１８又は１９に記載の画
    像処理測距方法。
24. 【請求項２４】 前記マッチングにより求めた前記各視
    差に係る過去の動き又は向きに基づいてグルーピングし
    て、当該視差に係る撮影した物体までの距離及び大きさ
    を計算することを特徴とする請求項１８又は１９に記載
    の画像処理測距方法。