JP2001116545A - 距離画像算出装置 - Google Patents

Abstract

(57)【要約】 【課題】物体を３次元座標で効率よく欠落点なく捉える
こと 【解決手段】車輌に１対の撮像装置１０，１１を搭載
し、周囲の物体を撮像し、画像データを得る。そして、
エッジ画像抽出部１４によりその画像データからエッジ
画像を抽出し、エッジ線上に探索領域を設定する。次
に、ステレオ照合部１６は、その指定された探索領域で
左右の画像データの相関を取り、カメラ視差から主に垂
直エッジ線上の各エッジ点のｚ座標（カメラからの距
離）を算出する。カメラ視差の算出不可能な水平エッジ
線に関しては、両端の垂直エッジ線を基に、ｚ座標内挿
部１７でそのｚ座標を内挿する。これにより、物体の水
平エッジ線と輪郭エッジ線を含む全てのエッジ点に３次
元座標を与える。物体認識部１８は、エッジ画像の座標
から精度良く物体の大きさ、形状、姿勢を把握する。
又、水平エッジ線と垂直エッジ線の連続性から物体の一
体性を判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数の撮像装置によ
り得られた複数の画像データから、各画像上の点に対応
した実像上の点までの距離を算出する装置に関する。例
えば、車輌に撮像装置を搭載し、得られた画像データよ
り車輌周囲の物体を認識する距離画像算出装置に応用す
ることができる。特に、複数のカメラでステレオ画像を
撮像し、そのカメラ視差により物体の形状・姿勢をより
精度よく認識する距離画像算出装置に適用できる。さら
に、本発明は、先行車追従装置又は後方障害物検出装置
に適用できる。

【０００２】

【従来の技術】従来から、画像処理を利用した距離画像
算出装置がある。例えば、特開平６−２７３１７０号公
報に開示の車輌障害物検出装置はその一つである。それ
は、車輌に２台のカメラを搭載し、リアルタイムに障害
物を撮像して２画面の画像を得て、それをステレオ照合
処理することにより障害物までの距離を検出するシステ
ムである。例えば、所定の離間距離を有して配置された
２台のカメラから、それぞれ前方の障害物を撮像する。
撮像された障害物画像は、左右の画像でｘ方向にずれた
画像となる。これは、２台のカメラに視差が生じるため
である。そして、その障害物がカメラ近傍にあればその
視差は大きくなり、遠方にあればその視差は小さくな
る。ステレオ照合処理は、２画面の画像の同一点を照合
し、得られた照合点の位置の差（視差）から逆に距離を
求めるものであり、障害物等との距離を検出するために
用いられる。

【０００３】ステレオ照合は、左右の画像の小領域毎の
類似度により、照合位置を決定する。小領域毎の類似度
としては、差分の絶対値和、２乗和、正規化相関などが
用いられる。又、前処理としてオフセット値除去、１次
空間微分、２次空間微分等を適用しても良い。カメラ視
差は、両画像間のずれ量である。このずれ量から、障害
物までの距離が求められる。２台のカメラの離間距離を
Ｂ、レンズの焦点距離をｆ、画像のずれ量を△ｘとすれ
ばその障害物までの距離ｚは次式で表される。

【数１】 ｚ＝ｆ・Ｂ／△ｘ ・・・（１）

【０００４】従来例では、式（１）に基づいて障害物と
の距離を検出している。更に、障害物が先行車である場
合、障害物画像の最左端の垂直部分と最右端の垂直部分
間の距離を先行車輌の幅に換算している。又、同様に障
害物画像の最上端の水平部分と最下端の水平部分間の距
離を先行車輌の高さに換算し、先行車輌の車高とし、そ
の形状と大きさを検出していた。

【０００５】

【発明が解決しようする課題】しかしながら、上記手法
では、左右の垂直部分が同一物体のエッジであるとした
仮定に基づいている。これは、左右に分かれた２物体を
１物体と誤認識する可能性がある。従って、正確にその
形状、大きさおよび姿勢を検出するものではない。従っ
て、確実な追従が要求される車両用自動追従装置に適用
されるものではなかった。又、障害物の左右の垂直部分
の距離値が欠け、不連続となるため、車両が検出できな
いという問題もあった。又、上記問題を解決するため、
３台以上のカメラで認識する方法が考えられるが、装置
コスト及び計算コストを増大させるという問題がある。

【０００６】又、他に特開平５−２６５５４７に開示の
車輌用車外監視装置がある。これは、同様のステレオ照
合処理を利用して、障害物全面に渡って座標を確定し障
害物の形状を把握する提案である。そして、その障害物
画像の時間変化から先行車輌との衝突予知が検出できる
とするものである。この提案は、障害物の形状と自車と
の距離を検出することを目的としており、先行車輌の姿
勢を認識するものではない。又、この例ではステレオ照
合処理を障害物全面に渡って計算するため、大容量記憶
装置と高速プロセッサが必要となりコスト高となる欠点
もある。

【０００７】本発明は、上述した問題点を解決するため
になされたものであり、距離が不明な画像上の点に対応
する実像上の点までの距離を効率良く求めることを目的
とする。即ち、本発明は、画像の１つのエッジ線上にお
いては、そのエッジ線上の各点までの距離は連続して変
化すると見なすことができるが、それにより、距離が得
られている複数の領域の距離を用いて補間演算により距
離の得られていない領域の距離を、効率良く求めようと
するものである。例えば、両端の垂直エッジ線画像に基
づいて、それに挟まれた水平エッジ線画像のｚ座標を内
挿演算することにより、物体の全てのエッジ線を３次元
座標化し、その大きさ、形状、姿勢を正確に効率よく認
識することである。又、垂直エッジ線画像と水平エッジ
線画像の連続性を検出し、物体の一体性を認識すること
である。又、物体を先行車輌とした場合、その姿勢を把
握することで先行車輌への追従を容易にすることであ
る。又、物体を後方車両とした場合に、その車両までの
距離と姿勢を性格に認識することである。

【０００８】

【課題を解決するための手段】この目的を達成するため
に、請求項１に記載の距離画像算出装置によれば、複数
の撮像装置により物体を撮像し、得られた複数の画像デ
ータから物体までの距離を算出する距離画像算出装置で
あって、撮像装置の離間方向にｘ軸、撮像装置から物体
方向にｚ軸、両軸に垂直な方向にｙ軸をとるとき、画像
データからエッジ点を抽出し、このエッジ点の結合から
画像上のエッジ点の連続性を判定してエッジ線を認定す
る連続性判定手段と、複数の撮像装置により得られた画
像データに基づくステレオ照合により、画像データ上の
少なくともエッジ点のｚ座標を演算するｚ座標演算手段
と、連続性判定手段により認定されたエッジ線上のエッ
ジ点に関して、ｚ座標算出手段によってはｚ座標が未確
定なエッジ点のｚ座標を、ｚ座標が既に確定されている
既知のエッジ点のｚ座標を用いて内挿演算により求める
ｚ座標内挿手段とを備えたことを特徴とする。

【０００９】又、請求項２に記載の距離画像算出装置に
よれば、ｚ座標内挿手段は、任意に選択された一つのエ
ッジ線上において、ｚ座標が未確定なエッジ点を挟むｚ
座標が確定しているエッジ点が存在する場合、ｚ座標が
確定しているエッジ点を両端点とし、この両端点のｚ座
標を基に、エッジ線に沿った方向に比例して、ｚ座標の
未確定なエッジ点のｚ座標を比例演算により求める手段
であることを特徴とする。

【００１０】又、請求項３に記載の距離画像算出装置に
よれば、ｚ座標内挿手段は、任意に選択された一つのエ
ッジ線がｘ軸方向に略平行な水平エッジ線の場合には、
水平エッジ線又はその延長線とｙ軸方向に略平行な垂直
エッジ線との交点を両端点として、この両端点のｘ座標
及びｚ座標と、水平エッジ線上のｚ座標を求めるエッジ
点のｘ座標とから、そのエッジ点の未確定なｚ座標を、
比例演算により求める手段であることを特徴とする。

【００１１】又、請求項４に記載の距離画像算出装置に
よれば、連続性判定手段は、エッジ点のｘ、ｙ座標での
連続性判定を含み、ｘ、ｙ座標が不連続である場合は、
前記ｚ座標内挿手段はエッジ線の連続性に基づいて補間
演算により各エッジ点のｘ、ｙ座標を完成させた後、該
不連続点のｚ座標を内挿演算することを特徴とする。

【００１２】又、請求項５に記載の距離画像算出装置に
よれば、その補間演算は不連続点と不連続点を直線で結
ぶ直線補間演算であることを特徴とする。又、請求項６
に記載の距離画像算出装置によれば、補間演算は、座標
が既知の２つ以上の不連続点を近似的に通過（不連続点
が面上に存在する場合を含む）する曲面（平面を含む）
を求めて、その曲面上に存在する任意の点のｚ座標を
（ｘ，ｙ）座標から求める演算としたことを特徴とす
る。上記の各請求項の装置を用いることで、物体のエッ
ジ点の３次元座標を得ることができる。少なくとも、ｚ
座標、即ち、物体までの距離が分かれば良い装置として
用いるならば、ｚ座標だけを得るようにしても良い。

【００１３】

【発明の作用及び効果】請求項１に記載の距離画像算出
装置によれば、複数の撮像装置が物体を撮像し、それぞ
れ階調化された濃淡の画像データを得る。次に、ｚ座標
算出手段がその複数の画像データに対して、ステレオ照
合により、画像データ上の各エッジ点のｚ座標を算出す
る。この時、各エッジ点のｚ座標が得られない場合があ
る。例えば、ｘ軸方向に平行なエッジ線になる程、ｚ座
標は不定となる。更にノイズ等の影響により、ｚ座標が
不定となる場合がある。

【００１４】連続性判定手段は、例えばエッジ点周りの
８方向の画素の強度を調べその連続性を判定する。例え
ば、エッジ点周囲の８方向に微分をとる。微分係数が所
定値以上であれば不連続と判定する。連続性判定手段
は、ｚ座標は不確定であるがｘ、ｙ座標が連続するよう
な場合には、連続していると判定して、１つのエッジ線
を認定する。エッジ点が１つのエッジ線上で移動する
時、ｚ座標は連続的に変化すると考えられる。これによ
り、ｚ座標内挿手段は、連続性判定手段により認定され
たエッジ線上のエッジ点に関して、エッジ点の未確定な
ｚ座標を、ｚ座標が既に確定されているエッジ点のｚ座
標を用いて内挿演算により求める。例えば、加算平均で
内挿する。即ち、上記ｚ座標算出手段と連続性判定手段
とｚ座標内挿手段で物体の全てのエッジ線上にあるエッ
ジ点のｚ座標を求める。即ち、物体の任意の構成点（エ
ッジ点に対応）の３次元座標を得ることができる。これ
により、その物体の形状、大きさと共にその姿勢を正確
に認識することができる。よって、例えば、その物体を
先行車輌とした場合、先行車輌までの距離および右折、
左折等の姿勢を把握することができる。従って、本発明
の装置を先行車両追従装置に用いた場合には、その先行
車輌を追従させるデータを提供することができる。尚、
上記エッジ線は、物体の輪郭、物体を構成する部品の境
界等のエッジ線を意味し、直線、曲線、任意の線状形状
を意味する。例えば、水平エッジ線、垂直エッジ線、斜
めエッジ線、曲線エッジ線等全てのエッジ線を含む。
又、ステレオ照合は撮像装置で得られた画像データに対
して行っても、所定の画像処理をした後の画像データに
対して行っても良い。例えば、空間１次微分、空間２次
微分等を施した画像データに対してステレオ照合を行っ
ても良い。又、撮像装置で得られる画像データは濃淡、
又は／及び色相を含むデータである。本装置は、物体ま
でのｚ座標（距離）を求める装置であって、その用途は
特に限定するものではない。

【００１５】請求項２に記載の距離画像算出装置によれ
ば、ｚ座標算出手段によってはｚ座標が未確定なエッジ
点が、ｚ座標が確定したエッジ点によって挟まれている
場合、そのｚ座標が確定しているエッジ点を両端とし、
これらのエッジ点のエッジ線に沿った方向の座標に比例
して、そのｚ座標が未確定なエッジ点のｚ座標を算出す
る。これにより、未確定のｚ座標が連続するエッジ線に
対しても、確実にそのｚ座標を算出することができる。

【００１６】請求項３に記載の距離画像算出装置によれ
ば、水平エッジ線上のエッジ点はｚ座標が確定し難く、
垂直エッジ線上のエッジ点はｚ座標が正確に確定し易い
ことを利用して、水平エッジ線上のエッジ点のｚ座標が
確定される。任意に選択された一つのエッジ線がｘ軸方
向に略平行な水平エッジ線の場合には、水平エッジ線又
はその延長線とｙ軸方向に略平行な垂直エッジ線との交
点を両端点とする。この両端点のｘ座標及びｚ座標と、
水平エッジ線上のｚ座標を求めるエッジ点のｘ座標とか
ら、そのエッジ点の未確定なｚ座標を、比例演算により
求める。これにより、未確定なｚ座標が連続する水平エ
ッジ線に対しても、確実にそのｚ座標を算出することが
できる。

【００１７】請求項４に記載の距離画像算出装置によれ
ば、例えば、物体を先行車輌とした場合、左右両端には
連続した垂直エッジ線が得られるが、その垂直エッジ線
を両端とする略水平エッジ線には不連続点が生じる場合
がある。例えば、水平エッジ線は車輌のバンパーであ
り、不連続点はそのバンパーに取り付けられたナンバー
プレートである。又、画像取り込み時の背景とのコント
ラスト等により、先行車輌の輪郭エッジ線に不連続点が
生じる場合がある。この時、その不連続点のｘ、ｙ、ｚ
座標は検出されない。

【００１８】このような場合は、連続性判定手段は不連
続性を判定する。そして、その欠落点を、例えば直線補
間、円弧補間等で補間し、各エッジ点のｘ、ｙ座標を先
ず完成させる。その後、上述したステレオ照合により各
エッジ線上の各エッジ点のｚ座標を算出する。そして、
不確定のｚ座標に対しては、そのｘ、ｙ座標を基にｚ座
標内挿手段によって算出する。よって、物体の各エッジ
線が不連続であっても、各エッジ点の３次元座標を確定
することができる。

【００１９】請求項５に記載の距離画像算出装置によれ
ば、上記補間演算はエッジ線の不連続点と不連続点を直
線で結ぶ直線補間である。よって、計算量が少なく計算
時間が短縮される。よって、高速に物体の３次元座標を
確定することができる。従って、高速応答が要求され
る、例えば自動車の自動追従装置等に適用することがで
きる。請求項６に記載の距離画像算出装置によれば、補
間演算は、座標が既知の２つ以上の不連続点を近似的に
通過（不連続点が面上に存在する場合を含む）する曲面
（平面を含む）を求めて、その曲面上に存在する任意の
点のｚ座標を（ｘ，ｙ）座標から求める演算としている
ので、任意点のｚ座標を座標が既知の他の複数の点の座
標から、一般的な補間演算により求められる。 よっ
て、多様な画像の任意点におけるｚ座標をより一般化し
て求めることが可能となる。

【００２０】

【発明の実施の形態】図１に、本発明の距離画像算出装
置の１実施例を示す。図は、システム構成図である。本
発明の距離画像算出装置は、所定の離間距離で配置され
たカメラ１０，１１、カメラから送出される映像信号を
高速Ａ／Ｄ変換し記憶するフレームメモリ１２，１３、
フレームメモリ１２，１３に取り込まれた画像データか
らエッジ画像を抽出するエッジ画像抽出部１４、フレー
ムメモリ１２，１３に取り込まれた一方の画像データに
探索領域を設定する探索領域設定部２０、その探索領域
に関して他方の画像データと相関を取り視差を求めるス
テレオ照合手段であるステレオ照合部１６、その視差に
基づいて物体のｚ座標を算出するｚ座標算出手段である
ｚ座標算出部１６ａ、ｚ座標算出部１６ａの結果に基づ
いて内挿演算し、物体の水平エッジ線にｚ座標を与える
ｚ座標内挿手段であるｚ座標内挿部１７、物体の全ての
エッジ線に確定された３次元座標に基づいて、物体の大
きさ、形状、姿勢を算出する物体認識部１８から構成さ
れる。

【００２１】尚、上記エッジ画像抽出部１４、ステレオ
照合部１６、ｚ座標算出部１６ａ、ｚ座標内挿部１７、
物体認識部１８及び探索領域設定部２０は、図示しない
ＣＰＵと演算処理プログラムが書かれた図示しないＲＯ
Ｍおよびそのプログラム実行時の作業領域メモリである
図示しないＲＡＭから構成される。又、エッジ線の連続
性を判定する連続性判定手段は、後述するプログラムで
ある。上記要素は、各種信号線からなるシステムバス１
９により接続されており、上記ＣＰＵとＲＯＭに書かれ
た各種プログラムによって、データが授受され、コント
ロ−ルされる。

【００２２】次に、本実施例による距離画像算出装置の
動作を図２に示す物体認識プログラムのフローチャート
に従って説明する。ここでは物体は先行車輌であり、図
示しない物体認識開始スイッチにより上記プログラムが
ＯＮされ、ステップＳ１００から実行される。ステップ
Ｓ１００では、撮像装置であるカメラ１０，１１から物
体画像がフレームメモリ１２，１３に取り込まれる。フ
レームメモリ１２，１３は、複数のＲＡＭから構成され
るものであり、その１単位（１枚）は、ＣＣＤ撮像素子
の各画素に対応した、総数５１２×５１２のＲＡＭであ
る。任意の画素は座標（ｘ、ｙ）と、輝度Ｉで表され、
その輝度Ｉは例えば０〜２５５段階に階調化される。以
降、この階調化された画像を画像データと呼ぶ。又、こ
の時、画面の左上角がｘｙ座標系の原点であり、水平方
向にＸ軸、垂直方向にＹ軸が設定される。

【００２３】次にステップＳ１１０に移る。ステップＳ
１１０はステップＳ１２０の探索領域決定のための前処
理として、何れか一方の上記画像データからエッジ画像
を抽出する。エッジ画像とは、例えば、前方の先行車輌
の輪郭画像と先行車輌構成部品の境界である。エッジ画
像は、具体的には、何れかのフレームメモリ１２，１３
に取り込まれた画像に対して、マトリクス重み付け演算
であるソーベル演算等を行うことで得られる。得られる
画像は、それぞれ輝度勾配を表わす微分画像である。微
分画像は、強度の変化点を強調するので、先行車輌の輪
郭および構成部品の境界等がエッジ線として細線化して
得られる。

【００２４】細線化された、先行車輌のエッジ画像を図
３に示す。先行車輌のエッジ画像は、主に垂直エッジ線
と水平エッジ線および斜め方向のエッジ線に分類され
る。特にここでは、エッジ点がｙ方向に連続した垂直エ
ッジ線Ｖ_s ，Ｖ_e およびエッジ点がｘ方向に連続した水
平エッジ線Ｈ₁ 等が得られる。尚、破線で囲まれた部分
が垂直エッジ線Ｖ_s ，Ｖ_e と判断され、その延長は曲線
又は斜め線と判断される。又、この垂直エッジ線Ｖ_s ，
Ｖ_e と水平エッジ線Ｈ₁ は、交点Ｐ_s とＰ_e で接続され
連続している。この連続性により、この物体は１体であ
ることが判別される。次いで、ステップＳ１２０に移行
する。

【００２５】ステップＳ１２０では、相関演算の演算量
を最小にするため、演算に使用する探索領域を設定す
る。例えば、上記エッジ画像を所定の間隔毎に水平方向
に探索し正負のピークを得る。そして、その正のピーク
をエッジ点とし、その座標（ｘ、ｙ）を記憶する。更
に、そのエッジ点を中心に、縦Ｎ個横Ｍ個の画素でマト
リクス状に構成される探索領域を設定する。これによ
り、複数の探索領域Ａ_k が決定される（図３）。次い
で、ステップＳ１３０に移行する。

【００２６】ステップＳ１３０では、ステップＳ１２０
で得られた探索領域を利用して、ステップＳ１００で得
られた一対の画像データ間のステレオ照合が行われる。
ステレオ照合は、一対の画像データの相関演算によって
行われる。図４を用いて、相関演算を説明する。図４
（ａ）はフレームメモリ１２による右画像であり、図４
（ｂ）がフレームメモリ１３による左画像である。先
ず、図４（ａ）の右画像にステップＳ１２０で得られた
探索領域Ａ_k を設定する。基準点座標（ｘ、ｙ）をマト
リクスの左上角に設定すれば、その探索領域Ａ_k 内にお
ける任意点（ｍ、ｎ）の輝度Ｉ_r は、Ｉ_r （ｘ＋ｍ、ｙ
＋ｎ）で表される。但し、ｎ，ｍは、０＜ｎ≦Ｎ，０＜
ｍ≦Ｍであり、Ｎ，Ｍは、例えば共に４である。

【００２７】又、図４（ｂ）の左画像に上記探索領域Ａ
₁ と同じ大きさの微小領域Ｂ_k を設定する。この時、基
準点座標を（ｘ＋ｄｉｓｐ、ｙ）とすれば、微小領域Ｂ
_k における任意点（ｍ、ｎ）の輝度Ｉ_l は、Ｉ_l （ｘ＋
ｄｉｓｐ＋ｍ、ｙ＋ｎ）で表される。ここに、ｄｉｓｐ
は相関を探索する為の変位量（画素数）である。そし
て、変位量ｄｉｓｐを０から例えば５１１画素変化させ
て、下記の式（２）に従って、その差が最小となる変位
量ｄｉｓｐを求める。相関演算は、このようにしてが行
われる。そして、式（２）を最小とする変位量ｄｉｓｐ
がその点におけるカメラ視差となる。尚、この場合の相
関演算は、両画像データが互いに左右にシフトしている
だけであるので、ｙ座標を一定としｘ方向のみに行なわ
れる。

【００２８】

【数２】 Ｓ_xy＝Σ_m Σ_n ｜Ｉ_r （x+m 、y+n ）−Ｉ_l （x+disp+m、y+n ）｜ ・・・（２） 現実には、カメラ１０，１１には感度差があるので、そ
の差を解消する為、更に探索領域Ａ_k ，微小領域Ｂ_k の
平均が差し引かれ、相関は式（３）の演算で行われる。
尚、感度差が無い場合は、式（２）でもよい。

【数３】 Ｓ_xy＝［Σ_m Σ_n ｜（Ｉ_r （x+m 、y+n ）−ave _r ） −（Ｉ_l （x+disp+m、y+n ）−ave _l ）］／ＭＮ ・・・（３） 但し、 ａｖｅ_r ＝〔Σ_m Σ_n Ｉ_r （ｘ＋ｍ、ｙ＋ｎ）〕／ＭＮ ａｖｅ_l ＝〔Σ_m Σ_n Ｉ_l （ｘ＋ｄｉｓｐ＋ｍ、ｙ＋ｎ）〕／ＭＮ である。

【００２９】従って、詳細にはこの式（３）を最小とす
る変位量ｄｉｓｐを求め、ｄｉｓｐ×１画素の実寸とし
て、その微小領域におけるカメラ視差Δｘ（長さ）を求
めることができる。このカメラ視差を△ｘ、カメラの離
間距離をＢ、カメラの焦点距離をｆとすれば、各エッジ
画像の構成点（エッジ点に対応）のｚ座標が前出の式
（１）、即ちｚ＝ｆ・Ｂ／△ｘによって確定される。従
って、ステップＳ１１０のエッジ画像抽出時のｘ，ｙ座
標を加えれば、エッジ画像の各エッジ点が３次元座標で
算出される。以上の様に、ステップＳ１３０のステレオ
照合では、各エッジ点のカメラ視差およびそのｚ座標お
よびｘ、ｙ座標を追加した３次元座標が算出される。次
いで、ステップＳ１４０に移行する。

【００３０】しかしながら、上記方法では水平エッジ線
Ｈ₁ （図３）についてはカメラ視差、即ちｚ座標が不定
となる。それは、水平エッジ線が水平方向にシフトされ
ても、上記方法では両水平エッジ線が重なり、その結果
多数の解を持つためである。この水平エッジ線のｚ座標
を確定するため、このステップＳ１４０と続くステップ
Ｓ１５０で、ｚ座標の内挿演算を行う。先ず、ステップ
Ｓ１４０では水平エッジ線を確定するため水平エッジ線
検出を行う。次いで、ステップＳ１５０に移行する。

【００３１】ステップＳ１５０では、検出された水平エ
ッジ線、例えば図３の水平エッジ線Ｈ₁ の各エッジ点の
ｚ座標をｘ方向に沿って逐次、内挿算出する。内挿演算
の詳細を図５のフローチャートに示す。これは、目的の
水平エッジ線をｘ方向に沿って探索し、そのｚ座標を内
挿するアルゴリズムである。

【００３２】先ずステップＳ１５１では、連続性判定手
段によって上記水平エッジ線Ｈ₁ と他の垂直エッジ線と
の連続性をチェックする。連続性判定手段は、例えばエ
ッジ点周りの８方向の画素の強度を調べ、その８方向に
微分をとる。微分係数が所定値以上であれば、不連続と
判定する。所定値以下であれば連続と判定して、それを
交点Ｐ_s ，Ｐ_e とし、その座標（ｘ_s 、ｙ_s 、ｚ_s ）と
座標（ｘ_e 、ｙ_e 、ｚ _e ）を記憶する。次いで、ステッ
プＳ１５２でその両点のｘ方向への離間距離Ｌを求め
る。離間距離Ｌは、Ｌ＝｜ｘ_s −ｘ_e ｜である。これ
は、後のステップＳ１５６，１５７での比例配分時で使
用するためである。次いで、ステップＳ１５３に移行す
る。

【００３３】ステップＳ１５３では、水平エッジ線の現
在の探索点が開始点か否かをチェックする。開始点であ
れば、ステップＳ１５４に移行し、開始点のｚ座標を交
点Ｐ _s のｚ座標ｚ_s とする。又、開始点でなければ、ス
テップＳ１５５に移行する。

【００３４】ステップＳ１５５では、現在の探索点が水
平エッジ線の終点か否かをチェックする。終点であれば
ステップＳ１５８に、終点でなければ、ステップＳ１５
６に移行する。

【００３５】ステップＳ１５６では、現在の探索点の位
置を上記垂直エッジ線の離間距離Ｌに対する比ｔで求め
る。これは、ステップＳ１５７の比例配分で使用する為
である。上記離間距離Ｌに対する比ｔは、ｔ＝（探索点
のｘ座標−ｘ_s ）／Ｌで求められる。ここで、上記垂直
エッジ線Ｖ_s ，Ｖ_e と水平エッジ線Ｈ₁ の関係、現在の
探索点Ｐ_t と開始点Ｐ_s および終点Ｐ_s の関係図を図６
に示す。水平エッジ線Ｈ₁ は、離間距離Ｌの垂直エッジ
線Ｖ_s ，Ｖ_e に挟まれその交点がＰ_s ，Ｐ_e となってい
る。この幾何学的な関係図より、探索点Ｐ_t のｚ座標を
求める為、次のステップＳ１５７に移行する。

【００３６】ステップＳ１５７では、上記の探索点Ｐ_t
のｚ座標を比例配分によって求める。比例配分とは、次
式（４）による内挿演算である。

【数４】 ｚ_t ＝（１−ｔ）ｚ_s ＋ｔｚ_e ・・・（４） この解に、現在の探索点の平面座標（ｘ_t 、ｙ_t ）を付
加すれば、探索点の３次元座標（ｘ_t 、ｙ_t 、ｚ_t ）が
確定される。この結果、水平エッジ線Ｈ₁ のｚ座標は、
図７に示すように開始点のｚ座標関連値をｚ_s ＝１３、
終点のｚ座標をｚ_e ＝１５とすると、その間のブロック
ｂ₂ ，ｂ₃ ，ｂ₄ ，ｂ₅ には、上記内挿演算より順に１
３、１３、１４、１４、１５が内挿される。ここに、ｂ
₁ ・・・ｂ₆ は、１画素又はマトリクス状に形成され
た、例えば４×４画素の集まりを表す。又、記された数
字は、ｚ座標に関連する視差、即ち変位量ｄｉｓｐであ
る。これは、実際には式（１）によりｚ座標に換算され
る。内挿値は、このように記憶される。次いで、ステッ
プＳ１５８に移行する。

【００３７】ステップＳ１５８では、全ての水平エッジ
線が終了か否かチェックする。終了でなければ、次の水
平エッジ線を指定してステップＳ１５３に戻り、上記ル
ーチンを繰り返す。又、終了であればステップＳ１５９
でリタンされ、ステップＳ１６０（図２）に移行する。
ステップＳ１５０での結果を図８に示す。３次元座標
は、いちいち記さないが、このように水平エッジ線の各
エッジ点が全て算出される。その後ステップＳ１６０に
移行する（図１）。

【００３８】ステップＳ１６０では、垂直エッジ線も含
めた全てのエッジ画像のエッジ点に付けられた３次元座
標を基にして、物体の大きさ、形状、姿勢を算出し認識
する。又、物体までの距離も検出される。そして、ステ
ップＳ２００で終了処理される。

【００３９】このように、対向した垂直エッジ線とそれ
に接続された複数の水平エッジ線で構成された物体は、
上記内挿演算により全て３次元座標で表現される。即
ち、物体を車輌前方にある先行車輌とすれば、その大き
さ、形状、先行車輌までの距離および先行車輌の姿勢が
リアルタイムで容易に把握される。従って、距離と姿勢
を、例えば自動追従装置にフィードバックすれば、先行
車輌に自動的に追従させることができる。又、本実施例
では垂直エッジ線と水平エッジ線の連続性も考慮してい
る。従って、２体の物体を１体と誤認識することがな
い。従って、従来より認識能力に優れたより安全な距離
画像算出装置となる。

【００４０】（第２実施例）第１実施例では、物体の水
平エッジ線および輪郭エッジ線が両端の垂直エッジ画像
に完全に連続した１例であった。しかしながら、場合に
よっては図９のように水平エッジ線Ｈ₂ ，Ｈ₃ がｘ、
ｙ、ｚ座標とも不連続となる場合がある。又、物体の輪
郭が汚れ等によって同じく不連続となる場合がある。こ
のような場合は、図１０に示すフローチャートを挿入す
ることによって、先ず欠落した（ｘ、ｙ）座標をエッジ
画像上で補間し、その後、第１実施例のｚ座標内挿演算
が行われる。

【００４１】図１０のフローチャートを用いて簡単に説
明する。本実施例のアルゴリズムは、第１実施例のステ
ップＳ１４０とステップＳ１５０間に挿入される。他の
処理は、第１実施例と同等である。ステップＳ１４０の
処理後、ステップＳ１４５に移行する。

【００４２】ステップＳ１４５では、エッジ画像におい
て垂直エッジ線Ｖ_s から延びたエッジ線に不連続点があ
るか否かをチェックする。これは、例えば、左端の垂直
エッジ線Ｖ_s から探索する水平エッジ線を辿って、右端
の垂直エッジ線Ｖ_e に到着できるか否かで判定される。
これにより、水平エッジ線Ｈ₂ がＱ₁ ，Ｑ₂ で、水平エ
ッジ線Ｈ₃ がＱ₅ ，Ｑ₆ で、また輪郭エッジ線がＱ₃ 、
Ｑ４で不連続であることが判定される。不連続点があれ
ばステップＳ１４６に、なければステップＳ１４７に移
行する。

【００４３】ステップＳ１４６では、不連続点間の補間
を次の様に行う。例えば、水平エッジ線Ｈ₂ に関して
は、点Ｑ_s ，Ｑ₁ ，Ｑ₂ ，Ｑ_e がほぼ直線上にある。よ
って、最小２乗法等を使用して、直線補間でＱ₁ 、Ｑ₂
間の点が補間される。水平エッジ線Ｈ₃ に関しても同様
に直線補間で、点Ｑ₅ ，Ｑ₆ 間の点が補間される。又、
輪郭エッジ線の場合は、点Ｑ_s ，Ｑ₃ 、Ｑ₄ が円弧上に
あると近似できる。よって、点Ｑ₃ 、Ｑ₄ 間の点は円弧
補間によって補間される。これにより、左端の垂直エッ
ジ線Ｖ_s から延びた水平エッジ線又は輪郭エッジ線は、
右端の垂直エッジ線Ｖ_e と接続される。次いで、ステッ
プＳ１４７に移行する。

【００４４】ステップＳ１４７では、全てのエッジ画像
について不連続点のチェックが終了したか否かを判定す
る。終了していなければ、ステップＳ１４５に戻り同じ
ルーチンを繰り返す。これにより、終了時点では、全て
のエッジ画像が連続した状態となる。即ち、第１実施例
で得たエッジ画像と同等となる。この状態で、ステップ
Ｓ１５０に移行する。エッジ画像には、不連続点がない
ので、ステップＳ１５０以降の第１実施例のアルゴリズ
ムがそのまま適用される。このような、ｘｙ補間を行え
ば、様々な先行車輌に対しても、第１実施例と同等の精
度のよい認識ができる。

【００４５】以上、本発明を表わす１実施例を示した
が、他にさまざまな変形例が考えられる。例えば、上記
ｘｙ補間演算には、直線補間、円弧補間を用いたが、他
にスプライン補間、最小２乗近似曲線補間で補間するこ
ともできる。ｚ座標の補間は、次にようにしても行うこ
とができる。即ち、エッジ線は空間曲線（直線を含む）
として連続して変化していると考えられるので、このエ
ッジ曲線が存在する曲面（平面を含む）を考える。この
曲面の方程式をｚ＝ｆ（ｘ，ｙ）として、座標が既知の
点の値から、最少自乗近似によりこの曲面の法定式を決
定する。次に、ｚ座標が未定の点に関して、（ｘ，ｙ）
座標をｚ＝ｆ（ｘ，ｙ）に代入することで、ｚ座標を補
間演算することができる。この曲面は、任意の曲面であ
る。又、その方程式を直線とすれば、上記した直線補間
となる。

【００４６】又、第１実施例ではステレオ照合を階調化
された画像データについて行ったが（図１）、エッジ画
像抽出部１４、１５によって抽出されたエッジ画像間で
行ってもよい。即ち、図１１に示すようにエッジ画像抽
出部１４、１５をフレームメモリ１２、１３とステレオ
照合部１６の間に挿入し、エッジ画像間で相関演算を行
っても、同様にカメラ視差が得られる。即ち、図４に示
す相関演算を行うのに使用されるデータを微分画像とし
ても良い。微分画像であるので、輪郭で相関をとる関係
上、精密な対応関係が得られる。即ち、ｚ座標の精度が
向上する。これにより、第１実施例と同様に物体を正確
に認識することができる。

【図面の簡単な説明】

【図１】本発明の１実施例に係る距離画像算出装置のシ
ステムブロック図。

【図２】本発明の第１実施例に係る物体認識の処理手順
を示すフローチャート。

【図３】本発明の第１実施例に係る物体のエッジ画像。

【図４】本発明の第１実施例に係る探索領域を用いた相
関演算説明図。

【図５】本発明の第１実施例に係る内挿演算を示すフロ
ーチャート。

【図６】本発明の第１実施例に係る水平エッジ線と垂直
エッジ線の関係図。

【図７】本発明の第１実施例に係る内挿補間演算結果を
示す説明図。

【図８】本発明の第１実施例に係る内挿補間された水平
エッジ線の説明図。

【図９】本発明の第２実施例に係る不連続エッジ画像の
説明図。

【図１０】本発明の第２実施例に係るフローチャート。

【図１１】本発明の第１実施例に係る変形システムブロ
ック図。

【符号の説明】

１０，１１ カメラ １２，１３ フレームメモリ １４，１５ エッジ画像抽出部 １６ ステレオ照合部 １６ａ ｚ座標算出部 １７ ｚ座標内挿部 １８ 距離画像算出装置 １９ システムバス ２０ 探索領域設定部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 太田 充彦 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 Ｆターム(参考） 2F112 AA07 AC06 BA06 CA05 CA12 FA03 FA07 FA21 FA36 FA38

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数の撮像装置により物体を撮像し、得ら
   れた複数の画像データから物体までの距離を算出する距
   離画像算出装置であって、撮像装置の離間方向にｘ軸、
   撮像装置から物体方向にｚ軸、両軸に垂直な方向にｙ軸
   をとるとき、 前記画像データからエッジ点を抽出し、該エッジ点の結
   合から画像上のエッジ点の連続性を判定してエッジ線を
   認定する連続性判定手段と、 前記複数の撮像装置により得られた画像データに基づく
   ステレオ照合により、前記画像データ上の少なくとも前
   記エッジ点のｚ座標を演算するｚ座標演算手段と、 前記連続性判定手段により認定されたエッジ線上のエッ
   ジ点に関して、前記ｚ座標算出手段によってはｚ座標が
   未確定なエッジ点のｚ座標を、ｚ座標が既に確定されて
   いるエッジ点のｚ座標を用いて内挿演算により求めるｚ
   座標内挿手段とを備えたことを特徴とする距離画像算出
   装置。
2. 【請求項２】前記ｚ座標内挿手段は、任意に選択された
   一つのエッジ線上において、ｚ座標が未確定なエッジ点
   を挟むｚ座標が確定しているエッジ点が存在する場合、
   前記ｚ座標が確定しているエッジ点を両端点とし、該両
   端点のｚ座標を基に、前記エッジ線に沿った方向に比例
   して、前記ｚ座標の未確定なエッジ点のｚ座標を比例演
   算により求める手段であることを特徴とする請求項１に
   記載の距離画像算出装置。
3. 【請求項３】前記ｚ座標内挿手段は、任意に選択された
   一つのエッジ線がｘ軸方向に略平行な水平エッジ線の場
   合には、水平エッジ線又はその延長線とｙ軸方向に略平
   行な垂直エッジ線との交点を両端点として、この両端点
   のｘ座標及びｚ座標と、水平エッジ線上のｚ座標を求め
   るエッジ点のｘ座標とから、そのエッジ点の未確定なｚ
   座標を、比例演算により求める手段であることを特徴と
   する請求項１又は請求項２に記載の距離画像算出装置。
4. 【請求項４】前記連続性判定手段は、前記エッジ点の
   ｘ、ｙ座標での連続性判定を含み、ｘ、ｙ座標が不連続
   である場合は、前記ｚ座標内挿手段は補間演算により各
   エッジ点のｘ、ｙ座標を完成させた後、該不連続点のｚ
   座標を内挿演算することを特徴とする請求項１乃至請求
   項３のいずれか１項に記載の距離画像算出装置。
5. 【請求項５】前記補間演算は、不連続点と不連続点を直
   線で結ぶ直線補間演算であることを特徴とする請求項１
   乃至請求項４のいずれか１項に記載の距離画像算出装
   置。
6. 【請求項６】前記補間演算は、座標が既知の２つ以上の
   不連続点を近似的に通過（不連続点が面上に存在する場
   合を含む）する曲面（平面を含む）を求めて、その曲面
   上に存在する任意の点のｚ座標を（ｘ，ｙ）座標から求
   める演算であることを特徴とする請求項１乃至請求項４
   のいずれか１項に記載の距離画像算出装置。