JP2003281552A - 画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】複数のカメラで撮影された複数の画像上でそれ
ぞれ境界線候補を検出し、画像間で求められた境界線候
補同士の対応を取ることによって、視差を計算し、境界
線候補の高さを推定する事によって、安定かつ高速に正
しい走行レーンの境界線を検出できる画像処理装置を提
供する。 【解決手段】画像取得部１では、視点の異なる二つのカ
メラから二つの時系列画像を取り込む。境界線モデル検
出部２では、それぞれの時系列画像について、輝度情報
に基づいて境界線モデルを検出する。対応モデル決定部
３では、二視点の境界線モデル間で、同一の境界線候補
を表す境界線モデルのペアを選択する。高さ推定部４で
は、境界線モデルのペアの画像上での位置の違いから、
境界線モデルの道路面からの高さを推定する。境界線決
定部５では、境界線モデルの道路面からの高さを用い
て、正しい道路面内の境界線を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車載カメラから入
力される時系列画像から、道路面上の白線、及び、ガー
ドレール等の側壁と道路面との境界を安定かつ高速に検
出し、また、これらの検出結果から自車両の走行レーン
を安定して決定する画像処理装置及びその方法に関す
る。

【０００２】

【従来の技術】従来から、自動車に搭載したカメラから
得られる時系列画像から自車両の走行レーンを検出する
方法としてさまざまな画像処理技術が提案されている。

【０００３】“逆投影画像上での候補追跡処理による白
線検出”（中山、窪田、谷口、小野口、電子情報通信学
会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３０２、ｐ
ｐ．１５−２２、２００１）や、特開平１１−１５３４
０６号において、一台のカメラを用いた走行レーンの検
出方法が提案されている。

【０００４】この方法では、単眼カメラで撮影した道路
画像から、路面上に描かれた走行レーンの境界線である
白線を抽出し、自車両が走っている走行レーンを検出し
ている。

【０００５】しかし、このような方法においては、単眼
のカメラで撮影された輝度情報のみに基づいて白線検出
が行われるため、路肩や、ガードレールといった白線と
似た輝度情報を持つ対象物を道路面上の白線として誤認
識してしまい、誤った走行レーンを検出するという問題
がある。また、自車両と同じ走行レーンを走る前方車両
によって、白線が大きく隠れると、走行レーンの検出が
不安定になるという問題もある。

【０００６】単眼カメラを用いた走行レーンの検出方法
の他に、特開平１１−２１３１３８号に代表されるよう
な、複数のカメラによるステレオ視を用いた方法があ
る。

【０００７】「ステレオ視」とは、視点の異なる複数の
カメラによって得られる複数の画像から、対応点探索に
よって、同一対象物を表している特徴点の対応付けを行
い、三角測量の原理を用いてカメラから対象物までの距
離を計測する技術である。

【０００８】上記の方法は、このステレオ視によって得
られる距離情報を統合して、道路の三次元形状を復元
し、壁面と道路面の境界を検出することが可能である。

【０００９】しかし、このような方法においては、ステ
レオ視によって距離情報を得る処理や、距離情報から三
次元形状を復元する処理が複雑になり、計算コストが大
きくなるという問題がある。また、この方法には、ステ
レオ視における対応点探索の問題があり、対象物の形状
によって、一方のカメラに撮影されている対象物がもう
一方のカメラに撮影されないというオクルージョン領域
（隠れ領域）により、誤対応を起こすという問題があ
る。

【００１０】さらに、ステレオ視を用いた走行レーン検
出方法として、ステレオ視と白線検出を組み合わせた方
法がある。

【００１１】特開平９−３２５０２６号では、一方のカ
メラで撮影された画像から白線領域を検出し、白線領域
内の点と対応する点を、もう一方のカメラから求め、対
応点の視差から、白線の路面からの高さを調べるという
方法を用いて走行レーンを検出している。

【００１２】また、特開２００１−９２９７０号は、二
つのカメラを用いたステレオ視によって距離情報を計算
し、この距離情報と一方のカメラからの輝度情報から白
線を検出することによって走行レーンを検出する方法を
とっている。

【００１３】これらの方法により、単眼カメラでは困難
だった道路面のみの白線を求める事が可能であり、また
三次元モデルの復元を行わないため、計算コストの増加
を防ぐことができる。

【００１４】

【発明が解決しようとする課題】しかし、前記ステレオ
視と白線検出を組み合わせた方法においては、白線を一
方の画像のみで検出するため、検出した白線領域が前方
車両などによってオクルージョン領域になっていると、
対応点探索時に誤対応を起こす恐れがある。

【００１５】また、対応点探索を特徴点近傍の局所領域
のみに対して行うため、正しい対応点付近に輝度が類似
している領域があると、容易に誤対応を起こす、という
問題もある。

【００１６】そこで、本発明は、上記の点を考慮してな
されたもので、複数のカメラで撮影された複数の画像上
でそれぞれ境界線候補を検出し、画像間で求まった境界
線候補同士の対応を取ることによって、視差を計算し、
境界線候補の高さを推定する事によって、安定かつ高速
に正しい走行レーンの境界線を検出することを目的とす
る画像処理装置とその方法を提供する。

【００１７】

【課題を解決するための手段】請求項１の発明は、前記
移動体が走行可能な領域を規定する境界線を、前記移動
体に取り付けられた複数の撮影装置によって撮影し、こ
の撮影した複数の画像から前記境界線を求める画像処理
装置において、前記複数の画像を取り込む画像取得手段
と、輝度情報に基づいて前記境界線の候補を境界線モデ
ルとして前記複数の画像毎に検出する境界線モデル検出
手段と、前記複数の画像の中で一の画像を基準画像と
し、この基準画像から検出された境界線モデルを基準モ
デルとし、前記基準画像とは異なる他の画像を比較画像
とし、前記基準モデルと前記比較画像から検出された境
界線モデルとを比較し、前記基準モデルに対応する前記
比較画像から検出された境界線モデルを対応モデルに決
定する対応モデル決定手段と、前記基準画像上における
前記基準モデルと前記対応モデルとの位置の違いから、
前記基準モデルにおける前記移動体が移動する平面から
の高さを推定する高さ推定手段と、前記平面からの高さ
を用いて、前記基準モデルを前記平面に投影して前記境
界線を決定する境界線決定手段と、を有することを特徴
とする画像処理装置である。

【００１８】請求項２の発明は、前記対応モデル決定手
段は、前記基準画像上での前記基準モデルと前記比較画
像から検出された境界線モデルとの位置関係から、前記
対応モデルの候補である対応モデル候補を選択する対応
モデル候補選択手段と、前記基準モデルと前記対応モデ
ル候補の位置関係と画素情報に基づいて、前記基準モデ
ルと前記対応モデル候補との類似度を計算するモデル間
類似度計算手段と、前記類似度に基づいて対応モデル候
補の中から前記対応モデルを選択する対応モデル選択手
段とを有することを特徴とする請求項１記載の画像処理
装置である。

【００１９】請求項３の発明は、前記モデル間類似度計
算手段は、前記境界線モデルは、前記境界線の候補の画
像上での特徴を表す複数のモデル構成領域によって構成
され、前記基準画像上のモデル構成領域が、前記比較画
像上にも存在するかを判定し、存在する場合には、その
比較画像上のモデル構成領域を対応モデル構成領域とし
て選択する対応モデル構成領域選択手段と、前記対応モ
デル構成領域において、前記基準画像上のモデル構成領
域を基準モデル構成領域とし、この対応モデル構成領域
周辺の画素値を用いた所定の評価値を使って、前記対応
モデル構成領域周辺にもっとも評価値の高い点を探索
し、その評価値を前記対応モデル構成領域の評価値と決
定する対応モデル構成領域探索手段と、前記各対応モデ
ル構成領域の評価値を集計して前記対応モデルの類似度
を計算する類似度計算手段と、を有することを特徴とす
る請求項２記載の画像処理装置である。

【００２０】請求項４の発明は、前記対応モデル決定手
段は 前記基準モデルと前記対応モデルを所定の評価値
によって比較し、前記基準モデルより安定して検出され
ている対応モデルを選択する安定境界線モデル選択手段
と、前記選択した対応モデルによって前記基準モデルを
修正する境界線モデル修正手段と、を有することを特徴
とする請求項１〜３のいずれか一項に記載の画像処理装
置である。

【００２１】請求項５の発明は、前記高さ推定手段は
前記撮影装置に撮影されている境界線の候補は全て平面
内にあると仮定して、平面に対する前記撮影装置の取り
付け位置及び角度から、前記比較画像の座標を、前記基
準画像の座標に変換する座標変換を用いて、前記対応モ
デルを前記基準画像の座標に変換する座標変換手段と、
前記基準画像上での前記変換した対応モデルと前記基準
モデルとの距離を視差として計算し、この視差から高さ
を推定する視差計算手段と、を有することを特徴とする
請求項１〜４のいずれか一項に記載の画像処理装置であ
る。

【００２２】請求項６の発明は、前記境界線決定手段
は、前記平面からの高さによって、前記基準モデルが前
記平面内にあるかどうかを判定し、前記平面内にあれば
前記基準モデルを平面内境界線モデルとして決定する平
面内境界線モデル決定手段と、前記基準モデルが、前記
平面にないと判断された場合、その基準モデルを、前記
平面からの高さに応じて前記平面に投影して、投影境界
線モデルを決定する投影境界線モデル決定手段と、前記
平面内の基準モデルと、前記投影境界線モデルから、前
記移動体が走行可能な領域を規定する境界線を選択する
境界線選択手段と、を有することを特徴とする請求項１
〜５のいずれか一項に記載の画像処理装置である。

【００２３】請求項７の発明は、移動体が走行可能な領
域を規定する境界線を、前記移動体に取り付けられた複
数の撮影装置によって撮影し、この撮影した複数の画像
から前記境界線を求める画像処理方法において、前記複
数の画像を取り込む画像取得ステップと、輝度情報に基
づいて前記境界線の候補を境界線モデルとして前記複数
の画像毎に検出する境界線モデル検出ステップと、前記
複数の画像の中で一の画像を基準画像とし、この基準画
像から検出された境界線モデルを基準モデルとし、前記
基準画像とは異なる他の画像を比較画像とし、前記基準
モデルと前記比較画像から検出された境界線モデルとを
比較し、前記基準モデルに対応する前記比較画像から検
出された境界線モデルを対応モデルに決定する対応モデ
ル決定ステップと、前記基準画像上における前記基準モ
デルと前記対応モデルとの位置の違いから、前記基準モ
デルにおける移動体が走行する平面の高さを推定する高
さ推定ステップと、前記平面からの高さを用いて、前記
基準モデルを前記平面に投影して前記境界線を決定する
境界線決定ステップとを有することを特徴とする画像処
理方法である。

【００２４】請求項８の発明は、移動体が走行可能な領
域を規定する境界線を、前記移動体に取り付けられた複
数の撮影装置によって撮影し、この撮影した複数の画像
から前記境界線を求める画像処理方法をコンピュータに
よって実現するプログラムにおいて、前記複数の画像を
取り込む画像取得機能と、輝度情報に基づいて前記境界
線の候補を境界線モデルとして前記複数の画像毎に検出
する境界線モデル検出機能と、前記複数の画像の中で一
の画像を基準画像とし、この基準画像から検出された境
界線モデルを基準モデルとし、前記基準画像とは異なる
他の画像を比較画像とし、前記基準モデルと前記比較画
像から検出された境界線モデルとを比較し、前記基準モ
デルに対応する前記比較画像から検出された境界線モデ
ルを対応モデルに決定する対応モデル決定機能と、前記
基準画像上における前記基準モデルと前記対応モデルと
の位置の違いから、前記基準モデルにおける移動体が走
行する平面の高さを推定する高さ推定機能と、前記平面
からの高さを用いて、前記基準モデルを前記平面に投影
して前記境界線を決定する境界線決定機能と、を実現す
ることを特徴とする画像処理方法のプログラムである。

【００２５】本発明は、視点の異なる複数の撮影装置、
例えば、カメラによって撮影された、画像（例えば時系
列画像）を用いそれぞれの画像上で境界線の候補である
境界線候補の検出を行い、画像間で対応付けを行うこと
によって、検出した境界線候補の路面からの高さを推定
し、その高さを用いて、境界線候補を平面上に投影する
ことによって、正しい道路面上の境界線の検出を行うも
のである。

【００２６】例えば、車両に搭載したステレオカメラか
ら得られる二つの時系列画像を入力画像として、一方の
時系列画像を基準画像、もう一方の時系列画像を比較画
像として、基準画像、比較画像それぞれについて境界線
のモデルを検出する。

【００２７】また、本発明は、基準画像と比較画像の間
で境界線モデルの対応付けを行うため、一般的なステレ
オ視である画像局所情報を用いた対応付けより、オクル
ージョンによる誤対応や、隣接する類似度の高い輝度値
による、誤対応が少なく、かつ対応づけの計算コストも
低い。

【００２８】

【発明の実施の形態】以下、本発明の一実施形態である
画像処理装置について図１から図１２を用いて説明す
る。

【００２９】（１）本実施形態における前提の説明 本実施形態の画像処理装置２０においては、以下のよう
に定義する。

【００３０】・「平面」とは、道路面のことである。

【００３１】・「平面内の境界線」とは、例えば、平面
に描かれた境界線や、投影された境界線をいう。これは
「平面上の境界線」とすると、平面から上方に位置する
境界線も含まれるため、そのあいまいさをなくすため
に、本明細書では「平面内の境界線」とする。

【００３２】・「立体物」とは、路肩、ガードレール、
壁等の、走行レーンに沿って延びる平面からある高さを
持つものである。

【００３３】・「境界線」とは、白線など、道路面に描
かれた道路標識、または、立体物と平面の境界であり、
車両が走行可能な領域を規定するものである。

【００３４】・「境界線候補」とは、白線、路肩、ガー
ドレール、側壁の梁等の、消失点に向かって延びる直
線、または曲線のことであり、車両が走行可能な領域を
規定する境界線の候補のことである。

【００３５】・「境界線モデル」とは、画像上で、境界
線候補を表す特徴点の集合のことであり、この特徴点が
点状のモデル構成領域であり、本実施形態では「モデル
点」という。

【００３６】・「消失点」とは、車両の進行方向を撮影
した時系列画像においては、無限遠点を表す。

【００３７】なお、環境を屋内に限定した場合には、平
面は床、通路などの面である。立体物は壁、机、書棚を
表す。境界線とは、床、通路と壁との境界を表す。境界
線候補は、机の縁や、壁に取り付けられた配管などを表
す。

【００３８】・「アフィン変換」とは下記のような内容
である。

【００３９】すなわち、実空間上の点Ｐが、視点の異な
る二つのカメラによって撮影された時、一方のカメラで
は画像上の点ａ（ｘａ，ｙａ）に、もう一方のカメラで
は画像上の点ｂ（ｘｂ，ｙｂ）にそれぞれ撮影されたと
する。点Ｐが道路平面にあると仮定すると、ｆ（ｘ）＝
Ｆｘ＋ｔで表されるアフィン変換によって、ｂはａと同
じ座標に変換できる。Ｆは２×２の行列、ｔは２×１の
ベクトルであり、カメラ配置が決まれば前もって求めて
おける。

【００４０】もし、点Ｐが平面上になければ、ｂはａと
ずれた位置に変換される。つまり点Ｐが平面に近ければ
近いほどｆ（ｂ）はａに近付く。詳しくは“Ｓｔｅｒｅ
ｏｗｉｔｈｏｕｔ Ｄｅｐｔｈ Ｓｅａｒｃｈ ａｎｄ
Ｍｅｔｒｉｃ Ｃａｌｉｂｒａｔｉｏｎ”Ｈ．Ｈａｔ
ｔｏｒｉ，ｅｔ．ａｌ，ＩｎＰｒｏｃ．ＣＶＰＲ，Ｖｏ
ｌ．１，ｐｐ１７７−１８４，２０００）を参照された
い。

【００４１】（２）画像処理装置２０の構成 図１に本実施形態の画像処理装置２０の構成を示す。

【００４２】画像処理装置２０は、画像取得部１、境界
線モデル検出部２、対応モデル決定部３、高さ推定部
４、境界線決定部５より構成され、各部１〜５の各機能
は、パソコンなどのコンピュータに記憶されたプログラ
ムによって実現する。

【００４３】まず、画像取得部１では、視点の異なる二
つのカメラから二つの時系列画像を取り込む。

【００４４】次に、境界線モデル検出部２では、それぞ
れの時系列画像について、輝度情報に基づいて境界線モ
デルを検出する。

【００４５】次に、対応モデル決定部３では、二視点の
境界線モデル間で、同一の境界線候補を表す境界線モデ
ルのペアを選択する。

【００４６】次に、高さ推定部４では、境界線モデルの
ペアの画像上での位置の違いから、境界線モデルの道路
面からの高さを推定する。

【００４７】次に、境界線決定部５では、境界線モデル
の道路面からの高さを用いて、正しい道路面内の境界線
を決定する。

【００４８】以下、各部の具体的な構成について述べ
る。

【００４９】（３）画像取得部１ 画像取得部１は、時系列画像が取得可能な、視点の異な
る二つのＴＶカメラであり、道路を走行する車両の前方
に取り付けられ、進行方向を撮影している。

【００５０】本実施形態においては、二つのカメラの光
軸は互いに平行であり、かつ、撮影面の水平軸が同じラ
イン上に揃うように設置されているものとする。

【００５１】しかし、本発明においては、上記カメラ配
置に限定されるのではなく、複数のカメラの中で二つの
カメラが一定の距離をおいて配置され、同じ道路面を撮
影してさえいればよい。

【００５２】（４）境界線モデル検出部２ 境界線モデル検出部２では、画像取得部１によって得ら
れる二つの時系列画像のそれぞれから境界線モデルを検
出する。

【００５３】例えば、“逆投影画像上での候補追跡処理
による白線検出”（中山、窪田、谷口、小野口、電子情
報通信学会技術研究報告書、Ｖｏｌ．１０１、Ｎｏ．３
０２、ｐｐ．１５−２２、２００１）に記載されている
方法を用いる。

【００５４】この方法によって検出される境界線モデル
の詳細を図５を用いて説明する。

【００５５】各境界線モデルは、図５の複数の破線で示
されるように、境界線候補に対して生成され、境界線候
補領域に設置される点列によって構成される。この点列
が境界線モデルのモデル点である。

【００５６】また、図５の境界線モデル２のように、境
界線候補が不連続なものであるときは、境界線候補が存
在する画像上の領域のみにモデル点が設置される。

【００５７】（５）対応モデル決定部３ 対応モデル決定部３では、図６に示すように、二視点の
境界線モデルから、同一の境界線候補を表している一組
の境界線候補を選択する。手順の流れを図２に示す。

【００５８】対応モデル決定部３は、図２に示すよう
に、対応する境界線モデルの候補を選択する対応モデル
候補選択部６と、候補毎にモデル間類似度を計算するモ
デル間類似度計算部７と、類似度に基づいて対応する境
界線モデルを決定する対応モデル決定部８とから構成さ
れ、また、安定境界線モデル選択部１５と境界線モデル
修正部１６も有している。

【００５９】（５−１）対応モデル候補選択部６ 図７を用いて、対応モデル候補選択部６の処理を説明す
る。

【００６０】対応モデル候補選択部６では、まずどちら
か一方のカメラで撮影された画像（以下、基準画像とい
う）から検出された境界線モデルを、基準モデルに設定
する（図７のＬ１，Ｌ２，Ｌ３）。

【００６１】次に、もう一方のカメラで撮影された画像
（以下、比較画像という）から検出された境界線モデル
（Ｒ１，Ｒ２，Ｒ３）を比較モデルとして、アフィン変
換によって基準モデルの座標系に変換する（Ｒ１’，Ｒ
２’，Ｒ３’）。

【００６２】図８を用いて、基準モデルＬ１とＲ１’に
注目して説明する。

【００６３】いま、Ｌ１のｉ番目のモデル点（以下、基
準モデル点という）をｌｐｉとして、基準モデル点ｌｐ
ｉを通る水平ライン上にＲ１’のモデル点が存在する
時、このモデル点をｌｐｉに対する対応モデル点ｒｐｉ
とする。

【００６４】以降、基準モデルの基準モデル点に対する
対応モデル点を多用するため、対応関係を保持してお
く。

【００６５】ｌｐｉとｒｐｉ間の水平距離を計算し対応
モデル点間距離ｄｉとする。ここで対応モデル点がＲ
１’に存在しない時、ｄｉ＝０とする。この計算をＬ１
の全ての基準モデル点について行う。

【００６６】つづいて、図８にあるように、消失点から
の垂直距離ｈに比例して小さくなるＡ（ｈ）、Ｌ１のモ
デル点数Ｎ、Ｒ１’の対応モデル点数Ｍ、ｌｐｉの消失
点からの垂直距離Ｈｉを用いて、以下の計算を行いＬ１
−Ｒ１’間の距離Ｄ１を計算する。

【００６７】

【数１】 消失点から垂直距離が大きくなると、モデル点間の距離
が大きくなる不公平さをこの重みＡ（ｈ）によって補正
する。Ａ（ｈ）はカメラ配置によって決まるため、前も
って求めておく。

【００６８】同様の処理をＲ２’，Ｒ３’についても行
いＤ２，Ｄ３を計算し、最後に最も小さい上位２モデル
を選択して、対応モデル候補とする。すなわち、基準画
像上での基準モデルに対応するであろう比較画像上での
比較モデルを対応モデル候補という。

【００６９】図８の例でいうと、Ｒ１’とＲ２’がＬ１
の対応モデル候補となる。

【００７０】以上の処理をすべての基準モデルに対して
行い対応モデル候補を選択する。

【００７１】但し、一つの比較モデルが、複数の基準モ
デルから重複して選択されることがあるが、ここでは重
複させておく。

【００７２】（５−２）モデル間類似度計算部７ 図９に示すように、モデル間類似度計算部７では対応モ
デル候補の各対応モデル点毎に相関値を計算し、それら
を集計して、各候補間の類似度を計算する。

【００７３】まず、モデル点間の相関値の計算方法を述
べる。

【００７４】基準モデルのｉ番目のモデル点をｌｐｉ、
対応モデル候補の対応モデル点をｒｐｉとして、画像上
の座標をそれぞれ、（ｘｌ，ｙｌ）、（ｘｒ，ｙｒ）と
する。また、Ｉｌ（ｍ，ｎ）、Ｉｒ（ｍ，ｎ）を、モデ
ル点座標からの相対座標（ｍ，ｎ）における輝度値とす
る。相関値は、二つのモデル点周辺領域に設定されたウ
インドウ内の、輝度値の差の絶対値和（ＳＡＤ）を計算
することによって得られる。このＳＡＤが小さいほどモ
デル点間の相関が高いことを意味している。モデル点間
の相関値ｓｉを以下の式で定義する。

【００７５】

【数２】 ここで、Ｗｈｉは水平方向のウインドウサイズで、後に
記述する方法により、モデル点の消失点からの垂直距離
によって決まる変数であり、Ｗｖは垂直方向のウインド
ウサイズを表し、Ｗｉはウインドウの面積であり、Ｗｉ
＝Ｗｈｉ×Ｗｖとする。

【００７６】図１０に示すように、ｌｐｉとｒｐｉが必
ずしも同一の特徴点を表しているとは限らないので、対
応モデル点ｒｐｉ近傍に、より相関が高い輝度値を持つ
場所を探索する必要がある。この探索によって求まる最
も相関が高い場所、すなわち、下記の式（３）では最も
低い相関値Ｓｉを、最終的な対応モデル点の相関値とす
る。

【００７７】そこで、まずｓｉを、ｓｉ（ｘ，ｙ）、つ
まりｒｐｉ近傍の点（ｘ，ｙ）における相関値として再
定義する。このｓｉ（ｘ，ｙ）を用いたＳｉの計算式を
以下に示す。

【００７８】

【数３】 但し、ｌｐｉに対応するｒｐｉが存在しない時Ｓｉ＝０
とする。ここで、ｄは水平方向の探索距離である。ま
た、Ｄｉはその探索範囲であり、Ｗｈｉと同様に消失点
からの垂直距離によって決まる変数で、ここではウイン
ドウサイズに同期させて、Ｄｉ＝Ｗｈｉとする。ｓｉが
最小となるｄを考慮した座標（ｘ＋ｄ，ｙ）をモデル点
を修正した修正モデル点の座標として保存しておく。

【００７９】相関値を計算するための、ウインドウサイ
ズＷｈｉとＤｉの説明を行う。

【００８０】境界線候補である白線やガードレールは画
像上では消失点に近付くほど小さくなる。このためウイ
ンドウサイズを固定してＳＡＤを計算すると、消失点付
近ではウインドウ内の輝度情報のほとんどが、白線では
なく道路面などの白線以外の特徴を表してしまい、マッ
チングの精度が落ちるという問題がある。また、探索範
囲を固定すると消失点付近では細い白線に対して、広す
ぎる範囲を探索してしまい、誤対応を起こす要因ともな
る。

【００８１】そのため、消失点までの垂直距離が小さく
なるにしたがって、ウインドウサイズと探索範囲を小さ
くすることにより、上記の問題に対処する。モデル間類
似度計算部では相関値を計算する前処理として、この消
失点までの距離毎のウインドウサイズを計算する。本実
施形態では図９のように、垂直方向のウインドウサイズ
は３画素で一定にし、水平方向のウインドウサイズは最
大２０画素、最小３画素で、消失点までの垂直距離に比
例して変化させた。

【００８２】基準モデルの全てのｌｐｉについて同様の
計算を行い、対応モデル候補間での類似度を決定する。
モデル間の類似度Ｓは基準モデルのモデル点数をＮ、対
応モデル点数をＭとして、以下の式で表す。

【００８３】

【数４】 以上の手順で全ての対応モデル候補間の類似度を計算す
る。

【００８４】（５−３）対応モデル選択部８ 対応モデル選択部８は、対応モデル候補の中で、類似度
が所定の閾値以上であり、かつ、最も高い類似度をもつ
対応モデル候補を、対応モデルとして選択する。

【００８５】この時一つの比較モデルが、複数の基準モ
デルによって、対応モデルに選ばれる場合がある。

【００８６】このような場合、重複する比較モデルと最
も高い類似度を持つ基準モデルを選び、この基準モデル
と比較モデルの組み合わせを対応モデルと決定する。そ
して、対応モデルを失った基準モデルは、対応モデル候
補の次の候補（２番目に類似度が高いモデル）の類似度
が閾値以上の場合に、そのモデルを最終的な対応モデル
として決定する。上記の条件を満たさない場合は、対応
モデルなしと判断する。

【００８７】（５−４）安定境界線モデル選択部１５と
境界線モデル修正部１６ ここで、図１２に示すように基準モデルのカメラから撮
影される道路面の白線（白線１）が、前方車両によって
大きく隠れてしまう状況を考慮して以下の処理を基準モ
デルに対して安定境界線モデル選択部１５と境界線モデ
ル修正部１６で行う。

【００８８】安定境界線モデル選択部１５において、境
界線の長さを評価値として、対応モデルの長さと基準モ
デルの長さを比較する。

【００８９】そして、境界線モデル修正部１６では、対
応モデルの長さの方が、基準モデルの長さより長いと判
断される場合、対応モデルの各モデル点を基準モデルの
画像上にアフィン変換し、アフィン変換後のモデル点
を、基準モデルのモデル点として再設定する。

【００９０】これにより、図１２に示すように一方のカ
メラから撮影される道路面の白線が（白線１）、前方車
両によって大きく隠れてしまうような状況であっても、
視点の異なるもう一方のカメラから撮影された白線（白
線２）と対応をとることにより、白線２を用いて、白線
１の隠れた領域を補間し、より正確な境界線を設定する
ことができる。

【００９１】（６）高さ推定部４ 高さ推定部４では、基準モデルと対応モデルの視差を用
いて、道路面からの高さを推定する。手順の流れを図３
に示す。

【００９２】まず、対応モデルを、基準モデルの画像上
にアフィン変換する。変換するのは、対応モデルのモデ
ル点（ｘ，ｙ）ではなく、モデル間類似度計算部７で求
めた修正モデル点（ｘ＋ｄ，ｙ）である。

【００９３】基準モデル点をｌｐｉとし、この基準モデ
ル点ｌｐｉと同じ水平ライン上に存在するアフィン変換
後の対応モデルの修正モデル点をｒｐ’ｉとする。

【００９４】ｌｐｉとｒｐ’ｉのｘ座標をそれぞれｘｌ
ｉ，ｘｒ’ｉとすると、ｌｐｉとｒｐ’ｉの視差ｄｉ
は、

【数５】 と表される。

【００９５】図１１に示すように、もしこの基準モデル
と対応モデルが道路面に存在する境界線候補を表してい
るなら、全てのｄｉは０になるはずである。また、境界
線候補の路面上からの高さに比例してｄｉは大きくな
り、もし境界線候補が路面の下に存在するならば、ｄｉ
＜０となる。つまり視差ｄｉをもつモデル点の、画像上
での高さは

【数６】 で表すことができる。ここで、定数ａはアフィン変換の
パラメータによって決まる定数であり、前もって求めて
おく。

【００９６】（７）境界線決定部５ 境界線決定部５は、図４に示すように、平面に描かれた
境界線モデルを決定する平面内境界線モデル決定部１２
と、平面に投影した境界線モデルを決定する投影境界線
モデルを決定する投影境界線モデル決定部１３と、移動
体が走行可能な領域を規定する境界線を決定する境界線
決定部１４からなる。

【００９７】（７−１）平面内境界線モデル決定部１２ 平面内境界線モデル決定部１２では、対応モデル決定部
３で対応モデルが見つかった基準モデルについて、高さ
推定部４で求めたモデル点の高さｈｉを用いて、境界線
モデルが路面にあるかどうかの判断を行う。

【００９８】ｈｉは、画像上での路面からの高さを表し
ており、実際の高さが同じであっても、消失点付近の高
さは画像上では低く検出される。このため、ｉ番目のモ
デル点の消失点までの垂直距離をＨｉとして、Ｈｉに比
例して小さくなる重みＢ（Ｈｉ）を用いた重み付き平均
によって、境界線モデルの路面からの高さＭＨを以下の
式で求める。

【００９９】

【数７】 ここで、Ｎはモデル点の総数、Ｍは対応モデル点の総数
である。誤差を考慮してＭＨが一定の範囲内にあれば、
そのモデルを道路面に描かれた白線に決定する。

【０１００】（７−２）投影境界線モデル決定部１３ 投影境界線モデル決定部１３では、対応モデル決定部３
で対応モデルが見つかり、かつ、平面内境界線モデル決
定部１２で、道路面にないと判断された境界線モデルに
ついて処理を行う。

【０１０１】前記平面内境界線モデル決定部１２で求め
た、境界線モデルの高さＨが負である場合、そのモデル
は道路面への写り込み、もしくは対応モデルが誤対応を
起こしていると判断して棄却する。

【０１０２】しかし、境界線モデルの高さＨが正である
場合、この基準モデルは路面内にない、ガードレール等
立体物の境界線モデルであると判断する。

【０１０３】この境界線モデルは路面から浮いているた
め、路面内の正しい境界線候補ではない。そこでｈｉを
用いて立体物と道路面の境界線を求める。

【０１０４】この基準モデルのｉ番目の基準モデル点の
座標を（ｘｉ，ｙｉ）とすると、道路面に投影される平
面境界点は（ｘｉ，ｙｉ−ｈｉ）となる。

【０１０５】この計算を全ての基準モデル点について行
い、この平面境界点を道路面と立体物の境界線である投
影境界線モデルとする。

【０１０６】（７−３）境界線決定部１４ 境界線決定部１４では、平面内境界線モデル決定部１２
によって道路面内にある境界線候補と判断された基準モ
デル（すなわち、平面内の基準モデルである）と、投影
境界線モデル決定部１３で立体物と判断された基準モデ
ルの投影境界線モデルから、最終的な道路面内の境界線
を決定する。

【０１０７】消失点より左にある平面内の境界線モデ
ル、または、投影境界線モデルのうち、最も右側にある
平面内の境界線モデル、または、投影境界線モデルを左
の境界線とする。

【０１０８】また、消失点より右側にある平面内の境界
線モデル、または、投影境界線モデルのうち、最も左に
ある平面内の境界線モデル、または、投影境界線モデル
を、右にある境界線に決定する。

【０１０９】なお、本発明は前記実施形態で記載した内
容に限定されるものではない。

【０１１０】（変更例１）対応モデル決定部３におい
て、類似度計算にモデル点同士の相関値を用いている
が、モデル全体の輝度値の相関値を用いてもよい。

【０１１１】例えば、モデルを形成する全モデル点の輝
度平均を計算し、この輝度平均の差の絶対値をモデル間
の類似度としてもよい。

【０１１２】また、上記の実施形態では、輝度情報を用
いてモデル間の類似度を計算しているが、他にモデルの
特徴をよく表している属性があれば、類似度計算にその
属性を用いることも可能である。

【０１１３】例えば、モデルが生成されてからの時間
（生存時間）の差の絶対値をモデル間の類似度としても
よい。

【０１１４】さらに、モデルの特徴を表す様々な属性に
ついて類似度を計算し、所定の方法でそれら類似度を統
合し、モデル間の類似度としてもよい。

【０１１５】例えば、前記輝度平均の差の絶対値と、前
記生存時間の差の絶対値と、上記の実施形態で用いたＳ
ＡＤによる相関値の重みつき平均を、モデル間の類似度
としてもよい。

【０１１６】（変更例２）境界線モデル検出部２におい
て、どちらか一方の画像全体をアフィン変換した後に境
界線モデル検出しても良い。これにより平面上の境界線
候補の形状は両画像間でほぼ同じ形状になるため、ＳＡ
Ｄの精度が向上する。

【０１１７】また、境界線モデルの各モデル点を画像上
での境界線候補上に設置しているが、境界線候補を道路
面上から見た画像（逆投影画像）に変換して、その逆投
影画像上の境界線候補に各モデル点を設置してもよい。

【０１１８】（変更例３）対応モデル候補選択部６にお
いて、対応モデル候補を上位２つでなく、より多くの候
補を残しても良い。

【０１１９】白線が複数本、密集して道路に描かれてい
るような状況では、より多くの候補を残した方が、誤対
応の可能性が低くなる。

【０１２０】（変更例４）対応モデル決定部３におい
て、二つの時系列画像において、どちらか一方の画像を
基準画像として、その基準画像からの境界線モデルを基
準モデルにする必要はない。

【０１２１】例えば、消失点の左側のモデルの対応モデ
ルを探す時には、左側のカメラからのモデルを基準モデ
ルに設定し、消失点右側のモデルの対応モデルを探すと
きは、右側に位置するカメラからのモデルを基準モデル
にすれば、前方車両による隠れ領域が少ないモデルを基
準モデルに設定可能であるので、より安定して対応モデ
ルを決定することができる。

【０１２２】（変更例５）モデル間類似度計算部７にお
いて、ＳＡＤを計算する時、水平方向ウインドウサイズ
を消失点までの垂直距離に応じて変化させているが、さ
らに垂直方向に変化させてもよい。

【０１２３】（変更例６）安定境界線モデル選択部１５
において、境界線が撮影されている時間の長さを評価値
として、対応モデルの撮影時間と基準モデルの撮影時間
を比較する。

【０１２４】そして、境界線モデル修正部１６では、対
応モデルの撮影時間の長さの方が、基準モデルの撮影時
間の長さより長いと判断される場合、対応モデルの各モ
デル点を基準モデルの画像上にアフィン変換し、アフィ
ン変換後のモデル点を、基準モデルのモデル点として再
設定することもできる。

【０１２５】

【発明の効果】本発明を用いることにより、道路上の白
線と、ガードレールなどの立体物から正しい境界線を検
出することが可能である。

【０１２６】また、モデル同士の対応をとることによっ
て、一般的なステレオ視よりも安定して視差を検出し、
計算量も低減することができる。

【図面の簡単な説明】

【図１】本実施形態の画像処理装置の構成である。

【図２】対応モデル選択部の構成例である。

【図３】高さ推定部の構成例である。

【図４】境界線選択部の構成例である。

【図５】入力画像と検出された境界線モデルについて示
す。

【図６】対応する境界線モデルの例である。

【図７】対応モデル候補の選択方法について示す。

【図８】モデル間の距離計算の方法について示す。

【図９】モデル点同士のテンプレートマッチングを示
す。

【図１０】テンプレートマッチングの探索範囲を示す。

【図１１】道路面からの高さと視差の関係を示す。

【図１２】前方車両によって白線が隠れる様子を示す。

【符号の説明】

１ 画像取得部 ２ 境界線モデル検出部 ３ 対応モデル決定部 ４ 高さ推定部 ５ 境界線決定部 ６ 対応モデル候補決定部 ７ モデル間類似度計算部 ８ 対応モデル選択部 ９ 座標変換部 １０ 視差計算部 １１ 高さ推定部 １２ 平面内境界線モデル決定部 １３ 投影境界線モデル決定部 １４ 境界線決定部 １５ 安定境界線モデル選択部 １６ 境界線モデル修正部 ２０ 画像処理装置

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ (72)発明者 谷口 恭弘 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内 Ｆターム(参考） 2F065 AA12 AA24 BB05 BB15 CC11 DD06 EE00 FF04 JJ03 JJ05 JJ19 JJ26 PP01 QQ00 QQ17 QQ23 QQ24 QQ25 QQ26 QQ27 QQ28 QQ29 QQ32 QQ36 QQ38 QQ41 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CD11 CD20 CH18 DA07 DB02 DC03 DC34 DC36 5H180 AA01 CC04 CC24 LL01 5L096 AA09 BA04 CA05 DA02 FA03 FA25 FA69 GA17 HA07 JA03 LA01

Claims (8)

【特許請求の範囲】
1. 【請求項１】移動体が走行可能な領域を規定する境界線
   を、前記移動体に取り付けられた複数の撮影装置によっ
   て撮影し、この撮影した複数の画像から前記境界線を求
   める画像処理装置において、 前記複数の画像を取り込む画像取得手段と、 輝度情報に基づいて前記境界線の候補を境界線モデルと
   して前記複数の画像毎に検出する境界線モデル検出手段
   と、 前記複数の画像の中で一の画像を基準画像とし、この基
   準画像から検出された境界線モデルを基準モデルとし、
   前記基準画像とは異なる他の画像を比較画像とし、前記
   基準モデルと前記比較画像から検出された境界線モデル
   とを比較し、前記基準モデルに対応する前記比較画像か
   ら検出された境界線モデルを対応モデルに決定する対応
   モデル決定手段と、 前記基準画像上における前記基準モデルと前記対応モデ
   ルとの位置の違いから、前記基準モデルにおける前記移
   動体が移動する平面からの高さを推定する高さ推定手段
   と、 前記平面からの高さを用いて、前記基準モデルを前記平
   面に投影して前記境界線を決定する境界線決定手段と、 を有することを特徴とする画像処理装置。
2. 【請求項２】前記対応モデル決定手段は、 前記基準画像上での前記基準モデルと前記比較画像から
   検出された境界線モデルとの位置関係から、前記対応モ
   デルの候補である対応モデル候補を選択する対応モデル
   候補選択手段と、 前記基準モデルと前記対応モデル候補の位置関係と画素
   情報に基づいて、前記基準モデルと前記対応モデル候補
   との類似度を計算するモデル間類似度計算手段と、 前記類似度に基づいて対応モデル候補の中から前記対応
   モデルを選択する対応モデル選択手段と、 を有することを特徴とする請求項１記載の画像処理装
   置。
3. 【請求項３】前記モデル間類似度計算手段は、 前記境界線モデルは、前記境界線の候補の画像上での特
   徴を表す複数のモデル構成領域によって構成され、 前記基準画像上のモデル構成領域が、前記比較画像上に
   も存在するかを判定し、存在する場合には、その比較画
   像上のモデル構成領域を対応モデル構成領域として選択
   する対応モデル構成領域選択手段と、 前記対応モデル構成領域において、前記基準画像上のモ
   デル構成領域を基準モデル構成領域とし、この対応モデ
   ル構成領域周辺の画素値を用いた所定の評価値を使っ
   て、前記対応モデル構成領域周辺にもっとも評価値の高
   い点を探索し、その評価値を前記対応モデル構成領域の
   評価値と決定する対応モデル構成領域探索手段と、 前記各対応モデル構成領域の評価値を集計して前記対応
   モデルの類似度を計算する類似度計算手段と、 を有することを特徴とする請求項２記載の画像処理装
   置。
4. 【請求項４】前記対応モデル決定手段は 前記基準モデルと前記対応モデルを所定の評価値によっ
   て比較し、前記基準モデルより安定して検出されている
   対応モデルを選択する安定境界線モデル選択手段と、 前記選択した対応モデルによって前記基準モデルを修正
   する境界線モデル修正手段と、 を有することを特徴とする請求項１〜３のいずれか一項
   に記載の画像処理装置。
5. 【請求項５】前記高さ推定手段は 前記撮影装置に撮影されている境界線の候補は全て平面
   内にあると仮定して、平面に対する前記撮影装置の取り
   付け位置及び角度から、前記比較画像の座標を、前記基
   準画像の座標に変換する座標変換を用いて、前記対応モ
   デルを前記基準画像の座標に変換する座標変換手段と、 前記基準画像上での前記変換した対応モデルと前記基準
   モデルとの距離を視差として計算し、この視差から高さ
   を推定する視差計算手段と、 を有することを特徴とする請求項１〜４のいずれか一項
   に記載の画像処理装置。
6. 【請求項６】前記境界線決定手段は、 前記平面からの高さによって、前記基準モデルが前記平
   面内にあるかどうかを判定し、前記平面内にあれば前記
   基準モデルを平面内境界線モデルとして決定する平面内
   境界線モデル決定手段と、 前記基準モデルが前記平面にないと判断された場合、そ
   の基準モデルを、前記平面からの高さに応じて前記平面
   に投影して、投影境界線モデルを決定する投影境界線モ
   デル決定手段と、 前記平面内の基準モデルと、前記投影境界線モデルか
   ら、前記移動体が走行可能な領域を規定する境界線を選
   択する境界線選択手段と、 を有することを特徴とする請求項１〜５のいずれか一項
   に記載の画像処理装置。
7. 【請求項７】移動体が走行可能な領域を規定する境界線
   を、前記移動体に取り付けられた複数の撮影装置によっ
   て撮影し、この撮影した複数の画像から前記境界線を求
   める画像処理方法において、 前記複数の画像を取り込む画像取得ステップと、 輝度情報に基づいて前記境界線の候補を境界線モデルと
   して前記複数の画像毎に検出する境界線モデル検出ステ
   ップと、 前記複数の画像の中で一の画像を基準画像とし、この基
   準画像から検出された境界線モデルを基準モデルとし、
   前記基準画像とは異なる他の画像を比較画像とし、前記
   基準モデルと前記比較画像から検出された境界線モデル
   とを比較し、前記基準モデルに対応する前記比較画像か
   ら検出された境界線モデルを対応モデルに決定する対応
   モデル決定ステップと、 前記基準画像上における前記基準モデルと前記対応モデ
   ルとの位置の違いから、前記基準モデルにおける移動体
   が走行する平面の高さを推定する高さ推定ステップと、 前記平面からの高さを用いて、前記基準モデルを前記平
   面に投影して前記境界線を決定する境界線決定ステップ
   と、 を有することを特徴とする画像処理方法。
8. 【請求項８】移動体が走行可能な領域を規定する境界線
   を、前記移動体に取り付けられた複数の撮影装置によっ
   て撮影し、この撮影した複数の画像から前記境界線を求
   める画像処理方法をコンピュータによって実現するプロ
   グラムにおいて、 前記複数の画像を取り込む画像取得機能と、 輝度情報に基づいて前記境界線の候補を境界線モデルと
   して前記複数の画像毎に検出する境界線モデル検出機能
   と、 前記複数の画像の中で一の画像を基準画像とし、この基
   準画像から検出された境界線モデルを基準モデルとし、
   前記基準画像とは異なる他の画像を比較画像とし、前記
   基準モデルと前記比較画像から検出された境界線モデル
   とを比較し、前記基準モデルに対応する前記比較画像か
   ら検出された境界線モデルを対応モデルに決定する対応
   モデル決定機能と、 前記基準画像上における前記基準モデルと前記対応モデ
   ルとの位置の違いから、前記基準モデルにおける移動体
   が走行する平面の高さを推定する高さ推定機能と、 前記平面からの高さを用いて、前記基準モデルを前記平
   面に投影して前記境界線を決定する境界線決定機能と、 を実現することを特徴とする画像処理方法のプログラ
   ム。