JP2003123197A

JP2003123197A - 道路標示等認識装置

Info

Publication number: JP2003123197A
Application number: JP2001318642A
Authority: JP
Inventors: Takashi Tokuyama; 孝徳山; Koichi Sato; 幸一佐藤
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2001-10-16
Filing date: 2001-10-16
Publication date: 2003-04-25

Abstract

(57)【要約】【課題】車載カメラで周囲を撮影して道路標示、道路
標識等の特定画像を認識する際に、画面全体の画像処理
を行うと処理負担が大き過ぎ、また先行車両と近接する
と、道路標示の一部のみが撮影されるので特定画像の認
識ができない。【解決手段】車載のＣＣＤカメラ１で撮影した動画像
を画像処理基本部２でフレーム画像とし、画像分割部３
で一部の画像範囲部分のみを設定し、その部分に撮影さ
れている所定の画像を抽出して画像部品とする。この部
分の画像を複数集めて画像合成し、中間画像５として画
像認識部８の認識終了部７でテンプレートデータベース
６の特定画像のデータと比較する。一致したものが見つ
かったときには認識を終了し、これを認識結果として出
力する。また画像合成することなく、所定の画像が検出
された時刻と、その画像が変化した時刻と、車速により
撮影した画像の一部を特定し、同データベースのデータ
と比較して認識しても良い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に搭載したカ
メラによって道路及びその周辺を撮影し、道路面に表示
された車線や道路標示、更には道路の周囲に設置される
道路標識や障害物等を認識することができるようにした
道路標示等認識装置に関する。

【０００２】

【従来の技術】近年のデジタルカメラ、ビデオカメラの
技術開発と急速な普及により、これらを小型パソコンや
ＰＤＡに搭載し、更に携帯電話に搭載する等、広く利用
されるようになっている。そのためこのようなカメラを
安価に利用できるようになり、また画像認識技術の進歩
により撮影した画像から所定の物体や形状を容易に認識
することができるようになっているため、これらの技術
を車両に応用することが考えられている。

【０００３】即ち、車両に搭載したカメラによって、道
路上の白線を検知して走行レーンからの逸脱を検出する
こと、前方の車両との距離を保つこと、前方の信号機の
信号を検知して運転者が赤信号の見落としを行わないよ
うにすること、信号のある交差点の通過を検出するこ
と、一方通行や進入禁止等の通行規制標識を検知して運
転者に注意を促すこと、横断歩道や道路周辺の歩行者、
ガードレール、他の車両等の障害物を検知すること等、
撮影した映像信号を処理して特定の物体や形状を認識
し、種々の情報を運転者に示すことが提案されている。

【０００４】一方、近年の車両にはナビゲーション装置
が広く用いられており、誘導経路に沿って目的地まで確
実に、しかも安全に車両を案内することができるように
なっている。しかしながら、単にナビゲーション装置を
用いるのみでは、例えば片側に複数の車線が存在し左側
車線を走行しているとき、走行している車線と交差点で
の右左折の関係に応じて予め車線変更を行っておく必要
があるにもかかわらず、現在走行している車線がいずれ
であるかをナビゲーション装置が知ることができないと
きには、例えば右側車線を走行しているにも関わらず、
「次の交差点で右折です。右車線を走行して下さい。」
のような無意味な案内を行う等、適切な右左折案内を行
うことができない。

【０００５】その対策として前記のように車両にカメラ
を設置し、複数の車線を撮影して車両がどの車線を走行
しているかを検出し、右左折交差点の案内等に際して、
現在の車両の走行車線に応じて適切な案内を行うように
することが提案されている。また、このようにナビゲー
ション装置とカメラを組み合わせることにより、上記の
ような道路上に印された車線以外に交差点の近くの道路
上に矢印として表示される右折用道路、直進用道路、左
折用道路、左折と直進用道路等の道路標示を認識して、
現在走行している車線と誘導経路とを照合し、走行が適
切であるか否かを判断することができるようにもなる。

【０００６】ナビゲーション装置とカメラとを組み合わ
せたシステムを用いると、上記のような適切な案内を行
うナビゲーション装置とすることができると共に、前記
のような道路標識の検出、障害物の検出、白線の検知に
よる走行レーンの検出、道路標示の検出等が可能とな
り、運転者にとって便利な装置とすることができるもの
であるが、それを具体的な手法については本出願人が既
に提案している（特願２００１−０３５２６１号）。

【０００７】

【発明が解決しようとする課題】このように車両にカメ
ラを搭載して道路面を初めとする周囲を撮影し、種々の
情報を利用者に提示するに際して、例えば道路面に印さ
れている道路標示をカメラで撮影し、これを認識するに
際して、例えば図１９（ａ）に示すように、カメラによ
ってその道路標示の全体を一度に撮影できている場合
は、その撮影画像の中から自車両７１の前方において周
囲との輝度の相違によって認識できる道路標示７２を抽
出し、この抽出した道路標示パターン７３と予めメモリ
に記録してある各種道路標示のテンプレート７４とを比
較判別手段７５で比較し、最も適切であると判別される
テンプレートを選択することにより容易に道路標示を認
識し、これを出力することができる。図示実施例におい
ては、直進用道路を示す標示（３）が判別されて出力さ
れた例を示している。

【０００８】しかしながら、例えば図１９（ｂ）に示す
ように前の車両７６との車間距離が少ないときには、こ
の道路標示７２の全体を一度に撮影することができない
ので、これを認識することができないか、或いは不正確
な認識が行われることとなる。また区画線についても、
直進や右左折車線を示す道路標示の一部の部分と明瞭な
区別がつかず、したがって区画線の正確な認識も行うこ
とができなくなる。特に道路が渋滞しているときには、
前の車両との車間距離をあまり長くとらないので、区画
線や道路標示の正確な認識を行うことができない状態が
継続することとなる。

【０００９】更に、これらの区画線や道路標示を検出す
るに際して、カメラで撮影した画像を短時間で処理しリ
アルタイムで検出することが望ましい。しかしながら、
一般のパソコンでは高性能ＣＰＵを用いることができる
ので処理速度が速いのに対して、通常のカーナビゲーシ
ョン装置で使用するＣＰＵでは処理速度が比較的遅く、
リアルタイムでの検出は困難である。

【００１０】したがって本発明は、カメラによって周囲
を撮影し区画線や道路標示を認識するに際して、前を走
行する車両等によって道路標示の全体を一度に撮影する
ことができない場合でも、確実にその道路標示を認識す
ることができ、また、処理速度が速くないデータ処理装
置を用いても高速で区画線や道路標示を識別することが
できるようにした道路標示等認識装置を提供することを
主たる目的とする。

【００１１】

【課題を解決するための手段】本発明に係る道路標示等
認識装置は、上記課題を解決するため、カメラで撮影し
た任意の画像を選択して１枚のフレーム画像を得る画像
処理基本部と、前記１枚のフレーム画像の一部の所定領
域の画像から所定の画像を抽出処理する画像処理部と、
複数枚のフレーム画像の前記画像処理部のデータを用い
て、前記抽出処理した画像に関する複合データを得る画
像データ識別部と、撮影画像から認識すべき特定画像の
データとその画像データに関する情報を蓄積したデータ
ベースと、前記画像データ識別部で得た抽出処理画像の
データと、前記データベースの特定画像のデータとを比
較し、一致した特定画像データに関する情報を出力する
画像認識部とから構成したものである。

【００１２】また、本発明に係る他の道路標示等認識装
置は、前記画像データ識別部が、前記画像処理部におけ
る複数枚のフレーム画像についての前記抽出処理画像デ
ータを合成した複合データを得る画像合成部であり、前
記画像認識部は前記画像合成部で得た合成画像データ
と、前記データベースの特定画像のデータとを比較し、
一致した特定画像データに関する情報を出力するように
したものである。

【００１３】また、本発明に係る他の道路標示等認識装
置は、前記画像データ識別部が、フレーム画像のデータ
から所定の画像を抽出した時刻と、その後のフレーム画
像のデータから抽出処理した所定の画像が変化したこと
を検出した時刻と、車速とにより画像の測長を行う複合
データを得る画像データ識別部としたものである。

【００１４】また、本発明に係る他の道路標示等認識装
置は、前記フレーム画像の一部の所定領域を、先行車両
と自車両の間の路面領域としたのもである。

【００１５】また、本発明に係る他の道路標示等認識装
置は、前記所定領域の画像から抽出処理する所定の画像
を、道路標示、道路標識、信号、ガードレール、路上歩
行者、路上障害物のいずれか一つとしたものである。

【００１６】また、本発明に係る他の道路標示等認識装
置は、前記画像処理基本部から得られた１枚のフレーム
画像を分割する第１の検索用画面分割部を備え、前記画
像処理部は、前記１枚のフレーム画像から分割された複
数の分割画面の画像の中から所定の画像を抽出するよう
にしたものである。

【００１７】また、本発明に係る他の道路標示等認識装
置は、前記画像データ識別部が前記複合データからなる
画像を分割する第２の検索用画面分割部を備え、前記複
合データからなる画像から分割された複数の分割画面の
画像の中から所定の画像を抽出するようにしたものであ
る。

【００１８】また、本発明に係る他の道路標示等認識装
置は、前記第１または第２の検索用画面分割部が路側区
画線を境界として少なくとも路面を表示する水平面と路
面外を表示する垂直面を設定し、各々外枠から画像の３
次元焦点方向への分割線と、左右方向または上下方向の
分割線とにより画面分割を行うようにしたものである。

【００１９】また、本発明に係る他の道路標示等認識装
置は、前記第１または第２の検索用画面分割部が、予め
求めた撮影される物体と撮影した画像の関係により得ら
れる検索すべき画像が含まれる画像領域を基準として画
面を分割するようにしたものである。

【００２０】また、本発明に係る他の道路標示等認識装
置は、カメラで撮影した所定のフレーム画像を得る画像
処理基本部と、前記画像処理基本部により得られたフレ
ーム画像に対し、路側区画線を境界として少なくとも路
面を表示する水平面と路面外を表示する垂直面を設定
し、各々外枠から画像の３次元焦点方向への分割線と、
左右方向または上下方向の分割線とにより画面分割を行
う検索用画面分割部と、前記検索用画面分割部により分
割された分割画面の画像の中から所定の画像を抽出する
画像処理部と、撮影画像から認識すべき特定画像のデー
タとその画像データに関する情報を蓄積したデータベー
スと、前記画像処理部で得た抽出画像のデータと、前記
データベースの特定画像のデータとを比較し、一致した
特定画像データに関する情報を出力する画像認識部とか
らなるものである。

【００２１】また、本発明に係る他の道路標示等認識装
置は、カメラで撮影した所定のフレーム画像を得る画像
処理基本部と、前記画像処理基本部により得られたフレ
ーム画像に対し、予め求めた撮影される物体と撮影した
画像の関係により得られる検索すべき画像が含まれる画
像領域を基準として画面を分割する検索用画面分割部
と、前記検索用画面分割部により分割された分割画面の
中から所定の画像を抽出する画像処理部と、撮影画像か
ら認識すべき特定画像のデータとその画像データに関す
る情報を蓄積したデータベースと、前記画像処理部で得
た抽出画像のデータと、前記データベースの特定画像の
データとを比較し、一致した特定画像データに関する情
報を出力する画像認識部とからなるものである。

【００２２】

【発明の実施の形態】本発明の実施の形態を図面に沿っ
て説明する。図１は本発明による道路標示等認識装置の
作動を行う機能ブロック図であり、車に搭載し車両の前
方を撮影するＣＣＤカメラ１による動画像を画像処理基
本部２に入力し、動画像を構成する１枚ずつのフレーム
画像に分解する。ここではこの装置で用いられるデータ
処理装置の処理速度を考慮して、必要に応じて適宜間隔
でフレームを抽出して出力してもよい。画像処理基本部
２から出力される１枚のフレーム画像を画像分割部３に
入力し、１枚のフレーム画面全体を適宜に分割し、或い
は特定領域部部のみを分割する処理を行う。

【００２３】画像分割部３で分割する手法としては種々
の方式を採用することができるが、例えば通常の画像認
識において行われるように、フレーム画像をＸ軸とＹ軸
で等間隔で矩形に分割し、その中の特定の分割画像を抽
出してその部分の画像認識を行う手法や、後述するよう
な前方に存在する車両等の物体と自車両との間の路面部
分を抽出して分割する方式、更には、フレーム画像から
区画線のレーン情報を抽出し、レーンに沿って分割する
手法等、各種の手法を用いることができる。

【００２４】ここで分割された画面は画像部品となり、
画像合成部４で複数フレームからの複数の画像部品を合
成し、これを中間画像５とする。この中間画像と道路標
示等に関する個々のテンプレートとを記憶しているテン
プレートデータベースのデータとを比較し、一致するも
のを検索し、一致しているときには終了判定部で一連の
画像処理を終了し、その認識結果を出力するようにして
いる。

【００２５】上記のような機能ブロックの実際の作動に
際しては、例えば図２に示す作動フローに従って作動す
ることができる。以下、この作動を前記図１の機能ブロ
ック図、及び図３〜図５に示す実例に沿って説明する。
撮影画像による道路標示等の認識処理に際して、最初車
両に搭載しているカメラによる撮影を行う（ステップＳ
１）。この撮影画像はビデオカメラにより１秒間に４０
フレーム程度撮影される静止画の集合としての動画とな
っている。

【００２６】このようにして撮影した画像について任意
に選択した１つのフレーム画像を画像処理基本部２に取
り込み（ステップＳ２）、取り込んだ画像に対して２値
化処理を行う（ステップＳ３）。その画面に基づいて画
像分割部３において画像の分割処理を行う（ステップＳ
４）。ここで行う画像の分割処理に際しては、前記のよ
うに種々の方式によって行うことができるが、例えば図
３（ａ）に示すような道路標示とその撮影画像に対して
図４に示すような画面分割を行うことができる。

【００２７】即ち、図３（ｂ）に示すように、車間距離
を大きくとる等により自車１０から充分離れた位置に先
行車両１１が存在するときには、車速制限が５０ｋｍ／
ｈであることを示す「５０」の道路標示１２を、図示す
るように１画面で撮影することができるが、図３（ａ）
に示すように自車１０の前に近接して先行車両１１が存
在するときには、先行車両１１によって道路標示１２の
一部しか撮影することができない。このような場合、例
えば図４（ａ）に示すように、撮影したフレーム画像１
３において、自車１０の前方に存在する物体を検出し、
その物体を先行車両１１と認識する。

【００２８】その後図４（ｂ）に示すように、フレーム
画面上において認識された先行車両１１の下方に位置し
自車両１０の画面上で上方に位置する路面を撮影してい
る部分を、適当な左右方向の幅Ｌの範囲を定め分割画面
の設定を行う。このとき、分割画面１４の上下方向の高
さＨは予め設定した高さにしても良いが、この高さＨを
フレーム画面１３上において、先行車両の下部と自車両
の上部の可変の高さとして設定することもでき、その際
には前記図３（ｂ）に示すフレーム画面の例において
は、先行車両と自車両間の１つの分割画面で道路標示１
２を全て認識できることとなる。

【００２９】図４に示すように自車両１０の前に先行車
両が近接することにより、道路標示が１画面で認識する
ことができないときには、上記のような手法による画面
分割を行い、図４（ｂ）に示すように、この分割画面１
４の中において背景色としての道路の色とは明瞭に色、
及び輝度の異なる道路標示１２部分の抽出処理を行う。
このような処理により、分割画像中に道路標示に類する
画像が存在するか否かの判別を行う（ステップＳ５）。

【００３０】なお、カメラにより連続して撮影している
上記分割画面において、通常は常に分割画面の全体がほ
ぼ均一な道路の色が撮影されているのに対して、上記の
ような道路標示が撮影されると、分割画面の中に上記の
ような色、あるいは輝度の異なる部分が存在するので、
道路標示の可能性がある状態になったと判別し、次のス
テップＳ６に進む。また、道路標示の可能性のある画像
が存在しないと判別したときには再びステップＳ１に戻
って、同様の処理を繰り返す。

【００３１】なお、上記のように１フレームの画面全体
の中で、わずかな範囲の分割画面１４の処理を行うのみ
で、自車の走行車線に存在する道路標示の認識処理を行
うことができるので、処理を必要とするデータ量が極め
て少なくてすみ、安価なデータ処理装置を用いても高速
で認識処理を行うことができる。

【００３２】ステップＳ５において、図４（ｂ）に示す
ように道路標示の可能性のある部分が画面上に存在する
と判別されたときには、画像処理された分割画面部分を
一時記憶する（ステップＳ６）。このような状態は図５
に示しており、同図（ａ）の破線枠部分は前記図４
（ｂ）の分割画面１４に相当する部分であり、ここで画
像処理された同図[ｐ］に示す第１フレーム分割画面デ
ータが記憶される。次いで先に記憶した分割画像が存在
するか否かの判別を行い（ステップＳ７）、存在すると
きにはステップＳ８に進み、先に記憶した分割画像と今
回の分割画像との画像合成を行う（ステップＳ８）。こ
の画像合成は図１における画像合成部４において行い、
これを中間画像５として出力する。

【００３３】この状態は図５（ｂ）に示しており、図示
実施例においては先に取り込んで記憶されている第１フ
レームの画像［ｐ］にほぼ連続する画像として、第１１
フレームの画像［ｑ］が示されており、この画像と前記
第１フレームの画像［ｐ］とを合成する。ステップＳ９
においては、前記ステップＳ７で例えば第１フレームの
分割画像を形成したときのように先に記憶した分割画像
が存在しないと判別されたときにはその第１フレームの
画像を用い、また例えば前記フレーム１１の分割画面
［ｑ］を得たときのように、先に記憶した分割画像
［ｐ］が存在するときにはその画面と合成した画面を用
いることにより、記憶しているテンプレートデータベー
スのデータとの比較による画像認識処理を行う（ステッ
プＳ９）。この画像認識処理は、図１における終了判定
部７において行っている。

【００３４】この画像認識処理の結果、実際に画像認識
ができたか否かを判別し（ステップＳ１０）、認識でき
たときにはその認識結果を出力し（ステップＳ１１）、
次の道路標示の認識を行うため前記一連の画像記憶デー
タを削除し（ステップＳ１２）、再びステップＳ１に戻
って前記の作動を繰り返す。前記ステップＳ１０におい
て画像認識ができなかったときには、一連の画像が途切
れたか否かを判別し（ステップＳ１３）、途切れたとき
には画像認識が行われない状態で終了することとなるた
め、先の一連の画像記憶データを削除し（ステップＳ１
２）、再びステップＳ１に戻り新たな道路標示の認識処
理を行う。

【００３５】前記ステップＳ１３において、一連の画像
がとぎれていないと判別されたときには、未だこの画像
認識処理が終了していないので、再びステップＳ１に戻
り、画像認識ができるまで、或いは認識できないうちに
一連の画像が途切れるとき迄上記作動を繰り返す。

【００３６】上記の一連の作動において、前記図５に示
す実例においては、前記と同様の画像の取り込みと分割
画面による処理を継続し、第２１フレームの分割画面
［ｒ］、第３１フレームの分割画面［ｓ］と合成しても
未だ所定のテンプレートデータベースに存在する画像と
一致せず、第４１フレームの分割画像［ｔ］を取り込ん
で合成したとき、この道路標示がテンプレートデータベ
ースの道路表示中に存在する「５０」のデータであるこ
とを認識することができ、この認識結果の「５０」に対
応する情報である「５０ｋｍ／ｈの速度制限」の情報を
出力して一連の認識処理を終了する。

【００３７】本発明における上記のような道路標示等の
認識処理の他、例えば図６〜図１０に示すように、撮影
した道路標示等の画像に基づき、その複数の画像データ
によって画像部分の測長を行い、道路標示等の実際の長
さを推定し、これをテンプレートデータベースのデータ
と比較することにより撮影した道路標示等の認識を行う
こともできる。即ち、この実施例においては図６の機能
ブロック図に示すような構成をなし、前記図１に示す実
施例と同様に、ＣＣＤカメラ１１で撮影した動画像を画
像処理基本部１２で２値化したフレーム画像とする。

【００３８】車両走行領域両側区画線検出部１３では、
そのフレーム画像を元に自車両の走行領域における両側
の区画線を検出する。なお、自車両の走行領域の両側を
示す線としては路側部分の白線や点線、車線間を示す白
線や点線、センターライン、中央分離帯を示す白線や黄
色線の図形等種々のものが存在するが、以下説明の便宜
のためこれらを全て含んだ意味で、自車両の走行領域に
おける両側の「区画線」と称する。その際、自車両を中
心とした左右部分において、区画線としての白線或いは
点線等を検出し、テンプレートデータベース２５に記憶
された区画線としての白線或いは点線等と比較すること
により行う。これらの白線等の検出は、本件発明者等が
既に提案した特願２００１−３５２６１号に記載された
技術、或いはその他の技術を用いることにより実行する
ことができる。

【００３９】前方車両後端検出部１４では、前記画像処
理基本部１２のフレーム画像を元に、前記車両走行領域
両側区画線検出部１３で検出した自車両の走行領域にお
ける両側の区画線の間の範囲で、自車両の前方を走行す
る車両の後端を検出する。この前方車両後端検出部１４
においては、自車両前方の例えば５０ｍ以内に車両が存
在しないときには、例えば両側の区画線内の自車両の５
０ｍ程度を前方車両後端と仮定して処理しても良い。

【００４０】認識用画像領域設定部１５では、前記車両
走行領域両側区画線検出部１３からの自車両の走行領域
における両側の区画線で挟まれ、走行車両後端検出部１
４からの前方を走行する車両の後端から自車両の先端部
分の範囲、或いは前記のように自車両の５０ｍ程度前方
部分から自車両の先端部分の範囲を認識用画像領域とし
て設定する。なお、上記のようにしてカメラで取り込ん
だ動画像における１フレームの静止画像全体の中で、所
定の範囲の画像部分を認識用画像部分として設定する機
能は、前記図１の実施例における画像分割部３の機能に
相当する。

【００４１】道路標示類似画像検出部１６においては、
上記のようにして認識用画像領域設定部１５で得られた
認識用画像領域内における各種の画像の中で、道路標示
のための白い塗料に類似する画像を検出する。その際に
は道路面上の種々の画像データのうち、路面の画像とは
所定以上の輝度の差がある画像を抽出する等により、そ
の検出を行うことができる。

【００４２】認識用画像領域内画像データ識別部１８に
おける特定画像検出部２０では、道路標示類似画像認識
部１６で得られた道路標示のための白い塗料に類似する
画像を取り込み、その画像とテンプレートデータベース
２５に記録された道路標示の各種特定画像のデータの内
で、最初は特に各種特定画像の後端部と比較し、一致す
るものが存在するか、即ち得られた画像がテンプレート
データベース２５に記録された特定の画像の一部に一致
するかを検出する。この特定画像検出部２０では、この
道路標示認識処理が特に車線の走行方向を示す矢印であ
るとき、矢印の後端部の直線部分のデータと一致する画
像が含まれているか否かを検出する。

【００４３】このとき、画像データとテンプレートデー
タとの正確な比較のため、予めＣＣＤカメラ１１の設置
時に使用するカメラの画角を画角データ記憶部１９に記
憶しておき、このデータを取り込み、得られた画像デー
タを画角により調整し、或いはテンプレートデータを画
角に対応して調整したデータとし、画像データとテンプ
レートデータとの比較を行う。その結果、得られた画像
がテンプレートデータベースに記憶されているデータと
一致することが検出されたとき、その画像の後端部が検
出された時刻ｔ１を特定画像検出時刻記憶部２１に記憶
する。なお、前記画角データ記憶部１９には、ＣＣＤカ
メラの撮影範囲を示す画角の他、カメラの設置角度の調
節による画像の中心が路面に対してなす角度等も記憶
し、より正確なデータの比較を行うようにする。

【００４４】前記特定画像検出部２０では、その他上記
のようにして道路標示としての直線が検出された後にお
いて、その直線から左右方向への張り出し部分を同様に
して検出し、検出した時刻ｔ２を特定画像検出時刻記憶
部２１に記憶する。特定画像検出部２０においては、そ
のほか検出した道路標示画像において左右の張り出し部
分が終了したことの検出、及びその時刻ｔ３を特定画像
検出時刻記憶部２１への記憶、特定画像が次第に面積が
小さくなり矢印の先端に近付いていることの検出等を行
うことができる。これらのデータを用いることにより、
より多様な画像データとテンプレートデータとの比較を
行い、種々の特定画像を検出することができ、必要に応
じてそれらの検出された時点ｔ４，ｔ５・・・を特定画
像検出時刻記憶部２１に記憶する。

【００４５】認識用画像領域内画像データ認識部１８に
おける車速データ入力・記憶部２２では、車両が備えて
いる車速センサ１７のデータを取り込み記憶し、必要な
ときに特定画像実際長演算部２３に出力する。特定画像
実際長演算部２３においては、前記のようにして得られ
た例えば矢印の直線部分の後端部を検出した時刻ｔ１
と、その直線から左右方向への張り出し部分が存在する
こと検出した時刻ｔ２との差による時間、更に必要に応
じて特定画像検出時刻記憶部２１に記憶されている各種
時刻の差による種々の時間を求め、車速データ入力・記
憶部２２からの車速データに基づいてこれらの時間に相
当する特定画像の実際の長さを演算する。

【００４６】画像認識部２６の認識終了判定部２７にお
いては、上記のようにして得られた認識用画像領域内画
像データ識別部における特定画像実際長演算部２３で得
られた、道路標示の一部を表す特定画像の実際の長さの
演算値を入力し、そのデータとテンプレートデータベー
ス２５のデータとを比較することにより、対応するテン
プレートデータを求めることができたか、即ち認識は終
了したかを判定する。その終了の判定によりＣＣＤカメ
ラ１１で撮影された道路標示画像の認識が行われ、その
認識結果が出力される。

【００４７】上記のような機能ブロックからなるこの実
施例において、特に道路標示が矢印であるときの撮影画
像の測長による道路標示認識処理は、例えば図７に示す
作動フローに従って作動させることができる。これらの
作動を前記図６の機能ブロック図、及び図８〜図１０の
実例を参照しつつ説明する。

【００４８】撮影画像の測長による矢印道路標示の認識
処理に際して、最初はカメラによる撮影画像取り込み、
及び画像の２値化処理を行う（ステップＳ２１）。これ
らの作動は、前記図１におけるステップＳ１〜ステップ
Ｓ３に相当し、その作動は図６におけるＣＣＤカメラ１
１及び画像処理基本部１２において行う。次いで、走行
車線両側の区画線内で前方車両後端の路面画像の抽出を
行う（ステップＳ２２）。この作動は前記図６における
車両走行領域両側区画線検出部１３において自車両が走
行している領域の両側に存在する区画線を検出し、また
前方車両後端検出部１４において前記区画線間において
自車両の前方を走行する車両の後端部を検出することに
より行う。

【００４９】その後、道路撮影画面に路面とは異なる画
像を検出したか否かの判別を行う（ステップＳ２３）。
この判別に際しては、通常の路面とは輝度や色が異なる
画像が存在するか否かを検出することにより判別するこ
とができる。この判別の結果、路面とは異なる画像を検
出しないときには、再びステップＳ２１に戻って前記作
動を繰り返す。また、この判別の結果、路面とは異なる
画像を検出したときには、その画像を検出した時点の車
速（ｖ）と時刻（ｔ１）を記憶する。この作動は、図６
における特定画像検出部２０において路面とは異なる画
像を検出したとき、車速データ入力・記憶部２２におい
て車速センサ１７からそのときの車速（ｖ）を入力し、
これ記憶することにより、またその検出時点の時刻（ｔ
１）を特定画像検出時刻記憶部２１に記憶することによ
り行う。

【００５０】次いで、カメラ画角と、画像の画面上での
位置、又は区画線間の車線幅（Ｂ１）等により検出画像
の実物の幅（Ｂ２）を演算する。このとき、カメラ画角
が大きいほど撮影された画像の実際の像はそれに対応し
て大きく、画像の画面上の位置が上方にあるほど遠方の
画像のため実際の像はそれに対応して大きくなり、これ
らの値により画像部分の実物の幅を演算することができ
る。また、検出すべき画像部分の車線幅（Ｂ１）を求め
てこれを通常の車線幅の値と仮定し、その車線幅に対し
て矢印の画像の幅の比を求めることにより検出画像の実
物の幅（Ｂ２）を演算することもできる。このときのフ
レーム画像と寸法の関係を図８（ａ）に示している。こ
れらの演算結果により検出画像の実物の幅（Ｂ２）と、
予めテンプレートデータベース２５に記憶している矢印
道路標示の直線部の幅として所定の幅（Ｂ３）との比較
を行い、検出画像の幅（Ｂ２）は所定の幅（Ｂ３）とほ
ぼ等しいか否か、更にはその画像が直線の一部を構成し
ている画像であるか否かを判別する（ステップＳ２
６）。

【００５１】道路標示における車線の走行方向を示す矢
印は、例えば図９（ａ）に示す直進のみ可能であること
を示す直進矢印、同図（ｂ）に示す直進と左折が可能で
あることを示す直進・左折可矢印、同図（ｃ）に示す左
折のみ可能であることを示す左折可矢印については、各
図にその寸法を示しているように規定されており、一例
として同図（ｄ）に示すように各区画線等の車線領域の
道路面に所定の塗料で白く記載している。走行方向を示
す矢印は、上記以外にも右折可矢印、直進・右折可矢印
等が存在するが、これらはいずれも同図（ａ）〜（ｃ）
に記載した矢印の左右対称の矢印となる。上記のような
特定画像のデータがテンプレートデータベース２５に記
録されている。

【００５２】したがってこれらの図から明らかなよう
に、矢印の後端部の直線部分はいずれも０．１５ｍであ
るので、前記所定の幅（Ｂ３）は０．１５ｍとし、前記
ステップＳ２６においては、上記のように演算された検
出画像の直線の実物の幅（Ｂ２）がこの値に等しいか、
或いは所定の誤差範囲内に入っているか否かによって容
易に判別することができる。

【００５３】上記判別の結果、演算により得られた検出
画像の直線の幅（Ｂ２）が所定幅（Ｂ３）に等しいと判
別されたときには、この画像は矢印の道路標示を示す画
像であることがわかる。なお、ここで検出画像は所定幅
の直線であると判別されたときには、以降はこの検出画
像は道路標示の矢印の画像であるとして取り扱い処理さ
れる。次いで直線からの横方向へ所定幅（Ｂ４）以上の
幅（Ｂ５）の張り出し部の検出を行う（ステップＳ２
７）。なお、上記のようにここで検出されている道路標
示は矢印を示す道路標示であるので、例えば図９（ａ）
〜（ｃ）に示すように全ての矢印の道路標示は直線部の
先に幅の広い張り出し部を備えているので、直線の後端
部の検出の後には必ず張り出し部の検出が行われる。

【００５４】また、矢印の道路標示は図９（ａ）〜
（ｃ）の例に示す寸法表示から明らかなように、直線か
らの張り出しはいずれの場合も０．１５ｍ以上あるの
で、この所定幅（Ｂ４）として例えば０．１ｍに設定
し、この値と比較することにより判別を行うことができ
る。ここで所定幅（Ｂ４）以上の幅（Ｂ５）の張り出し
部を検出した時には、張り出し検出時の時刻（ｔ２）を
記憶する（ステップＳ２８）。

【００５５】その後、前記のように図６の特定画像検出
時刻記憶部２１に記憶した直線の後端部検出時の第１時
刻（ｔ１）から、張り出し検出時の時刻（ｔ２）迄の時
間を求め、更に図６の車速データ入力・記憶部２２の車
速（ｖ）により、直線端部から張り出し部迄の長さ（Ｌ
１）を演算する。このようにして得られたフレーム画像
と寸法の関係を図８（ｂ）に示している。

【００５６】次いで、上記のようにして求めた直線端部
から張り出し部迄の長さ（Ｌ１）は所定長さ（Ｌ２）以
上であるか否かを判別する（ステップＳ３０）。この所
定長さ（Ｌ２）としては種々の値を設定することができ
るが、例えば図９（ａ）の直進矢印における直線部の長
さである２．５ｍと、同図（ｂ）の直進・左折可矢印に
おける左折を示す矢印の張り出し開始部下側を表す曲線
部分の長さである約１．１ｍとの中間の値である１．５
ｍ〜２ｍ程度に設定することが好ましい。

【００５７】その判別の結果、張り出し部迄の長さ（Ｌ
１）が所定長さ（Ｌ２）以上ではないと判別されたとき
には、直線部が短い図９（ｂ）に示す直進・左折可矢
印、或いはこれと左右反対の矢印である直進・右折可矢
印であることが判別される。なお、図９（ｃ）に示すよ
うに、左折車線を示す矢印は直線の後端部から約３．６
ｍ先に左方向の矢印の表示開始部分が存在するので、上
記のように所定長さ（Ｌ２）を１．５ｍ〜２ｍ程度に設
定することにより、これより短いときには直進・左折可
矢印、或いは直進・右折可矢印であることが他の矢印と
は明瞭に区分されて判別可能である。

【００５８】前記ステップＳ３０において張り出し部迄
の長さ（Ｌ１）が所定長さ（Ｌ２）以上であると判別さ
れたときには、以降は図９（ａ）の直進用車線を示す直
進矢印か、同図（ｃ）の右折用車線を示す右折矢印或い
はこれと左右対称の左折矢印かの識別のため、図７に示
す実施例においてはステップＳ３１において検出画像は
左右均等に狭くなってきたか否かの判別を行っている。
なお、上記矢印の識別に際しては、例えば張り出し部迄
の長さが３ｍ以上であるか否か等他の種々の手法により
識別することが可能である。

【００５９】上記判別の結果、検出画像は左右均等に狭
くなってきていると判別したときには、その検出画像は
直進のみ可能であることを示す直進標示であると認識す
る（ステップＳ３２）。また、検出画像は左右均等に狭
くなってきていないと判別したときには、その検出画像
は右・左折と直進が可能な道路標示ではなく、且つ直線
のみ可能の道路標示でもないので、右・左折のみ可能で
あることを示す道路標示であることが識別され、したが
ってステップＳ３３において張り出し方向はいずれの方
向かの判別により、右方向のみであるときには右折のみ
可能であることを示す右折標示であることが（ステップ
Ｓ３４）、また左方向のみであるときにはその逆の左折
のみ可能であることを示す左折標示であることが（ステ
ップＳ３５）、更に両方あるときには左右両方向に進行
することができる車線であることを示す右左折標示であ
ることが各々認識される（ステップＳ３６）。

【００６０】前記ステップＳ３０において、張り出し部
迄の長さ（Ｌ１）は所定長さ（Ｌ２）以上ではないと判
別されたときには、その後張り出し方向はいずれの方向
であるかの判別を行い（ステップＳ３７）、右方向のみ
であると判別したときにはその道路標示は右折と直進の
みが可能な右折・直進標示であることが（ステップＳ３
８）、また左方向のみであると判別したときにはその道
路標示は左折と直進のみが可能な左折・直進標示である
ことが（ステップＳ３９）、更に両方ある時には左右両
方向及び直進が可能である車線であることを示す右・左
折・直進標示であることが各々認識される（ステップＳ
４０）。

【００６１】一方、前記ステップＳ２６において、検出
画像の幅（Ｂ２）は所定幅（Ｂ３）の直線か否かの判別
で、所定幅の直線ではないと判別されたときには、その
検出画像は矢印の道路標示ではないので、先に記憶した
検出時点の時刻（ｔ１）を消去し（ステップＳ４１）、
その後最初のステップＳ２１に戻って上記の作動を繰り
返す。

【００６２】図６〜図１０に示す実施例においてはこの
ようにして撮影画像の測長による矢印道路標示の認識処
理が行われるものであるが、上記作動の他更に種々の態
様でこれを実施することができ、例えば前記実施例にお
いては検出画像のデータを元に実際の長さを演算してテ
ンプレートのデータとを比較する実施例を示したが、例
えばカメラの設置時に使用するカメラの画角等のデータ
を予め入力し、それにより例えば図１０（ａ）に示すよ
うな所定のテンプレートのデータを同図（ｂ）に示すよ
うなカメラで撮影したときのテンプレートの画像状態に
変形したデータを予め計算しておき、このデータと比較
するように設定する等、種々の態様で実施することがで
きる。なお、上記のように設定することにより、各種認
識処理のたび毎に画角に対応した演算を行う必要が無く
なり処理負担を軽減することができる。

【００６３】また、上記各実施例において撮影した１フ
レームの画像の中で、認識する部分を特定するために画
像を分割するに際し、図１に示す実施例においては画像
分割部３において分割を行い、その中で認識すべき画像
領域部分を特定し、図６に示す実施例においては認識用
画像領域設定部１５で認識すべき画像領域部分を特定し
た例を示している。しかしながら、これらはいずれも各
実施例において自車両が走行している車線の道路標示を
認識するのに適した態様を示すために上記のような画像
の分割手段を採用する例を示したものであるが、例えば
撮影された画像においてガードレールを検出し、或いは
路側に立っている道路標識を検出し、或いは横断歩道等
の道路上を歩いている歩行者を検出し、更には自車両が
走行している車線以外の道路標示を検出し、また信号を
検出する等、画面上の他の特定の部分に存在するものの
認識、或いはこれらの複数のものを同時に認識を行うと
きには、例えば図１１に示す機能ブロックにより図１２
に示すような作動フローに従って処理することにより効
率的な画像認識処理を行うことができる。

【００６４】図１１に示す画像分割手段は前記図１及び
図６に示す例と同様に、ＣＣＤカメラ３１で撮影した動
画像を画像処理基本部３２で１フレーム毎のフレーム画
像としており、これを検索用画面分割部３３に出力して
いる。検索用画面分割部３３における焦点位置検出部３
５ではこの画像を分析し、この画像の焦点位置を検出
し、特にその焦点位置が画像枠内に存在するか、或いは
画像枠外に存在するかのデータを検索用画像外枠作成部
３６に出力する。また、その焦点位置のデータを分割線
設定部４０における焦点方向等間隔分割線の設定部４１
に出力する。

【００６５】検索用画面分割部３３の路面区画線検出部
３４では、前記画像処理基本部３２のフレーム画像を入
力し、画像の中から路面に表示されている区画線を検出
し、検索用画像外枠作成部３６と分割線設定部４０にレ
ーン情報として出力する。検索用画像外枠作成部３６に
おいては、焦点位置検出部３５からの焦点位置が画像枠
内に存在するか否かのデータにより、焦点位置が画像枠
内に存在するときは検索用画像枠を焦点が外枠の重心、
即ち外枠の中心に位置するようにし、更に路面区画線検
出部３５からのデータを用い、画像枠の右下及び左下の
角部分が、各々両側の区画線の線上に位置するように検
索用画像の外枠を作成する。

【００６６】また、検索用画像外枠作成部３６では、焦
点位置が画像枠外に存在するというデータが焦点位置検
出部３４から出力されてきたときには、路面区画線検出
部３４のデータを用い、画像枠の左下の角が左側路側を
示す区画線の線上に位置するように検索用画像の外枠を
作成する。

【００６７】検索用画像外枠作成部３６で上記のように
外枠が作成されたときには、そのデータを画像外枠内仮
想平面決定部３７で分割線を設定するための仮想平面の
決定を行う。この仮想平面の決定に際しては、前記のよ
うに長方形画像外枠が作成されたときには、画像外枠の
４つの角部分と焦点を結ぶ線を角とした仮想の四角錘体
の内面を設定し、これを仮想平面として設定する。ま
た、前記のように画像枠の左下の角部分が路側区画線の
線上にある長方形画像外枠が作成されたときには、画像
外枠内の左路側区画線を基準に仮想凹状面を設定し、こ
れを仮想平面として設定する。

【００６８】分割線設定部４０においては、画像外枠内
仮想平面決定部３７で決定した仮想平面に対して分割を
行う手法により、表示されている画像の分割、即ち表示
している画面の分割を行うものであり、焦点方向等間隔
分割線設定部４１においては、外枠から焦点方向に対し
て等間隔の分割線を設定する。また、高さ方向３次元平
行分割線設定部４２では、仮想平面の両側面に対して高
さ方向に３次元に平行な分割線を設定し、水平方向３次
元平行分割線設定部４３では、仮想平面の上下の水平面
に対して水平方向に３次元に平行な分割線を設定する。

【００６９】このようにして表示している画面を各分割
線で分割した後、検索用分割画面内画像処理部４５では
検索用分割画面指定部４４で指定した分割が画面部分の
データを検索用画面分割部３３から取り込み、画像処理
基本部３２から入力したフレーム画像の内その範囲内の
画像に対して画像処理を行う。画像合成部４６において
は前記図１に示す実施例と同様に、先に得られた画像と
の合成を行い、これを中間画像４７とし、画像認識部５
０の認識終了判定部５１では、この中間画像４７とテン
プレートデータベース４８のデータとを比較し、一致し
たデータが存在したときには認識終了と判定し、これを
認識結果として出力する。なお、画像合成部４６におい
ては、前記図１の実施例と同様に、１つのフレーム画像
の分割画像で認識を行うことができたときには、画像合
成処理が行われることがない。

【００７０】上記のような作動を行う機能ブロックにお
いて、特にＣＣＤカメラ３１で撮影した画像に存在する
所望の道路標示、道路標識、ガードレール、障害物、先
行車両、信号等の存在の検索を行うために、撮影した画
像を元に画面分割を行う処理は、例えば図１２に示す作
動フローに沿って処理することができる。以下図１２に
示す作動フローを、前記図１１の機能ブロック図、及び
図１３〜図１６に示す実例等を参照しつつ説明する。

【００７１】図１２に示す撮影画像検索用の画面分割処
理に際しては、最初カメラによる撮影画像の取り込みと
画像の２値化処理を行い（ステップＳ４１）、道路上の
区画線の認識を行い（ステップＳ４２）、次いで３次元
投影法の焦点を求める（ステップＳ４３）。これらは前
記図１１のＣＣＤカメラ３１、及び画像処理基本部３
２、及びそのデータを用いる路面区画線検出部３４と焦
点位置検出部３５において行う。この状態は図１３
（ａ）にＣＣＤカメラで撮影した画像の例を示し、同図
（ｂ）にその画像の中から路面の区画線Ｌ１〜Ｌ４を検
出し、その線を延長して交点を求めることにより３次元
投影法の焦点Ｐを求めた状態を示している。

【００７２】次いで、上記のようにして求めた焦点は撮
影画像の枠内にあるか否かを判別する（ステップＳ４
４）。その判別の結果、例えば図１３に示す例のよう
に、焦点Ｐが撮影画像枠Ｆの中に存在すると判別したと
きには、図１３（ｃ）に示す例のように、焦点Ｐが外枠
ｆの中心に存在し、その外枠ｆの右下及び左下の角Ｃ
１、Ｃ２が各々両側の区画線Ｌ１、Ｌ４の線上にあるよ
うに長方形の画像外枠ｆを作成する（ステップＳ４
５）。

【００７３】その後、画像外枠の４角Ｃ１、Ｃ２、Ｃ
３、Ｃ４と焦点を結ぶ線を角とし、焦点Ｐを頂点とした
仮想四角錘体の内面を設定する（ステップＳ４６）。こ
の仮想四角錘体の内面の設定により、両側面と上下の水
平面が３次元的に確定される。次いで、上記のように設
定した仮想四角錘体内面の各面に対して、例えば図１４
（ａ）に示すように、外枠ｆから焦点Ｐへ等間隔に分割
枠線を設定する（ステップＳ４７）。図示実施例におい
ては、外枠ｆから焦点Ｐへ画面上等間隔に３個の分割枠
線ａ１〜ａ３を設定し、それにより外枠から焦点に向け
て４つの領域に分割している。

【００７４】次いで、仮想四角錘体内面の両側面に対し
て３次元的に平行な高さ方向に等間隔の分割線ｂ、ｃを
設定する（ステップＳ４８）。この状態は図１４（ｂ）
に示しており、図示実施例においては、図中左側面に対
してｂ１〜ｂ３、右側面に対してｃ１〜ｃ３の分割線を
設定しており、それにより各側面を各々４つの領域に分
割している。その後前記仮想四角錘体内面の上下面に等
間隔の分割線ｄ、ｅを設定する（ステップＳ４９）。こ
の状態は図１４（ｃ）に示しており、同図の実施例にお
いては、下面に対してｄ１，ｄ２、上面に対してｅ１，
ｅ２の分割線を設定しており、それにより両面を各々３
つの領域に分割している。このようにして分割線で区切
られた四辺形に対して画像検索を実行する。

【００７５】図１４（ｃ）に示す実施例においては、上
記のような分割線の設定によって下面は区画線に沿って
Ｘ１〜Ｘ３の３つに分割し、上面はこの分割線と対対称
的にＷ１、Ｗ２、Ｗ３の３つに分割した例を示している
が、そのほか種々の態様で分割線を設定することがで
き、その際には上面と下面と分割の態様を変えても良
い。また、図中左側面はＺ１〜Ｚ４の４つに分割すると
共に、図中右側面は同様にＶ１〜Ｖ４に分割した例を示
しているが、これについても同様に各面に対して異なっ
た数の分割線を設定することもできる。

【００７６】それにより、図１４（ｃ）に示す実施例に
おいては、例えば下水平面は（Ｘ１，Ｙ１）、（Ｘ２，
Ｙ１）、（Ｘ３，Ｙ１）、（Ｘ１，Ｙ２）・・・（Ｘ
３，Ｙ４）の合計１２個に分割しており、上水平面は同
様に（Ｗ１，Ｙ１）、（Ｗ２，Ｙ１）・・・（Ｗ３，Ｙ
４）の合計１２個に分割している。また左側面は（Ｙ
１，Ｚ１）、（Ｙ１，Ｚ２）・・・（Ｙ４，Ｚ４）の合
計１６個に分割し、右側面は同様に（Ｙ１，Ｖ１）、
（Ｙ１，Ｖ２）・・・（Ｙ４，Ｖ４）の合計１６個に分
割し、結局外枠ｆで囲まれた画像枠は合計５６個の分割
画面に分けられている。このようにして分割線で区切ら
れた四辺形に対して画像検索を実行する（ステップＳ５
０）。

【００７７】上記のような作動を行い画像処理を行うこ
とによって、図１４（ｃ）の分割画面において、例えば
（Ｘ２，Ｙ１）の分割画面の画像処理を行うことによ
り、前記各実施例で説明した画像合成による画像特定処
理手法、所定の画像の検出時刻とその画像が変化した時
刻と、車速によって測長を行う画像特定処理手法等を用
いて自車両の走行レーンの道路標示を認識することがで
きる。その際には、必要に応じて更に（Ｘ２，Ｙ２）の
画面も合わせて一つの分割画面として指示し画像処理を
行うことも可能である。

【００７８】また、図１４（ｃ）の分割画面において、
例えば（Ｙ１，Ｚ３）の分割画面の画像処理を行うこと
により、路側に設置されている道路標識の画像認識を行
うことができる。更に、（Ｗ１，Ｙ１）の分割画面の画
像処理を行うことにより、信号の画像認識を行うことも
でき、そのほか（Ｙ１，Ｚ１）、（Ｙ２，Ｚ１）の分割
画面の画像処理を行うことにより、ガードレールの画像
認識を、また（Ｘ１，Ｙ１）の分割画面の画像処理を行
うことにより左側車線の道路標示を認識することも可能
となる等、種々の画像認識を行うことができる。このと
き、全体の画像枠の中の１つの分割画面を指定して処理
を行う以外に、他の分割画面も指定して並行処理を行わ
せることも可能である。このとき、車両が走行レーン内
で左右方向に位置がずれ、或いは走行レーンを変更する
ことがあっても外枠を前記のように設定することにより
変化することが無く、画像処理が容易となる。

【００７９】一方、ステップＳ４４において焦点が撮影
画像枠内に存在しない、即ち例えば図１５（ａ）に示す
実画像の区画線を認識する（ステップＳ４２）ことによ
り得られた焦点Ｐ（ステップＳ４３）が撮影画像枠Ｆの
外に存在している状態で、ＣＣＤカメラ３１が外部を撮
影しているときには、例えば図１５（ｂ）に示すよう
に、画像枠ｆの左下の角Ｃ１が路側区画線Ｌ１の線上に
ある長方形の画像外枠ｆを作成する（ステップＳ５
１）。なお、このステップＳ５１は前記の例においては
ステップＳ４５に相当する処理となる。

【００８０】次いで画像外枠ｆ内の左路側区画線Ｌ１を
基準に、図１５（ｃ）に示すように、仮想凹状面を設定
する（ステップＳ５２）。その後図１６（ａ）に示すよ
うに、この仮想凹状面を構成する各面に対して外枠ｆか
ら枠外の焦点に向けて等間隔の分割線ａを設定する（ス
テップＳ５３）。図示の例においては右側面が撮影され
ていないので、左側面と水平面に対してＬ字型のａ１〜
ａ４の４本の分割枠を設定している。次いで同図（ｂ）
に示すように、仮想凹状面の側面に対して３次元的に平
行な高さ方向に等間隔の分割線ｂを設定する（ステップ
Ｓ５４）。図１６に示す例においては、側面は左側のみ
となっているので、この側面に対して分割線ｂ１の１本
を設定した例を示している。

【００８１】その後、仮想凹状面の下面に対して３次元
的に平行な水平方向に等間隔の分割線ｄを設定する（ス
テップＳ５５）。図示実施例においては、下面に対して
ｄ１〜ｄ９の９本の分割線を設定した例を示している。
これらステップＳ５２からステップＳ５５における仮想
面の設定及び分割線の設定は、前記ステップＳ４６〜ス
テップＳ４９に相当する。このようにして画像の分割が
行われることにより、この分割線で区切られた四辺形に
対して画像検索を実行する点は前記の例と同様である。

【００８２】この実施例においても、前記と同様に、特
定の分割画面を指定することにより道路標示、道路表示
器、ガードレール等の種々の画像認識を行うことがで
き、その際には複数の分割画面を指定して並行処理する
ことができることも前記と同様である。

【００８３】上記のようにカメラでの撮影画像を水平な
道路面と、そこに撮影されている区画線等を基準にした
路側の垂直面との少なくとも両画面を画定し、各面を軸
線方向及びそれと垂直方向の台形領域に細分化して画像
領域を画定したものにおいて、撮影された画面領域の中
で例えば道路標識等の特定の画像を認識するに際して、
できる限り認識領域を限定することが画像処理負担軽減
のために好ましい。そのためには、カメラから所定距離
離れた位置に存在する認識すべき道路標識等の物体が、
撮影された画面上ではどの位置にどの程度の大きさで表
されるかの関係を予め求めておくことにより、その道路
標識等の物体を最小限の画像領域に絞り込んで認識処理
を行うことができる。

【００８４】そのための一手法としては、実際の物体と
それが撮影されたときの画像の関係に影響を与える、焦
点距離、カメラの視野角、設置高さ、俯角等のカメラの
パラメータを用い、座標の変換を行う各種の数学的手法
を用いることにより容易に求めることができる。その一
例として例えば図１７（ａ）に示すように、上記カメラ
パラメータとして、焦点距離ｆで視野角θ１のカメラ５
５を、高さｈのＰＯＶ（Point of view）点に、俯角θ
２で設置したとき、道路面５６を撮影した画像は、カメ
ラ５５から焦点距離ｆの位置にある画面５７に表示され
ることとなる。

【００８５】このとき、画面上の任意の点（ｘ，ｙ）迄
の実際の距離は、その点が道路面と限定された場合に
は、逆投影変換を行った計算によって、Ｌ＝h×cos(tan^-1{x/(f×cosθ₁/2）}/tan{θ₂−tan^-1
［y/(f×cosθ₁/2)］} の式で表現することができる。なお、この式は簡単のた
め、以下Ｌ＝Ｆ（ｘ、ｙ）と表現する。

【００８６】図１７（ｂ）の画面５７において、実質的
に物体の認識ができない程度に物体が微細に撮影されて
いる中心部分の領域を除いた領域で画像認識処理を行う
こととし、その際形成される台形に対してそれぞれの頂
点上の画像に対応する３次元上の画像の位置データ（距
離）を上記の式を用いて算出すると、図示Ａ，Ｂ，Ｃ，
Ｄからなる側面の頂点については、この面の物体から垂
線を下ろすことにより前記の式を適用することができる
ので、結局、点Ａ：Ｆ（Ｘｄ、Ｙｄ）、点Ｂ：Ｆ（Ｘｃ、Ｙｃ）点Ｃ：Ｆ（Ｘｃ、Ｙｃ）、点Ｄ：Ｆ（Ｘｄ、Ｙｄ）と表される。

【００８７】ここで、例えば図１８（ａ）に示すような
半径Ｒの道路標識５８を認識し検索する場合には、その
標識の位置が距離Ｌの場合には、画面上の半径Ｒは、Ｒ＝ｒ×ｆ／Ｌとなるので、分割の領域を少なくとも画面上での大きさ
が道路標識の直径２Ｒの円が含まれる、２Ｒ×２Ｒの矩
形以上であることが誤認識を防ぐために必要であり、認
識領域が台形の場合にはこの道路標識の画像が含まれる
大きさに設定する。また、この画面を大きく設定するほ
ど認識用画面が広くなり、画像処理負担が上昇する。更
に、演算の簡素化のため係数は整数を用いた方がよいの
で、結局図１８（ａ）に示すように、３Ｒ×３Ｒ程度の
大きさに設定するのが好ましい。但し、この認識すべき
画像が常に上記のように分割した画像領域の中に存在す
るとは限らず、位置ずれを生じて２つの画像枠にまたが
り誤認識を多発することを考慮し、図１８（ｂ）に示す
ように予め４Ｒ×４Ｒの矩形領域か、あるいはこの矩形
領域がほぼ含まれる程度の台形領域を設定する。

【００８８】上記手法は前記のような道路標識の認識に
限らず、信号、道路表示等種々の物体や表示の認識に同
様にして適用することができる。その際には前記のよう
な式を用いたものに限らず、演算処理軽減のため簡略計
算を行うもの、逆に更に詳細な演算を行うもの等、種々
の手段を採用して実施することができる。また、他のパ
ラメータを用いて他の式により演算を行うこともでき、
更には予め実験でその関係を求めておき、そのデータか
ら得られる関係式、あるいはデータのマップを記憶して
おくことにより求めることもでき、これらは全て、予め
求めた撮影される物体と撮影した画像の関係、というこ
とができる。

【００８９】また、上記のような手法により画像認識を
行う際に、例えば路側に垂直な側面部分に現れる各種物
体の内、道路標識のみを認識しようとする際には、道路
標識は法規でその高さが決められているので、例えば図
１８（ｃ）にクロスハッチングで示すように、認識すべ
き画像５８が存在する範囲近辺の領域以外の部分は最初
から認識対象外の部分として外してしまうことが好まし
い。この手法はその他の種々の物体、表示の認識に際し
ても適用することができる。

【００９０】本発明においては、上記のようにＣＣＤカ
メラで撮影した画像を元に、１枚のフレーム画像では認
識することができない画像でも、これを複数集めて画像
合成することにより例えば道路標示等を容易に認識する
ことができ、また広い画面中の多くの画像データの中か
ら必要最小限の画像部分のデータを処理するのみで良
く、性能の格別高いＣＰＵを用いることなしに高速に処
理を行うことができる。また、その際の画面の分割に際
しては、効率的な画像処理を行うことができる種々の分
割手法を適用することができる。

【００９１】

【発明の効果】本発明に係る道路標示等認識装置は、カ
メラで撮影した任意の画像を選択して１枚のフレーム画
像を得る画像処理基本部と、前記１枚のフレーム画像の
一部の所定領域の画像から所定の画像を抽出処理する画
像処理部と、複数枚のフレーム画像の前記画像処理部の
データを用いて、前記抽出処理した画像に関する複合デ
ータを得る画像データ識別部と、撮影画像から認識すべ
き特定画像のデータとその画像データに関する情報を蓄
積したデータベースと、前記画像データ識別部で得た抽
出処理画像のデータと、前記データベースの特定画像の
データとを比較し、一致した特定画像データに関する情
報を出力する画像認識部とから構成したので、カメラで
撮影される広範囲の画像の中から、認識しようとする道
路標示等が撮影される可能性のある領域のみについて、
それらの所定の画像を抽出して画像処理すればよいた
め、安価な処理装置を用いても高速で画像処理を行うこ
とができ、また画像の認識精度も向上させることができ
る。

【００９２】また、１枚のフレーム画像では所定の画像
の全体を撮影することができないときでも、複数枚のフ
レーム画像における前記所定領域の画像中の所定の画像
を抽出して用いて前記抽出した画像に関するデータを得
る画像データ識別部により、画像全体に関する何らかの
データを得ることが可能となるので、上記のように全体
の画面の中の所定領域のみの画像データを処理するのみ
であっても、所定の画像の全体に関するデータを用い
て、予め蓄積している認識すべき特定画像のデータと比
較することにより、特定画像の存在を認識することがで
きる。

【００９３】また、本発明に係る他の道路標示等認識装
置は、前記画像データ識別部が、前記画像処理部におけ
る複数枚のフレーム画像についての前記抽出処理画像デ
ータを合成した複合データを得る画像合成部であり、前
記画像認識部は前記画像合成部で得た合成画像データ
と、前記データベースの特定画像のデータとを比較し、
一致した特定画像データに関する情報を出力するように
したので、１枚のフレーム画像では所定の画像の全体を
撮影することができないときでも、複数枚のフレーム画
像の前記所定領域の画像中の所定の画像を抽出したもの
を合成することにより、その所定の画像の全体像を得る
ことが可能となり、上記のように全体の画面の中の所定
領域のみの画像データを処理するだけであっても、所定
の画像の全体画像に関するデータを用いて、予め蓄積し
ている認識すべき特定画像のデータと比較することによ
り、特定画像の存在の認識を確実に行うことができる。

【００９４】また、本発明に係る他の道路標示等認識装
置は、前記画像データ識別部を、フレーム画像のデータ
から抽出処理した所定の画像を抽出した時刻と、その後
のフレーム画像のデータから所定の画像が変化したこと
を検出した時刻と、車速とにより画像の測長を行う複合
データを得る画像データ識別部としたので、１枚のフレ
ーム画像では所定の画像の全体を撮影することができな
いときでも、複数枚のフレーム画像における前記所定領
域の画像中の所定の画像を抽出して、最初にその所定の
画像を抽出した時刻とその後のフレーム画像の中でその
所定の画像が変化した時刻との差を求めることにより両
時刻の差としての時間を求め、更にそのときの車速によ
りその時間中に進んだ距離を求めて前記画像部分の長さ
を検出することが可能となり、それにより所定の画像の
全体画像に関するデータが得ることができ、上記のよう
に全体の画面の中の所定領域のみの画像データを処理す
るのみであっても、所定の画像の全体に関するデータを
用いて、予め蓄積している認識すべき特定画像のデータ
と比較することにより、特定画像の存在を認識すること
ができる。

【００９５】また、本発明に係る他の道路標示等認識装
置は、前記フレーム画像の一部の所定領域を、先行車両
と自車両の間の路面領域としたので、先行車両と自車両
の車間距離が短いことにより、１枚のフレーム画像では
路面に描かれた道路標示を認識することができない場合
でも、複数枚のフレーム画像における先行車両と自車両
の間の路面領域の画像中の所定の画像を抽出して用いる
ことにより、その画像全体に関する何らかのデータを得
ることが可能となり、上記のように全体の画面の中の所
定領域のみの画像データを処理するのみであっても、所
定の画像の全体に関するデータを用いて、予め蓄積して
いるを認識すべき特定画像のデータと比較することによ
り、自車両が走行している車線の道路標示を認識するこ
とができる。

【００９６】また、本発明に係る他の道路標示等認識装
置は、前記所定領域の画像から抽出処理する所定の画像
を、道路標示、道路標識、信号、ガードレール、路上歩
行者、路上障害物のいずれか一つとしたので、少なくと
もこれらの道路標示等について上記のように安価な処理
装置を用いても高速でこれらの画像を認識することがで
き、また、１枚のフレーム画像では所定の画像の全体を
撮影することができないときでも、確実に特定画像の存
在を認識することが可能となる。

【００９７】また、本発明に係る他の道路標示等認識装
置は、前記画像処理基本部から得られた１枚のフレーム
画像を分割する第１の検索用画面分割部を備え、前記画
像処理部は、前記１枚のフレーム画像から分割された複
数の分割画面の画像の中から所定の画像を抽出するよう
にしたので、広範囲を撮影したフレーム画像でも、検索
用画面分割部でこれを複数に分割し、利用者が認識を希
望する特定画像の存在する分割画面を指定することによ
り、確実に特定画像の認識を行うことができる。またこ
のとき、複数の分割画面を指定して各分割画面における
特定画像の認識を並行処理することも可能となる。

【００９８】また、本発明に係る他の道路標示等認識装
置は、前記画像データ識別部が前記複合データからなる
画像を分割する第２の検索用画面分割部を備え、前記複
合データからなる画像から分割された複数の分割画面の
画像の中から所定の画像を抽出するようにしたので、特
に第２の検索用画面分割部によって更に適切な画面の分
割を行うことができ、所定の画像の抽出をより確実に行
うことができる。

【００９９】また、本発明に係る他の道路標示等認識装
置は、前記第１または第２の検索用画面分割部が路側区
画線を境界として少なくとも路面を表示する水平面と路
面外を表示する垂直面を設定し、各々外枠から画像の３
次元焦点方向への分割線と、左右方向または上下方向の
分割線とにより画面分割を行うようにしたので、分割画
面を区画線を基準に作成することができ、路面上の道路
標示、路側に存在するガードレール、道路標識、信号等
を分けて認識処理することができるようになるので認識
の処理効率、及び精度が向上する。路側区画線を基準に
することにより走行レーン毎に画面分割を行うことも容
易となり、車両が左右方向に移動してもレーン毎の道路
標示を確実に認識することができる。

【０１００】また、本発明に係る他の道路標示等認識装
置は、前記第１または第２の検索用画面分割部が、予め
求めた撮影される物体と撮影した画像の関係により得ら
れる検索すべき画像が含まれる画像領域を基準として画
面を分割するようにしたので、投影法により得られた
式、実験データ等、各種の手法により予め求められた、
撮影される物体と撮影した画像の関係により、検索すべ
き画像の大きさに適した大きさの検索用の画像領域を設
定することができ、その領域が小さくなり過ぎて不適切
な画像認識が行われることがないようにし、またその領
域が広過ぎて画像処理負担が大きくなり過ぎることを防
止することができる。

【０１０１】また、本発明に係る他の道路標示等認識装
置は、カメラで撮影した所定のフレーム画像を得る画像
処理基本部と、前記画像処理基本部により得られたフレ
ーム画像に対し、路側区画線を境界として少なくとも路
面を表示する水平面と路面外を表示する垂直面を設定
し、各々外枠から画像の３次元焦点方向への分割線と、
左右方向または上下方向の分割線とにより画面分割を行
う検索用画面分割部と、前記検索用画面分割部により分
割された分割画面の画像の中から所定の画像を抽出する
画像処理部と、撮影画像から認識すべき特定画像のデー
タとその画像データに関する情報を蓄積したデータベー
スと、前記画像処理部で得た抽出画像のデータと、前記
データベースの特定画像のデータとを比較し、一致した
特定画像データに関する情報を出力する画像認識部とか
らなるので、分割画面を区画線を基準に作成することが
でき、路面上の道路標示、路側に存在するガードレー
ル、道路標識、信号等を分けて認識処理することができ
るようになるので認識の処理効率、及び精度が向上す
る。路側区画線を基準にすることにより走行レーン毎に
画面分割を行うことも容易となり、車両が左右方向に移
動してもレーン毎の道路標示を確実に認識することがで
きる。

【０１０２】また、本発明に係る他の道路標示等認識装
置は、カメラで撮影した所定のフレーム画像を得る画像
処理基本部と、前記画像処理基本部により得られたフレ
ーム画像に対し、予め求めた撮影される物体と撮影した
画像の関係により得られる検索すべき画像が含まれる画
像領域を基準として画面を分割する検索用画面分割部
と、前記検索用画面分割部により分割された分割画面の
中から所定の画像を抽出する画像処理部と、撮影画像か
ら認識すべき特定画像のデータとその画像データに関す
る情報を蓄積したデータベースと、前記画像処理部で得
た抽出画像のデータと、前記データベースの特定画像の
データとを比較し、一致した特定画像データに関する情
報を出力する画像認識部とからなるので、投影法により
得られた式、実験データ等、各種の手法により予め求め
られた、撮影される物体と撮影した画像の関係により、
検索すべき画像の大きさに適した大きさの検索用の画像
領域を設定することができ、その領域が小さくなり過ぎ
て不適切な画像認識が行われることがないようにし、ま
たその領域が広過ぎて画像処理負担が大きくなり過ぎる
ことを防止することができる。

【図面の簡単な説明】

【図１】本発明の実施例の基本的な処理を示す機能ブロ
ック図である。

【図２】同実施例の作動フロー図である。

【図３】同実施例の実際の画像の例を示す図であり、
（ａ）は先行車両と自車両が接近している状態、（ｂ）
は先行車両と自車両が離れている状態における、道路標
示の撮影画像の状態を示す図である。

【図４】同実施例の画像処理を順に示す図であり、
（ａ）は先行車両を認識した状態、（ｂ）はその先行車
両と自車両間の所定領域の画像処理を行う状態を示す図
である。

【図５】同実施例の画像処理を順に示す図であり、
（ａ）〜（ｅ）は各々先行車両と自車両間の所定領域の
所定の画像を、車両の走行と共に複数抽出し、画像合成
することにより特定画像を認識する状態を順に示してい
る。

【図６】本発明の他の実施例の機能ブロック図である。

【図７】同実施例の作動フロー図である。

【図８】同実施例の実際の画像の例を示す図であり、
（ａ）は先行車両を認識しその先行車両と自車両間の所
定領域の画像処理を行い、矢印の道路標示の最初の部分
を検出した状態を示し、（ｂ）はその矢印の道路標示が
所定の変化をしたときの状態を示す図である。

【図９】同実施例において認識する走行方向を示す道路
標示の寸法基準の例を示す図である。

【図１０】同実施例において認識する走行方向を示す道
路標示のテンプレートデータの例を示す図であり、
（ａ）はテンプレートその情報内容を示す図、（ｂ）は
同テンプレートを描いた道路標示をカメラで撮影した画
像の例を示す図である。

【図１１】本発明における検索用画面の分割を行う他の
実施例を示す機能ブロック図である。

【図１２】同実施例の作動フロー図である。

【図１３】同実施例において焦点が画像枠内に存在する
ときの実際の画像処理の例を示す図であり、（ａ）は実
際の画像、（ｂ）は区画線と焦点位置を検出した状態、
（ｃ）は検出した区画線と焦点により画像処理する画像
枠を設定し、四角錐内面形状の仮想平面を設定した状態
を示す図である。

【図１４】同実施例の実際の画像処理の例を示す図であ
り、（ａ）は図１３（ｃ）の処理に続いて画像の外枠か
ら焦点方向に所定間隔の分割線を設定した例、（ｂ）は
次いで両側面に対し３次元的に平行な分割線を設定した
例、（ｃ）は更に上下面に対し３次元的に平行な分割線
を設定した例を示す図である。

【図１５】図１１の実施例において焦点が画像枠外に存
在するときの実際の画像処理の例を示す図であり、
（ａ）は実際の画像、（ｂ）は区画線と焦点位置を検出
した状態、（ｃ）は検出した区画線と焦点により画像処
理する画像枠を設定し、凹状内面形状の仮想平面を設定
した状態を示す図である。

【図１６】同実施例の実際の画像処理の例を示す図であ
り、（ａ）は図１５（ｃ）の処理に続いて画像の外枠か
ら焦点方向に所定間隔の分割線を設定した例、（ｂ）は
次いで側面に対し３次元的に平行な分割線を設定した
例、（ｃ）は更に下面に対し３次元的に平行な分割線を
設定した例を示す図である。

【図１７】本発明において、カメラのパラメータを考慮
して画像中の物体からの距離を求め、認識用分割領域を
絞り込む手法の実施例を示し、（ａ）はその１態様とし
て道路面の画像をから実際の画像の距離を求める手法を
説明する図であり、（ｂ）はその際の画像と道路面及び
側面の状態を示す図である。

【図１８】同実施例において、路側の道路標識を認識す
る際の態様を示す図であり、（ａ）は道路標識認識用領
域を絞り込む第１の態様を示し、（ｂ）は同第２の態様
を示し、（ｃ）は道路標示認識時に特定領域以外は認識
対象外とする状態を示す。

【図１９】従来例とその問題点を示す図であり、（ａ）
は矢印の道路標示を撮影して認識する例を示し、（ｂ）
はその際に先行車両が近接していて道路標識の全体を撮
影することができない状態を示す図である。

【符号の説明】

１ＣＣＤカメラ２画像処理基本部３画像分割部４画像合成部５中間画像６テンプレートデータベース７認識終了判定部８画像認識部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B057 AA16 BA02 CA12 CA16 CE09 DA12 DB02 DC33 5H180 AA01 CC04 CC24 FF25 FF27 FF32 FF40 LL01 5L096 BA04 CA02 GA19 HA09 JA03 JA09

Claims

【特許請求の範囲】

【請求項１】カメラで撮影した任意の画像を選択して
１枚のフレーム画像を得る画像処理基本部と、前記１枚のフレーム画像の一部の所定領域の画像から所
定の画像を抽出処理する画像処理部と、複数枚のフレーム画像の前記画像処理部のデータを用い
て、前記抽出処理した画像に関する複合データを得る画
像データ識別部と、撮影画像から認識すべき特定画像のデータとその画像デ
ータに関する情報を蓄積したデータベースと、前記画像データ識別部で得た抽出処理画像のデータと、
前記データベースの特定画像のデータとを比較し、一致
した特定画像データに関する情報を出力する画像認識部
とからなることを特徴とする道路標示等認識装置。
【請求項２】前記画像データ識別部は、前記画像処理
部における複数枚のフレーム画像についての前記抽出処
理画像データを合成した複合データを得る画像合成部で
あり、前記画像認識部は前記画像合成部で得た合成画像データ
と、前記データベースの特定画像のデータとを比較し、
一致した特定画像データに関する情報を出力することを
特徴とする請求項１記載の道路標示等認識装置。
【請求項３】前記画像データ識別部は、フレーム画像
のデータから所定の画像を抽出した時刻と、その後のフ
レーム画像のデータから抽出処理した所定の画像が変化
したことを検出した時刻と、車速とにより画像の測長を
行う複合データを得る画像データ識別部であることを特
徴とする請求項１記載の道路標示等認識装置。
【請求項４】前記フレーム画像の所定領域は、先行車
両と自車両の間の路面領域であることを特徴とする請求
項１記載の道路標示等認識装置。
【請求項５】前記所定領域の画像から抽出処理する所
定の画像は、道路標示、道路標識、信号、ガードレー
ル、路上歩行者、路上障害物のいずれかを含むことを特
徴とする請求項１記載の道路標示等認識装置。
【請求項６】前記画像処理基本部から得られた１枚の
フレーム画像を分割する第１の検索用画面分割部を備
え、前記画像処理部は、前記１枚のフレーム画像から分割さ
れた複数の分割画面の画像の中から所定の画像を抽出す
ることを特徴とする請求項１記載の道路標示等認識装
置。
【請求項７】前記画像データ識別部は、前記複合デー
タからなる画像を分割する第２の検索用画面分割部を備
え、前記複合データからなる画像から分割された複数の
分割画面の画像の中から所定の画像を抽出することを特
徴とする請求項１記載の道路標示等認識装置。
【請求項８】前記第１または第２の検索用画面分割部
は、路側区画線を境界として少なくとも路面を表示する
水平面と路面外を表示する垂直面を設定し、各々外枠か
ら画像の３次元焦点方向への分割線と、左右方向または
上下方向の分割線とにより画面分割を行うことを特徴と
する請求項６または請求項７記載の道路標示等認識装
置。
【請求項９】前記第１または第２の検索用画面分割部
は、予め求めた撮影される物体と撮影した画像の関係に
より得られる検索すべき画像が含まれる画像領域を基準
として画面を分割することを特徴とする請求項６または
請求項７記載の道路標示等認識装置。
【請求項１０】カメラで撮影した所定のフレーム画像
を得る画像処理基本部と、前記画像処理基本部により得られたフレーム画像に対
し、路側区画線を境界として少なくとも路面を表示する
水平面と路面外を表示する垂直面を設定し、各々外枠か
ら画像の３次元焦点方向への分割線と、左右方向または
上下方向の分割線とにより画面分割を行う検索用画面分
割部と、前記検索用画面分割部により分割された分割画面の画像
の中から所定の画像を抽出する画像処理部と、撮影画像から認識すべき特定画像のデータとその画像デ
ータに関する情報を蓄積したデータベースと、前記画像処理部で得た抽出画像のデータと、前記データ
ベースの特定画像のデータとを比較し、一致した特定画
像データに関する情報を出力する画像認識部とからなる
ことを特徴とする道路標示等認識装置。
【請求項１１】カメラで撮影した所定のフレーム画像
を得る画像処理基本部と、前記画像処理基本部により得られたフレーム画像に対
し、予め求めた撮影される物体と撮影した画像の関係に
より得られる検索すべき画像が含まれる画像領域を基準
として画面を分割する検索用画面分割部と、前記検索用画面分割部により分割された分割画面の中か
ら所定の画像を抽出する画像処理部と、撮影画像から認識すべき特定画像のデータとその画像デ
ータに関する情報を蓄積したデータベースと、前記画像処理部で得た抽出画像のデータと、前記データ
ベースの特定画像のデータとを比較し、一致した特定画
像データに関する情報を出力する画像認識部とからなる
ことを特徴とする道路標示等認識装置。