JP2009134429A - 画像認識装置及び画像認識プログラム - Google Patents

Abstract

【課題】演算処理負荷を小さく抑えつつ、高精度に区画線の種別を認識することができる画像認識装置及び画像認識プログラム等を提供する。
【解決手段】自車両の周辺の少なくとも道路面を所定の時間間隔で撮影した複数フレームの画像情報Ｇを取得する画像情報取得手段１２と、画像情報Ｇの各フレーム内に設定した検出領域に含まれる区画線の始端及び終端を検出する画像認識処理を行う画像認識手段３１と、区画線の始端及び終端の一方が検出された画像情報Ｇのフレームと区画線の始端及び終端の他方が検出された画像情報のフレームとの間のフレーム数、並びに自車両の車速に基づいて、区画線の始端及び終端の一方から他方までの距離を検出距離として検出する距離検出手段３２と、検出距離に基づいて区画線の区画線種別を判定する区画線種別判定手段３３と、を備える。
【選択図】図１

Description

本発明は、自車両の周辺の少なくとも道路面を撮影した画像情報を取得し、それに対する画像認識処理を行うことによって画像情報に含まれる区画線の種別を判定する画像認識装置及び画像認識プログラム等に関する。

近年、ナビゲーション装置や自動車の車両制御装置等の分野において、例えば、自車レーン認識やレーンキープアシスト等のために、道路の路面に設けられている実線や破線等の各種区画線を認識するための各種の技術が開発されてきている。

このような区画線認識に関する技術として、例えば下記の特許文献１には、以下のような自車レーン認識装置の技術が開示されている。すなわち、この自車レーン認識装置は、まず、撮影した画像を道路の真上から見た平面視画像に変換する座標変換処理を行う。次に、この平面視画像を用い、自車両の進行方向に沿って隣接するように設定される近側領域及び遠側領域の各領域内における区画線が占める長さを検出する。そして、各領域内における区画線の長さが、２つの領域の双方で所定値より長いと検出された場合には区画線が実線であると判定し、２つの領域のいずれか一方のみで所定値より長いと検出された場合には区画線が破線であると判定し、２つの領域の双方で所定値以下と検出された場合には区画線がないと判定する。そして、この自車レーン認識装置は、区画線の種別の判定結果に基づいて、自車両が走行中のレーンである自車レーンの判定を行う。

また、例えば下記の特許文献２には、以下のような自車レーン認識装置の技術が開示されている。すなわち、この自車レーン認識装置は、上述した特許文献１の装置と同様に、まず、撮影した画像を道路の真上から見た平面視画像に変換する座標変換処理を行う。次に、この平面視画像の１フレーム分に対して複数の車線検出領域を設定し、各領域の積分輝度の強度を算出する。そして、複数の領域について算出された積分輝度の強度がほぼ一定である場合には区画線が実線であると判定し、複数の領域について検出された積分輝度の強度が時間的及び領域の位置的にばらつく場合には区画線が破線であると判定する。そして、この自車レーン認識装置は、区画線の種別の判定結果に基づいて自車レーンの判定を行う。

特開２００５−３２２１６６号公報（４−５頁、図３−５） 特開２００７−２００１９１号公報（１０−１１頁、図１４）

しかし、上述した従来の区画線認識技術では、撮影した画像を道路の真上から見た平面視画像に変換する座標変換処理を行う必要がある。また、撮影した画像を複数の領域に分けて各領域に対して所定の画像認識処理を行う必要がある。そのため、区画線の認識のための処理が複雑となって装置の演算処理負荷が大きくなるため、処理の遅延が生じ、或いは処理の高速化に対応するためにコストアップが必要になるといった問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、演算処理負荷を小さく抑えつつ、高精度に区画線の種別を認識することができる画像認識装置及び画像認識プログラム等を提供することにある。

上記目的を達成するための本発明に係る画像認識装置の特徴構成は、自車両の周辺の少なくとも道路面を所定の時間間隔で撮影した複数フレームの画像情報を取得する画像情報取得手段と、前記画像情報の各フレーム内に設定した検出領域に含まれる区画線の始端及び終端を検出する画像認識処理を行う画像認識手段と、前記区画線の始端及び終端の一方が検出された前記画像情報のフレームと前記区画線の始端及び終端の他方が検出された前記画像情報のフレームとの間のフレーム数、並びに自車両の車速に基づいて、前記区画線の始端及び終端の一方から他方までの距離を検出距離として検出する距離検出手段と、前記検出距離に基づいて前記区画線の区画線種別を判定する区画線種別判定手段と、を備えた点にある。

この特徴構成によれば、取得した画像情報に対しては、各フレーム内の限られた検出領域内に含まれる区画線の始端及び終端を検出する処理を行うだけであるため、簡易な画像認識処理を実行するだけで済み、画像情報に対する座標変換処理も行う必要がない。したがって、装置の演算処理負荷を小さく抑えることが容易となる。また、この特徴構成によれば、区画線の始端及び終端の一方が検出されたフレームと他方が検出されたフレームとの間のフレーム数並びに自車両の車速に基づいて、区画線の始端及び終端の一方から他方までの距離を検出し、当該検出距離に基づいて区画線種別を判定するため、画像情報に含まれる区画線の区画線種別を高精度に判定することができる。

ここで、前記距離検出手段は、自車両の車速に基づいて前記画像情報の１フレームあたりの自車両が進む距離を導出し、当該１フレームあたりの自車両が進む距離に前記フレーム数を乗算して得られる距離を、前記検出距離とする構成とすると好適である。

この構成によれば、車速が高くなるに従って長くなる画像情報の１フレームあたりの自車両が進む距離を、例えばテーブルや演算式等によってまず導出する。そして、当該１フレームあたりの自車両が進む距離に、区画線の始端及び終端の一方が検出されたフレームと区画線の始端及び終端の他方が検出されたフレームとの間のフレーム数を乗算する。これにより、区画線の始端及び終端の一方から他方までの距離である検出距離を、簡易な処理により適切に導出することができる。

また、前記検出領域は、前記画像情報の複数フレームに共通の位置を含んで設定した、各フレーム内の一部の領域である構成とすると好適である。

この構成によれば、画像情報の複数のフレームに対して、それらのフレームに共通する位置の周辺において区画線の始端及び終端を検出することになるため、自車両と区画線の始端又は終端との位置関係がフレーム毎にばらつくことを抑制できる。したがって、区画線の始端及び終端の一方から他方までの距離である検出距離の検出精度を高めることが可能となる。

また、前記区画線種別判定手段は、前記検出距離が所定の下限値と上限値との間の範囲内であった場合に、前記区画線種別を破線と判定する構成とすると好適である。

破線の区画線に関しては、区画線の始端及び終端の一方から他方までの距離である検出距離は、当該破線の区画線を構成する各線の線長又は間隔に相当することになる。したがって、この構成によれば、例えば、現実に存在する破線の区画線を構成する各線の線長又は間隔に応じて所定の下限値と上限値とを定めることにより、前記検出距離が、現実に存在する破線の区画線を構成する各線の線長又は間隔に合致する範囲内であった場合に、区画線種別を破線と判定する構成とすることができる。これにより、破線の区画線を、実線の区画線又は区画線以外の道路標示と区別して、適切に判定することが可能となる。

また、前記区画線種別判定手段は、破線の区画線を構成する各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別の中から、前記検出距離に応じて一つの区画線種別を判定する構成とすると好適である。

本願において、破線の区画線を構成する各線とは、所定間隔で断続的に配置されることにより破線の区画線を構成する線の一本一本のことである。そして、各線の線長は、各線の一本の長さのことであり、各線の間隔は、２本の線間の距離のことである。

この構成によれば、区画線の始端及び終端の一方から他方までの距離である検出距離が、破線の区画線を構成する各線の線長又は間隔に対応することを利用することにより、各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別の中から、一つの区画線種別を適切に判定することが可能となる。

また、前記区画線種別判定手段は、各区画線種別について、当該区画線種別であると判定する前記検出距離の範囲を、自車両が走行中の道路の道路種別及び地域の一方又は双方に応じて変更する構成とすると好適である。

この構成によれば、同じ区画線種別の区画線であっても、当該区画線を構成する各線の線長や間隔等が、道路種別及び地域の一方又は双方により異なることに対応して、適切に区画線種別を判定することができる。したがって、画像情報に含まれる区画線の区画線種別をより高精度に判定することが可能となる。

また、前記区画線種別判定手段は、画像認識手段によって前記区画線の始端及び終端の一方又は双方が一定周期で複数回検出されたことを条件として、前記区画線種別を破線と判定する構成とすると好適である。

画像情報に含まれる区画線の始端又は終端が、破線の区画線を構成する各線の始端又は終端である場合には、当該区画線の始端及び終端の一方又は双方が一定周期で複数回検出されるはずである。この構成によれば、そのような事象を利用して、破線の区画線種別を判定することにより、誤判定を抑制することができる。

また、前記区画線種別判定手段は、前記区画線の始端からの前記検出距離が所定の実線判定しきい値以上であった場合に、前記区画線種別を実線と判定する構成とすると好適である。

この構成によれば、例えば、実線判定しきい値を、現実に存在する破線の区画線の中で、各線の線長が最も長いものの当該各線の線長より大きい値に設定することにより、区画線の始端から終端までの距離である検出距離が当該実線判定しきい値以上である場合に、区画線種別を実線と判定する構成とすることができる。これにより、一本の区画線が切れ目なく連続して設けられている実線の区画線を、破線の区画線又は区画線以外の道路標示と区別して、適切に判定することが可能となる。

また、前記区画線種別判定手段は、前記区画線種別毎に当該区画線種別であると判定する条件となる前記検出距離の範囲を規定した判定規則に従って、前記区画線種別を判定する構成とすると好適である。

この構成によれば、区画線の始端及び終端の一方から他方までの距離である検出距離の範囲について区画線種別毎に予め規定した判定規則に照らし合わせて、距離検出手段により検出した検出距離がいずれの区画線種別の範囲に含まれるかに応じて区画線種別を判定することができる。したがって、簡易な演算処理によって高精度に区画線種別を判定することができる。

また、前記判定規則は、破線の区画線種別については、前記検出距離の範囲の上限値及び下限値を規定している構成とすると好適である。

破線の区画線に関しては、区画線の始端及び終端の一方から他方までの距離である検出距離は、当該破線の区画線を構成する各線の線長又は間隔に相当することになる。したがって、この構成によれば、例えば、現実に存在する破線の区画線を構成する各線の線長又は間隔に応じて検出距離の範囲の下限値及び上限値を定めることにより、破線の区画線種別についての判定規則を現実に則して適切に設定することができる。これにより、破線の区画線を、実線の区画線又は区画線以外の道路標示と区別して、適切に判定することが可能となる。

また、前記判定規則は、破線の区画線を構成する各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別のそれぞれについて、前記検出距離の範囲を規定している構成とすると好適である。

この構成によれば、区画線の始端及び終端の一方から他方までの距離である検出距離が、破線の区画線を構成する各線の線長又は間隔に対応することを利用して、各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別のそれぞれを判定することができるように、判定規則を適切に設定することができる。

また、前記判定規則は、各区画線種別について複数の前記検出距離の範囲を規定している構成とすると好適である。

この構成によれば、各区画線種別についての前記検出距離の範囲を、例えば道路種別や地域等によって当該区画線を構成する各線の線長や間隔等が異なることに対応して、それぞれ規定することが可能となる。したがって、このような判定規則を用いることにより、画像情報に含まれる区画線の区画線種別をより高精度に判定することが可能となる。

また、前記判定規則は、実線の区画線種別については、前記区画線の始端からの前記検出距離の範囲の下限値を規定している構成とすると好適である。

この構成によれば、前記区画線の始端からの前記検出距離の範囲の下限値を、例えば、現実に存在する破線の区画線の中で、各線の線長が最も長いものの当該各線の線長より大きい値に設定することにより、一本の区画線が切れ目なく連続して設けられている実線の区画線を、破線の区画線又は区画線以外の道路標示と区別して適切に判定することが可能な判定規則とすることができる。

本発明に係るナビゲーション装置の特徴構成は、上記の各構成を備えた画像認識装置と、地図情報が記憶された地図データベースと、前記地図情報及び前記画像認識装置により判定された区画線種別の情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。

この特徴構成によれば、自車両の周辺の道路面に設けられた区画線の区画線種別を高精度に判定した結果を用いて、各種の案内情報を出力することができる。したがって、例えば、自車両の周辺の区画線の種別に基づいて自車両が走行中のレーンである自車レーンを判定して各種の案内情報を出力する処理等をより適切に行うことが可能となる。

本発明に係る自車レーン判定装置の特徴構成は、上記の各構成を備えた画像認識装置と、前記画像認識装置により判定された区画線種別の情報に基づいて、自車両が走行中のレーンである自車レーンの判定を行う自車レーン判定手段と、を備える点にある。

この特徴構成によれば、自車両の周辺の道路面に設けられた区画線の区画線種別を高精度に判定した結果を用いて、例えば、自車両の両側に位置する区画線の種別の組み合せに基づいて、自車レーンの判定を適切に行うことが可能となる。

本発明に係る画像認識プログラムの特徴構成は、自車両の周辺の少なくとも道路面を所定の時間間隔で撮影した複数フレームの画像情報を取得する画像情報取得ステップと、前記画像情報の各フレーム内に設定した検出領域に含まれる区画線の始端及び終端を検出する画像認識処理を行う画像認識ステップと、前記区画線の始端及び終端の一方が検出された前記画像情報のフレームと前記区画線の始端及び終端の他方が検出された前記画像情報のフレームとの間のフレーム数、並びに自車両の車速とに基づいて、前記区画線の始端及び終端の一方から他方までの距離を検出距離として検出する距離検出ステップと、前記検出距離に基づいて前記区画線の区画線種別を判定する区画線種別判定ステップと、をコンピュータに実行させる点にある。

この特徴構成によれば、取得した画像情報に対しては、各フレーム内の限られた検出領域内に含まれる区画線の始端及び終端を検出する処理を行うだけであるため、簡易な画像認識処理を実行するだけで済み、画像情報に対する座標変換処理も行う必要がない。したがって、プログラムを実行する際の演算処理負荷を小さく抑えることが容易となる。また、この特徴構成によれば、区画線の始端及び終端の一方が検出されたフレームと他方が検出されたフレームとの間のフレーム数並びに自車両の車速に基づいて、区画線の始端及び終端の一方から他方までの距離を検出し、当該検出距離に基づいて区画線種別を判定するため、画像情報に含まれる区画線の区画線種別を高精度に判定することができる。

１．第一の実施形態
まず、本発明の第一の実施形態について図面に基づいて説明する。本実施形態では、本発明に係る画像認識装置２をナビゲーション装置１に適用した場合を例として説明する。図１は、本実施形態に係るナビゲーション装置１の概略構成を示すブロック図である。このナビゲーション装置１は、自車両Ｃの周辺の道路面Ｒｏ（図３参照）を撮影した複数フレームの画像情報Ｇを取得してそこに含まれる区画線の始端及び終端を検出することにより、区画線の始端及び終端の一方から他方までの距離を検出距離として検出し、当該検出距離に基づいて区画線種別を判定する画像認識装置２としての機能を備えている。また、このナビゲーション装置１は、画像認識装置２により判定された区画線種別に基づいて自車両Ｃが走行中のレーンである自車レーンの判定を行う自車レーン判定装置３としての機能も備えている。更に、このナビゲーション装置１は、一般的なナビゲーション機能として、自車両Ｃの現在位置及び進行方位を表す自車位置情報Ｐを取得するとともに、地図データベース２６から地図情報Ｍを取得し、それらの情報に基づいて、地図上の自車位置表示、出発地から目的地までの経路探索、目的地までの経路案内等の案内処理を行う。

図１に示すナビゲーション装置１の各機能部、具体的には、画像情報取得部１２、自車位置情報取得部１６、ナビゲーション用演算部１７、画像認識部３１、距離検出部３２、区画線種別判定部３３、及び自車レーン判定部３６は、互いに共通の或いはそれぞれ独立のＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア（プログラム）或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、地図データベース２６は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置１の各部の構成について詳細に説明する。

１−１．地図データベース
地図データベース２６は、所定の区画毎に分けられた地図情報Ｍが記憶された地図情報記憶手段として機能する。図２は、地図データベース２６に記憶されている地図情報Ｍの構成の例を示す図である。この図に示すように、地図情報Ｍは、交差点に対応する多数のノードｎと、各交差点間を結ぶ道路に対応するリンクｋとの接続関係により道路ネットワークを表す道路情報Ｒａを有している。各ノードｎは、緯度及び経度で表現された地図上の位置（座標）の情報を有している。各リンクｋは、ノードｎを介して接続されている。また、各リンクｋは、その属性情報として、道路種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、高速道路、国道、県道、一般道、細街路、導入路等のように、道路を複数の種別に区分した際の道路種別の情報である。なお、図２においては、一つの区画の道路情報Ｒａのみを図示し、他の区画の道路情報Ｒａは省略して示している。

この道路情報Ｒａは、後述するマップマッチングや、出発地から目的地までの経路探索、目的地までの経路案内等のために用いられる。また、図示は省略するが、地図情報Ｍには、このような道路情報Ｒａの他に、地図の表示に必要な各種の情報を有する描画情報、交差点の詳細情報から成る交差点情報等が含まれている。また、この描画情報には、道路形状、建物、河川等を表示するために必要な背景情報、市町村名や道路名等を表示するために必要な文字情報などが含まれている。

１−２．画像情報取得部
画像情報取得部１２は、撮像装置１１により撮影した自車両の周辺の画像情報Ｇを取得する画像情報取得手段として機能する。ここで、撮像装置１１は、撮像素子を備えた車載カメラであって、自車両Ｃの周辺の少なくとも道路面を撮影するように、自車両Ｃから外方に向けて設置されている。上記のとおり、本実施形態においては、図３に示すように、撮像装置１１としてバックカメラを用いているため、この撮像装置１１は自車両Ｃの後下方向の道路面Ｒｏを撮影する。また、撮像装置１１は、所定の時間間隔で連続的に撮影を行う。画像情報取得部１２は、撮像装置１１により所定の時間間隔で連続的に撮影した複数フレームＧｆ（図５〜図７参照）の画像情報Ｇをフレームメモリ（不図示）等を介して取り込む。この際に画像情報Ｇの各フレームＧｆを撮影する時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。一例として、ここでは、画像情報Ｇの各フレームＧｆを撮影する時間間隔を３３．３３ｍｓ程度とし、毎秒３０フレームの画像情報Ｇを撮影することとする。図５〜図７は、この画像情報取得部１２により取得される複数フレームＧｆの画像情報Ｇの具体例である。これらの図に示す各フレームＧｆは、時間の経過に従って、図中上から下に向かって、Ｇｆ１・・・Ｇｆ２・・・Ｇｆ３の順に撮影される。なお、これらの図では、フレームＧｆ１とＧｆ２との間、及びフレームＧｆ２とＧｆ３との間の一又は二以上のフレームＧｆを省略して示している。また、これらの図において各フレームＧｆ１、Ｇｆ２、Ｇｆ３の右側に記載した符号は、各フレームＧｆの識別情報としてのフレーム番号である。この画像情報取得部１２により取得された画像情報Ｇは、後述する画像認識部３１へ出力される。

１−３．自車位置情報取得部
自車位置情報取得部１６は、自車両Ｃの現在位置を示す自車位置情報Ｐを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部１６は、ＧＰＳ受信機１３、方位センサ１４、及び距離センサ１５と接続されている。ここで、ＧＰＳ受信機１３は、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号を受信する装置である。このＧＰＳ信号は、通常１秒おきに受信され、自車位置情報取得部１６へ出力される。自車位置情報取得部１６では、ＧＰＳ受信機１３で受信されたＧＰＳ衛星からの信号を解析し、自車両Ｃの現在位置（緯度及び経度）、進行方位、移動速度等の情報を取得することができる。方位センサ１４は、自車両Ｃの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ１４は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ１４は、その検出結果を自車位置情報取得部１６へ出力する。距離センサ１５は、自車両Ｃの車速ｖ（図４参照）や移動距離を検出するセンサである。この距離センサ１５は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Ｃの加速度を検知するヨー・Ｇセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ１５は、その検出結果としての車速ｖ及び移動距離の情報を自車位置情報取得部１６へ出力する。

自車位置情報取得部１６は、これらのＧＰＳ受信機１３、方位センサ１４及び距離センサ１５からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部１６は、地図データベース２６から自車位置周辺の地図情報Ｍを取得し、それに基づいて公知のマップマッチングを行うことにより自車両Ｃの現在位置を地図情報Ｍに示される道路上に合わせるとともに、自車両Ｃの進行方位を道路に沿った方向に合わせる補正を行う。このようにして、自車位置情報取得部１６は、緯度及び経度で表された自車両Ｃの現在位置の情報、及び自車両Ｃの進行方位の情報を含む自車位置情報Ｐを取得する。更に、本実施形態においては、自車位置情報取得部１６は、距離センサ１５の出力に基づいて、自車両Ｃの現在の車速ｖを表す車速情報Ｓを取得する。

１−４．ナビゲーション用演算部
ナビゲーション用演算部１７は、自車位置表示、出発地から目的地までの経路探索、目的地までの経路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム１８に従って動作する演算処理手段である。ここで、アプリケーションプログラム１８は、自車位置情報Ｐ、地図情報Ｍ、及び後述する区画線種別判定部３３により判定された区画線種別の情報等を参照して、ナビゲーション用演算部１７に各種のナビゲーション機能を実行させる。例えば、ナビゲーション用演算部１７は、自車位置情報Ｐに基づいて地図データベース２６から自車両Ｃ周辺の地図情報Ｍを取得して表示入力装置１９の表示画面に地図の画像を表示するとともに、当該地図の画像上に自車両Ｃの現在位置及び進行方位を表す自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部１７は、地図データベース２６に記憶された地図情報Ｍに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部１７は、探索された出発地から目的地までの経路と自車位置情報Ｐとに基づいて、表示入力装置１９及び音声出力装置２０の一方又は双方を用いて、運転者に対する経路案内を行う。この際、ナビゲーション用演算部１７は、後述する自車レーン判定部３６により判定された自車レーンに応じて、適切に進路変更等の案内情報の出力を行う。

また、これらのナビゲーション機能の他にも、ナビゲーション用演算部１７は、例えば、自車両Ｃの走行経路をレーン内に維持するためのアシストを行うレーンキープシステムの動作中に、認識している区画線の位置に加えて区画線種別も表示入力装置１９に表示する構成としても好適である。ここで、表示入力装置１９は、液晶表示装置等の表示装置とタッチパネルや操作スイッチ等の入力装置が一体となったものである。音声出力装置２０は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部１７、表示入力装置１９、及び音声出力装置２０が、所定の案内情報を出力する案内情報出力手段２１として機能する。

１−５．認識対象とする区画線について
上記のとおり、本実施形態に係る画像認識装置２（ナビゲーション装置１）は、自車両Ｃの周辺の道路面Ｒｏを撮影した複数フレームの画像情報Ｇに含まれる区画線Ｌの区画線種別を判定して区画線Ｌを認識する処理を行う。ここで画像認識装置２が認識対象とする、区画線Ｌには、道路のレーンの境界や道路の車両が通行する区域の最も外側の境界を表す白線や黄線等が含まれ、例えば、実線、各種間隔の破線、二重実線等の現実の道路に存在する各種の線が含まれる。図４は、このような区画線Ｌが設けられた道路の一例を示す図であり、具体的には、高速道路の分岐点付近の状況を示している。この図に示す例には、区画線Ｌとして、通常破線の区画線Ｌ１、太破線の区画線Ｌ２、実線の区画線Ｌ３が含まれている。ここで、通常破線の区画線Ｌ１は、レーンの境界等に設けられる通常の破線の区画線Ｌである。一方、太破線の区画線Ｌ２は、例えば高速道路の分岐点や合流点における本線と接続道路との境界等に設けられる破線の区画線Ｌであり、通常破線の区画線Ｌ１に比べて、当該破線を構成する各線の線長及び間隔が短く、各線の幅が広い。実線の区画線Ｌ３は、例えばレーンの境界や車両が通行する区域の最も外側の境界等に設けられる実線の区画線である。本願に係る発明によれば、これら３種類以外の区画線種別を判定することも可能であるが、本実施形態においては説明の簡略化のため、画像認識装置２が、これら３種類の区画線種別の判定を行う場合を例として説明する。なお、以下の説明において、単に区画線Ｌという場合には、これら複数の区画線種別の区画線Ｌ１〜Ｌ３を総称するものとする。

図５〜図７は、画像情報取得部１２により取得した画像情報Ｇの具体例をそれぞれ示す図である。ここで、図５は、図４にＣ１として示す自車両Ｃが取得した画像情報Ｇの例であって、自車両Ｃの両側に通常破線の区画線Ｌ１が存在する場合の例である。図６は、図４にＣ２として示す自車両Ｃが取得した画像情報Ｇの例であって、自車両Ｃの左側（画像情報Ｇにおける右側）に太破線の区画線Ｌ２が存在し、右側（画像情報Ｇにおける左側）に通常破線の区画線Ｌ１が存在する場合の例である。図７は、図４にＣ３として示す自車両Ｃが取得した画像情報Ｇの例であって、自車両Ｃの左側（画像情報Ｇにおける右側）に実線の区画線Ｌ３が存在し、右側（画像情報Ｇにおける左側）に通常破線の区画線Ｌ１が存在する場合の例である。これらの図に示すように、画像情報取得部１２は、自車両Ｃの後下方向の道路面Ｒｏを所定の時間間隔で連続的に撮影した複数のフレームＧｆの画像情報Ｇを取得する。なお、これらの図には、複数フレームの中の一部のフレームＧｆのみを示している。画像情報取得部１２により取得されたこれらの画像情報Ｇは、以下に説明する画像認識部３１へ出力され、画像認識処理の対象とされる。

１−６．画像認識部
画像認識部３１は、画像情報取得部１２で取得された画像情報Ｇに対する画像認識処理を行う画像認識手段として機能する。この画像認識部３１は、画像情報Ｇの各フレームＧｆ内に設定した検出領域Ａ（図５〜図７参照）に含まれる区画線Ｌの始端Ｐｂ及び終端Ｐｅを検出する画像認識処理を行う。図４に示すように、区画線Ｌの始端Ｐｂ及び終端Ｐｅは、区画線Ｌを構成する各線の長さ方向のいずれかの端部であって、始端Ｐｂは自車両Ｃの進行方向後方側の端部であり、終端Ｐｅは自車両Ｃの進行方向前方側の端部である。また、区画線Ｌを構成する各線とは、区画線Ｌを構成する一本の連続する線であって、破線の区画線Ｌ１、Ｌ２では、一線上に所定間隔で配列された複数本の線の一本一本であり、実線の区画線Ｌ３では連続する長い一本の線である。

図５〜図７に示すように、検出領域Ａは、画像情報Ｇの複数フレームＧｆ（Ｇｆ１〜Ｇｆ３）に共通の位置を含んで設定した、各フレームＧｆ内の一部の領域である。本実施形態においては、検出領域Ａは、自車両Ｃの車速ｖ等に関わらず、全てのフレームＧｆに共通の位置及び大きさとなるように設定している。具体的には、検出領域Ａは、各フレームＧｆの下部に設定され、水平方向には各フレームＧｆと同じ幅を有し、鉛直方向には各フレームＧｆの高さよりも小さい一定の高さを有する領域としている。ここで、検出領域Ａが設定される位置は、フレームＧｆの下半分、より好ましくは下３分の１の領域内とすると好適である。このように、検出領域ＡをフレームＧｆの下部に配置すれば、自車両Ｃに近い位置を撮影した画像の情報を対象とすることができるため、区画線Ｌの始端Ｐｂ及び終端Ｐｅを検出する際の自車両Ｃから当該始端Ｐｂ又は終端Ｐｅまで距離の分解能を高めることが容易となる。

また、検出領域Ａの鉛直方向の高さは、大きくし過ぎると、画像認識処理の演算負荷が大きくなるとともに、検出領域Ａ内のいずれの位置に区画線Ｌの始端Ｐｂ又は終端Ｐｅが検出されるかによる自車両Ｃから当該始端Ｐｂ又は終端Ｐｅまで距離の差が大きくなる。そこで、検出領域Ａの鉛直方向の高さは、適切な区画線Ｌの始端Ｐｂ及び終端Ｐｅの検出が可能な範囲で、できる限り小さく設定すると好適である。この際、一定時間あたりに撮影されるフレームＧｆの数、フレームＧｆ内の鉛直方向の検出領域Ａの位置、及び想定される自車両Ｃの最高車速等に応じて、自車両Ｃの車速ｖ（図４参照）が高い状態であっても、隣接するフレームＧｆの検出領域Ａ間に含まれない道路面Ｒｏの領域がないように設定するとよい。このようにすれば、区画線Ｌの始端Ｐｂ又は終端Ｐｅが存在するにも関わらず、それらが検出領域Ａ内に含まれないために画像認識部３１により検出できない事態が生じることを防止できる。

また、上記のとおり、検出領域Ａの水平方向の幅は、フレームＧｆの水平方向の幅と同じとしている。このような構成とすれば、検出領域ＡをフレームＧｆ内の水平方向の一部の領域とする場合と比較して、道路のレーンに対する自車両Ｃの位置に因らず、区画線Ｌの始端Ｐｂ及び終端Ｐｅを検出できる可能性を高めることができる。ところで、このような検出領域Ａを設定した場合には、自車両Ｃがレーンの中央部を走行している場合に、自車両Ｃの両側に存在する区画線Ｌの両方を対象として画像認識処理を行うことが可能である。但し、以下の説明においては、説明の簡略化のため、自車両Ｃの左側（画像情報Ｇにおける右側）に存在する区画線Ｌのみを対象として画像認識処理を行う場合を例として説明する。なお、実際には、画像認識部３１は、検出領域Ａ内に含まれる全ての区画線Ｌ、すなわち自車両Ｃの両側に存在する区画線Ｌの双方を対象として画像認識処理を行う。

そして、画像認識部３１は、画像情報Ｇの各フレームＧｆに設定された検出領域Ａ内の画像の情報に対して、区画線Ｌの始端Ｐｂ及び終端Ｐｅを検出する画像認識処理を行う。具体的には、画像認識部３１は、取得された各フレームＧｆ内の検出領域Ａに対して二値化処理やエッジ抽出処理等を行い、当該検出領域Ａ内の道路標示（区画線Ｌを含む）等の輪郭情報を抽出する。次に、画像認識部３１は、抽出された輪郭情報が、区画線Ｌの始端Ｐｂ又は終端Ｐｅに相当する特徴を有しているか否かの判定を行う。ここで、区画線Ｌの始端Ｐｂ又は終端Ｐｅに相当する特徴とは、例えば、区画線Ｌの幅に相当する横幅を有するコの字上の輪郭形状等が該当する。なお、画像認識部３１は、検出領域Ａ内の画像の特定領域の輝度変化を検出することにより、区画線Ｌの始端Ｐｂ及び終端Ｐｅを検出する等のように、他の認識方法による画像認識処理を行うことも当然に可能である。

そして、画像認識部３１は、検出領域Ａ内から抽出された輪郭情報が、区画線Ｌの始端Ｐｂに相当する特徴を有している場合には、当該検出領域Ａ内に区画線Ｌの始端Ｐｂが含まれていると判定する。この場合、画像認識部３１は、当該フレームＧｆの検出領域Ａ内に区画線Ｌの始端Ｐｂを検出したことを表す始端検出情報を距離検出部３２へ出力する。ここで、始端検出情報は、始端Ｐｂを検出したことを示す情報に加えて、当該区画線Ｌの始端Ｐｂを検出したフレームＧｆの識別情報（本実施形態ではフレーム番号）を含む。また、画像認識部３１は、検出領域Ａ内から抽出された輪郭情報が、区画線Ｌの終端Ｐｅに相当する特徴を有している場合には、当該検出領域Ａ内に区画線Ｌの終端Ｐｅが含まれていると判定する。この場合、画像認識部３１は、当該フレームＧｆの検出領域Ａ内に区画線Ｌの終端Ｐｅを検出したことを表す終端検出情報を距離検出部３２へ出力する。ここで、終端検出情報は、終端Ｐｅを検出したことを示す情報に加えて、当該区画線Ｌの終端Ｐｅを検出したフレームＧｆの識別情報（本実施形態ではフレーム番号）を含む。なお、自車両Ｃの車速ｖ（図４参照）に対して検出領域Ａの高さが大きいために、複数のフレームＧｆの検出領域Ａで同じ区画線Ｌの始端Ｐｂ又は終端Ｐｅを検出した場合には、画像認識部３１は、当該始端Ｐｂ又は終端Ｐｅを最初に検出したフレームＧｆについてのみ、始端検出情報又は終端検出情報を出力する。

図５に示す例では、自車両Ｃの左側（画像情報Ｇにおける右側）に存在する区画線Ｌを対象として画像認識処理を行った場合、画像認識部３１は、フレームＧｆ１の検出領域Ａ内に区画線Ｌ（図示の例では通常破線の区画線Ｌ１）の始端Ｐｂを検出し、フレームＧｆ３の検出領域Ａ内に区画線Ｌの終端Ｐｅを検出する。したがって、画像認識部３１は、フレームＧｆ１のフレーム番号「１００ｘｘ」を含む始端検出情報を出力し、その後、フレームＧｆ３のフレーム番号「１００ｚｚ」を含む終端検出情報を出力する。また、図６に示す例では、自車両Ｃの左側（画像情報Ｇにおける右側）に存在する区画線Ｌを対象として画像認識処理を行った場合、画像認識部３１は、フレームＧｆ１の検出領域Ａ内に区画線Ｌ（図示の例では太破線の区画線Ｌ２）の始端Ｐｂを検出し、フレームＧｆ３の検出領域Ａ内に区画線Ｌの終端Ｐｅを検出する。したがって、画像認識部３１は、フレームＧｆ１のフレーム番号「２００ｘｘ」を含む始端検出情報を出力し、その後、フレームＧｆ３のフレーム番号「２００ｚｚ」を含む終端検出情報を出力する。また、図７に示す例では、自車両Ｃの左側（画像情報Ｇにおける右側）に存在する区画線Ｌを対象として画像認識処理を行った場合、画像認識部３１は、フレームＧｆ１の検出領域Ａ内に区画線Ｌ（図示の例では実線の区画線Ｌ３）の始端Ｐｂを検出するが、フレームＧｆ３を過ぎても検出領域Ａ内に区画線Ｌの終端Ｐｅを検出することはない。したがって、画像認識部３１は、フレームＧｆ１のフレーム番号「３００ｘｘ」を含む始端検出情報を出力するが、その後、フレームＧｆ３の画像認識処理が終わっても終端検出情報を出力することはない。

１−７．距離検出部
距離検出部３２は、区画線Ｌの始端Ｐｂ及び終端Ｐｅの一方から他方までの距離を検出距離ｄとして検出する距離検出手段として機能する。この際、本実施形態においては、区画線Ｌの始端Ｐｂが検出された画像情報ＧのフレームＧｆと区画線Ｌの終端Ｐｅが検出された画像情報ＧのフレームＧｆとの間のフレーム数Ｎ、並びに自車両Ｄの車速ｖに基づいて、検出距離ｄを検出する。すなわち、本実施形態においては、距離検出部３２は、区画線Ｌを構成する各線の線長に相当する、区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離を検出距離ｄとして検出する。

具体的には、距離検出部３２は、車速情報Ｓに示される自車両Ｃの車速ｖに基づいて画像情報Ｇの１フレームあたりの自車両Ｃが進む距離をフレーム単位距離Ｕとして導出し、当該フレーム単位距離Ｕに、前記フレーム数Ｎを乗算して得られる距離を検出距離ｄとして導出する。ここで、自車両Ｃの車速ｖは、自車位置情報取得部１６により取得される車速情報Ｓから得られる。そして、下記の式（１）に示すように、フレーム単位距離Ｕは、車速情報Ｓに示される自車両Ｃの車速ｖを、撮像装置１１による単位時間あたりの撮影フレーム数で除算することにより導出することができる。
（フレーム単位距離Ｕ）＝（車速ｖ）／（単位時間あたり撮影フレーム数）・・・（１）
したがって、例えば、自車両Ｃの車速ｖが５４〔ｋｍ／時〕で、撮影フレーム数が毎秒３０フレームである場合には、フレーム単位距離Ｕは、０．５〔ｍ〕となる。

また、区画線Ｌの始端Ｐｂが検出されたフレームＧｆと終端Ｐｅが検出されたフレームＧｆとの間のフレーム数Ｎは、始端検出情報及び終端検出情報にそれぞれ含まれる各フレームＧｆの識別情報としてのフレーム番号に基づいて検出することができる。すなわち、各フレームＧｆのフレーム番号が連番である場合には、終端検出情報に含まれるフレーム番号から、始端検出情報に含まれるフレーム番号を引算することによりフレーム数Ｎを導出することができる。例えば、図５に示す例では、上記のとおり、画像認識部３１は、フレームＧｆ１のフレーム番号「１００ｘｘ」を含む始端検出情報を出力し、その後、フレームＧｆ３のフレーム番号「１００ｚｚ」を含む終端検出情報を出力する。したがって、フレーム数Ｎは、フレーム番号「１００ｚｚ」からフレーム番号「１００ｘｘ」を引算することにより導出することができる。

そして、距離検出部３２は、下記の式（２）に示すように、このフレーム数Ｎを上記のフレーム単位距離Ｕに乗算することにより、検出距離ｄを導出する。
（検出距離ｄ）＝（フレーム単位距離Ｕ）×（フレーム数Ｎ）・・・（２）
したがって、例えば、上記のとおり、フレーム単位距離Ｕが０．５〔ｍ〕であり、フレーム数Ｎが１６であった場合には、距離検出部３２は、検出距離ｄを、８〔ｍ〕と検出する。以上のようにして距離検出部３２が検出した検出距離ｄは、図４に示すように、区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離にほぼ等しく、したがって、区画線Ｌを構成する各線の線長にほぼ等しい。なお、区画線Ｌが実線の区画線Ｌ３であったために、所定フレーム数を過ぎても終端検出情報が画像認識部３１から出力されない場合には、その時点で仮想的に終端Ｐｅを検出したものとして検出距離ｄを導出し、後述する区画線種別判定部３３において区画線種別を「実線」と判定する構成とすると好適である。ここで、所定フレーム数は、区画線種別を「実線」と判定することができるために十分に多い数に設定する。このようにすれば、実線の区画線Ｌ３の画像情報Ｇを取得した際に、その区画線種別の判定をより迅速に行うことができる。

１−８．判定規則テーブル
後述するように、本実施形態においては、区画線種別判定部３３は、所定の判定規則Ｒに従って区画線種別の判定を行う。そこで、次に、判定規則テーブル３４に規定された判定規則Ｒについて説明する。判定規則Ｒは、区画線種別毎に当該区画線種別であると判定する条件となる検出距離ｄの範囲（以下「検出距離範囲」という。）を規定した規則である。図８は、本実施形態に係る判定規則テーブル３４の具体例を示す図である。この図に示すように、判定規則Ｒは、破線の区画線種別（本実施形態では「通常破線」及び「太破線」）については、検出距離範囲の上限値及び下限値を規定している。一方、判定規則Ｒは、実線の区画線Ｌ３の区画線種別である「実線」については、検出距離範囲の下限値を規定している。また、判定規則Ｒは、破線の区画線Ｌを構成する各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別のそれぞれについて、検出距離範囲を規定している。すなわち、本実施形態においては、判定規則Ｒは、破線の区画線Ｌ（Ｌ１、Ｌ２）の区画線種別である「通常破線」及び「太破線」のそれぞれの区画線種別について、検出距離範囲を規定している。また、判定規則Ｒは、各区画線種別について複数の検出距離範囲を規定している。すなわち、本実施形態においては、３つの区画線種別のそれぞれについて、複数のパターンの検出距離範囲、具体的には、パターン（Ａ）、パターン（Ｂ）、及びパターン（Ｃ）の３つの検出距離範囲を規定している。

以下、判定規則テーブル３４に規定された判定規則Ｒについて更に具体的に説明する。図８に示すように、判定規則テーブル３４には、「太破線」、「通常破線」、及び「実線」の３つの区画線種別のそれぞれについて、判定規則Ｒとしての検出距離範囲が規定されている。具体的には、例えば、パターン（Ａ）について見れば、判定規則Ｒは、「太破線」の区画線種別について検出距離範囲（上限値及び下限値）を「ａ１〜ａ２」、「通常破線」の区画線種別について検出距離範囲（上限値及び下限値）を「ａ３〜ａ４」、「実線」の区画線種別について検出距離範囲（下限値）を「ａ５以上」と規定している。ここで、各区画線種別についての検出距離範囲は、後述する区画線種別判定部３３が、距離検出部３２により検出された検出距離ｄがいずれの範囲に属するかに応じて、区画線種別の判定を行うために用いる。したがって、これらの各区画線種別についての検出距離範囲は、互いに重複しない範囲に設定する。すなわち、検出距離範囲を規定する各値は、ａ１＜ａ２＜ａ３＜ａ＜ａ５の関係となっている。そして、これらの各区画線種別についての検出距離範囲は、例えばパターン（Ａ）が想定する道路種別や地域等における、各区画線種別の区画線Ｌ（Ｌ１〜Ｌ３）を構成する各線の線長に応じて、当該線長が含まれるとともに、他の区画線種別の区画線Ｌの線長が含まれない範囲に設定する。なお、「実線」の区画線種別について検出距離範囲の下限値である「ａ５」は、当該パターン（Ａ）が想定する道路種別や地域等における通常破線の区画線Ｌ１の線長よりも十分に大きい値に設定される。本実施形態においては、この「実線」の区画線種別について検出距離範囲の下限値である「ａ５」が、後述する区画線種別判定部３３が区画線種別を「実線」と判定する条件となる、検出距離ｄについての所定の実線判定しきい値に相当する。以上の点は、パターン（Ｂ）及びパターン（Ｃ）についても同様である。

各区画線種別についてのパターン（Ａ）、パターン（Ｂ）、及びパターン（Ｃ）の３つの検出距離範囲は、通常破線の区画線Ｌ１及び太破線の区画線Ｌ２を構成する各線の線長及び間隔の一方又は双方（本実施形態では線長）が、道路種別や地域等によって異なることに応じて規定されたものである。例えば、通常破線の区画線Ｌ１の線長及び間隔は、一般的に、高速道路の方が国道等の一般道よりも長い。また、道路種別が同じであっても、道路を管理する行政区画等の地域によって通常破線の区画線Ｌ１や太破線の区画線Ｌ２の線長及び間隔が異なる場合がある。そこで、本実施形態においては、このような道路種別及び地域の一方又は双方によって異なる各線の線長に応じて適切な検出距離範囲を用いることにより、区画線種別の判定精度を高めるために、各区画線種別についてパターン（Ａ）〜（Ｃ）の３つの検出距離範囲を規定している。

具体的には、例えば、「太破線」の区画線種別について見れば、検出距離範囲（上限値及び下限値）を、パターン（Ａ）では「ａ１〜ａ２」、パターン（Ｂ）では「ｂ１〜ｂ２」、パターン（Ｃ）では「ｃ１〜ｃ２」と規定している。ここで、各パターン（Ａ）〜（Ｃ）の検出距離範囲は、後述する区画線種別判定部３３が、自車両Ｃが走行中の道路の道路種別及び地域の一方又は双方に応じて、これらのパターン（Ａ）〜（Ｃ）の３つの中から一つのパターンを選択して使用し、区画線種別の判定を行うために用いる。したがって、これらの各パターン（Ａ）〜（Ｃ）の検出距離範囲は、同時に使用されることはないため、互いに重複する範囲に設定してもよいし、重複しない範囲に設定してもよい。すなわち、これらのパターン（Ａ）〜（Ｃ）の検出距離範囲は、各パターン（Ａ）〜（Ｃ）が想定する道路種別や地域等における、例えば太破線の区画線Ｌ２を構成する各線の線長に応じて、当該線長が含まれる範囲に設定する。以上の点は、通常破線の区画線Ｌ１及び実線の区画線Ｌ３についても同様である。なお、「実線」の区画線種別について検出距離範囲の下限値である「ａ５」、「ｂ５」、「ｃ５」は、各パターン（Ａ）〜（Ｃ）が想定する道路種別や地域等における通常破線の区画線Ｌ１の線長よりも十分に大きい値に設定される。

１−９．区画線種別判定部
区画線種別判定部３３は、距離検出部３２により検出された検出距離ｄに基づいて区画線Ｌの区画線種別を判定する区画線種別判定手段として機能する。この際、区画線種別判定部３３は、検出距離ｄが判定規則Ｒに規定された所定の下限値と上限値との間の範囲内であった場合に、区画線種別を破線（本実施形態では「通常破線」及び「太破線」）と判定する。一方、区画線種別判定部３３は、検出距離ｄが所定の実線判定しきい値（本実施形態においては図８の「ａ５」、「ｂ５」、「ｃ５」）以上であった場合に、区画線種別を「実線」と判定する。また、区画線種別判定部３３は、破線の区画線Ｌを構成する各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別の中から、検出距離ｄに応じて一つの区画線種別を判定する。すなわち、本実施形態においては、区画線種別判定部３３は、破線の区画線Ｌ（Ｌ１、Ｌ２）の区画線種別である「通常破線」及び「太破線」の中から、検出距離ｄに応じて一つの破線の区画線種別を判定する。更に、区画線種別判定部３３は、各区画線種別について、当該区画線種別であると判定する検出距離範囲を、自車両Ｃが走行中の道路の道路種別及び地域の一方又は双方に応じて変更する。そのため、本実施形態においては、区画線種別判定部３３は、上記の判定規則テーブル３４に規定された判定規則Ｒに従って区画線種別の判定を行う。

具体的には、区画線種別判定部３３は、まず、自車位置情報取得部１６により取得された自車位置情報Ｐ及び地図データベース２６に記憶された地図情報Ｍに基づいて、自車両Ｃが走行中の道路の道路種別及び当該道路が存在する地域を特定する。そして、区画線種別判定部３３は、パターン適用テーブル３５に従って、自車両Ｃが走行中の道路の道路種別及び地域に適用する判定規則Ｒを、複数のパターン（本実施形態ではパターン（Ａ）〜（Ｃ）の３つ）の中から選択する。ここでは、パターン適用テーブル３５は、複数の道路種別と複数の地域との組み合せのそれぞれについて適用する判定規則Ｒを規定したテーブルとなっている。図９は、本実施形態に係るパターン適用テーブル３５の具体例を示す図である。この図に示すように、ここでは、パターン適用テーブル３５は、道路種別を「高速道路」と「一般道」とに区分し、地域を都道府県毎に区分し、これらの道路種別及び地域の組み合せのそれぞれに適用する判定規則Ｒのパターン（（Ａ）〜（Ｃ））を規定している。したがって、例えば、区画線種別判定部３３は、自車両Ｃが走行中の道路の道路種別が「高速道路」であり、当該道路が存在する地域が「北海道」であった場合には、パターン（Ａ）の判定規則Ｒを選択して適用する。これにより、区画線種別判定部３３は、各区画線種別について、当該区画線種別であると判定する検出距離範囲を、自車両Ｃが走行中の道路の道路種別及び地域の双方に応じて変更することができる。

そして、区画線種別判定部３３は、上記のようにして選択されたいずれかのパターン（（Ａ）〜（Ｃ））の判定規則Ｒに従って、距離検出部３２により検出された検出距離ｄが、当該判定規則Ｒに規定された区画線種別毎の検出距離範囲のいずれに属するかに応じて区画線種別を判定する。すなわち、距離検出部３２により検出された検出距離ｄが、判定規則Ｒに規定された区画線種別毎の検出距離範囲のいずれかに属する場合には、その区画線Ｌが当該属する範囲についての区画線種別であると判定し、いずれにも属しない場合には、画像認識部３１により認識された道路標示等の地物は区画線Ｌではないと判定する。具体的には、例えばパターン（Ａ）の判定規則Ｒが選択されている場合には、区画線種別判定部３３は、距離検出部３２により検出された検出距離ｄが、区画線種別「太破線」の検出距離範囲「ａ１〜ａ２」内に含まれている場合には、区画線種別を「太破線」と判定し、区画線種別「通常破線」の検出距離範囲「ａ３〜ａ４」内に含まれている場合には、区画線種別を「通常破線」と判定し、区画線種別「実線」の検出距離範囲「ａ５以上」に含まれている場合には、区画線種別を「実線」と判定する。そして、区画線種別判定部３３は、距離検出部３２により検出された検出距離ｄが、上記いずれの範囲にも含まれていない場合には、画像認識部３１により始端Ｐｂ及び終端Ｐｅが検出された道路標示等の地物は区画線Ｌではないものと判定する。

以上により、区画線種別判定部３３は、距離検出部３２により検出された区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離である検出距離ｄに基づいて、画像認識部３１により始端Ｐｂ及び終端Ｐｅが検出された区画線Ｌの区画線種別を適切に判定することができる。この区画線種別判定部３３により判定された区画線種別の情報は、後述する自車レーン判定部３６やナビゲーション用演算部１７等へ出力され、自車レーンの判定や各種の案内情報の出力等に用いられる。

１−１０．自車レーン判定部
自車レーン判定部３６は、区画線種別判定部３３により判定された区画線種別の情報に基づいて、自車両Ｃが走行中のレーンである自車レーンの判定を行う自車レーン判定手段として機能する。上記のとおり、これまでは説明の簡略化のために、自車両Ｃの片側にある区画線Ｌのみを対象として区画線種別の判定を行うこととして説明してきた。しかし、実際には、画像認識部３１は、自車両Ｃの両側に存在する区画線Ｌの双方を対象として画像認識処理を行い、よって、距離検出部３２は自車両Ｃの両側の区画線Ｌのそれぞれについて検出距離ｄを検出し、区画線種別判定部３３は自車両Ｃの両側の区画線Ｌのそれぞれの区画線種別を判定する。自車レーン判定部３６は、このように判定された自車両Ｃの両側の区画線Ｌの区画線種別の情報に基づいて、自車レーンの判定を行う。

具体的には、自車レーン判定部３６は、区画線種別判定部３３により判定された自車両Ｃの両側に存在する２つの区画線Ｌの区画線種別の組み合せに基づいて、自車レーンの判定を行う。すなわち、例えば、自車位置情報Ｐ及び地図情報Ｍに基づいて、自車両Ｃが走行中の道路の車線数が３車線であると分かっている場合において、区画線種別判定部３３により自車両Ｃの左側に実線の区画線Ｌ３、右側に通常破線の区画線Ｌ１があると判定された場合には、図４にＣ３として示すように、自車両Ｃは３車線中の最も左側のレーンを走行していると判定することができる。したがって、この場合、自車レーン判定部３６は、自車レーンを３車線中の最も左側のレーンであると判定する。同様に、区画線種別判定部３３により自車両Ｃの両側に通常破線の区画線Ｌ１があると判定された場合には、自車レーン判定部３６は、自車レーンを３車線中の中央のレーンであると判定する（図４のＣ１参照）。また、区画線種別判定部３３により左側に通常破線の区画線Ｌ１、右側に実線の区画線Ｌ３があると判定された場合には、自車レーン判定部３６は、自車レーンを３車線中の最も右側のレーンであると判定する。なお、区画線種別判定部３３により左側に太破線の区画線Ｌ２、右側に通常破線の区画線Ｌ１があると判定された場合にも、自車レーン判定部３６は、自車レーンを３車線中の最も左側のレーンであると判定する（図４のＣ２参照）。この自車レーン判定部３６により判定された自車レーンの情報は、ナビゲーション用演算部１７へ出力され、各種の案内情報の出力等に用いられる。

１−１１．画像認識処理方法
次に、本実施形態に係る画像認識装置２を含むナビゲーション装置１において実行される、区画線を認識する画像認識処理の手順（画像認識プログラム）について説明する。図１０は、本実施形態に係る画像認識処理の全体の手順を示すフローチャートである。また、図１１は、図１０のステップ＃１１に係る区画線種別判定処理の詳しい手順を示すフローチャートである。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア（プログラム）或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置１が有する演算処理装置が、上記の各機能部を構成する画像認識プログラムを実行するコンピュータとして動作する。以下、フローチャートに従って説明する。

図１０に示すように、区画線を認識する画像認識処理においては、ナビゲーション装置１は、まず、画像情報取得部１２により、撮像装置１１により撮影した１フレームの画像情報Ｇを取得する（ステップ＃０１）。上記のとおり、この画像情報Ｇには、自車両Ｃの周辺の少なくとも道路面Ｒｏ（図４等参照）の画像が含まれる。そして、画像認識部３１により、画像情報Ｇの各フレームＧｆ内に設定した検出領域Ａ（図５〜図７参照）に含まれる区画線Ｌの始端Ｐｂを検出する画像認識処理を行う（ステップ＃０２）。画像認識処理の結果、当該フレームＧｆ内の検出領域Ａに区画線Ｌの始端Ｐｂを検出しなかった場合には（ステップ＃０３：Ｎｏ）、ステップ＃０１へ戻り、次の１フレームの画像情報Ｇを取得し、再度、区画線Ｌの始端Ｐｂを検出する画像認識処理を行う（ステップ＃０２）。一方、画像認識処理の結果、当該フレームＧｆ内の検出領域Ａに区画線Ｌの始端Ｐｂを検出した場合には（ステップ＃０３：Ｙｅｓ）、画像認識部３１は、始端検出情報を距離検出部３２へ出力する（ステップ＃０４）。

その後、画像情報取得部１２により、次の１フレームの画像情報Ｇを取得する（ステップ＃０５）。そして、画像認識部３１により、画像情報Ｇの各フレームＧｆ内に設定した検出領域Ａ（図５〜図７参照）に含まれる区画線Ｌの終端Ｐｅを検出する画像認識処理を行う（ステップ＃０６）。画像認識処理の結果、当該フレームＧｆ内の検出領域Ａに区画線Ｌの終端Ｐｅを検出しなかった場合には（ステップ＃０７：Ｎｏ）、ステップ＃０５へ戻り、次の１フレームの画像情報Ｇを取得し、再度、区画線Ｌの終端Ｐｅを検出する画像認識処理を行う（ステップ＃０６）。一方、画像認識処理の結果、当該フレームＧｆ内の検出領域Ａに区画線Ｌの終端Ｐｅを検出した場合には（ステップ＃０７：Ｙｅｓ）、画像認識部３１は、終端検出情報を距離検出部３２へ出力する（ステップ＃０８）。

その後、ナビゲーション装置１は、自車位置情報取得部１６により、自車両Ｃの現在の車速ｖを表す車速情報Ｓを取得する（ステップ＃０９）。そして、距離検出部３２により、区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離を検出距離ｄとして検出する（ステップ＃１０）。この際、距離検出部３２は、上記のとおり、区画線Ｌの始端Ｐｂが検出された画像情報ＧのフレームＧｆと区画線Ｌの終端Ｐｅが検出された画像情報ＧのフレームＧｆとの間のフレーム数Ｎ、並びに自車両Ｄの車速ｖに基づいて、検出距離ｄを検出する。すなわち、本実施形態においては、距離検出部３２は、車速情報Ｓに示される自車両Ｃの車速ｖに基づいて画像情報Ｇの１フレームあたりの自車両Ｃが進む距離をフレーム単位距離Ｕとして導出し、当該フレーム単位距離Ｕに、前記フレーム数Ｎを乗算して得られる距離を検出距離ｄとして導出する。その後、区画線種別判定部３３により、距離検出部３２により検出された検出距離ｄに基づいて区画線Ｌの区画線種別を判定する区画線種別判定処理を行う。この区画線種別判定処理の内容については、以下に図１１のフローチャートに基づいて詳細に説明する。以上で処理は終了する。

次に、区画線種別判定部３３による、区画線種別判定処理の内容について説明する。図１１に示すように、区画線種別判定処理においては、まず、自車位置情報取得部１６により、自車位置情報Ｐを取得する（ステップ＃２１）。次に、ステップ＃２１で取得した自車位置情報Ｐ、及び地図データベース２６に記憶された地図情報Ｍに基づいて、自車両Ｃが走行中の道路の道路種別及び当該道路が存在する地域を特定する（ステップ＃２２）。そして、ステップ＃２２で特定された道路種別及び地域に応じて、判定規則Ｒのパターンを選択する（ステップ＃２３）。本実施形態においては、区画線種別判定部３３は、パターン適用テーブル３５に従って、パターン（Ａ）〜（Ｃ）の３つの中から一つのパターンの判定規則Ｒを選択する。

その後、ステップ＃１０で検出した検出距離ｄが、ステップ＃２３で選択された判定規則Ｒに規定された区画線種別「太破線」の検出距離範囲内に含まれるか否かについて判定する（ステップ＃２４）。そして、検出距離ｄが、判定規則Ｒに規定された区画線種別「太破線」の検出距離範囲内に含まれる場合には（ステップ＃２４：Ｙｅｓ）、区画線種別判定部３３は、画像認識部３１により始端Ｐｂ及び終端Ｐｅが検出された区画線Ｌの区画線種別を「太破線」と判定する（ステップ＃２５）。一方、検出距離ｄが、判定規則Ｒに規定された区画線種別「太破線」の検出距離範囲内に含まれない場合には（ステップ＃２４：Ｎｏ）、次に、ステップ＃１０で検出した検出距離ｄが、ステップ＃２３で選択された判定規則Ｒに規定された区画線種別「通常破線」の検出距離範囲内に含まれるか否かについて判定する（ステップ＃２６）。そして、検出距離ｄが、判定規則Ｒに規定された区画線種別「通常破線」の検出距離範囲内に含まれる場合には（ステップ＃２６：Ｙｅｓ）、区画線種別判定部３３は、画像認識部３１により始端Ｐｂ及び終端Ｐｅが検出された区画線Ｌの区画線種別を「通常破線」と判定する（ステップ＃２７）。

一方、検出距離ｄが、判定規則Ｒに規定された区画線種別「通常破線」の検出距離範囲内に含まれない場合には（ステップ＃２６：Ｎｏ）、次に、ステップ＃１０で検出した検出距離ｄが、ステップ＃２３で選択された判定規則Ｒに規定された区画線種別「実線」の検出距離範囲内に含まれるか否かについて判定する（ステップ＃２８）。そして、検出距離ｄが、判定規則Ｒに規定された区画線種別「実線」の検出距離範囲内に含まれる場合には（ステップ＃２８：Ｙｅｓ）、区画線種別判定部３３は、画像認識部３１により始端Ｐｂ及び終端Ｐｅ（場合により仮想的な終端Ｐｅ）が検出された区画線Ｌの区画線種別を「実線」と判定する（ステップ＃２９）。一方、検出距離ｄが、判定規則Ｒに規定された区画線種別「実線」の検出距離範囲内に含まれない場合には（ステップ＃２８：Ｎｏ）、区画線種別判定部３３は、画像認識部３１により始端Ｐｂ及び終端Ｐｅが検出された道路標示等の地物が区画線Ｌではないと判定する（ステップ＃３０）。以上で、区画線種別判定処理を終了する。

２．第二の実施形態
次に、本発明の第二の実施形態に係る画像認識装置２について説明する。上記第一の実施形態では、距離検出部３２が、区画線Ｌを構成する各線の線長に相当する、区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離を検出距離ｄとして検出する場合について説明した。これに対して、本実施形態においては、距離検出部３２は、区画線Ｌを構成する各線の間隔に相当する、区画線Ｌの終端Ｐｅから始端Ｐｂまでの距離を検出距離ｄとして検出する。そして、このような距離検出部３２の構成に応じて、判定規則テーブル３４に規定された判定規則Ｒ、及び区画線種別判定部３３の構成も、上記第一の実施形態とは異なった部分を有している。本実施形態に係る画像認識装置２は、このように区画線Ｌを構成する各線の間隔に相当する距離を検出距離ｄとして検出し、それに基づいて区画線種別を判定する構成である。したがって、この画像認識装置２は、区画線Ｌを構成する各線が所定の間隔を有して配置される破線の区画線Ｌについての区画線種別を認識する装置として適している。具体的には、本実施形態においては、上記第一の実施形態と同様の通常破線の区画線Ｌ１と太破線の区画線Ｌ２の２つの破線の区画線Ｌについて区画線種別を認識する場合を例として説明する。その他の構成は、基本的に上記第一の実施形態と同様であり、本実施形態においても、画像認識装置２をナビゲーション装置１に適用している。以下では、本実施形態に係る画像認識装置２について、上記第一の実施形態との相違点を中心として説明する。

上記のとおり、本実施形態においては、距離検出部３２は、区画線Ｌの終端Ｐｅから始端Ｐｂまでの距離を検出距離ｄとして検出する。すなわち、距離検出部３２は、区画線Ｌの終端Ｐｅが検出された画像情報ＧのフレームＧｆと区画線Ｌの始端Ｐｂが検出された画像情報ＧのフレームＧｆとの間のフレーム数Ｎ、並びに自車両Ｄの車速ｖに基づいて、検出距離ｄを検出する。具体的には、距離検出部３２は、車速情報Ｓに示される自車両Ｃの車速ｖに基づいて画像情報Ｇの１フレームあたりの自車両Ｃが進む距離をフレーム単位距離Ｕとして導出し、当該フレーム単位距離Ｕに、前記フレーム数Ｎを乗算して得られる距離を検出距離ｄとして導出する。フレーム単位距離Ｕ及びフレーム数Ｎの導出方法は、上記第一の実施形態と同様である。このようにして距離検出部３２が検出した検出距離ｄは、図４に示すように、区画線Ｌの終端Ｐｅから始端Ｐｂまでの距離にほぼ等しく、したがって、区画線Ｌを構成する各線の間隔にほぼ等しい。

上記のような距離検出部３２の構成に合わせて、判定規則テーブル３４に規定された判定規則Ｒは、区画線種別（本実施形態においては「通常破線」及び「太破線」）毎に当該区画線種別であると判定する条件となる検出距離範囲の値を、各区画線種別の区画線Ｌを構成する各線の間隔に応じて規定している。すなわち、これらの各区画線種別についての検出距離範囲は、例えばパターン（Ａ）が想定する道路種別や地域等における、通常破線の区画線Ｌ１及び太破線の区画線Ｌ２のそれぞれを構成する各線の間隔に応じて、当該間隔が含まれるとともに、他方の区画線種別の区画線Ｌの間隔が含まれない範囲に設定する。なお、判定規則Ｒが、各区画線種別について複数の検出距離範囲を規定している点、具体的には、「通常破線」及び「太破線」の２つの区画線種別のそれぞれについて、複数のパターン（パターン（Ａ）〜（Ｃ）の３つ）の検出距離範囲を規定している点については、上記第一の実施形態と同様である。

そして、区画線種別判定部３３は、距離検出部３２により検出された、区画線Ｌを構成する各線の間隔に相当する検出距離ｄと、上記の判定規則Ｒとに基づいて、区画線Ｌの区画線種別を判定する。この際、区画線種別判定部３３は、破線の区画線Ｌ（Ｌ１、Ｌ２）の区画線種別である「通常破線」及び「太破線」の中から、検出距離ｄに応じて一つの破線の区画線種別を判定する。すなわち、区画線種別判定部３３は、距離検出部３２により検出された検出距離ｄが、区画線種別「太破線」の検出距離範囲内に含まれている場合には、区画線種別を「太破線」と判定し、区画線種別「通常破線」の検出距離範囲内に含まれている場合には、区画線種別を「通常破線」と判定する。なお、区画線種別判定部３３が、各区画線種別について、当該区画線種別であると判定する検出距離範囲を、自車両Ｃが走行中の道路の道路種別及び地域の一方又は双方に応じて変更する点については、上記第一の実施形態と同様である。

以上により、区画線種別判定部３３は、距離検出部３２により検出された区画線Ｌの終端Ｐｅから始端Ｐｂまでの距離である検出距離ｄに基づいて、画像認識部３１により始端Ｐｂ及び終端Ｐｅが検出された区画線Ｌの区画線種別を適切に判定することができる。この区画線種別判定部３３により判定された区画線種別の情報は、上記第一の実施形態と同様に、後述する自車レーン判定部３６やナビゲーション用演算部１７等へ出力され、自車レーンの判定や各種の案内情報の出力等に用いられる。

３．その他の実施形態
（１）上記第一の実施形態では、距離検出部３２が、区画線Ｌを構成する各線の線長に相当する、区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離を検出距離ｄとして検出する場合について説明した。また、上記第二の実施形態では、距離検出部３２が、区画線Ｌを構成する各線の間隔に相当する、区画線Ｌの終端Ｐｅから始端Ｐｂまでの距離を検出距離ｄとして検出する場合について説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、距離検出部３２が、区画線Ｌを構成する各線の線長に相当する、区画線Ｌの始端Ｐｂから終端Ｐｅまでの距離を第一検出距離として検出するとともに、区画線Ｌを構成する各線の間隔に相当する、区画線Ｌの終端Ｐｅから始端Ｐｂまでの距離を第二検出距離として検出し、これらの双方を用いて区画線種別判定部３３が区画線種別を判定する構成とすることも、本発明の好適な実施形態の一つである。この場合、判定規則Ｒは、第一検出距離及び第二検出距離の双方について、各区画線種別と判定するための条件となる検出距離範囲を規定する構成とすると好適である。また、このような第一検出距離及び第二検出距離の組み合せによる区画線種別の判定を破線の区画線Ｌについて行い、第一検出距離のみによる区画線種別の判定を実線の区画線Ｌについて行う構成とすることも、本発明の好適な実施形態の一つである。

（２）上記の各実施形態では、区画線種別判定部３３が、区画線Ｌの始端Ｐｂ及び終端Ｐｅの一方から他方までの距離を検出距離ｄとして一回検出した結果に基づいて、区画線種別の判定を行う場合を例として説明した。しかし、一般的に、破線の区画線Ｌにおいては、始端Ｐｂ及び終端Ｐｅの一方又は双方が一定周期で複数回繰り返し検出されるはずである。そこで、区画線種別判定部３３が、画像認識部３１によって区画線Ｌの始端Ｐｂ及び終端Ｐｅの一方又は双方が一定周期で複数回検出されたことを条件として、区画線種別を破線（上記の実施形態では「通常破線」又は「太破線」）と判定する構成とすることも、本発明の好適な実施形態の一つである。

（３）上記の各実施形態では、画像情報Ｇの各フレームＧｆに設定された検出領域Ａの高さを一定とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。したがって、例えば、自車両Ｃの車速に応じて検出領域Ａの鉛直方向の高さを可変設定することも、本発明の好適な実施形態の一つである。このような構成とすれば、隣接するフレームＧｆの検出領域Ａ間に含まれない道路面Ｒｏの領域をなくしつつ、検出領域Ａの鉛直方向の高さを自車両Ｃの車速に応じてできる限り小さく設定することが可能となる。したがって、画像認識処理の演算負荷を小さくするとともに、検出領域Ａ内のいずれの位置に区画線Ｌの始端Ｐｂ又は終端Ｐｅが検出されるかによる自車両Ｃから当該始端Ｐｂ又は終端Ｐｅまで距離の差を小さくすることができる。

（４）上記の各実施形態では、画像情報Ｇの各フレームＧｆに設定された検出領域Ａの水平方向の幅を、フレームＧｆの水平方向の幅と同じとする場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。すなわち、検出領域Ａを、フレームＧｆ内の水平方向の一部の領域に設定することも本発明の好適な実施形態の一つである。この場合、検出領域Ａは、自車両Ｃがレーンの中央部を走行している場合に、自車両Ｃの両側の区画線Ｌが存在することになる領域を含むように設定すると好適である。この構成によれば、検出領域Ａの水平方向の幅を、フレームＧｆの水平方向の幅と同じとする場合と比較して、画像認識処理の演算負荷を更に小さくすることが可能となる。

（５）上記の各実施形態では、距離検出部３２が、区画線Ｌの始端Ｐｂが検出されたフレームＧｆと終端Ｐｅが検出されたフレームＧｆとの間のフレーム数Ｎを、始端検出情報及び終端検出情報にそれぞれ含まれる各フレームＧｆの識別情報としてのフレーム番号に基づいて検出する場合を例として説明した。しかし、このフレーム数Ｎの検出方法はこれに限定されない。すなわち、例えば、距離検出部３２が、画像認識部３１により区画線Ｌの始端Ｐｂを検出した時から画像情報取得部１２により取得される画像情報Ｇのフレーム数の計数を開始し、画像認識部３１により区画線Ｌの終端Ｐｅを検出した時に当該フレーム数の計数を終了することにより計数されたフレーム数を、区画線Ｌの始端Ｐｂが検出されたフレームＧｆと終端Ｐｅが検出されたフレームＧｆとの間のフレーム数Ｎとする構成としても好適である。

（６）上記の各実施形態では、区画線種別判定部３３が、各区画線種別について、判定規則Ｒに規定された、当該区画線種別であると判定する検出距離範囲を、自車両Ｃが走行中の道路の道路種別及び地域の双方に応じて変更する場合を例として説明した。しかし、本発明の適用範囲はこれに限定されない。したがって、区画線種別判定部３３が、各区画線種別について、当該区画線種別であると判定する検出距離範囲を、自車両Ｃが走行中の道路の道路種別及び地域のいずれか一方に応じて変更する構成とすることも、本発明の好適な実施形態の一つである。この場合、パターン適用テーブル３５を、複数の道路種別のそれぞれに適用する判定規則Ｒのパターン（（Ａ）〜（Ｃ））を規定するものとし、或いは、複数の地域のそれぞれに適用する判定規則Ｒのパターン（（Ａ）〜（Ｃ））を規定すると好適である。また、このような道路種別や地域によって判定規則Ｒに規定された検出距離範囲を変更しない構成とすることも、当然に可能である。なお、このような判定規則Ｒのパターンを複数用いる場合における、判定規則Ｒのパターンの数は、２つとしても良いし、４つ以上としてもよい。

（７）上記の各実施形態では、本発明に係る画像認識装置２を自車レーン判定装置としても機能するナビゲーション装置１に適用した場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではなく、車両の周辺の少なくとも道路面を撮影した画像情報を取得し、それに対する画像認識処理を行うことによって画像情報に含まれる区画線の種別を判定した結果の情報を利用する各種の装置に、本発明を適用することができる。したがって、レーンキープアシストをはじめとする車両の走行制御装置等に、本発明に係る画像認識装置２を適用することも、本発明の好適な実施形態の一つである。

本発明は、自車両の周辺の少なくとも道路面を撮影した画像情報を取得し、それに対する画像認識処理を行うことによって画像情報に含まれる区画線の種別を判定する画像認識装置及び画像認識プログラム等に利用することができ、更には、例えば、ナビゲーション装置、自車レーン判定装置、レーンキープアシストをはじめとする車両の走行制御装置等の各種の装置やその動作プログラムとして好適に利用することができる。

本発明の実施形態に係るナビゲーション装置１の概略構成を示すブロック図 実施形態に係る地図情報の構成の例を示す図 実施形態に係る自車両への撮像装置の配置構成の一例を示す図 実施形態に係る認識対象とする区画線が設けられた道路の一例を示す図 実施形態に係る画像情報取得部により取得した画像情報の具体例を示す図 実施形態に係る画像情報取得部により取得した画像情報の具体例を示す図 実施形態に係る画像情報取得部により取得した画像情報の具体例を示す図 実施形態に係る判定規則テーブルに規定された判定規則の具体例を示す図 実施形態に係るパターン適用テーブルの具体例を示す図 実施形態に係る画像認識処理の全体の手順を示すフローチャート 実施形態に係る区画線種別判定処理の詳しい手順を示すフローチャート

符号の説明

１：ナビゲーション装置
２：画像認識装置
３：自車レーン判定装置
１１：撮像装置
１２：画像情報取得部（画像情報取得手段）
１８：アプリケーションプログラム
２１：案内情報出力手段
２６：地図データベース
３１：画像認識部（画像認識手段）
３２：距離検出部（距離検出手段）
３３：区画線種別判定部（区画線種別判定手段）
Ｃ：自車両
Ｒｏ：道路面
Ｍ：地図情報
Ｇ：画像情報
ｖ：車速
Ｒ：判定規則
Ａ：検出領域
ｄ：検出距離
Ｌ：区画線
Ｐｂ：始端
Ｐｅ：終端

Claims (16)

1. 自車両の周辺の少なくとも道路面を所定の時間間隔で撮影した複数フレームの画像情報を取得する画像情報取得手段と、
   前記画像情報の各フレーム内に設定した検出領域に含まれる区画線の始端及び終端を検出する画像認識処理を行う画像認識手段と、
   前記区画線の始端及び終端の一方が検出された前記画像情報のフレームと前記区画線の始端及び終端の他方が検出された前記画像情報のフレームとの間のフレーム数、並びに自車両の車速に基づいて、前記区画線の始端及び終端の一方から他方までの距離を検出距離として検出する距離検出手段と、
   前記検出距離に基づいて前記区画線の区画線種別を判定する区画線種別判定手段と、
   を備えた画像認識装置。
2. 前記距離検出手段は、自車両の車速に基づいて前記画像情報の１フレームあたりの自車両が進む距離を導出し、当該１フレームあたりの自車両が進む距離に前記フレーム数を乗算して得られる距離を、前記検出距離とする請求項１に記載の画像認識装置。
3. 前記検出領域は、前記画像情報の複数フレームに共通の位置を含んで設定した、各フレーム内の一部の領域である請求項１又は２に記載の画像認識装置。
4. 前記区画線種別判定手段は、前記検出距離が所定の下限値と上限値との間の範囲内であった場合に、前記区画線種別を破線と判定する請求項１から３のいずれか一項に記載の画像認識装置。
5. 前記区画線種別判定手段は、破線の区画線を構成する各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別の中から、前記検出距離に応じて一つの区画線種別を判定する請求項４に記載の画像認識装置。
6. 前記区画線種別判定手段は、各区画線種別について、当該区画線種別であると判定する前記検出距離の範囲を、自車両が走行中の道路の道路種別及び地域の一方又は双方に応じて変更する請求項４又は５に記載の画像認識装置。
7. 前記区画線種別判定手段は、画像認識手段によって前記区画線の始端及び終端の一方又は双方が一定周期で複数回検出されたことを条件として、前記区画線種別を破線と判定する請求項４から６のいずれか一項に記載の画像認識装置。
8. 前記区画線種別判定手段は、前記区画線の始端からの前記検出距離が所定の実線判定しきい値以上であった場合に、前記区画線種別を実線と判定する請求項１から７のいずれか一項に記載の画像認識装置。
9. 前記区画線種別判定手段は、前記区画線種別毎に当該区画線種別であると判定する条件となる前記検出距離の範囲を規定した判定規則に従って、前記区画線種別を判定する請求項１から８のいずれか一項に記載の画像認識装置。
10. 前記判定規則は、破線の区画線種別については、前記検出距離の範囲の上限値及び下限値を規定している請求項９に記載の画像認識装置。
11. 前記判定規則は、破線の区画線を構成する各線の線長及び間隔の一方又は双方が異なる複数の破線の区画線種別のそれぞれについて、前記検出距離の範囲を規定している請求項９又は１０に記載の画像認識装置。
12. 前記判定規則は、各区画線種別について複数の前記検出距離の範囲を規定している請求項９から１１のいずれか一項に記載の画像認識装置。
13. 前記判定規則は、実線の区画線種別については、前記区画線の始端からの前記検出距離の範囲の下限値を規定している請求項９から１２のいずれか一項に記載の画像認識装置。
14. 請求項１から１３のいずれか一項に記載の画像認識装置と、
    地図情報が記憶された地図データベースと、
    前記地図情報及び前記画像認識装置により判定された区画線種別の情報を参照して動作するアプリケーションプログラムと、
    前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、
    を備えるナビゲーション装置。
15. 請求項１から１３のいずれか一項に記載の画像認識装置と、
    前記画像認識装置により判定された区画線種別の情報に基づいて、自車両が走行中のレーンである自車レーンの判定を行う自車レーン判定手段と、
    を備える自車レーン判定装置。
16. 自車両の周辺の少なくとも道路面を所定の時間間隔で撮影した複数フレームの画像情報を取得する画像情報取得ステップと、
    前記画像情報の各フレーム内に設定した検出領域に含まれる区画線の始端及び終端を検出する画像認識処理を行う画像認識ステップと、
    前記区画線の始端及び終端の一方が検出された前記画像情報のフレームと前記区画線の始端及び終端の他方が検出された前記画像情報のフレームとの間のフレーム数、並びに自車両の車速とに基づいて、前記区画線の始端及び終端の一方から他方までの距離を検出距離として検出する距離検出ステップと、
    前記検出距離に基づいて前記区画線の区画線種別を判定する区画線種別判定ステップと、
    をコンピュータに実行させる画像認識プログラム。

Images