JP2006209511A - 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置 - Google Patents

Abstract

【課題】 認識対象についての良好な画像情報を撮像できないために、撮像した画像情報のみによっては画像認識処理の認識率が低下するような状況であっても、認識対象の画像の認識率を高めることが可能な画像認識装置等を提供する。
【解決手段】 画像情報取得手段３と、撮像位置情報取得手段７と、地物情報格納手段８と、画像情報の撮像領域内に含まれる地物についての地物情報を地物情報格納手段８から取得する地物情報取得手段９と、取得された地物情報に基づいて、画像情報の撮像領域内に画像認識の対象となる認識対象地物が複数含まれるか否かを判断する判断手段１５と、認識対象地物が複数含まれると判断した場合に、一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果、及び地物情報に含まれる位置情報に基づく一の認識対象地物と他の認識対象地物との位置関係を用いて行う画像認識手段１０と、を備える。
【選択図】 図１

Description

本発明は、例えば車両等に搭載され、道路上で撮像した画像情報の中に含まれる所定の認識対象地物の画像を認識する処理を行う画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置に関する。

道路上で撮像した画像情報から所定の認識対象物の画像認識を行う技術として、例えば下記の特許文献１には、以下のような停止線認識装置に関する技術が開示されている。この停止線認識装置は、走行路前方の車幅方向に長い設定領域の輝度を検出する領域輝度検出手段と、上記設定領域の時系列的な輝度変化を比較する輝度変化比較手段と、上記設定領域の時系列的な輝度変化に基づき停止線が存在するか否か判定する停止線判定手段と、を備えたものである。具体的には、ＣＣＤカメラから入力された元画像の下側寄りに、複数の設定領域を車幅方向に連設し、これらの複数の設定領域の何れかの平均輝度が低い状態から高くなり、その後低くなった場合に停止線が存在すると判定する。

また、この特許文献１には、前記停止線認識装置に加えて、走行路前方の立体物を認識する立体物認識手段と、上記停止線認識装置で停止線を認識し、且つ、この停止線の直ぐ先に立体物を認識した場合に警報する警報制御手段等を備えた車両用運転支援装置に関する技術も開示されている。この車両用運転支援装置は、ステレオ光学系のＣＣＤカメラによって撮像した左右１組のステレオ画像対を処理して画像全体に渡る３次元の距離分布を算出し、その距離分布情報から、道路形状や複数の立体物の３次元位置を高速で検出する。すなわち、距離画像からの３次元的な位置情報を利用して実際の道路上の白線だけを分離して抽出し、内蔵した道路モデルのパラメータを実際の道路形状と合致するよう修正・変更して道路形状を認識する。また、検出した道路形状に基づいて、道路表面より上のデータを距離画像から選別すると共に、距離画像に含まれるノイズを除去し、距離画像から先行車両等の立体物データを抽出する。更に、距離画像を格子状に所定の間隔で区分し、各区分毎にヒストグラムを作成し、立体物の距離を算出する。そして、各区分の立体物の距離データに基づいて物体の輪郭像を抽出し、その形状寸法及び位置から物体の種類を識別する等の処理を行う。

特開２００３−８５５６２号公報（第２−４頁、第１−３図）

上記の技術は、カメラ等の撮像装置により撮像した画像情報のみに基づいて画像認識処理を行うものであることから、画像認識を正常に行うことができるか否かは、撮像した画像情報内における認識対象の画像の状態に依存することになる。そのため、例えば停止線のように認識対象の画像が特徴的な形状等を有していない場合や、撮像条件が悪いために認識対象の良好な画像が得られない場合等には、誤認識や未認識等の認識不良が発生して認識率が低下するという問題がある。

すなわち、上記の技術では、停止線を認識対象とし、車幅方向に連設した複数の設定領域の何れかの平均輝度が低い状態から高くなり、その後低くなった場合に停止線が存在するとする判定を行っている。しかし、このような判定では、路面上に、車幅方向に長い形状の他のペイント表示が存在する場合には、そのような他のペイント表示をも停止線として認識してしまう不具合が生じ得る。例えば、横断歩道やＴ字路での交差する道路のセンターライン等も、車幅方向に長いペイント表示であるので、停止線と誤認識する可能性が高いという問題がある。

また、停止線を認識対象とする場合において、例えば、路面が濡れていて更に路面に反射光がある場合や、停止線が部分的に消えかかっている場合等のように、本来の停止線の形状通りの画像情報を撮像できない状況では、同様に認識不良が発生して認識率が低下するという問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、認識対象についての良好な画像情報を撮像できないために、撮像した画像情報のみによっては画像認識処理の認識率が低下するような状況であっても、認識対象の画像の認識率を高めることが可能な画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置を提供することにある。

上記目的を達成するための本発明に係る画像認識装置の特徴構成は、道路上で撮像した画像情報を取り込む画像情報取得手段と、前記画像情報の撮像位置情報を取得する撮像位置情報取得手段と、地物についての位置情報を含む地物情報を格納する地物情報格納手段と、前記撮像位置情報及び前記地物情報に含まれる位置情報に基づいて、前記画像情報の撮像領域内に含まれる１又は２以上の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、前記地物情報取得手段により取得された前記地物情報に基づいて、前記画像情報の撮像領域内に画像認識の対象となる認識対象地物が複数含まれるか否かを判断する判断手段と、前記判断手段により前記認識対象地物が複数含まれると判断した場合に、一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果、及び前記地物情報に含まれる位置情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係を用いて行う画像認識手段と、を備える点にある。

この特徴構成によれば、撮像した画像情報中に画像認識の対象となる認識対象地物が複数含まれる場合には、当該一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果と、地物情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係とを用いて行うことになる。したがって、前記一の認識対象地物について、画像情報から得られる特徴が希薄である場合や良好な画像情報を得られない場合等においても、誤認識を避けつつ前記一の認識対象地物の画像の認識率を高めることが可能となる。

ここで、前記画像認識手段は、前記判断手段により前記認識対象地物が複数含まれると判断した場合には、前記画像情報の全体についての画像認識処理を行い、前記地物情報取得手段により取得された前記地物情報と対比して前記画像情報の撮像領域内に含まれる複数の認識対象地物のそれぞれの認識の可否に応じて、認識されなかった認識対象地物を前記一の認識対象地物とし、認識された認識対象地物を前記他の認識対象地物とする構成とすると好適である。

これにより、画像情報のみに基づく画像認識処理により認識できなかった一の認識対象地物について、画像認識できた他の認識対象地物の画像認識結果と、地物情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係とを用いて画像認識を行うことになる。したがって、画像情報のみに基づいて画像認識を行うことが困難な認識対象地物についても、画像の認識率を高めることが可能となる。

また、前記地物情報は、近接する位置に存在する地物同士を関連付ける関連情報を備え、前記画像認識手段は、前記一の認識対象地物についての前記地物情報に、他の地物情報を関連付ける関連情報が含まれている場合には、当該関連付けられた他の地物情報に対応する認識対象地物の画像認識結果を優先的に用いて前記一の認識対象地物の画像認識を行う構成とすると好適である。

このような関連情報を地物情報として備えることにより、一の地物に近接して画像情報の撮像領域内に撮像される他の地物を、当該一の地物と関連付けて予め規定しておくことができる。そして、画像認識手段において一の認識対象地物の画像認識を行う際に、他の認識対象地物が複数存在する場合には、このように関連付けられた認識対象地物の画像認識結果を優先的に用いて一の認識対象地物の画像認識を行うので、一の認識対象地物の画像認識のために適した認識対象地物の画像認識結果を用いて好適に一の認識対象地物の画像認識を行うことができる。

また、前記画像認識手段は、他の認識対象地物の画像認識結果、及び前記地物情報に含まれる位置情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係に基づいて、前記一の認識対象地物が存在する前記画像情報中の領域を推測する領域推測手段を備え、その推測結果に基づいて前記一の認識対象地物についての画像認識処理を行う構成とすると好適である。

すなわち、撮像した画像情報中に画像認識の対象となる認識対象地物が複数含まれる場合には、一の認識対象地物についての画像認識が困難な場合であっても、他の認識対象地物の画像認識を行うことができれば、当該他の認識対象地物の画像認識結果と、地物情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係とに基づいて、前記一の認識対象地物が存在する前記画像情報中の領域を推測することができる。そして、この推測結果に基づいて前記一の認識対象地物の画像認識を行うことにより、誤認識を避けつつ前記一の認識対象地物の画像の認識率を高めることが可能となる。

この際、前記画像認識手段は、前記領域推測手段による推測結果に基づいて、前記一の認識対象地物の画像が存在すると推測される領域内では前記一の認識対象地物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、前記一の認識対象地物の画像の認識を行う構成とすることができる。
これにより、一の認識対象地物について、画像情報から得られる特徴が希薄である場合や良好な画像情報を得られない場合等においても、誤認識を避けつつ前記一の認識対象地物の画像の認識率を高めることが可能となる。

また、前記地物情報は、当該地物の形状情報及び色彩情報の一方又は双方を備え、前記画像認識手段は、前記地物情報の形状情報及び色彩情報の一方又は双方を用いて認識対象地物の画像認識を行う構成とすれば、地物情報を、撮像された画像情報と容易に対比可能な形で取得することができるとともに、画像認識手段において当該取得された地物情報に含まれる形状情報及び色彩情報の一方又は双方に応じた画像認識を行うことができる。

ここで、前記地物情報格納手段に格納する地物情報として、道路の路面に設けられたペイント表示の地物情報と、道路に沿って設けられた立体物の地物情報とを有する構成とすると好適である。
これにより、道路の路面に設けられた平面的なペイント表示と、道路に沿って設けられた道路標識や信号機等の立体物とを組み合わせた画像認識も可能になり、認識対象地物の画像の認識率をより高めることが可能となる。

本発明に係る位置特定装置の特徴構成は、上記のような画像認識装置を備え、前記認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて、前記画像情報の撮像位置を、前記撮像位置情報取得手段により取得される撮像位置情報よりも詳細に特定する点にある。

この特徴構成によれば、上記のような高い認識率で認識対象地物を認識可能な画像認識装置による認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて前記画像情報の撮像位置を特定するので、高い精度で詳細に撮像位置を特定することが可能となる。

本発明に係る車両制御装置の特徴構成は、上記のような画像認識装置を備え、前記認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて、前記画像情報の撮像位置を、前記撮像位置情報取得手段により取得される撮像位置情報よりも詳細に特定し、特定された撮像位置を車両の位置として車両の走行制御を行う点にある。

この特徴構成によれば、上記のような高い認識率で認識対象地物を認識可能な画像認識装置による認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて前記画像情報の撮像位置を特定するので、高い精度で詳細に撮像位置を特定することが可能となる。そして、このような詳細に特定された撮像位置を車両の位置として車両の走行制御を行うので、例えばレーンキープや衝突防止等のための操舵や加減速等といった車両の走行制御を好適に行うことが可能となる。

本発明に係るナビゲーション装置の特徴構成は、上記のような画像認識装置と、地図情報を格納した地図情報格納手段と、この地図情報格納手段から取得した地図上に自位置を表示する自位置表示手段とを備え、前記認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて、前記画像情報の撮像位置を、前記撮像位置情報取得手段により取得される撮像位置情報よりも詳細に特定し、特定された撮像位置に基づいて自位置表示手段に表示する自位置を補正する自位置補正手段を備える点にある。

この特徴構成によれば、上記のような高い認識率で認識対象地物を認識可能な画像認識装置による認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて前記画像情報の撮像位置を特定するので、高い精度で詳細に撮像位置を特定することが可能となる。そして、このような詳細に特定された撮像位置に基づいて前記自位置情報を補正するので、例えば自位置の詳細な表示や、詳細に認識される自位置の情報に基づいて最適なタイミングで経路案内を行うこと等が可能となる。

本発明に係る画像認識方法の特徴構成は、道路上で撮像した画像情報を取り込む画像情報取得工程と、前記画像情報の撮像位置情報を取得する撮像位置情報取得工程と、前記撮像位置情報及び地物情報格納手段に格納された地物情報に含まれる位置情報に基づいて、前記画像情報の撮像領域内に含まれる１又は２以上の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得工程と、前記地物情報取得工程により取得された前記地物情報に基づいて、前記画像情報の撮像領域内に画像認識の対象となる認識対象地物が複数含まれるか否かを判断する判断工程と、前記判断工程により前記認識対象地物が複数含まれると判断した場合に、一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果、及び前記地物情報に含まれる位置情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係を用いて行う画像認識工程と、を備える点にある。

この特徴構成によれば、撮像した画像情報中に画像認識の対象となる認識対象地物が複数含まれる場合には、当該一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果と、地物情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係とを用いて行うことになる。したがって、前記一の認識対象地物について、画像情報から得られる特徴が希薄である場合や良好な画像情報を得られない場合等においても、誤認識を避けつつ前記一の認識対象地物の画像の認識率を高めることが可能となる。

〔第一の実施形態〕
以下に、本発明の第一の実施形態について図面に基づいて説明する。
図１は、本実施形態に係る画像認識装置１のハードウエア構成の概略を示すブロック図である。本実施形態では、図２に示すように、本発明に係る画像認識装置１を車両Ｍに搭載した場合を例として説明する。

図１に示すように、本実施形態に係る画像認識装置１は、主たる構成として、車両Ｍに搭載された撮像装置２からの画像情報Ｇ（図６（ａ）参照）を取り込む画像情報取得部３と、ＧＰＳ（グローバル・ポジショニング・システム）受信機４、方位センサ５及び距離センサ６からの出力に基づいて撮像装置２による撮像位置を特定するための演算を行う撮像位置特定演算部７と、地物情報Ｃ（図３参照）を含む地図情報が格納された地図情報データベース８と、画像情報Ｇの撮像領域Ａ（図６（ａ）参照）内に含まれる１又は２以上の地物についての地物情報Ｃを地図情報データベース８から取得するための演算を行う地物情報取得演算部９と、取得された地物情報Ｃに基づいて、画像情報Ｇの撮像領域Ａ内に画像認識の対象となる認識対象地物が複数含まれるか否かを判断する認識対象地物数判断部１５と、画像情報Ｇに基づいて画像認識を行う画像認識演算部１０と、を備えている。なお、本実施形態の説明においては、後述するペイント表示の地物情報Ｃｐや立体物の地物情報Ｃｆ等の各種地物の情報を総称して地物情報Ｃとして説明する。

撮像装置２は、例えばＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置２は、例えば、車両Ｍの前方に向けて配置され、車両Ｍが走行する道路１１の路面及びその周囲が撮影されるように設けられる。このような撮像装置２としては、車両Ｍの周囲の映像を撮像するためにこれまでにも設けられている車載カメラ等が好適に用いられる。

画像情報取得部３は、撮像装置２と接続するためのインターフェース回路１２と、撮像装置２からの画像情報Ｇに対して前処理を行う画像前処理回路１３と、前処理後の画像情報Ｇを格納する画像メモリ１４とを有している。インターフェース回路１２は、アナログ／デジタル・コンバータ等を備えており、撮像装置２により撮像したアナログの画像情報Ｇを所定の時間間隔で取り込み、デジタル信号に変換して画像前処理回路１３へ出力する。このインターフェース回路１２による画像情報Ｇの取り込みの時間間隔は、例えば、１０〜５０ｍｓ程度とすることができる。これにより、画像情報取得部３は、車両Ｍが走行中の道路１１の画像情報をほぼ連続的に取得することができる。画像前処理回路１３は、ここでは画像情報Ｇに対する前処理として二値化処理、エッジ検出処理等の画像認識演算部１０による画像認識を容易にするための処理を行う。そして、このような前処理後の画像情報Ｇが画像メモリ１４に格納される。
また、インターフェース回路１２は、画像前処理回路１３へ送る画像情報Ｇとは別に、直接画像メモリ１４へも画像情報Ｇを出力する。したがって、画像メモリ１４には、画像前処理回路１３により前処理を行った後の画像情報Ｇ２と、前処理を行っていないそのままの画像情報Ｇ１との両方が格納されることになる。
本実施形態においては、この画像情報取得部３が、本発明における「画像情報取得手段」を構成する。

撮像位置特定演算部７は、本実施形態においては、ＧＰＳ受信機４、方位センサ５、及び距離センサ６と接続さている。ここで、ＧＰＳ受信機４は、ＧＰＳ衛星からの信号を受信する装置であり、ＧＰＳ受信機４の位置（緯度及び経度）や移動速度など様々な情報を得ることができる。方位センサ５は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、車両Ｍの進行方向を検知することができる。距離センサ６は、車輪の回転数を検知する車速センサや車両Ｍの加速度を検知するヨー・Ｇセンサと、検知された加速度を２回積分する回路との組み合わせ等により構成され、車両Ｍの移動距離を検知することができる。そして、撮像位置特定演算部７は、これらのＧＰＳ受信機４、方位センサ５及び距離センサ６からの出力に基づいて、撮像装置２の位置を特定する演算を行う。なお、ＧＰＳ受信機４により得られる位置情報は、５〜１０ｍ程度の誤差を含んでいるのが一般的であるため、この撮像位置特定演算部７により演算される画像情報Ｇの撮像位置情報もある程度の誤差を含んだ値となる。

また、撮像位置特定演算部７は、画像情報取得部３のインターフェース回路１２とも接続されている。このインターフェース回路１２は、撮像装置２による撮像のタイミングで撮像位置特定演算部７に対して信号の出力を行う。したがって、撮像位置特定演算部７は、このインターフェース回路１２からの信号の入力を受けたタイミングでの撮像装置２の位置を演算することにより、画像情報Ｇの撮像位置を特定することができる。このようにして撮像位置特定演算部７により特定された画像情報Ｇの撮像位置は緯度及び経度で表された撮像位置情報として、地物情報取得演算部９に出力される。
よって、本実施形態においては、これらのＧＰＳ受信機４、方位センサ５、距離センサ６及び撮像位置特定演算部７が、本発明における「撮像位置情報取得手段」を構成する。
この撮像位置特定演算部７は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。

地図情報データベース８は、地図情報を格納したデータベースである。図３は、地図情報データベース８に格納されている地図情報の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース８には、地図情報として、道路ネットワークレイヤＬ１、道路形状レイヤＬ２、地物レイヤＬ３が格納されている。この地図情報データベース８は、例えば、ハードディスクドライブ、ＤＶＤ−ＲＯＭを備えたＤＶＤドライブ、ＣＤ−ＲＯＭを備えたＣＤドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。

道路ネットワークレイヤＬ１は、道路１１間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードＮの情報と、２つのノードＮを連結して道路１１を構成する多数のリンクＬの情報とを有して構成されている。また、各リンクＬは、そのリンク情報として、道路１１の種別（高速道路、有料道路、国道、県道等の種別）やリンク長さ等の情報を有している。
道路形状レイヤＬ２は、道路ネットワークレイヤＬ１に関連付けられて格納され、道路１１の形状を示すレイヤである。具体的には、２つのノードＮの間（リンクＬ上）に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Ｓの情報と、各道路形状補完点Ｓにおける道路幅Ｗの情報とを有して構成されている。

地物レイヤＬ３は、道路ネットワークレイヤＬ１及び道路形状レイヤＬ２に関連付けられて格納され、道路１１上及び道路１１の周辺に設けられた各種地物の情報を示すレイヤである。この地物レイヤＬ３に格納される地物情報Ｃとしては、少なくともこの画像認識装置１において認識対象地物となり得る地物に関する情報が格納されている。
本実施形態においては、具体的には地物情報Ｃとして、道路１１の路面に設けられたペイント表示の地物情報Ｃｐ、道路１１に沿って設けられた各種の道路標識や信号機等の立体物の地物情報Ｃｆ等の各種の地物についての情報が地物レイヤＬ３に格納されている。ここで、ペイント表示には、例えば、車線を分ける区画線（実線、破線、二重線等の区画線の種類の情報も含む。）、ゼブラゾーン、停止線、横断歩道、各レーンの進行方向を指定する進行方向別通行区分表示、速度表示等が含まれる。また、正確にはペイントによるものではないが、同じく道路１１の路面に設けられるマンホールもここではペイント表示に含めてもよい。また、立体物としては、各種の道路標識や信号機のほか、ガードレール、建物、電柱、看板等の道路１１上又は道路１１の周辺に設けられる様々な立体物が含まれる。
よって、本実施形態においては、この地図情報データベース８が、本発明における「地物情報格納手段」を構成する。

ここでは、地物情報Ｃは、その具体的な情報の内容として、位置情報、形状情報、色彩情報、及び関連情報を有している。また、各地物情報Ｃは、それぞれの地物情報Ｃに固有の識別符号を有している。位置情報は、緯度及び経度により表される情報としてもよいが、ここではより高い精度の情報とするため、緯度及び経度により表される道路形状補完点Ｓ又はノードＮを基準とした距離及び方向で表される地図上の位置情報としている。また、位置情報には、平面的な位置を表す情報に加えて、道路１１の路面からの高さを表す高さ情報も含まれる。立体物の地物情報Ｃｆの位置情報については、特に高さ情報も重要になる。形状情報及び色彩情報は、上記のような各種地物の具体的な形状や色彩をモデル化して表した情報としている。

関連情報は、近接する位置に存在する地物同士を関連付ける情報である。具体的には、各地物情報Ｃの関連情報には、近接する位置に存在する他の地物についての地物情報Ｃを表す識別符号等の情報が格納される。この関連情報により関連付けられる地物の組み合わせの具体例としては、例えば、横断歩道と停止線や横断歩道予告表示、停止線と一時停止標識、信号機と横断歩道やペア信号の場合は対になる信号、ゼブラゾーンと道路分岐を表す信号、進行方向別通行区分表示とそれに隣接する車線の進行方向別通行区分表示等が考えられる。この際、道路の路面に設けられた平面的なペイント表示と、道路に沿って設けられた道路標識や信号機等の立体物との組み合わせとすると、良好な画像を撮像できないときの条件が互いに異なるため、認識対象地物の画像の認識率を高められる可能性がある。本実施形態においては、後述するように、画像認識部１０において、一の認識対象地物の画像の存在する領域Ｅ（図８参照）を推測する際の基準として用いる他の認識対象地物の選択を、この関連情報に基づいて行うこととしている。したがって、関連情報は、そのような領域Ｅの推測の際の基準とするのに適した関係にある地物同士を関連付けるものとすると好適である。

地物情報取得演算部９は、上記の撮像位置特定演算部７及び地図情報データベース８と接続されている。そして、地物情報取得演算部９は、撮像位置特定演算部７から出力された画像情報Ｇの撮像位置情報、及び上記地物情報Ｃに含まれる位置情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像領域Ａ内に含まれる地物についての地物情報Ｃを取得するための演算を行う。具体的には、一定の位置での撮像装置２による画像情報Ｇの撮像領域Ａは、車両Ｍでの搭載位置、撮像方向、撮像画角等に基づいて予め定まる。そこで、地物情報取得演算部９は、画像情報Ｇの撮像位置情報に基づいて、地図上での撮像領域Ａに対応する領域Ｂ（図７参照）を演算し、当該領域Ｂ内に含まれる全ての地物情報Ｃを、各地物情報Ｃが有する位置情報に基づいて地物レイヤＬ３から抽出する演算処理を行う。
この際、上記のとおり画像情報Ｇの撮像位置情報はある程度の誤差を含んだ値となっているので、領域Ｂの範囲は、撮像領域Ａよりも当該誤差分以上に広い範囲とすると好適である。また、例えば撮像装置２の撮像方向が図６（ａ）に示すように車両Ｍの進行方向とほぼ一致するような場合等であって、撮像位置から遠方に位置する地物が撮像領域Ａに含まれる場合には、そのような遠方の地物の画像認識は困難であるので、撮像位置から一定距離の範囲より外側にある地物についての地物情報Ｃは抽出しないようにすると好適である。

この地物情報取得演算部９は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この地物情報取得演算部９が、本発明における「地物情報取得手段」を構成する。

認識対象地物数判断部１５は、地物情報取得演算部９により取得された画像情報Ｇの撮像領域Ａ内に含まれる地物についての地物情報Ｃに基づいて、画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれるか否かを判断する処理を行う。
ここで、認識対象地物は、地図情報データベース８に地物情報Ｃが格納されている地物の中で画像認識演算部１０による画像認識の対象となる地物である。各地物を画像認識の対象とするか否かは、当該地物の種類等に応じて予め設定しておき、地物情報Ｃの内容として格納しておくことが可能である。この際、画像認識装置１による画像認識結果の利用の態様等に応じて、画像認識が必要な地物や、当該画像認識が必要な地物の画像認識に有用な地物等を認識対象地物として設定しておくと好適である。また、当然ながら、地図情報データベース８に地物情報Ｃが格納されている全ての地物を認識対象地物として設定することも可能である。

本実施形態においては、基本的には、地物情報Ｃとして地図情報データベース８に地物情報Ｃが格納されている全ての地物を認識対象地物として画像認識を行うこととしている。したがって、ここでは、認識対象地物数判断部１５は、地物情報取得演算部９により取得された画像情報Ｇの撮像領域Ａ内に含まれる地物についての地物情報Ｃの数を検出し、その数が２以上である場合には、画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれると判断する処理を行う。
よって、本実施形態においては、この認識対象地物数判断部１５が、本発明における「判断手段」を構成する。

画像認識演算部１０は、画像情報Ｇの認識処理を行い、画像情報Ｇの中に含まれる認識対象物の画像を認識するための演算を行う。本実施形態においては、画像認識演算部１０は、画像情報取得部３の画像メモリ１４及び認識対象地物数判断部１５を介して地物情報取得演算部９と接続されており、地物情報取得演算部９により取得された地物情報Ｃを用いて画像情報Ｇの認識処理を行う。
この画像認識演算部１０は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。
本実施形態においては、この画像認識演算部１０が、本発明における「画像認識手段」を構成する。

画像認識演算部１０は、本実施形態においては、具体的な処理を行うための処理部として、画像情報Ｇに含まれる認識対象地物の画像認識処理を行う地物認識処理部１０ａと、地物情報取得演算部９により取得された地物情報Ｃを画像情報Ｇと対比可能な状態に変換する地物情報変換処理部１０ｂと、一の認識対象地物の画像認識を行う際に、他の認識対象地物の画像認識結果及び地物情報Ｃに含まれる位置情報に基づく一の認識対象地物と他の認識対象地物との位置関係に基づいて、一の認識対象地物が存在する画像情報Ｇ中の領域Ｅ（図８参照）を推測する領域推測部１０ｃと、領域推測部１０ｃによる推測結果に基づいて画像認識処理の認識アルゴリズムを調整する処理を行う認識アルゴリズム調整部１０ｄと、を備えている。本実施形態においては、このうち領域推測部１０ｃが、本発明における「領域推測手段」を構成する。
これらの画像認識演算部１０の各処理部による画像認識処理については、後にフローチャートに基づいて詳細に説明する。

次に、本実施形態に係る画像認識装置１による画像認識処理の各工程について、図４及び図５に示すフローチャートに基づいて詳細に説明する。図４は、画像認識装置１による全体の処理の流れを示すフローチャートである。

この図４に示すように、画像認識装置１は、まず、撮像装置２により撮像された画像情報Ｇを取り込む処理を行う（ステップ＃０１）。具体的には、車載カメラ等からなる撮像装置２により撮像した画像情報Ｇを、インターフェース回路１２を介して画像前処理回路１３及び画像メモリ１４に送る処理を行う。またこの際、インターフェース回路１２は、撮像装置２からの画像情報Ｇの取り込みのタイミングで、すなわち撮像装置２による撮像のタイミングとほぼ同じタイミングで、撮像位置特定演算部７に対して信号の出力を行う。この信号は撮像位置特定演算部７に対して撮像のタイミングを知らせるための信号である。図６（ａ）は、撮像装置２により撮像された画像情報Ｇ（Ｇ１）の一例であり、Ｔ字路の周辺において直線道路に交差する道路上で撮像した画像の例を表している。

画像情報Ｇの入力を受けた画像前処理回路１３では、画像情報Ｇに対する前処理を行う（ステップ＃０２）。ここで行う前処理としては、例えば、二値化処理やエッジ検出処理等の画像認識演算部１０による画像認識を容易にするための各種の処理を行う。図６（ｂ）は、図６（ａ）に示された画像情報Ｇに対して前処理を行った後の画像情報Ｇ（Ｇ２）の一例である。この図６（ｂ）に示す例では、エッジ検出処理により画像情報Ｇとして撮像された物の輪郭を示す画像が抽出されている。そして、このステップ＃０２において前処理が行われた後の画像情報Ｇ２、及びインターフェース回路１２から直接送られてきた画像情報Ｇ１が画像メモリ１４に格納される（ステップ＃０３）。

また、ステップ＃０２及び＃０３の処理と並行して、撮像位置特定演算部７では、画像情報Ｇの撮像位置を特定する処理を行う（ステップ＃０４）。具体的には、インターフェース回路１２から画像情報Ｇの取り込みのタイミングを示す信号が出力された時に、それを撮像装置２による撮像のタイミングとして、ＧＰＳ受信機４、方位センサ５及び距離センサ６に基づいて撮像位置を特定する演算を行う。ここで特定された撮像位置は、緯度及び経度により表される撮像位置情報として地物情報取得演算部９に送られる。上記のとおり画像情報Ｇの撮像位置情報はある程度の誤差を含んだ値となっている。

次に、地物情報取得演算部９において、撮像位置特定演算部７から出力された画像情報Ｇの撮像位置情報、及び上記地物情報Ｃに含まれる位置情報に基づいて、地図情報データベース８に格納されている地図情報から、画像情報Ｇの撮像領域Ａ内に含まれる地物についての地物情報Ｃを取得する処理を行う（ステップ＃０５）。本実施形態においては、地物情報取得演算部９は、ステップ＃０４で取得された画像情報Ｇの撮像位置情報に基づいて、図７に示すように地図上での撮像領域Ａにほぼ対応する領域Ｂを演算し、当該領域Ｂ内に含まれる全ての地物情報Ｃを、各地物情報Ｃが有する位置情報に基づいて地物レイヤＬ３から抽出して取得する演算処理を行う。この際、領域Ｂの範囲は、画像情報Ｇの撮像位置情報の誤差を考慮して撮像領域Ａよりも当該誤差分以上に広い範囲とする。また、撮像位置から遠方の地物の画像認識は困難であるので、ここでは領域Ｂを撮像領域Ａとは一致させず、領域Ｂの範囲を撮像位置から一定距離の範囲内に設定している。

図７は、地物情報取得演算部９により取得された、図６（ａ）に示される画像情報Ｇの撮像領域Ａに含まれる地物についての地物情報Ｃを、各地物情報Ｃが有する位置情報に従って平面的に配置して表した図である。この図７に示す例では、地物情報Ｃとして、立体物の地物情報Ｃｆである一時停止標識の地物情報Ｃｆ１、ペイント表示の地物情報Ｃｐである停止線の地物情報Ｃｐ１、左右方向に延びる直線道路の中央線の地物情報Ｃｐ２、直線道路に交差する道路の車道中央線の地物情報Ｃｐ３、当該道路の車道外側線Ｃｐ４等が地物情報取得演算部９により取得されている。なお、この図７は単なる一例であり、画像情報Ｇの撮像位置によって様々な地物情報Ｃが地物情報取得演算部９により取得されることになる。

次に、認識対象地物数判断部１５において、地物情報取得演算部９により取得された地物情報Ｃに基づいて、画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれるか否かを判断する処理を行う（ステップ＃０６）。本実施形態においては、具体的には、認識対象地物数判断部１５は、地物情報取得演算部９により取得された画像情報Ｇの撮像領域Ａ内に含まれる地物についての地物情報Ｃの数を検出し、その数が２以上である場合には、画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれると判断し（ステップ＃０６：ＹＥＳ）、その数が１である場合には、画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれないと判断する（ステップ＃０６：ＮＯ）処理を行う。

そして、認識対象地物数判断部１５により画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれると判断した場合には（ステップ＃０６：ＹＥＳ）、複数の認識対象地物を組み合わせて画像認識を行う組み合わせ画像認識処理を行う（ステップ＃０７）。図７に示す例では、地物情報取得演算部９により複数の地物情報Ｃが取得されているので、この組み合わせ画像認識処理を行うことになる。
一方、認識対象地物数判断部１５により画像情報Ｇの撮像領域Ａ内に認識対象地物が複数含まれないと判断した場合には（ステップ＃０６：ＮＯ）、単独の認識対象地物についての画像認識を行う単独画像認識処理を行う（ステップ＃０８）。

図５は、画像認識演算部１０による組み合わせ画像認識処理の流れを示すフローチャートである。この組み合わせ画像認識処理では、画像認識演算部１０は、一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果、及び地物情報Ｃに含まれる位置情報に基づく一の認識対象地物と他の認識対象地物との位置関係を用いて行う。以下、具体的に説明する。

この図５に示すように、まず、地物認識処理部１０ａにおいて、ステップ＃０２による前処理後の画像情報Ｇの全体についての画像認識処理を行う（ステップ＃７１）。ここでは、具体的には、図６（ｂ）に示されるようにエッジ検出処理等の前処理を行った後の画像情報Ｇ２に基づいて、その全体から各認識対象地物の形状や色彩（輝度）等に関する特徴を表すテンプレート等の予め規定された特徴データと整合性が高い画像を抽出し、それを各認識対象地物の画像として認識する処理を行う。この画像認識処理により、比較的良好に画像が撮像されている認識対象地物や、画像情報Ｇのみから特徴が明確に認識可能な横断歩道や標識等の認識対象地物の画像を認識することができる。図６（ｂ）に示す例では、このステップ＃７１の画像認識処理により、一時停止標識の画像Ｇｆ１が認識できる。一時停止標識の画像Ｇｆ１は、特徴的な形状（模様を含む）及び色彩（輝度）を有しており、比較的容易に画像認識を行うことができるからである。

一方、停止線の画像Ｇｐ１、撮像位置の前方において左右方向に伸びる道路の車道中央線の画像Ｇｐ２、並びに撮像位置が存在する道路の車道中央線の画像Ｇｐ３及び車道外側線の画像Ｇｐ４は、画像情報Ｇ２のみから画像認識を行うことは困難である。これらの画像はその形状や色彩（輝度）を認識することは可能であるが、当該認識結果のみによってはそれがどの認識対象地物であるかを判断することが困難だからである。すなわち、例えば、停止線の画像Ｇｐ１について考えると、左右方向に長い直線状の画像を認識することは可能であるが、その画像が表しているのが停止線であるのか前方において左右方向に伸びる道路の車道中央線や車道外側線であるのかを画像情報Ｇ２のみから認識することは困難だからである。

次に、ステップ＃７１の画像認識処理の結果と、ステップ＃０５で取得された地物情報Ｃとを対比する処理を行う（ステップ＃７２）。具体的には、ステップ＃７１の画像認識処理により認識された各認識対象地物について、ステップ＃０５により取得された画像情報Ｇの撮像領域Ａ内に含まれる認識対象地物についての地物情報Ｃと対比し、ステップ＃７１の画像認識処理により各地物情報Ｃに対応する認識対象地物の画像が認識されたか否かの判断を行う。
本実施形態においては、このステップ＃７１の画像認識結果と地物情報Ｃとが一致するか否かの判断に際しては、地物情報変換処理部１０ｂにおいて、ステップ＃０５で取得された、画像情報Ｇの撮像領域Ａに含まれる認識対象地物についての各地物情報Ｃについて、撮像位置特定演算部７から出力された画像情報Ｇの撮像位置情報、及び各地物情報Ｃに含まれる位置情報に基づいて、画像情報Ｇ２内での各認識対象地物の位置に対応する画像内位置を演算し、各地物情報Ｃを演算された画像内位置に基づいて配置する配置変換処理を行う。これにより、各地物情報Ｃを、ステップ＃７１による画像情報Ｇの画像認識結果と容易に対比可能な形式の情報にすることができる。ただし、上記のとおり画像情報Ｇの撮像位置情報はある程度の誤差を含んだ値となっているので、ここでは、各地物情報Ｃの内容及び各地物情報Ｃの位置関係に基づいて対比を行うこととしている。

上記ステップ＃７２による対比の結果、ステップ＃０５で取得された全ての地物情報Ｃに対応する認識対象地物の画像がステップ＃７１の画像認識処理により認識されている場合には（ステップ＃７３：ＮＯ）、組み合わせ画像認識処理（ステップ＃０７）は終了する。

一方、上記ステップ＃７２による対比の結果、ステップ＃０５で取得された地物情報Ｃに対応する認識対象地物の内、ステップ＃７１の画像認識処理により認識されなかった認識対象地物（以下「未認識地物」という。）が存在する場合には（ステップ＃７３：ＹＥＳ）、領域推測部１０ｃにおいて、当該未認識地物の存在する領域Ｅ（図８参照）を推測する処理を行う（ステップ＃７４）。具体的には、ステップ＃７１の画像認識処理により認識された認識対象地物（以下「認識済地物」という。）の画像認識結果、及び地物情報Ｃに含まれる位置情報に基づく未認識地物と他の１又は２以上の認識済地物との位置関係に基づいて、未認識地物が存在する画像情報Ｇ中の領域Ｅを推測する処理を行う。
本実施形態においては、１又は２以上の未認識地物のそれぞれが本発明における「一の認識対象地物」に相当し、その他の１又は２以上の認識済地物が本発明における「他の認識対象地物」に相当する。

図６（ｂ）に示す例では、上記のとおり、一時停止標識（Ｇｆ１）が認識済地物となっており、停止線（Ｇｐ１）、撮像位置の前方において左右方向に伸びる道路の車道中央線（Ｇｐ２）、並びに撮像位置が存在する道路の車道中央線（Ｇｐ３）及び車道外側線（Ｇｐ４）が未認識地物となっている。そこで、例えば、停止線の画像Ｇｐ１の存在する領域Ｅを推測する場合には、認識済地物である一時停止標識の画像Ｇｆ１の認識結果と、前記停止線及び前記一時停止標識のそれぞれの地物情報Ｃに含まれる位置情報に基づく前記停止線と前記一時停止標識との位置関係に基づいて行う。すなわち、前記停止線の地物情報Ｃｐ１に含まれる位置情報と、前記一時停止標識の地物情報Ｃｆ１に含まれる位置情報とに基づけば、地物情報変換処理部１０ｂにおいて、画像情報Ｇ内における一時停止標識の画像Ｇｆ１の位置を基準とする停止線の画像Ｇｐ１の位置を演算してほぼ正確に求めることができる。そして、画像情報Ｇの撮像位置情報の誤差によるずれは、ステップ＃７１の画像認識処理により認識された画像情報Ｇ内における一時停止標識の画像Ｇｆ１の位置を基準とすることにより解消することができる。したがって、図８に示すように、画像情報Ｇ内における停止線の画像Ｇｐ１の存在する領域Ｅを高い精度で推測することができる。

ここで、ステップ＃７１の画像認識処理により認識された認識済地物が複数存在する場合には、領域推測部１０ｃは、未認識地物についての地物情報Ｃに、他の認識済地物の地物情報Ｃを関連付ける関連情報が含まれているか否かを検索する。そして、他の認識済地物の地物情報Ｃを関連付ける関連情報が含まれている場合には、当該関連付けられた他の地物情報Ｃに対応する認識済地物の画像認識結果を優先的に用いて未認識地物の画像認識を行うこととすると好適である。
上記のとおり、図６（ｂ）に示す例では、認識済地物が一時停止標識（Ｇｆ１）のみであるため、いずれの認識済地物の画像を基準として停止線の画像Ｇｐ１の存在する領域Ｅの推測を行うかが問題になることはない。しかし、一般的には認識済地物が複数となる場合は多く存在すると考えられる。このような場合、例えば停止線の画像Ｇｐ１の存在する領域Ｅを推測するのに適した地物として予め関連情報に定められている１又は２以上の地物の画像を基準として用いることにより、より正確に停止線の画像Ｇｐ１の存在する領域Ｅを推測することが可能になる。
なお、一の未認識地物の地物情報Ｃについて、関連情報により関連付けられている認識済地物が複数存在する場合には、それらの全ての画像を基準として用いることが可能である。ただし、それらの内の任意の一つの画像を基準として用いることも可能である。

そして、領域推測部１０ｃにより未認識地物の存在する領域Ｅが推測された後は、認識アルゴリズム調整部１０ｄにおいて、当該未認識地物が存在すると推測される領域Ｅ内では、当該未認識地物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して（ステップ＃７５）、地物認識処理部１０ａにおいて未認識地物の画像の認識を行う（ステップ＃７６）。この認識アルゴリズムの調整方法として、例えば、認識したい未認識地物について、当該未認識地物の予め規定された特徴データとの整合性の高さに基づいて画像情報Ｇ内の画像認識を行う場合であれば、未認識地物であると判断する整合性のしきい値について、領域Ｅ内での判断のしきい値を、他の領域での判断のしきい値よりも低くするように認識アルゴリズムを調整する方法等がある。これにより、画像情報Ｇ内に未認識地物と同様の特徴を備えた複数の画像の候補が存在する場合であっても、正確に画像認識を行うことが可能となる。
図６（ｂ）に示す例では、停止線の画像の候補として、撮像位置の前方において左右方向に伸びる画像Ｇｐ１と画像Ｇｐ２とがある。しかし、認識アルゴリズム調整部１０ｄにおいて、ステップ＃７４による停止線が存在すると推測される画像情報Ｇ中の領域Ｅに基づいて、当該領域Ｅ内で停止線であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整することにより、地物認識処理部１０ａにおいては、画像Ｇｐ１が停止線の画像であると認識することができる。

なお、認識アルゴリズム調整部１０ｄにおける認識アルゴリズムの調整方法としては、未認識地物が存在すると推測される領域Ｅ内における判断基準を他の領域に対して低くする方法の他に、他の領域の判断基準を領域Ｅに対して高くする方法や、領域Ｅにおける判断基準を他の領域に対して低くするとともに他の領域の判断基準を領域Ｅに対して高くする方法等がある。この認識アルゴリズムの具体的な調整方法は、未認識地物の認識方法に応じた方法とする。

以上に説明したステップ＃０１〜＃０８の一連の工程は、所定の時間間隔で繰り返し行われる。これにより、走行中の車両Ｍによるリアルタイムの画像認識を実現することができる。

〔第二の実施形態〕
次に、本発明の第二の実施形態について説明する。図９は、本実施形態に係る位置特定装置１９のハードウエア構成の概略を示すブロック図である。この図に示すように、本実施形態に係る位置特定装置１９は、上記第一の実施形態に係る画像認識装置１の構成に加えて、画像情報Ｇの撮像位置をより詳細に特定するための演算処理を行う詳細位置特定演算部１６を備えている。

詳細位置特定演算部１６は、上記画像認識装置１による認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報Ｃに含まれる位置情報とに基づいて、画像情報Ｇの撮像位置を、撮像位置特定演算部７により取得される一定の誤差を含む撮像位置情報よりも詳細に特定するための演算処理を行う。
この詳細位置特定演算部１６は、ＣＰＵ等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装された構成を備えている。

以下に、詳細位置特定演算部１６による演算処理の内容について説明する。上記のとおり、画像認識演算部１０により画像情報Ｇ中に含まれる認識対象地物の画像認識ができた後、詳細位置特定演算部１６は、画像情報Ｇ内の画像認識された各認識対象地物と撮像位置との位置関係を演算して求める処理を行う。各認識対象地物と撮像位置との位置関係は、画像情報Ｇ内における各認識対象地物の画像の配置と、撮像装置２の車両Ｍに対する搭載位置や撮像方向等とに基づいて演算することができる。
次に、詳細位置特定演算部１６は、地図情報データベース８から、画像認識演算部１０により認識された各認識対象地物についての地物情報Ｃを読み出す。これにより、画像情報Ｇ内の各認識対象地物についての地物情報Ｃに含まれる位置情報を取得する。この地物情報Ｃに含まれる位置情報は、地図上の正確な位置を表す情報となっている。
そして、以上のように求められた画像情報Ｇ内の画像認識された各認識対象地物と撮像位置との位置関係と、各認識対象地物の地物情報Ｃに含まれる位置情報とに基づいて、詳細位置特定演算部１６は、画像情報Ｇの精度の高い位置を地図上で特定する演算を行い、詳細撮像位置情報として出力する。

また、本実施形態に係る位置特定装置１９は、上記第一の実施形態と同様に車両Ｍに搭載される場合、詳細位置特定演算部１６から出力された詳細撮像位置情報は、車両Ｍの詳細な位置情報となる。したがって、図示は省略するが、この詳細撮像位置情報が車両Ｍの走行制御を行う制御装置に入力される構成とすることにより、本発明は、詳細な車両位置情報に基づく車両Ｍの走行制御を行う車両制御装置に適用することができる。
したがって、例えば、詳細位置特定演算部１６から出力された詳細撮像位置情報と、地図情報データベース８に格納されている地図情報に含まれる車両Ｍの周辺の道路形状や各種の地物情報Ｃとに基づいて、例えばレーンキープ、衝突防止、事故防止等のための操舵や加減速等といった車両Ｍの走行制御を好適に行うことが可能となる。

〔第三の実施形態〕
次に、本発明の第三の実施形態について説明する。図１０は、本実施形態に係るナビゲーション装置２０のハードウエア構成の概略を示すブロック図である。この図に示すように、本実施形態に係るナビゲーション装置２０は、上記第二の実施形態に係る位置特定装置１９の構成に加えて、ナビゲーション用演算処理部１７及び表示部１８を備えている。本実施形態においては、地図情報データベース８が本発明における「地図情報格納手段」に相当し、ナビゲーション用演算処理部１７及び表示部１８が本発明における「自位置表示手段」に相当する。

このナビゲーション装置２０では、詳細位置特定演算部１６から出力された詳細撮像位置情報は、撮像位置特定演算部７に入力される構成となっている。そして、撮像位置特定演算部７では、詳細撮像位置情報に基づいて、ＧＰＳ受信機４、方位センサ５、距離センサ６等により得られた撮像位置情報を補正する処理を行う。補正後の撮像位置情報は、ナビゲーション用演算処理部１７に送られる。
したがって、本実施形態においては、この撮像位置特定演算部７が本発明における「自位置補正手段」をも構成する。
ナビゲーション用演算処理部１７は、撮像位置特定演算部７から送られた補正後の撮像位置情報に基づいて、それを車両Ｍの位置情報として、その位置周辺の地図情報を、地図情報データベース８から取得する。そして、取得した地図上に、自車位置を表す図形を重ね合わせ、表示部１８に自車位置及びその周辺の地図を表示する処理を行う。
また、このように自車位置を詳細に特定することにより、ナビゲーション装置２０においては、例えば車線単位等での自位置の詳細な表示を行うことや、詳細に認識される自位置の情報に基づいて最適なタイミングで経路案内を行うこと等も可能となる。

〔その他の実施形態〕
（１）上記実施形態では、地物情報Ｃが、地物の形状情報及び色彩情報の双方を備える場合について説明したが、地物情報Ｃが、地物の形状情報又は色彩情報のいずれか一方のみを備える構成とすることも好適な実施形態の一つである。この場合、画像認識演算部１０では、地物情報Ｃが有する形状情報又は色彩情報の一方を用いて認識対象地物の画像認識を行うことになる。

（２）上記第一から第三の実施形態においては、画像認識装置１、位置特定装置１９又はナビゲーション装置２０を車両Ｍに搭載した場合を例として説明したが、これらの画像認識装置１、位置特定装置１９及びナビゲーション装置２０の用途は車両Ｍに搭載されるものに限定されない。すなわち、本発明に係る画像認識装置１等は、撮像装置２が道路上を移動する場合に好適に用いることができる。また、道路上で撮像された静止画の画像認識を行うものとしても用いることが可能である。
また、画像認識装置１等の全ての構成が車両Ｍに搭載されるとは限らない。すなわち、撮像装置２を除く一部の構成が、インターネット等の通信ネットワークを介して接続された状態で車両Ｍの外に設置されており、ネットワークを介して情報や信号の送受信を行うことにより、画像認識装置１を構成するものとすることもできる。この場合、例えば画像認識演算部１０の機能を車外のサーバ等により実行させることも可能である。

本発明に係る画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置は、例えば車両等に搭載された場合のように、道路上を移動する撮像装置により撮像された画像情報の認識処理を行う用途等に好適に用いることが可能である。

本発明の第一の実施形態に係る画像認識装置のハードウエア構成の概略を示すブロック図 本発明の実施形態に係る画像認識装置を車両に搭載した場合の例を示す図 本発明の実施形態に係る画像認識装置における地図情報データベースに格納されている地図情報の内容を示す説明図 本発明の実施形態に係る画像認識装置における画像認識処理の全体の流れを示すフローチャート 本発明の実施形態に係る画像認識装置における画像認識演算部による組み合わせ画像認識処理の流れを示すフローチャート （ａ）：撮像装置により撮像された画像情報の一例、（ｂ）：（ａ）に示された画像情報に対して前処理を行った後の画像情報の一例をそれぞれ示す図 本発明の実施形態に係る画像認識装置における地物情報取得演算部により取得された地物情報の一例を示す図 本発明の実施形態に係る画像認識装置における領域推測部により推測された画像情報内における停止線の画像が存在すると推測される領域を示す図 本発明の第二の実施形態に係る画像認識装置のハードウエア構成の概略を示すブロック図 本発明の第三の実施形態に係る画像認識装置のハードウエア構成の概略を示すブロック図

符号の説明

１：画像認識装置
２：撮像装置
３：画像情報取得部（画像情報取得手段）
４：ＧＰＳ受信機（撮像位置情報取得手段）
５：方位センサ（撮像位置情報取得手段）
６：距離センサ（撮像位置情報取得手段）
７：撮像位置特定演算部（撮像位置情報取得手段）
８：地図情報データベース（地物情報格納手段）
９：地物情報取得演算部（地物情報取得手段）
１０：画像認識演算部（画像認識手段）
１０ｃ：領域推測部（領域推測手段）
１５：認識対象地物数判断部（判断手段）
１９：位置特定装置
２０：ナビゲーション装置
Ａ：撮像領域
Ｃ：地物情報
Ｃｆ：立体物の地物情報
Ｃｐ：ペイント表示の地物情報
Ｅ：未認識地物が存在すると推測される領域
Ｇ：画像情報

Claims (11)

1. 道路上で撮像した画像情報を取り込む画像情報取得手段と、
   前記画像情報の撮像位置情報を取得する撮像位置情報取得手段と、
   地物についての位置情報を含む地物情報を格納する地物情報格納手段と、
   前記撮像位置情報及び前記地物情報に含まれる位置情報に基づいて、前記画像情報の撮像領域内に含まれる１又は２以上の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、
   前記地物情報取得手段により取得された前記地物情報に基づいて、前記画像情報の撮像領域内に画像認識の対象となる認識対象地物が複数含まれるか否かを判断する判断手段と、
   前記判断手段により前記認識対象地物が複数含まれると判断した場合に、一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果、及び前記地物情報に含まれる位置情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係を用いて行う画像認識手段と、
   を備える画像認識装置。
2. 前記画像認識手段は、前記判断手段により前記認識対象地物が複数含まれると判断した場合には、前記画像情報の全体についての画像認識処理を行い、前記地物情報取得手段により取得された前記地物情報と対比して前記画像情報の撮像領域内に含まれる複数の認識対象地物のそれぞれの認識の可否に応じて、認識されなかった認識対象地物を前記一の認識対象地物とし、認識された認識対象地物を前記他の認識対象地物とする請求項１に記載の画像認識装置。
3. 前記地物情報は、近接する位置に存在する地物同士を関連付ける関連情報を備え、
   前記画像認識手段は、前記一の認識対象地物についての前記地物情報に、他の地物情報を関連付ける関連情報が含まれている場合には、当該関連付けられた他の地物情報に対応する認識対象地物の画像認識結果を優先的に用いて前記一の認識対象地物の画像認識を行う請求項１又は２に記載の画像認識装置。
4. 前記画像認識手段は、他の認識対象地物の画像認識結果、及び前記地物情報に含まれる位置情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係に基づいて、前記一の認識対象地物が存在する前記画像情報中の領域を推測する領域推測手段を備え、その推測結果に基づいて前記一の認識対象地物についての画像認識処理を行う請求項１から３の何れか一項に記載の画像認識装置。
5. 前記画像認識手段は、前記領域推測手段による推測結果に基づいて、前記一の認識対象地物の画像が存在すると推測される領域内では前記一の認識対象地物であるか否かの判断基準が他の領域より低くなるように認識アルゴリズムを調整して、前記一の認識対象地物の画像の認識を行う請求項４に記載の画像認識装置。
6. 前記地物情報は、当該地物の形状情報及び色彩情報の一方又は双方を備え、
   前記画像認識手段は、前記地物情報の形状情報及び色彩情報の一方又は双方を用いて認識対象地物の画像認識を行う請求項１から５の何れか一項に記載の画像認識装置。
7. 前記地物情報格納手段に格納する地物情報として、道路の路面に設けられたペイント表示の地物情報と、道路に沿って設けられた立体物の地物情報とを有する請求項１から６の何れか一項に記載の画像認識装置。
8. 前記請求項１から７の何れか一項に記載の画像認識装置を備え、前記認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて、前記画像情報の撮像位置を、前記撮像位置情報取得手段により取得される撮像位置情報よりも詳細に特定する位置特定装置。
9. 前記請求項１から７の何れか一項に記載の画像認識装置を備え、前記認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて、前記画像情報の撮像位置を、前記撮像位置情報取得手段により取得される撮像位置情報よりも詳細に特定し、特定された撮像位置を車両の位置として車両の走行制御を行う車両制御装置。
10. 前記請求項１から７の何れか一項に記載の画像認識装置と、地図情報を格納した地図情報格納手段と、この地図情報格納手段から取得した地図上に自位置を表示する自位置表示手段とを備え、
    前記認識対象地物の画像認識結果と、認識された各認識対象地物についての地物情報に含まれる位置情報とに基づいて、前記画像情報の撮像位置を、前記撮像位置情報取得手段により取得される撮像位置情報よりも詳細に特定し、特定された撮像位置に基づいて自位置表示手段に表示する自位置を補正する自位置補正手段を備えるナビゲーション装置。
11. 道路上で撮像した画像情報を取り込む画像情報取得工程と、
    前記画像情報の撮像位置情報を取得する撮像位置情報取得工程と、
    前記撮像位置情報及び地物情報格納手段に格納された地物情報に含まれる位置情報に基づいて、前記画像情報の撮像領域内に含まれる１又は２以上の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得工程と、
    前記地物情報取得工程により取得された前記地物情報に基づいて、前記画像情報の撮像領域内に画像認識の対象となる認識対象地物が複数含まれるか否かを判断する判断工程と、
    前記判断工程により前記認識対象地物が複数含まれると判断した場合に、一の認識対象地物の画像認識を、他の認識対象地物の画像認識結果、及び前記地物情報に含まれる位置情報に基づく前記一の認識対象地物と前記他の認識対象地物との位置関係を用いて行う画像認識工程と、
    を備える画像認識方法。

Images