JP2009058429A - 画像認識システム、サーバ装置、及び画像認識装置 - Google Patents

画像認識システム、サーバ装置、及び画像認識装置 Download PDF

Info

Publication number
JP2009058429A
JP2009058429A JP2007226818A JP2007226818A JP2009058429A JP 2009058429 A JP2009058429 A JP 2009058429A JP 2007226818 A JP2007226818 A JP 2007226818A JP 2007226818 A JP2007226818 A JP 2007226818A JP 2009058429 A JP2009058429 A JP 2009058429A
Authority
JP
Japan
Prior art keywords
information
feature
image recognition
recognition
success
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007226818A
Other languages
English (en)
Other versions
JP4984152B2 (ja
Inventor
Tomoaki Ishikawa
知章 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007226818A priority Critical patent/JP4984152B2/ja
Publication of JP2009058429A publication Critical patent/JP2009058429A/ja
Application granted granted Critical
Publication of JP4984152B2 publication Critical patent/JP4984152B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】現実の地物の状態に応じて画像認識処理の対象として適した地物を対象地物とすることを可能にすることにより、画像認識処理の演算負荷を軽減し、一定距離あたりの地物の認識率を高めることが可能な画像認識システム等を提供する。
【解決手段】車両に搭載されて地物の画像認識処理を行う画像認識装置と、一又は二以上の画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置1とを備え、サーバ装置1は、画像認識装置による各地物の画像認識の成否を表す認識成否情報Sを収集する手段22と、収集した認識成否情報Sに基づいて各地物の画像認識に成功する可能性を表す認識可能性情報Rを生成する手段25と、生成された認識可能性情報Rを記憶する手段26と、認識可能性情報Rを画像認識装置に提供する手段27と、を備え、画像認識装置は、サーバ装置1から受け取った認識可能性情報Rに基づいて対象地物を決定する。
【選択図】図1

Description

本発明は、車両に搭載されて地物の画像認識処理を行う画像認識装置と、一又は二以上の前記画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置と、を備えた画像認識システム、並びにこの画像認識システムを構成するサーバ装置及び画像認識装置に関する。
近年の撮像装置や画像認識技術の向上に伴って、自車位置情報の補正や車両制御等のために、車載カメラにより撮像した画像情報を用いて、自車位置周辺の地物、例えば、区画線、停止線、横断歩道等の道路標示(ペイント標示)の画像認識を行う画像認識装置が開発されるようになってきた。このような自車位置周辺の地物の画像認識処理の認識率を高めるために、画像情報のみにより画像認識処理を行うのではなく、地図データベース等の地物情報を記憶する地物情報記憶手段から自車位置周辺の地物の情報を取得し、取得した地物情報と画像情報とを照合して、地物の画像認識処理を行う画像認識装置の技術が存在する(例えば、下記の特許文献1参照)。
特開2006−209510号公報
上記のような画像認識装置では、地物情報記憶手段から地物情報を取得できる地物であって、車載カメラにより撮像される地物は、いずれも画像認識処理の対象とすることが可能である。しかし、現実には、例えば、道路標示は、車両が繰り返し通行することによってかすれが生じたり、別の場所に書き換えられたりすることがあり、標識等は、経年劣化により色彩が薄れたり、撤去されたりすることがある。このような地物は、地物情報に基づけば存在するはずであっても実際の画像認識処理の対象としては適さない。このように、画像認識処理の対象として適さない地物を対象地物として画像認識処理をおこなうことは、画像認識処理の演算負荷を無駄に高めることになる。
また、上記のような画像認識装置では、画像認識処理の演算負荷を軽減するために複数の地物種別の地物を同時に画像認識しないように設定されている等の理由により、比較的狭い間隔で隣接する複数の地物のうちのいずれか一つのみを画像認識処理の対象として選択する場合がある。このような場合に、上記のような画像認識処理の対象として適さない地物を対象地物として選択すると、結果として隣接する他の地物の画像認識の機会を失うことになる。それにより、画像認識装置による一定距離あたりの地物の認識率を下げることになる場合がある。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、現実の地物の状態に応じて画像認識処理の対象として適した地物を対象地物とすることを可能にすることにより、画像認識処理の演算負荷を軽減し、一定距離あたりの地物の認識率を高めることが可能な画像認識システム、並びにこの画像認識システムを構成するサーバ装置及び画像認識装置等を提供することにある。
上記目的を達成するための本発明に係る画像認識システムの特徴構成は、車両に搭載されて地物の画像認識処理を行う画像認識装置と、一又は二以上の前記画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置と、を備え、前記サーバ装置は、前記画像認識装置による各地物の画像認識の成否を表す認識成否情報を収集する情報収集手段と、収集した前記認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報を生成する認識可能性情報生成手段と、生成された前記認識可能性情報を記憶する認識可能性情報記憶手段と、前記認識可能性情報を前記画像認識装置に提供する認識可能性情報提供手段と、を備え、前記画像認識装置は、前記サーバ装置から受け取った前記認識可能性情報に基づいて、画像認識処理の対象とする対象地物を決定する点にある。
この特徴構成によれば、一又は二以上の画像認識装置による各地物の画像認識の成否を表す認識成否情報がサーバ装置に収集され、収集した認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報が生成される。これにより、現実の地物の状態を反映した画像認識の成否の情報に基づいて、各地物の画像認識に成功する可能性を適切に表した認識可能性情報を生成することが可能となる。そして、このように生成した認識可能性情報を画像認識装置に提供することにより、画像認識装置は、一又は二以上の画像認識装置による現実の地物の認識成否の情報を反映した認識可能性情報を取得することができる。したがって、画像認識装置は、現実の地物の状態に応じた各地物の画像認識に成功する可能性の高さを考慮して適切に対象地物を決定することが可能となる。よって、画像認識装置における画像認識処理の演算負荷を軽減し、一定距離あたりの地物の認識率を高めることが可能となる。
ここで、前記認識可能性情報は、各地物の画像認識に成功する割合を表す認識率情報であると好適である。
この構成によれば、画像認識装置は、認識可能性情報を受け取ることにより、各地物の画像認識に成功する割合を表す認識率の情報を取得することができる。したがって、画像認識装置は、現実の地物の状態に応じた各地物の画像認識に成功する割合に応じて、適切に対象地物を決定することが可能となる。
また、前記認識可能性情報は、各地物が、画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果を表す認識成否判定情報であっても好適である。
この構成によれば、画像認識装置は、認識可能性情報を受け取ることにより、各地物が画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果の情報を取得することができる。したがって、画像認識装置は、認識可能性情報に示される判定結果に基づいて、現実の地物の状態に応じた適切な対象地物を決定することが可能となる。
また、前記情報収集手段は、前記画像認識装置から受け取った各地物についての前記認識成否情報を、地物毎に分類して記憶する認識成否情報記憶手段を含む構成とすると好適である。
この構成によれば、一又は二以上の画像認識装置による各地物の画像認識の成否を表す認識成否情報を、サーバ装置において適切に収集することができる。また、この際、認識成否情報を、地物毎に分類して記憶するので、認識可能性情報の生成も容易となる。
また、前記認識可能性情報提供手段は、前記画像認識装置から要求された地物についての前記認識可能性情報を前記認識可能性情報記憶手段から抽出する抽出手段を備え、この抽出手段により抽出した前記認識可能性情報を前記画像認識装置に提供する構成とすると好適である。
この構成によれば、画像認識装置に対して必要最小限の認識可能性情報を提供することが可能となる。したがって、例えば通信による認識可能性情報の提供の際等における通信データ量を比較的小さく抑えることが可能となる。
また、前記画像認識装置は、複数の地物の中から前記対象地物を決定する際に、各地物の前記認識可能性情報に基づいて、画像認識に成功する可能性が他の地物より高い地物を前記対象地物として決定する構成とすると好適である。
この構成によれば、画像認識装置が複数の地物の中から対象地物を決定する際に、一又は二以上の画像認識装置による現実の地物の認識成否の情報を反映させて、画像認識に成功する可能性が高い地物を前記対象地物として決定することができる。したがって、画像認識装置における一定距離あたりの地物の認識率を高めることが可能となる。
また、前記画像認識装置は、前記対象地物の画像認識の成否を表す認識成否情報を生成する認識成否情報生成手段と、生成した前記認識成否情報を前記サーバ装置に提供する認識成否情報提供手段と、を備える構成とすると好適である。
この構成によれば、各画像認識装置からサーバ装置に対して、対象地物の画像認識の成否を表す認識成否情報を、適切に提供することが可能となる。
また、前記画像認識装置は、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて自車両に搭載された撮像装置により将来的に撮像される一又は二以上の地物についての地物情報を取得する地物情報取得手段と、を備え、前記地物情報が取得された一又は二以上の地物の中から前記対象地物を決定する構成とすると好適である。
この構成によれば、自車両に搭載された撮像装置により将来的に撮像される一又は二以上の地物の中から画像認識処理の対象とする地物を適切に決定することができるとともに、決定された対象地物について当該地物の地物情報を用いた画像認識処理を行うことができる。したがって、画像認識装置における一定距離あたりの地物の認識率を高めることが可能となる。
また、前記画像認識装置は、前記地物情報取得手段により前記地物情報が取得された一又は二以上の地物についての前記認識可能性情報の提供を、前記サーバ装置に対して要求する情報要求手段を備える構成とすると好適である。
この構成によれば、画像認識装置を、サーバ装置から必要最小限の認識可能性情報を受け取る構成とすることが可能となる。したがって、例えば通信による認識可能性情報の受け取りの際等における通信データ量を比較的小さく抑えることが可能となる。
本発明に係るサーバ装置の特徴構成は、車両に搭載されて地物の画像認識処理を行う一又は二以上の画像認識装置との間で情報の受け渡しが可能に設けられ、前記画像認識装置による各地物の画像認識の成否を表す認識成否情報を収集する情報収集手段と、収集した前記認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報を生成する認識可能性情報生成手段と、生成された前記認識可能性情報を記憶する認識可能性情報記憶手段と、前記認識可能性情報を前記画像認識装置に提供する認識可能性情報提供手段と、を備えた点にある。
この特徴構成によれば、一又は二以上の画像認識装置による各地物の画像認識の成否を表す認識成否情報がサーバ装置に収集され、収集した認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報が生成される。これにより、現実の地物の状態を反映した画像認識の成否の情報に基づいて、各地物の画像認識に成功する可能性を適切に表した認識可能性情報を生成することが可能となる。そして、このように生成した認識可能性情報を画像認識装置に提供することが可能となる。したがって、画像認識装置は、一又は二以上の画像認識装置による現実の地物の認識成否の情報を反映した認識可能性情報に基づいて、現実の地物の状態に応じた各地物の画像認識に成功する可能性の高さを考慮して適切に対象地物を決定することが可能となる。よって、このサーバ装置により、画像認識装置における画像認識処理の演算負荷を軽減し、画像認識装置による一定距離あたりの地物の認識率を高めることが可能となる。
ここで、前記認識可能性情報は、各地物の画像認識に成功する割合を表す認識率情報であると好適である。
この構成によれば、画像認識装置に対して認識可能性情報として、各地物の画像認識に成功する割合を表す認識率の情報を提供することができる。したがって、画像認識装置に、現実の地物の状態に応じた各地物の画像認識に成功する割合に応じて、適切に対象地物を決定させることが可能となる。
また、前記認識可能性情報は、各地物が、画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果を表す認識成否判定情報であっても好適である。
この構成によれば、画像認識装置に対して認識可能性情報として、各地物が画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果の情報を提供することができる。したがって、画像認識装置に、認識可能性情報に示される判定結果に基づいて、現実の地物の状態に応じた適切な対象地物を決定させることが可能となる。
また、前記情報収集手段は、前記画像認識装置から受け取った各地物についての前記認識成否情報を、地物毎に分類して記憶する認識成否情報記憶手段を含む構成とすると好適である。
この構成によれば、一又は二以上の画像認識装置による各地物の画像認識の成否を表す認識成否情報を、サーバ装置において適切に収集することができる。また、この際、認識成否情報を、地物毎に分類して記憶するので、認識可能性情報の生成も容易となる。
また、前記認識可能性情報提供手段は、前記画像認識装置から要求された地物についての前記認識可能性情報を前記認識可能性情報記憶手段から抽出する抽出手段を備え、この抽出手段により抽出した前記認識可能性情報を前記画像認識装置に提供する構成とすると好適である。
この構成によれば、画像認識装置に対して必要最小限の認識可能性情報を提供することが可能となる。したがって、例えば通信による認識可能性情報の提供の際等における通信データ量を比較的小さく抑えることが可能となる。
本発明に係る画像認識装置の特徴構成は、所定のサーバ装置との間で情報の受け渡しが可能に設けられ、車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、画像認識処理の対象とする地物である対象地物を決定する対象地物決定手段と、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識手段と、前記画像認識手段による前記対象地物の画像認識の成否を表す認識成否情報を生成する認識成否情報生成手段と、生成した前記認識成否情報を前記サーバ装置に提供する認識成否情報提供手段と、を備える点にある。
この特徴構成によれば、画像認識装置は、車両に搭載された撮像装置により撮像した画像情報に含まれる対象地物の画像認識の成否を表す認識成否情報を生成し、サーバ装置に対して当該認識成否情報を適切に提供することができる。したがって、画像認識装置による各地物の画像認識の成否を表す認識成否情報がサーバ装置に収集され、収集した認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報が生成される。これにより、サーバ装置において、現実の地物の状態を反映した画像認識の成否の情報に基づいて、各地物の画像認識に成功する可能性を適切に表した認識可能性情報を生成することが可能となる。
本発明に係る画像認識装置のもう一つの特徴構成は、所定のサーバ装置との間で情報の受け渡しが可能に設けられ、車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、画像認識処理の対象とする地物である対象地物を決定する対象地物決定手段と、前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識手段と、を備え、前記対象地物決定手段は、前記サーバ装置から受け取った、各地物の画像認識に成功する可能性を表す認識可能性情報に基づいて、前記対象地物を決定する点にある。
この特徴構成によれば、画像認識装置は、画像認識処理の対象とする対象地物を決定する際に、各地物の画像認識に成功する可能性を表す認識可能性情報をサーバ装置から受け取って取得することができる。したがって、画像認識装置は、現実の地物の状態に応じた各地物の画像認識に成功する可能性の高さを考慮して適切に対象地物を決定することが可能となる。よって、車両に搭載された撮像装置により撮像した画像情報に含まれる対象地物の画像認識処理を行う際に、画像認識装置における画像認識処理の演算負荷を軽減し、一定距離あたりの地物の認識率を高めることが可能となる。
ここで、前記対象地物決定手段は、複数の地物の中から前記対象地物を決定する際に、各地物の前記認識可能性情報に基づいて、画像認識に成功する可能性が他の地物より高い地物を前記対象地物として決定する構成とすると好適である。
この構成によれば、画像認識装置が複数の地物の中から対象地物を決定する際に、一又は二以上の画像認識装置による現実の地物の認識成否の情報を反映させて、画像認識に成功する可能性が高い地物を前記対象地物として決定することができる。したがって、画像認識装置における一定距離あたりの地物の認識率を高めることが可能となる。
また、画像認識装置は、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて前記撮像装置により将来的に撮像される一又は二以上の地物についての地物情報を取得する地物情報取得手段と、を備え、前記対象地物決定手段は、前記地物情報が取得された一又は二以上の地物の中から前記対象地物を決定する構成とすると好適である。
この構成によれば、自車両に搭載された撮像装置により将来的に撮像される一又は二以上の地物の中から画像認識処理の対象とする地物を適切に決定することができるとともに、決定された対象地物について当該地物の地物情報を用いた画像認識処理を行うことができる。したがって、画像認識装置における一定距離あたりの地物の認識率を高めることが可能となる。
また、画像認識装置は、前記地物情報取得手段により前記地物情報が取得された一又は二以上の地物についての前記認識可能性情報の提供を、前記サーバ装置に対して要求する情報要求手段を備える構成とすると好適である。
この構成によれば、画像認識装置を、サーバ装置から必要最小限の認識可能性情報を受け取る構成とすることが可能となる。したがって、例えば通信による認識可能性情報の受け取りの際等における通信データ量を比較的小さく抑えることが可能となる。
また、前記地物情報取得手段は、複数の地物についての位置情報及び属性情報を含む地物情報が記憶された地物情報記憶手段から前記地物情報を取得する構成とすると好適である。
この構成によれば、地物の位置情報及び属性情報を含む地物情報を所定の地物情報記憶手段から取得することが可能となる。したがって、決定された対象地物について当該地物の地物情報を用いた画像認識処理を行うことができる。したがって、画像認識装置における一定距離あたりの地物の認識率を高めることが可能となる。
本発明に係る自車位置認識装置の特徴構成は、上記の各構成を備えた画像認識装置と、前記画像認識装置による画像認識処理の結果と前記対象地物についての前記地物情報に含まれる位置情報とに基づいて前記自車位置情報を補正する自車位置補正手段と、を備える点にある。
この特徴構成によれば、上記のような画像認識装置による対象地物の画像認識処理の結果と、前記地物情報に含まれる対象地物の位置情報とに基づいて、画像認識された対象地物の位置を基準として自車位置情報を補正することができる。したがって、自車位置の認識精度を高めることができる。
本発明に係るナビゲーション装置の特徴構成は、上記の自車位置認識装置と、地図情報が記憶された地図情報記憶手段と、前記地図情報を参照し、所定のアプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。
この特徴構成によれば、前記自車位置認識装置により認識された正確な自車位置情報に基づいて、案内情報の出力を行うことが可能となる。したがって、例えば、地図情報との組合せによる正確な自車位置表示等の案内情報の出力が可能となるとともに、目的地までの進路案内等のための案内情報を適切なタイミングで出力することも可能となる。
本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るサーバ装置1の構成を模式的に示すブロック図である。また、図2は、本実施形態に係るナビゲーション装置2の概略構成を示すブロック図である。本実施形態においては、本発明に係る画像認識装置3及び自車位置認識装置4をナビゲーション装置2に適用した場合を例として説明する。したがって、図2に示すナビゲーション装置2の構成は、本実施形態に係る画像認識装置3及び自車位置認識装置4の構成を含んでいる。また、本実施形態では、サーバ装置1とナビゲーション装置2とは、それぞれに通信部21、61を備え、各種の通信ネットワークを介して情報の受け渡しが可能に構成されており、全体として画像認識システムを構成している。そして、サーバ装置1は、ナビゲーション装置2による各地物の画像認識の成否を表す認識成否情報Sを収集し、各地物の画像認識に成功する割合を表す認識率情報R(認識可能性情報の一例)を生成する。また、サーバ装置1は、生成した認識率情報Rを、ナビゲーション装置2に提供する。一方、ナビゲーション装置2は、対象地物ft(図8(a)参照)の画像認識処理を行い、その画像認識の成否を表す認識成否情報Sを生成してサーバ装置1に提供する。またこの際、ナビゲーション装置2は、画像認識の対象とする対象地物ftを、サーバ装置1から受け取った認識率報Rに基づいて決定する。すなわち、本実施形態においては、ナビゲーション装置2は、対象地物ftの画像認識の成否の情報をサーバ装置1へ提供する情報提供側の装置として機能するとともに、サーバ装置1から提供された認識率情報Rに基づいて対象地物ftの画像認識処理を行う情報利用側の装置としても機能する。以下、本実施形態に係るサーバ装置1及びナビゲーション装置2の構成について詳細に説明する。
1.サーバ装置
まず、サーバ装置1の構成について説明する。図1に示すように、サーバ装置1の各機能部、具体的には、通信部21、分類格納部23、認識率情報生成部25、及び認識率情報抽出部28は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。また、サーバ装置1は、例えば、ハードディスクドライブやフラッシュメモリ等の書き換え可能な記憶媒体とその駆動手段とを有する装置をハードウェア構成として備えている。そして、サーバ装置1の認識成否データベース24及び認識率データベース26は、これらの記憶媒体に記憶された情報により構成されている。以下、本実施形態に係るサーバ装置1の各部の構成について詳細に説明する。
1−1.通信部
通信部21は、一又は二以上のナビゲーション装置2の通信部61との間で通信を行う通信手段として機能する。この通信部21は、所定の通信ネットワークを介して、ナビゲーション装置2の通信部61との間で通信してデータの送受信を行うことができる構成となっている。このような通信ネットワークとしては、例えば、インターネット、有線又は無線の公衆電話網、有線又は無線LAN(Local Area Network)、専用回線等、有線又は無線の公知の各種の通信ネットワークを用いることができる。また、この通信ネットワーク内に、例えば、パーソナル・コンピュータや携帯電話機等の公知の各種通信機器が含まれても好適である。この通信部21により、サーバ装置1は、一又は二以上の車両に搭載されたナビゲーション装置2との間で情報の受け渡しを行うことが可能とされている。本実施形態においては、サーバ装置1は、この通信部21を介して、ナビゲーション装置2から認識成否情報S及び要求情報Dを受信し、ナビゲーション装置2へ認識率情報Rを送信する。なお、通信部21により受信された認識成否情報Sは後述する分類格納部23へ送られ、要求情報Dは後述する認識率情報抽出部28へ送られる。
1−2.分類格納部・認識成否データベース
分類格納部23は、通信部21を介して一又は二以上のナビゲーション装置2から受け取った各地物についての認識成否情報Sを、地物毎に分類して認識成否データベース24に格納する分類格納手段として機能する。これにより、認識成否データベース24は、ナビゲーション装置2から受け取った各地物についての認識成否情報Sを、地物毎に分類して記憶することになる。図3は、本実施形態に係る認識成否データベース24の内容の具体例を示す図である。後述するように、本実施形態においては、認識成否情報Sは、ナビゲーション装置2における画像認識処理の対象となった各地物に固有の地物IDの情報と、当該対象地物の画像認識に成功したか失敗したかを示す認識成否の情報と、当該対象地物の画像認識処理を行った日時の情報とを有している。そこで、分類格納部23は、通信部21により認識成否情報Sを受信する度に、当該認識成否情報Sに含まれる地物IDの情報を参照し、認識成否情報Sを地物ID毎に分類して認識成否データベース24に格納する。そして、通信部21を介して一又は二以上のナビゲーション装置2から同じ地物(地物IDが同じ地物)についての複数の認識成否情報Sを受け取ることにより、図3に示すように、認識成否データベース24には、各地物IDについて複数の認識成否情報Sが記憶される。図3の例では、「AAAAA」や「BBBBB」等が地物IDである。また、認識成否を表す情報は「○」又は「×」の2種類であり、「○」は認識成功、「×」は認識失敗を表している。
また、分類格納部23は、同じ地物についての複数の認識成否情報Sを、日時の順に並べて格納すると好適である。このように格納すれば、比較的新しい一定期間内の認識成否情報Sだけを用いて、後述する認識率情報Rの生成を行うこと等が容易なるからである。本実施形態においては、認識成否データベース24が本発明における認識成否情報記憶手段に相当する。また、分類格納部23及び認識成否データベース24、並びに通信部21により、本発明における情報収集手段22が構成される。
1−3.認識率情報生成部・認識率データベース
認識率情報生成部25は、上記のように収集した認識成否情報Sに基づいて各地物の画像認識に成功する割合を表す認識率情報Rを生成する。そして、認識率情報生成部25により生成した認識率情報Rは、認識率データベース26に記憶される。図4は、本実施形態に係る認識率データベース26の内容の具体例を示す図である。この図に示すように、本実施形態における認識率情報Rは、各地物の画像認識に成功する割合を百分率で表した情報であり、各地物に固有の地物IDの情報と関連付けられて認識率データベース26に記憶される。ここで、認識率情報生成部25は、認識成否データベース24に格納された地物ID毎の認識成否情報Sを統計的に処理することにより、各地物(各地物ID)についての認識率を演算し、その演算結果を認識率情報Rとする。例えば、認識成否データベース24に記憶された地物ID「AAAAA」についての認識成否情報Sの全数が200個であり、その内の認識成功を表す情報の数が104個であった場合、認識率情報生成部25は、地物ID「AAAAA」の地物の認識率を52%と演算し、当該認識率を表す認識率情報Rを生成する。そして、認識率情報生成部25は、このように生成された認識率情報Rを認識率データベース26に格納する。図4の例では、地物ID「AAAAA」の認識率が「52%」、地物ID「BBBBB」の認識率が「83%」、地物ID「CCCCC」の認識率が「76%」であることをそれぞれ表す認識率情報Rが、認識率データベース26に記憶されている。
認識率情報生成部25は、ナビゲーション装置2から受け取った認識成否情報Sが認識成否データベース24に格納される度に、当該新たな認識成否情報Sに係る地物についての認識率情報Rを新たに生成して、認識率データベース26に記憶する構成とすると好適である。これにより、各地物についての認識率情報Rを常に更新して最新の状態に維持することが可能となる。なお、認識率情報生成部25は、一つの地物についての認識成否情報Sの数が十分に多い場合には、比較的新しい一定期間内の認識成否情報Sだけに基づいて認識率情報Rを生成する構成とすると好適である。これにより、各地物の現状を表していない認識成否情報Sが認識率情報Rに影響を与えることを抑制できる。また、認識率情報生成部25は、各地物の認識率の統計的な正確性を高めるため、一つの地物についての認識成否データベース24に記憶された認識成否情報Sの数が一定数以下(例えば10個以下)の場合に、認識率情報Rを生成しない構成とすると好適である。本実施形態においては、この認識率情報Rが各地物の画像認識に成功する可能性を表す情報であり、本発明における認識可能性情報に相当する。したがって、認識率情報生成部25が、本発明における認識可能性情報生成手段に相当する。また、本実施形態においては、認識率データベース26が本発明における認識可能性情報記憶手段に相当する。
1−4.認識率情報抽出部
認識率情報抽出部28は、ナビゲーション装置2から要求された地物についての認識率情報Rを認識率データベース26から抽出する抽出手段として機能する。ここで、認識率情報抽出部28は、通信部21を介してナビゲーション装置2から受け取った要求情報Dに基づいてナビゲーション装置2から要求された地物を特定する。後述するように、本実施形態においては、要求情報Dは、ナビゲーション装置2が認識率情報Rを要求する地物についての地物IDの情報を有している。そこで、認識率情報抽出部28は、要求情報Dが有する地物IDの地物をナビゲーション装置2から要求された地物とし、当該地物IDの認識率情報Rを認識率データベース26から抽出する。この際、要求情報Dに複数の地物についての地物IDが含まれている場合には、認識率情報抽出部28は、それら複数の地物IDについての認識率情報Rを抽出する。そして、認識率情報抽出部28は、このような要求情報Dに従って抽出した認識率情報Rを、当該要求情報Dの送信元のナビゲーション装置2へ、通信部21を介して送信する。これにより、ナビゲーション装置2から要求された地物についての認識率情報Rがナビゲーション装置2に提供される。本実施形態においては、認識率情報抽出部28及び通信部21により、本発明における認識可能性情報提供手段27が構成される。
2.ナビゲーション装置
次に、ナビゲーション装置2の構成について説明する。図2に本実施形態に係るナビゲーション装置2の概略構成を示している。本実施形態においては、ナビゲーション装置2は車両Cに搭載されている。そして、ナビゲーション装置2は、画像認識装置3を含んで構成されている。この画像認識装置3は、サーバ装置1から受け取った認識率情報Rに基づいて対象地物ft(図8(a)参照)を決定し、当該対象地物を対象として画像認識処理を行う。また、ナビゲーション装置2は、自車位置認識装置4を含んで構成されている。この自車位置認識装置4は、画像認識装置3による対象地物ftの画像認識処理の結果と、当該対象地物ftについての地物情報Fに含まれる位置情報とに基づいて自車位置情報Pを補正することにより、高精度に自車両Cの現在位置を認識することができる構成となっている。
ナビゲーション装置2の各機能部、具体的には、画像情報取得部32、自車位置情報取得部33、画像認識部37、自車位置補正部38、ナビゲーション用演算部39、通信部61、地物情報取得部62、要求情報生成部63、情報要求手段64、対象地物決定部65、及び認識成否情報生成部66は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。また、ナビゲーション装置2は、例えば、ハードディスクドライブ、フラッシュメモリ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等の記憶媒体とその駆動手段とを有する装置をハードウェア構成として備えている。そして、ナビゲーション装置2の各データベース、具体的には地図データベース51、地物データベース52、及び初期認識率データベース53は、これらの記憶媒体に記憶された情報により構成されている。以下、本実施形態に係るナビゲーション装置2の各部の構成について詳細に説明する。
2−1.地図データベース
地図データベース51は、地図情報Mが記憶されたデータベースである。ここで、地図情報Mは、所定の経度および緯度で区切られた区画と呼ばれる矩形領域を単位として分割されている。各区画の地図情報Mは、各区画に設定された区画番号等の区画識別符号を指定することにより読み出すことができる。図5は、地図データベース51に記憶されている地図情報Mの概略構成の例を示す図である。この図に示すように、地図情報Mは、交差点に対応する多数のノードnと、各交差点間を結ぶ道路に対応するリンクkとの接続関係により道路ネットワークを表す道路情報Neを有している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。複数のリンクkは、ノードnを介して接続されている。また、各リンクkは、その属性情報として、道路種別、リンク長、道路幅、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別情報は、例えば、高速道路、国道、県道、一般道路、細街路等のように、道路を複数の種別に区分した際の道路種別の情報である。なお、図5においては、一つの区画の道路情報Neのみを図示し、他の区画の道路情報Neは省略して表している。また、図示は省略するが、地図情報Mは、道路情報Neの他に、地図表示に必要な各種の情報を有する描画情報、交差点の詳細情報を有する交差点情報等を含んでいる。ここで、描画情報には、建物や河川等を表示するために必要な背景レイヤの情報、市町村名や道路名等を表示するために必要な文字レイヤの情報等が含まれている。本実施形態においては、この地図データベース51が、本発明における地図情報記憶手段に相当する。
2−2.地物データベース
地物データベース52は、道路上や道路周辺に設けられた複数の地物についての地物情報Fが記憶されたデータベースである。この地物データベース52に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。図6は、地物データベース52に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、T字や十字等の交差点における道路の交差方向を表す標示、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、マンホール、陸橋、トンネル等の各種の地物も含めることができる。
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた属性情報とを有している。ここで、位置情報は、道路情報Neを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、属性情報は、地物種別情報、地物形態情報、地物状態情報等を含んでいる。ここで、地物種別情報は、各地物の地物種別を表す情報である。ここで、地物種別は、基本的に同じ形状の地物を一つの地物種別として規定しているものとする。したがって、地物種別の情報は、例えば、横断歩道、停止線、T字、十字、直進矢印、右折矢印等の道路標示の具体的な種別を表す情報となる。また、地物形態情報は、各地物の形状、大きさ、色彩等の形態を表す情報である。地物状態情報は、現実の各地物のかすれの状態等のような各地物の画像認識処理に影響を与える地物の状態を示す情報である。本実施形態においては、この地物データベース52が、本発明における地物情報記憶手段に相当する。
2−3.初期認識率データベース
初期認識率データベース53は、初期認識率情報Rdが記憶されたデータベースである。ここで、初期認識率情報Rdは、サーバ装置1から提供される認識率情報Rの初期値の情報であって、後述する要求情報Dにより要求した地物についての認識率情報Rをサーバ装置1から受け取ることができない場合に用いられる。そのため、この初期認識率データベース53には、上述した認識率データベース26と同様に、各地物の画像認識に成功する割合を百分率で表した初期認識率情報Rdが、各地物に固有の地物IDの情報と関連付けられて記憶されている。本実施形態においては、初期認識率情報Rdは、各地物にかすれ等の画像認識処理に影響を与える状態の変化がない場合における認識率の情報となっている。したがって、この初期認識率情報Rdの値は、基本的には、地物種別に応じた地物の形態や配置傾向等によって一律に定まる要因から推定される認識率となっている。
2−4.画像情報取得部
画像情報取得部32は、自車両Cに搭載された撮像装置31により撮像した画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置31は、撮像素子を備えた車載カメラ等であって、少なくとも自車両Cの周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置31としては、例えば、図7に示すような自車両Cの後方の路面を撮像するバックカメラを用いると好適である。画像情報取得部32は、撮像装置31により撮像した撮像情報をフレームメモリ(不図示)等を介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50〔ms〕程度とすることができる。これにより、画像情報取得部32は、撮像装置31により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部37へ出力される。
2−5.自車位置情報取得部
自車位置情報取得部33は、自車両C(図8(a)参照)の現在位置を示す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部33は、GPS受信機34、方位センサ35、及び距離センサ36と接続されている。ここで、GPS受信機34は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部33へ出力される。自車位置情報取得部33では、GPS受信機34で受信されたGPS衛星からの信号を解析し、自車両Cの現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ35は、自車両Cの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ35は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ35は、その検出結果を自車位置情報取得部33へ出力する。距離センサ36は、自車両Cの車速や移動距離を検出するセンサである。この距離センサ36は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Cの加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ36は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部33へ出力する。
自車位置情報取得部33は、これらのGPS受信機34、方位センサ35及び距離センサ36からの出力に基づいて、公知の方法により自車位置を特定する演算を行う。また、自車位置情報取得部33は、地図データベース51から自車位置周辺の地図情報Mを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を地図情報Mに示される道路上に合わせる補正も行う。このようにして、自車位置情報取得部33は、緯度及び経度で表された自車両Cの現在位置の情報、及び自車両Cの進行方位の情報を含む自車位置情報Pを取得する。
2−6.画像認識部
画像認識部37は、画像情報取得部32で取得された画像情報Gに含まれる対象地物ftの画像認識処理を行う画像認識手段として機能する。図8(a)は、対象地物ftの画像認識処理を行う際における、自車両Cが実際に走行する道路の状況の具体例を示している。また、図8(b)は、(a)の状況に対応する自車位置の周辺の地図情報M及び地物情報Fの具体例を示している。本実施形態においては、画像認識部37は、後述する対象地物決定部65により決定された対象地物ftを画像認識処理の対象とする。図8(a)に示す例では、自車両Cの進行方向に存在する2つの地物f1及びf2の内、T字の地物f2が対象地物ftとして決定されたものとしている。そして、画像認識部37は、自車位置情報Pに基づいて、後述する地物情報取得部62により地物データベース52から取得された当該対象地物ftの地物情報F(図8(b)の例では地物情報F2)を用いて対象地物ftの画像認識処理を行う。
この際、画像認識部37は、対象地物ftの認識要求を出して画像認識処理を行う所定の認識範囲A(図8(a)の例では認識範囲A2)を設定し、この認識範囲A内の画像情報Gに対して対象地物ftの画像認識処理を行う。また本実施形態では、画像認識部37は、一つの認識範囲A内について一つの対象地物ftの画像認識処理を行う。ここで、認識範囲Aは、リンクkに沿った方向の自車位置情報Pの誤差を考慮して、対象地物ftが存在すると推測される位置範囲として設定される。本実施形態においては、この認識範囲Aの大きさ(長さ)を固定値としている。すなわち、例えばリンクkに沿った方向(前後方向)の自車位置情報Pの誤差が、自車両Cの前方及び後方にそれぞれ最大で約15〔m〕ずつであると仮定し、それに対象地物ftの前後長及び余裕分を考慮して、認識範囲Aを、対象地物ftの位置を中心とする前後35〔m〕の範囲に設定している。このときの対象地物ftの位置は自車位置情報Pの誤差が反映された位置となるが、このような認識範囲Aを設定することにより、対象地物ftを確実に認識範囲A内に収めて画像認識処理を行うことができる。撮像装置31の撮像領域と実際の道路上の領域との関係は、自車両Cへの撮像装置31の取付位置、取付角度、及び画角等に基づいて予め演算された自車位置と撮像領域との位置関係を用いることで、自車位置情報Pに基づいて求めることができる。したがって、画像認識部37は、このように求めた各画像情報Gの撮像領域に基づいて、各対象地物ftについて設定された認識範囲Aに対応する画像情報Gを抽出し、抽出された画像情報Gに対して画像認識処理を行う。
画像認識部37は、対象地物の画像認識に際しては、抽出された画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部37は、抽出された地物の輪郭情報と、地物情報取得部62により取得された対象地物ftの地物情報Fに含まれる形態情報に基づく対象地物ftの形態の特徴量とのパターンマッチングを行う。その結果、パターンマッチングに成功した場合には、画像認識部37は、対象地物ftの画像認識に成功したと判定し、その画像認識結果を自車位置補正部38へ出力する。そして、後述するように、自車位置補正部38では、対象地物ftの画像認識結果を用いて自車位置情報Pが補正される。一方、パターンマッチングに失敗した場合には、画像認識部37は、対象地物ftの画像認識に失敗したと判定する。この場合には、自車位置補正部38へは画像認識結果が出力されず、したがって自車位置補正部38による自車位置情報Pの補正も行われない。
2−7.自車位置補正部
自車位置補正部38は、画像認識部37による対象地物ftの画像認識処理の結果と、当該対象地物ftについての地物情報Fに含まれる当該対象地物ftの位置情報とに基づいて自車位置情報Pを補正する自車位置情報補正手段として機能する。本実施形態では、自車位置補正部38は、画像認識部37における地物情報Fに基づく画像認識処理による対象地物ftの画像認識結果と、当該地物情報Fに含まれる当該対象地物ftの位置情報とを用いて、自車両Cの進行方向に沿って自車位置情報Pを補正する。具体的には、自車位置補正部38は、まず、画像認識部37による画像認識処理の結果と、撮像装置31の取付位置、取付角度、及び画角等とに基づいて、対象地物ftの画像を含む画像情報Gの取得時における自車両Cと対象地物ftとの位置関係を演算する。次に、自車位置補正部38は、この自車両Cと対象地物ftとの位置関係の演算結果と、当該対象地物ftについての地物情報Fに含まれる当該対象地物ftの位置情報とに基づいて、自車両Cの進行方向における対象地物ftの位置情報(地物情報F)を基準とする高精度な自車両Cの位置情報を演算して取得する。そして、自車位置補正部38は、このようにして取得した高精度な自車両Cの位置情報に基づいて、自車位置情報取得部33で取得した自車位置情報Pに含まれる、自車両Cの進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部33は、このような補正後の高精度な自車位置情報Pを取得することになる。
2−8.ナビゲーション用演算部
ナビゲーション用演算部39は、自車位置表示、出発地から目的地までの経路探索、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム40に従って動作する演算処理手段である。このナビゲーション用演算部39は、自車位置情報取得部33により取得された自車位置情報P、及び地図データベース51に記憶された地図情報Mを参照して動作する。例えば、ナビゲーション用演算部39は、自車位置情報Pに基づいて地図データベース51から自車両C周辺の地図情報Mを取得して表示入力装置41に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部39は、地図データベース51に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部39は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置41及び音声出力装置42の一方又は双方を用いて、運転者に対する進路案内を行う。また、本実施形態においては、ナビゲーション用演算部39は、表示入力装置41及び音声出力装置42に接続されている。表示入力装置41は、液晶表示装置等の表示装置とタッチパネル等の入力装置が一体となったものである。音声出力装置は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部39、表示入力装置41、及び音声出力装置42が、本発明における案内情報出力手段43として機能する。
2−9.通信部
通信部61は、サーバ装置1の通信部21との間で通信を行う通信手段として機能する。この通信部61は、上記のような所定の通信ネットワークを介して、サーバ装置1の通信部21との間で通信してデータの送受信を行うことができる構成となっている。この通信部61により、ナビゲーション装置2は、サーバ装置1との間で情報の受け渡しを行うことが可能とされている。本実施形態においては、ナビゲーション装置2は、この通信部61を介して、サーバ装置1へ要求情報Dを送信し、サーバ装置1から認識率情報Rを受信する。なお、通信部61により受信された認識率情報Rは後述する対象地物決定部65へ送られる。また、ナビゲーション装置2は、この通信部61を介して、認識成否情報生成部66により生成された認識成否情報Sをサーバ装置1に提供する。したがって本実施形態においては、通信部61が本発明における認識成否情報提供手段67に相当する。
2−10.地物情報取得部
地物情報取得部62は、自車位置情報Pに基づいて撮像装置31により将来的に撮像される一又は二以上の地物についての地物情報Fを取得する地物情報取得手段として機能する。ここで、地物情報取得部62は、上記地物データベース52から前記一又は二以上の地物についての地物情報Fを取得する。本実施形態においては、地物情報取得部62は、自車位置情報Pに基づいて、自車位置情報Pに示される自車両Cの現在位置から、自車両Cが走行中の道路を表すリンクkに沿って進行方向に所定の探索距離L(図8(b)参照)内に存在する全ての地物についての地物情報Fを取得する。ここで、探索距離Lは、自車両Cの車速を考慮し、ある地物についての地物情報Fを取得してから撮像装置31が当該地物を撮像するまでの時間が、後述する対象地物ftの決定のための処理に要する時間以上となるように設定する。そして、探索距離Lは、自車両Cの最高車速に基づいて例えば500〔m〕などように固定値として設定してもよいし、車速に応じて前記時間を確保できるように変化する値として設定しても好適である。またこの際、地物情報取得部62は、地物データベース52に記憶された各地物情報Fに含まれる地物の位置情報に基づいて、自車両Cから探索距離L内に存在する地物の地物情報Fを抽出して取得する。
図8(b)に示す例では、地物情報取得部62は、自車両Cから探索距離L内に存在する地物の地物情報Fとして、横断歩道の地物f1についての地物情報F1と、T字の地物f2についての地物情報F2とを取得する。そして、この地物情報取得部62により取得された地物情報F(図8(b)の例では地物情報F1及びF2)は、要求情報生成部63及び対象地物決定部65へ出力される。そして、この地物情報取得部62により地物情報Fが取得された一又は二以上の地物の中から、後述する対象地物決定部65において対象地物ftが決定される。
2−11.要求情報生成部
要求情報生成部63は、サーバ装置1に対して認識率情報Rを要求するための要求情報Dを生成する要求情報生成手段として機能する。本実施形態においては、要求情報生成部63は、地物情報取得部62により地物情報Fが取得された一又は二以上の地物についての認識率情報Rの提供を要求するための要求情報Dを生成する。そのため、要求情報Dは、要求する一又は二以上の地物についての地物IDの情報を有している。また、要求情報Dは、認識率情報Rを要求するためのものであることを示す情報を有している。図8(b)に示す例では、地物情報取得部62により横断歩道の地物f1についての地物情報F1と、T字の地物f2についての地物情報F2とが取得される。したがって、要求情報生成部63は、地物情報F1が示す地物f1の地物ID(例えば「AAAAA」)及び地物情報F2が示す地物f2の地物ID(例えば「BBBBB」)の情報を含む要求情報Dを生成する。なお、要求情報生成部63は、基本的には、地物情報取得部62によって地物情報Fが取得される度に、当該取得された地物情報Fが示す地物についての要求情報Dを生成する。但し、上記の探索距離Lが十分に長い場合などには、複数回に分けて地物情報取得部62により取得される複数の地物情報Fについて、それらの地物情報Fが示す複数の地物の地物IDを一つにまとめて要求情報Dを生成する構成としても好適である。
以上のようにして要求情報生成部63により生成された要求情報Dは、通信部61を介してサーバ装置1へ送信される。したがって、本実施形態においては、要求情報生成部63及び通信部61により本発明における情報要求手段64が構成される。上記のとおり、要求情報Dを受け取ったサーバ装置1では、認識率情報抽出部28により、要求情報Dにより要求された地物IDの地物についての認識率情報Rを認識率データベース26から抽出し、抽出された認識率情報Rが、通信部21を介してナビゲーション装置2に送信される。したがって、ナビゲーション装置2では、通信部61が要求情報Dにより要求した地物についての認識率情報Rを受信することになる。そして、通信部61は、受信した認識率情報Rを対象地物決定部65へ送る。これにより、対象地物決定部65は、地物情報取得部62により地物情報Fが取得された一又は二以上の地物のそれぞれについての認識率情報Rを取得する。
2−12.対象地物決定部
対象地物決定部65は、画像認識部37による画像認識処理の対象とする地物である対象地物ft(図8(a)参照)を決定する対象地物決定手段として機能する。本実施形態においては、対象地物決定部65は、地物情報取得部62により地物情報Fが取得された一又は二以上の地物の中から対象地物ftを決定する。この際、取得された各地物の地物情報Fに含まれる位置情報に基づいて、複数の地物が所定の近接間隔X以下の間隔で配置されていると判定される場合には、対象地物決定部65は、それら複数の地物の中から一つの地物を選択して対象地物ftとする。ここで、近接間隔Xは、画像認識部37により設定される認識範囲Aの大きさ(長さ)に応じて設定する。本実施形態では、近接間隔Xは、認識範囲Aの大きさと同じ値(X=A)に設定する。これは、上記のとおり、画像認識部37が一つの認識範囲A内について一つの対象地物ftの画像認識処理を行う構成となっているのに対して、複数の地物が認識範囲Aの大きさに相当する近接間隔X以下で配置されている場合には、各地物について設定される認識範囲Aが重複することになるからである。図8(b)に示す例では、地物情報取得部62により地物情報Fが取得された2つの地物f1及びf2が、近接間隔X以下で配置されている。したがって、対象地物決定部65は、これら2つの地物f1及びf2の中から一つの対象地物ftを決定する。
なお、図示は省略するが、互いに隣接する地物相互間の間隔が近接間隔X以下の状態で、リンクkに沿って3つ以上の地物が順に配置されている場合には、対象地物決定部65は、それら3つ以上の地物の中から一つの地物を対象地物ftとして決定する。一方、地物情報取得部62により地物情報Fが取得された一又は二以上の地物の中で、両側に近接間隔X以下の間隔で隣接する地物が存在しない地物、すなわち他の地物に対して近接間隔Xより大きい距離だけ離れて単独で配置されている地物については、対象地物決定部65は、それぞれを対象地物ftとして決定する。すなわち、本実施形態においては、対象地物決定部65は、このように他の地物から離れて単独で配置されている地物については、認識率情報Rに示される認識率によらずに全て対象地物ftとする。
そして、本実施形態においては、対象地物決定部65は、複数の地物の中から対象地物ftを決定する際に、サーバ装置1から受け取った認識率情報Rに基づく対象地物ftの決定を行う。上記のとおり、要求情報生成部63により生成した要求情報Dに基づいて、地物情報取得部62により地物情報Fが取得された一又は二以上の地物についての認識率情報Rがサーバ装置1から提供される。したがって、対象地物決定部65は、これらの地物のそれぞれについての認識率情報Rを取得している。そこで、対象地物決定部65は、各地物の認識率情報Rに基づいて、複数の地物の中で画像認識に成功する可能性が他の地物より高い地物を対象地物ftとして決定する。本実施形態においては、対象地物決定部65は、複数の地物のそれぞれについての認識率情報Rに示される認識率を比較し、それら複数の地物の中で認識率が最も高い一つの地物を対象地物ftとして決定する。
図8に示す例では、対象地物決定部65は、近接間隔X以下で配置された2つの地物f1及びf2の中から一つの対象地物ftを決定する。ここで、例えば、地物情報F1が示す地物f1の地物IDが「AAAAA」であり、地物情報F2が示す地物f2の地物IDが「BBBBB」であり、更に、サーバ装置1の認識率データベース26の内容が図4に示す例のとおりであった場合、地物f1についての認識率情報Rは認識率「52%」を表し、地物f2についての認識率情報Rは認識率「83%」を表すことになる。この場合、対象地物決定部65は、これらの認識率情報Rに示される地物f1の認識率と地物f2の認識率とを比較し、認識率が高い方の地物f2を対象地物ftとして決定する。そして、対象地物決定部65により対象地物ftが決定された場合には、当該対象地物ftについての地物情報Fが、画像認識部37及び自車位置補正部38へ出力される。
ところで、一般的に、かすれ等の画像認識処理に影響を与える地物の状態が同じである場合には、形態上の特徴の多さに起因して、横断歩道の地物f1の方が、T字の地物f2よりも認識率が高い。しかし、図8(a)に示すように、本例では、横断歩道の地物f1が一部かすれた状態となっている。そのため、地物f1の実際の画像認識処理の認識率は、通常の場合よりも大幅に低くなっている。本実施形態に係る画像認識システムの構成によれば、サーバ装置1が、一又は二以上のナビゲーション装置2から受け取った各地物についての認識成否情報Sを収集し、現実の地物の状態に応じた各地物の画像認識処理の認識率を表す認識率情報Rが生成してナビゲーション装置2に提供する。したがって、対象地物決定部65は、現実の地物の状態に応じて、一般的な認識率が高い横断歩道の地物f1ではなく、実際の認識率が高いT字の地物f2を対象地物ftとして決定することができる。これにより、画像認識部37における画像認識処理の演算負荷を軽減し、一定距離あたりの地物の認識率を高めることが可能となる。
なお、サーバ装置1が要求情報Dにより要求された地物の認識率情報Rを有していない場合には、そのような認識率情報Rはサーバ装置1から提供されない。また、通信部61によるサーバ装置1との通信状態が悪いなど他の理由により認識率情報Rが提供されない場合もある。そのような場合には、対象地物決定部65は、サーバ装置1から提供される認識率情報Rに代えて、初期認識率データベース53に記憶されている初期認識率情報Rdを利用する。すなわち、対象地物決定部65は、地物情報取得部62により地物情報Fが取得された一又は二以上の地物の中に、サーバ装置1から提供される認識率情報Rを取得していない地物がある場合には、当該地物についての初期認識率情報Rdを初期認識率データベース53から取得する。そして、対象地物決定部65は、認識率情報R及び初期認識率情報Rdの一方又は双方を用いて対象地物ftの決定を行う。この際、上記のとおり、初期認識率情報Rdは、各地物に固有の地物IDの情報と関連付けられて記憶されているため、対象地物決定部65は、当該地物の地物IDに基づいて初期認識率情報Rdを取得できる。また、初期認識率情報Rdは、認識率情報Rと同様に各地物の画像認識に成功する割合を表す情報であるため、認識率情報Rと同様にして、対象地物ftの決定に用いることができる。
2−13.認識成否情報生成部
認識成否情報生成部66は、画像認識部37による対象地物ftの画像認識の成否を表す認識成否情報Sを生成する認識成否情報生成手段として機能する。本実施形態においては、上記のとおり、対象地物決定部65により決定された一つの対象地物ftについて、画像認識部37が、所定の認識範囲Aを設定し、当該認識範囲A内の画像情報Gに対して対象地物ftの画像認識処理を行う。そこで、認識成否情報生成部66は、まず、画像認識部37による、当該対象地物ftについて設定された認識範囲A内における対象地物ftの画像認識に成功したか失敗したかを監視する。そして、画像認識部37による認識範囲A内の画像認識処理が終了した際に、画像認識に成功したか失敗したかを示す認識成否の情報を含む認識成否情報Sを生成する。本実施形態においては、認識成否情報Sは、各対象地物ftに固有の地物IDの情報と、当該対象地物ftの画像認識に成功したか失敗したかを示す認識成否の情報と、当該対象地物ftの画像認識処理を行った日時の情報とを有している。この認識成否情報Sの具体的例については、上記認識成否データベース24に関する図3の例において既に説明したとおりである。そして、この認識成否情報生成部66により生成された認識成否情報Sは、生成される毎に、通信部61を介してサーバ装置1へ送信される。
3.サーバ装置の動作手順
次に、本実施形態に係るサーバ装置1の動作手順について説明する。図9は、本実施形態に係るサーバ装置1の動作手順を示すフローチャートである。以下に説明するサーバ装置1の動作手順は、サーバ装置1の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合わせにより実行される。サーバ装置1の各機能部がプログラムにより構成される場合には、サーバ装置1が有する演算処理装置は、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
図9に示すように、本実施形態に係るサーバ装置1の動作手順では、まず、通信部21により、認識成否情報Sを受信したか否かについて判定する(ステップ#01)。認識成否情報Sを受信した場合には(ステップ#01:Yes)、分類格納部23により、受信した認識成否情報Sを地物毎に分類して認識成否データベース24に格納して記憶させる(ステップ#02)。次に、認識率情報生成部25により、ステップ#02で認識成否データベース24に記憶された新たな認識成否情報Sに係る地物についての認識率情報Rを生成する(ステップ#03)。そして、ステップ#03で生成した認識率情報Rを認識率データベース26に記憶する(ステップ#04)。これにより、ナビゲーション装置2から新たな認識成否情報Sを受け取る度に、当該新たな認識成否情報Sに係る地物についての認識率情報Rを新たに生成することになるので、各地物についての認識率情報Rを常に更新して最新の状態に維持することが可能となる。
一方、認識成否情報Sを受信しなかった場合には(ステップ#01:No)、次に、通信部21により、要求情報Dを受信したか否かについて判定する(ステップ#05)。要求情報Dを受信しなかった場合には(ステップ#05:No)、動作手順はステップ#01へ戻る。要求情報Dを受信した場合には(ステップ#05:Yes)、次に、認識率情報抽出部28により、ステップ#05で受信した要求情報Dにより要求された地物についての認識率情報Rを認識率データベース26から抽出する(ステップ#06)。そして、通信部21により、ステップ#06で抽出した認識率情報Rを、要求情報Dの送信元のナビゲーション装置2へ送信する(ステップ#07)。以上でサーバ装置1の動作手順を終了する。
4.ナビゲーション装置の動作手順
次に、本実施形態に係るナビゲーション装置2の動作手順について説明する。図10は、本実施形態に係るナビゲーション装置2の全体の動作手順を示すフローチャートである。また、図11は、図10のステップ#18の対象地物決定処理の手順を示すフローチャートである。以下に説明するナビゲーション装置2の動作手順は、ナビゲーション装置2の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方の組み合わせにより実行される。ナビゲーション装置2の各機能部がプログラムにより構成される場合には、ナビゲーション装置2が有する演算処理装置は、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。
図10に示すように、本実施形態に係るナビゲーション装置2の動作手順では、まず、自車位置情報取得部33により、自車両Cの現在位置を示す自車位置情報Pを取得する(ステップ#11)。次に、地物情報取得部62により、ステップ#11で取得した自車位置情報Pに基づいて地物情報Fを取得する(ステップ#12)。ここでは、地物情報取得部62は、自車位置情報Pに基づいて、撮像装置31により将来的に撮像されることになる一又は二以上の地物情報F、具体的には自車両Cの進行方向に所定の探索距離L(図8(b)参照)内に存在する一又は二以上の地物についての地物情報Fを取得する。このステップ#12により地物情報Fが取得されなかった場合には(ステップ#13:No)、動作手順はステップ#11へ戻り、進行した自車両Cの新たな自車位置情報Pに基づいて地物情報Fが取得される。そして、ステップ#12により地物情報Fが取得された場合には(ステップ#13:Yes)、要求情報生成部63により要求情報Dを生成する(ステップ#14)。ここでは、要求情報生成部63は、ステップ#12で地物情報Fが取得された一又は二以上の地物についての認識率情報Rの提供を要求する要求情報Dを生成する。その後、通信部61により、ステップ#14で生成した要求情報Dを、サーバ装置1へ送信する(ステップ#15)。
次に、ナビゲーション装置2は、通信部61により、ステップ#15で送信した要求情報Dに対応する認識率情報Rを受信したか否かについて判定する(ステップ#16)。要求情報Dに対応する認識率情報Rを受信できなかった場合には(ステップ#16:No)、対象地物決定部65により、ステップ#15で送信した要求情報Dに対応する初期認識率情報Rdを、初期認識率データベース53から取得する(ステップ#17)。この際、要求情報Dにより複数の地物についての認識率情報Rを要求していた場合であって、その中の一部の地物についての認識率情報Rが受信できなかった場合には、対象地物決定部65は、当該一部の地物についての初期認識率情報Rdを取得する。このステップ#17で初期認識率情報Rdが取得された地物については、対象地物決定処理(ステップ#18)において、当該初期認識率情報Rdをサーバ装置1から提供される認識率情報Rと同様に取り扱う。その後、対象地物決定部65により、認識率情報R及び初期認識率情報Rdの一方又は双方に基づいて、対象地物ftを決定する対象地物決定処理を行う(ステップ#18)。この対象地物決定処理の手順については、後に図11に示すフローチャートに基づいて詳細に説明する。
次に、ナビゲーション装置2は、画像情報取得部32により、自車両Cに搭載された撮像装置31が撮像した画像情報Gを取得する(ステップ#19)。そして、画像認識部37により、ステップ#19で取得された画像情報Gに含まれる、ステップ#18で決定された対象地物ftの画像認識処理を行う(ステップ#20)。この際、上記のとおり、画像認識部37は、所定の認識範囲A(図8(a)の例では認識範囲A2)を設定し、この認識範囲A内の画像情報Gに対して対象地物ftの画像認識処理を行う。その後、認識成否情報生成部66により、ステップ#20における対象地物ftの画像認識の成否を表す認識成否情報Sを生成する(ステップ#21)。そして、通信部61により、ステップ#21で生成した認識成否情報Sを、サーバ装置1へ送信する(ステップ#22)。また、ステップ#20において対象地物ftの画像認識に成功した場合には(ステップ#23:Yes)、自車位置補正部38により、自車位置情報Pを補正する(ステップ#24)。ここでは、自車位置補正部38は、対象地物ftの画像認識処理の結果と、当該対象地物ftについての地物情報Fが示す位置情報とに基づいて、対象地物ftの位置を基準とする高精度な自車両Cの位置情報を演算し、それに基づいて自車位置情報Pを補正する。一方、ステップ#20において対象地物ftの画像認識に失敗した場合には(ステップ#23:No)、このような自車位置情報Pの補正は行わない。以上でナビゲーション装置2の動作手順を終了する。
次に、図10のステップ#18の対象地物決定処理の手順について説明する。図11に示すように、対象地物決定処理に際して、対象地物決定部65は、まず、ステップ#12において複数の地物の地物情報Fが取得されたか否かについて判定する(ステップ#31)。そして、複数の地物の地物情報Fが取得された場合には(ステップ#31:Yes)、次に、それらの複数の地物が所定の近接間隔X以下の間隔で配置されているか否かについて判定する(ステップ#32)。それらの複数の地物が所定の近接間隔X以下の間隔で配置されている場合には(ステップ#32:Yes)、対象地物決定部65は、それらの複数の地物の中で認識率が最も高い一つの地物を対象地物ftとして決定する(ステップ#33)。この際、対象地物決定部65は、サーバ装置1から認識率情報Rが提供された(ステップ#16:Yes)地物については認識率情報Rに示される認識率を用い、サーバ装置1から認識率情報Rが提供されずに初期認識率情報Rdを取得した(ステップ#17)地物については初期認識率情報Rdに示される認識率を用いる。
一方、ステップ#12において複数の地物の地物情報Fが取得されなかった場合には(ステップ#31:No)、一つの地物の地物情報Fだけが取得されている状態であるので、対象地物決定部65は、当該一つの地物を対象地物ftとして決定する(ステップ#34)。また、ステップ#12において複数の地物の地物情報Fが取得された場合(ステップ#31:Yes)であって、それらの複数の地物が所定の近接間隔X以下の間隔で配置されていない場合には(ステップ#32:Yes)、対象地物決定部65は、それらの複数の地物のそれぞれを対象地物ftとして決定する。すなわち、この場合には、複数の地物は、それぞれ他の地物に対して近接間隔Xより大きい距離だけ離れて単独で配置されており、各地物について設定される認識範囲Aが重複することがないため、それぞれの地物を画像認識処理の対象とすることができる。以上でステップ#18の対象地物決定処理の手順を終了する。
5.その他の実施形態
(1)上記の実施形態では、本発明における認識可能性情報が、各地物についての画像認識に成功する割合を表す認識率情報Rである場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、認識可能性情報を、各地物が、画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果を表す認識成否判定情報とすることも、本発明の好適な実施形態の一つである。この場合、サーバ装置1では、認識率情報生成部25が、例えば、ある地物について認識成否データベース24に収集した認識成否情報Sに基づく統計的な認識率が所定のしきい値(例えば30%)以上であるときに、当該地物について、「画像認識に成功する可能性が高い地物である」という判定結果を示す認識成否判定情報を生成し、所定のしきい値未満であるときに「画像認識に成功する可能性が低い地物である」という判定結果を示す認識成否判定情報を生成すると好適である。また、この場合、ナビゲーション装置2(画像認識装置3)では、対象地物決定部65が、複数の地物の中から対象地物ftを決定する際に、サーバ装置1から受信した認識成否判定情報が「画像認識に成功する可能性が低い地物である」という判定結果を示すものである地物を、当該複数の地物の中から除外して対象地物ftを決定する構成とすると好適である。このように、認識成否判定情報に基づいて画像認識に成功する可能性が低いと判定された地物を除外した結果、一つの地物しか残らなかった場合には、対象地物決定部65は、当該一つの地物を対象地物ftとして決定する。また、このような地物を除外した後にも複数の地物が残った場合には、初期認識率情報Rd等に基づいて対象地物ftを決定すると好適である。
(2)上記の実施形態では、対象地物決定部65が、複数の地物の中から一つの対象地物ftを決定するために認識率情報Rを用い、他の地物に対して近接間隔Xより大きい距離だけ離れて単独で配置されている地物については、認識率情報Rに示される認識率によらずに全て対象地物ftとする場合を例として説明した。しかし、本発明の実施形態はこれに限定されない。したがって、例えば、他の地物から離れて単独で配置されている地物についても、対象地物決定部65が、認識率情報Rに基づいて対象地物ftとするか否かを決定する構成とすることも、本発明の好適な実施形態の一つである。この場合、例えば、対象地物決定部65は、単独で配置されている地物であっても、認識率情報Rに示される認識率が所定の下限値(例えば20%)以下である場合には対象地物ftとしない構成とすると好適である。このような構成とすれば、認識率が極端に低い地物を対象地物ftとして画像認識処理を行うことがなくなるため、誤認識が発生すること等を抑制することが可能となる。
(3)上記の実施形態では、ナビゲーション装置2の初期認識率データベース53に記憶される初期認識率情報Rdが、各地物にかすれ等の画像認識処理に影響を与える状態の変化がない場合における認識率の情報である場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、初期認識率情報Rdが、地物データベース52に格納する地物情報Fの生成時における、各地物のかすれ等の画像認識処理に影響を与える状態を考慮した認識率の情報とすることも、本発明の好適な実施形態の一つである。このような構成とすれば、サーバ装置1から認識率情報Rを受け取ることができない場合における、対象地物の決定をより適切に行うことが可能となる。また、初期認識率情報Rdが、各地物にかすれ等の画像認識処理に影響を与える状態の変化がない場合における認識率の情報である場合に、各地物のかすれ等の画像認識処理に影響を与える状態の変化の情報を、かすれ情報等として別途データベース等に記憶させておき、対象地物ftの決定に際して利用する構成とすることも、本発明の好適な実施形態の一つである。
(4)上記の実施形態では、ナビゲーション装置2が、認識率情報Rを必要とする地物についての要求情報Dをサーバ装置1へ送信し、その都度要求情報Dに対応する認識率情報Rをサーバ装置1から受信する構成を例として説明した。しかし、本発明の実施形態はこれに限定されない。したがって、例えば、ナビゲーション装置2からの要求とは無関係に、サーバ装置1が、認識率データベース26に格納されている全ての地物についての最新の認識率情報Rを、所定期間毎に定期的にナビゲーション装置2に提供する構成とすることも、本発明の好適な実施形態の一つである。
(5)上記の実施形態では、地物情報取得部62が基本的に道路の路面に設けられた各種の道路標示の地物についての地物情報Fを取得し、対象地物決定部65がそれら道路標示の地物のなかから対象地物ftを決定する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、道路標示以外にも道路の周辺に設けられた様々な地物を対象地物とすることが可能である。したがって、例えば、道路標識、案内標識、信号機、マンホール、看板等の各種の地物を対象地物とすることが可能である。
(6)上記の実施形態では、各ナビゲーション装置2が、対象地物ftの画像認識の成否の情報をサーバ装置1へ提供する情報提供側の装置、及びサーバ装置1から提供された認識率情報Rに基づいて対象地物ftの画像認識処理を行う情報利用側の装置の双方として機能する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、あるナビゲーション装置2は対象地物ftの画像認識の成否の情報をサーバ装置1へ提供する情報提供側の装置としてのみ機能し、他のナビゲーション装置2はサーバ装置1から提供された認識率情報Rに基づいて対象地物ftの画像認識処理を行う情報利用側の装置としてのみ機能する構成とすることも、本発明の好適な実施形態の一つである。
(7)上記の実施形態では、本発明に係る画像認識装置3及び自車位置認識装置4を含むナビゲーション装置2の全ての構成が自車両Cに搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、本発明に係る画像認識装置3及び自車位置認識装置4を含むナビゲーション装置2の一部の構成を、自車両Cの外に、所定の通信ネットワークを介して通信可能に接続して設けることも、本発明の好適な実施形態の一つである。すなわち、撮像装置31や自車位置情報取得部33等のように自車両Cに搭載する必要があるもの以外の構成は、例えばサーバ装置1などのように、ナビゲーション装置2と通信可能な自車両Cの外の装置に設けることも可能である。
(8)上記の実施形態では、本発明に係る自車位置認識装置4をナビゲーション装置2に適用した場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、本発明に係る自車位置認識装置4を、例えば、ナビゲーション装置2とは無関係に動作する車両の走行制御装置等に適用することも、本発明の好適な実施形態の一つである。同様に、上記の実施形態では、本発明に係る画像認識装置3をナビゲーション装置2に適用した場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではなく、本発明に係る画像認識装置3を、例えば、ナビゲーション装置2や自車位置認識装置4とは無関係に動作する車両の走行制御装置や地物情報収集装置等に適用することも、本発明の好適な実施形態の一つである。
本発明は、車両に搭載した撮像装置等により取得した車両周辺の画像情報に含まれる対象地物の画像を認識する画像認識装置、及びそれを用いた自車位置認識装置やナビゲーション装置等に好適に利用することが可能である。
本発明の実施形態に係るサーバ装置の構成を模式的に示すブロック図 本発明の実施形態に係るナビゲーション装置の概略構成を示すブロック図 認識成否データベースの内容の具体例を示す図 認識率データベースの内容の具体例を示す図 地図データベースに記憶されている地図情報の構成の例を示す図 地物データベースに記憶されている道路標示の地物情報の例を示す図 自車両への撮像装置の配置構成の一例を示す図 実際の道路状況の具体例及び当該道路状況に対応する地図情報及び地物情報の具体例を示す図 本発明の実施形態に係るサーバ装置の動作手順を示すフローチャート 本発明の実施形態に係るナビゲーション装置の全体の動作手順を示すフローチャート 図10のステップ#18の対象地物決定処理の手順を示すフローチャート
符号の説明
1:サーバ装置
2:ナビゲーション装置
3:画像認識装置
4:自車位置認識装置
22:情報収集手段
23:認識成否データベース(認識成否情報記憶手段)
25:認識率情報生成部(認識可能性情報生成手段)
26:認識率データベース(認識可能性情報記憶手段)
27:認識可能性情報提供手段
28:認識率情報抽出部(抽出手段)
31:撮像装置
32:画像情報取得部(画像情報取得手段)
33:自車位置情報取得部(自車位置情報取得手段)
37:画像認識部(画像認識手段)
38:自車位置補正部(自車位置補正手段)
40:アプリケーションプログラム
43:案内情報出力手段
51:地図データベース(地図情報記憶手段)
52:地物データベース(地物情報記憶手段)
62:地物情報取得部(地物情報取得手段)
64:情報要求手段
65:対象地物決定部(対象地物決定手段)
66:認識成否情報生成部(認識成否情報生成手段)
67:認識成否情報提供手段
S:認識成否情報
R:認識率情報(認識可能性情報)
G:画像情報
P:自車位置情報
M:地図情報
F:地物情報
C:自車両(車両)
ft:対象地物

Claims (22)

  1. 車両に搭載されて地物の画像認識処理を行う画像認識装置と、一又は二以上の前記画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置と、を備えた画像認識システムであって、
    前記サーバ装置は、前記画像認識装置による各地物の画像認識の成否を表す認識成否情報を収集する情報収集手段と、収集した前記認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報を生成する認識可能性情報生成手段と、生成された前記認識可能性情報を記憶する認識可能性情報記憶手段と、前記認識可能性情報を前記画像認識装置に提供する認識可能性情報提供手段と、を備え、
    前記画像認識装置は、前記サーバ装置から受け取った前記認識可能性情報に基づいて、画像認識処理の対象とする対象地物を決定する
    画像認識システム。
  2. 前記認識可能性情報は、各地物の画像認識に成功する割合を表す認識率情報である請求項1に記載の画像認識システム。
  3. 前記認識可能性情報は、各地物が、画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果を表す認識成否判定情報である請求項1に記載の画像認識システム。
  4. 前記情報収集手段は、前記画像認識装置から受け取った各地物についての前記認識成否情報を、地物毎に分類して記憶する認識成否情報記憶手段を含む請求項1から3のいずれか一項に記載の画像認識システム。
  5. 前記認識可能性情報提供手段は、前記画像認識装置から要求された地物についての前記認識可能性情報を前記認識可能性情報記憶手段から抽出する抽出手段を備え、この抽出手段により抽出した前記認識可能性情報を前記画像認識装置に提供する請求項1から4のいずれか一項に記載の画像認識システム。
  6. 前記画像認識装置は、複数の地物の中から前記対象地物を決定する際に、各地物の前記認識可能性情報に基づいて、画像認識に成功する可能性が他の地物より高い地物を前記対象地物として決定する請求項1から5のいずれか一項に記載の画像認識システム。
  7. 前記画像認識装置は、前記対象地物の画像認識の成否を表す認識成否情報を生成する認識成否情報生成手段と、生成した前記認識成否情報を前記サーバ装置に提供する認識成否情報提供手段と、を備える請求項1から6のいずれか一項に記載の画像認識システム。
  8. 前記画像認識装置は、自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて自車両に搭載された撮像装置により将来的に撮像される一又は二以上の地物についての地物情報を取得する地物情報取得手段と、を備え、
    前記地物情報が取得された一又は二以上の地物の中から前記対象地物を決定する請求項1から7のいずれか一項に記載の画像認識システム。
  9. 前記画像認識装置は、前記地物情報取得手段により前記地物情報が取得された一又は二以上の地物についての前記認識可能性情報の提供を、前記サーバ装置に対して要求する情報要求手段を備える請求項8に記載の画像認識システム。
  10. 車両に搭載されて地物の画像認識処理を行う一又は二以上の画像認識装置との間で情報の受け渡しが可能に設けられたサーバ装置であって、
    前記画像認識装置による各地物の画像認識の成否を表す認識成否情報を収集する情報収集手段と、
    収集した前記認識成否情報に基づいて各地物の画像認識に成功する可能性を表す認識可能性情報を生成する認識可能性情報生成手段と、
    生成された前記認識可能性情報を記憶する認識可能性情報記憶手段と、
    前記認識可能性情報を前記画像認識装置に提供する認識可能性情報提供手段と、
    を備えたサーバ装置。
  11. 前記認識可能性情報は、各地物の画像認識に成功する割合を表す認識率情報である請求項10に記載のサーバ装置。
  12. 前記認識可能性情報は、各地物が、画像認識に成功する可能性が高い地物であるか低い地物であるかの判定結果を表す認識成否判定情報である請求項10に記載のサーバ装置。
  13. 前記情報収集手段は、前記画像認識装置から受け取った各地物についての前記認識成否情報を、地物毎に分類して記憶する認識成否情報記憶手段を含む請求項10から12のいずれか一項に記載のサーバ装置。
  14. 前記認識可能性情報提供手段は、前記画像認識装置から要求された地物についての前記認識可能性情報を前記認識可能性情報記憶手段から抽出する抽出手段を備え、この抽出手段により抽出した前記認識可能性情報を前記画像認識装置に提供する請求項10から13のいずれか一項に記載のサーバ装置。
  15. 所定のサーバ装置との間で情報の受け渡しが可能に設けられた画像認識装置であって、
    車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、
    画像認識処理の対象とする地物である対象地物を決定する対象地物決定手段と、
    前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識手段と、
    前記画像認識手段による前記対象地物の画像認識の成否を表す認識成否情報を生成する認識成否情報生成手段と、
    生成した前記認識成否情報を前記サーバ装置に提供する認識成否情報提供手段と、
    を備える画像認識装置。
  16. 所定のサーバ装置との間で情報の受け渡しが可能に設けられた画像認識装置であって、
    車両に搭載された撮像装置により撮像した画像情報を取得する画像情報取得手段と、
    画像認識処理の対象とする地物である対象地物を決定する対象地物決定手段と、
    前記画像情報に含まれる前記対象地物の画像認識処理を行う画像認識手段と、
    を備え、
    前記対象地物決定手段は、前記サーバ装置から受け取った、各地物の画像認識に成功する可能性を表す認識可能性情報に基づいて、前記対象地物を決定する画像認識装置。
  17. 前記対象地物決定手段は、複数の地物の中から前記対象地物を決定する際に、各地物の前記認識可能性情報に基づいて、画像認識に成功する可能性が他の地物より高い地物を前記対象地物として決定する請求項16に記載の画像認識装置。
  18. 自車両の現在位置を示す自車位置情報を取得する自車位置情報取得手段と、前記自車位置情報に基づいて前記撮像装置により将来的に撮像される一又は二以上の地物についての地物情報を取得する地物情報取得手段と、を備え、
    前記対象地物決定手段は、前記地物情報が取得された一又は二以上の地物の中から前記対象地物を決定する請求項16又は17に記載の画像認識装置。
  19. 前記地物情報取得手段により前記地物情報が取得された一又は二以上の地物についての前記認識可能性情報の提供を、前記サーバ装置に対して要求する情報要求手段を備える請求項18に記載の画像認識装置。
  20. 前記地物情報取得手段は、複数の地物についての位置情報及び属性情報を含む地物情報が記憶された地物情報記憶手段から前記地物情報を取得する請求項18又は19に記載の画像認識装置。
  21. 請求項18から20のいずれか一項に記載の画像認識装置と、前記画像認識装置による画像認識処理の結果と前記対象地物についての前記地物情報に含まれる位置情報とに基づいて前記自車位置情報を補正する自車位置補正手段と、を備える自車位置認識装置。
  22. 請求項21に記載の自車位置認識装置と、地図情報が記憶された地図情報記憶手段と、前記地図情報を参照し、所定のアプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備えるナビゲーション装置。
JP2007226818A 2007-08-31 2007-08-31 画像認識システム、サーバ装置、及び画像認識装置 Expired - Fee Related JP4984152B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007226818A JP4984152B2 (ja) 2007-08-31 2007-08-31 画像認識システム、サーバ装置、及び画像認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007226818A JP4984152B2 (ja) 2007-08-31 2007-08-31 画像認識システム、サーバ装置、及び画像認識装置

Publications (2)

Publication Number Publication Date
JP2009058429A true JP2009058429A (ja) 2009-03-19
JP4984152B2 JP4984152B2 (ja) 2012-07-25

Family

ID=40554290

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007226818A Expired - Fee Related JP4984152B2 (ja) 2007-08-31 2007-08-31 画像認識システム、サーバ装置、及び画像認識装置

Country Status (1)

Country Link
JP (1) JP4984152B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012117944A (ja) * 2010-12-01 2012-06-21 Aisin Aw Co Ltd ナビゲーション装置
JP2013050412A (ja) * 2011-08-31 2013-03-14 Aisin Aw Co Ltd 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
JP2013083576A (ja) * 2011-10-11 2013-05-09 Aisin Aw Co Ltd 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
JP2014085184A (ja) * 2012-10-22 2014-05-12 Toyota Motor Corp 地物情報収集システム、センター及び地物情報収集方法
WO2015083538A1 (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
CN107076565A (zh) * 2014-10-22 2017-08-18 日产自动车株式会社 行驶路径运算装置
EP3211374A4 (en) * 2014-10-22 2018-01-24 Nissan Motor Co., Ltd Travel route calculation device
JP2018079732A (ja) * 2016-11-14 2018-05-24 株式会社日立製作所 異常検出装置および異常検出方法
WO2018180081A1 (ja) * 2017-03-29 2018-10-04 パイオニア株式会社 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2020113070A (ja) * 2019-01-11 2020-07-27 トヨタ自動車株式会社 道路環境判別装置
JP2020190934A (ja) * 2019-05-22 2020-11-26 矢崎エナジーシステム株式会社 情報記録システム
JPWO2019107353A1 (ja) * 2017-11-30 2020-12-17 パイオニア株式会社 地図データのデータ構造
JP2021088357A (ja) * 2016-07-21 2021-06-10 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
US20220019816A1 (en) * 2020-07-14 2022-01-20 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing method and non-transitory storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102750A (ja) * 1996-06-14 1998-01-06 Nissan Motor Co Ltd 経路探索装置
JP2007147521A (ja) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd 車両走行補助システム
JP2008008783A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp 車輪速パルス補正装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH102750A (ja) * 1996-06-14 1998-01-06 Nissan Motor Co Ltd 経路探索装置
JP2007147521A (ja) * 2005-11-29 2007-06-14 Aisin Aw Co Ltd 車両走行補助システム
JP2008008783A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp 車輪速パルス補正装置

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012117944A (ja) * 2010-12-01 2012-06-21 Aisin Aw Co Ltd ナビゲーション装置
JP2013050412A (ja) * 2011-08-31 2013-03-14 Aisin Aw Co Ltd 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
JP2013083576A (ja) * 2011-10-11 2013-05-09 Aisin Aw Co Ltd 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
JP2014085184A (ja) * 2012-10-22 2014-05-12 Toyota Motor Corp 地物情報収集システム、センター及び地物情報収集方法
EP3078937A4 (en) * 2013-12-06 2017-07-05 Hitachi Automotive Systems, Ltd. Vehicle position estimation system, device, method, and camera device
JP2015108604A (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
US9983022B2 (en) 2013-12-06 2018-05-29 Hitachi Automotive Systems, Ltd. Vehicle position estimation system, device, method, and camera device
WO2015083538A1 (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
CN107076565A (zh) * 2014-10-22 2017-08-18 日产自动车株式会社 行驶路径运算装置
EP3211375A4 (en) * 2014-10-22 2018-01-24 Nissan Motor Co., Ltd Travel route calculation apparatus
EP3211374A4 (en) * 2014-10-22 2018-01-24 Nissan Motor Co., Ltd Travel route calculation device
JP2021088357A (ja) * 2016-07-21 2021-06-10 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図並びにレーン測定値のクラウドソーシング及び配信
JP7040867B2 (ja) 2016-07-21 2022-03-23 モービルアイ ビジョン テクノロジーズ リミテッド システム、方法およびプログラム
JP2018079732A (ja) * 2016-11-14 2018-05-24 株式会社日立製作所 異常検出装置および異常検出方法
WO2018180081A1 (ja) * 2017-03-29 2018-10-04 パイオニア株式会社 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
US11157752B2 (en) 2017-03-29 2021-10-26 Pioneer Corporation Degraded feature identification apparatus, degraded feature identification system, degraded feature identification method, degraded feature identification program, and computer-readable recording medium recording degraded feature identification program
JP2022016460A (ja) * 2017-03-29 2022-01-21 パイオニア株式会社 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2018180081A1 (ja) * 2017-03-29 2020-05-21 パイオニア株式会社 劣化地物特定装置、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体
JPWO2019107353A1 (ja) * 2017-11-30 2020-12-17 パイオニア株式会社 地図データのデータ構造
JP2020113070A (ja) * 2019-01-11 2020-07-27 トヨタ自動車株式会社 道路環境判別装置
JP2020190934A (ja) * 2019-05-22 2020-11-26 矢崎エナジーシステム株式会社 情報記録システム
JP7289594B2 (ja) 2019-05-22 2023-06-12 矢崎エナジーシステム株式会社 情報記録システム
US20220019816A1 (en) * 2020-07-14 2022-01-20 Toyota Jidosha Kabushiki Kaisha Information processing apparatus, information processing method and non-transitory storage medium
JP2022017714A (ja) * 2020-07-14 2022-01-26 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム
JP7354952B2 (ja) 2020-07-14 2023-10-03 トヨタ自動車株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP4984152B2 (ja) 2012-07-25

Similar Documents

Publication Publication Date Title
JP4984152B2 (ja) 画像認識システム、サーバ装置、及び画像認識装置
JP4831434B2 (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP4437556B2 (ja) 地物情報収集装置及び地物情報収集方法
JP4446201B2 (ja) 画像認識装置及び画像認識方法
JP4886597B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
US7840331B2 (en) Travel support system and travel support method
JP4950858B2 (ja) 画像認識装置及び画像認識プログラム
US11249984B2 (en) System and method for updating map data in a map database
JP2010237124A (ja) 地図データ更新システム及び地図データ更新プログラム、並びにこれを利用したナビゲーション装置及び車両制御装置
JP2006327314A (ja) 配光制御システム及び配光制御方法
JP2008250687A (ja) 地物情報収集装置及び地物情報収集方法
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP5141969B2 (ja) 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置
JP4591311B2 (ja) 経路案内システム及び経路案内方法
JP2008165326A (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP4831433B2 (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP4789868B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
EP3859281B1 (en) Apparatus and method for collecting data for map generation
JP4817019B2 (ja) 自車位置認識装置及び自車位置認識プログラム
JP2009058430A (ja) ナビゲーション装置及びナビゲーションプログラム
JP5071737B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置
JP4497424B2 (ja) 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP2008298698A (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
JP4591078B2 (ja) 経路案内システム及び経路案内方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120411

R150 Certificate of patent or registration of utility model

Ref document number: 4984152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees