JP2009156784A - 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置 - Google Patents

地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置 Download PDF

Info

Publication number
JP2009156784A
JP2009156784A JP2007337454A JP2007337454A JP2009156784A JP 2009156784 A JP2009156784 A JP 2009156784A JP 2007337454 A JP2007337454 A JP 2007337454A JP 2007337454 A JP2007337454 A JP 2007337454A JP 2009156784 A JP2009156784 A JP 2009156784A
Authority
JP
Japan
Prior art keywords
information
construction
feature
image recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007337454A
Other languages
English (en)
Other versions
JP4831434B2 (ja
Inventor
Tomoaki Ishikawa
知章 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007337454A priority Critical patent/JP4831434B2/ja
Priority to EP08168734.5A priority patent/EP2113746B1/en
Priority to US12/292,132 priority patent/US8379923B2/en
Priority to CN200810183889.6A priority patent/CN101469998B/zh
Publication of JP2009156784A publication Critical patent/JP2009156784A/ja
Application granted granted Critical
Publication of JP4831434B2 publication Critical patent/JP4831434B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3807Creation or updating of map data characterised by the type of data
    • G01C21/3815Road data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】工事によって地物の位置が移動され或いは地物の種別が変更された場合等であっても、工事後の地物情報を迅速に収集することが可能な地物情報収集装置等を提供する。
【解決手段】自車両の周辺の画像情報Gに含まれる地物の画像認識処理を行う地物画像認識手段18と、工事区間の情報を含む工事情報Wを取得する工事情報取得手段31と、取得した工事情報Wを記憶する工事情報記憶手段DB3と、既に記憶された工事情報Wに係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報Wが示す工事の終了を判定する工事終了判定手段36と、工事の終了が判定された場合には、当該工事情報Wに係る工事区間において地物画像認識手段18に地物の画像認識処理を行わせ、その画像認識結果と自車位置情報Pとに基づいて、画像認識された地物の位置情報及び属性情報を含む学習地物情報Fbを生成する地物学習手段41と、を備える。
【選択図】図1

Description

本発明は、車両に搭載した撮像装置等から取得した画像情報に含まれる地物を画像認識して地物の情報を収集する地物情報収集装置及び地物情報収集プログラム、並びにそれらを用いた自車位置認識装置及びナビゲーション装置に関する。
近年の撮像装置や画像認識技術の向上に伴って、車載カメラにより自車両の周辺を撮像して得られる画像情報の画像認識処理を行い、画像認識結果に示される自車両の周辺状況に基づいて、自車両の現在位置を表す自車位置情報の補正を行う技術が開発されるようになってきた。例えば下記の特許文献1に記載された自車位置認識装置は、自車両に搭載された撮像装置により取得した画像情報に含まれる対象地物の画像認識処理を行うとともに、その画像認識結果と予めデータベースに記憶された当該対象地物の地物情報とを照合することにより、GPS信号や自律航法により取得した自車位置情報を補正し、高精度な自車位置情報を取得できる構成となっている。
ところで、このような自車位置認識装置による自車位置情報の補正を行うためには、高精度な地物情報のデータベースを整備することが必要となる。このような地物情報を収集するために、車両に搭載した撮像装置等から取得した車両周辺の画像情報に含まれる地物の画像認識結果に基づいて、地物情報を収集する装置が知られている(例えば、下記の特許文献2及び3参照)。なお、これらの特許文献に記載された装置は、いずれも、道路に設置された交通標識や道路交通情報表示板を対象地物とするものである。そして、これらの装置は、車両に搭載された撮像装置により取得した画像情報に含まれる対象地物の画像認識を行い、その認識結果から抽出された標識情報等の地物情報を、位置情報や区間情報と関連付けて地図データベースに記憶する。この際、地物情報と関連付けられる位置情報や区間情報は、ナビゲーション装置において一般的に用いられているGPS受信機、ジャイロ、車速センサ等からの情報に基づいて決定されている。これにより、これらの装置では、地物情報のデータベースが作成され、それに基づく経路探索や運転支援等が可能となっている。
特開2007−271568号公報 特開2006−038558号公報 特開2006−275690号公報
上記特許文献1に記載された自車位置認識装置では、予め整備されてデータベースに記憶された地物情報に含まれる地物の位置情報を基準とし、地物の画像認識結果に基づく自車両と当該地物との位置関係を用いて自車位置情報を補正することができるので、自車位置を非常に高精度に特定することができるという利点がある。しかしながら、このような自車位置認識装置では、データベースに記憶された地物情報を基準として用いるために、道路工事等によって実際の地物の位置が地物情報に示される位置と異なる位置に移動した場合等には、自車位置情報を補正したために逆に自車位置の誤差を拡大することになる場合も有り得る。
そこで、道路工事等があった場合には、データベースに記憶された地物情報を修正することが必要となる。しかし、ナビゲーション装置におけるデータベースの更新間隔は通常1年毎であるため、道路工事等に伴う地物情報の修正に迅速に対応することは困難である。そのため、車両に搭載した撮像装置等から取得した車両周辺の画像情報に含まれる地物の画像認識結果に基づいて、地物情報を収集してデータベースに反映させることが考えられるが、これまで、道路工事等に伴って地物の位置が移動され或いは種別が変更された場合等における地物情報の修正のために、地物情報を収集する技術は存在しなかった。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、工事によって地物の位置が移動され、或いは地物の種別が変更された場合等であっても、工事後の地物情報を迅速に収集することが可能な地物情報収集装置及び地物情報収集プログラム、並びにそれらを用いた自車位置認識装置及びナビゲーション装置を提供することにある。
上記目的を達成するための本発明に係る地物情報収集装置の特徴構成は、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、自車両の周辺の画像情報を取得する画像情報取得手段と、前記画像情報に含まれる地物の画像認識処理を行う地物画像認識手段と、工事区間の情報を含む工事情報を取得する工事情報取得手段と、前記工事情報取得手段により取得した前記工事情報を記憶する工事情報記憶手段と、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報が示す工事の終了を判定する工事終了判定手段と、前記工事終了判定手段により工事の終了が判定された場合には、当該工事情報に係る工事区間において前記地物画像認識手段に地物の画像認識処理を行わせ、その画像認識結果と前記自車位置情報とに基づいて、画像認識された地物の位置情報及び属性情報を含む学習地物情報を生成する地物学習手段と、を備える点にある。
この特徴構成によれば、取得した工事情報を工事情報記憶手段に記憶しておき、当該記憶された既存の工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に工事の終了を判定し、工事が終了している場合には、地物の画像認識結果と自車位置情報とに基づいて地物の位置及び属性を学習して学習地物情報を生成する。そのため、過去に工事が行われた区間を適切に認識し、当該区間を対象として地物の学習を行うことができる。したがって、工事によって地物の位置が移動され、或いは地物の種別が変更された場合等であっても、工事後の地物情報を迅速に収集することが可能となる。
ここで、前記工事情報取得手段は、自車両の外部に設置された発信装置から前記工事情報を受信する工事情報受信手段を含む構成とすると好適である。
この構成によれば、自車両の外部に設置された発信装置から工事情報が発信されている場合に、その情報を受信して適切に工事情報を取得することが可能となる。
また、前記工事情報取得手段は、前記画像情報取得手段により取得された前記画像情報に含まれる工事シンボルの画像認識処理を行う工事画像認識手段と、この工事画像認識手段による工事シンボルの画像認識結果に基づいて前記工事情報を生成する工事情報生成手段と、を含む構成とすると好適である。
この構成によれば、画像情報取得手段により取得された自車両の周辺の画像情報に基づいて、適切に工事情報を取得することが可能となる。
ここで、前記工事画像認識手段は、前記工事シンボルとして、工事案内看板、工事用フェンス、工事用バリケード、保安灯、コーン、及び工事案内人形の少なくとも一つの画像認識処理を行う構成とすると好適である。
この構成によれば、工事が行われている現場に高い確率で設置される工事シンボルを画像認識処理の対象とすることができるので、工事情報を適切に取得できる可能性を高くすることが可能となる。
また、前記工事情報生成手段は、前記工事シンボルの認識位置を基準とする所定区間を、前記工事情報に含まれる前記工事区間の情報として設定する構成とすると好適である。
この構成によれば、工事シンボルの画像認識結果から工事区間を特定できたか否かに関わらず、適切に工事区間の情報を取得することが可能となる。
また、前記工事情報生成手段は、連続する複数フレームの画像情報に工事シンボルが含まれていた場合に、自車両の前方の画像情報に含まれる最初の工事シンボルの認識位置を基準として前記工事区間の始点を設定し、自車両の後方の画像情報に含まれる最後の工事シンボルの認識位置を基準として前記工事区間の終点を設定する構成とすると好適である。
この構成によれば、連続する複数フレームの画像情報に工事シンボルが含まれていた場合に、自車両の前方及び後方の画像情報に対する画像認識結果に基づいて、適切に工事区間の始点及び終点を設定し、工事区間の情報を取得することが可能となる。
また、前記工事情報生成手段は、前記工事画像認識手段により前記工事シンボルとして工事案内看板を画像認識した場合であって、当該工事案内看板の画像認識結果に基づいて工事区間を認識できた場合には、当該工事区間の認識結果に従って前記工事情報に含まれる工事区間の情報を設定する構成とすると好適である。
この構成によれば、工事シンボルが工事案内看板である場合であって、その画像認識結果に基づいて工事区間を特定できる場合に、適切に工事区間の情報を取得することが可能となる。
また、前記工事終了判定手段は、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、前記工事情報取得手段によって同じ工事区間を含む工事情報を取得しなかった場合に、当該工事情報が示す工事が終了したと判定する構成とすると好適である。
この構成によれば、工事情報取得手段による工事情報の取得状況を利用して、工事情報記憶手段に記憶された既存の工事情報に係る工事の終了を適切に判定することが可能となる。
また、前記工事情報が工事期間の情報を含む場合には、前記工事終了判定手段は、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報に係る工事期間が終了している場合に、当該工事情報が示す工事が終了したと判定する構成とすると好適である。
この構成によれば、工事情報に含まれる工事期間の情報に基づいて、工事情報記憶手段に記憶された既存の工事情報に係る工事の終了を適切に判定することが可能となる。
また、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行しないまま所定期間が経過した際に、当該工事情報を前記工事情報記憶手段から消去する構成とすると好適である。
この構成によれば、工事情報記憶手段に記憶された工事情報が、工事終了判定手段による終了判定が行われないまま消去されずに残り続けることを防止できるので、工事情報記憶手段に記憶される工事情報の量が過大になることを抑制することができる。
また、前記地物学習手段は、前記自車位置情報に基づいて求められる、前記地物画像認識手段による地物の認識位置を表す認識位置情報を、当該地物の属性情報と関連付けて記憶する認識結果記憶手段と、同じ地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ地物についての複数の前記認識位置情報に基づいて、当該地物の推測位置を判定する推測位置判定手段と、前記推測位置判定手段により判定された各地物の推測位置を表す位置情報と当該地物の属性情報とを関連付けて学習地物情報を生成する学習地物情報生成手段と、を備える構成とすると好適である。
この構成によれば、同じ地物が複数回画像認識されることにより認識結果記憶手段に記憶された、同じ地物についての複数の認識位置情報に基づいて、当該地物の推測位置が判定され、その推測位置を位置情報として有する学習地物情報が生成される。したがって、それぞれの認識位置情報が示す対象地物の認識位置に誤差が含まれる場合であっても、複数の認識位置情報を用いて推測位置を判定することにより誤差を平均化することができるので、学習地物情報に含まれる地物の位置情報の精度を高めることができる。
また、複数の地物について予め整備された位置情報及び属性情報を含む初期地物情報を記憶する地物データベースを更に備え、前記地物学習手段は、前記地物画像認識手段に対して、前記工事区間内において当該工事区間内の位置情報を有する前記初期地物情報に係る地物と同一種別の地物を優先的に画像認識させる構成とすると好適である。
一般的に道路工事が行われた場合であっても、工事前に存在していた地物と全く異なる地物が工事後に設けられる可能性は低く、仮に地物の位置が変更されたとしても、工事前に存在していた地物と同一種別の地物は、工事後にも存在している可能性が高い。この構成によれば、工事情報記憶手段に既に記憶された工事情報に係る工事区間内で地物画像認識手段に地物の画像認識処理を行わせる際に、当該工事後にも存在する可能性が高い、工事前に存在していた地物と同一の地物種別の地物を優先的に画像認識させることになるため、地物の画像認識に成功する可能性を高めることが可能となる。
また、前記地物学習手段は、前記地物画像認識手段による地物の画像認識結果と前記工事区間内の位置情報を有する初期地物情報とを対比し、それらの近似する程度に応じて前記学習地物情報の生成条件を変更する構成とすると好適である。
この構成によれば、工事の前後での地物の位置や種別等の近似する程度に応じて学習地物情報の生成条件を変更することになる。したがって、例えば、工事の前後で地物が移動又は変更されておらず、或いは位置のみが移動している場合等のように、工事の前後における地物の位置や種別の変化量が少ない場合に学習を容易に行うようにすることにより、学習地物情報を迅速に生成することも可能となる。
また、前記学習地物情報を記憶するデータベースを備える構成とすると好適である。
この構成によれば、自車位置情報の補正を行う際に、生成した学習地物情報を容易に利用可能とすることができる。
本発明に係る自車位置認識装置の特徴構成は、以上の各構成を備えた地物情報収集装置と、前記地物画像認識手段による地物の画像認識結果と当該地物についての前記学習地物情報とを照合して前記自車位置情報を補正する自車位置補正手段と、を備える点にある。
この特徴構成によれば、地物画像認識手段による地物の画像認識結果と、当該地物についての前記学習地物情報とを照合して自車位置情報を補正することにより、学習地物情報に含まれる地物の位置情報を基準として自車位置情報を補正し、自車位置を高精度に特定することが可能となる。したがって、工事によって地物の位置が移動され、或いは地物の種別が変更された場合等であっても、工事後に収集した学習地物情報を利用して自車位置情報を補正することが可能となる。
上記の本発明に係る自車位置認識装置は、地図情報が記憶された地図データベースと、前記地図情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備えるナビゲーション装置に好適に利用することが可能である。
以上の各構成を備えた本発明に係る地物情報収集装置の技術的特徴は、地物情報収集方法や地物情報収集プログラムにも適用可能であり、そのため、本発明は、そのような方法やプログラムも権利の対象とすることができる。例えば、地物情報収集プログラムは、自車両の現在位置を表す自車位置情報を取得する自車位置情報取得機能と、自車両の周辺の画像情報を取得する画像情報取得機能と、前記画像情報に含まれる地物の画像認識処理を行う地物画像認識機能と、工事区間の情報を含む工事情報を取得する工事情報取得機能と、前記工事情報取得機能により取得した前記工事情報を工事情報記憶手段に記憶する工事情報記憶機能と、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報が示す工事の終了を判定する工事終了判定機能と、前記工事終了判定機能により工事の終了が判定された場合には、当該工事情報に係る工事区間において地物の画像認識処理を行い、その画像認識結果と前記自車位置情報とに基づいて、画像認識された地物の位置情報及び属性情報を含む学習地物情報を生成する地物学習機能と、をコンピュータに実行させる。当然ながら、このような地物情報収集プログラムも上述した地物情報収集装置に係る作用効果を得ることができ、更に、その好適な構成の例として挙げたいくつかの付加的技術を組み込むことも可能である。
次に、本発明の実施形態について図面に基づいて説明する。図1は、本実施形態に係るナビゲーション装置1の概略構成を示すブロック図である。また、図2は、このナビゲーション装置1が搭載された自車両Cを示す図である。このナビゲーション装置1は、車載用であり、本発明に係る自車位置認識装置2及び地物情報収集装置3を含んで構成されている。このナビゲーション装置1は、自車両Cの周辺の画像情報Gを取得して道路標示(ペイント)等の地物の画像認識を行い、その画像認識結果と地物データベースDB2に記憶された当該地物についての地物情報Fとを照合して自車位置情報Pを補正する。これにより、ナビゲーション装置1は、高精度な自車位置情報Pを取得でき、より適切な案内を行うことが可能となっている。しかし、工事が行われている道路を走行する際には、自車両Cが対向車線を走行せざるを得ない場合、或いは道路標示等の地物が移動され又は書き換えられている場合等があり、自車位置情報Pの補正を適正に行うことができないことも多い。そこで、このナビゲーション装置1は、工事情報Wを取得した際に、その工事区間内で自車位置情報Pの補正を停止する機能を備えている。このように自車位置情報Pの補正及びその停止を行う場合には、ナビゲーション装置1は自車位置認識装置2として機能する。
また、このナビゲーション装置1は、取得した工事情報Wを工事データベースDB3に記憶できる構成となっている。そして、既に記憶された工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する際に当該工事が終了している場合には、当該工事情報Wに係る工事区間において地物の画像認識処理を行い、その画像認識結果と自車位置情報Pとに基づいて、画像認識された地物の地物情報Fである学習地物情報Fbを生成する機能を備えている。これにより、工事により移動され又は書き換えられた道路標示等の地物を適切に学習し、当該学習した地物の地物情報Fを自車位置情報Pの補正に用いることが可能となっている。このように既存の工事情報Wに基づいて地物の学習を行う場合には、ナビゲーション装置1は地物情報収集装置3として機能する。
図1に示すナビゲーション装置1の各機能部、具体的には、画像情報取得部13、自車位置情報取得部14、地物画像認識部18、自車位置補正部19、ナビゲーション用演算部20、外部情報受信部32、工事画像認識部33、工事情報生成部34、補正停止処理部35、工事終了判定部36、工事情報消去判定部37、対象地物決定部42、認識地物情報生成部43、推測位置判定部46、及び学習地物情報生成部47は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。そして、これらの各機能部は、互いに情報の受け渡しを行うことができるように構成されている。
地図データベースDB1は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。また、地物データベースDB2、工事データベースDB3、及び学習データベースDB4は、例えば、ハードディスクドライブ、フラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
1.地図データベース
地図データベースDB1は、所定の区画毎に分けられた地図情報Mが記憶されたデータベースである。図3は、地図データベースDB1に記憶されている地図情報Mの構成の例を示す図である。この図に示すように、地図情報Mは、複数のリンクkの接続関係により道路ネットワークを表す道路情報Rを含んでいる。道路ネットワークは、リンクkと、2つのリンクkの接続点にあたるノードnとにより構成される。ノードnは現実の道路における交差点に対応し、リンクkは、各交差点間を結ぶ道路に対応している。各ノードnは、緯度及び経度で表現された地図上の位置(座標)の情報を有している。各リンクkは、リンク属性情報として、道路長、道路種別、道路幅、レーン数、リンク形状を表現するための形状補間点等の情報を有している。ここで、道路種別は、例えば、高速道路、国道、県道、一般道、細街路、導入路等のように、道路を複数の種別に区分した際の道路種別の情報である。ノードnは、ノード属性情報として、通行規制、信号の有無等の情報を有している。なお、図3においては、一つの区画の道路情報Rのみを図示し、他の区画の道路情報Rは省略して示している。
この道路情報Rは、後述するマップマッチングや、出発地から目的地までの経路探索、目的地までの経路案内等のために用いられる。またこの他にも、この道路情報Rを含む地図情報Mは、自車両Cの周辺や目的地周辺等の地図表示、目的地までの経路の表示等のために用いられる。そのため、図示は省略するが、地図情報Mには、上記のような道路情報Rの他に、地図の表示に必要な各種の情報を有する描画情報、交差点の詳細情報から成る交差点情報等が含まれている。また、この描画情報には、道路形状、建物、河川等を表示するために必要な背景情報、市町村名や道路名等を表示するために必要な文字情報などが含まれている。
2.地物データベース
地物データベースDB2は、道路上や道路周辺に設けられた複数の地物の情報、すなわち地物情報Fが記憶されたデータベースである。図1に示すように、本実施形態においては、地物データベースDB2には、初期地物情報Fa及び学習地物情報Fbの2種類の情報が記憶される。ここで、初期地物情報Faとは、地物データベースDB2に予め整備されて記憶されている複数の地物についての地物情報Fである。一方、学習地物情報Fbとは、後述するように、地物画像認識部18による地物の画像認識結果を用いて学習した結果として学習地物情報生成部47により生成され、地物データベースDB2に記憶された地物情報Fである。なお、以下の説明において、単に「地物情報F」というときは、これら初期地物情報Fa及び学習地物情報Fbを総称するものとする。なお、本実施形態においては、初期地物情報Faと学習地物情報Fbとが同じ地物データベースDB2に記憶される構成としているが、これらが別個のデータベースに記憶される構成としてもよい。
この地物データベースDB2に地物情報Fが記憶される地物には、道路の路面に設けられた道路標示(ペイント)が含まれている。図4は、地物データベースDB2に記憶されている道路標示の地物情報Fの例を示す図である。このような道路標示に係る地物としては、例えば、横断歩道、停止線、最高速度等を表す速度標示、ゼブラゾーン、道路に沿って各レーンを区分する区画線(実線、破線、二重線等の各種区画線を含む。)、各レーンの進行方向を指定する進行方向別通行区分標示(矢印標示、例えば、直進矢印、右折矢印等を含む)等が含まれる。なお、地物情報Fが記憶される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル、マンホール等の各種の地物も含めることができる。
また、地物情報Fは、その内容として各地物の位置情報と、それに関連付けられた地物属性情報とを含んでいる。ここで、位置情報は、道路情報Rを構成するリンクk又はノードn等と関連付けられた各地物の代表点の地図上の位置(座標)、及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中央部付近に設定される。また、地物属性情報は、各地物を他の地物と識別するための識別情報(地物ID)、各地物の地物種別を表す種別情報、或いは、地物の形状、大きさ、色彩等の地物形態情報等を含んでいる。ここで、地物種別は、具体的には、「横断歩道」、「停止線」、「速度標示(30km/時)」等のような、基本的に同じ形態を有する地物の種別を表す情報である。
3.画像情報取得部
画像情報取得部13は、撮像装置により自車両Cの周辺を撮影した画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置は、撮像素子を備えた車載カメラ等であって、少なくとも自車両Cの周辺の少なくとも道路の路面を撮像可能な位置に設けられていると好適である。本実施形態においては、撮像装置として、図2に示すように、自車両Cの後方の路面を撮影するバックカメラ11と、自車両Cの前方の路面及び更にその上方を撮影するフロントカメラ12とを備えている。本例では、バックカメラ11は、フロントカメラ12よりも下方(路面側)を撮影するように設置されている。したがって、バックカメラ11はフロントカメラ12よりも自車両Cの近傍の路面を撮影することができる。画像情報取得部13は、これらのバックカメラ11及びフロントカメラ12により撮影した画像情報Gをフレームメモリ(不図示)等を介して所定の時間間隔で取り込む。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部13は、バックカメラ11及びフロントカメラ12により撮影した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、地物画像認識部18へ出力される。なお、以下の説明において単に画像情報Gというときには、バックカメラ11により撮影した画像情報G及びフロントカメラ12により撮影した画像情報Gの双方を含むものとする。
4.自車位置情報取得部
自車位置情報取得部14は、自車両Cの現在位置を表す自車位置情報Pを取得する自車位置情報取得手段として機能する。ここでは、自車位置情報取得部14は、GPS受信機15、方位センサ16、及び距離センサ17と接続されている。ここで、GPS受信機15は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自車位置情報取得部14へ出力される。自車位置情報取得部14では、GPS受信機15で受信されたGPS衛星からの信号を解析し、自車両Cの現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ16は、自車両Cの進行方位又はその進行方位の変化を検出するセンサである。この方位センサ16は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ16は、その検出結果を自車位置情報取得部14へ出力する。距離センサ17は、自車両Cの車速や移動距離を検出するセンサである。この距離センサ17は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両Cの加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ17は、その検出結果としての車速及び移動距離の情報を自車位置情報取得部14へ出力する。
そして、自車位置情報取得部14は、これらのGPS受信機15、方位センサ16及び距離センサ17からの出力に基づいて、公知の方法により自車両Cの位置を特定する演算を行う。このようにして取得される自車位置情報Pは、各センサ15〜17の検出精度等に起因する誤差を含んだ情報となっている。そこで、本実施形態においては、自車位置情報取得部14は、地図データベースDB1から自車位置周辺の道路情報Rを取得し、それに基づいて公知のマップマッチングを行うことにより自車位置を道路情報Rに含まれるリンクk又はノードn上に合わせる補正を行う。また、後述する自車位置補正部19により、画像情報G及び地物情報Fを用いて自車位置情報Pに示される自車両Cの進行方向の位置を補正する。これにより、自車位置情報取得部14は、自車両Cの高精度な自車位置情報Pを取得する。
5.地物画像認識部
地物画像認識部18は、画像情報取得部13で取得された画像情報Gに含まれる地物の画像認識処理を行う地物画像認識手段として機能する。本実施形態においては、地物画像認識部18は、後述する自車位置補正部19による自車位置情報Pの補正のための位置補正用画像認識処理と、地物学習手段41による学習地物情報Fbの生成のための地物学習用画像認識処理の2種類の画像認識処理を行う。すなわち、ナビゲーション装置1は、後述するように、工事データベースDB3に記憶された既存の工事情報W及び工事情報取得手段31により新たに取得された工事情報Wに基づいて、自車位置補正部19による自車位置補正処理を行い、或いは地物学習手段による地物学習処理を行う。したがって、地物画像認識部18は、ナビゲーション装置1が自車位置補正処理を行う際には位置補正用画像認識処理を行い、地物学習処理を行う際には地物学習用画像認識処理を行う。なお、本実施形態においては、地物画像認識部18は、フロントカメラ12よりも自車両Cの近傍の路面を撮影できるバックカメラ11により取得した画像情報Gを対象として地物の画像認識処理を行うこととする。なお、フロントカメラ12により取得した画像情報Gを対象として地物の画像認識処理を行うことも当然に可能である。
位置補正用画像認識処理では、地物画像認識部18は、自車位置情報Pに基づいて地物データベースDB2から自車両Cの周辺に存在する一又は二以上の地物の地物情報Fを取得し、当該一又は二以上の地物を対象地物ft(図5参照)として画像情報Gに含まれる対象地物ftの画像認識処理を行う。本実施形態では、地物画像認識部18は、自車位置情報Pと地物情報Fに含まれる地物の位置情報とに基づいて、地物データベースDB2から自車両Cの進行方向に存在する一つの地物の地物情報Fを取得し、当該地物情報Fに係る地物を対象地物ftとして設定する。次に、当該対象地物ftについての地物情報Fに含まれる属性情報に基づいて、当該属性情報に示される地物種別の地物を対象として画像認識処理を実行する。このように、対象地物を一つの地物種別の地物に絞ることにより、誤認識を抑制し、画像認識処理の精度を高めることが可能となっている。この位置補正用画像認識処理は、地物情報Fに含まれる当該対象地物ftの位置情報に基づいて、当該対象地物ftの周辺に設定される所定の認識区間を対象として行われる。そして、この位置補正用画像認識処理による対象地物ftの画像認識結果は、自車位置補正部19による自車位置情報Pの補正に用いられる。
地物学習用画像認識処理では、地物画像認識部18は、後述する対象種別決定部42により決定された一又は二以上の対象種別の地物を対象とし、画像情報Gに含まれる当該一又は二以上の対象種別の地物の画像認識処理を行う。この対象種別決定部42による対象種別の決定は、地物データベースDB2に記憶された初期地物情報Faを参照して決定されるが、この点については後述する。この地物学習用画像認識処理は、後述するように、工事データベースDB3に記憶された既存の工事情報Wに基づいて、当該工事情報Wに係る工事区間を対象として行われる。すなわち、地物画像認識部18は、自車位置情報Pに基づいて、工事データベースDB3に記憶された既存の工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する間、画像情報Gに含まれる対象種別の地物の画像認識処理を実行する。そして、この地物学習用画像認識処理による地物の画像認識結果は、地物学習手段41の認識地物情報生成部43による地物の認識位置情報及び地物属性情報の取得に用いられる。
地物画像認識部18は、位置補正用画像認識処理及び地物学習用画像認識処理における地物の画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、地物画像認識部18は、抽出された地物の輪郭情報と、対象地物又は対象種別の地物の形態の特徴量とのパターンマッチングを行う。そして、パターンマッチングに成功した場合には、当該地物の画像認識に成功したと判定し、その画像認識結果を出力する。この画像認識結果の出力先は、位置補正用画像認識処理の場合には自車位置補正部19であり、地物学習用画像認識処理の場合には認識地物情報生成部43である。一方、当該地物について画像認識処理を行う区間、すなわち位置補正用画像認識処理の場合は前記認識区間、地物学習用画像認識処理の場合は前記工事区間においてパターンマッチングに成功しなかった場合には、当該地物の画像認識に失敗したと判定する。その場合、画像認識に失敗したことを示す情報が、自車位置補正部19又は認識地物情報生成部43へ出力される。
6.自車位置補正部
自車位置補正部19は、地物画像認識部18による地物の画像認識結果と、当該地物についての地物情報Fとを照合して自車位置情報Pを補正する自車位置補正手段として機能する。本実施形態では、自車位置補正部19は、道路情報Rのリンクkに沿った自車両Cの進行方向に自車位置情報Pを補正する。すなわち、自車位置補正部19は、まず、地物画像認識部18の位置補正用画像認識処理による対象地物ftの画像認識結果と、撮像装置としてのバックカメラ11の取付位置、取付角度、及び画角等に基づいて、対象地物ftの画像を含む画像情報Gの取得時における自車両Cと対象地物ftとの位置関係を演算する。例えば、図5に示す状況で画像情報Gが取得された場合、自車位置補正部19は、画像情報Gの画像認識結果に基づいて自車両Cと対象地物ftとしての横断歩道との位置関係(例えば距離d)を演算する。次に、自車位置補正部19は、この自車両Cと対象地物ftとの位置関係の演算結果と、地物データベースDB2から取得した地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自車両Cの進行方向における対象地物ftの位置情報(地物情報F)を基準とする高精度な自車両Cの位置情報を演算して取得する。そして、自車位置補正部19は、このようにして取得した高精度な自車両Cの位置情報に基づいて、自車位置情報取得部14で取得した自車位置情報Pに含まれる、自車両Cの進行方向の現在位置の情報を補正する。その結果、自車位置情報取得部14は、このような補正後の高精度な自車位置情報Pを取得することになる。
7.ナビゲーション用演算部
ナビゲーション用演算部20は、自車位置表示、出発地から目的地までの経路探索、目的地までの経路案内、目的地検索等のナビゲーション機能を実行するために、アプリケーションプログラム21に従って動作する演算処理手段である。ここで、アプリケーションプログラム21は、自車位置情報P、道路情報Rを含む地図情報M、及び地物情報F等を参照して、ナビゲーション用演算部20に各種のナビゲーション機能を実行させる。例えば、ナビゲーション用演算部20は、自車位置情報Pに基づいて地図データベースDB1から自車両C周辺の地図情報Mを取得して表示入力装置22の表示画面に地図の画像を表示するとともに、当該地図の画像上に、自車位置情報Pに基づいて自車位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部20は、地図データベースDB1に記憶された地図情報Mに基づいて、所定の出発地から目的地までの経路探索を行う。更に、ナビゲーション用演算部20は、探索された出発地から目的地までの経路と自車位置情報Pとに基づいて、表示入力装置22及び音声出力装置23の一方又は双方を用いて、運転者に対する経路案内を行う。これらのナビゲーション機能の実行に際して、上記のとおり、自車位置補正部19により高精度な自車位置情報Pを取得することができるので、ナビゲーション用演算部20は、より適切な案内を行うことが可能となっている。ここで、表示入力装置22は、液晶表示装置等の表示装置とタッチパネルや操作スイッチ等の入力装置が一体となったものである。音声出力装置23は、スピーカ等を有して構成されている。本実施形態においては、ナビゲーション用演算部20、表示入力装置22、及び音声出力装置23が、本発明における案内情報出力手段24として機能する。
8.外部情報受信部
外部情報受信部32は、自車両Cの外部に設置された発信装置から工事情報Wを受信する工事情報受信手段として機能する。本実施形態においては、外部情報受信部32は、VICS(Vehicle Information and Communication System:道路交通情報通信システム)情報を受信する装置で構成される。よって、自車両Cの外部に設置された発信装置としては、例えば、VICSを構成する電波ビーコン発信装置、光ビーコン発信装置、FM多重放送発信装置等が含まれる。既に知られているとおり、VICSから供給される道路交通情報には、自車両Cが走行する道路やその周辺の道路についての工事情報Wが含まれており、この工事情報Wには、当該工事の工事区間の情報も含まれている。そして、外部情報受信部32は、これらの発信装置から工事情報Wを受信した際には、当該工事情報Wを後述する補正停止処理部35へ出力する。また、外部情報受信部32は、受信した工事情報Wを工事データベースDB3に記憶する。この外部情報受信部32で受信した工事情報Wは、図9に示す例では、工事データベースDB3内の3行目に記憶されている。なお、外部情報受信部32は、VICS以外の道路交通情報や工事情報等を受信する装置とすることも可能である。すなわち、外部情報受信部32は、例えば携帯電話網等の各種の無線通信網を利用してナビゲーション装置1等に道路交通情報や工事情報等を配信するシステムからの情報を受信する装置で構成しても好適である。また、工事情報Wを受信する領域も自車両Cが走行する道路やその周辺の道路に限定されるものではなく、例えば自車両Cが存在する地域や全国の工事情報Wを全て受信する構成としても好適である。
9.工事画像認識部
工事画像認識部33は、画像情報取得部13により取得された画像情報Gに含まれる工事シンボルwt(図7参照)の画像認識処理を行う工事画像認識手段として機能する。ここで、工事シンボルwtとは、道路工事が行われている現場に設置される各種の物であり、画像認識が容易な特徴的形態を備える物であると好適である。このような工事シンボルwtとしては、例えば、工事案内看板、工事用フェンス、工事用バリケード、保安灯、コーン、及び工事案内人形(例えば、ガードマンを模した人形)等が含まれ、工事画像認識部33は、これらの少なくとも一つを画像認識処理の対象とする。工事案内看板、工事用フェンス、及び工事用バリケード等は、これらによく用いられる黄と黒の斜線等のような模様や典型的な外形等を特徴量として画像認識処理を行うと好適である。また、保安灯、コーン、及び工事案内人形等は、特徴的な外形を有しているものが多いので、その外形を特徴量として画像認識処理を行うと好適である。本実施形態においては、工事画像認識部33は、バックカメラ11及びフロントカメラ12の双方により取得した画像情報Gを対象として、工事シンボルwtの画像認識処理を行う。
工事画像認識部33は、工事シンボルwtの画像認識に際しては、画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている工事シンボルwtの輪郭情報を抽出する。その後、工事画像認識部33は、抽出された工事シンボルwtの輪郭情報と、予め用意されている複数種類の工事シンボルwtの形態の特徴量とのパターンマッチングを行う。そして、いずれかの工事シンボルwtの形態の特徴量との間でパターンマッチングに成功した場合には、当該工事シンボルwtを画像認識したと判定し、その画像認識結果を工事情報生成部34へ出力する。工事画像認識部33は、バックカメラ11及びフロントカメラ12の双方により取得した全ての又は所定間隔の画像情報Gに対して、このような工事シンボルwtの画像認識処理を実行する。また、工事画像認識部33は、工事シンボルwtとして工事案内看板を画像認識した場合には、当該工事案内看板に含まれる文字の画像認識処理を実行する。これにより、工事案内看板に記載されている工事区間や工事期間等の情報を取得することができる。なお、文字の画像認識処理の具体的方法は既に公知の技術が多数存在するので、ここでは説明を省略する。以上のようにして取得した、画像認識に成功した工事シンボルwtの種別及び当該工事シンボルwtが工事案内看板であった場合の文字の認識結果の情報は、工事画像認識部33による画像認識結果として工事情報生成部34へ出力される。
図6は、工事情報Wの取得方法の例を説明する説明図であり、(a)は自車両Cが走行する道路で工事が行われていた場合の道路状況の一例を示し、(b)は(a)に示す道路状況で取得された工事情報Wの内容を示している。図6(a)に示す状況では、自車両Cの前方に工事シンボルwtとしての工事案内看板が設置されており、その後方の所定距離にわたって道路の路面が掘り返される工事が行われている。図7は、工事シンボルwtとしての工事案内看板を撮像領域内に含む画像情報Gの例を示している。この図は、図6(a)に示す位置の自車両Cのフロントカメラ12により取得された画像情報Gに対応している。図7の例に示す工事案内看板には、「道路工事中」という文字情報の他に、「ここより200m」という工事区間を表す文字情報と、「1月8日から1月25日まで」という工事期間を表す文字情報とを含んでいる。したがって、工事画像認識部33は、図7の例に示す画像情報Gを対象として画像認識処理を行った場合には、工事シンボルwtとして工事案内看板を画像認識するとともに、文字の画像認識を実行して工事区間及び工事期間の情報を取得する。これらの情報は、画像認識結果として工事情報生成部34へ出力される。
図8は、図6と同様に、工事情報Wの取得方法の例を説明する説明図である。但し、この図に示す状況では、自車両Cの前方に工事シンボルwtとしての保安灯及び工事用バリケードが交互に複数の設置されており、それらに囲まれた区域内で道路工事が行われている。このような状況では、工事画像認識部33は、最初にフロントカメラ12で取得した画像情報Gに含まれる工事シンボルwtとしての保安灯及び工事用バリケードを画像認識し、次に、フロントカメラ12及びバックカメラ11のそれぞれで取得した画像情報Gの双方に含まれるそれらの工事シンボルwtを画像認識する。その後、工事画像認識部33は、フロントカメラ12で取得した画像情報Gで工事シンボルwtを画像認識しなくなり、最後にフロントカメラ12及びバックカメラ11のそれぞれで取得した画像情報Gの双方で工事シンボルwtを画像認識しなくなる。これらのフロントカメラ12及びバックカメラ11のそれぞれで取得した画像情報Gの画像認識結果は、工事情報生成部34へ出力される。
10.工事情報生成部
工事情報生成部34は、工事画像認識部33による工事シンボルwtの画像認識結果に基づいて工事情報Wを生成する工事情報生成手段として機能する。工事情報Wは、少なくとも工事区間の情報を含み、場合により工事期間の情報を含む。図9は、工事データベースDB3に記憶された工事情報Wの例を示す図である。この図に示すように、本実施形態においては、工事情報Wは、工事区間及び工事期間の他に、取得日時及び認識種別の情報を含んでいる。ここで、取得日時は、工事情報Wを取得した日時を示し、認識種別は、工事画像認識部33により画像認識した工事シンボルwtの種別を示す。なお、図9に示すように、認識種別は一つに限られず、複数の認識種別の情報が工事情報Wに含まれる場合もある。すなわち、同じ工事区間に複数の工事シンボルwtを画像認識することも多く、その場合には、複数の工事シンボルwtの種別が、認識種別の情報として工事情報Wに含まれることになる。また、図9の例において、認識種別が「工事情報受信」となっているのは、外部情報受信部32により受信した工事情報Wを表している。工事情報生成部34は、工事画像認識部33による工事シンボルwtの画像認識結果に基づいて工事情報Wを生成する。そして、工事情報生成部34は、工事情報Wを生成した際には、当該工事情報Wを後述する補正停止処理部35へ送る。また、工事情報生成部34は、生成した工事情報Wを工事データベースDB3に記憶する。本実施形態においては、この工事データベースDB3が、本発明における工事情報記憶手段に相当する。
次に、工事情報生成部34による工事情報Wを生成する具体的方法について説明する。工事情報生成部34は、工事画像認識部33により図7に示すような工事案内看板の工事シンボルwtを画像認識した場合には、上記のとおり、工事シンボルwtとして工事案内看板を画像認識したという情報とともに、「ここより200m」という工事区間の情報及び「1月8日から1月25日まで」という工事期間の情報を画像認識結果として工事画像認識部33から受け取る。この場合、工事情報生成部34は、画像認識結果としての工事区間の情報に従って工事情報Wに含まれる工事区間の情報を設定する。すなわち、工事情報生成部34は、当該画像認識結果を受け取った時の自車位置情報Pと道路情報Rとを用いて、図6(b)に示すように、リンクk上に位置する工事区間の始点(x1,y1)及び終点(x2,y2)の座標を導出し、その座標情報「(x1,y1)〜(x2,y2)」を工事情報Wとしての工事区間の情報とする。この際、工事案内看板の画像認識結果に基づいて、自車両Cと工事案内看板との位置関係を演算し、工事案内看板の位置を工事区間の始点とする。なお、当該画像認識結果を受け取った時の自車位置情報Pに示される位置を工事区間の始点としても好適である。一方、工事区間の終点は、工事区間の始点からリンクkに沿って自車両Cの進行方向前方に、画像認識結果としての工事区間の情報に示される距離(ここでは200m)進んだ点とする。
また、工事情報生成部34は、当該画像認識結果を受け取った時の日時と画像認識結果としての工事期間の情報とに基づいて、工事情報Wとしての工事期間の情報を生成する。本例では、「1月8日から1月25日まで」という画像認識結果の情報に、当該画像認識結果を受け取った時の年の情報を補って、「2008/01/08〜2008/01/25」を工事情報Wとしての工事期間の情報としている。また、工事情報生成部34は、当該画像認識結果を受け取った時のナビゲーション装置1が有する日時の情報から工事情報Wとしての取得日時の情報を生成する。更に、工事情報生成部34は、画像認識結果の情報に含まれる画像認識に成功した工事シンボルwtの種別の情報から工事情報Wとしての認識種別の情報を生成する。以上のように生成された工事情報Wは、図9に示す例では、工事データベースDB3内の1行目に記憶されている。
一方、工事区間や工事期間等の情報を有しない、或いはそれらを画像認識できない工事案内看板を工事画像認識部33により画像認識した場合や、工事用フェンス、工事用バリケード、保安灯、コーン、及び工事案内人形等の他の工事シンボルwtを画像認識した場合には、工事情報生成部34は、上記とは一部異なる方法で工事情報Wを生成する。例えば、工事案内看板、単体で設置される保安灯、及び工事案内人形等のように、単体で設置される工事シンボルwtを画像認識した場合には、工事情報生成部34は、当該工事シンボルwtの認識位置を基準とする所定区間を、工事情報Wに含まれる工事区間の情報として設定する。この場合、所定区間は、例えば、工事シンボルwtの設置位置からリンクkに沿って自車両Cの進行方向前方に所定距離とし、或いは工事シンボルwtの設置位置からリンクkに沿って自車両Cの進行方向前方及び後方に所定距離とすると好適である。ここで、所定距離は、固定値としてもよいし、工事シンボルwtの画像認識結果に示される各種情報に基づいて変更される可変値としてもよい。本例においても、取得日時と認識種別の情報は、上記の図7に示すような工事案内看板を画像認識した例と同様に生成することができる。一方、本例では、工事期間の情報は生成されず、工事情報Wは工事期間の情報を含まないものとなる。
また、例えば、図8に示すように、工事用フェンス、工事用バリケード、コーン、及び複数設置される保安灯等のように、道路工事の現場を囲むように設置される工事シンボルwtを画像認識する場合には、連続する複数フレームの画像情報Gに工事シンボルwtが含まれることになる。その場合、工事情報生成部34は、工事画像認識部33によるフロントカメラ12により取得した自車両Cの前方の画像情報Gの画像認識結果と、バックカメラ11により取得した自車両Cの後方の画像情報Gの画像認識結果とを組み合せて工事区間の情報を生成する。すなわち、工事情報生成部34は、自車両Cの前方の画像情報Gに含まれる最初の工事シンボルwtの認識位置を基準として工事区間の始点を設定し、自車両Cの後方の画像情報Gに含まれる最後の工事シンボルwtの認識位置を基準として工事区間の終点を設定する。具体的には、工事情報生成部34は、まず、フロントカメラ12により工事シンボルwtを最初に撮影した画像情報Gについての工事シンボルwtの画像認識結果と当該画像認識結果を工事画像認識部33から受け取った時の自車位置情報Pに基づいて工事区間の始点を設定する。その後、工事情報生成部34は、バックカメラ11により工事シンボルwtを最後に撮影した画像情報Gについての工事シンボルwtの画像認識結果と当該画像認識結果を工事画像認識部33から受け取った時の自車位置情報Pとに基づいて工事区間の終点を設定する。ここで、最初及び最後の工事シンボルとは、例えば、道路工事の現場を囲むように複数設置されている工事シンボルwtをフロントカメラ12又はバックカメラ11により、連続する複数フレームの画像情報Gにわたって撮影した場合における、最初に撮影した工事シンボルwt及び最後に撮影した工事シンボルwtである。この際、各画像認識結果に基づいて自車両Cと工事シンボルwtとの位置関係を演算し、工事シンボルwtの位置を工事区間の始点又は終点とし、或いは各画像認識結果を受け取った時の自車位置情報Pに示される位置を工事区間の始点又は終点とすると好適である。本例においても、取得日時と認識種別の情報は、上記の図7に示すような工事案内看板を画像認識した例と同様に生成することができる。一方、本例では、工事期間の情報は生成されず、工事情報Wは工事期間の情報を含まないものとなる。以上のように生成された工事情報Wは、図9に示す例では、工事データベースDB3内の2行目に記憶されている。
また、例えば、工事シンボルwt(図7参照)の画像認識処理にフロントカメラ12及びバックカメラ11のいずれか一方のみを用いる場合等であって、当該いずれかの撮像装置12、11により取得した連続する複数フレームの画像情報Gに工事シンボルwtが含まれていた場合には、その画像認識結果に基づいて工事区間の情報を生成する。この場合も、上記図8に係る例と基本的には同様であり、工事情報生成部34は、取得した画像情報Gに含まれる最初の工事シンボルwtの認識位置を基準として工事区間の始点を設定し、画像情報Gに含まれる最後の工事シンボルwtの認識位置を基準として工事区間の終点を設定する。この場合においても、各画像認識結果に基づいて自車両Cと工事シンボルwtとの位置関係を演算し、工事シンボルwtの位置を工事区間の始点又は終点とし、或いは各画像認識結果を受け取った時の自車位置情報Pに示される位置を工事区間の始点又は終点とすると好適である。
以上のとおり、外部情報受信部32、又は工事画像認識部33及び工事情報生成部34により、自車両Cが走行する道路について工事区間の情報を含む工事情報Wが取得される。したがって、本実施形態においては、外部情報受信部32、工事画像認識部33、及び工事情報生成部34が、本発明における工事情報取得手段31に相当する。
11.補正停止処理部
補正停止処理部35は、工事情報Wに基づいて工事区間内での自車位置補正部19による自車位置情報Pの補正を停止する補正停止手段として機能する。すなわち、補正停止処理部35は、工事情報取得手段31により工事情報Wを取得した際に、当該工事情報Wに含まれる工事区間の情報と自車位置情報Pとに基づいて、自車位置情報Pに示される自車両Cの位置が工事区間内にある間、自車位置補正部19の処理を停止させる。これにより、道路工事が行われているために通常時と異なる状態の道路の区間を走行する際に、地物データベースDB2に記憶された地物情報Fに示される対象地物ftとは異なる地物を、当該対象地物ftと誤って画像認識し、自車位置情報Pを誤って補正する事態が生じることを抑制できる。また、ここでは、補正停止処理部35は、自車位置補正部19による自車位置情報Pの補正に係る他の処理も停止させる。具体的には、補正停止処理部35は、地物画像認識部18による位置補正用画像認識処理を停止させる。これにより、自車位置情報Pの補正処理のための演算処理負荷をなくすことができるとともに、画像認識処理のための演算処理負荷をなくすことができるので、ナビゲーション装置1の全体での演算処理負荷を軽減することができる。
また、本実施形態においては、補正停止処理部35は、工事情報取得手段31により工事情報Wを取得しなかった場合であっても、自車位置補正部19による自車位置情報Pの補正を停止する処理を行う。具体的には、補正停止処理部35は、工事データベースDB3に記憶されている既存の工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する際であって、後述する地物学習手段41により、当該区間での学習地物情報Fbの生成が完了するまでの間についても、自車位置補正部19の機能を停止させる。これにより、既存の工事情報Wに係る工事が終了している場合であって工事区間に対応する道路の区間を自車両Cが走行する際に、工事前の地物情報Fに基づいて自車位置情報Pを誤って補正する事態が生じることを抑制できる。
これまでに説明した工事情報取得手段31及び補正停止処理部35は、自車両Cが走行中に新たな工事情報Wを取得した場合に、自車位置補正部19の機能を制限するために機能する機能部である。そして、新たに取得された工事情報Wは、上記のとおり、工事データベースDB3に格納されて記憶される。このように工事データベースDB3に記憶された工事情報Wは、自車両Cが同じ道路の区間を次に走行する際に、工事によって変更されている可能性がある地物について学習する地物学習処理を実行するか否かの判定に用いられる。以下では、このような工事データベースDB3に記憶された既存の工事情報Wを利用して地物学習処理を行うために機能する機能部について説明する。
12.工事終了判定部
工事終了判定部36は、工事データベースDB3に既に記憶された工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する際に、当該工事情報Wが示す工事の終了を判定する工事終了判定手段として機能する。ここで、工事終了判定部36は、図9に示すような工事データベースDB3に記憶された既存の工事情報Wに含まれる工事区間の情報と、自車位置情報取得部14により取得される自車位置情報Pとに基づいて、当該工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行するか否かを判定する。本実施形態においては、工事終了判定部36は、自車位置情報Pに示される自車両Cの位置が、工事情報Wに示される工事区間に対応する道路の区間に進入する際に、この判定を行う。そして、工事終了判定部36は、自車両Cが既存の工事情報Wに係る工事区間に対応する道路の区間を走行すると判定した場合に、当該工事情報Wが示す工事が終了しているか否かを判定する。
本実施形態においては、工事終了判定部36は、以下の方法により既存の工事情報Wに係る工事が終了しているか否かを判定する。すなわち、工事終了判定部36は、既存の工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する際に、工事情報取得手段31によって同じ工事区間を含む工事情報Wを取得しなかった場合に、当該既存の工事情報Wが示す工事が終了したと判定する。既存の工事情報Wと同じ工事区間の情報を有する工事情報Wを取得しなかった場合には、当該工事区間での工事が終了していると判定できるからである。また、工事終了判定部36は、既存の工事情報Wが工事期間の情報を含んでいる場合には、既存の工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する際に当該工事情報Wに係る工事期間が終了している場合に、当該工事情報Wが示す工事が終了したと判定する。工事情報Wが工事期間の情報を含んでいる場合には、その情報に基づいて工事の終了を判定できるからである。
この工事終了判定部36は、既存の工事情報Wに係る工事が終了していると判定した場合には、そのことを表す情報を後述する対象種別決定部42へ出力する。これにより、対象種別決定部42は、地物学習用画像認識処理の対象とする地物種別である対象種別を決定する。次に、既存の工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行する際に、地物画像認識部18により、当該対象種別の地物を対象として上述した地物学習用画像認識処理が実行される。そして、この地物学習用画像認識処理の画像認識結果に基づいて、地物学習手段41の各機能部により、地物学習処理が実行される。
13.工事情報消去判定部
工事情報消去判定部37は、工事データベースDB3に既に記憶された工事情報Wに係る工事区間に対応する道路の区間を自車両Cが走行しないまま所定期間が経過した際に、当該工事情報Wを工事データベースDB3から消去する工事情報消去手段として機能する。図9に示すように、工事データベースDB3に記憶された工事情報Wは、取得日時の情報を含んでいる。工事情報消去判定部37は、この工事情報Wに含まれる取得日時の情報に基づいて、工事データベースDB3に記憶されてから所定期間が経過するまでの間に、工事終了判定部36による当該工事情報Wの終了判定が行われなかった場合には、当該工事情報Wを工事データベースDB3から消去する。これにより、工事データベースDB3のデータ量が過大になることを抑制できる。ここで、工事情報Wを消去するまでの所定期間は、固定値とすればよく、一般的な道路工事の期間よりも十分に大きい期間に設定すると好適である。
14.地物学習手段
地物学習手段41は、工事終了判定部36により工事の終了が判定された場合に、当該終了したと判定された工事情報Wに係る工事区間において地物画像認識部18に地物の画像認識処理を行わせ、その画像認識結果と自車位置情報Pとに基づいて、画像認識された地物の位置情報及び属性情報を含む学習地物情報Fbを生成する手段である。本実施形態においては、図1に示すように、地物学習手段41は、対象地物決定部42、認識位置情報取得部44及び地物属性情報取得部45を有する認識地物情報生成部43、推測位置判定部46、学習地物情報生成部47、並びに学習データベースDB4を有して構成されている。以下では、この地物学習手段41の各部の構成について説明する。
15.対象種別決定部
対象種別決定部42は、地物画像認識部18による地物学習用画像認識処理の対象とする地物種別である対象種別を決定する対象種別決定手段として機能する。ここで、対象種別決定部42は、工事データベースDB3に記憶された既存の工事情報Wに係る工事が終了していることを表す情報を工事終了判定部36から受け取った場合に、当該工事情報Wに係る工事区間に対応する道路の区間を対象として行う地物学習用画像認識処理での対象種別を決定する。本実施形態においては、対象種別決定部42は、一つの工事区間に対して一つの対象種別を決定することとする。この際、対象種別決定部42は、当該工事区間内に存在する可能性が高い地物種別を対象種別として決定する。このような地物種別としては、まず、終了したと判定された工事情報Wに係る工事区間内に、工事前に存在していた地物と同じ地物種別が有力である。そこで、この対象種別決定部42は、第一に、終了したと判定された工事情報Wに係る工事区間内の位置情報を有する地物情報Fを地物データベースDB2から取得し、当該地物情報Fに係る地物と同一の地物種別を対象種別として決定する。これにより、地物画像認識部18が工事区間内において地物学習用画像認識処理を実行する際に、地物データベースDB2に記憶された当該工事区間内の位置情報を有する地物情報Fに係る地物と同一種別の地物を優先的に画像認識させることができる。
一方、対象種別決定部42は、そのような工事区間内の位置情報を有する地物情報Fが地物データベースDB2に存在しない場合には、道路情報Rに含まれるリンクkのリンク属性情報である道路種別、道路幅、レーン数、及びリンク形状等に基づいて、統計的に存在する可能性が高い地物種別を対象種別として決定する。また、対象種別決定部42は、一旦対象種別を決定した後、同じ区間について複数回、地物画像認識部18による地物学習用画像認識処理を実行したにも関わらず、当該対象種別の地物の画像認識に成功しなかった場合には、対象種別を変更する処理も行う。この場合、道路情報Rに含まれるリンクkのリンク属性情報に基づいて、統計的に存在する可能性が高い地物種別から順に対象種別として決定すると好適である。この対象種別決定部42により決定された対象種別の情報は、地物画像認識部18へ出力され、地物学習用画像認識処理の対象種別とされる。
16.認識地物情報生成部
認識地物情報生成部43は、地物画像認識部18による地物学習用画像認識処理の画像認識結果を表す認識地物情報Aを生成する認識地物情報生成手段として機能する。ここで、認識地物情報Aは、地物画像認識部18による地物の認識位置を表す認識位置情報sと、当該地物の属性を表す地物属性情報とを含んで構成されている。そこで、この認識地物情報生成部43は、認識地物情報Aに含まれる認識位置情報sを取得するための認識位置情報取得部44と、地物属性情報を取得するための地物属性情報取得部45とを有している。この認識地物情報生成部43は、認識位置情報取得部44により取得した認識位置情報sと、地物属性情報取得部45により取得した地物属性情報とを関連付けて認識地物情報Aを生成する。そして、認識地物情報生成部43は、生成した認識地物情報Aを学習データベースDB4に記憶する。よって、本実施形態においては、この学習データベースDB4が、本発明における認識結果記憶手段に相当する。
認識位置情報取得部44は、地物画像認識部18による地物学習用画像認識処理において画像認識に成功した地物について、当該地物の認識位置を表す認識位置情報sを取得する認識位置情報取得手段として機能する。本実施形態においては、認識位置情報取得部44は、まず、地物画像認識部18による地物学習用画像認識処理において、対象種別の地物の画像認識に成功したか否かを監視する。そして、対象種別の地物の画像認識に成功した場合には、認識位置情報取得部44は、当該画像認識結果と、自車位置情報取得部16により取得された自車位置情報Pとに基づいて当該地物の認識位置を導出する。ここでは、認識位置情報取得部44は、認識に成功した地物の画像を含む画像情報Gを取得した際の自車位置情報Pを、当該地物の認識位置として導出する。そして、認識位置情報取得部44は、このように導出された地物の認識位置の情報に基づいて認識位置情報sを生成する。本実施形態においては、後述するように、認識位置情報取得部44は、各地物について認識位置情報sを、当該認識位置情報sが示す地物の認識位置が属する所定の位置範囲についての学習値として生成する。なお、このように取得される地物の認識位置情報sは、自車位置情報Pを基準として導出されるため、自車位置情報Pが有する誤差を反映した位置の情報となる。
地物属性情報取得部45は、地物画像認識部18による地物学習用画像認識処理において画像認識に成功した地物について、その画像認識結果に基づいて当該地物の属性を表す地物属性情報を取得する地物属性情報取得手段として機能する。この地物属性情報は、認識地物情報A及び学習地物情報Fbの一部を構成する。ここで、地物属性情報により表される地物の属性は、当該一つの地物を少なくとも他の地物と識別できるものとする。したがって、地物属性情報は、例えば、当該地物の地物種別、形状、大きさ、画像認識された特徴量等のような地物の形態に関する情報と、当該地物を他の地物と識別するための地物ID等の識別情報とを含むと好適である。このような地物属性情報を構成する情報は、地物画像認識部18による当該地物の画像認識結果等に基づいて生成される。
次に、認識地物情報生成部43が行う処理の詳細について、図10及び図11を用いて説明する。図10は、地物の画像認識結果に基づく地物情報Fの学習処理の概要を説明するための説明図である。そして、図10(a)は、自車両Cが走行する実際の道路に設けられた道路標示(地物)の一例である。この例では、工事データベースDB3に記憶された既存の工事情報Wに係る工事区間に、最高速度規制を表す「30」の文字の地物f1が設けられている。そして、地物画像認識部18は、「30」の速度標示を対象種別として当該工事区間で地物学習用画像認識処理を実行することとする。図10(b)は、(a)に示される道路状況で地物学習処理を行った場合に、学習データベースDB4に記憶された認識地物情報Aの一例である。図10(c)は、学習データベースDB4に記憶された学習結果が反映された地物データベースDB2の一例である。なお、図10に示す例では、既存の工事情報Wに係る工事区間に地物が一つだけ存在する場合を示しているが、複数の地物が存在する場合もあり、その場合には各地物についてそれぞれ認識地物情報Aが生成され、学習されることになる。
本実施形態においては、認識位置情報取得部44は、図10(b)に示すように、各地物について認識位置情報sを、当該認識位置情報sが示す地物の認識位置が属する所定の位置範囲についての学習値として生成する。そして、認識地物情報生成部43は、当該地物を認識する度に、地物属性情報取得部45により取得した地物属性情報と関連付けた状態で、認識位置情報sとしての学習値を前記位置範囲毎に加算して記憶する。本例では、所定の位置範囲は、道路情報Rに含まれるリンクkに沿った方向に一定距離毎に区分され設定された範囲であり、例えば、リンクkに沿った方向に0.5〔m〕毎に区分された範囲とする。また、学習値は、一つの地物の画像認識に成功する毎に、学習データベースDB4における当該地物の認識位置が属する位置範囲に加算される値であり、例えば、地物の画像認識に1回成功する毎に1点とする。すなわち、本例では、認識位置情報sは、前記位置範囲毎の学習値の情報とされている。
図11は、図10(b)に示す学習データベースDB4に記憶された地物f1に関する学習値の部分の拡大図である。例えば、図10(a)の例において、地物f1の画像認識に成功した場合であって、認識位置情報取得部44により取得された地物f1の認識位置が、図11中に「a4」として示される位置範囲であった場合には、この図11中に破線で示すように、当該位置範囲a4の学習値に1が加算される。そして、自車両Cが同じ道路を複数回通行することにより、同じ地物f1が複数回画像認識されると、学習データベースDB4には、図10(b)及び図11に示すように、当該地物が認識される毎に生成された複数の認識位置情報sとしての学習値が、当該地物の認識位置を表す位置範囲毎に積算されて蓄積される。そして、後述するように、学習値が所定の学習しきい値T以上になると、学習地物情報生成部44により当該地物についての学習地物情報Fbが生成され、地物データベースDB2に記憶される。図10の例では、図10(c)に示すように、地物f1に対応する学習地物情報Fb1が、地物データベースDB2に記憶される。
また、認識地物情報生成部43は、認識位置情報sが示す地物を他の地物に対して識別可能な状態とするため、地物属性情報取得部45により取得された当該地物の地物属性情報を認識位置情報sに関連付けた状態で学習データベースDB4に記憶している。すなわち、学習データベースDB4に記憶される認識地物情報Aは、認識地物情報Aは、認識位置情報sとしての前記位置範囲毎の学習値の情報と、それに関連付けられた地物属性情報とを有して構成される。上記のとおり、この地物属性情報は、例えば、当該地物の地物種別、形状、大きさ、画像認識された特徴量等のような地物の形態に関する情報と、当該地物を他の地物と識別するための地物ID等の識別情報とを含んで構成されている。
17.推測位置判定部
推測位置判定部46は、同じ地物が複数回画像認識されることにより学習データベースDB4に記憶された、同じ地物についての複数の認識位置情報sに基づいて、当該地物の推測位置pgを判定する推測位置判定手段として機能する。本実施形態においては、推測位置判定部46は学習データベースDB4に記憶された同じ地物についての複数の認識位置情報sに基づいて、図10(b)及び(c)に示すように、当該地物についての推測認識位置paを判定し、当該推測認識位置paを当該地物の道路上の位置に変換することにより当該地物の推測位置pgを判定する。具体的には、推測位置判定部46は、まず、同じ地物についての複数の認識位置情報sとしての学習値の分布に基づいて、当該分布の代表値を当該地物についての推測認識位置paとして判定する。ここでは、分布の代表値として最頻値を用いる。すなわち、推測位置判定部46は、各地物についての認識位置情報sとしての学習値が、最初に所定の学習しきい値T以上となった位置範囲を代表する位置を、当該地物についての推測認識位置paと判定する。一例として、図10の例における地物f1の推測認識位置paを判定する場合の判定方法について説明する。図11に示すように、地物f1についての認識地物情報Aとしての学習値は、位置範囲a4において最初に学習しきい値T以上となっている。したがって、推測位置判定部46は、位置範囲a4を代表する位置、例えば位置範囲a4の中央位置pa4を、地物f1の推測認識位置paと判定する。
次に、推測位置判定部46は、上記のようにして判定された地物の推測認識位置paを、当該地物の道路上の位置に変換して当該地物の推測位置pgを判定する。このような変換は、撮像装置としてのバックカメラ11の取付位置、取付角度、及び画角等から理論上求められる自車両Cと画像情報G中の地物との位置関係に基づいて行うことができる。そして、このようにして推測位置判定部46により求められた地物の推測位置pgを表す情報が、当該地物の推測位置情報として取得される。
18.学習地物情報生成部
学習地物情報生成部47は、推測位置判定部46により判定された各地物の推測位置を表す推測位置情報と当該地物の属性を表す地物属性情報とを関連付けて学習地物情報Fbを生成する学習地物情報生成手段として機能する。ここで、学習地物情報Fbは、認識地物情報Aに含まれる地物属性情報と、推測位置判定部46により複数の認識位置情報sを統計的に処理して求めた、当該地物の推測位置pgを表す推測位置情報とを含んで構成される。すなわち、学習地物情報生成部44は、推測位置判定部46により取得された各地物の推測位置pgを表す推測位置情報と、当該地物についての認識地物情報Aに含まれる地物属性情報とを関連付けて学習地物情報Fbを生成する。これにより、学習地物情報Fbは、初期地物情報Faと同様に、地物の位置情報及び属性情報を含む情報として生成される。そして、この学習地物情報生成部44で生成された学習地物情報Fbは、地物データベースDB2に記憶される。本実施形態においては、図10(c)に示すように、学習地物情報Fb1が、地図データベースDB1に記憶された道路情報Rに係るリンクk及びノードnの情報と関連付けられた状態で、地物データベースDB2に記憶されている。なお、この図に表されている黒い四角形「■」は、学習地物情報Fb1の位置情報が示す地物f1の推測位置pgを表している。
また、学習地物情報生成部47は、工事終了判定部36により終了したと判定された工事情報Wに係る工事区間において、学習地物情報Fbを生成して地物データベースDB2に記憶した際に、当該工事区間内の位置情報を有する初期地物情報Faを無効とし、或いは削除する処理を行う。これにより、以後は学習地物情報Fbが、初期地物情報Faに代えて自車位置補正部19による自車位置情報Pの補正に用いられることになる。本実施形態においては、図10(c)に示すように、既存の工事情報Wに係る工事区間内の位置情報を有する、「30」の速度標示の初期地物情報Fa1が地物データベースDB2に記憶されている。そこで、学習地物情報生成部47は、学習地物情報Fb1を記憶した際に、この初期地物情報Fa1を無効とする処理を行う。なお、同じ道路の区間内において複数回の道路工事が行われた場合等のように、既存の工事情報Wに係る工事区間内の位置情報を有する学習地物情報Fbが既に地物データベースDB2に記憶されていた場合には、当該学習地物情報Fbについても同様に無効とし、或いは削除する処理を行う。
19.自車位置補正・地物学習処理の手順
次に、本実施形態に係る、自車位置認識装置2及び地物情報収集装置3を含むナビゲーション装置1において実行される自車位置補正・地物学習処理の手順について説明する。図12は、本実施形態に係る自車位置補正・地物学習処理の全体の手順を示すフローチャートである。また、図13は、本実施形態に係る自車位置補正処理の手順を示すフローチャートであり、図14は、本実施形態に係る地物学習処理の手順を示すフローチャートである。以下に説明する処理の手順は、上記の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成する自車位置認識プログラム又は地物情報収集プログラムを実行するコンピュータとして動作する。以下、フローチャートに従って説明する。
図12に示すように、ナビゲーション装置1における自車位置補正・地物学習処理においては、まず、自車位置情報取得部14により自車位置情報Pを取得する(ステップ#01)。そして、取得した自車位置情報Pに基づいて、自車両Cが工事データベースDB3に記憶された既存の工事情報Wに係る工事区間内にあるか否かについて判定する(ステップ#02)。この判定は、図9に示すような工事データベースDB3に記憶されている全ての工事情報Wを参照して行い、ステップ#01で取得された自車位置情報Pに示される自車両Cの位置が、工事データベースDB3に記憶されているいずれかの工事情報Wに係る工事区間に含まれている場合には自車両Cが工事区間内にあると判定する。自車両Cが既存の工事情報Wに係る工事区間内にない場合には(ステップ#02:No)、次に、工事情報取得手段31により工事情報Wを取得したか否かについて判定する(ステップ#03)。上記のとおり、工事情報Wは、少なくとも工事区間の情報を含む情報であり、外部情報受信部32により受信され、或いは工事画像認識部33による工事シンボルwt(図7参照)の画像認識結果に基づいて工事情報生成部34により生成される。そして、工事情報取得手段31により工事情報Wを取得していない状態では(ステップ#03:No)、自車位置補正部19による自車位置補正処理を実行する(ステップ#04)。この自車位置補正処理については、後に図13に示すフローチャートに基づいて詳細に説明する。
一方、工事情報取得手段31により工事情報Wを取得した場合には(ステップ#03:Yes)、当該工事情報Wに含まれる工事区間の情報に基づいて、自車位置補正処理を停止する区間としての工事区間を設定する(ステップ#05)。また、自車位置情報取得部14により自車位置情報Pを取得する(ステップ#06)。そして、取得した自車位置情報Pに基づいて、自車両Cがステップ#05で設定された工事区間内にあるか否かについて判定する(ステップ#07)。この判定では、ステップ#06で取得された自車位置情報Pに示される自車両Cの位置が、ステップ#05で設定された工事区間に含まれている場合には自車両Cが工事区間内にあると判定する。自車両Cが工事区間内にない場合には(ステップ#07:No)、自車位置補正部19による自車位置補正処理を実行する(ステップ#04)。そして、自車両Cが工事区間内にある場合には(ステップ#07:Yes)、補正停止処理部35により、自車位置補正処理を停止する(ステップ#08)。その後、処理はステップ#06へ戻り、自車両Cがステップ#05で設定された工事区間から出るまでの間、自車位置補正処理が停止される(ステップ#08)。
また、ステップ#01で取得した自車位置情報Pに基づいて、自車両Cが工事データベースDB3に記憶された既存の工事情報Wに係る工事区間内にある場合には(ステップ#02:Yes)、次に、工事終了判定部36により、当該既存の工事情報Wが示す工事の終了を判定する工事終了判定を行う(ステップ#09)。そして、当該既存の工事情報Wが終了していると判定した場合には(ステップ#10:Yes)、地物学習手段41による地物学習処理を実行する(ステップ#11)。この地物学習処理については、後に図14に示すフローチャートに基づいて詳細に説明する。一方、当該既存の工事情報Wが終了していないと判定した場合には(ステップ#10:No)、処理はステップ#06へ進み、自車両Cが当該既存の工事情報Wに係る工事区間から出るまでの間、自車位置補正処理が停止される(ステップ#08)。以上で、自車位置補正・地物学習処理の全体の手順を終了する。
次に、自車位置補正処理の手順について説明する。図13に示すように、ナビゲーション装置1は、自車位置補正処理においては、まず、自車位置情報取得部14により自車位置情報Pを取得する(ステップ#21)。次に、画像情報取得部13により画像情報Gを取得する(ステップ#22)。本実施形態においては、地物画像認識部18はバックカメラ11により取得した画像情報Gを対象として地物の画像認識処理を行う。したがって、ここではバックカメラ11により撮影した画像情報Gを取得する。そして、地物画像認識部18は、ステップ#21で取得した自車位置情報Pに基づいて、地物データベースDB2から対象地物ftの地物情報Fを取得する(ステップ#23)。本実施形態においては、自車位置情報Pと地物情報Fに含まれる地物の位置情報とに基づいて、自車両Cの進行方向に存在する一つの地物の地物情報Fを地物データベースDB2から取得し、当該地物情報Fに係る地物を対象地物ftとして設定する。
その後、地物画像認識部18により、ステップ#22で取得した画像情報Gに対して、位置補正用画像認識処理を実行する(ステップ#24)。この位置補正用画像認識処理により対象地物ftの画像認識に成功しなかった場合には(ステップ#25:No)、処理はそのまま終了する。一方、位置補正用画像認識処理により対象地物ftの画像認識に成功した場合には(ステップ#25:Yes)、自車位置補正部19により、当該対象地物ftの画像認識結果に基づいて、自車両Cと対象地物ftとの位置関係を演算する(ステップ#26)。そして、自車位置補正部19により、ステップ#26の演算結果と、地物データベースDB2から取得した地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自車位置情報Pを補正する(ステップ#27)。以上で、自車位置補正処理の手順を終了する。
次に、地物学習処理の手順について説明する。図14に示すように、ナビゲーション装置1は、地物学習処理においては、まず、対象種別決定部42により、対象種別を決定する(ステップ#41)。上記のとおり、対象種別は、地物画像認識部18による地物学習用画像認識処理の対象とする地物種別である。次に、地物画像認識部18により、ステップ#41で決定された対象種別の地物を画像認識する地物学習用画像認識処理を実行する(ステップ#42)。そして、地物学習用画像認識処理により地物の画像認識に成功しなかった場合には(ステップ#43:No)、処理はステップ#47へ進む。一方、地物学習用画像認識処理により地物の画像認識に成功した場合には(ステップ#43:Yes)、認識位置情報取得部44により、当該地物の認識位置を表す認識位置情報sを生成して取得する(ステップ#44)。また、地物属性情報取得部45により、当該地物の属性を表す地物属性情報を生成して取得する(ステップ#45)。そして、認識地物情報生成部43により、認識位置情報sと地物属性情報とを関連付けて認識地物情報Aを生成し、学習データベースDB4に記憶する(ステップ#46)。
その後、ステップ#02の判定に係る既存の工事情報Wに係る工事区間内に自車両Cがあるか否かについて判定する(ステップ#47)。そして、自車両Cが工事区間内にある場合には(ステップ#47:Yes)、処理はステップ#42へ戻る。したがって、自車両Cが当該既存の工事情報Wに係る工事区間から出るまでの間、地物画像認識部18による地物学習用画像認識処理が継続され、地物の画像認識に成功した場合には、当該地物の認識地物情報Aが生成され、学習データベースDB4に記憶される。一方、自車両Cが既存の工事情報Wに係る工事区間から出た場合には(ステップ#47:No)、次に、学習データベースDB4に記憶された地物の認識位置情報sとしての学習値が、所定の学習しきい値T以上であるか否かを判定する。そして、地物の認識位置情報sとしての学習値が所定の学習しきい値T未満である場合には(ステップ#48:No)、処理はそのまま終了する。
一方、学習データベースDB4に記憶された地物の認識位置情報sとしての学習値が、所定の学習しきい値T以上である場合には(ステップ#48:Yes)、推測位置判定部43により、当該地物の推測位置pgを判定する(ステップ#49)。その後、学習地物情報生成部47により、当該地物についてのステップ#49で判定された推測位置pgを表す推測位置情報と、当該地物についての認識地物情報Aに含まれる地物属性情報とを関連付けて学習地物情報Fbを生成する(ステップ#50)。そして、生成した学習地物情報Fbを地物データベースDB2に記憶する(ステップ#51)。以上で、地物学習処理の手順を終了する。
20.その他の実施形態
(1)上記の実施形態では、補正停止処理部35が、自車位置情報Pに示される自車両Cの位置が工事区間内にある間、自車位置補正部19の処理を停止させる場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、少なくとも自車両Cの位置が工事区間内にある間自車位置補正部19の処理を停止させることができればよい。したがって、補正停止処理部35は、工事情報Wに係る工事区間の前後所定距離内においても自車位置補正部19の処理を停止させる構成とすることも可能である。このようにすることにより、工事情報取得手段31により取得される工事情報Wの工事区間の情報の精度が低い場合であっても、工事区間内で確実に自車位置補正部19の処理を停止させることが可能となる。
(2)上記の実施形態では、学習地物情報生成部47による学習地物情報Fbの生成条件、具体的には認識位置情報sとしての学習値に対する学習しきい値Tを一定とする場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、地物学習手段41は、地物画像認識部18による地物の画像認識結果と、地物データベースDB2に記憶された工事区間内の位置情報を有する地物情報Fとを対比し、それらの近似する程度に応じて学習地物情報Fbの生成条件を変更する構成とすることも、本発明の好適な実施形態の一つである。すなわち、道路工事が行われた場合には、工事区間内に存在していた地物が変更されている可能性があるが、地物が変更されない可能性もあり、また変更されている場合であっても位置が移動しているだけで地物種別や形態については変更されない場合もある。そこで、そのような可能性を考慮し、工事前から存在する地物に近似する地物を画像認識した場合には、学習を容易に行うようにし、学習地物情報Fbを迅速に生成して地物データベースDB2に記憶させる構成とすると好適である。具体的には、例えば学習しきい値Tを可変値とし、地物の画像認識結果と工事区間内の位置情報を有する地物情報Fとがほぼ一致する場合、又は位置のみが異なるだけで地物種別及び形態については一致する場合等には、学習しきい値Tを低く設定することも、本発明の好適な実施形態の一つである。
(3)上記のとおり、道路工事が行われた場合には、工事区間内に存在していた地物が変更されている可能性があるが、地物が変更されない可能性もあり、また変更されている場合であっても位置が移動しているだけで地物種別や形態については変更されない場合もある。そこで、地物学習手段41による地物の学習の結果としての学習地物情報Fbの内容が、初期地物情報Faと近似する場合には、初期地物情報Fa1を採用し、学習地物情報Fbを無効とする構成とすることも、本発明の好適な実施形態の一つである。このような構成とすることにより、道路工事によって地物が変更されていない場合に、より高い精度の情報として予め整備されている初期地物情報Faを採用することが可能となる。
(4)上記の実施形態では、認識位置情報取得部44により取得する認識位置情報sに係る地物の認識位置を、画像認識に成功した際の自車位置情報Pとする場合の例について説明した。しかし、認識位置情報sに係る地物の認識位置は、これに限定されるものではない。したがって、例えば、画像認識に成功した対象地物について、自車位置情報Pと画像情報Gの画像認識結果とに基づいて、自車位置情報Pを基準とする当該地物の道路上の位置を演算し、当該道路上の地物の位置を認識位置情報sに係る地物の認識位置とすることも、本発明の好適な実施形態の一つである。
(5)上記の実施形態では、推測位置判定部46が、同じ地物についての複数の認識位置情報sの分布に基づいて、当該分布の最頻値を当該対象地物の推測認識位置paとして判定し、当該推測認識位置paを、地物の道路上の位置に変換して地物の推測位置pgを判定する構成である場合の例について説明した。しかし、推測位置判定部43による推測位置pgの判定方法はこれに限定されない。したがって、例えば、認識位置情報sの分布に基づいて、当該分布の平均値や中央値等の他の代表値を当該地物の推測認識位置paとして判定する構成とすることも、本発明の好適な実施形態の一つである。
(6)上記の実施形態では、自車両Cが撮像装置としてフロントカメラ12及びバックカメラ11の双方を備える場合を例として説明したが、本発明の実施形態はこれに限定されず、フロントカメラ12及びバックカメラ11のいずれか一方のみを備えた構成とすることも、本発明の好適な実施形態の一つである。この場合、本発明に係る自車位置認識装置2及び地物情報収集装置3を含むナビゲーション装置1は、当該一方の撮像装置により取得した画像情報Gの画像認識結果に基づいて、工事情報Wの生成、自車位置情報Pの補正、及び地物学習を行う。また、フロントカメラ12及びバックカメラ11以外の撮像装置として、例えば、車両の側方を撮影するサイドカメラを用いることも可能である。
(7)上記の実施形態では、ナビゲーション装置1の全ての構成が自車両Cに搭載される場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではない。すなわち、撮像装置(バックカメラ11やフロントカメラ12)及び自車位置情報取得部14等のように、自車両Cに搭載する必要がある構成以外の全部又は一部の構成を、自車両Cの外部にあって無線通信回線等を介して自車両Cと通信可能に接続されたサーバ装置等に設けた構成とすることも、本発明の好適な実施形態の一つである。
(8)上記の各実施形態では、本発明に係る地物情報収集装置3をナビゲーション装置1に適用する場合の例について説明した。しかし、本発明の実施形態はこれに限定されるものではない。したがって、例えば、本発明に係る地物情報収集装置3を地図データベース作成装置等に利用する等のように、本発明を上記の実施形態とは異なる他の構成に適用することも当然に可能である。
本発明は、車両に搭載した撮像装置等から取得した画像情報に含まれる地物を画像認識して地物の情報を収集する地物情報収集装置及び地物情報収集プログラム、並びにそれらを用いた自車位置認識装置及びナビゲーション装置に好適に利用することができる。
本発明の実施形態に係るナビゲーション装置の概略構成を示すブロック図 ナビゲーション装置が搭載された自車両を示す図 地図データベースに記憶されている地図情報の構成の例を示す図 地物データベースに記憶されている道路標示の地物情報の例を示す図 対象地物を画像認識して自車位置情報を補正する際の自車両の状況の例を示す図 工事情報の取得方法の例を説明する説明図 工事シンボルとしての工事案内看板を撮像領域内に含む画像情報の例を示す図 工事情報の取得方法の例を説明する説明図 工事データベースに記憶された工事情報の例を示す図 地物の画像認識結果に基づく地物学習処理の概要を説明する説明図 学習データベースに記憶された学習値の部分拡大図 本発明の実施形態に係る自車位置補正・地物学習処理の全体の手順を示すフローチャート 自車位置補正処理の手順を示すフローチャート 地物学習処理の手順を示すフローチャート
符号の説明
1:ナビゲーション装置
2:自車位置認識装置
3:地物情報収集装置
13:画像情報取得部(画像情報取得手段)
14:自車位置情報取得部(自車位置情報取得手段)
18:地物画像認識部(地物画像認識手段)
19:自車位置補正部(自車位置補正手段)
21:アプリケーションプログラム
24:案内情報出力手段
31:工事情報取得手段
32:外部情報受信部(工事情報受信手段)
33:工事画像認識部(工事画像認識手段)
34:工事情報生成部(工事情報生成手段)
35:補正停止処理部(補正停止手段)
36:工事終了判定部(工事終了判定手段)
41:地物学習手段
46:推測位置判定部(推測位置判定手段)
47:学習地物情報生成部(学習地物情報生成手段)
DB1:地図データベース
DB2:地物データベース
DB3:工事データベース(工事情報記憶手段)
DB4:学習データベース(認識結果記憶手段)
C:自車両
G:画像情報
P:自車位置情報
M:地図情報
F:地物情報
Fa:初期地物情報
Fb:学習地物情報
W:工事情報
s:認識位置情報
wt:工事シンボル

Claims (17)

  1. 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得手段と、
    自車両の周辺の画像情報を取得する画像情報取得手段と、
    前記画像情報に含まれる地物の画像認識処理を行う地物画像認識手段と、
    工事区間の情報を含む工事情報を取得する工事情報取得手段と、
    前記工事情報取得手段により取得した前記工事情報を記憶する工事情報記憶手段と、
    前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報が示す工事の終了を判定する工事終了判定手段と、
    前記工事終了判定手段により工事の終了が判定された場合には、当該工事情報に係る工事区間において前記地物画像認識手段に地物の画像認識処理を行わせ、その画像認識結果と前記自車位置情報とに基づいて、画像認識された地物の位置情報及び属性情報を含む学習地物情報を生成する地物学習手段と、
    を備える地物情報収集装置。
  2. 前記工事情報取得手段は、自車両の外部に設置された発信装置から前記工事情報を受信する工事情報受信手段を含む請求項1に記載の地物情報収集装置。
  3. 前記工事情報取得手段は、前記画像情報取得手段により取得された前記画像情報に含まれる工事シンボルの画像認識処理を行う工事画像認識手段と、この工事画像認識手段による工事シンボルの画像認識結果に基づいて前記工事情報を生成する工事情報生成手段と、を含む請求項1又は2に記載の地物情報収集装置。
  4. 前記工事画像認識手段は、前記工事シンボルとして、工事案内看板、工事用フェンス、工事用バリケード、保安灯、コーン、及び工事案内人形の少なくとも一つの画像認識処理を行う請求項3に記載の地物情報収集装置。
  5. 前記工事情報生成手段は、前記工事シンボルの認識位置を基準とする所定区間を、前記工事情報に含まれる前記工事区間の情報として設定する請求項3又は4に記載の地物情報収集装置。
  6. 前記工事情報生成手段は、連続する複数フレームの画像情報に工事シンボルが含まれていた場合に、自車両の前方の画像情報に含まれる最初の工事シンボルの認識位置を基準として前記工事区間の始点を設定し、自車両の後方の画像情報に含まれる最後の工事シンボルの認識位置を基準として前記工事区間の終点を設定する請求項5に記載の地物情報収集装置。
  7. 前記工事情報生成手段は、前記工事画像認識手段により前記工事シンボルとして工事案内看板を画像認識した場合であって、当該工事案内看板の画像認識結果に基づいて工事区間を認識できた場合には、当該工事区間の認識結果に従って前記工事情報に含まれる工事区間の情報を設定する請求項3又は4に記載の地物情報収集装置。
  8. 前記工事終了判定手段は、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、前記工事情報取得手段によって同じ工事区間を含む工事情報を取得しなかった場合に、当該工事情報が示す工事が終了したと判定する請求項1から7のいずれか一項に記載の地物情報収集装置。
  9. 前記工事情報が工事期間の情報を含む場合には、前記工事終了判定手段は、前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報に係る工事期間が終了している場合に、当該工事情報が示す工事が終了したと判定する請求項1から7のいずれか一項に記載の地物情報収集装置。
  10. 前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行しないまま所定期間が経過した際に、当該工事情報を前記工事情報記憶手段から消去する請求項1から9のいずれか一項に記載の地物情報収集装置。
  11. 前記地物学習手段は、
    前記自車位置情報に基づいて求められる、前記地物画像認識手段による地物の認識位置を表す認識位置情報を、当該地物の属性情報と関連付けて記憶する認識結果記憶手段と、
    同じ地物が複数回画像認識されることにより前記認識結果記憶手段に記憶された、同じ地物についての複数の前記認識位置情報に基づいて、当該地物の推測位置を判定する推測位置判定手段と、
    前記推測位置判定手段により判定された各地物の推測位置を表す位置情報と当該地物の属性情報とを関連付けて学習地物情報を生成する学習地物情報生成手段と、
    を備える請求項1から10のいずれか一項に記載の地物情報収集装置。
  12. 複数の地物について予め整備された位置情報及び属性情報を含む初期地物情報を記憶する地物データベースを更に備え、
    前記地物学習手段は、前記地物画像認識手段に対して、前記工事区間内において当該工事区間内の位置情報を有する前記初期地物情報に係る地物と同一種別の地物を優先的に画像認識させる請求項1から11のいずれか一項に記載の地物情報収集装置。
  13. 前記地物学習手段は、前記地物画像認識手段による地物の画像認識結果と前記工事区間内の位置情報を有する初期地物情報とを対比し、それらの近似する程度に応じて前記学習地物情報の生成条件を変更する請求項12に記載の地物情報収集装置。
  14. 前記学習地物情報を記憶するデータベースを備える請求項1から13のいずれか一項に記載の地物情報収集装置。
  15. 請求項1から14のいずれか一項に記載の地物情報収集装置と、
    前記地物画像認識手段による地物の画像認識結果と当該地物についての前記学習地物情報とを照合して前記自車位置情報を補正する自車位置補正手段と、
    を備える自車位置認識装置。
  16. 請求項15に記載の自車位置認識装置と、地図情報が記憶された地図データベースと、前記地図情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備えるナビゲーション装置。
  17. 自車両の現在位置を表す自車位置情報を取得する自車位置情報取得機能と、
    自車両の周辺の画像情報を取得する画像情報取得機能と、
    前記画像情報に含まれる地物の画像認識処理を行う地物画像認識機能と、
    工事区間の情報を含む工事情報を取得する工事情報取得機能と、
    前記工事情報取得機能により取得した前記工事情報を工事情報記憶手段に記憶する工事情報記憶機能と、
    前記工事情報記憶手段に既に記憶された工事情報に係る工事区間に対応する道路の区間を自車両が走行する際に、当該工事情報が示す工事の終了を判定する工事終了判定機能と、
    前記工事終了判定機能により工事の終了が判定された場合には、当該工事情報に係る工事区間において地物の画像認識処理を行い、その画像認識結果と前記自車位置情報とに基づいて、画像認識された地物の位置情報及び属性情報を含む学習地物情報を生成する地物学習機能と、
    をコンピュータに実現させるための地物情報収集プログラム。
JP2007337454A 2007-12-27 2007-12-27 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置 Expired - Fee Related JP4831434B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007337454A JP4831434B2 (ja) 2007-12-27 2007-12-27 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
EP08168734.5A EP2113746B1 (en) 2007-12-27 2008-11-10 Feature information collecting device and feature information collecting program, and vehicle position recognizing device and navigation device
US12/292,132 US8379923B2 (en) 2007-12-27 2008-11-12 Image recognition processing device, method, and program for processing of image information obtained by imaging the surrounding area of a vehicle
CN200810183889.6A CN101469998B (zh) 2007-12-27 2008-12-15 地物信息收集装置、自车位置识别装置和导航装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007337454A JP4831434B2 (ja) 2007-12-27 2007-12-27 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2009156784A true JP2009156784A (ja) 2009-07-16
JP4831434B2 JP4831434B2 (ja) 2011-12-07

Family

ID=40719956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007337454A Expired - Fee Related JP4831434B2 (ja) 2007-12-27 2007-12-27 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置

Country Status (4)

Country Link
US (1) US8379923B2 (ja)
EP (1) EP2113746B1 (ja)
JP (1) JP4831434B2 (ja)
CN (1) CN101469998B (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011214961A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置
JP2012164254A (ja) * 2011-02-09 2012-08-30 Denso Corp 標識認識装置
JP2015535106A (ja) * 2012-10-25 2015-12-07 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH 車線の領域内にあるマークされた危険個所、及び/或いは、工事現場を認識するための方法、並びに、手段
JP2016151887A (ja) * 2015-02-17 2016-08-22 株式会社東芝 路上監視装置、路上監視システム、方法及びプログラム
JP2017097906A (ja) * 2012-09-05 2017-06-01 グーグル インコーポレイテッド 複数の情報源を用いる建設区域検出
JP2018154338A (ja) * 2013-04-10 2018-10-04 ウェイモ エルエルシー 自律運転のための作業中及び非作業中の工事区域のマップ作成
US10302439B2 (en) 2015-02-27 2019-05-28 Denso Corporation Driving assistance apparatus and mounting apparatus
JP2019204077A (ja) * 2018-05-24 2019-11-28 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 地図の動的データの取得方法、機器及び記憶媒体
JP2020021398A (ja) * 2018-08-03 2020-02-06 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP2020178309A (ja) * 2019-04-22 2020-10-29 東京瓦斯株式会社 監視システム、監視方法および監視プログラム
US10916034B2 (en) 2018-07-10 2021-02-09 Toyota Jidosha Kabushiki Kaisha Host vehicle position estimation device
JP2021101184A (ja) * 2015-02-10 2021-07-08 モービルアイ ビジョン テクノロジーズ リミテッド 車両のためのナビゲーションシステム、車両のナビゲーション方法、およびコンピュータプログラム
JP2021157225A (ja) * 2020-03-25 2021-10-07 パナソニックIpマネジメント株式会社 照明システム
WO2023145740A1 (ja) * 2022-01-26 2023-08-03 株式会社デンソー 地図情報システム、車載装置および管理サーバ

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4831434B2 (ja) * 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
EP2340187B1 (de) * 2008-10-22 2019-03-20 Continental Teves AG & Co. OHG Verfahren und vorrichtung zur automatischen fahrtrichtungsanzeige
US8376595B2 (en) 2009-05-15 2013-02-19 Magna Electronics, Inc. Automatic headlamp control
JP5361541B2 (ja) * 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
US8761435B2 (en) * 2009-06-24 2014-06-24 Navteq B.V. Detecting geographic features in images based on invariant components
US8953838B2 (en) * 2009-06-24 2015-02-10 Here Global B.V. Detecting ground geographic features in images based on invariant components
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
WO2011016819A1 (en) * 2009-08-03 2011-02-10 Tele Atlas North America Method of verifying attribute information of a digital transport network database using interpolation and probe traces
JP2011113318A (ja) * 2009-11-26 2011-06-09 Fujitsu Ltd 画像処理装置、画像処理方法および画像処理プログラム
TWI413945B (zh) * 2009-11-27 2013-11-01 Icm Inc Recording Activity Learning System and Learning Method of Driving Recorder
JP5255595B2 (ja) * 2010-05-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、及び端末位置特定方法
US8977022B2 (en) * 2010-07-09 2015-03-10 Ge Sensing & Inspection Technologies Gmbh Computed tomography method, and system
DE102010039634B4 (de) * 2010-08-23 2013-05-08 Ford Global Technologies, Llc Anordnung und Verfahren zur Verkehrszeichenerkennung
US8823556B2 (en) * 2010-09-02 2014-09-02 Honda Motor Co., Ltd. Method of estimating intersection control
ES2402422B1 (es) * 2011-09-07 2014-03-11 Manuel MUÑOZ SÁIZ Sistema de conducción automática y de avisos de zonas de velocidad reducida para vehiculos mejorado
ITTO20111215A1 (it) * 2011-12-27 2013-06-28 Magneti Marelli Spa Procedimento di pianificazione del percorso di un veicolo
US9043133B2 (en) * 2011-12-29 2015-05-26 Intel Corporation Navigation systems and associated methods
US9986208B2 (en) * 2012-01-27 2018-05-29 Qualcomm Incorporated System and method for determining location of a device using opposing cameras
EP2629243A1 (de) * 2012-02-15 2013-08-21 Delphi Technologies, Inc. Verfahren zum Erkennen und Verfolgen von Fahrspurmarkierungen
DE102012003632A1 (de) * 2012-02-24 2012-10-04 Daimler Ag Verfahren zur Bereitstellung von baustellenbezogenen Informationen
US9092695B1 (en) * 2013-03-13 2015-07-28 Google Inc. High-accuracy real-time road sign detection from images
JP6218089B2 (ja) * 2013-06-18 2017-10-25 パナソニックIpマネジメント株式会社 撮影位置決定装置及び撮影位置決定方法
CN103544480A (zh) * 2013-10-17 2014-01-29 公安部第三研究所 车辆颜色识别方法
KR102371587B1 (ko) * 2015-05-22 2022-03-07 현대자동차주식회사 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
CN105160919A (zh) * 2015-08-07 2015-12-16 深圳市灵动飞扬科技有限公司 限速标志识别方法及系统
US20190266416A1 (en) * 2015-11-08 2019-08-29 Otobrite Electronics Inc. Vehicle image system and method for positioning vehicle using vehicle image
JP6323439B2 (ja) * 2015-12-17 2018-05-16 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US9937923B2 (en) * 2016-01-30 2018-04-10 Bendix Commercial Vehicle Systems Llc System and method for providing a speed warning and speed control
DE102016202973B4 (de) * 2016-02-25 2018-05-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erkennen einer Straßenbaustelle
JP6607139B2 (ja) * 2016-04-26 2019-11-20 トヨタ自動車株式会社 情報収集システム
CN106056907B (zh) * 2016-06-28 2018-07-31 福州大学 地铁施工区道路交通控制方法
DE102016214868A1 (de) * 2016-08-10 2018-02-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Erstellen oder Ergänzen einer Karte für ein Kraftfahrzeug
CN106289303A (zh) * 2016-09-22 2017-01-04 百度在线网络技术(北京)有限公司 基于导航地图的信息描述方法及装置
JP2018097534A (ja) * 2016-12-12 2018-06-21 トヨタ自動車株式会社 工事関連情報推定システム
CN106875442A (zh) * 2016-12-26 2017-06-20 上海蔚来汽车有限公司 基于图像特征数据的车辆定位方法
JP2018128389A (ja) * 2017-02-09 2018-08-16 トヨタ自動車株式会社 画像処理システム及び画像処理方法
EP3509930B1 (de) 2017-03-07 2020-01-08 Continental Automotive GmbH Vorrichtung und verfahren zur detektion einer handführung eines lenkrades
DE102017207544A1 (de) * 2017-05-04 2018-11-08 Volkswagen Aktiengesellschaft Verfahren, vorrichtungen und computerlesbares speichermedium mit instruktionen zur ortsbestimmung eines durch ein kraftfahrzeug erfassten datums
US11093760B2 (en) * 2017-08-26 2021-08-17 Here Global B.V. Predicting features on a road network with repeating geometry patterns
US10223601B1 (en) 2017-10-12 2019-03-05 Denso International America, Inc. Synthetic traffic object generator
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
US10706721B2 (en) * 2018-07-20 2020-07-07 Denso International America, Inc. Toll road detection and reporting system
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
JP7518689B2 (ja) * 2020-07-29 2024-07-18 カワサキモータース株式会社 移動経路生成システム、移動経路生成プログラム及び移動経路生成方法
CN112721926B (zh) * 2021-02-25 2023-05-09 深圳市科莱德电子有限公司 基于区块链的自动驾驶汽车车道保持控制方法、系统
US11636687B2 (en) * 2021-06-24 2023-04-25 Guangzhou Automobile Group Co., Ltd. Adaptive processing method for new scenes in autonomous driving, autonomous driving method and system
EP4198919A1 (en) * 2021-12-14 2023-06-21 Bayerische Motoren Werke Aktiengesellschaft Method and device for detecting a construction site for an automated vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006052972A (ja) * 2004-08-10 2006-02-23 Alpine Electronics Inc 車載用電子装置
JP2006184106A (ja) * 2004-12-27 2006-07-13 Aisin Aw Co Ltd 車載用ナビゲーション装置
JP2006292701A (ja) * 2005-04-15 2006-10-26 Alpine Electronics Inc 車載装置及び道路状況表示方法
JP2007108043A (ja) * 2005-10-14 2007-04-26 Xanavi Informatics Corp 位置測位装置、および位置測位方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3564547B2 (ja) * 1995-04-17 2004-09-15 本田技研工業株式会社 自動走行誘導装置
US7295925B2 (en) * 1997-10-22 2007-11-13 Intelligent Technologies International, Inc. Accident avoidance systems and methods
KR100224326B1 (ko) 1995-12-26 1999-10-15 모리 하루오 차량용 네비게이션장치
US6047234A (en) 1997-10-16 2000-04-04 Navigation Technologies Corporation System and method for updating, enhancing or refining a geographic database using feedback
DE19842176A1 (de) 1998-09-15 2000-03-16 Bosch Gmbh Robert Verfahren und Vorrichtung zur Verkehrszeichenerkennung und Navigation
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
DE19852631C2 (de) * 1998-11-14 2001-09-06 Daimler Chrysler Ag Vorrichtung und Verfahren zur Verkehrszeichenerkennung
DE19916967C1 (de) * 1999-04-15 2000-11-30 Daimler Chrysler Ag Verfahren zur Aktualisierung einer Verkehrswegenetzkarte und kartengestütztes Verfahren zur Fahrzeugführungsinformationserzeugung
JP2002267457A (ja) * 2001-03-07 2002-09-18 Kenwood Corp ナビゲーションシステム、新設道路表示方法およびプログラム
JP3660308B2 (ja) * 2001-05-18 2005-06-15 本田技研工業株式会社 車両の走行区分線認識装置
US7729850B1 (en) * 2002-09-30 2010-06-01 Kraft Clifford H System and method of providing real-time road construction information for vehicle trip planning
DE10251357A1 (de) 2002-11-05 2004-05-13 Daimlerchrysler Ag Setzen oder Abschalten eines Fahrtrichtungsanzeigers
JP2006038558A (ja) 2004-07-26 2006-02-09 Denso Corp カーナビゲーションシステム
JP4557288B2 (ja) * 2005-01-28 2010-10-06 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP4595605B2 (ja) * 2005-03-17 2010-12-08 株式会社デンソー 車載ナビゲーション装置
JP2006275690A (ja) 2005-03-29 2006-10-12 Fujitsu Ten Ltd 運転支援装置
JP4731380B2 (ja) 2006-03-31 2011-07-20 アイシン・エィ・ダブリュ株式会社 自車位置認識装置及び自車位置認識方法
JP4897516B2 (ja) * 2007-02-28 2012-03-14 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置及びデータ更新システム
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
JP4831434B2 (ja) * 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
US20090177379A1 (en) * 2008-01-07 2009-07-09 Rory Jones Navigation device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006052972A (ja) * 2004-08-10 2006-02-23 Alpine Electronics Inc 車載用電子装置
JP2006184106A (ja) * 2004-12-27 2006-07-13 Aisin Aw Co Ltd 車載用ナビゲーション装置
JP2006292701A (ja) * 2005-04-15 2006-10-26 Alpine Electronics Inc 車載装置及び道路状況表示方法
JP2007108043A (ja) * 2005-10-14 2007-04-26 Xanavi Informatics Corp 位置測位装置、および位置測位方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011214961A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置
JP2012164254A (ja) * 2011-02-09 2012-08-30 Denso Corp 標識認識装置
JP2017097906A (ja) * 2012-09-05 2017-06-01 グーグル インコーポレイテッド 複数の情報源を用いる建設区域検出
JP2018060572A (ja) * 2012-09-05 2018-04-12 ウェイモ エルエルシー 複数の情報源を用いる建設区域検出
JP2015535106A (ja) * 2012-10-25 2015-12-07 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミットベシュレンクテル ハフツングConti Temic microelectronic GmbH 車線の領域内にあるマークされた危険個所、及び/或いは、工事現場を認識するための方法、並びに、手段
JP2018154338A (ja) * 2013-04-10 2018-10-04 ウェイモ エルエルシー 自律運転のための作業中及び非作業中の工事区域のマップ作成
US11287823B2 (en) 2013-04-10 2022-03-29 Waymo Llc Mapping active and inactive construction zones for autonomous driving
JP2021101184A (ja) * 2015-02-10 2021-07-08 モービルアイ ビジョン テクノロジーズ リミテッド 車両のためのナビゲーションシステム、車両のナビゲーション方法、およびコンピュータプログラム
JP7467365B2 (ja) 2015-02-10 2024-04-15 モービルアイ ビジョン テクノロジーズ リミテッド 車両のためのナビゲーションシステム、車両のナビゲーション方法、およびコンピュータプログラム
JP2016151887A (ja) * 2015-02-17 2016-08-22 株式会社東芝 路上監視装置、路上監視システム、方法及びプログラム
US10302439B2 (en) 2015-02-27 2019-05-28 Denso Corporation Driving assistance apparatus and mounting apparatus
JP6995794B2 (ja) 2018-05-24 2022-01-17 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 地図の動的データの取得方法、機器及び記憶媒体
US10999389B2 (en) 2018-05-24 2021-05-04 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device for acquiring dynamic map data, and storage medium
JP2019204077A (ja) * 2018-05-24 2019-11-28 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド 地図の動的データの取得方法、機器及び記憶媒体
US10916034B2 (en) 2018-07-10 2021-02-09 Toyota Jidosha Kabushiki Kaisha Host vehicle position estimation device
JP2020021398A (ja) * 2018-08-03 2020-02-06 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP7073972B2 (ja) 2018-08-03 2022-05-24 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP2020178309A (ja) * 2019-04-22 2020-10-29 東京瓦斯株式会社 監視システム、監視方法および監視プログラム
JP7269785B2 (ja) 2019-04-22 2023-05-09 東京瓦斯株式会社 監視システム、監視方法および監視プログラム
JP2021157225A (ja) * 2020-03-25 2021-10-07 パナソニックIpマネジメント株式会社 照明システム
JP7429862B2 (ja) 2020-03-25 2024-02-09 パナソニックIpマネジメント株式会社 照明システム
WO2023145740A1 (ja) * 2022-01-26 2023-08-03 株式会社デンソー 地図情報システム、車載装置および管理サーバ

Also Published As

Publication number Publication date
CN101469998B (zh) 2013-03-20
CN101469998A (zh) 2009-07-01
EP2113746A1 (en) 2009-11-04
EP2113746B1 (en) 2016-12-21
JP4831434B2 (ja) 2011-12-07
US20090169055A1 (en) 2009-07-02
US8379923B2 (en) 2013-02-19

Similar Documents

Publication Publication Date Title
JP4831434B2 (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP7009716B2 (ja) 自律車両ナビゲーションのための疎な地図
US8213682B2 (en) Feature information collecting apparatuses, methods, and programs
JP4886597B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4557288B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP4703605B2 (ja) 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
JP4984152B2 (ja) 画像認識システム、サーバ装置、及び画像認識装置
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP2008250687A (ja) 地物情報収集装置及び地物情報収集方法
JP2006209510A (ja) 画像認識装置及び画像認識方法
JP2009134429A (ja) 画像認識装置及び画像認識プログラム
JP2011122936A (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP4591311B2 (ja) 経路案内システム及び経路案内方法
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP2009205403A (ja) 道路標示認識装置、および道路標示認識方法
JP2007274564A (ja) キャリブレーション装置及びキャリブレーション方法
JP4831433B2 (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP2007241468A (ja) 車線変更検出装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP2010139478A (ja) ナビゲーション装置
JP4789868B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
JP4817019B2 (ja) 自車位置認識装置及び自車位置認識プログラム
JP2009058430A (ja) ナビゲーション装置及びナビゲーションプログラム
JP4816561B2 (ja) 情報作成装置、情報作成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110825

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110907

R150 Certificate of patent or registration of utility model

Ref document number: 4831434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees