JP2008298698A - 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 - Google Patents

画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 Download PDF

Info

Publication number
JP2008298698A
JP2008298698A JP2007147495A JP2007147495A JP2008298698A JP 2008298698 A JP2008298698 A JP 2008298698A JP 2007147495 A JP2007147495 A JP 2007147495A JP 2007147495 A JP2007147495 A JP 2007147495A JP 2008298698 A JP2008298698 A JP 2008298698A
Authority
JP
Japan
Prior art keywords
information
feature
image recognition
target
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007147495A
Other languages
English (en)
Other versions
JP4789869B2 (ja
Inventor
Tomoaki Ishikawa
知章 石川
Masaki Nakamura
正樹 中村
Naoto Miura
直人 三浦
Kiyokazu Okada
清和 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2007147495A priority Critical patent/JP4789869B2/ja
Publication of JP2008298698A publication Critical patent/JP2008298698A/ja
Application granted granted Critical
Publication of JP4789869B2 publication Critical patent/JP4789869B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自位置周辺の画像情報を対象とする画像認識を行うに際して、画像認識処理の対象とする対象地物を可変設定することにより、演算処理負荷を軽減しつつ、誤認識を抑制して認識率を高めることが可能な画像認識装置等を提供する。
【解決手段】自位置周辺の画像情報Gを取得する画像情報取得手段4と、自位置情報Lを取得する自位置情報取得手段13と、自位置情報Lの誤差の推測値である推測誤差を求め、この推測誤差に応じた自位置情報Lの自信度Eを決定する自信度決定手段9と、地物情報Fが格納された地物情報格納手段22と、自信度Eに応じて、地物情報格納手段22に地物情報Fが格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物を設定する対象地物設定手段15と、対象地物の地物情報Fを用いて、画像情報Gに対する対象地物の画像認識処理を行う画像認識手段5と、を備える。
【選択図】図1

Description

本発明は、例えば車両等に搭載され、自位置周辺の画像情報に対する画像認識処理を行うための画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置に関する。
近年の撮像装置や画像認識技術の向上に伴って、自位置情報の補正や車両制御等のために、車載カメラにより撮像した画像情報を用いて、自位置周辺の地物の画像認識を行う画像認識装置が開発されるようになってきた(例えば、下記の特許文献1及び2参照)。
下記の特許文献1には、車載用ナビゲーション装置に用いる画像認識装置が開示されている。この画像認識装置は、車載カメラにより撮像した車両前方の走行道路に沿った画像情報を取得し、この画像情報に基づいて交差点シンボル等の地物の画像認識を行う。そして、ナビゲーション装置は、画像認識結果に基づいて交差点を検出し、車両位置から交差点までの距離を求め、地図データから得られる交差点位置から前記距離だけ離れた走行道路上のポイントに、車両位置を修正する。これにより、このナビゲーション装置は、長い直線道路のように特徴のない道路上を走行している場合において、走行方向前後にずれた位置にマップマッチングしても、正しく車両位置を修正することが可能となっている。
また、下記の特許文献2には、車両用運転支援装置に用いる画像認識装置が開示されている。この画像認識装置は、車載カメラから入力される画像情報に基づいて停止線等の地物の画像認識を行う。この際、画像認識装置は、元画像の下側よりに予め設定しておいた6つの小領域からなる停止線を認識するための領域のうち、連続する3つの小領域の平均輝度が低い状態から高くなり、その後低くなった場合に停止線が存在すると判定する。そして、車両用運転支援装置は、この画像認識結果に基づいて、停止線が存在し、且つ、停止線の直ぐ先に立体物がある場合にドライバに警報を行ったり、停止線が存在する場合は渋滞追従モードをOFFしたり、或いは、車両が停車中で、停止線が存在し、且つ、停止線の直ぐ先に立体物がある場合は車両の発進を禁止する等してドライバの運転を支援する。これにより、この車両用運転支援装置は、車幅方向に長く描かれる停止線を確実に認識することができ、この停止線の認識結果により、一般道における交差点への進入を的確に制御することを可能とすることを目的としている。
これらの技術では、装置の状態、特に自位置情報の精度等の状態に関係なく、カメラにより取得される画像情報に対して、一定の条件で画像認識処理を行う構成となっている。また、画像情報に対する画像認識処理は、信号機、横断歩道、停止線等の予め定められた地物種別の全ての地物を対象とし、画像情報の全体に対して、それらの地物の画像認識処理を行う構成となっている。
特開平09−243389号公報 特開2003−85562号公報
しかし、上記のようなこれまでの画像認識装置の構成では、画像認識処理の対象とする地物種別が複数ある場合には、複数種類の形態の画像を認識対象の地物の画像として認識するため、認識対象の地物以外のものの画像を認識対象の地物の画像と誤認識する可能性が高くなるという問題がある。また、これまでの画像認識装置の構成では、認識対象の地物が画像情報のどの範囲に存在するかが不明であるために、画像情報の全体を認識範囲とする必要があった。そのため、画像認識処理のための演算処理の負荷が大きくなり、高性能なハードウェア等が必要になるといった問題も生じうる。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、自位置周辺の画像情報を対象とする画像認識を行うに際して、画像認識処理の対象とする対象地物を可変設定することにより、演算処理負荷を軽減しつつ、誤認識を抑制して認識率を高めることが可能な画像認識装置、及び画像認識方法、並びにこれを用いた自位置認識装置及びナビゲーション装置を提供することにある。
上記目的を達成するための本発明に係る画像認識装置の特徴構成は、自位置周辺の画像情報を取得する画像情報取得手段と、自位置情報を取得する自位置情報取得手段と、前記自位置情報の誤差の推測値である推測誤差を求め、この推測誤差に応じた前記自位置情報の自信度を決定する自信度決定手段と、地物の位置情報及び形態情報を含む地物情報が格納された地物情報格納手段と、前記自信度に応じて、前記地物情報格納手段に前記地物情報が格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物を設定する対象地物設定手段と、前記対象地物の地物情報を用いて、前記画像情報に対する前記対象地物の画像認識処理を行う画像認識手段と、を備える点にある。
この特徴構成によれば、自位置情報の推測誤差に応じて決定される自信度に応じて、前記地物情報格納手段に前記地物情報が格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物が設定されることになる。したがって、前記自信度に応じて最適な対象地物を可変設定し、画像認識処理のための演算処理負荷を軽減しつつ、誤認識を抑制して対象地物の認識率を高めることが可能となる。また、前記地物情報格納手段に格納された地物情報に含まれる対象地物の位置情報及び形状情報に基づいて、当該対象地物の画像認識を行うことになるので、対象地物の画像認識処理の正確性を高め、認識率を高めることが可能となる。
ここで、前記対象地物設定手段は、前記自信度が高いほど、前記対象地物の数を少なく設定すると好適である。
このように構成すれば、前記自信度が高いほど、すなわち前記自位置情報の誤差が小さいほど、一回の画像認識処理で認識対象となる対象地物の数を少なく設定することになる。したがって、前記自信度が高い場合には、自位置の進行方向に存在する対象地物となり得る地物の数が同じ場合であっても、画像認識処理の機会を増やすことが可能となる。よって、障害物の存在等により一つの対象地物の画像認識が失敗した場合であっても、他の対象地物の画像認識を成功させて画像認識結果を得ることができる可能性を高めることができる。一方、前記自信度が低い場合には、複数の対象地物を一回の画像認識処理の認識対象とすることになるので、比較的狭い間隔で複数の地物が配置されている場合であっても、画像認識処理に際して、それら複数の地物の内の一つを隣接する他の地物と誤認識することを抑制し、対象地物の認識率を高めることが可能となる。
また、前記対象地物設定手段は、前記自信度と前記自位置情報と前記地物情報とに基づいて、前記対象地物を設定する構成とすると好適である。
このように構成すれば、前記自位置情報及びその誤差と前記対象地物の形態と前記対象地物の位置とに応じて、誤認識を抑制できるように、適切に対象地物を設定することが可能となる。
また、前記対象地物設定手段は、前記地物情報格納手段に格納された地物情報に基づいて、自位置の進行方向に、複数の地物が前記自信度に応じて定まる地物間隔以下の間隔で存在する場合に、それら複数の地物を前記対象地物に設定する構成とすると好適である。
このように構成すれば、前記自信度が低く自位置情報の誤差が比較的大きい場合であって、当該自位置情報の誤差に対して比較的狭い間隔で複数の地物が存在するために一つの対象地物を隣接する他の地物と誤認識する可能性がある場合に、それら複数の地物を対象地物に設定することで、複数の対象地物を一回の画像認識処理の認識対象とすることになる。したがって、それら複数の地物の内の一つを隣接する他の地物と誤認識することを抑制し、対象地物の認識率を高めることが可能となる。また、前記地物間隔は前記自信度に応じて定まるので、前記自信度が高いほど、すなわち前記自位置情報の誤差が小さいほど、前記地物間隔は狭くなる。したがって、前記自信度が高い場合には、複数の地物のそれぞれを別の画像認識処理の対象地物にすることができるので、自位置の進行方向に存在する対象地物となり得る地物の数が同じ場合であっても、画像認識処理の機会を増やすことが可能となる。よって、障害物の存在等により一つの対象地物の画像認識が失敗した場合であっても、他の対象地物の画像認識を成功させて画像認識結果を得ることができる可能性を高めることができる。
また、前記対象地物設定手段は、前記地物情報格納手段に格納された地物情報に基づいて、前記地物間隔以下の間隔で存在する複数の地物が互いに誤認識する可能性がある地物である場合に、それら複数の地物を前記対象地物に設定する構成とすると好適である。
このように構成すれば、前記地物間隔以下の間隔で存在する複数の地物が互いに誤認識する可能性がある場合には、それら複数の地物を対象地物に設定することで、複数の対象地物を一回の画像認識処理の認識対象とすることになる。したがって、それら複数の地物の内の一つを隣接する他の地物と誤認識することを抑制し、対象地物の認識率を高めることが可能となる。一方、複数の地物が前記自信度に応じて定まる地物間隔以下の間隔で存在する場合であっても、それらの地物が互いに誤認識する可能性がない場合には、複数の地物のそれぞれを別の画像認識処理の対象地物にすることができるので、自位置の進行方向に存在する対象地物となり得る地物の数が同じ場合であっても、画像認識処理の機会を増やすことが可能となる。よって、障害物の存在等により一つの対象地物の画像認識が失敗した場合であっても、他の対象地物の画像認識を成功させて画像認識結果を得ることができる可能性を高めることができる。
また、前記対象地物設定手段は、前記地物情報に含まれる前記形態情報に基づいて、前記複数の地物についての互いに誤認識する可能性の有無を判定する構成とすると好適である。
このように構成すれば、前記地物情報格納手段に格納された地物情報に含まれる形態情報に基づいて、複数の地物についての互いに誤認識する可能性の有無を適切に判定することができる。
また、前記自信度に応じて前記対象地物のそれぞれについての画像認識処理を行う範囲である画像認識範囲を設定する画像認識範囲設定手段を備え、前記対象地物設定手段は、前記画像認識範囲の大きさに応じて前記地物間隔を設定する構成とすると好適である。
このように構成すれば、前記自信度に応じて前記対象地物のそれぞれについての画像認識範囲を適切に設定することができるので、前記対象地物の画像が前記画像認識範囲から外れることを防止しつつ、前記画像認識範囲を必要最小限として画像認識処理のための演算処理負荷を軽減し、誤認識を抑制して認識率を高めることが可能となる。また、前記画像認識範囲の大きさに応じて前記地物間隔を設定するので、画像認識範囲に応じて、複数の地物の内の一つを隣接する他の地物と誤認識することを抑制するように、適切に対象地物を設定することが可能となる。
また、前記画像認識範囲は、自位置の進行方向に区画される範囲であると好適である。
このように構成すれば、自位置の進行方向に沿って適切に画像認識範囲を設定し、自位置の進路に沿って存在する対象地物の画像認識処理を適切に行うことが可能となる。
また、前記推測誤差は、前記自位置情報の取得条件が最も悪い場合を想定した最大誤差の推測値であると好適である。
このように構成すれば、前記自位置情報の取得条件が最も悪い場合を想定した最大誤差に応じて、対象地物の設定を行うことになる。したがって、前記自位置情報の取得条件が悪い場合にも適切に対象地物の設定を行うことが可能となる。
また、前記推測誤差は、自位置の移動距離に応じて増加する距離要因誤差と、自位置の移動距離とは無関係な固定要因誤差とを加算して求めると好適である。
このように構成すれば、正確に推測誤差を求めることができる。
また、前記自位置情報取得手段は、前記自位置情報として、自位置が進行中の道路における自位置が存在する可能性がある一又は二以上のレーンを特定したレーン特定情報を取得し、前記自信度決定手段は、前記レーン特定情報の推測誤差としての自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて、前記レーン特定情報の自信度であるレーン自信度を決定し、前記対象地物設定手段は、前記地物情報格納手段に格納された地物情報に基づいて、前記レーン自信度に応じて自位置が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を前記対象地物に設定する構成とすると好適である。
このように構成すれば、自位置が進行中の道路における自位置が存在する可能性があるレーンを一つに特定することができない場合であっても、自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて適切に対象地物を設定して画像認識処理を行うことができる。また、自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて対象地物を設定するので、一回の画像認識処理で認識対象とする対象地物の数を必要最小限にすることができる。したがって、画像認識処理のための演算処理負荷を軽減しつつ、他の地物との誤認識を抑制して認識率を高めることが可能となる。
また、前記対象地物は、道路の路面に設けられた道路標示であると好適である。
このように構成すれば、自位置が進行する道路の路面の画像情報を取得することで、前記対象地物が含まれる画像情報を容易に取得することが可能となる。したがって、前記対象地物の画像認識処理の正確性を高めることができる。
本発明に係る自位置認識装置の特徴構成は、上記の画像認識装置と、前記画像認識装置による画像認識処理の結果と前記地物情報に含まれる前記対象地物の前記位置情報とに基づいて前記自位置情報を補正する自位置情報補正手段と、を備える点にある。
この特徴構成によれば、上記のような対象地物の画像認識処理の結果と、前記地物情報に含まれる対象地物の位置情報とに基づいて前記自位置情報を補正するので、対象地物の位置情報を基準として前記自位置情報を補正することができ、自位置の認識精度を高めることができる。
本発明に係るナビゲーション装置の特徴構成は、上記の自位置認識装置と、前記地物情報を含む地図情報が格納された地図情報格納手段と、前記地図情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備える点にある。
この特徴構成によれば、前記自位置認識装置により認識された正確な自位置の情報に基づいて、案内情報の出力を行うことができる。したがって、前記地図情報との組合せによる正確な自位置表示等の案内情報の出力が可能となるとともに、目的地までの進路案内等のための案内情報の適切なタイミングでの出力も可能となる。
本発明に係る画像認識方法の特徴構成は、自位置周辺の画像情報を取得する画像情報取得ステップと、自位置情報を取得する自位置情報取得ステップと、前記自位置情報の誤差の推測値である推測誤差を求め、この推測誤差に応じた前記自位置情報の自信度を決定する自信度決定ステップと、前記自信度に応じて、地物情報格納手段に地物情報が格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物を設定する対象地物設定ステップと、設定された前記対象地物の地物情報を用いて、前記画像情報に対する前記対象地物の画像認識処理を行う画像認識ステップと、を備える点にある。
この特徴構成によれば、自位置情報の推測誤差に応じて決定される自信度に応じて、前記地物情報格納手段に前記地物情報が格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物が設定されることになる。したがって、前記自信度に応じて最適な対象地物を可変設定し、画像認識処理のための演算処理負荷を軽減しつつ、誤認識を抑制して対象地物の認識率を高めることが可能となる。また、前記地物情報格納手段に格納された地物情報に基づいて、当該対象地物の画像認識を行うことになるので、対象地物の画像認識処理の正確性を高め、認識率を高めることが可能となる。
ここで、前記対象地物設定ステップでは、前記地物情報格納手段に格納された地物情報に基づいて、自位置の進行方向に、複数の地物が前記自信度に応じて定まる地物間隔以下の間隔で存在する場合に、それら複数の地物を前記対象地物に設定する構成とすると好適である。
このように構成すれば、前記自信度が低く自位置情報の誤差が比較的大きい場合であって、当該自位置情報の誤差に対して比較的狭い間隔で複数の地物が存在するために一つの対象地物を隣接する他の地物と誤認識する可能性がある場合に、それら複数の地物を対象地物に設定することで、複数の対象地物を一回の画像認識処理の認識対象とすることになる。したがって、それら複数の地物の内の一つを隣接する他の地物と誤認識することを抑制し、対象地物の認識率を高めることが可能となる。また、前記地物間隔は前記自信度に応じて定まるので、前記自信度が高いほど、すなわち前記自位置情報の誤差が小さいほど、前記地物間隔は狭くなる。したがって、前記自信度が高い場合には、複数の地物のそれぞれを別の画像認識処理の対象地物にすることができるので、自位置の進行方向に存在する対象地物となり得る地物の数が同じ場合であっても、画像認識処理の機会を増やすことが可能となる。よって、障害物の存在等により一つの対象地物の画像認識が失敗した場合であっても、他の対象地物の画像認識を成功させて画像認識結果を得ることができる可能性を高めることができる。
また、前記自位置情報取得ステップでは、前記自位置情報として、自位置が進行中の道路における自位置が存在する可能性がある一又は二以上のレーンを特定したレーン特定情報を取得し、前記自信度決定ステップでは、前記レーン特定情報の推測誤差としての自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて、前記レーン特定情報の自信度であるレーン自信度を決定し、前記対象地物設定ステップでは、前記地物情報格納手段に格納された地物情報に基づいて、前記レーン自信度に応じて自位置が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を前記対象地物に設定する構成とすると好適である。
このように構成すれば、自位置が進行中の道路における自位置が存在する可能性があるレーンを一つに特定することができない場合であっても、自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて適切に対象地物を設定して画像認識処理を行うことができる。また、自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて対象地物を設定するので、一回の画像認識処理で認識対象とする対象地物の数を必要最小限にすることができる。したがって、画像認識処理のための演算処理負荷を軽減しつつ、他の地物との誤認識を抑制して認識率を高めることが可能となる。
1.第一の実施形態
まず、本発明の第一の実施形態について図面に基づいて説明する。図1は、本実施形態に係る画像認識装置2及び自位置認識装置3を含むナビゲーション装置1の概略構成を示すブロック図である。本実施形態においては、ナビゲーション装置1は、自位置情報取得部8により取得した自位置情報Lの推測誤差に応じて自信度Eを決定し、当該自信度Eに応じて一回の画像認識処理で画像認識の対象とする対象地物ftの数を可変設定する。また、ナビゲーション装置1は、決定された自信度Eに応じて各対象地物ftについての画像認識範囲A(図4及び5参照)を可変設定して対象地物ftの画像認識を行う。そして、ナビゲーション装置1は、対象地物ftの画像認識処理の結果と地図データベース22に格納された地物情報Fに含まれる地物の位置情報とに基づいて自位置情報Lを補正し、高精度な自位置情報Lを取得する。また、ナビゲーション装置1は、前記高精度な自位置情報Lに基づいて経路案内等のナビゲーション処理を行う。すなわち、本実施形態においては、画像認識処理の認識条件として、一回の画像認識処理で画像認識の対象とする対象地物ftの数、及び各対象地物ftについての画像認識範囲を、自信度Eに応じて設定する構成となっている。なお、ここでは、自車両30(図4及び5参照)に搭載されたナビゲーション装置1の例について説明する。
図1に示すように、このナビゲーション装置1の各機能部、具体的には、画像情報取得部4、画像認識部5、自位置情報補正部6、データ抽出部7、自位置情報取得部8、自信度決定部9、認識条件設定部10、及びナビゲーション用演算部11は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。また、地図データベース22は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウェア構成として備えている。以下、本実施形態に係るナビゲーション装置1の各部の構成について詳細に説明する。
1−1.地図データベース
地図データベース22は、所定の領域毎に分けられた複数の地図情報Mと、この地図情報に関連付けられた複数の地物情報Fとが格納されたデータベースである。図2は、地図データベース22に格納されている地図情報M及び地物情報Fの構成の例を示す説明図である。この図に示すように、地図データベース22には、道路ネットワークレイヤm1、道路形状レイヤm2、地物レイヤm3が格納されている。本実施形態においては、この地図データベース22が、本発明における地図情報格納手段及び地物情報格納手段に相当する。
道路ネットワークレイヤm1は、道路間の接続情報を示すレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードnの情報と、2つのノードnを連結して道路を構成する多数のリンクkの情報とを有して構成されている。また、各リンクkは、そのリンク情報として、道路の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。また、道路形状レイヤm2は、道路ネットワークレイヤm1に関連付けられて格納され、道路の形状を示すレイヤである。具体的には、2つのノードnの間(リンクk上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点sの情報や、道路幅wの情報等を有して構成されている。これらの道路ネットワークレイヤm1及び道路形状レイヤm2に格納された情報により、地図情報Mが構成される。
地物レイヤm3は、道路ネットワークレイヤm1及び道路形状レイヤm2に関連付けられて構成され、道路上や道路周辺に設けられた各種の地物の情報、すなわち地物情報Fが格納されているレイヤである。この地物レイヤm3に地物情報Fが格納される地物には、道路の路面に設けられた道路標示(ペイント標示)が含まれている。このような道路標示に係る地物としては、例えば、道路に沿って車線を分ける区画線(実線、破線、二重線等の各種区画線を含む。)、各車線の進行方向を指定する進行方向別通行区分標示、横断歩道、停止線、速度表示、ゼブラゾーン等が含まれる。なお、地物情報Fが格納される地物としては、このような道路標示のほか、信号機、標識、陸橋、トンネル等の各種の地物も含めることができる。
また、地物情報Fは、その内容として各地物の位置情報及び形態情報を含んでいる。ここで、位置情報は、各地物の代表点の地図上の位置(緯度及び経度)及び各地物の向きの情報を有している。本例では、代表点は、各地物の長さ方向及び幅方向の中心に設定される。形態情報は、各地物の形状、大きさ、色彩等の情報を有している。また、これらの他にも、地物情報Fは、各地物の種別を示す種別情報等を含んでいる。この種別情報は、具体的には、「区画線(実線、破線、二重線等の線種も含む)」、「進行方向別通行区分標示」、「横断歩道」等の道路標示種別を示す情報である。
1−2.画像情報取得部
画像情報取得部4は、撮像装置21により撮像した自位置周辺の画像情報Gを取得する画像情報取得手段として機能する。ここで、撮像装置21は、撮像素子を備えたカメラ等であって、少なくとも自車両30(自位置)の周辺の道路の路面を撮像可能な位置に設けられている。このような撮像装置21としては、例えばバックカメラ等を用いることができる。そして、画像情報取得部4は、撮像装置21により撮像したアナログの撮像情報を所定の時間間隔で取り込み、デジタル信号の画像情報Gに変換して取得する。この際の画像情報Gの取り込みの時間間隔は、例えば、10〜50ms程度とすることができる。これにより、画像情報取得部4は、撮像装置21により撮像した複数フレームの画像情報Gを連続的に取得することができる。ここで取得された画像情報Gは、画像認識部5へ出力される。
1−3.自位置情報取得部8
自位置情報取得部8は、自位置すなわち自車両30の現在位置を示す自位置情報Lを取得する自位置情報取得手段13として機能する。ここでは、自位置情報取得部8は、GPS受信機23、方位センサ24、及び距離センサ25と接続されている。ここで、GPS受信機23は、GPS(Global Positioning System)衛星からのGPS信号を受信する装置である。このGPS信号は、通常1秒おきに受信され、自位置情報取得部8へ出力される。自位置情報取得部8では、GPS受信機23で受信されたGPS衛星からの信号を解析し、自車両30の現在位置(緯度及び経度)、進行方位、移動速度等の情報を取得することができる。方位センサ24は、自車両30の進行方位又はその進行方位の変化を検出するセンサである。この方位センサ24は、例えば、ジャイロセンサ、地磁気センサ、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成される。そして、方位センサ24は、その検出結果を自位置情報取得部8へ出力する。距離センサ25は、自車両30の車速や移動距離を検出するセンサである。この距離センサ25は、例えば、車両のドライブシャフトやホイール等が一定量回転する毎にパルス信号を出力する車速パルスセンサ、自車両30の加速度を検知するヨー・Gセンサ及び検知された加速度を積分する回路等により構成される。そして、距離センサ25は、その検出結果としての車速及び移動距離の情報を自位置情報取得部8へ出力する。
そして、自位置情報取得部8は、これらのGPS受信機23、方位センサ24及び距離センサ25からの出力に基づいて、公知の方法により自位置を特定する演算を行う。また、自位置情報取得部8は、データ抽出部7により地図データベース22から抽出された自位置周辺の地図情報Mを取得し、それに基づいて公知のマップマッチングを行うことにより自位置を地図情報Mに示される道路上とする補正も行う。このようにして取得される自位置の情報は、各センサ23〜25の検出精度等に起因する誤差を含んだ情報となっている。また、このようにして取得される自位置の情報は、自車両30が進行中の道路が複数レーンを有している場合において自車両30が進行中のレーンまでを特定する情報とはなっていない。そこで、本実施形態においては、後述するレーン特定部12から、自車両30が進行中の道路における自車両30が存在するレーンを特定したレーン特定情報Jが自位置情報取得部8に供給される構成となっている。そして、この自位置情報取得部8は、上記の自位置を特定する演算結果とレーン特定部12から供給されたレーン特定情報Jとにより、緯度及び経度で表された自車両30の現在位置の情報、自車両30の進行方位の情報、及び自車両30が進行中のレーンに関するレーン特定情報Jを含む自位置情報Lを取得する。この自位置情報Lは、自位置情報補正部6、データ抽出部7、自信度決定部9、認識条件設定部10、及びナビゲーション用演算部11へ出力される。
1−4.データ抽出部
データ抽出部7は、地図データベース22から画像認識処理の対象となる対象地物ftの地物情報Fを抽出する地物情報抽出手段として機能する。本例では、データ抽出部7は、自位置情報Lの進行方向の位置を補正する処理に用いるために、後述する対象地物設定部15により設定された対象地物ftについての地物情報Fを地図データベース22から抽出する。この際、データ抽出部7は、後述する認識条件設定部10の対象地物設定部15により、複数の対象地物ftが設定された場合には、それら複数の対象地物ftの全てについての地物情報Fを地図データベース22から抽出する。ここで抽出された地物情報Fには、上記のとおり、対象地物ftの位置情報及び形態情報が含まれている。データ抽出部7により抽出された対象地物ftの地物情報Fは、画像認識部5、自位置情報補正部6、及び認識条件設定部10へ出力される。
また、データ抽出部7は、レーン特定部12によるレーン特定情報Jを取得する処理に用いるために、自位置情報Lに基づいて、自車両30が進行中の道路における自位置周辺の区画線の地物情報Fを地図データベース22から抽出する。データ抽出部7により抽出された区画線の地物情報Fは、画像認識部5及びレーン特定部12へ出力される。また、データ抽出部7は、自位置情報取得部8によるマップマッチングの処理に用いるために、自位置情報Lに基づいて、自位置周辺の地図情報Mを地図データベース22から抽出する。データ抽出部7により抽出された地図情報Mは、自位置情報取得部8へ出力される。また、データ抽出部7は、ナビゲーション用演算部11によるナビゲーション処理に用いるために、ナビゲーション用演算部11から要求があった領域の地図情報Mを地図データベース22から抽出し、ナビゲーション用演算部11へ出力する。
1−5.自信度決定部
自信度決定部9は、自位置情報Lの誤差の推測値である推測誤差を求め、この推測誤差に応じた自位置情報Lの自信度Eを決定する自信度決定手段として機能する。ここで、推測誤差は、自位置情報取得部8による自位置情報Lの取得条件が最も悪い場合を想定した最大誤差の推測値である。本実施形態においては、推測誤差は、自車両30(自位置)の進行方向の誤差であり、自車両30の移動距離に応じて増加する距離要因誤差と、自車両30の移動距離とは無関係な固定要因誤差とを加算して求める。具体的には、自信度決定部9は、次の式(1)に従って推測誤差Yを演算して求める。
Y=aX+b+c・・・(1)
ここで、Xは所定の起点位置からの自位置の移動距離であり、自位置情報Lに基づいて求められる。ここで、起点位置は、自位置情報補正部6により自位置情報Lが補正されたときに、当該補正後の自位置情報Lが示す位置である。また、aは、移動距離Xに比例して積算される誤差の単位距離当りの最大値を表す距離要因誤差係数である。この距離要因誤差係数aを規定する誤差要因としては、例えば、距離センサ25や方位センサ24の検出誤差等が該当する。bは、起点位置での自位置情報Lに既に含まれている誤差の最大値を表す起点誤差である。この起点誤差bを規定する誤差要因としては、例えば、画像認識部5による画像認識精度に起因する誤差、撮像装置21の取付位置及び取付角度のずれに起因する誤差、対象地物ftの地物情報Fに含まれる位置情報の精度に起因する誤差等が該当する。cは、誤差Yの演算処理に起因して生じる誤差の最大値を表す演算誤差である。この演算誤差cを規定する誤差要因としては、例えば、処理時間による遅れや、演算時の数値の丸めによる誤差等が該当する。したがって、本例では、aXが距離要因誤差であり、起点誤差b及び演算誤差cが固定要因誤差である。
なお、推測誤差Yを正確に求めるためには、これらの距離要因係数a、起点誤差b、及び演算誤差cを、自車両30の走行速度(自位置の移動速度)に応じて異なる値とすることが望ましい。そこで、本例では、距離要因係数a、起点誤差b、及び演算誤差cのそれぞれの値を、所定の速度範囲毎に格納した図示しない定数テーブルを用いて推測誤差Yの演算を行う。したがって、自車両30の走行速度が前記所定の速度範囲をまたいで変化した場合には、各速度範囲での移動距離X毎に、異なる距離要因係数a、起点誤差b、及び演算誤差cを用いて、上記式(1)の演算を行い、推測誤差Yを求める。そして、本例では、自信度決定部9は、以上のようにして求めた推測誤差Yの値そのものを、自信度Eとして決定する(E=Y)。よって、本例では、自信度Eの値が小さいほど自信度Eが高いことになる。
図3は、自車両30がほぼ一定速度で走行した場合における、推測誤差Yすなわち自信度Eの変化の例を示した図である。この図に示すように、起点位置(X=0)での推測誤差YはY=b+cであり、そこからの移動距離Xに比例して推測誤差Yは大きくなる。なお、本例では、推測誤差YがGPS受信機23により取得される自位置の情報の誤差円半径を超えて大きくなり、GPS補正境界に達した場合には、GPS受信機23により取得される自位置の情報に基づいて自位置情報Lが補正される。その際、推測誤差YはGPS誤差円半径に一致するように補正される。そして、後述するように、画像認識部5による対象地物ftの画像認識結果に基づいて、自位置情報補正部6により自位置情報Lが補正された場合には、当該補正後の自位置情報Lに示される位置が起点位置となり、移動距離Xがゼロとされる。これにより、推測誤差YはY=b+cとなる。
1−6.認識条件設定部
認識条件設定部10は、自信度決定部9により決定した自信度Eに応じて、画像認識部5における画像認識処理の認識条件を設定する認識条件設定手段として機能する。本実施形態では、認識条件設定部10は、画像認識範囲設定部14と対象地物設定部15とを備えている。
画像認識範囲設定部14は、画像認識処理の認識条件として、自信度Eに応じて、画像情報Gに対する各対象地物ftについての画像認識処理を行う範囲である画像認識範囲Aを設定する画像認識範囲設定手段として機能する。図4及び5には、画像認識範囲Aの設定例を示している。なお、これらの図において、A0、A1、A2は、同じ画像認識範囲Aについての、実際の自車両30の位置がP0、P1、P2であった場合の対象地物ftに対する画像認識範囲Aの位置関係を示しており、したがってA0、A1、A2は、いずれも同じ大きさAw(認識範囲の進行方向長さ)となっている。この画像認識範囲Aは、本実施形態では、自車両30(自位置)の進行方向に区画される範囲としている。そして、画像認識範囲設定部14は、自信度Eが高いほど、画像認識範囲Aを小さく設定する。ここで、画像認識範囲設定部14は、自信度Eと自位置情報Lと対象地物ftの地物情報Fとに基づいて、画像認識範囲Aを設定する。具体的には、画像認識範囲設定部14は、まず、各対象地物ftについての画像認識範囲Aの大きさAwを、次の式(2)に従って決定する。
Aw=2E+D・・・(2)
ここで、Eは自信度であり、本例では推測誤差Yの値と一致する。また、Dは、対象地物ftの自位置の進行方向の長さ(図4及び5参照)であり、地物情報Fに含まれる形態情報から求められる。すなわち、ここでは、画像認識範囲設定部14は、画像認識範囲Aの大きさAwを、自信度E(推測誤差Y)の2倍の長さに対象地物ftの進行方向長さを加えた長さとして決定する。また、画像認識範囲設定部14は、自位置情報Lと対象地物ftの地物情報Fとに基づいて、画像認識範囲Aの中心位置を設定する。すなわち、自位置情報Lに示される自車両30の現在位置と、対象地物ftの地物情報に含まれる位置情報とに基づいて、画像認識範囲Aの中心位置を、対象地物ftの中心位置に一致させるように設定する。ここで、自位置情報Lは、最大で自信度E(=推測誤差Y)と同じだけの位置誤差を含んでいる。画像認識範囲Aの大きさAwを上記式(2)のように設定し、且つ画像認識範囲Aの中心位置を、対象地物ftの中心位置に一致させるように設定することにより、画像認識範囲Aに対象地物ftの画像を確実に収めることができる。以上のようにして設定された画像認識範囲Aの情報は、画像認識部5へ出力される。そして、画像認識部5は、設定された画像認識範囲A内の画像情報Gに対して、対象地物ftの画像認識処理を行う。
図4及び5は、一つの対象地物ftについての画像認識範囲Aの設定例を説明するための説明図であり、図4は自信度Eが高い(自信度Eの値が小さい)場合の例、図5は自信度Eが低い(自信度Eの値が大きい)場合の例を示している。なお、図6及び7は、画像認識範囲Aの設定の比較例を説明するための説明図であり、図6は自信度Eが低いにも関わらず画像認識範囲Aを小さく設定した場合、図7は自信度Eが高いにも関わらず画像認識範囲Aを大きく設定した場合の例を示している。これらの図において、P0は自位置情報Lに示される自車両30の位置であり、P1は自位置情報Lが進行方向前方に推測誤差Y(自信度E)の誤差を有していた場合の自車両30の位置であり、P2は自位置情報Lが進行方向後方に推測誤差Y(自信度E)の誤差を有していた場合の自車両30の位置である。また、上記のとおり、A0、A1、A2は、それぞれ実際の自車両30の位置がP0、P1、P2であった場合の実際の対象地物ftに対する画像認識範囲Aの位置関係を示している。これらの図において、画像認識範囲A0〜A2の進行方向長さが画像認識範囲Aの大きさAwに対応し、画像認識範囲A0〜A2の進行方向長さの中心位置が、画像認識範囲Aの中心位置に対応している。
上記のように、推測誤差Y(自信度E)は位置情報取得部8による自位置情報Lの取得条件が最も悪い場合を想定した最大誤差の推測値であり、実際の自車両30の位置は、自位置情報Lに示される位置に対して進行方向前後に推測誤差Yの範囲内のいずれかの位置となるはずである。このため、図4に示すように、推測誤差Yが小さい(自信度Eが高い)場合には、自位置情報Lに示される自位置に対する実際の自車両30の位置のずれも小さくなる。したがって、画像認識範囲Aの大きさAwを小さくしても、確実に対象地物ftを画像認識範囲Aの中に収めることができる。また、図5に示すように、推測誤差Yが大きい(自信度Eが低い)場合には、自位置情報Lに示される自位置に対する実際の自車両30の位置のずれも大きくなる。したがって、画像認識範囲Aの大きさAwを大きくすることにより、確実に対象地物ftを画像認識範囲Aの中に収めることができる。画像認識範囲設定部14は、画像認識範囲Aを以上のように設定することにより、画像認識範囲Aの大きさを自位置情報Lの自信度Eに応じて必要最小限としつつ、対象地物ftを確実に画像認識範囲A内に収めるようにすることができる。これにより、対象地物ftの画像が画像認識範囲Aから外れることを防止しつつ、画像認識処理のための演算処理負荷を軽減することと、誤認識を抑制して認識率を高めることの両立が可能となる。
一方、図6に示すように、推測誤差Yに対して画像認識範囲Aの大きさを小さく設定した場合には、P1又はP2として示すように実際の自車両30の位置が自位置情報Lに示される自位置に対して画像認識範囲Aの大きさ以上にずれていた場合には、A1又はA2として示すように画像認識範囲Aに対象地物ftが含まれないこととなり、対象地物ftの画像認識処理を行うことができない。また、図7に示すように、推測誤差Yに対して画像認識範囲Aの大きさを大きく設定した場合には、P1又はP2として示すように実際の自車両30の位置が自位置情報Lに示される自位置に対してずれていた場合にも、A1又はA2として示すように画像認識範囲Aに対象地物ftが含まれ、対象地物ftの画像認識処理を行うことができる。しかし、画像認識範囲Aが必要以上に大きくなることから、画像認識部5における画像認識処理のための演算処理負荷が大きくなるとともに、他の地物や影等を対象地物ftと誤認識する可能性が高くなるという問題が生じ得る。
なお、画像認識範囲設定部14は、後述するように対象地物設定部15により複数の対象地物ftが設定された場合であっても、上記と同様に、各対象地物ftについての画像認識範囲Aを設定する。但し、複数の対象地物ftについての画像認識範囲Aが重複する場合には、結果として複数の対象地物ftについての画像認識範囲Aが一つに結合することになる。また、本実施形態においては、複数の地物を対象地物ftに設定する際の条件となる地物間隔Qが画像認識範囲Aの大きさAwと一致するように決定される。したがって、対象地物設定部15により複数の対象地物ftが設定される場合には、各対象地物ftについての画像認識範囲Aはほとんどの場合に重複することになり、一つに結合した画像認識範囲Aが設定される。図8にはこのような画像認識範囲Aの設定例も示している。この図において、Ad1、Ad2、Ad3は、対象地物ftである地物f1〜f3のそれぞれについての画像認識範囲であり、Aは、これらの画像認識範囲が重複する結果、一つに結合した画像認識範囲として設定された範囲を示している。
対象地物設定部15は、画像認識処理の認識条件として、自信度Eに応じて、地図データベース22に地物情報Fが格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物ftを設定する対象地物設定手段として機能する。この対象地物設定部15は、自信度Eが高いほど、対象地物ftの数を少なく設定する。本実施形態においては、対象地物設定部15は、自信度Eと自位置情報Lと地図データベース22に格納された地物情報Fとに基づいて、地図データベース22に地物情報Fが格納された地物の中から一又は二以上の地物を対象地物ftに設定する。具体的には、対象地物設定部15は、地図データベース22に格納された地物情報Fに基づいて、自車両30の進行方向に、互いに誤認識する可能性がある複数の地物が自信度Eに応じて定まる地物間隔Q以下の間隔で存在する場合に、それら複数の地物を対象地物ftに設定する。そのため、この対象地物設定部15は、地物間隔設定部17と、誤認識判定部18とを備えている。
地物間隔設定部17は、自信度Eに応じて地物間隔Qを設定する。本実施形態においては、地物間隔設定部17は、自信度Eに応じて画像認識範囲設定部14により設定される画像認識範囲Aの大きさAwに応じて地物間隔Qを決定する。具体的には、地物間隔設定部17は、次の式(3)に従って地物間隔Qを決定する。
Q=2E+D・・・(3)
ここで、Eは自信度決定部9において決定される自信度であり、本例では推測誤差Yの値と一致する。また、Dは、地物間隔Qを決定する際の基準とする対象地物ftである基準地物fbn(n=1、2、3・・・)の自位置の進行方向の長さ(図8参照)であり、地物情報Fに含まれる形態情報から求められる。この式(3)は、上記第一の実施形態における画像認識範囲Aの大きさAwを決定するための式(2)と同じであり、本例では、地物間隔Qは、画像認識範囲Aの大きさAwと一致するように決定される。
誤認識判定部18は、地物情報Fに含まれる形態情報に基づいて、複数の地物についての互いに誤認識する可能性の有無を判定する。ここで、誤認識判定部18は、複数の地物が互いに同じ地物種別である場合には、誤認識する可能性があると判定する。また、本例では、複数の地物の地物種別が異なる場合であっても、各地物の地物情報Fに含まれる形態情報に基づいて、図示しない誤認識地物データベースに格納された誤認識パターンに合致する場合には、誤認識する可能性があると判定する。この誤認識地物データベースには、地物情報Fに含まれる種別情報に係る地物の種別毎に、当該種別の地物と誤認識し易い地物種別の情報が網羅的に登録されている。ここで、地物種別は、基本的に同じ形状の地物を一つの地物種別として規定しているものとする。ここで、互いに誤認識し易い地物種別としては、具体的には、例えば、「停止線」と十字路を示す「十字」とT字路を示す「T字」との関係、進行方向別通行区分標示の各種矢印同士の関係等がある。
そして、対象地物設定部15は、自位置情報取得部8により取得された自位置情報Lと、地図データベース22に格納された地物情報Fとに基づいて、自車両30が進行中のレーン内における進行方向の最も近い位置に存在する地物から順に基準地物fbn(n=1、2、3・・・)(図8参照)として設定し、当該基準地物fbnとの関係で、地物間隔Q以下の間隔で存在するとともに互いに誤認識する可能性がある地物を、自車両30の進行方向に順に探索し、探索された一又は二以上の地物を対象地物ftに設定する処理を行う。この対象地物設定部15により対象地物ftを設定する処理方法の詳細については、後に図12に示すフローチャートに基づいて詳細に説明する。
図8は、この対象地物設定部15による対象地物ftの設定例を説明するための説明図である。この図に示す例では、進行方向別通行区分標示の中の地物種別が「直進矢印」に属する3つの地物f1〜f3が、間隔q1、q2で配置されている例を示している。この場合、対象地物設定部15は、まず、自位置情報取得部8により取得された自位置情報Lと、地図データベース22に格納された地物情報Fとに基づいて、自車両30が進行中のレーン内における進行方向の最も近い位置に存在する地物f1を第一の基準地物fb1に設定する。次に、対象地物設定部15は、地物間隔設定部17により、第一の基準地物fb1についての自信度Eに応じた地物間隔Q1(Q1=2E+D1)を決定する。本例では、第一の基準地物fb1と、それに対して自車両30の進行方向前方に存在する地物f2との間隔q1は、第一の基準地物fb1とについての自信度Eに応じた地物間隔Q1(Q1=2E+D1)より小さい。また、第一の基準地物fb1と地物f2とは地物種別が同じであるため、誤認識判定部18は、これらが互いに誤認識する可能性があると判定する。したがって、地物f2は第二の基準地物fb2として設定される。同様に、第二の基準地物fb2と、それに対して自車両30の進行方向前方に存在する地物f3との間隔q2は、第二の基準地物fb2とについての自信度Eに応じた地物間隔Q2(Q2=2E+D2)より小さい。また、第二の基準地物fb2と地物f3とは地物種別が同じであるため、誤認識判定部18は、これらが互いに誤認識する可能性があると判定する。したがって、地物f3は第三の基準地物fb3として設定される。なお、図示は省略するが、第三の基準地物fb3に対して自車両30の進行方向前方における、第三の基準地物fb3についての自信度Eに応じた地物間隔Q3(Q3=2E+D3)内には、他の地物は存在しない。したがって、対象地物設定部15は、以上の第一から第三の基準地物fb1〜fb3に設定された地物f1〜f3を対象地物ftとして設定する。
以上のような対象地物設定部15の構成により、比較的狭い間隔で複数の地物が配置されている場合であっても、画像認識処理に際して、それら複数の地物の内の一つを隣接する他の地物と誤認識することを抑制できる。一方、この対象地物設定部15の構成によれば、自車両30の進行方向に存在する複数の地物が互いに誤認識する可能性がない場合には、一つの地物のみを対象地物ftに設定することになる。また、それら複数の地物の間隔が自信度Eに応じて定まる地物間隔Qより広い間隔で存在する場合にも、画像認識部5による画像認識範囲Aが重複せず、複数の地物が互いに誤認識する可能性がないため、一つの地物のみを対象地物ftに設定する。したがって、そのような場合には、後述する画像認識部5による対象地物ftに対する画像認識処理の機会を増やし、自位置情報補正部6により自位置情報Lを補正する機会を増やすことができる。したがって、このナビゲーション装置1は、自位置情報Lをより高精度に取得することが可能となる。
1−7.画像認識部
画像認識部5は、画像情報取得部4で取得された画像情報Gに対する画像認識処理を行う画像認識手段として機能する。本実施形態においては、画像認識部5は、画像認識範囲設定部14により設定された画像認識範囲Aに規定される範囲内について、画像情報Gに対する画像認識処理を行う。この際、画像認識部5は、データ抽出部7で抽出された対象地物ftの地物情報Fを用いて対象地物ftの画像認識処理を行う。具体的には、画像認識部5は、画像情報取得部4で取得された画像情報Gの中から画像認識範囲Aの画像情報Gを抽出する。この際、画像情報取得部4で取得された各画像情報Gの撮像領域の情報は、自車両30への撮像装置21の取付位置、取付角度、及び画角等に基づいて予め演算された自位置と撮像領域との位置関係を用いることで、自位置情報Lに基づいて取得することができる。画像認識部5は、このように取得された各画像情報Gの撮像領域の情報に基づいて、画像認識範囲Aの画像情報Gを抽出する。そして、画像認識部5は、抽出された画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部5は、抽出された地物の輪郭情報と、データ抽出部7で抽出された対象地物ftの地物情報Fに含まれる形態情報とを比較し、それらが一致するか否かを判定する。地物の輪郭情報と対象地物ftの地物情報Fに含まれる形態情報とが一致する場合には、対象地物ftの画像認識に成功したと判定し、その画像認識結果を自位置情報補正部6へ出力する。なお、対象地物ftの画像認識に失敗した場合には、自位置情報補正部6へは画像認識結果が出力されず、したがって自位置情報補正部6による自位置情報Lの補正も行われない。
また、認識条件設定部10の対象地物設定部15により、複数の対象地物ftが設定された場合には、画像認識部5は、それら複数の対象地物ftを一組として画像認識処理を行う。すなわち、例えば図8に示す例のように、3つの地物が対象地物ftとして設定された場合には、画像認識部5は、当該3つの対象地物ftの全てを画像認識できたことを条件として対象地物ftの画像認識が成功したと判定し、その画像認識結果を自位置情報補正部6へ出力する処理を行う。一方、当該3つの対象地物ftの一つでも画像認識できなかった場合には、画像認識に失敗したと判定し、自位置情報補正部6へは画像認識結果が出力されない。その場合、自位置情報補正部6による自位置情報Lの補正も行われない。
また、画像認識部5は、レーン特定部12におけるレーン特定情報Jの取得のために、データ抽出部7で抽出された自車両30が進行中の道路における自位置周辺の区画線の地物情報Fを用いて、自車両30の周辺の区画線の画像認識を行う。具体的には、画像認識部5は、画像情報取得部4で取得された画像情報Gに対して二値化処理やエッジ検出処理等を行い、当該画像情報Gに含まれている地物(道路標示)の輪郭情報を抽出する。その後、画像認識部5は、抽出された地物の輪郭情報と、データ抽出部7で抽出された区画線の地物情報Fに含まれる形態情報とに基づいて、自車両30の周辺の区画線の位置及び区画線の種別の認識を行う。そして、画像認識部5は、そのような区画線の画像認識結果を、レーン特定部12へ出力する。
1−8.自位置情報補正部
自位置情報補正部6は、画像認識部5による画像認識処理の結果と、データ抽出部7により抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて自位置情報Lを補正する自位置情報補正手段として機能する。本実施形態では、自位置情報補正部6は、画像認識部5による画像認識処理の結果と、データ抽出部7により抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自車両30の進行方向に沿って自位置情報Lを補正する。具体的には、自位置情報補正部6は、まず、画像認識部5による画像認識結果と、撮像装置21の取付位置、取付角度、及び画角等に基づいて、対象地物ftの画像を含む画像情報Gの取得時における自車両30と対象地物ftとの位置関係を演算する。次に、自位置情報補正部6は、この自車両30と対象地物ftとの位置関係の演算結果と、データ抽出部7により抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自車両30の進行方向における対象地物ftの位置情報(地物情報F)を基準とする高精度な自車両30の位置情報を演算して取得する。そして、自位置情報補正部6は、このようにして取得した高精度な自車両30の位置情報に基づいて、自位置情報取得部8で取得した自位置情報Lに含まれる、自車両30の進行方向の現在位置の情報を補正する。その結果、自位置情報取得部8は、このような補正後の高精度な自位置情報Lを取得することになる。
また、認識条件設定部10の対象地物設定部15により、複数の対象地物ftが設定された場合には、自位置情報補正部6は、複数の対象地物ftの中における自車両30の進行方向最前方に位置する対象地物ft(すなわち最後に画像認識処理を行った対象地物ftについて、当該対象地物ftの画像を含む画像情報Gの取得時における自車両30との位置関係を演算する。そして、自位置情報補正部6は、この演算結果と、当該対象地物ftの地物情報Fとに基づいて高精度な自車両30の位置情報を演算して取得し、自位置情報Lを補正する処理を行う。
1−9.レーン特定部
レーン特定部12は、自車両30が進行中の道路における自車両30が存在するレーンを特定したレーン特定情報Jを取得する。ここで、レーン特定部12は、データ抽出部7により抽出した自車両30が進行中の道路における自位置周辺の区画線の地物情報Fと、画像情報取得部4により取得した画像情報Gに含まれる区画線の画像の画像認識部5による画像認識結果とに基づいて、自車両30が進行中のレーンを特定する演算を行う。具体的には、例えば、レーン特定部12は、画像認識部5による画像認識結果に示される自車両30の周辺の区画線の種別(実線、破線、二重線等の線種)及び配置と、自位置周辺の区画線の地物情報Fに含まれる形態情報とに基づいて、自車両30が進行中のレーンを特定する。例えば、図9に示すような画像情報Gが取得された場合において、図10に示すような自車両30周辺の地図情報Mが取得された場合には、自車両30が存在するレーンは、3車線の中の中央車線であると特定することができる。すなわち、図9に示す画像情報Gに示される画像中では、自車両30の位置である画像の幅方向中央に対して両側に破線の区画線があり、更にその両外側にそれぞれ実線の区画線がある。一方、図10に示す地図情報Mによれば、自車両30が走行している道路は3車線であり、道路の幅方向両側には実線の区画線の地物情報Fが存在し、道路の幅方向中央側には各車線を区切る破線の区画線の地物情報Fが存在していることがわかる。したがって、レーン特定部12は、これらの情報を対比することにより、自車両30が存在するレーンが3車線の中の中央車線であると特定することができる。
また、レーン特定部12は、画像認識部5による画像認識結果に示される区画線の位置情報に基づいて、自車両30が区画線を跨いだか否かにより車線変更の有無を判定し、自車両30が進行中のレーンを特定する。なお、レーン特定部12は、自車両30が進行中のレーンの特定が必要な場合、すなわち自車両30が進行中の道路が進行方向(片側)に複数レーンを有している場合にのみレーンを特定する演算を行う。そして、レーン特定部12は、自車両30が進行中のレーンを特定する情報であるレーン特定情報Jを自位置情報取得部8へ供給する。これにより、自位置情報取得部8は、上記のとおり、自車両30が進行中のレーンに関するレーン特定情報Jを含む自位置情報Lを生成する。したがって、本実施形態においては、レーン特定部12は、自位置情報取得部8とともに自位置情報取得手段13として機能する。
1−10.ナビゲーション用演算部
ナビゲーション用演算部11は、自位置表示、出発地から目的地までの経路計算、目的地までの進路案内、目的地検索等のナビゲーション機能を実行するためにアプリケーションプログラム16に従って動作する演算処理手段である。例えば、ナビゲーション用演算部11は、データ抽出部7により地図データベース22から自車両30周辺の地図情報Mを取得して表示装置26に地図の画像を表示するとともに、当該地図の画像上に、自位置情報Lに基づいて自位置マークを重ね合わせて表示する処理を行う。また、ナビゲーション用演算部11は、公知の方法により計算された出発地から目的地までの経路と自位置情報Lとに基づいて、表示装置26及び音声出力装置27の一方又は双方を用いて進路案内を行う。したがって、本実施形態においては、ナビゲーション用演算部11、表示装置26及び音声出力装置27が、本発明における案内情報出力手段28として機能する。なお、図示は省略するが、ナビゲーション用演算部11は、この他にも、リモートコントローラや表示装置26と一体的に設けられたタッチパネルなどのユーザインタフェース等、ナビゲーション装置として必要な公知の各種構成に接続されている。
1−11.画像認識方法及びそれを用いた自位置認識方法
次に、本実施形態に係る画像認識装置2及び自位置認識装置3を含むナビゲーション装置1において実行される、画像認識方法及びそれを用いた自位置認識方法について説明する。図11は、本実施形態に係る画像認識方法を用いた自位置認識方法の処理順序を示すフローチャートであり、図12は、図11のステップ#06の対象地物ftを設定する処理の方法を示すフローチャートである。
ナビゲーション装置1は、まず、画像情報取得部4により、撮像装置21が撮像した自位置周辺の画像情報Gを取得する(ステップ#01)。次に、自位置情報取得部8により自位置情報Lを取得する(ステップ#02)。ここで取得する自位置情報Lは、自位置情報取得部8において、GPS受信機23、方位センサ24及び距離センサ25からの出力に基づいて演算され特定された自車両30の現在位置の情報及び進行方位の情報と、前回までの処理においてレーン特定部12により特定されたレーン特定情報Jとを含む情報となっている。その後、レーン特定部12により新たなレーン特定情報Jを取得する(ステップ#03)。この際、レーン特定部12は、ステップ#01で取得した画像情報Gに対して区画線の画像認識を行う。また、レーン特定部12は、ステップ#02で取得した自位置情報Lに基づいて自車両30が進行中の道路における自位置周辺の区画線の地物情報Fをデータ抽出部7に対して要求し、自位置周辺の区画線の地物情報Fを取得する。そして、レーン特定部12は、このような区画線の画像認識結果と、自位置周辺の区画線の地物情報Fとに基づいて、上述のように自車両30が存在するレーンを特定し、レーン特定情報Jとして自位置情報取得部8へ出力する。この新たなレーン特定情報Jに基づいて、自位置情報取得部8は、自位置情報Lに含まれるレーン特定情報Jを更新する(ステップ#04)。
次に、ナビゲーション装置1は、自信度決定部9により、自位置情報Lの自信度Eを決定する(ステップ#05)。この際、自信度決定部9は、上述のとおり、自位置情報Lの誤差の推測値である推測誤差Yを求め、この推測誤差Yに応じた自位置情報Lの自信度Eを決定する。なお、本例では、推測誤差Yの値そのものを自信度Eとして決定する(E=Y)。その後、対象地物設定部15により一又は二以上の対象地物ftを設定する(ステップ#06)。このステップ#06の対象地物設定部15による対象地物ftの設定方法については、後に図12に示すフローチャートに基づいて詳細に説明する。そして、データ抽出部7により、一又は二以上の対象地物ftの地物情報Fを地図データベース22から抽出する(ステップ#07)。次に、認識条件設定部10の画像認識範囲設定部14により、ステップ#06で抽出した一又は二以上の対象地物ftについての画像情報Gに対する画像認識処理を行う範囲である画像認識範囲Aを設定する(ステップ#08)。この際、画像認識範囲設定部14は、上述のとおり、自信度Eと自位置情報Lと対象地物ftの地物情報Fとに基づいて画像認識範囲Aを設定する。
次に、画像認識部5は、ステップ#08で設定された画像認識範囲Aに基づいて、ステップ#01で取得した画像情報Gが画像認識範囲A内の画像情報Gであるか否かの判定を行う(ステップ#09)。この際、画像認識部5は、上述のとおり、ステップ#02で取得されステップ#04での更新された自位置情報Lに基づいて、ステップ#01で取得した画像情報Gの撮像領域の情報を取得し、それに基づいて各画像情報Gが画像認識範囲A内のものであるか否かを判定する。そして、ステップ#01で取得した画像情報Gが画像認識範囲A内の画像情報Gでない場合には(ステップ#09:No)、次の画像情報Gを取得し(ステップ#01)、上記と同様にステップ#02〜#08の処理を行う。一方、ステップ#01で取得した画像情報Gが画像認識範囲A内の画像情報Gである場合には(ステップ#09:Yes)、当該画像情報Gに対して、ステップ#07で抽出した一又は二以上の対象地物ftの画像認識処理を行う(ステップ#10)。この画像認識処理の結果、対象地物ftの画像認識が失敗した場合には(ステップ#11:No)、次の画像情報Gを取得し(ステップ#01)、上記と同様にステップ#02〜#10の処理を行う。
一方、この画像認識処理の結果、対象地物ftの画像認識が成功した場合には(ステップ#11:Yes)、自位置情報補正部6により、ステップ#10の画像認識処理の結果と、ステップ#07で抽出した対象地物ftの地物情報Fとに基づいて自位置情報Lを補正する処理を行う(ステップ#12)。この際、自位置情報補正部6は、上述のとおり、ステップ#10の画像認識処理の結果に基づく自車両30と対象地物ftとの位置関係の演算結果と、ステップ#07で抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて、自車両30の進行方向における対象地物ftの位置情報(地物情報F)を基準とする高精度な自車両30の位置情報を演算して取得し、それに基づいて自位置情報Lを補正する。その結果、自位置情報取得部8は、このような補正後の高精度な自位置情報Lを取得することになる。
次に、ステップ#06の対象地物ftを設定する処理の方法について、図12のフローチャートに基づいて説明する。この図12に示すように、対象地物設定部15は、まず、第一の基準地物fb1(図8参照)を設定する(ステップ#21)。ここでは、対象地物設定部15は、ステップ#04での更新後の自位置情報Lと、地図データベース22に格納された地物情報Fとに基づいて、自車両30が進行中のレーン内における進行方向の最も近い位置に存在する道路標示に係る地物を第一の基準地物fb1に設定する。そして、対象地物設定部15は、地物間隔設定部17により、ステップ#21で設定された第一の基準地物fb1についての地物間隔Qを決定する(ステップ#22)。次に、対象地物設定部15は、地図データベース22に格納された地物情報Fに基づいて、第一の基準地物fb1に対して自車両30の進行方向前方に、ステップ#22で決定された地物間隔Q以下の間隔で他の地物が存在するか否かを探索する(ステップ#23)。そして、そのような他の地物が存在しない場合には(ステップ#23:No)、処理はそのまま終了する。その場合、対象地物ftは、第一の基準地物fb1に設定された地物のみとなる。
一方、第一の基準地物fb1に対して自車両30の進行方向前方に、ステップ#22で決定された地物間隔Q以下の間隔で他の地物が存在する場合には(ステップ#23:Yes)、次に、対象地物設定部15は、誤認識判定部18により、第一の基準地物fb1とステップ#23で存在が確認された地物との間で互いに誤認識する可能性があるか否かについて判定する(ステップ#24)。誤認識する可能性がない場合には(ステップ#24:No)、処理はそのまま終了する。その場合、対象地物ftは、第一の基準地物fb1に設定された地物のみとなる。一方、誤認識する可能性がある場合には(ステップ#24:Yes)、ステップ#23で存在が確認された地物を次の基準地物fbn(ここでは第二の基準地物fb2)に設定し(ステップ#25)、当該基準地物fbnについて、上記と同様にステップ#22〜#25の処理を行う。そして、対象地物設定部15は、ステップ#23又は#24の条件を満たさないことにより処理が終了するまで、順に基準地物fbnを設定して同様の処理を繰り返し行う。そして、処理が終了した場合には、対象地物設定部15は、処理が終了するまでに設定された一又は二以上の基準地物fbnの全てを、一回の画像認識処理で画像認識の対象とする対象地物ftとして設定する。
2.第二の実施形態
次に、本発明の第二の実施形態について説明する。図13は、本実施形態に係る画像認識装置2及び自位置認識装置3を含むナビゲーション装置1の概略構成を示すブロック図である。本実施形態に係るナビゲーション装置1の構成は、自車両30(自位置)が進行中の道路における自車両30が存在するレーンを一つに特定できない場合があることを前提とする構成となっている点で、自車両30が進行中のレーンを一つに特定できることを前提として説明した上記第一の実施形態とは異なる。すなわち、このナビゲーション装置1の認識条件設定部10が備える対象地物設定部15は、自車両30(自位置)が進行中の道路における自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて、自車両30が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を対象地物ftに設定する構成となっている。以下、本実施形態に係るナビゲーション装置1について、上記第一の実施形態との相違点を中心として詳細に説明する。
2−1.レーン特定部
レーン特定部12は、自車両30が進行中の道路における自車両30が存在する可能性がある一又は二以上のレーンを特定したレーン特定情報Jを取得する。ここで、レーン特定部12による自車両30が進行中のレーンを特定する演算の方法は、上記第一の実施形態と同様である。但し、例えば図14に示す場合のように、自車両30が進行中の道路のレーン数が多く、同じ種別(破線)の区画線が多数本配置されている場合には、自車両30の周辺の区画線の種別(実線、破線、二重線等の線種)及び配置と自位置周辺の区画線の地物情報Fに含まれる形態情報とに基づいて、自車両30が進行中のレーンを一つに特定することが困難な場合がある。そのような場合には、レーン特定部12は、自車両30が存在する可能性がある複数のレーンを特定したレーン特定情報Jを取得する。すなわち、図14に示すように、レーン番号を左端のレーンから順に(1)、(2)、(3)、・・・(6)とした場合において、自車両30が存在する可能性があるレーンが(2)〜(5)レーンのいずれかである場合には、レーン特定部12は、自車両30が存在する可能性があるレーンが(1)〜(6)レーン中の(2)〜(5)レーンのいずれかであることを表すレーン特定情報Jを取得する。
なお、レーン特定部12は、自車両30の周辺の区画線の種別(実線、破線、二重線等の線種)及び配置と自位置周辺の区画線の地物情報Fに含まれる形態情報とに基づいて、自車両30が進行中のレーンを一つに特定することが困難な場合であっても、画像認識部5による画像認識結果に示される区画線の位置情報に基づいて、自車両30が区画線を跨いだこと、及びその方向から車線変更の有無及びその方向を判定することにより、自車両30が存在する可能性があるレーンを絞り込むことができる構成となっている。そして、本実施形態においても、自位置情報取得部8は、レーン特定情報Jを含む自位置情報Lを生成する。
2−2.自信度決定部
自信度決定部9は、上記第一の実施形態と同様に、自位置情報Lの誤差の推測値である推測誤差を求め、この推測誤差に応じた自位置情報Lの自信度Eを決定する。上述のとおり、この自信度Eは、自車両30の進行方向の推測誤差に応じて定まる、進行方向の自信度Eである。また、本実施形態においては、自信度決定部9は、自位置情報Lが含むレーン特定情報Jの推測誤差としての自車両30が存在する可能性がある一又は二以上のレーンの範囲に応じて、レーン特定情報Jの自信度であるレーン自信度Erを決定する処理も行う。本実施形態においては、自車両30(自位置)の進行方向の自信度E及びレーン自信度Erの双方が、本発明における「自信度」に相当する。
また、本実施形態では、自信度決定部9は、レーン自信度Erを、レーン特定情報Jに示される自車両30が存在する可能性がある一又は二以上のレーンの範囲を表す情報そのものとする。すなわち、例えば、図14に示すように、自車両30が存在する可能性があるレーンが(2)〜(5)レーンのいずれかである場合には、「(2)〜(5)」というレーン範囲を表す情報がレーン自信度Erとなる。そして、本例では、自車両30が存在する可能性があるレーンの範囲が狭いほど、すなわち自車両30が存在する可能性があるレーンの数が少ないほど、レーン自信度Erが高いことになる。なお、レーン特定情報Jに示される自車両30が存在する可能性がある一又は二以上のレーンが、例えば「(2)、(3)、(5)レーン」等のように不連続である場合には、レーン自信度Erとしてレーン範囲も同様に不連続なものとなる。
2−3.認識条件設定部
本実施形態においては、認識条件設定部10の対象地物設定部15は、レーン自信度Erに応じて、地図データベース22に地物情報Fが格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物ftを設定する対象地物設定手段として機能する。この対象地物設定部15は、レーン自信度Erと自位置情報Lと地図データベース22に格納された地物情報Fとに基づいて、レーン自信度Erに応じて自車両30が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を対象地物ftに設定する。したがって、対象地物設定部15は、自車両30が存在する可能性がある範囲が狭いほど、すなわちレーン自信度Erが高いほど、対象地物ftの数を少なく設定することになる。このような対象地物ftの設定を行うため、本実施形態においては、対象地物設定部15は、対象レーン設定部19を備えている。
対象レーン設定部19は、レーン自信度Erに応じて、自車両30が存在する可能性がある一又は二以上のレーンを、対象地物ftに設定する地物の探索範囲となる対象レーンに設定する処理を行う。具体的には、例えば、図14に示すように、自車両30が存在する可能性があるレーンが(2)〜(5)レーンのいずれかであり、レーン自信度Erが「(2)〜(5)」というレーン範囲を表す場合には、対象レーン設定部19は、(2)〜(5)レーンを対象レーンとして設定する。
そして、対象地物設定部15は、自位置情報取得部8により取得された自位置情報Lと、地図データベース22に格納された地物情報Fとに基づいて、対象レーン設定部19により設定された対象レーン内の各レーンについて対象地物ftを設定する処理を行う。本実施形態においては、対象地物設定部15は、各レーンについて、自車両30の進行方向の最も近い位置に存在する道路標示に係る一つの地物を対象地物ftに設定することとする。したがって、対象地物設定部15は、基本的に、対象レーン設定部19により設定された対象レーンの数と同数の地物を対象地物ftに設定することになる。但し、本例では、自車両30の進行方向における、対象地物設定部15が対象地物ftを探索する範囲は所定距離内に規定される。したがって、対象レーンに含まれるレーンであっても、自車両30の進行方向の所定距離内に道路標示に係る地物が存在しない場合には、当該レーン内に対象地物ftは設定されない。
図14は、本実施形態における、対象地物設定部15による対象地物ftの設定例を説明するための説明図である。この図に示す例では、自車両30が進行中の道路が、進行方向に左側から(1)〜(6)の6つのレーンを有している。そして、これら6つのレーンのそれぞれには、停止線f5の進行方向後方側に、「左折矢印」、「直進矢印」、「右折矢印」といった各種の進行方向別通行区分標示の地物f6〜f11が配置されている。また、本例では、レーン自信度Erは「(2)〜(5)」というレーン範囲を表すものとなっており、自車両30が存在する可能性があるレーンが(1)〜(6)レーン中の(2)〜(5)レーンのいずれかである。この場合、対象地物設定部15は、まず、対象レーン設定部19により、(2)〜(5)レーンを対象レーンとして設定する。そして、対象地物設定部15は、自位置情報取得部8により取得された自位置情報Lと、地図データベース22に格納された地物情報Fとに基づいて、対象レーンである(2)〜(5)レーンに存在する、自車両30の進行方向の最も近い位置に存在する地物である地物f7〜f10を対象地物ftに設定する。また、例えばレーン自信度Erが「(3)」という一つのレーンのみを表すものとなっている場合には、対象地物設定部15は、当該(3)レーンに存在する、自車両30の進行方向の最も近い位置に存在する地物f8を対象地物ftに設定する。
画像認識範囲設定部14は、上記第一の実施形態と同様に、自信度Eに応じて、画像情報Gに対する各対象地物ftについての画像認識処理を行う範囲である画像認識範囲Aを設定する画像認識範囲設定手段として機能する。但し、本実施形態においては、上記のとおり、対象地物設定部15により一又は二以上のレーンの地物が対象地物ftに設定されるため、画像認識範囲設定部14は、一又は二以上のレーンの対象地物ftの全てが、自車両30が進行中のレーンに存在するものとして、各対象地物ftについての画像認識範囲Aを設定する。なお、図14に示す例では、自車両30の進行方向では、各レーンの対象地物ftがほぼ同じ位置に配置されているため、複数のレーンの対象地物ftについての画像認識範囲Aが一つの範囲として設定されることになる。
2−4.画像認識部
画像認識部5は、上記第一の実施形態と同様に、データ抽出部7で抽出された対象地物ftの地物情報Fを用いて対象地物ftの画像認識処理を行う。この際、画像認識部5は、認識条件設定部10の対象地物設定部15により、複数の対象地物ftが設定された場合にも、各対象地物ftについての画像認識範囲Aがそれぞれ別に設定されている場合には、各画像認識範囲Aの画像情報Gに対して各対象地物ftの画像認識を行う。但し、図14の例に示すように、画像認識範囲設定部14により、複数のレーンの対象地物ftについての画像認識範囲Aが一つの範囲として設定されている場合には、画像認識部5は、それら複数の対象地物ftのいずれかが画像情報Gに含まれているものとして画像認識処理を行う。すなわち、画像認識部5は、画像認識範囲Aの画像情報Gから抽出される地物(道路標示)の輪郭情報を、複数の対象地物ftの地物情報Fに含まれる形態情報と比較し、そのいずれかと一致するか否かを判定する。
具体的には、図14に示す例では、地物f7〜f10が対象地物ftとして設定され、複数のレーンの対象地物ftについての画像認識範囲Aが一つの範囲として設定されている。したがって、画像認識部5は、画像認識範囲Aの画像情報Gから抽出される地物(道路標示)の輪郭情報を、各地物情報Fに含まれる、地物種別が「直進矢印」及び「右折矢印」の形態情報と比較し、そのいずれかと一致するか否かを判定する。そして、地物の輪郭情報といずれかの対象地物ftの地物情報Fに含まれる形態情報とが一致する場合には、対象地物ftの画像認識に成功したと判定し、その画像認識結果を自位置情報補正部6へ出力する。また、この画像認識結果は、レーン特定部12へも出力され、自車両30が進行中のレーンを特定する処理にも用いられる。例えば、図14に示す例の場合、この画像認識結果が、「直進矢印」の画像認識に成功したというものであった場合には、自車両30が進行中のレーンを(2)〜(4)レーンに絞り込むことができる。また、この画像認識結果が、「右折矢印」の画像認識に成功したというものであった場合には、自車両30が進行中のレーンを(5)レーンのみに絞り込むことができる。
2−5.自位置情報補正部
自位置情報補正部6は、上記第一の実施形態と同様に、画像認識部5による画像認識処理の結果と、データ抽出部7により抽出された地物情報Fに含まれる対象地物ftの位置情報とに基づいて自位置情報Lを補正する。そして、自位置情報補正部6は、この演算結果と、当該対象地物ftの地物情報Fとに基づいて高精度な自車両30の位置情報を演算して取得し、自位置情報Lを補正する処理を行う。
本実施形態に係るナビゲーション装置1は、以上のような構成としたことにより、自車両30(自位置)が進行中の道路における自車両30が存在するレーンを一つに特定できない場合であっても、適切に対象地物ftを設定してその画像認識を行うことができる。また、本実施形態の構成によれば、レーン自信度Erに示される、自車両30が存在する可能性がある一又は二以上のレーンの範囲から対象地物ftを設定するので、対象地物ftの数を必要最小限にすることができる。したがって、画像認識処理のための演算処理負荷を軽減しつつ、他の地物との誤認識を抑制して認識率を高めることが可能となる。
3.その他の実施形態
(1)上記の各実施形態では、自位置情報Lの誤差の推測値である推測誤差Yの値そのものを自信度Eとする場合を例として説明した。しかし、本発明の適用範囲はこれに限定されない。すなわち、自信度Eは、自位置情報Lの誤差の大きさを代表できる指標であればよく、例えば、推測誤差Yの値に応じて複数段階に区分した自信度Eの値を決定する構成とすることも本発明の好適な実施形態の一つである。またこのような場合において、自信度Eの値による自信度Eの高さの表し方は、任意に設定することができる。
(2)上記の各実施形態における推測誤差Yの演算方法は単なる一例であって、自位置情報Lの推測誤差Yを演算する方法は、上記演算方法に限定されるものではない。したがって、例えば、上記の距離要因誤差及び固定要因誤差に加えて、進路変更等の他の要因により生じる誤差を加算して推測誤差Yを求める構成とすることも、本発明の好適な実施形態の一つである。
(3)上記の各実施形態では、認識条件設定部10により設定する画像認識処理の認識条件として、各対象地物ftについての画像認識処理を行う範囲である画像認識範囲A、及び一回の画像認識処理で画像認識の対象とする対象地物ftの数についての条件を設定する場合の例について説明した。しかし、認識条件設定部10により設定する画像認識処理の認識条件は、これらの例に限定されるものではない。したがって、例えば、画像認識処理の具体的方法や対象地物ftに設定する地物の種別等、他の認識条件を自信度Eに応じて可変設定する構成とすることも、本発明の好適な実施形態の一つである。
(4)上記第一の実施形態では、地物間隔設定部17が、地物間隔Qを、自信度Eに応じて画像認識範囲設定部14により設定される画像認識範囲Aの大きさAwと一致するように設定する場合を例として説明した。しかし、対象地物ftを設定する際の地物間隔Qの設定方法はこれに限定されるものではなく、他の方法により自信度Eに応じた地物間隔Qを設定することも可能である。したがって、例えば、地物間隔Qを対象地物ftの形状に関係なく自信度Eのみに基づいて決定する構成とすることも可能である。
(5)上記第一の実施形態では、誤認識判定部18が、複数の地物の地物種別が異なる場合に、当該複数の地物が互いに誤認識する可能性を有するか否かを、各地物の地物情報Fに含まれる形態情報と、図示しない誤認識地物データベースに格納された誤認識パターンに基づいて判定する構成である場合を例として説明した。しかし、複数の地物が互いに誤認識する可能性を有するか否かを判定する方法はこれに限定されるものではない。したがって、例えば、各地物の地物情報Fに含まれる形態情報に基づいて、誤認識判定部18がその都度、地物の形態の類似性を判定する演算処理を行う構成とすることも可能である。
(6)上記第一の実施形態では、対象地物設定部15は、自車両30の進行方向に、互いに誤認識する可能性がある複数の地物が自信度Eに応じて定まる地物間隔Q以下の間隔で存在する場合に、それら複数の地物を対象地物ftに設定する場合の例について説明した。しかし、本発明の適用範囲はこのような例に限定されるものではない。したがって、例えば、自信度Eに応じて定まる地物間隔Q以下の間隔で存在する複数の地物が、互いに誤認識する可能性がある地物であることを要件とせず、自車両30の進行方向に、複数の地物が自信度Eに応じて定まる地物間隔Q以下の間隔で存在する場合に、それら複数の地物を対象地物ftに設定する構成とすることも、本発明の好適な実施形態の一つである。
(7)上記第二の実施形態では、レーン自信度Erをレーン特定情報Jに示される自車両30が存在する可能性があるレーン範囲そのものとする場合の例について説明した。しかし、レーン自信度Erの構成はこれに限定されない。したがって、例えば、レーン自信度Erを、各レーンについての自車両30が存在する可能性を表す値とし、当該レーン自信度Erの値が所定のしきい値以上であるレーンを、対象地物ftに設定する地物の探索範囲となる対象レーンに設定する構成とすることも、本発明の好適な実施形態の一つである。
(8)上記第一の実施形態の構成と上記第二の実施形態の構成とを組み合わせ、認識条件設定部10の対象地物設定部15が、自車両30の進行方向には、互いに誤認識する可能性がある複数の地物が自信度Eに応じて定まる地物間隔Q以下の間隔で存在する場合に、それら複数の地物を対象地物ftに設定するとともに、自車両30の進行方向に直交する方向には、レーン自信度Erに応じて、自車両30が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を対象地物ftに設定する構成とすることも、本発明の好適な実施形態の一つである。
(9)上記の各実施形態では、画像認識装置2及び自位置認識装置3を含むナビゲーション装置1の全ての構成が自車両30に搭載される場合を例として説明した。しかし、本発明の適用範囲はこのような構成に限定されるものではない。すなわち、例えば、撮像装置21を除く一部の構成が、インターネット等の通信ネットワークを介して接続された状態で自車両30の外に設置されており、ネットワークを介して情報や信号の送受信を行うことにより、画像認識装置2、自位置認識装置3、及びナビゲーション装置1を構成するものとすることも、本発明の好適な実施形態の一つである。
(10)上記の各実施形態では、画像認識装置2及び自位置認識装置3を、ナビゲーション装置1に利用する場合の例について説明した。しかし、本発明の適用範囲はこれに限定されるものではなく、車両の走行制御装置等の他の用途に利用することも当然に可能である。
本発明は、例えば車両等に搭載され、自位置周辺の画像情報に対する画像認識処理を行うための画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置等に好適に利用することが可能である。
本発明の第一の実施形態に係る画像認識装置及び自位置認識装置を含むナビゲーション装置の概略構成を示すブロック図 地図データベースに格納されている地図情報及び地物情報の構成の例を示す説明図 自車両がほぼ一定速度で走行した場合における、推測誤差すなわち自信度の変化の例を示した図 本発明の第一の実施形態に係る画像認識範囲の設定例の説明図 本発明の第一の実施形態に係る画像認識範囲の設定例の説明図 本発明の第一の実施形態に係る画像認識範囲の設定の比較例の説明図 本発明の第一の実施形態に係る画像認識範囲の設定の比較例の説明図 本発明の第一の実施形態に係る対象地物設定部による対象地物及び画像認識範囲等の設定例の説明図 画像情報の一例を示す図 自車両周辺の地図情報の一例を示す図 本発明の第一の実施形態に係る画像認識方法を用いた自位置認識方法の処理順序を示すフローチャート 本発明の第一の実施形態に係る画像認識装置の対象地物設定部により対象地物を設定する際の処理方法を示すフローチャート 本発明の第二の実施形態に係る画像認識装置及び自位置認識装置を含むナビゲーション装置の概略構成を示すブロック図 本発明の第二の実施形態に係る対象地物設定部による対象地物及び画像認識範囲等の設定例の説明図
符号の説明
1:ナビゲーション装置
2:画像認識装置
3:自位置認識装置
4:画像情報取得部(画像情報取得手段)
5:画像認識部(画像認識手段)
6:自位置情報補正部(自位置情報補正手段)
7:データ抽出部(地物情報抽出手段)
8:自位置情報取得部
9:自信度決定部(自信度決定手段)
10:認識条件設定部(認識条件設定手段)
12:レーン特定部
13:自位置情報取得手段
14:画像認識範囲設定部(画像認識範囲設定手段)
15:対象地物設定部(対象地物設定手段)
22:地図データベース(地図情報格納手段、地物情報格納手段)
28:案内情報出力手段
A:画像認識範囲
E:自信度
Er:レーン自信度
F:地物情報
ft:対象地物
f:地物
G:画像情報
L:自位置情報
J:レーン特定情報
M:地図情報

Claims (17)

  1. 自位置周辺の画像情報を取得する画像情報取得手段と、
    自位置情報を取得する自位置情報取得手段と、
    前記自位置情報の誤差の推測値である推測誤差を求め、この推測誤差に応じた前記自位置情報の自信度を決定する自信度決定手段と、
    地物の位置情報及び形態情報を含む地物情報が格納された地物情報格納手段と、
    前記自信度に応じて、前記地物情報格納手段に前記地物情報が格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物を設定する対象地物設定手段と、
    前記対象地物の地物情報を用いて、前記画像情報に対する前記対象地物の画像認識処理を行う画像認識手段と、を備える画像認識装置。
  2. 前記対象地物設定手段は、前記自信度が高いほど、前記対象地物の数を少なく設定する請求項1に記載の画像認識装置。
  3. 前記対象地物設定手段は、前記自信度と前記自位置情報と前記地物情報とに基づいて、前記対象地物を設定する請求項1又は2に記載の画像認識装置。
  4. 前記対象地物設定手段は、前記地物情報格納手段に格納された地物情報に基づいて、自位置の進行方向に、複数の地物が前記自信度に応じて定まる地物間隔以下の間隔で存在する場合に、それら複数の地物を前記対象地物に設定する請求項1から3のいずれか一項に記載の画像認識装置。
  5. 前記対象地物設定手段は、前記地物情報格納手段に格納された地物情報に基づいて、前記地物間隔以下の間隔で存在する複数の地物が互いに誤認識する可能性がある地物である場合に、それら複数の地物を前記対象地物に設定する請求項4に記載の画像認識装置。
  6. 前記対象地物設定手段は、前記地物情報に含まれる前記形態情報に基づいて、前記複数の地物についての互いに誤認識する可能性の有無を判定する請求項5に記載の画像認識装置。
  7. 前記自信度に応じて前記対象地物のそれぞれについての画像認識処理を行う範囲である画像認識範囲を設定する画像認識範囲設定手段を備え、
    前記対象地物設定手段は、前記画像認識範囲の大きさに応じて前記地物間隔を設定する請求項4から6のいずれか一項に記載の画像認識装置。
  8. 前記画像認識範囲は、自位置の進行方向に区画される範囲である請求項7に記載の画像認識装置。
  9. 前記推測誤差は、前記自位置情報の取得条件が最も悪い場合を想定した最大誤差の推測値である請求項1から8のいずれか一項に記載の画像認識装置。
  10. 前記推測誤差は、自位置の移動距離に応じて増加する距離要因誤差と、自位置の移動距離とは無関係な固定要因誤差とを加算して求める請求項1から9のいずれか一項に記載の画像認識装置。
  11. 前記自位置情報取得手段は、前記自位置情報として、自位置が進行中の道路における自位置が存在する可能性がある一又は二以上のレーンを特定したレーン特定情報を取得し、
    前記自信度決定手段は、前記レーン特定情報の推測誤差としての自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて、前記レーン特定情報の自信度であるレーン自信度を決定し、
    前記対象地物設定手段は、前記地物情報格納手段に格納された地物情報に基づいて、前記レーン自信度に応じて自位置が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を前記対象地物に設定する請求項1から3のいずれか一項に記載の画像認識装置。
  12. 前記対象地物は、道路の路面に設けられた道路標示である請求項1から11のいずれか一項に記載の画像認識装置。
  13. 請求項1から12のいずれか一項に記載の画像認識装置と、前記画像認識装置による画像認識処理の結果と前記地物情報に含まれる前記対象地物の前記位置情報とに基づいて前記自位置情報を補正する自位置情報補正手段と、を備える自位置認識装置。
  14. 請求項13に記載の自位置認識装置と、前記地物情報を含む地図情報が格納された地図情報格納手段と、前記地図情報を参照して動作するアプリケーションプログラムと、前記アプリケーションプログラムに従って動作して案内情報を出力する案内情報出力手段と、を備えるナビゲーション装置。
  15. 自位置周辺の画像情報を取得する画像情報取得ステップと、
    自位置情報を取得する自位置情報取得ステップと、
    前記自位置情報の誤差の推測値である推測誤差を求め、この推測誤差に応じた前記自位置情報の自信度を決定する自信度決定ステップと、
    前記自信度に応じて、地物情報格納手段に地物情報が格納された地物の中から画像認識処理の対象とする一又は二以上の対象地物を設定する対象地物設定ステップと、
    設定された前記対象地物の地物情報を用いて、前記画像情報に対する前記対象地物の画像認識処理を行う画像認識ステップと、を備える画像認識方法。
  16. 前記対象地物設定ステップでは、前記地物情報格納手段に格納された地物情報に基づいて、自位置の進行方向に、複数の地物が前記自信度に応じて定まる地物間隔以下の間隔で存在する場合に、それら複数の地物を前記対象地物に設定する請求項15に記載の画像認識方法。
  17. 前記自位置情報取得ステップでは、前記自位置情報として、自位置が進行中の道路における自位置が存在する可能性がある一又は二以上のレーンを特定したレーン特定情報を取得し、
    前記自信度決定ステップでは、前記レーン特定情報の推測誤差としての自位置が存在する可能性がある一又は二以上のレーンの範囲に応じて、前記レーン特定情報の自信度であるレーン自信度を決定し、
    前記対象地物設定ステップでは、前記地物情報格納手段に格納された地物情報に基づいて、前記レーン自信度に応じて自位置が存在する可能性がある一又は二以上のレーンに存在する一又は二以上の地物を前記対象地物に設定する請求項15に記載の画像認識方法。
JP2007147495A 2007-06-01 2007-06-01 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置 Expired - Fee Related JP4789869B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007147495A JP4789869B2 (ja) 2007-06-01 2007-06-01 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007147495A JP4789869B2 (ja) 2007-06-01 2007-06-01 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2008298698A true JP2008298698A (ja) 2008-12-11
JP4789869B2 JP4789869B2 (ja) 2011-10-12

Family

ID=40172333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007147495A Expired - Fee Related JP4789869B2 (ja) 2007-06-01 2007-06-01 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置

Country Status (1)

Country Link
JP (1) JP4789869B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066636A (ja) * 2012-09-26 2014-04-17 Toyota Motor Corp 自車位置校正装置および自車位置校正方法
JP2018159752A (ja) * 2017-03-22 2018-10-11 日産自動車株式会社 地図情報学習方法及び地図情報学習装置
EP3816938A1 (en) 2019-10-30 2021-05-05 Fujitsu Limited Region clipping method and recording medium storing region clipping program
JP2021532455A (ja) * 2018-07-10 2021-11-25 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両の位置を決定するための方法および装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014066636A (ja) * 2012-09-26 2014-04-17 Toyota Motor Corp 自車位置校正装置および自車位置校正方法
JP2018159752A (ja) * 2017-03-22 2018-10-11 日産自動車株式会社 地図情報学習方法及び地図情報学習装置
JP2021532455A (ja) * 2018-07-10 2021-11-25 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh 車両の位置を決定するための方法および装置
JP7224431B2 (ja) 2018-07-10 2023-02-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 車両の位置を決定するための方法および装置
EP3816938A1 (en) 2019-10-30 2021-05-05 Fujitsu Limited Region clipping method and recording medium storing region clipping program
US11461944B2 (en) 2019-10-30 2022-10-04 Fujitsu Limited Region clipping method and recording medium storing region clipping program

Also Published As

Publication number Publication date
JP4789869B2 (ja) 2011-10-12

Similar Documents

Publication Publication Date Title
JP4703605B2 (ja) 地物抽出方法、並びにそれを用いた画像認識方法及び地物データベース作成方法
US7948397B2 (en) Image recognition apparatuses, methods and programs
JP4886597B2 (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4831434B2 (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP6477888B2 (ja) 経路誘導装置及び経路誘導方法
US8213682B2 (en) Feature information collecting apparatuses, methods, and programs
JP4899351B2 (ja) 走行状況判定装置及び車載ナビゲーション装置
JP2008197905A (ja) レーン判定装置及びレーン判定方法
JP2011122936A (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP4953012B2 (ja) 画像認識装置と画像認識装置のためのプログラム、及びこれを用いたナビゲーション装置とナビゲーション装置のためのプログラム
US10963708B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes of a road
JP2007178270A (ja) 自位置認識システム
JP2008196968A (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP4875509B2 (ja) ナビゲーション装置及びナビゲーション方法
JP2008298699A (ja) 自車位置認識装置及び自車位置認識方法
JP2008196969A (ja) レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置
JP4789869B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
JP4789868B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた自位置認識装置及びナビゲーション装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
JP2006317286A (ja) 車載ナビゲーション装置
JP4831433B2 (ja) 自車位置認識装置及び自車位置認識プログラム、並びにナビゲーション装置
JP4817019B2 (ja) 自車位置認識装置及び自車位置認識プログラム
JP2009058430A (ja) ナビゲーション装置及びナビゲーションプログラム
JP5071737B2 (ja) レーン判定装置及びレーン判定プログラム、並びにそれを用いたナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091111

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4789869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees