JP2006284281A - 自車情報認識装置及び自車情報認識方法 - Google Patents

自車情報認識装置及び自車情報認識方法 Download PDF

Info

Publication number
JP2006284281A
JP2006284281A JP2005102394A JP2005102394A JP2006284281A JP 2006284281 A JP2006284281 A JP 2006284281A JP 2005102394 A JP2005102394 A JP 2005102394A JP 2005102394 A JP2005102394 A JP 2005102394A JP 2006284281 A JP2006284281 A JP 2006284281A
Authority
JP
Japan
Prior art keywords
information
vehicle
feature
shadow
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005102394A
Other languages
English (en)
Other versions
JP4596566B2 (ja
Inventor
Masaki Nakamura
正樹 中村
Takayuki Miyajima
孝幸 宮島
Motohiro Nakamura
元裕 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2005102394A priority Critical patent/JP4596566B2/ja
Publication of JP2006284281A publication Critical patent/JP2006284281A/ja
Application granted granted Critical
Publication of JP4596566B2 publication Critical patent/JP4596566B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】 演算処理負荷が少なく正確性が高い画像認識処理を用いて、自車位置及び自車方位の一方又は双方を高精度に認識することが可能な自車情報認識装置を提供する。
【解決手段】 自車両に搭載された撮像装置2により撮像した画像情報Gを取り込む画像情報取得手段10と、自車位置情報D3を取得する自車位置情報取得手段7と、地物の位置及び高さの情報を含む地物情報D1を格納する地物情報格納手段3と、年月日及び時刻の情報並びに地物情報D1を用いて地物の影の位置及び形状を演算する地物影演算手段18と、画像情報Gに含まれる地物の影の画像g1を認識する影画像認識手段11と、同一地物に対する地物影演算手段18による演算結果と影画像認識手段11による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段21と、を備える。
【選択図】 図1

Description

本発明は、車両に搭載された撮像装置により撮像した画像情報を用いて、自車位置や自車方位を高精度に認識する自車情報認識装置及び自車情報認識方法に関する。
車両用のナビゲーション装置において車両の位置や方位を特定する方法として、これまでは主に次の2種類の方法が用いられている。一つは、GPS(グローバル・ポジショニング・システム)衛星からの電波信号を受信し、3角測量の原理で位置特定を行うGPS航法である。この航法を用いれば、車両の現在位置を絶対座標として検出することができる利点がある、もう一つは、ジャイロセンサ(方位センサ)や距離センサ等の各種センサを用いて車両の方位と走行距離を検出しながら、一定距離走行する毎に位置変化分を累積することにより位置特定を行う自律航法である。現在では、これら2つの航法を組み合わせたハイブリッド方式が多く用いられている。
しかし、GPS航法では、GPS衛星からの電波信号を受信する必要があるためにトンネル内や高層ビルの陰などでは位置検出ができない、位置検出の精度に限界があり数m〜数十m程度の誤差を含んでいる、現在の検出位置と直前の検出位置とを結ぶ方向を車両の方位とするために車速が遅い場合に方位の検出精度が低くなるといった問題がある。また、自律航法では、走行距離が長くなる或いは進路変更の数が増えることによりセンサによる検出誤差が累積する問題がある。したがって、これらの2つの航法を組み合わせたハイブリッド方式であっても、車両の位置や方位の検出にはある程度の誤差が生じることは避けられなかった。
そこで、自車位置の検出精度を高めるための技術として、例えば下記特許文献1には、以下のような車両位置測定装置に関する技術が記載されている。すなわち、この車両位置測定装置は、車両に搭載されたカメラを用いて車両前方を撮影して交差点名称を含む案内標識の画像を撮影する。この案内標識としては、法令によって設置位置や大きさ(高さ)等が定まっているものを対象する。そして、撮影された画像情報から案内標識の画像を抽出し、文字認識処理により交差点名称を特定する。また、撮影された画像情報に含まれる案内標識の大きさに基づいて、車両位置(撮影位置)から当該案内標識までの距離を演算する。これにより、交差点名称から特定された交差点ノードから車両位置(撮影位置)までの距離を演算し、この演算結果を用いて車両位置の絶対座標を特定することができる。そして、この車両位置の絶対座標を用いて、GPS受信機、方位センサ、距離センサ等により検出された車両位置を補正する処理を行う。これにより自車位置の検出精度を高めることができる。
また、自車方位の検出精度を高めるための技術として、例えば下記特許文献2には、以下のような車載ナビゲータに関する技術が記載されている。すなわち、この車載ナビゲータは、まず、GPS受信機により衛星航法で検出された車両位置を、車両位置修正部が地図データ記憶手段に記憶された地図データを用いてマップマッチングにより道路上に修正する。そして、表示用車両方位計算部により、マップマッチング後の車両位置が乗っている道路の方位を自車方位として計算する処理を行う。これにより、自車方位が、走行中の道路の方向と一致するので、不自然な自車方向の表示が行われることを防止できる。
特開2004−45227号公報(第7−10頁、第4−5図) 特開平6−242211号公報(第3−4頁、第2図)
しかしながら、上記特許文献1に記載された技術は、立体物である案内標識の画像認識処理を行うものであって、案内標識を画像情報の中から抽出する処理に加えて、その大きさや高さ等を認識し、更には案内標識に含まれる文字の認識処理も行うことから、高度な画像認識処理を行う必要がある。そのため、車両の走行に合わせてリアルタイムで高精度に画像認識処理を行うためには装置の演算処理負荷が非常に大きくなるという問題がある。
また、上記特許文献2に記載された技術は、自車方位を正確に演算する技術ではなく、マップマッチングの結果を自車方位の表示に反映させるというだけの技術であるため、必ずしも自車方位を正確に表しているとは限らず、誤った方位を自車方位とする場合がある。したがって、例えば狭角分岐道路等のようにマップマッチングによる車両の進路の推定を正確に行うことが困難な状況においては、正確な自車方位を認識することが困難であるという問題がある。
本発明は、上記の課題に鑑みてなされたものであり、その目的は、演算処理負荷が少なく正確性が高い画像認識処理を用いて、自車位置及び自車方位の一方又は双方を高精度に認識することが可能な自車情報認識装置を提供する点にある。
上記目的を達成するための本発明に係る自車情報認識装置の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得手段と、自車位置情報を取得する自車位置情報取得手段と、地物の位置及び高さの情報を含む地物情報を格納する地物情報格納手段と、年月日及び時刻の情報並びに前記地物情報を用いて前記地物の影の位置及び形状を演算する地物影演算手段と、前記画像情報に含まれる地物の影の画像を認識する影画像認識手段と、同一地物に対する前記地物影演算手段による演算結果と前記影画像認識手段による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段と、を備える点にある。
この特徴構成によれば、例えば道路の路面等に映る地物の影の画像を認識するという平面的な画像認識処理を行うものであり、更に濃淡が明確になり易い影の画像を認識対象とするためにエッジ抽出等の画像認識処理を正確に行うことが容易であるので、少ない演算処理負荷で正確性が高い画像認識を行うことができる。そして、そのような影の画像認識の結果と、予め用意された地物情報に基づいて演算される理論上の影の位置及び形状に基づいて、自車位置及び自車方位の一方又は双方を高精度に認識することができる。
この際、道路の路面等に映る地物の影の画像を認識できればよいので、車両に搭載されたバックカメラ等の各種の車載カメラの画像を好適に用いることができる。
また、地物の影の画像を用いるので、例えば高速道路のように道路の路面に横断歩道や停止線等のペイント表示が少なく、ペイント表示の画像認識による自車位置や自車方位の認識を行うことができない場合であっても自車位置や自車方位の認識を行うことができる。
ここで、前記地物影演算手段は、前記年月日及び時刻の情報に基づいて太陽の位置を演算する太陽位置演算手段と、前記自車位置情報に示される位置周辺の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、前記太陽位置演算手段による演算結果と前記地物情報取得手段により取得された前記地物情報とを用いて前記地物の理論上の影の位置及び形状を演算する理論影演算手段と、を備える構成とすると好適である。
この構成によれば、画像情報に含まれる少なくとも一部の地物の影の位置及び形状を理論上正確に演算することができる。
また、自車方位情報を取得する自車方位情報取得手段を備え、前記地物影演算手段は、年月日及び時刻の情報並びに前記地物情報に基づいて、地球側に固定された絶対座標上における前記地物の理論上の影の位置及び形状を演算し、前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて、前記自車位置情報に示される位置及び前記自車方位情報に示される方位に基づいて定まる撮像装置の位置及び方位をそれぞれ撮像位置及び撮像方位とした場合の前記絶対座標上における前記地物の影の位置及び形状を演算する影画像演算手段を備え、前記地物影演算手段による演算結果と前記影画像演算手段による演算結果とを対比して前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を演算し、前記位置誤差に基づいて前記自車位置情報を補正し、前記方位誤差に基づいて前記自車方位情報を補正して、自車位置及び自車方位の一方又は双方の認識を行う構成とすると好適である。
この構成によれば、地物情報に基づいて演算される理論上の地物の影の位置及び形状と、前記影画像認識手段による影画像の認識結果並びに自車位置情報及び自車方位情報に基づいて演算される地物の影の位置及び形状とを、絶対座標上で対比することができるので、前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を容易に演算することができる。したがって、演算された位置誤差及び方位誤差の一方又は双方に基づいて、前記自車位置情報及び前記自車方位情報の一方又は双方を補正して自車位置及び自車方位の一方又は双方を高精度に認識することができる。
また、画像情報取得手段は、前記撮像装置により撮像した画像情報を所定の時間間隔で複数取り込み、前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて前記複数の画像情報に含まれる同一の地物の影の画像の時間経過に従う移動の状態を解析し、その解析結果に基づいて少なくとも自車方位の変化方向を演算する移動方向演算手段を備え、この移動方向演算手段による演算結果に基づいて自車方位の認識を行う構成とすると好適である。
この構成によれば、移動方向演算手段により少なくとも自車方位の変化方向を演算し、演算された自車方位の変化方向を自車方位の認識や自車両の進路の推測に利用することができる。したがって、例えば、自車両が道路の狭角分岐等を通過する際などのように、従来の方法では自車両がいずれの方向に進行するかを判定する困難であった場合にも、自車方位の変化方向に基づいて自車両の進路の推測を良好に行うことが可能となる。またこれにより、自車位置及び自車方位の一方又は双方の認識の精度も高めることができる。
本発明に係るナビゲーション装置の特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段と、前記地図情報格納手段から取得した地図上に自車マークを重ね合わせて表示する表示手段とを備え、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方に基づいて、前記地図上に前記自車マークを重ね合わせて表示する点にある。
この特徴構成によれば、地図上に自車マークを重ね合わせて表示手段に表示する場合に、地図上により正確な自車位置及び自車方位を表す自車マークを表示することができる。
本発明に係るナビゲーション装置のもう一つの特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段と、所定の誘導経路に従って進路案内を行う進路案内手段とを備え、前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて前記進路案内を行う点にある。
この特徴構成によれば、所定の誘導経路に従って進路案内を行う場合に、高精度に認識された自車位置及び自車方位に基づいてより正確なタイミング及び内容で進路案内を行うことができる。
本発明に係る車両制御装置の特徴構成は、上記特徴を備えた自車情報認識装置と、地図情報を格納した地図情報格納手段とを備え、前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて、車両の走行制御を行う点にある。
この特徴構成によれば、高精度に認識された自車位置及び自車方位に基づいてより正確で信頼性の高い車両制御を行うことができる。
本発明に係る自車情報認識方法の特徴構成は、自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得ステップと、自車位置情報を取得する自車位置情報取得ステップと、年月日及び時刻の情報並びに地物情報格納手段に格納された地物情報を用いて地物の影の位置及び形状を演算する地物影演算ステップと、前記画像情報に含まれる地物の影の画像を認識する影画像認識ステップと、同一地物に対する前記地物影演算ステップによる演算結果と前記影画像認識ステップによる認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識ステップと、を備える点にある。
この特徴構成によれば、例えば道路の路面等に映る地物の影の画像を認識するという平面的な画像認識処理を行うものであり、更に濃淡が明確になり易い影の画像を認識対象とするためにエッジ抽出等の画像認識処理を正確に行うことが容易であるので、少ない演算処理負荷で正確性が高い画像認識を行うことができる。そして、そのような影の画像認識の結果と、予め用意された地物情報に基づいて演算される理論上の影の位置及び形状に基づいて、自車位置及び自車方位の一方又は双方を高精度に認識することができる。
この際、道路の路面等に映る地物の影の画像を認識できればよいので、車両に搭載されたバックカメラ等の各種の車載カメラの画像を好適に用いることができる。
また、地物の影の画像を用いるので、例えば高速道路のように道路の路面に横断歩道や停止線等のペイント表示が少なく、ペイント表示の画像認識による自車位置や自車方位の認識を行うことができない場合であっても自車位置や自車方位の認識を行うことができる。
以下に、本発明の実施形態について図面に基づいて説明する。本実施形態においては、図1は、本実施形態に係る自車情報認識装置1並びにこれを備えたナビゲーション装置及び車両制御装置のハードウエア構成の概略を示すブロック図である。
本実施形態に係る自車情報認識装置1は、撮像装置2により撮像した画像情報Gから認識される地物の影の画像g1と、地図情報データベース3に格納された地物情報D1に基づいて演算される地物の理論上の影の位置及び形状とを対比することにより、GPS受信機4、方位センサ5及び距離センサ6に基づいてロケーション部7において取得される自車位置情報D3及び自車方位情報D4よりも高精度に自車位置及び自車方位を認識する処理を行う。
以下、各部の構成について詳細に説明する。なお、自車情報認識装置1の各機能部は、CPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウエア又はソフトウエア或いはその両方で実装されて構成されている。
撮像装置2は、例えばCCDセンサやCMOSセンサ等の撮像素子と、この撮像素子に光を導くための光学系を構成するレンズ等を有して構成される。この撮像装置2は、自車両8の前方や後方に向けて搭載され、少なくとも自車両8が走行する道路9の路面が撮影されるように設けられる。ここでは、図2及び図3に示すように、自車両8の前方を撮像する場合を例として説明する。このような撮像装置2としては、自車両8の前方や後方等の映像を撮像するために既に設けられている車載カメラ等が好適に用いられる。
画像情報取得部10は、撮像装置2により撮像した画像情報Gを取り込む処理を行う。取り込まれた画像情報Gは、画像情報取得部10が備える図示しない画像メモリに格納される。本実施形態においては、この画像情報取得部10が、本発明における「画像情報取得手段」を構成する。
画像認識部11は、画像情報取得部10により取得された画像情報Gに含まれる地物の影の画像g1を認識する処理を行う。具体的には、画像認識部11は、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、画像情報Gの中から地物の影の画像g1を抽出する処理を行う。例えば、図2に示すように、自車両8が走行する道路9の前方に太陽17の光による案内標識C1の影S1が存在する場合、図3に示すような画像情報Gが撮像装置2により撮像される。画像認識部11は、この画像情報Gから図4に示すように案内標識C1の影の画像g1のみを抽出する処理を行う。この画像認識部11において影の画像が認識される地物としては、例えば、各種の標識、信号機、ビルなどの建物等の立体物が含まれる。
本実施形態においては、この画像認識部11が、本発明における「影画像認識手段」を構成する。
ロケーション部7は、GPS受信機4、方位センサ5、距離センサ6、及び地図情報データベース3と接続さている。ここで、GPS受信機4は、GPS衛星12(図2参照)からの信号を受信する装置であり、受信した信号に基づいてGPS受信機4の位置(緯度及び経度)、年月日及び時刻の情報等の各種情報を取得する。このGPS受信機4により取得された年月日及び時刻の情報は、ロケーション部7の他に後述する太陽位置演算部13へも出力される。方位センサ5は、地磁気センサやジャイロセンサ、或いは、ハンドルの回転部に取り付けた光学的な回転センサや回転型の抵抗ボリューム、車輪部に取り付ける角度センサ等により構成され、自車両8の進行方向を検知する。距離センサ6は、車輪の回転数を検知する車速センサや自車両8の加速度を検知するヨー・Gセンサと、検知された加速度を2回積分する回路との組み合わせ等により構成され、自車両8の移動距離を検知する。そして、ロケーション部7は、これらのGPS受信機4、方位センサ5及び距離センサ6からの出力に基づいて、公知の方法により自車両8の現在位置や方位を特定する演算を行う。また、ロケーション部7は、後述する地図情報データベース3から地図情報D2を取得し、それに基づいて公知のマップマッチングを行うことにより自車両8の現在位置や方位の修正も行う。そして、このロケーション部7により特定された自車両8の現在位置の情報が自車位置情報D3となり、自車両8の現在の方位の情報が自車方位情報D4となる。
ここで、自車位置情報D3は、地球側に固定された絶対座標上の位置としての緯度及び経度の情報として表される。また、自車方位情報D4は、地球側に固定された絶対座標上の方位として表される。なお、本実施形態の説明において、「位置」又は「方位」といった時には、特に断らない限り、地球側に固定された絶対座標上の位置(緯度及び経度)又は方位であるとする。
このロケーション部7により取得される自車位置情報D3及び自車方位情報D4の精度は、GPS受信機4や方位センサ5及び距離センサ6の精度に大きく影響を受ける。このため、自車位置情報D3は数十m程度の誤差を含んでいる可能性がある。また、自車方位情報D4については、特に自車両8の走行速度が低いときに誤差が非常に大きくなる場合がある。
本実施形態においては、このロケーション部7が、本発明における「自車位置情報取得手段」及び「自車方位情報取得手段」を構成する。
影画像演算部14は、画像認識部11による地物の影の画像g1の認識結果に基づいて、自車位置情報D3に示される位置及び自車方位情報D4に示される方位に基づいて定まる撮像装置2の位置及び方位をそれぞれ画像情報Gの撮像位置及び撮像方位とした場合の、地物の影の画像g1として認識された地物の影の位置及び形状を演算する処理を行う。すなわち、撮像装置2は自車両8に固定されているので、自車位置情報D3及び自車方位情報D4と撮像装置2による撮像位置及び撮像方位との関係は一定である。また、撮像装置2の撮像位置及び撮像方位が定まれば、撮像装置2の位置及び方位を基準とする画像情報G中に撮像された地物の影の実際の位置を求めることができる。したがって、自車位置情報D3及び自車方位情報D4を基準として画像認識部11で画像情報Gから認識された地物の影の位置及び形状を演算することができる。ここでは、図7に示すように、影画像演算部14は、地球側に固定された絶対座標上における地物の位置(緯度及び経度)及び形状を演算する。この影画像演算部14における処理については、後で具体例に従って詳細に説明する。
本実施形態においては、この影画像演算部14が、本発明における「影画像演算手段」を構成する。
地図情報データベース3には、地図情報D2及び地物情報D1が格納されている。図5は、地図情報データベース3に格納されている地図情報D2及び地物情報D1の内容を示す説明図である。この図に示すように、本実施形態に係る地図情報データベース3には、地図情報として、道路ネットワークレイヤL1、道路形状レイヤL2、地物レイヤL3が格納されている。
道路ネットワークレイヤL1は、道路9間の接続情報を格納するレイヤである。具体的には、緯度及び経度で表現された地図上の位置情報を有する多数のノードNの情報と、2つのノードNを連結して道路9を構成する多数のリンクLの情報とを有して構成されている。また、各リンクLは、そのリンク情報として、道路9の種別(高速道路、有料道路、国道、県道等の種別)やリンク長さ等の情報を有している。
道路形状レイヤL2は、道路ネットワークレイヤL1に関連付けられて格納され、道路9の形状を格納するレイヤである。具体的には、2つのノードNの間(リンクL上)に配置されて緯度及び経度で表現された地図上の位置情報を有する多数の道路形状補完点Sの情報や、各道路形状補完点Sにおける道路幅の情報等を有して構成されている。
地物レイヤL3は、道路ネットワークレイヤL1及び道路形状レイヤL2に関連付けられて格納され、道路9上及び道路9の周辺に設けられた各種の地物に関する地物情報D1を格納するレイヤである。この地物レイヤL3に格納する地物情報D1としては、少なくとも理論影演算部15において演算対象となり得る地物に関する位置、形状、色彩等の情報が格納されている。本実施形態においては、具体的には、地物レイヤL3には、道路9上や道路9の周囲に設けられた各種の標識、信号機、建物、看板、モニュメント等の特に立体物の地物情報D1が、道路形状補完点S又はノードNを基準とした地図上の位置と関連付けて格納されている。このような地物情報D1の具体的な内容としては、各地物の基準点の位置(緯度及び経度)の情報、道路9の路面からの高さの情報、平面的及び立体的な形状の情報等が含まれる。ここで、標識には、例えば、案内標識、警戒標識、規制標識等が含まれる。また、建物には、高さが高いビル等が特に含まれ、看板やモニュメント等についても特に大規模なものが含まれる。また、地物情報D1として、道路9の路面に設けられたペイント表示等の立体物以外の各種地物の情報を格納することとしてもよい。このように、地物情報D1は、地物レイヤL3上において地図情報D2と関連付けられて地図情報データベース3に格納されている。
なお、地図情報データベース3は、例えば、ハードディスクドライブ、DVD−ROMを備えたDVDドライブ、CD−ROMを備えたCDドライブ等のように、情報を記憶可能な記録媒体とその駆動手段とを有する装置をハードウエア構成として備えている。
本実施形態においては、この地図情報データベース3が、本発明における「地物情報格納手段」及び「地図情報格納手段」を構成する。
地物情報取得部16は、ロケーション部7及び地図情報データベース3と接続されている。この地物情報取得部16は、ロケーション部7により特定された自車位置情報D3に基づいて、地図情報データベース3から自車位置情報D3に示される位置周辺の地物についての地物情報D1を取得する処理を行う。ここでは、地物情報取得部16は、自車位置情報D3に示される位置を撮像位置とした場合に撮像装置2による撮像領域に含まれる地物であって、理論影演算部15による演算に用いる立体物(各種の標識や信号機等)の位置、高さ、形状を含む地物情報D1を、地図情報データベース3の地物レイヤL3から抽出する処理を行う。
本実施形態においては、この地物情報取得部16が、本発明における「地物情報取得手段」を構成する。
太陽位置演算部13は、GPS受信機4により取得された年月日及び時刻の情報に基づいてその時点での太陽17の位置を演算する処理を行う。ここでは、太陽位置演算部13は、GPS受信機4及び地物情報取得部16に接続されている。そして、太陽位置演算部13は、GPS受信機4により取得された年月日及び時刻の情報に基づいて、地物情報取得部16において取得された各地物情報D1に含まれる各地物の位置(緯度及び経度)に対する太陽17の方位及び高さ(地表面に対する角度)を演算する処理を行う。
本実施形態においては、この太陽位置演算部13が、本発明における「太陽位置演算手段」を構成する。
理論影演算部15は、太陽位置演算部13による演算結果と、地物情報取得部16により取得された地物情報D1とを用いて各地物の理論上の影Saの位置及び形状を演算する処理を行う。すなわち、上記のとおり、太陽位置演算部13の演算結果として、地物情報取得部16において取得された各地物情報D1に含まれる各地物の位置(緯度及び経度)に対する太陽の方位及び高さの情報が理論影演算部15に入力される。また、地物情報取得部16からは取得された各地物情報D1として、各地物の位置、高さ、形状等の情報が理論影演算部15に入力される。そして、理論影演算部15は、これらの入力情報に基づいて、各地物についての理論上の影の位置及び形状を演算する。本実施形態においては、一例として、図7に示すように、緯度(y軸)及び経度(x軸)により表される絶対座標上において、各地物情報D1に含まれる位置、高さ及び形状の地物が太陽位置演算部13により演算された方位及び高さ(地表面に対する角度)の仮想上の太陽からの平行光により、地表面(道路面)に投影される理論上の影Saの位置及び形状を演算することにより行う。ここで、理論上の影Saの位置及び形状としては、例えば、任意の基準点位置Sa1(例えば地物の基準点と一致する位置)を緯度及び経度で表す基準位置情報と、この基準位置を基準としてその地物の影の外縁形状を表す輪郭線Sa2上の各点の位置を表す輪郭線情報とにより表すことができる。
本実施形態においては、この理論影演算部15が、本発明における「理論影演算手段」を構成する。
そして、本実施形態においては、これら太陽位置演算部13、地物情報取得部16及び理論影演算部15が、本発明における「地物影演算手段18」を構成している。
誤差算出部19は、同一地物に対する理論影演算部15による演算結果と影画像演算部14による演算結果とを対比して、ロケーション部7により特定された自車位置情報D3の位置誤差(Δx,Δy)及び自車方位情報D4の方位誤差Δθを算出する処理を行う。この誤差算出部19における処理については、後で具体例に従って詳細に説明する。
自車情報補正部20は、誤差算出部19により算出された位置誤差(Δx,Δy)に基づいて自車位置情報D3を補正し、方位誤差Δθに基づいて自車方位情報D4を補正する演算処理を行う。この自車情報補正部20における処理については、後で具体例に従って詳細に説明する。
この自車情報補正部20による補正後の自車位置情報D3c及び補正後の自車方位情報D4cが、ロケーション部7により特定された自車位置情報D3及び自車方位情報D4より高精度に特定された自車位置及び自車方位の情報となる。したがって、本実施形態においては、影画像演算部14、誤差算出部19、及び自車情報補正部20が、本発明における「自車情報認識手段21」を構成する。この自車情報補正部20による補正後の自車位置情報D3c及び補正後の自車方位情報D4cは、ナビゲーション用演算処理部22及びこれを介して車両制御用演算処理部23へ出力される。
移動方向演算部24は、画像認識部11による画像情報Gの認識結果に基づいて複数の画像情報Gに含まれる同一の地物の影の画像g1の時間経過に従う移動の状態を解析し、その解析結果に基づいて自車方位の変化方向を演算して変化方向情報D5として出力する処理を行う。ここでは、所定の時間間隔で連続的に取り込まれた画像情報Gに共通して含まれる一又は二以上の地物の影の画像g1について、当該地物の影の画像g1が時間経過に従って移動する方向を解析し、その解析結果に基づいて自車方位の変化方向を演算する処理を行う。この移動方向演算部24における処理については、後で具体例に従って詳細に説明する。この移動方向演算部24の演算結果として変化方向情報D5は、ナビゲーション用演算処理部22及びこれを介して車両制御用演算処理部23へ出力される。なお、移動方向演算部24において自車方位の変化方向に加えてその変化量(変化角度等)をも演算して出力し、自車方位の認識に利用することも可能である。
本実施形態においては、この移動方向演算部24が、本発明における「移動方向演算手段」を構成する。そして、本実施形態においては、この移動方向演算部24も本発明における「自車情報認識手段21」を構成する。
ナビゲーション用演算処理部22は、自車情報補正部20、移動方向演算部24、地図情報データベース3、表示装置25及び音声出力装置26に接続されている。そして、ナビゲーション用演算処理部22は、表示装置25を用いた自車位置及び自車方位の表示や、表示装置25及び音声出力装置26を用いた進路案内のための演算処理を行う。具体的には、ナビゲーション用演算処理部22は、地図情報データベース3から自車位置の周辺の地図情報D2を取得して表示装置25に地図の画像を表示するとともに、当該地図の画像上に、自車情報補正部20による補正後の自車位置情報D3c及び補正後の自車方位情報D4cに基づいて自車マークを重ね合わせて表示する処理を行う。この際、移動方向演算部24から出力された自車方位の変化方向情報D5に基づいた自車マークの表示の補正(自車方位や自車位置の補正)も行う。また、ナビゲーション用演算処理部22は、公知の方法により出発地点と目的地点とを結ぶように予め設定された案内経路と補正後の自車位置情報D3c及び自車方位情報D4c等に基づいて、表示装置25に進路を表示するとともに交差点等において音声出力装置26により進路案内のための音声を出力する処理を行う。また、図示は省略するが、ナビゲーション用演算処理部22は、この他にも、リモートコントローラやタッチパネルなどのユーザインタフェース等の、ナビゲーション装置として必要な公知の各種構成に接続されている。
本実施形態においては、表示装置25が本発明における「表示手段」を構成し、表示装置25及び音声出力装置26が本発明における「進路案内手段」を構成する。
車両制御用演算処理部23は、ナビゲーション用演算処理部22に接続されており、このナビゲーション用演算処理部22から、地図情報データベース3からの自車位置の周辺の地図情報D2、自車情報補正部20による補正後の自車位置情報D3c及び補正後の自車方位情報D4c、及び移動方向演算部24から出力された自車方位の変化方向情報D5が入力され、或いはこれらの情報をナビゲーション用演算処理部22において加工した結果の情報が入力される。そして、車両制御用演算処理部23は、ナビゲーション用演算処理部22から入力されるこれらの情報に基づいて自車両8の走行制御を行う。具体的には、車両制御用演算処理部23は、高精度に特定された自車位置及び自車方位と、自車位置の周囲の地図情報D2とに基づいて、例えばレーンキープや速度超過の防止等のための制御信号をブレーキ、ハンドル、スロットル等の車両の各部に対して出力する処理を行う。なお、車両制御用演算処理部23を自車情報補正部20、移動方向演算部24及び地図情報データベース3と直接接続し、それらから直接的に自車位置情報D3、自車方位情報D4及び地図情報D2等を取得する構成とすることも可能である。
外部状況判定部27は、GPS受信機4により取得された年月日及び時刻の情報、並びに明るさセンサ28により取得された自車両8の外部の明るさ情報に基づいて、自車両8の外部の状況が、地物の影の画像g1を認識できる状況であるか否かを判定する処理を行う。そして、地物の影の画像g1を認識できる状況と判定した場合には、影画像演算部14、理論影演算部15、地物情報取得部16、太陽位置演算部13等に対して処理の実行を許可する信号を出力し、地物の影の画像g1を認識できない状況と判定した場合には、これらに対して処理の実行を禁止する信号を出力する。
次に、本実施形態に係る自車情報認識装置1における自車位置及び自車方位の認識処理の具体例について、図6に示すフローチャートに従って説明する。ここでは、図2に示すように、走行中の自車両8から前方にある案内標識C1の影S1の画像を認識して自車位置情報D3及び自車方位情報D4を補正する場合を例として説明する。なお、この図6に示すフローチャートの処理は、所定の時間間隔(例えば10〜50ms程度)で連続的に繰り返し行う。
図6に示すように、自車情報認識装置1は、まず、外部状況判定部27において、外部状況の判定を行う(ステップ#01)。具体的には、自車情報認識装置1は、GPS受信機4により取得された年月日及び時刻の情報、並びに明るさセンサ28により取得された自車両8の外部の明るさ情報に基づいて、自車両8の外部の状況が、地物の影の画像g1を認識できる状況であるか否かを判定する処理を行う。すなわち、自車情報認識装置1は、現在の年月日に基づいて現在時刻が太陽17の出ている時刻であり、なおかつ自車両8の外部の明るさが地物の影ができるのに十分な明るさである場合には地物の影の画像g1を認識できる状況であると判定する。ここで、自車両8の外部の状況が、地物の影の画像g1を認識できる状況でないと判定された場合には(ステップ#01:NG)、以降の処理へは進まない。
そして、外部状況判定部27において自車両8の外部の状況が、地物の影の画像g1を認識できる状況であると判定された場合には(ステップ#01:OK)、次に、ロケーション部7において、自車位置情報D3及び自車方位情報D4を取得する(ステップ#02)。具体的には、上記のとおり、GPS受信機4により受信されるGPS衛星12からの情報や、方位センサ5及び距離センサ6からの出力に基づいて自車両8の現在位置や方位を特定し、更に地図情報データベース3から取得した地図情報D2に基づいてマップマッチングを行って自車両8の位置及び方位が道路9上に合致するように現在位置や方位の修正を行うことにより、自車位置情報D3及び自車方位情報D4を取得する。
次に、地物情報取得部16において自車位置周辺の立体物の地物情報D1を取得する(ステップ#03)。具体的には、ロケーション部7により特定された自車位置情報D3に基づいて、当該自車位置情報D3に示される位置を撮像位置とした場合に撮像装置2による撮像領域に含まれる立体物の地物情報D1を、地図情報データベース3の地物レイヤL3から抽出して取得する。ここで取得される地物情報D1の内容としては、各地物の位置、高さ、及び形状の情報が含まれる。図2の例に示す状況では、地物情報D1として案内標識C1の位置(緯度及び経度)、道路9の路面からの高さ、及び形状の情報が取得される。なお、このステップ#03において複数の地物情報D1が取得されることもあるが、ここでは説明の簡略化のために一の案内標識C1の地物情報D1のみが取得された場合を例として説明する。
このステップ#03の処理により地物情報D1が取得された場合には(ステップ#04:YES)、ステップ#05以降の処理に進み、地物情報D1が取得されない場合には、すなわち撮像装置2による撮像領域に立体物の地物情報D1が含まれていない場合には(ステップ#04:NO)、処理はステップ#01へ戻る。
ステップ#03の処理により地物情報D1が取得された場合には(ステップ#04:YES)、太陽位置演算部13において各地物の位置に対する太陽の方位及び高さを演算する(ステップ#05)。具体的には、GPS受信機4により取得された年月日及び時刻の情報に基づいて、地物情報取得部16において取得された各地物情報D1に含まれる各地物の位置(緯度及び経度)に対応する太陽の方位及び高さ(地表面に対する角度)をそれぞれ演算する。これにより、ステップ#03の処理により取得された各地物情報D1に対応する太陽の方位及び高さが演算される。図2に示す例では、案内標識C1の位置(緯度及び経度)を基準とする太陽17の方位及び高さ(地表面に対する角度)が演算される。
そして、理論影演算部15において、ステップ#03の処理により取得された各地物情報D1に示される各地物の理論上の影Saの位置及び形状を演算する(ステップ#06)。具体的には、太陽位置演算部13による演算結果と、地物情報取得部16により取得された地物情報D1とを用いて各地物の理論上の影Saの位置及び形状を演算する。図2に示す例では、案内標識C1の位置(緯度及び経度)を基準とする太陽17の方位及び高さ(地表面に対する角度)と、地物情報取得部16により取得された案内標識C1の地物情報D1に含まれる位置、高さ、及び形状の情報とに基づいて、図7に示すように、緯度(y軸)及び経度(x軸)により表される絶対座標上において、仮想的な太陽からの平行光により、地表面(道路面)に投影される案内標識C1の理論上の影Saの位置及び形状を演算する。本例では、案内標識C1の理論上の影Saの位置及び形状は、図中左上の脚部先端に設定された基準点位置Sa1と、案内標識C1の影の外縁形状を表す輪郭線上の各点の位置を表す輪郭線Sa2とにより表されている。なお、ここでは案内標識C1の理論上の影Saの基準点位置Sa1は、案内標識C1の地物情報D1の基準点の位置(地物情報D1の位置情報として示される位置)と一致する位置としている。
また、ステップ#03の処理により地物情報D1が取得された場合には(ステップ#04:YES)、画像情報取得部10において撮像装置2により撮像した画像情報Gを取り込む(ステップ#07)。図2に示す例では、図3に示すような画像情報Gが取り込まれる。
次に、画像認識部11において画像情報Gに含まれる地物の影の画像g1を認識する(ステップ#08)。具体的には、二値化処理やエッジ抽出処理等による輪郭抽出の後、パターン認識処理等により、画像情報Gの中から地物の影の画像g1を抽出する処理を行う。図3に示す画像情報Gからは、図4に示すように案内標識C1の影の画像g1が抽出される。
その後、影画像演算部14において、ロケーション部7で取得した自車位置情報D3に示される位置及び自車方位情報D4に示される方位に基づいて定まる撮像装置2の位置及び方位をそれぞれ画像情報Gの撮像位置及び撮像方位とした場合の画像認識部11で認識された地物の影(以下「ロケーション部基準の影Sb」という。)の位置及び形状を演算する(ステップ#09)。本例では、図2に示すように撮像装置2は自車両8の前方に向けて所定の上下方向角度で固定されている。そして、この撮像装置2により撮像された図3に示す画像情報Gから抽出された案内標識C1の影の画像g1は、図4に示すような画像情報G中の位置及び形状となっている。したがって、このような自車両8に対する撮像装置2の固定位置及び撮像方向と、案内標識C1の影の画像g1の画像情報G中の位置及び形状とに基づいて、自車位置情報D3及び自車方位情報D4を自車両8の位置及び方位とした場合における案内標識C1のロケーション部基準の影Sbの位置及び形状を演算できる。この際、本例では理論影演算部15による演算結果との対比を容易にするため、図7に示すように、緯度(y軸)及び経度(x軸)により表される絶対座標上において、案内標識C1のロケーション部基準の影Sbの位置及び形状を演算する。本例では、案内標識C1のロケーション部基準の影Sbの位置及び形状は、図中左上の脚部先端に設定された基準点位置Sb1と、案内標識C1の影の外縁形状を表す輪郭線上の各点の位置を表す輪郭線Sb2とにより表されている。
そして、誤差算出部19において、同一地物に対する理論影演算部15による演算結果と影画像演算部14による演算結果とを対比して、ロケーション部7により特定された自車位置情報D3の位置誤差(Δx,Δy)及び自車方位情報D4の方位誤差Δθを算出する(ステップ#10)。本例では、図7に示すように、理論影演算部15において演算された案内標識C1の理論上の影Saの位置及び形状と、影画像演算部14において演算された案内標識C1のロケーション部基準の影Sbの位置及び形状とを対比して、これらの位置及び方位(角度)の差に基づいて自車位置情報D3の位置誤差(Δx,Δy)及び自車方位情報D4の方位誤差Δθを算出する。すなわち、理論上の影Saの位置及び形状は、地図情報データベース3に格納された地物情報D1と仮想的な太陽の位置とに基づいて演算されたものであるので、ほぼ正確な影の位置及び形状を表している。一方、ロケーション部基準の影Sbの位置及び形状は、ロケーション部7により特定された自車位置情報D3及び自車方位情報D4を自車両8の位置及び方位とした場合における影の位置及び形状を表しており、自車位置情報D3の位置誤差(Δx,Δy)及び自車方位情報D4の方位誤差Δθを含んでいる。したがって、この理論上の影Saの位置及び形状に対するロケーション部基準の影Sbの位置及び形状のずれがロケーション部7により特定された自車位置情報D3及び自車方位情報D4の誤差として算出できる。
ここでは、誤差算出部19は、まず、理論上の影Saとロケーション部基準の影Sbとの方位(角度)の差、すなわち方位誤差Δθを算出する。具体的には、理論上の影Saとロケーション部基準の影Sbとの対応する部分、特に輪郭線Sa2及びSb2の直線状の部分の絶対座標上での方位(角度)の差Δθを、理論上の影Saを基準として算出することにより行う。
次に、誤差算出部19は、ロケーション部7により特定された自車位置情報D3に示される自車位置Mを基準としてロケーション部基準の影Sbの方位誤差Δθを修正し、理論上の影Saと方位誤差Δθの修正後のロケーション部基準の影Sbとの対応する点の位置の差、すなわち位置誤差(Δx,Δy)を算出する。具体的には、理論上の影Saの基準点位置Sa1の座標(x0,y0)と、方位誤差Δθの修正後のロケーション部基準の影Sbの基準点位置Sb1´の座標(x1,y1)との差を、理論上の影Saの基準点位置Sa1の座標(x0,y0)を基準として算出することにより行う。すなわち、位置誤差(Δx,Δy)は、経度方向の位置誤差Δx=x0−x1、緯度方向の位置誤差Δy=y0−y1となる。
次に、自車情報補正部20において、誤差算出部19により算出された位置誤差(Δx,Δy)に基づいて自車位置情報D3を補正し、方位誤差Δθに基づいて自車方位情報D4を補正する(ステップ#11)。本例では、自車位置情報D3の補正については、ロケーション部7により特定された自車位置情報D3に示される自車位置Mの座標を(X,Y)とすると、これに位置誤差(Δx,Δy)を加えた座標(X+Δx,Y+Δy)を補正後の自車位置情報D3cとする処理を行う。また、自車方位情報D4の補正については、ロケーション部7により特定された自車方位情報D4に示される自車方位をΘとすると、これに方位誤差Δθを加えた方位Θ+Δθを補正後の自車方位情報D4cとする処理を行う。
そして、このようにして演算された自車情報補正部20による補正後の自車位置情報D3c及び補正後の自車方位情報D4cは、ナビゲーション用演算処理部22及びこれを介して車両制御用演算処理部23へ出力する(ステップ#12)。
これにより、このような補正後の自車位置情報D3c及び補正後の自車方位情報D4cの入力を受けるナビゲーション用演算処理部22や車両制御用演算処理部23においては、自車位置及び自車方位をより高精度に認識することができる。したがって、ナビゲーション用演算処理部22においてより正確に自車位置及び自車方位の表示や進路案内を行い、或いは車両制御用演算処理部23においてより正確に自車両8の走行制御を行うことができる。
また、ステップ#08により画像情報Gに含まれる地物の影の画像g1を認識した後は、移動方向演算部24において、当該画像情報Gの認識結果に基づいて複数の画像情報Gに含まれる地物の影の画像g1の時間経過に従う移動の状態を解析する(ステップ#13)。そして、この解析結果に基づいて自車方位の変化方向を演算し、その演算結果は自車方位の変化方向情報D5としてナビゲーション用演算処理部22及びこれを介して車両制御用演算処理部23へ出力する(ステップ#14)。この移動方向演算部24によるステップ#13及びステップ#14の処理については、図8及び図9に基づいて以下に説明する。
例えば、図8に示すように、自車両8が走行する道路9の前方に速度標識C2の影S2が存在する場合、撮像装置2により撮像された画像情報Gからは、例えば図9(a)に示すような影の画像g1が抽出される。そして、ステップ#07及びステップ#08の処理は、上記のとおり所定の時間間隔で連続的に繰り返し行われるので、連続的に撮像された複数枚の画像情報Gから、同一の地物の影の画像g1が時間経過に従ってどのように移動するかを解析することができる。例えば、図9(a)の後に撮像された画像情報Gから図9(b)に示されるような影の画像g1が抽出された場合、速度標識C2の影の画像g1は時計方向に回転しつつ接近する方向に移動していることから、自車方位は影の画像g1の移動方向と反対の左方向に変化していることがわかる。一方、図9(a)の後に撮像された画像情報Gから図9(c)に示されるような影の画像g1が抽出された場合、速度標識C2の影の画像g1は反時計方向に回転しつつ接近する方向に移動していることから、自車方位は影の画像g1の移動方向と反対の右方向に変化していることがわかる。このような解析結果に基づけば、自車方位の変化方向を求めることができる。なお、本例では、時間的に前後する2枚の画像情報Gに基づいて自車方位の変化方向を演算する場合について説明したが、3枚以上の連続する画像情報Gに基づいて変化の傾向を解析すれば、より正確に自車方位の変化方向を演算することができる。
このようにして、移動方向演算部24により自車方位の変化方向を演算し、その演算結果を自車方位の変化方向情報D5として出力することにより、この変化方向情報D5の入力を受けるナビゲーション用演算処理部22や車両制御用演算処理部23においては、自車両8の進行方向をより高精度に特定することができ、自車両8の進路の推測も良好に行うことができる。例えば、図8に示すように、自車両8が走行する道路9の前方に狭角分岐がある場合においても、自車方位の変化方向情報D5に基づいて自車両8が左右のいずれの方向に進行するかを良好に推測することができる。したがって、ナビゲーション用演算処理部22においてより正確に自車位置及び自車方位の表示や進路案内を行い、或いは車両制御用演算処理部23においてより正確に自車両8の走行制御を行うことができる。
〔その他の実施形態〕
(1)上記実施形態においては、地物影演算手段を構成する理論影演算部15において演算した理論上の影Saの位置及び形状と、影画像演算手段を構成する影画像演算部14において演算したロケーション部基準の影Sbの位置及び形状とを絶対座標上で対比することにより、自車位置情報D3及び自車方位情報D4の誤差を算出して補正する場合について説明した。しかし、本発明の適用範囲はこれに限定されるものではない。例えば、以下のような自車情報認識装置1の構成とすることも好適な実施形態の一つである。すなわち、この自車情報認識装置1は、地物影演算手段において、年月日及び時刻の情報並びに地物情報D1に加えて、ロケーション部7からの自車位置情報D3及び自車方位情報D4を取得する。そして、これらの情報に基づいて、自車位置情報D3及び自車方位情報D4に示される自車位置及び自車方位から仮想的な撮像装置により撮像した場合の地物の理論上の影の画像情報を生成する。一方、画像認識手段において、撮像装置2により撮像した画像情報Gから同一の地物についての実際の影の画像情報を生成する。そして、理論上の影の画像情報中の影の位置と実際の影の画像情報中の影の位置とを対比することにより、自車位置情報D3及び自車方位情報D4の誤差を算出して補正する。すなわち、この自車情報認識装置1は、画像情報G中の影の位置に基づいて自車位置情報D3及び自車方位情報D4を補正する構成となっている。
(2)上記実施形態においては、同一地物に対する理論影演算部15による演算結果と影画像演算部14による演算結果とを対比することにより、ロケーション部7により特定された自車位置情報D3の位置誤差(Δx,Δy)及び自車方位情報D4の方位誤差Δθを算出し、自車位置情報D3及び自車方位情報D4の双方を補正して認識する場合について説明した。しかし、本発明の実施形態はこれに限定されるものではなく、上記実施形態と同様の方法により自車位置情報D3の位置誤差(Δx,Δy)又は自車方位情報D4の方位誤差Δθのいずれか一方を算出し、自車位置情報D3又は自車方位情報D4のいずれか一方のみを補正して認識することも好適な実施形態の一つである。
(3)上記の実施形態においては、太陽位置演算部13が、各地物情報D1に含まれる各地物の位置(緯度及び経度)に対する太陽の方位及び高さ(地表面に対する角度)を演算する処理を行う場合について説明した。しかし、自車位置の周辺の撮像領域内という限られた範囲内では、いずれの位置であっても太陽の方位及び高さはほぼ同じと考えることができる。そこで、演算処理の簡略化のために、このロケーション部7により取得された自車位置情報D3に示される自車位置や、任意の一の地物情報D1に含まれる地物の位置を基準として太陽の方位及び高さを演算する処理を行うことも好適な実施形態の一つである。
本発明の実施形態に係る自車情報認識装置並びにこれを備えたナビゲーション装置及び車両制御装置のハードウエア構成の概略を示すブロック図 本発明の実施形態に係る自車情報認識装置が搭載された自車両及びその周囲の状態の一例を示す図 図2に示す自車両から撮像した画像情報を示す図 図3に示す画像情報から案内標識の影のみを抽出した画像を示す図 本発明の実施形態に係る自車情報認識装置の地図情報データベースに格納されている地図情報及び地物情報の内容を示す説明図 本発明の実施形態に係る自車情報認識装置における自車位置及び自車方位の認識処理の具体例を示すフローチャート 本発明の実施形態に係る自車情報認識装置において演算した案内標識の理論上の影及びロケーション部基準の影の位置及び形状を、緯度(y軸)及び経度(x軸)により表される絶対座標上に表した説明図 本発明の実施形態に係る自車情報認識装置が搭載された自車両及びその周囲の状態のもう一つの例を示す図 図8に示す自車両から撮像した画像情報が時間経過に従って変化する様子を示す図
符号の説明
1:自車情報認識装置
2:撮像装置
3:地図情報データベース(地物情報格納手段、地図情報格納手段)
7:ロケーション部(自車位置情報取得手段、自車方位情報取得手段)
8:自車両
10:画像情報取得部(画像情報取得手段)
11:画像認識部(影画像認識手段)
13:太陽位置演算部(太陽位置演算手段)
14:影画像演算部(影画像演算手段)
15:理論影演算部(理論影演算手段)
16:地物情報取得部(地物情報取得手段)
18:地物影演算手段
19:誤差算出部
20:自車情報補正部
21:自車情報認識手段
22:ナビゲーション用演算処理部
23:車両制御用演算処理部
24:移動方向演算部(移動方向演算手段)
25:表示装置(表示手段、進路案内手段)
26:音声出力装置(進路案内手段)
G:画像情報
g1:地物の影の画像
D1:地物情報
D2:地図情報
D3:自車位置情報
D3c:補正後の自車位置情報
D4:自車方位情報
D4c:補正後の自車方位情報
D5:変化方向情報
Sa:理論上の影
Sb:ロケーション部基準の影

Claims (8)

  1. 自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得手段と、
    自車位置情報を取得する自車位置情報取得手段と、
    地物の位置及び高さの情報を含む地物情報を格納する地物情報格納手段と、
    年月日及び時刻の情報並びに前記地物情報を用いて前記地物の影の位置及び形状を演算する地物影演算手段と、
    前記画像情報に含まれる地物の影の画像を認識する影画像認識手段と、
    同一地物に対する前記地物影演算手段による演算結果と前記影画像認識手段による認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識手段と、
    を備える自車情報認識装置。
  2. 前記地物影演算手段は、
    前記年月日及び時刻の情報に基づいて太陽の位置を演算する太陽位置演算手段と、
    前記自車位置情報に示される位置周辺の地物についての前記地物情報を前記地物情報格納手段から取得する地物情報取得手段と、
    前記太陽位置演算手段による演算結果と前記地物情報取得手段により取得された前記地物情報とを用いて前記地物の理論上の影の位置及び形状を演算する理論影演算手段と、
    を備える請求項1に記載の自車情報認識装置。
  3. 自車方位情報を取得する自車方位情報取得手段を備え、
    前記地物影演算手段は、年月日及び時刻の情報並びに前記地物情報に基づいて、地球側に固定された絶対座標上における前記地物の理論上の影の位置及び形状を演算し、
    前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて、前記自車位置情報に示される位置及び前記自車方位情報に示される方位に基づいて定まる撮像装置の位置及び方位をそれぞれ撮像位置及び撮像方位とした場合の前記絶対座標上における前記地物の影の位置及び形状を演算する影画像演算手段を備え、前記地物影演算手段による演算結果と前記影画像演算手段による演算結果とを対比して前記自車位置情報の位置誤差及び前記自車方位情報の方位誤差の一方又は双方を演算し、前記位置誤差に基づいて前記自車位置情報を補正し、前記方位誤差に基づいて前記自車方位情報を補正して、自車位置及び自車方位の一方又は双方の認識を行う請求項1又は2に記載の自車情報認識装置。
  4. 画像情報取得手段は、前記撮像装置により撮像した画像情報を所定の時間間隔で複数取り込み、
    前記自車情報認識手段は、前記影画像認識手段による認識結果に基づいて前記複数の画像情報に含まれる同一の地物の影の画像の時間経過に従う移動の状態を解析し、その解析結果に基づいて少なくとも自車方位の変化方向を演算する移動方向演算手段を備え、この移動方向演算手段による演算結果に基づいて自車方位の認識を行う請求項1から3の何れか一項に記載の自車情報認識装置。
  5. 前記請求項1から4の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段と、前記地図情報格納手段から取得した地図上に自車マークを重ね合わせて表示する表示手段とを備え、
    前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方に基づいて、前記地図上に前記自車マークを重ね合わせて表示するナビゲーション装置。
  6. 前記請求項1から4の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段と、所定の誘導経路に従って進路案内を行う進路案内手段とを備え、
    前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて前記進路案内を行うナビゲーション装置。
  7. 前記請求項1から4の何れか一項に記載の自車情報認識装置と、地図情報を格納した地図情報格納手段とを備え、
    前記地図情報格納手段から取得した地図情報と、前記自車情報認識装置により認識された自車位置及び自車方位の一方又は双方とに基づいて、車両の走行制御を行う車両制御装置。
  8. 自車両に搭載された撮像装置により撮像した画像情報を取り込む画像情報取得ステップと、
    自車位置情報を取得する自車位置情報取得ステップと、
    年月日及び時刻の情報並びに地物情報格納手段に格納された地物情報を用いて地物の影の位置及び形状を演算する地物影演算ステップと、
    前記画像情報に含まれる地物の影の画像を認識する影画像認識ステップと、
    同一地物に対する前記地物影演算ステップによる演算結果と前記影画像認識ステップによる認識結果とに基づいて自車位置及び自車方位の一方又は双方の認識を行う自車情報認識ステップと、
    を備える自車情報認識方法。
JP2005102394A 2005-03-31 2005-03-31 自車情報認識装置及び自車情報認識方法 Expired - Fee Related JP4596566B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005102394A JP4596566B2 (ja) 2005-03-31 2005-03-31 自車情報認識装置及び自車情報認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005102394A JP4596566B2 (ja) 2005-03-31 2005-03-31 自車情報認識装置及び自車情報認識方法

Publications (2)

Publication Number Publication Date
JP2006284281A true JP2006284281A (ja) 2006-10-19
JP4596566B2 JP4596566B2 (ja) 2010-12-08

Family

ID=37406372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005102394A Expired - Fee Related JP4596566B2 (ja) 2005-03-31 2005-03-31 自車情報認識装置及び自車情報認識方法

Country Status (1)

Country Link
JP (1) JP4596566B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139295A (ja) * 2006-11-08 2008-06-19 Korea Electronics Telecommun カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
JP2008145247A (ja) * 2006-12-08 2008-06-26 Toyota Motor Corp 車両用現在位置特定装置
JP2008175717A (ja) * 2007-01-19 2008-07-31 Xanavi Informatics Corp 現在位置算出装置、現在位置算出方法
JP2008250687A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
JP2008298622A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP2010185879A (ja) * 2010-04-28 2010-08-26 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識方法
JP2010237100A (ja) * 2009-03-31 2010-10-21 Pasuko:Kk 空間情報統合データベース生成装置及び空間情報統合データベース生成プログラム
JP2011065442A (ja) * 2009-09-17 2011-03-31 Hitachi Automotive Systems Ltd 自車影認識装置
CN103363916A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种信息处理方法及处理设备
JP7404010B2 (ja) 2018-10-17 2023-12-25 三星電子株式会社 位置推定装置及び方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03282707A (ja) * 1990-03-30 1991-12-12 Mazda Motor Corp 移動車の環境認識装置
JPH10171966A (ja) * 1996-12-05 1998-06-26 Nissan Motor Co Ltd 車両用画像処理装置
JP2000097714A (ja) * 1998-09-21 2000-04-07 Sumitomo Electric Ind Ltd カーナビゲーション装置
JP2002168634A (ja) * 2000-09-19 2002-06-14 Alpine Electronics Inc 車載用ナビゲーション装置の立体地図表示方法
JP2003014477A (ja) * 2001-04-26 2003-01-15 Mitsubishi Electric Corp 映像ナビゲーション装置
JP2003178309A (ja) * 2001-10-03 2003-06-27 Toyota Central Res & Dev Lab Inc 移動量推定装置
JP2004226199A (ja) * 2003-01-22 2004-08-12 Denso Corp ナビゲーション装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03282707A (ja) * 1990-03-30 1991-12-12 Mazda Motor Corp 移動車の環境認識装置
JPH10171966A (ja) * 1996-12-05 1998-06-26 Nissan Motor Co Ltd 車両用画像処理装置
JP2000097714A (ja) * 1998-09-21 2000-04-07 Sumitomo Electric Ind Ltd カーナビゲーション装置
JP2002168634A (ja) * 2000-09-19 2002-06-14 Alpine Electronics Inc 車載用ナビゲーション装置の立体地図表示方法
JP2003014477A (ja) * 2001-04-26 2003-01-15 Mitsubishi Electric Corp 映像ナビゲーション装置
JP2003178309A (ja) * 2001-10-03 2003-06-27 Toyota Central Res & Dev Lab Inc 移動量推定装置
JP2004226199A (ja) * 2003-01-22 2004-08-12 Denso Corp ナビゲーション装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008139295A (ja) * 2006-11-08 2008-06-19 Korea Electronics Telecommun カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法
JP2008145247A (ja) * 2006-12-08 2008-06-26 Toyota Motor Corp 車両用現在位置特定装置
JP2008175717A (ja) * 2007-01-19 2008-07-31 Xanavi Informatics Corp 現在位置算出装置、現在位置算出方法
US8229169B2 (en) 2007-03-30 2012-07-24 Aisin Aw Co., Ltd. Feature information collecting apparatus and feature information collecting method
JP2008250687A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
EP1975565B1 (en) * 2007-03-30 2018-12-05 Aisin AW Co., Ltd. Road surface feature information collecting apparatus and method
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP2008298622A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP4497424B2 (ja) * 2007-05-31 2010-07-07 アイシン・エィ・ダブリュ株式会社 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP2010237100A (ja) * 2009-03-31 2010-10-21 Pasuko:Kk 空間情報統合データベース生成装置及び空間情報統合データベース生成プログラム
JP2011065442A (ja) * 2009-09-17 2011-03-31 Hitachi Automotive Systems Ltd 自車影認識装置
JP2010185879A (ja) * 2010-04-28 2010-08-26 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識方法
CN103363916A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种信息处理方法及处理设备
JP7404010B2 (ja) 2018-10-17 2023-12-25 三星電子株式会社 位置推定装置及び方法

Also Published As

Publication number Publication date
JP4596566B2 (ja) 2010-12-08

Similar Documents

Publication Publication Date Title
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
EP3343172B1 (en) Creation and use of enhanced maps
US8346473B2 (en) Lane determining device, lane determining method and navigation apparatus using the same
US9448074B2 (en) Curve modeling device, curve modeling method, and vehicular navigation device
JP4366664B2 (ja) 自車位置認識装置及び自車位置認識プログラム
US8239131B2 (en) Navigation device, navigation method, and navigation program
Cui et al. Real-time global localization of robotic cars in lane level via lane marking detection and shape registration
JP4600357B2 (ja) 測位装置
JP5168601B2 (ja) 自車位置認識システム
JP5057184B2 (ja) 画像処理システム及び車両制御システム
US8112222B2 (en) Lane determining device, method, and program
US20180273031A1 (en) Travel Control Method and Travel Control Apparatus
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
JP4761156B2 (ja) 地物位置認識装置及び地物位置認識方法
JP6520740B2 (ja) 物体検出方法、物体検出装置、およびプログラム
JP4775658B2 (ja) 地物認識装置・自車位置認識装置・ナビゲーション装置・地物認識方法
JP2008298699A (ja) 自車位置認識装置及び自車位置認識方法
CN110018503B (zh) 车辆的定位方法及定位系统
JP4986883B2 (ja) 標定装置、標定方法および標定プログラム
JP4731380B2 (ja) 自車位置認識装置及び自車位置認識方法
JP2019120629A (ja) 位置計算装置、位置計算プログラム及び座標マーカ
JPWO2004048895A1 (ja) 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
KR20200002257A (ko) 꼭지점 검출 기반의 도로 표지판 검출 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100920

R150 Certificate of patent or registration of utility model

Ref document number: 4596566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131001

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees