JP2012168098A - 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法 - Google Patents

撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法 Download PDF

Info

Publication number
JP2012168098A
JP2012168098A JP2011030809A JP2011030809A JP2012168098A JP 2012168098 A JP2012168098 A JP 2012168098A JP 2011030809 A JP2011030809 A JP 2011030809A JP 2011030809 A JP2011030809 A JP 2011030809A JP 2012168098 A JP2012168098 A JP 2012168098A
Authority
JP
Japan
Prior art keywords
reference data
unit
area
weather condition
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011030809A
Other languages
English (en)
Other versions
JP5500388B2 (ja
Inventor
Takayuki Miyajima
孝幸 宮島
Takeshi Ishikawa
健 石川
Takesuke Morita
雄亮 守田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2011030809A priority Critical patent/JP5500388B2/ja
Publication of JP2012168098A publication Critical patent/JP2012168098A/ja
Application granted granted Critical
Publication of JP5500388B2 publication Critical patent/JP5500388B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】実風景画像の撮影時の気象条件によらず良好に当該実風景画像の撮影位置を特定することが可能な技術を実現する。
【解決手段】参照用データRDを、当該参照用データRDを構成する単位参照データの生成元の風景画像の撮影位置に関連付けて記憶する参照データ記憶部11と、実風景画像SPに基づき生成される実風景データADと参照用データRDとのマッチングを行い、実風景画像SPの撮影位置を特定する撮影位置特定部40と、実風景データADと参照用データRDとのマッチングに際し、実風景画像SPの撮影領域を分割してなる複数の分割領域のそれぞれについて、分割領域の撮影領域中の位置と、現在気象条件情報CWと、過去気象条件情報PWとに基づき、参照用データRDを構成する単位参照データの群の中から各分割領域に対応する単位参照データを選択する単位参照データ選択部42を備える。
【選択図】図1

Description

本発明は、カメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法に関する。
上記のような撮影位置特定システムの従来例として、例えば下記の特許文献1に記載された技術がある。この特許文献1には、移動体にカメラを搭載した構成が記載されており、具体的には、移動体の走行方向を撮影した景観画像から生成される景観情報を、複数の位置について予め用意しておき、移動体に搭載したカメラにより撮影して得た実画像と景観情報との間で特徴部のマッチングを行う構成が記載されている。そして、マッチングの結果と、当該マッチングに用いた景観情報に対応する撮影位置とに基づき、実画像の撮影位置、すなわち、実画像を撮影した時点での移動体の位置が特定される。
ところで、実風景画像(特許文献1の例では景観の実画像)は、撮影時の気象条件によって輝度やコントラスト、或いは色相等の画像特性が大きく異なるものとなり得る。そのため、実風景画像の撮影時における気象条件が、撮影位置の特定のために参照される参照用データ(特許文献1の例では景観情報)を生成するための風景画像の撮影時における気象条件と異なる場合には、たとえ実風景画像の撮影位置と参照用データに対応する撮影位置とが同じであっても、これらの実風景画像と参照用データとの間でのマッチングにより得られる一致度が低くなる可能性がある。すなわち、このような場合にはマッチングの精度が低下し、実風景画像の撮影位置の特定に際して誤認識が生じるおそれがある。
上記の問題を解決すべく、複数の異なる気象条件に対応する参照用データを予め用意しておき、実風景画像の撮影時の気象条件を考慮してマッチング対象の参照用データを選択する構成とすることが考えられる。しかしながら、特許文献1には、実風景画像の撮影時の気象条件に言及した記載はない。そのため、当然ながら、特許文献1には、実風景画像の撮影時の気象条件を考慮してマッチング対象の参照用データを選択する構成とした場合に発生し得る課題やその課題を解決するための手段について何ら示されていない。
特開2010−151658号公報
そこで、実風景画像の撮影時の気象条件によらず良好に当該実風景画像の撮影位置を特定することが可能な技術の実現が望まれる。
本発明に係るカメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定システムの特徴構成は、同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される参照用データを、当該参照用データを構成する前記単位参照データの生成元の風景画像の撮影位置に関連付けて記憶する参照データ記憶部と、前記実風景画像に基づき生成される実風景データと前記参照用データとのマッチングを行い、マッチングに成功した前記参照用データに関連付けられた撮影位置に基づき当該実風景画像の撮影位置を特定する撮影位置特定部と、前記撮影位置特定部による前記実風景データと前記参照用データとのマッチングに際し、前記実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて、前記分割領域の前記撮影領域中の位置と、現在の気象条件を表す現在気象条件情報と、現在より所定時間以上前の過去の気象条件を表す過去気象条件情報とに基づき、前記参照用データを構成する前記単位参照データの群の中から、各分割領域に対応する前記単位参照データを選択する単位参照データ選択部と、を備える点にある。
上記の特徴構成によれば、参照用データが、同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される。そして、実風景画像に基づき生成される実風景データと参照用データとのマッチングに際して、参照用データを構成する単位参照データの群の中から当該マッチングに用いる単位参照データが選択される。そのため、輝度やコントラスト、或いは色相等の画像特性が実風景画像と類似した風景画像に基づく単位参照データを選択することが可能となり、誤認識が生じる可能性を抑制することが可能となる。
ところで、輝度やコントラスト、或いは色相等の画像特性が実風景画像と類似した風景画像に基づく単位参照データを選択すべく、現在の気象条件に対応する単位参照データを選択する構成とすることが考えられる。しかしながら、本願発明者らは、鋭意研究の結果、気象条件の変化に対する画像特性の変化の追従性が被写体によって異なり得るため、単に現在の気象条件に対応する単位参照データを選択するだけでは、特に現在から所定時間内の過去に気象条件が大きく変化した場合に、誤認識が生じる可能性を十分に抑制できないおそれがあることを知見した。
本願発明では、上記の知見に基づき、実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて単位参照データを選択する構成とするとともに、当該選択に際して、現在だけでなく過去の気象条件が考慮される構成とする。これにより、気象条件の変化に対する追従性が低く、画像特性に関して現在ではなく過去の気象条件下と同様の状態にある被写体が占める割合の高い分割領域について、過去の気象条件に対応する単位参照データを選択する構成とすることができる。そして、このような構成とすれば、現在から所定時間内の過去に気象条件が大きく変化した場合であっても、対応する撮影位置が互いに同じ或いは互いに近接する場合には、実風景データと参照用データとの間でのマッチングにより得られる一致度が高くなるようにすることが可能となる。すなわち、上記特徴構成によれば、現在から所定時間内の過去に気象条件が大きく変化した場合であっても、誤認識が生じる可能性を十分に抑制することができ、実風景画像の撮影時の気象条件によらず良好に当該実風景画像の撮影位置を特定することが可能となる。
さらに、本願発明では、視野角や撮影方向の水平面に対する傾斜角が同一であれば、気象条件の変化に対する画像特性の変化の追従性が低い被写体は、実風景画像の撮影位置によらず撮影領域内の同じ部分に存在する傾向にあるという本願発明者らが得た知見に基づき、分割領域についての単位参照データの選択に際し、当該分割領域の撮影領域中の位置が考慮される構成とする。これにより、分割領域中に含まれる被写体を識別することなく単位参照データを適切に選択することが可能となり、システムの構成を簡素なものとすることができる。
ここで、前記撮影領域中に互いに重複しない第一領域と第二領域とが設定され、前記単位参照データ選択部が、前記第一領域に含まれる前記分割領域については、前記現在気象条件情報が表す気象条件に対応する前記単位参照データを選択し、前記第二領域に含まれる前記分割領域については、前記過去気象条件情報が表す気象条件から前記現在気象条件情報が表す気象条件への変化に基づいて、前記現在気象条件情報が表す気象条件、及び、前記過去気象条件情報が表す気象条件のうちのいずれかを選択し、当該選択した気象条件に対応する前記単位参照データを選択する構成とすると好適である。
この構成によれば、気象条件の変化に対する画像特性の変化の追従性が低い被写体が占める割合が高い分割領域が第二領域に含まれるように設定することで、第一領域については単位参照データを選択する際に考慮される要素を抑えて構成の簡素化を図りつつ、第二領域については過去から現在への気象条件の変化を考慮することで、気象条件の変化の方向性による画像特性の変化の追従性の違いを適切に考慮して単位参照データを選択することができる。
上記のように、前記第二領域が前記撮影領域中に設定される構成において、前記実風景画像は道路の路面を含む風景画像であり、前記第二領域が少なくとも道路の路面を含むように設定される構成とすると好適である。
この構成によれば、雨で濡れた路面が乾くまでに時間がかかることや、路面に積もった雪が融けるまでに時間がかかること等、気象条件の変化に対する画像特性の変化の追従性が、路面については空や建物に対して一般的に低くなりやすいことを適切に考慮して、各分割領域に対して単位参照データを適切に選択することができる。
上記のように、前記第二領域が少なくとも道路の路面を含むように設定される構成において、前記カメラは移動体に搭載されており、前記移動体の推定位置を表す推定位置情報を取得する推定位置情報取得部と、前記推定位置情報に示される位置周辺の道路の道幅に関する情報である道幅情報を取得する道幅情報取得部と、を更に備え、前記第二領域が、前記道幅情報取得部が取得した前記道幅情報に応じて可変に設定される構成とすると好適である。
この構成によれば、道幅を画像認識により検出することなく、路面の全て又は大部分が第二領域に含まれるように、第二領域を適切に設定することができる。
また、上記のように、前記第二領域が少なくとも道路の路面を含むように設定される構成において、前記カメラは移動体に搭載されており、前記移動体の推定位置を表す推定位置情報を取得する推定位置情報取得部と、前記推定位置情報に示される位置周辺についての、少なくとも都市部及び郊外を属性項目として含む地域属性情報を取得する地域属性情報取得部と、を更に備え、前記第二領域が、前記地域属性情報取得部が取得した前記地域属性情報に応じて可変に設定される構成としても好適である。
この構成によれば、郊外では都市部に対して一般的に道幅が狭くなることのような道幅と地域属性情報との関係に基づき、道幅の情報を直接取得することなく、路面の全て又は大部分が第二領域に含まれるように、第二領域を適切に設定することができる。
また、前記第二領域が前記撮影領域中に設定される上記の各構成において、前記単位参照データ選択部は、前記第二領域に含まれる前記分割領域について、前記過去気象条件情報が降水を伴う気象条件を表すとともに前記現在気象条件情報が降水を伴わない気象条件を表す場合には、前記過去気象条件情報が表す気象条件を選択し、前記過去気象条件情報が降水を伴わない気象条件を表すとともに前記現在気象条件情報が降水を伴う気象条件を表す場合には、前記現在気象条件情報が表す気象条件を選択し、当該選択した気象条件に対応する前記単位参照データを選択する構成とすると好適である。
この構成によれば、気象条件が「雨」や「雪」のような降水を伴う条件から「晴」のような降水を伴わない条件に変化した場合には、一部の被写体(例えば路面)について、気象条件の変化に対する画像特性の変化の追従性が低くなる一方、気象条件が「晴」のような降水を伴わない条件から「雨」や「雪」のような降水を伴う条件に変化した場合には、全て或いはほぼ全ての被写体について、気象条件の変化に対する画像特性の変化の追従性が高くなることを適切に考慮して、第二領域に含まれる分割領域に対して単位参照データを適切に選択することができる。
また、上記の各構成の撮影位置特定システムにおいて、前記撮影位置特定部は、前記分割領域毎に前記実風景データと前記単位参照データとの一致度を導出するとともに、前記分割領域のそれぞれの前記撮影領域中の位置に応じて設定された重み係数と前記一致度とに基づき前記撮影領域全体での全体一致度を導出し、当該全体一致度に基づき前記マッチングの成否を判定する構成とすると好適である。
この構成によれば、マッチングに関して重要な被写体を含む分割領域に対して高い重要度(重み係数)を設定することが可能となり、マッチングの精度を高めることができる。この際、分割領域に対する重み係数が、気象条件や時間帯条件のような外部要因に応じて可変に設定される構成としても好適である。
以上の各構成を備えた本発明に係る撮影位置特定システムの技術的特徴は、撮影位置特定プログラムや撮影位置特定方法にも適用可能であり、そのため、本発明は、そのようなプログラムや方法も権利の対象とすることができる。
その場合における、カメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定プログラムの特徴構成は、同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される参照用データを取得する参照用データ取得機能と、前記実風景画像に基づき生成される実風景データを取得する実風景データ取得機能と、前記実風景データと前記参照用データとのマッチングを行い、マッチングに成功した前記参照用データを構成する前記単位参照データの生成元の風景画像の撮影位置の情報を取得して、当該撮影位置の情報に基づき前記実風景データの生成元の前記実風景画像の撮影位置を特定する撮影位置特定機能と、前記撮影位置特定機能による前記実風景データと前記参照用データとのマッチングに際し、前記実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて、前記分割領域の前記撮影領域中の位置と、現在の気象条件を表す現在気象条件情報と、現在より所定時間以上前の過去の気象条件を表す過去気象条件情報とに基づき、前記参照用データを構成する前記単位参照データの群の中から、各分割領域に対応する前記単位参照データを選択する単位参照データ選択機能と、をコンピュータに実現させる点にある。
また、カメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定方法の特徴構成は、前記実風景画像に基づき生成される実風景データを取得する実風景データ取得ステップと、同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される参照用データを取得する参照用データ取得ステップと、前記実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて、前記分割領域の前記撮影領域中の位置と、現在の気象条件を表す現在気象条件情報と、現在より所定時間以上前の過去の気象条件を表す過去気象条件情報とに基づき、前記参照用データを構成する前記単位参照データの群の中から、各分割領域に対応する前記単位参照データを選択する単位参照データ選択ステップと、前記単位参照データ選択ステップにて選択された前記単位参照データを用いて前記実風景データと前記参照用データとのマッチングを行い、マッチングに成功した前記参照用データを構成する前記単位参照データの生成元の風景画像の撮影位置の情報を取得して、当該撮影位置の情報に基づき前記実風景データの生成元の前記実風景画像の撮影位置を特定する撮影位置特定ステップと、を備える点にある。
当然ながら、これらの撮影位置特定プログラムや撮影位置特定方法も上述した撮影位置特定システムに係る作用効果を得ることができ、更に、その好適な構成の例として挙げたいくつかの付加的技術を組み込むことが可能である。
本発明の実施形態に係るナビゲーション装置の概略構成を示す模式図である。 本発明の実施形態に係る参照用データの構成の説明図である。 本発明の実施形態に係る実風景画像の撮影領域及び当該撮影領域を分割してなる分割領域の説明図である。 本発明の実施形態に係る単位参照データの選択条件を示す図である。 本発明の実施形態に係る撮影位置特定処理の全体手順を示すフローチャートである。 本発明の実施形態に係るマッチング処理の手順を示すフローチャートである。
本発明の実施形態について図面に基づいて説明する。ここでは、本発明に係る撮影位置特定システムを、車載用のナビゲーション装置に適用した場合を例として説明する。本実施形態に係るナビゲーション装置1は、撮影位置特定ユニット2を備え(図1参照)、この撮影位置特定ユニット2を中核として、車両(図示せず、以下「自車両」という場合がある。)に搭載されたカメラ90により撮影された風景画像(以下、「実風景画像SP」という。)の撮影位置を特定する撮影位置特定システムが構築されている。すなわち、本実施形態では、カメラ90は車両(移動体の一例)に備えられている。以下、本実施形態に係る撮影位置特定システム(ナビゲーション装置1)について、「ナビゲーション装置の概略構成」、「撮影位置特定ユニットの構成」、「動作処理の手順」の順に説明する。なお、本実施形態では、車両が本発明における「移動体」に相当する。
1.ナビゲーション装置の概略構成
まず、本実施形態に係るナビゲーション装置1の概略構成について説明する。図1に示すように、ナビゲーション装置1は、ナビ制御ユニット12と、撮影位置特定ユニット2と、推定位置算定部16と、実撮影画像処理部17と、参照データ記憶部11と、地図情報記憶部10と、を備えている。そして、このナビゲーション装置1は、GPS(Global Positioning System)衛星からのGPS信号に基づき自車両の推定位置(以下、「推定自車位置」という場合がある。)を算出する機能を備えるとともに、撮影位置特定ユニット2により特定された実風景画像SPの撮影位置に基づき当該推定自車位置を補正する機能を備えている。
詳しくは後述するが、図1に示すように、ナビ制御ユニット12及び撮影位置特定ユニット2は、複数の機能部を備えている。そして、ナビゲーション装置1が備える各機能部(地図情報記憶部10及び参照データ記憶部11を除く、以下同様)は、互いに共通の或いはそれぞれ独立のCPU等の演算処理装置を中核部材として、入力されたデータに対して種々の処理を行うための機能部がハードウェア又はソフトウェア(プログラム)或いはその両方により実装されて構成されている。また、これらの各機能部は、デジタル転送バス等の通信線を介して互いに情報の受け渡しを行うことができるように構成されているとともに、地図情報記憶部10や参照データ記憶部11からデータを抽出可能に構成されている。ここで、各機能部がソフトウェア(プログラム)により構成される場合には、当該ソフトウェアは、演算処理装置が参照可能なRAMやROM等の記憶手段に記憶される。
地図情報記憶部10や参照データ記憶部11は、記憶装置により構成されるデータベースである。この記憶装置は、例えば、ハードディスクドライブやフラッシュメモリ等のように、情報を記憶及び書き換え可能な記録媒体をハードウェア構成として備える。なお、これらの地図情報記憶部10と参照データ記憶部11とは、それぞれ独立のハードウェアを有していても良いし、共通のハードウェアに備えられていても良い。
ナビ制御ユニット12は、経路設定部13、経路探索部14、及び経路案内部15を備えている。経路設定部13は、例えば自車両の位置等の出発地、入力された目的地、通過地点や走行条件(高速道路の使用有無など)を設定する機能部である。経路探索部14は、経路設定部13によって設定された条件に基づき出発地から目的地までの案内経路を探索するための演算処理(経路探索処理)を行う機能部である。経路案内部15は、経路探索部14により探索された出発地から目的地までの経路に従って、モニタ(図示せず)の表示画面による案内表示やスピーカ(図示せず)による音声案内等により、運転者に対して適切な経路案内を行うための演算処理(経路案内処理)を行う機能部である。
地図情報記憶部10は、上記の経路探索処理や経路案内処理を実行する際や、モニタへの地図表示処理を実行する際等に参照される道路地図データが記憶(格納)されている。図示は省略するが、本実施形態では、道路地図データは、緯度及び経度で表現された地図上の位置情報を有する多数のノードの情報と、2つのノードを連結して道路に対応する経路を構成する多数のリンクの情報とを有して構成されている。ノードは、例えば道路の交差点、折曲点、分岐点等に設定される。
道路地図データには、各リンクのリンク情報(リンク属性)として、道路種別情報(高速道路、有料道路、国道、県道等の種別)やリンク長さ情報等の情報が含まれている。また、道路地図データには、2つのノードの間(リンク上)に配置されてリンクの詳細形状を表す形状補間点の情報や、道路の道幅に関する情報である道幅情報RWも含まれている。なお、道幅情報RWは、例えば、道路幅を数値で直接的に表した情報とされ、或いは、道路幅をレーン数により間接的に表した情報とされる。
さらに、本実施形態では、道路地図データには、建物の平均高さや密集度等の傾向に応じて、各地域を「都市部」、「郊外」、或いは「山間部」に分類した地域属性情報RAも含まれている。すなわち、本例では、地域属性情報RAは、建物の平均高さや密集度の傾向が高い側から順に、「都市部」、「郊外」、及び「山間部」を属性項目として備えている。
そして、後述するように、撮影位置特定ユニット2に備えられた道幅情報取得部34が、地図情報記憶部10に記憶された道路地図データを参照して、推定自車位置周辺の道幅情報RWを取得する。また、同じく後述するように、撮影位置特定ユニット2に備えられた地域属性情報取得部35が、地図情報記憶部10に記憶された道路地図データを参照して、推定自車位置周辺の地域属性情報RAを取得する。
推定位置算定部16は、車両に備えられたGPS測定ユニット91、距離センサ92、及び方位センサ93の出力に基づき、推定自車位置を算定する機能部である。GPS測定ユニット91は、GPS衛星からのGPS信号を受信し、当該GPS信号を推定位置算定部16へ出力する。また、距離センサ92は、車両100の車速や移動距離を検出し、検出結果としての車速及び移動距離の情報を推定位置算定部16へ出力する。方位センサ93は、例えば、ジャイロセンサ、地磁気センサ(電子コンパス)等により構成され、その検出結果としての方位の情報を推定位置算定部16へ出力する。
推定位置算定部16は、GPS信号を解析し、自車両の現在位置(緯度及び経度)を算定し、GPS位置データを得る。また、推定位置算定部16は、刻々と送られてくる移動距離情報と方位情報とに基づいて推測航法位置を演算し、推測航法位置データを得る。そして、推定位置算定部16は、GPS位置データと推測航法位置データとから公知の方法により、自車両の推定位置である推定自車位置を算定する演算を行う。なお、推定位置算定部16が、GPS位置データ及び推測航法位置データのいずれか一方のみを用いて推定自車位置を算定する構成とすることも可能である。
なお、上記のように算定される推定自車位置は、測定誤差を含んだ情報となっており、場合によっては道路上から外れてしまう。本実施形態では、このような場合には、地図情報記憶部10に記憶された道路地図データに基づき、推定位置算定部16が自車位置を道路地図に示される道路上に合わせるための補正(マップマッチング処理)を行う。そして、推定位置算定部16が算出した推定自車位置の情報(推定位置情報EP)は、撮影位置特定ユニット2が備える推定位置情報取得部31へ出力される。なお、推定位置算定部16が、マップマッチング処理を行わない構成とすることも可能である。
参照データ記憶部11は、参照用データRDを、当該参照用データRDを構成する単位参照データRDo(後述する)の生成元の風景画像の撮影位置(より正確には、撮影位置の情報)に関連付けて記憶(格納)する記憶部である。後述するように、参照用データRDは、実風景画像SPの撮影位置の特定のために参照されるデータである。参照用データRDは、同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成された単位参照データRDoの群により構成される。言い換えると、参照用データRDは、複数の単位参照データRDoにより構成され、これら複数の単位参照データRDoの中には、同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成された単位参照データRDoが含まれる。単位参照データRDoのそれぞれには、生成元の風景画像が撮影された時点の気象条件が対応付けられている。また、本実施形態では、参照データ記憶部11は、複数の参照用データRDを記憶している。
本実施形態では、図2に示すように、参照用データRDは、4つの単位参照データRDoの群により構成されている。すなわち、本例では、同一の撮影位置(本例では道路上の所定位置)からの4つの風景画像のそれぞれに基づき生成された合計4つの単位参照データRDoにより、1つの参照用データRDが構成されている。なお、参照用データRDを生成するための風景画像は、例えば、参照用データRDを生成する目的で走行するデータ収集車両による風景の撮影画像とされる。また、参照用データRDに関連付けられる撮影位置は、推定位置算定部16が算定する推定自車位置よりも高精度に決定されている。これとは別に、自車両やその他の車両(上記データ収集車両とは異なる通常の車両)が走行中に撮影した風景画像に基づき、参照用データRDが学習により整備される構成とすることも可能である。
本実施形態では、同一の参照用データRDを構成する単位参照データRDoの生成元の風景画像には、互いに異なる気象条件下で撮影された複数の風景画像が含まれているとともに、互いに異なる時間帯条件下で撮影された複数の風景画像が含まれている。すなわち、本実施形態では、同一の参照用データRDを構成する単位参照データRDoの群には、同一の気象条件下であって且つ互いに異なる時間帯条件下で、同一の撮影位置から撮影された複数の風景画像のそれぞれに基づき生成された単位参照データRDoも含まれている。具体的には、本実施形態では、気象条件に関して「晴」と「雨」との2つに区分するとともに、時間帯条件に関して「昼」と「夜」との2つに区分し、気象条件と時間帯条件とを組合わせた4組の条件下(気象条件及び時間帯条件の少なくとも一方が互いに異なる4組の条件下)で撮影された合計4つの風景画像に基づき、同一の参照用データRDを構成する4つの単位参照データRDoが生成されている。すなわち、本実施形態では、同一の撮影位置に対応する単位参照データRDoとして、気象条件に加えて時間帯条件にも対応付けられた4つの単位参照データRDoが用意されている。
なお、気象条件について、「晴」は、降水を伴わない気象条件の一例であり、「雨」は、降水を伴う気象条件の一例である。また、時間帯条件について、「昼」は、日の出から日の入りまでの時間帯を表し、「夜」は、日の入りから翌日の日の出までの時間帯を表す。なお、時間帯条件が「昼」に対応する単位参照データRDoを生成するための風景画像として、例えば12時(正午)に撮影された風景画像を用いることができる。また、時間帯条件が「夜」に対応する単位参照データRDoを生成するための風景画像として、例えば0時(正子)に撮影された風景画像を用いることができる。
以下の説明では、時間帯条件が「昼」であり気象条件が「晴」である条件下での風景画像に基づく単位参照データRDoを「第一条件単位参照データRDo1」とし、時間帯条件が「昼」であり気象条件が「雨」である条件下での風景画像に基づく単位参照データRDoを「第二条件単位参照データRDo2」とし、時間帯条件が「夜」であり気象条件が「晴」である条件下での風景画像に基づく単位参照データRDoを「第三条件単位参照データRDo3」とし、時間帯条件が「夜」であり気象条件が「雨」である条件下での風景画像に基づく単位参照データRDoを「第四条件単位参照データRDo4」とする。
ところで、単位参照データRDoは、後述する実風景データADとのマッチング(パターンマッチング)の対象となるデータであり、風景画像認識に適した画像特徴を表すデータとされる。本実施形態では、単位参照データRDoは、図2に概念的に示すように、生成元の風景画像から抽出された地物(例えば建物や路面標示等)の輪郭情報を画像特徴点の集まり(特徴点群)として表したエッジ点画像(特徴点画像)のデータとされる。このようなエッジ点画像は、生成元の風景画像に対して二値化処理やエッジ検出処理等を行うことで生成することができる。なお、二値化処理やエッジ検出処理に際しては、風景画像中における輝度差(濃度差)、彩度差、或いは色相差等に基づく処理を行う構成とすることができる。
本実施形態では、同一の参照用データRDを構成する複数(本例では4つ)の単位参照データRDoのそれぞれは、基本的に、輪郭情報の検知(抽出)に際して同一の認識レベルで生成されたものとされる。そのため、図2に概念的に示すように、気象条件が「雨」の場合には、路面上の水膜による光の反射等の影響で、気象条件が「晴」の場合に比べて、検出可能な輪郭情報が異なり得る。図2(b)(d)では、気象条件が「雨」の場合には、路面上の水膜による乱反射等のために、路面に設けられた道路標示(図3(a)参照)の認識率が低下して、当該道路標示に対応する特徴点が、気象条件が「晴」の場合に比べて減少する場合を例として示している。なお、太陽の車両に対する位置や道路標示の色や材質によっては、濡れた道路標示のコントラストが増加して、当該道路標示の輪郭を表すエッジの強度が増加するような場合も有り得る。何れにしても、気象条件が「晴」の場合と「雨」の場合とでは、一般的に、単位参照データRDoの内容(本例では、エッジ点画像におけるエッジ点の分布)が異なる傾向にある。
また、同じく図2に例示するように、時間帯条件が「夜」の場合には、照明装置により輝度が適切に確保される領域以外の低輝度領域の地物の認識率が低下して、当該低輝度領域内の地物に対応する特徴点が、時間帯条件が「昼」の場合に比べて減少する傾向にある。本例では、カメラ90は自車両の前方の風景を撮影するフロントカメラとされており、図2(c)(d)に概念的に示すように、低輝度領域は、車両に備えられた図示しない前照灯(照明装置の一例)の照射範囲外にあって輝度が確保されない、風景画像中における上側部分が中心となる。
実撮影画像処理部17は、カメラ90により撮影された実風景画像SPを取得し、当該実風景画像SPに基づき実風景データADを生成する機能部である。本実施形態では、実風景画像SPは、図3(a)に例示するように、道路の路面を含む風景画像とされる。そして、本実施形態では、実撮影画像処理部17は、実風景画像SPから画像特徴を抽出して、上述した単位参照データRDoと同一の情報(手法)で画像特徴を表した実風景データADを生成する。上記のように、本実施形態では、単位参照データRDoはエッジ点画像のデータとされており、実撮影画像処理部17は、実風景画像SPに対して二値化処理やエッジ検出処理等を行うことで当該実風景画像SPに含まれている地物の輪郭情報を抽出し、エッジ点画像(特徴点画像)のデータである実風景データADを生成する。なお、実撮影画像処理部17は、基本的に、単位参照データRDoの生成に際しての認識レベルと同一の認識レベルで、実風景画像SPから地物の輪郭情報を抽出する。
2.撮影位置特定ユニットの構成
次に、本発明の要部である撮影位置特定ユニット2の構成について説明する。図2に示すように、撮影位置特定ユニット2は、推定位置情報取得部31、実風景データ取得部32、参照用データ取得部33、道幅情報取得部34、地域属性情報取得部35、気象条件情報取得部36、撮影位置特定部40、単位参照データ選択部42、分割領域調整部43、及び自車位置決定部44を備えている。
2−1.推定位置情報取得部の構成
推定位置情報取得部31は、自車両の推定位置(推定自車位置)を表す推定位置情報EPを取得する機能部である。本実施形態では、推定位置算定部16が算定した推定位置情報EPが推定位置情報取得部31に入力されることで、推定位置情報取得部31が推定位置情報EPを取得するように構成されている。
2−2.実風景データ取得部の構成
実風景データ取得部32は、実風景画像SPに基づき生成された実風景データADを取得する機能部である。本実施形態では、実撮影画像処理部17により実風景画像SPに基づき生成された実風景データADが実風景データ取得部32に入力されることで、実風景データ取得部32が実風景データADを取得するように構成されている。
本実施形態では、カメラ90による実風景画像SPの撮影は、所定のタイミングで繰り返し実行される。この所定のタイミングは、例えば、所定の時間間隔毎(例えば1秒や10秒毎等)に設定したり、自車両が所定の距離(例えば1メートルや10メートル等)を進む毎に設定したりすることができる。また、所定のタイミングを、自車両が特定の地点(例えば交差点や横断歩道等)にさしかかる時点に設定することもできる。そして、本実施形態では、実撮影画像処理部17は、カメラ90が新たな実風景画像SPを取得する度に当該新たな実風景画像SPから実風景データADを生成し、生成した当該実風景データADを実風景データ取得部32へ出力する。すなわち、本実施形態では、実風景データ取得部32は、カメラ90による実風景画像SPの撮影と同じ頻度で、実撮影画像処理部17から実風景データADを取得する。
2−3.参照用データ取得部の構成
参照用データ取得部33は、参照用データRDを取得する機能部である。本実施形態では、参照用データ取得部33は、参照データ記憶部11を参照して、後述する撮影位置特定部40によるマッチング処理(パターンマッチング処理)の候補となる単数又は複数の参照用データRDを取得する。
具体的には、上記のように、各参照用データRDは、生成元の風景画像の撮影位置に関連付けられて参照データ記憶部11に記憶されている。そして、参照用データ取得部33は、実風景画像SPの撮影時の推定自車位置を表す推定位置情報EPを推定位置情報取得部31から得て、当該推定自車位置の近傍の領域に撮影位置が関連付けられた単数又は複数の参照用データRDを、マッチング候補の参照用データRDとして抽出する。
ここで、上記推定自車位置の近傍の領域は、推定位置情報EPに含まれ得る誤差の最大値に基づき設定することができる。例えば、推定位置情報EPに示される推定自車位置を中心とし、半径が上記誤差の最大値に一致する円形状領域を当該推定自車位置の近傍の領域として、参照用データ取得部33が、当該円形状領域の内側に生成元の風景画像の撮影位置が位置する参照用データRDを抽出する構成とすることができる。
また、上記の「実風景画像SPの撮影時」は、カメラ90が実際に実風景画像SPを撮影した時点から、実風景データ取得部32が実風景データADを取得した時点までの任意の時点とすることができる。
2−4.道幅情報取得部の構成
道幅情報取得部34は、推定位置情報EPに示される位置(以下、「現在位置」という場合がある。)周辺の道路の道幅情報RWを取得する機能部である。上記のように、本実施形態では、地図情報記憶部10に記憶された道路地図データには道幅情報RWが含まれており、道幅情報取得部34は、地図情報記憶部10に記憶された道路地図データを参照して、現在位置周辺の道路の道幅情報RWを取得する。そして、道幅情報取得部34が取得した道幅情報RWは、後述する分割領域調整部43へ出力される。なお、道幅情報RWを取得する位置の範囲は、実風景画像SP内に輪郭情報を適切に抽出することが可能な大きさで含まれる道路を含む範囲とすると好適である。
2−5.地域属性情報取得部の構成
地域属性情報取得部35は、推定位置情報EPに示される位置周辺についての、少なくとも都市部及び郊外を属性項目として含む地域属性情報RAを取得する機能部である。上記のように、本実施形態では、地域属性情報RAは、地図情報記憶部10に記憶された道路地図データに含まれており、地域属性情報取得部35は、地図情報記憶部10に記憶された道路地図データを参照して、現在位置周辺の地域属性情報RAを取得する。
本実施形態では、地域属性情報RAは、「都市部」及び「郊外」に加えて、「山間部」を属性項目として備えている。そのため、地域属性情報取得部35は、推定位置情報EPに示される位置周辺が、「都市部」、「郊外」、及び「山間部」の何れの地域に該当するかの情報を取得する。そして、地域属性情報取得部35が取得した地域属性情報RAは、後述する分割領域調整部43へ出力される。
2−6.分割領域調整部の構成
分割領域調整部43は、実風景画像SPの撮影領域WA中に設定される分割領域DAの大きさを調整する機能部である。後述するように、本発明では、実風景データADと参照用データRDとのマッチングに際し、実風景画像SPの撮影領域WAを分割してなる複数の分割領域DAのそれぞれについて、マッチング対象の参照用データRDを構成する複数の単位参照データRDoの群の中から、当該マッチングに用いる単位参照データRDoが選択される。そして、分割領域調整部43は、実風景データADと参照用データRDとのマッチングの精度を高めるべく、実風景画像SPに含まれる被写体の種別及び配置領域を考慮して、分割領域DAの大きさを調整することが可能となっている。なお、後述するように、本実施形態では分割領域DAのそれぞれに対して重み係数が設定されるため、分割領域DAは、単位参照データRDoの選択条件が異なる領域を区切るとともに、マッチングに際しての重要度が異なる領域を区切るように設定される。
本実施形態では、図3に示すように、撮影領域WA内に設定される分割領域DAとして、第一種分割領域DA1、第二種分割領域DA2、及び第三種分割領域DA3の3つの分割領域が設定される。ここで、第一種分割領域DA1は、当該分割領域内において空が占める割合が高くなるように設定される領域である。第二種分割領域DA2は、当該分割領域内において建物が占める割合が高くなるように設定される領域である。第三種分割領域DA3は、当該分割領域内において路面が占める割合が高くなるように設定される領域である。
そして、図3(b)に示すように、本実施形態では、撮影領域WA中に、互いに重複しない第一領域A1と第二領域A2とが設定される。本例では、第一領域A1と第二領域A2とは、足し合わせた領域が撮影領域WAと等しくなるように設定される。これらの第一領域A1及び第二領域A2のそれぞれは、後述する単位参照データ選択部42による単位参照データRDoの選択条件が互いに同一である分割領域DAのみを含むように設定される。
本実施形態では、第一領域A1は、第一種分割領域DA1及び第二種分割領域DA2を含むように設定され、第二領域A2は、第三種分割領域DA3を含むように設定される。具体的には、第一領域A1は、第一種分割領域DA1と第二種分割領域DA2とを足し合わせた領域と等しくなるように設定され、第二領域A2は、第三種分割領域DA3と等しくなるように設定される。このように、本実施形態では、第二領域A2は、当該分割領域内において路面が占める割合が高くなるように設定される第三種分割領域DA3を含むように設定されることで、少なくとも道路の路面を含むように設定される。そして、分割領域調整部43は、予め所定の位置及び範囲に設定された各分割領域DAの大きさを、以下に述べるように、実風景画像SPに含まれる被写体を識別することなく適切に調整することが可能に構成されている。すなわち、本実施形態では、各分割領域DAの大きさが、可変に設定されるように構成されている。
なお、以下の説明では、撮影領域WA中において、車両の進行方向及び鉛直方向の双方に直交する方向(車両の横幅方向)に対応する方向(図3における横方向)を「撮影領域WAにおける左右方向」とし、鉛直方向に沿う方向(車両の上下方向)に対応する方向(図3における上下方向)を「撮影領域WAにおける上下方向」とする。
分割領域調整部43は、本実施形態では、道幅情報取得部34が取得した推定位置情報EPに示される位置周辺の道路の道幅情報RWに基づき、第三種分割領域DA3を可変に設定するとともに、地域属性情報取得部35が取得した推定位置情報EPに示される位置周辺についての地域属性情報RAに基づき、第二種分割領域DA2を可変に設定するように構成されている。
具体的には、分割領域調整部43は、道幅情報RWが表す道路の道幅が大きくなるに従って、第三種分割領域DA3の横幅(撮影領域WAにおける左右方向の幅)を連続的又は段階的に大きくなるように設定する。なお、図3に示す例では、第三種分割領域DA3は多角形状の領域として設定されており、第三種分割領域DA3の横幅を大きくするとは、撮影領域WAにおける左右方向に対して傾斜した方向に延びる当該多角形の辺部の水平方向との交差角を小さくすることに対応する。これにより、実風景画像SPに対して画像処理を施して道幅を検出することなく、第三種分割領域DA3を、路面の大部分が当該分割領域内に含まれるように設定することができる。本実施形態では、分割領域調整部43が所定のタイミングで繰り返し道幅情報RWを取得して、当該道幅情報RWに示される道幅が有意に変化した場合に、第三種分割領域DA3の大きさを調整する。
なお、本例では、第二領域A2は、第三種分割領域DA3と等しくなるように設定されるため、上記のように第三種分割領域DA3の変更することで、第二領域A2も変更される。すなわち、本例では、分割領域調整部43により、第二領域A2が、道幅情報取得部34が取得した道幅情報RWに応じて可変に設定される。この際、第一領域A1と第二領域A2との足し合わせが撮影領域WAと等しくなるように、第二領域A2の変更後の大きさに合わせて第一領域A1の大きさが変更されるとともに、第一領域A1内に設定される第一種分割領域DA1及び第二種分割領域DA2の位置や大きさの調整も行われる。
また、分割領域調整部43は、地域属性情報RAが「都市部」を表す場合における第二種分割領域DA2の縦幅(撮影領域WAにおける上下方向の幅)と、地域属性情報RAが「郊外」を表す場合における第二種分割領域DA2の縦幅と、地域属性情報RAが「山間部」を表す場合における第二種分割領域DA2の縦幅とが、記載の順に小さくなるように、地域属性情報RAに応じて第二種分割領域DA2を設定する。これにより、実風景画像SPに対して画像処理を施して建物を検出することなく、第二種分割領域DA2を、建物の大部分が当該分割領域内に含まれるように設定することができる。本実施形態では、分割領域調整部43が所定のタイミングで繰り返し地域属性情報RAを取得して、当該地域属性情報RAに示される属性項目の内容が変化した場合に、第二種分割領域DA2の大きさを調整する。
なお、本例では、第一種分割領域DA1と第二種分割領域DA2とは、足し合わせた領域が第一領域A1と等しくなるように設定されるため、上記のような第二種分割領域DA2の変更に合わせて、第一種分割領域DA1も変更される。
2−7.気象条件情報取得部の構成
気象条件情報取得部36は、推定位置情報EPに示される位置周辺の、現在の気象条件を表す情報(以下、「現在気象条件情報CW」という。)及び、現在より所定時間以上前の過去の気象条件を表す情報(以下、「過去気象条件情報PW」という。)を取得する機能部である。図示は省略するが、本実施形態では、ナビゲーション装置1には無線基地局等を介した無線通信によりデータの送受信を行う通信装置が備えられており、気象条件情報取得部36は当該通信装置を介して、気象条件情報を提供する気象情報提供サーバ等から、現在位置周辺の現在気象条件情報CW及び過去気象条件情報PWを取得する。そして、気象条件情報取得部36が取得した現在気象条件情報CW及び過去気象条件情報PWは、単位参照データ選択部42へ出力される。
本例では、上述したように、気象条件情報は「晴」と「雨」との2つに区分されているおり、現在気象条件情報CW及び過去気象条件情報PWのそれぞれが表す気象条件は、「晴」と「雨」とのいずれかとされる。なお、ここでは、気象条件情報取得部36が、予め「晴」と「雨」とに分類された気象条件の情報を取得する場合を例として示したが、気象条件情報取得部36が、「曇」や「雪」等の「晴」や「雨」以外の気象条件の情報も取得し得るように構成され、気象条件情報取得部36が、取得した気象条件を「晴」と「雨」とに分類する構成とすることもできる。このような場合、気象条件が「曇」の場合には「晴」に分類し、気象条件が「雪」の場合には「雨」に分類する構成とすることができる。
また、過去気象条件情報PWが気象条件を表す時点は、現在より所定時間以上前の時点とされるが、この所定時間は、例えば雨で濡れた路面が乾くまでの時間に基づき設定することができる。例えば、この所定時間を、30分、1時間、或いは2時間等とすることができる。また、この所定時間が現在位置周辺の道路の情報(一般舗装道路、排水性舗装道路、及び未舗装道路のいずれであるかの情報等)に基づき可変に設定される構成とすることもできる。
なお、上記通信装置による無線通信の方法としては、例えば携帯電話網や無線LAN(Local Area Network)等の公知の通信網を用いることができる。また、無線通信を、VICS(登録商標;Vehicle Information and Communication System(道路交通情報通信システム))を利用して行う構成としたり、道路側に設置された通信装置との間で通信を行う路車間通信を利用して行う構成としても良い。
2−8.単位参照データ選択部の構成
単位参照データ選択部42は、後述する撮影位置特定部40による実風景データADと参照用データRDとのマッチングに際し、マッチング対象の参照用データRDを構成する単位参照データRDoの群の中から、マッチングに用いる単位参照データRDoを選択する機能部である。上記のように、本実施形態では、参照用データ取得部33が、実風景データADに対するマッチングの候補となる単数又は複数の参照用データRDを取得する。そして、単位参照データ選択部42は、当該マッチング候補の参照用データRDの中からマッチング対象として選択された参照用データRDについて、単位参照データRDoの選択処理を実行する。
単位参照データ選択部42は、実風景画像SPの撮影領域WAを分割してなる複数の分割領域DAのそれぞれについて、分割領域DAの撮影領域WA中の位置と、現在気象条件情報CWと、過去気象条件情報PWと、本例では更に現在の時間帯条件の情報と、に基づき、各分割領域DAに対応する単位参照データRDoを選択する。上述したように、現在気象条件情報CWと過去気象条件情報PWとは、気象条件情報取得部36から単位参照データ選択部42に入力される。
ところで、本実施形態では、気象条件に関して「晴」と「雨」との2つに区分している。そのため、本実施形態では、過去気象条件情報PWが表す気象条件(以下、「過去気象条件」という場合がある。)から現在気象条件情報CWが表す気象条件(以下、「現在気象条件」という場合がある。)への変化には、現在気象条件と過去気象条件とが同じである「変化なし」の場合と、現在気象条件と過去気象条件とが異なる「変化あり」の場合がある。そして、「変化あり」には、「晴」から「雨」への変化と、「雨」から「晴」への変化との2つの方向性がある。そして、気象条件が「晴」から「雨」へと変化した場合には、実風景画像SPに含まれる全て或いはほぼ全ての被写体について、輝度やコントラスト、或いは色相等の画像特性(以下、単に「画像特性」という。)が、気象条件の変化に対して大きな遅れを伴うことなく追従して変化する。これに対し、気象条件が「雨」から「晴」へと変化した場合には、雨で濡れた路面が乾くまでに時間がかかるように、実風景画像SPに含まれる一部の被写体(以下、「低追従性被写体」という。)について、画像特性が、気象条件の変化に対して比較的大きな遅れを伴い追従する。
以上のことに鑑み、本実施形態では、低追従性被写体(本例では路面)が占める割合が高くなるように設定される第三種分割領域DA3を含む第二領域A2について、現在だけでなく過去の気象条件が考慮される構成としている。具体的には、単位参照データ選択部42は、第二領域A2に含まれる分割領域DA(本例では、第三種分割領域DA3)について、過去気象条件情報PWが表す気象条件から現在気象条件情報CWが表す気象条件への変化に基づいて、現在気象条件情報CWが表す気象条件、及び、過去気象条件情報PWが表す気象条件のうちのいずれかを選択し、当該選択した気象条件に対応する単位参照データRDoを選択するように構成されている。
より具体的には、本実施形態では、単位参照データ選択部42は、第二領域A2に含まれる分割領域DA(本例では、第三種分割領域DA3)について単位参照データRDoを選択するに際し、過去気象条件情報PWが「雨」を表すとともに現在気象条件情報CWが「晴」を表す場合には、過去気象条件情報PWが表す気象条件である「雨」を選択し、当該選択した気象条件(すなわち「雨」)に対応する単位参照データRDoを選択する。また、単位参照データ選択部42は、過去気象条件情報PWが「晴」を表すとともに現在気象条件情報CWが「雨」を表す場合には、現在気象条件情報CWが表す気象条件である「雨」を選択し、当該選択した気象条件(すなわち「雨」)に対応する単位参照データRDoを選択する。また、当然ながら、過去気象条件情報PWが「晴」を表すとともに現在気象条件情報CWが「晴」を表す場合には、「晴」に対応する単位参照データRDoが選択され、過去気象条件情報PWが「雨」を表すとともに現在気象条件情報CWが「雨」を表す場合には、「雨」に対応する単位参照データRDoが選択される。
一方、低追従性被写体以外の被写体(本例では空や建物)が占める割合が高くなるように設定される第一種分割領域DA1や第二種分割領域DA2を含む第一領域A1については、現在の気象条件のみが考慮される構成としている。具体的には、単位参照データ選択部42は、第一領域A1に含まれる分割領域DA(本例では、第一種分割領域DA1及び第二種分割領域DA2)について、現在気象条件情報CWが表す気象条件を選択し、当該選択した気象条件に対応する単位参照データRDoを選択するように構成されている。
より具体的には、本実施形態では、単位参照データ選択部42は、第一領域A1に含まれる分割領域DA(本例では、第一種分割領域DA1及び第二種分割領域DA2)について単位参照データRDoを選択するに際し、現在気象条件情報CWが「晴」を表す場合には「晴」に対応する単位参照データRDoを選択し、現在気象条件情報CWが「雨」を表す場合には「雨」に対応する単位参照データRDoを選択する。
このように、本実施形態では、撮影領域WAにおける上下方向下側部分に設定された第二領域A2に含まれる分割領域DA(本例では第三種分割領域DA3)については、現在だけでなく過去の気象条件が考慮され、第二領域A2に対して撮影領域WAにおける上下方向上側に設定された第一領域A1に含まれる分割領域DA(本例では第一種分割領域DA1及び第二種分割領域DA2)については、現在の気象条件のみが考慮される構成とすることで、単位参照データRDoの選択に際して分割領域DAの撮影領域WA中の位置が考慮される構成となっている。
また、本実施形態では、時間帯条件に関して「昼」と「夜」との2つに区分しており、単位参照データRDoは、気象条件に加えて時間帯条件にも関連付けられて用意されている。そして、実風景画像SPに含まれる全て或いはほぼ全ての被写体について、時間帯条件の変化に対する画像特性の変化の追従性は、一般的に高いものとなる。そこで、本実施形態では、単位参照データ選択部42は、第一領域A1に含まれる分割領域DA及び第二領域A2に含まれる分割領域DAの双方について、すなわち、第一種分割領域DA1、第二種分割領域DA2、及び第三種分割領域DA3の全てについて、実風景画像SPの撮影時の時間帯条件である現在時間帯条件を選択し、当該選択した時間帯条件(すなわち、現在時間帯条件)に対応する単位参照データRDoを選択する。
より具体的には、本実施形態では、単位参照データ選択部42は、単位参照データRDoを選択するに際し、現在時間帯条件が「昼」である場合には「昼」を選択し、当該選択した時間帯条件(すなわち「昼」)に対応する単位参照データRDoを選択する。また、単位参照データ選択部42は、現在時間帯条件が「夜」である場合には「夜」を選択し、当該選択した時間帯条件(すなわち「夜」)に対応する単位参照データRDoを選択する。
なお、図示は省略するが、ナビゲーション装置1には現在の時刻を取得する時刻取得部が備えられており、単位参照データ選択部42はこの時刻取得部を介して、現在時間帯条件を取得する。この際、ナビゲーション装置1が、各日の日の出及び日の入りの時刻の情報と現在の日付の情報とを取得可能に構成され、現在の時刻が、現在の日付に対応する日の出の時刻と日の入りの時刻との間にある場合には、現在時間帯条件が「昼」であると判定し、現在の時刻が、現在の日付に対応する日の出前の時刻或いは日の入り以降の時刻である場合には、現在時間帯条件が「夜」であると判定する構成とすることができる。或いは、ナビゲーション装置1が、自車両に備えられた前照灯の点灯状態を取得する点灯状態取得部を備え、前照灯が非点灯状態にある場合には、現在時間帯条件が「昼」であると判定し、前照灯が点灯状態にある場合には、現在時間帯条件が「夜」であると判定する構成とすることもできる。
以上をまとめると、単位参照データ選択部42による単位参照データRDoの選択条件は、図4に示す表のようになる。この表に示すように、現在気象条件が「晴」であって過去気象条件情報が「雨」である場合の第二領域A2に含まれる分割領域DAを除いて、各分割領域DAには、現在気象条件と現在時間帯条件とに対応する単位参照データRDoが選択される。一方、現在気象条件が「晴」であって過去気象条件が「雨」である場合の第二領域A2に含まれる分割領域DAについては、例外的に、過去気象条件と現在時間帯条件とに対応する単位参照データRDoが選択される。
別の観点から見ると、過去気象条件が「晴」である場合には、全ての分割領域DAについて、現在気象条件に対応する単位参照データRDoが選択される。また、現在気象条件が「雨」である場合には、全ての分割領域DAについて、「雨」に対応する単位参照データRDoが選択される。そして、過去気象条件が「雨」である場合や、現在気象条件が「晴」である場合には、第一領域A1に含まれる分割領域DAについては一律に現在気象条件に対応する単位参照データRDoが選択されるのに対し、第二領域A2に含まれる分割領域DAについては、現在気象条件及び過去気象条件の双方に基づき、すなわち、過去気象条件から現在気象条件への変化に基づき、現在気象条件又は過去気象条件に対応する単位参照データRDoが選択される。なお、図4に示す第二領域A2についての選択条件は、過去気象条件から現在気象条件への変化(変化の方向性)を考慮して予め定められており、本実施形態では、このような選択条件に基づき単位参照データRDoを選択することで、過去気象条件から現在気象条件への変化に基づき単位参照データRDoの選択がなされる構成となっている。
2−9.撮影位置特定部の構成
撮影位置特定部40は、実風景画像SPに基づき生成された実風景データADと参照用データRDとのマッチングを行い、マッチングに成功した参照用データRDに関連付けられた撮影位置に基づき当該実風景画像SPの撮影位置を特定する機能部である。
撮影位置特定部40は、このような実風景データADと参照用データRDとのマッチングを行うための機能部として、図1に示すようにマッチング実行部41を備えている。そして、撮影位置特定部40は、マッチング実行部41によりマッチングに成功したと判定された参照用データRDの情報を取得するとともに、当該参照用データRDに関連付けられた撮影位置の情報を取得する。そして、撮影位置特定部40は、取得した当該撮影位置を実風景画像SPの撮影位置として特定し、特定した実風景画像SPの撮影位置の情報を、後述する自車位置決定部44へ出力する。
マッチング実行部41は、実風景データADと参照用データRDとのマッチング(パターンマッチング)を行う機能部である。上記のように、本実施形態では、参照用データ取得部33が、実風景データADに対するマッチングの候補となる単数又は複数の参照用データRDを取得する。そして、マッチング実行部41は、当該マッチング候補の参照用データRDの中から1つの参照用データRDをマッチング対象の参照用データRDとして順に選択し、当該マッチング対象の参照用データRDと、実風景データ取得部32が取得した実風景データADとのマッチング(パターンマッチング)に必要な処理を実行する。
なお、本発明では、実風景画像SPの撮影領域WAを分割してなる複数の分割領域DAのそれぞれについて、単位参照データ選択部42により1つの単位参照データRDoが選択される。そして、マッチング実行部41は、分割領域DAのそれぞれについて、分割領域DA内の画像特徴を表すデータが、当該分割領域DAに対して選択された単位参照データRDoに含まれる、当該分割領域DAに対応する領域内の画像特徴を表すデータと比較されるように、実風景データADと参照用データRDとのマッチングを実行する。すなわち、マッチング実行部41は、単位参照データ選択部42により選択された単位参照データRDoを用いて、実風景データADと参照用データRDとのマッチングを実行する。本例では、画像特徴を表すデータはエッジ点画像(特徴点画像)のデータとされるため、分割領域DA内の特徴点群の配置が、当該分割領域DAに対して選択された単位参照データRDoの対応する領域内の特徴点群の配置と比較されることで、マッチングが実行される。
本実施形態では、マッチング実行部41は、分割領域DA毎に実風景データADと単位参照データRDo(参照用データRD)との一致度を導出するとともに、分割領域DAのそれぞれの撮影領域WA中の位置に応じて設定された重み係数と一致度とに基づき撮影領域WA全体での全体一致度を導出する。すなわち、本例では、分割領域DA毎に部分的にマッチング処理を行うことで、実風景データADと参照用データRDとの撮影領域WA全体での一致度である全体一致度を導出するように構成されている。
より具体的には、本実施形態では、第N種分割領域(NはM以下の自然数であり、本例ではM=3)における実風景データADと参照用データRDとの一致度をK[N]とし、第N種分割領域に設定された重み係数をL[N]として、全体一致度は、K[N]とL[N]との積の、全てのNについて総和として導出される。本例ではM=3であるため、全体一致度は次式のように表される。
全体一致度=K[1]・L[1]+K[2]・L[2]+K[3]・L[3]
なお、「一致度」は、2つのデータ間の一致(類似)の度合を示す指標であり、パターンマッチングの分野における公知の種々の手法に基づき導出することができる。なお、本例では、実風景データAD及び単位参照データRDoのそれぞれは、エッジ点画像(特徴点画像)とされるため、分割領域DAに含まれる特徴点群の配置と一致する特徴点群が、単位参照データRDoの対応する領域に含まれる割合に応じて一致度が導出される。
分割領域DAに設定される重み係数は、当該分割領域DAの撮影領域WA中の位置に応じて設定され、本例では、各分割領域DAについての重み係数の総和が「1」となるように設定される。具体的には、本実施形態では、撮影領域WAにおける上下方向上側に位置し、空が占める割合が高くなるように設定される第一種分割領域DA1については、マッチングに関して重要な地物が含まれる可能性が低いため、他の分割領域DAに比べて小さい重み係数が設定される。一方、撮影領域WAにおける左右方向両側に位置し、建物が占める割合が高くなるように設定される第二種分割領域DA2や、撮影領域WAにおける上下方向下側に位置し、路面が占める割合が高くなるように設定される第三種分割領域DA3については、マッチングに関して重要な地物が含まれる可能性が高いため、第一種分割領域DA1に比べて大きい重み係数が設定される。
なお、図3(b)に示す例では、進行方向に離れた位置にある建物(図示せず)は画像認識により輪郭情報を適切に抽出することが困難であることから、そのような建物が含まれ得る部分である撮影領域WAにおける左右方向中央部分の重要度を下げるべく、第一種分割領域DA1が当該中央部分において下側に延びるように設定されている。これにより、本例では、第二種分割領域DA2が、撮影領域WAにおける左右両側に分かれた領域となる。本発明では、このように撮影領域WA中で領域が分離されている場合であっても、同種(本例では第一種、第二種、及び第三種のいずれか)の分割領域DAを構成する単数又は複数の領域が、全体として1つの分割領域DAを形成しているとする。
そして、マッチング実行部41は、上記のようにして導出した全体一致度に基づきマッチングの成否を判定する。本実施形態では、マッチング実行部41は、参照用データ取得部33によりマッチング候補として取得された参照用データRDの全てについて、順に全体一致度の導出処理を行う。そして、マッチング実行部41は、マッチング候補として取得された参照用データRDの中で、導出された全体一致度が予め設定された判定閾値以上の参照用データRDがあった場合には、マッチングに成功したと判定し、そのような参照用データRDがなかった場合にはマッチングに失敗したと判定する。なお、全体一致度が上記判定閾値以上の参照用データRDが1つである場合には当該参照用データRDとの間でマッチングが成功したと判定し、全体一致度が上記判定閾値以上の参照用データRDが複数ある場合には、その中で最も高い全体一致度が得られた参照用データRDとの間でマッチングが成功したと判定する。
なお、ここでは、マッチング実行部41が、参照用データ取得部33によりマッチング候補として抽出された参照用データRDの全てについて、順に全体一致度の導出処理を行う構成を例として示したが、全体一致度が上記判定閾値以上となる参照用データRDが初めて出現した時点で、当該参照用データRDとの間でマッチングが成功したとしてマッチング処理を終了する構成とすることもできる。このような構成では、参照用データ取得部33が、推定自車位置の近傍の領域に撮影位置が関連付けられた単数又は複数の参照用データRDを、マッチング候補の参照用データRDとして選択するが、参照用データRDの取得については、全体一致度の導出処理毎に行う構成とすることも可能である。
ところで、分割領域DAに設定される重み係数は、気象条件や時間帯条件のような外部要因に応じて可変に設定される構成とすることができる。例えば、現在気象条件が「雨」である場合には、L[2]/L[3]の値が、現在気象条件が「晴」の場合に比べて大きく設定される構成とすることができる。また、例えば、現在時間帯条件が「夜」である場合には、L[2]/L[3]の値が、現在時間帯条件が「昼」の場合に比べて小さく設定される構成とすることができる。
また、分割領域DAに設定される重み係数が、地域属性情報RAに応じて可変に設定される構成とすることもできる。例えば、地域属性情報RAが「山間部」である場合には、建物の密集度が一般的に低いため、L[2]/L[3]の値が、地域属性情報RAが「都市部」や「郊外」である場合に比べて小さく設定される構成とすることができる。
2−10.自車位置決定部の構成
自車位置決定部44は、推定位置情報取得部31が取得した推定位置情報EPが表す推定自車位置を、実風景画像SPの撮影位置に基づき補正する機能部である。上記のように、自車位置決定部44には、撮影位置特定部40が特定した実風景画像SPの撮影位置の情報が入力される。そして、本実施形態では、自車位置決定部44は、撮影位置特定部40から入力された撮影位置を推定自車位置と置き換えることで、推定自車位置の補正を行う。なお、自車位置決定部44が、単に撮影位置特定部40から入力された撮影位置を推定自車位置と置き換えるだけでなく、実風景画像SPの撮影時から撮影位置特定部40による当該実風景画像SPの撮影位置の特定までの間の自車両の走行距離を考慮して自車位置の調整を行う構成とすることもできる。なお、自車両の走行距離の情報は、距離センサ92等で取得することが可能である。
3.動作処理の手順
次に、図5、図6を参照して、本実施形態に係る撮影位置特定ユニット2において実行される撮影位置特定処理の手順、すなわち撮影位置特定方法について説明する。以下に説明する撮影位置特定処理の手順は、上記のナビゲーション装置1(撮影位置特定ユニット2)の各機能部を構成するハードウェア又はソフトウェア(プログラム)或いはその両方により実行される。上記の各機能部がプログラムにより構成される場合には、ナビゲーション装置1が有する演算処理装置が、上記の各機能部を構成するプログラムを実行するコンピュータとして動作する。なお、図6は、図5のステップ#06のマッチング処理の手順を示すフローチャートである。
3−1.撮影位置特定処理の全体の手順
図5に示すように、実風景データ取得部32が実風景データADを取得すると(ステップ#01)、推定位置情報取得部31が推定位置情報EPを取得して(ステップ#02)、参照用データ取得部33が、当該推定位置情報EPに基づき、マッチング候補となる単数又は複数の参照用データRDを参照データ記憶部11から取得する(ステップ#03)。
次に、気象条件情報取得部36が、現在気象条件情報CW及び過去気象条件情報PWを取得し(ステップ#04、ステップ#05)、マッチング処理が実行される(ステップ#06)。このマッチング処理については、後に図6のフローチャートに基づいて説明する。
マッチング処理の結果、実風景データADと参照用データRDとの間のマッチングに成功したと判定された場合には(ステップ#07:Yes)、マッチングに成功した参照用データRDに関連付けられた撮影位置の情報を取得して(ステップ#08)、当該撮影位置の情報に基づき、実風景画像SPの撮影位置を特定する(ステップ#09)。本実施形態では、ステップ#08で取得した撮影位置を、実風景画像SPの撮影位置とする。一方、マッチングに成功しなかったと判定された場合には(ステップ#07:No)、処理は終了する。
3−2.マッチング処理の手順
次に、図6を参照して、図5のステップ#06におけるマッチング処理の手順について説明する。マッチング実行部41は、図5のステップ#03にて取得されたマッチング候補の参照用データRDの中から、マッチング処理の対象となる1つの参照用データRDを選択する(ステップ#11)。そして、単位参照データ選択部42は、ステップ#11において選択された参照用データRDを構成する複数(本例では4つ)の単位参照データRDoの中から、分割領域DAの撮影領域WA中の位置と、現在気象条件情報CWと、過去気象条件情報PWと、本例では更に現在時間帯条件とに基づき、複数の分割領域DAのそれぞれについて単位参照データRDoを選択する(ステップ#12)。本実施形態では、第一領域A1に含まれる分割領域DA及び第二領域A2に含まれる分割領域DAのそれぞれについて、図4の表に示される選択条件に基づき単位参照データRDoが選択される。
次に、マッチング実行部41は、分割領域DAのそれぞれについて、分割領域DA内の画像特徴を表すデータが、当該分割領域DAに対して選択された単位参照データRDoに含まれる、当該分割領域DAに対応する領域内の画像特徴を表すデータと比較されるように、実風景データADと参照用データRDとのマッチングを実行し、全体一致度を導出する(ステップ#13)。なお、本実施形態では、上述したように、分割領域DA毎に実風景データADと参照用データRDとの一致度が導出されるとともに、分割領域DAのそれぞれの撮影領域WA中の位置に応じて設定された重み係数と一致度とに基づき撮影領域WA全体での全体一致度が導出される。
そして、マッチング実行部41は、マッチング候補として取得された参照用データRDの中に、全体一致度の導出処理を行っていない参照用データRDがある場合には(ステップ#14:Yes)、全体一致度の導出処理を行っていない参照用データRDがなくなるまでステップ#11からステップ#13の処理を繰り返し実行する。
そして、マッチング候補として取得された参照用データRDの全てについて、全体一致度の導出処理を行った場合には(ステップ#14:No)、マッチングの成否判定を行う(ステップ#15)。本実施形態では、上記のように、マッチング候補として取得された参照用データRDの中で、導出された全体一致度が予め設定された判定閾値以上の参照用データRDがあった場合には、マッチングに成功したと判定し、そのような参照用データRDがなかった場合にはマッチングに失敗したと判定する。なお、本例では、全体一致度が上記判定閾値以上の参照用データRDが1つである場合には当該参照用データRDとの間でマッチングが成功したと判定し、全体一致度が上記判定閾値以上の参照用データRDが複数ある場合には、その中で最も高い全体一致度が得られた参照用データRDとの間でマッチングが成功したと判定する。
なお、ここでは、気象条件情報取得部36による現在気象条件情報CWの取得ステップと、気象条件情報取得部36による過去気象条件情報PWの取得ステップとが、マッチング候補の参照用データRDの取得ステップ(ステップ#03)とマッチング処理のステップ(ステップ#06)との間に実行される場合を例として説明したが、気象条件情報取得部36による現在気象条件情報CW及び過去気象条件情報PWの取得ステップは、単位参照データRDoの選択ステップ(ステップ#12)の前であればどのタイミングで実行しても良い。また、気象条件情報取得部36による現在気象条件情報CW及び過去気象条件情報PWの取得ステップを実風景データADの取得の度に行わずに、以前に取得した情報を用いて単位参照データRDoの選択処理を行う構成とすることもできる。
4.その他の実施形態
最後に、本発明に係るその他の実施形態を説明する。なお、以下の各々の実施形態で開示される特徴は、その実施形態でのみ利用できるものではなく、矛盾が生じない限り、別の実施形態にも適用可能である。
(1)上記の実施形態では、重み係数が分割領域DA毎に個別に設定される構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、第一領域A1に含まれる全ての分割領域DAに対して同じ重み係数が設定されるとともに、第二領域A2に含まれる全ての分割領域DAに対して同じ重み係数が設定される構成とすることもできる。
(2)上記の実施形態では、マッチング実行部41が、分割領域DA毎に実風景データADと参照用データRDとの一致度を導出するとともに、分割領域DAのそれぞれの撮影領域WA中の位置に応じて設定された重み係数と一致度とに基づき撮影領域WA全体での全体一致度を導出する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、選択された複数の単位参照データRDoのそれぞれの、選択対象の分割領域DAに対応する領域のデータを集めて、撮影領域WA全体のデータに相当する集合単位参照データを生成し、実風景データADと当該集合単位参照データとを撮影領域WAの全体でマッチング処理を行うことで、全体一致度を導出する構成とすることもできる。このような構成では、重み係数が設定されない構成や、或いは分割領域DAとは独立に設定される領域毎に重み係数が設定される構成とすることができる。
(3)上記の実施形態では、全体一致度が判定閾値以上の参照用データRDが複数ある場合でも、その中から1つの参照用データRDを選択して当該参照用データRDに関連付けられた撮影位置を、実風景画像SPの撮影位置として特定する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、全体一致度が判定閾値以上の参照用データRDが複数ある場合には、それらの全て或いは全体一致度の大きさに基づき選択した一部である複数の参照用データRDに関連付けられた撮影位置に基づき、実風景画像SPの撮影位置を特定する構成とすることもできる。このような構成では、例えば、複数の撮影位置の平均値を、実風景画像SPの撮影位置とすることができる。
(4)上記の実施形態では、第二領域A2に含まれる分割領域DAについて、現在気象条件情報CWが表す気象条件(現在気象条件)、及び、過去気象条件情報PWが表す気象条件(過去気象条件)の双方に基づき、図4に示す選択条件に従って単位参照データRDoが選択される構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、現在気象条件情報CWと過去気象条件情報PWとが互いに同じ気象条件を表す場合には、いずれの気象条件情報が表す気象条件を選択しても同じ単位参照データRDoが選択されることを考慮して、第二領域A2に含まれる分割領域DAについて、以下のような選択基準に基づき気象条件を選択して、当該気象条件に対応する単位参照データRDoを選択する構成とすることもできる。すなわち、現在気象条件が「雨」である場合には現在気象条件を選択し、それ以外の場合(すなわち現在気象条件が「晴」である場合)には過去気象条件を選択する。また、過去気象条件が「晴」である場合には現在気象条件を選択し、それ以外の場合(すなわち過去気象条件が「雨」である場合)には過去気象条件を選択する。このような構成においても、気象条件の選択条件は、過去気象条件から現在気象条件への変化(変化の方向性)が考慮されたものであり、上記実施形態と同様、過去気象条件から現在気象条件への変化に基づき単位参照データRDoの選択がなされる構成となっている。
(5)上記の実施形態では、気象条件に関して「晴」と「雨」との2つに区分された構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、「晴」を雲量に基づいて複数の状態に区分したり、「雨」を降水量に基づいて複数の状態に区分したりすることも可能である。例えば、気象条件に関して「晴」、「弱い雨」、及び「強い雨」の3つに区分された構成とすることができる。この場合には、単位参照データRDoとして「晴」に加えて「弱い雨」及び「強い雨」のそれぞれに対応するデータを用意しておくと好適である。この際、例えば、図4に示す単位参照データRDoの選択条件については、「強い雨」については上記実施形態の「雨」と同様とし、「弱い雨」については上記実施形態の「晴」と同様とすることができる。これにより、過去気象条件が「弱い雨」である場合には、濡れた路面が乾くまでにそれほど長い時間を要しないこと、或いは路面状態が「晴」の時と大差ないことを考慮した単位参照データRDoの選択が可能となる。
(6)上記の実施形態では、気象条件に関して「晴」と「雨」との2つに区分された構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、降水を伴う気象条件として、「雨」に加えて更に「雪」も設定された構成や、降水を伴わない気象条件として、「晴」に加えて更に「曇」も設定された構成とすることができる。この場合には、全ての気象条件のそれぞれに対応する単位参照データRDoを用意しておくと好適である。この際、例えば図4に示す単位参照データRDoの選択条件については、「雪」については上記実施形態の「雨」と同様とし、「曇」については上記実施形態の「晴」と同様とすることができる。なお、このような構成において、上記実施形態と同様、気象条件情報取得部36が、予めいずれかの条件に分類された気象条件の情報を取得する構成としても良く、或いは、気象条件情報取得部36が、取得した気象条件を分類する構成としても良い。
(7)上記の実施形態では、時間帯条件に関して「昼」と「夜」との2つに区分された構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、時間帯条件として、「昼」と「夜」とに加えて、さらに「早朝」や「夕方」等が設定された構成とすることもできる。このような区分は、例えば太陽の地平線に対する高度の情報や、日の出や日の入りの時刻の情報に基づき設定することができる。このような構成では、複数の(例えば4つ)の時間帯条件のそれぞれに対応する単位参照データRDoを用意しておき、現在の時間帯条件に対応する単位参照データRDoを選択する構成とすることができる。
(8)上記の実施形態では、同一の撮影位置に対応する単位参照データRDoとして、気象条件に加えて時間帯条件にも関連付けられた単位参照データRDoが用意されている構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、気象条件のみに関連付けられた単位参照データRDoが用意されている構成とすることもできる。このような構成では、例えば、時間帯条件が「昼」の条件下での風景画像に基づき単位参照データRDoが生成されている構成とすると好適である。
また、気象条件に加えて、或いは気象条件と時間帯条件とに加えて、更に別の条件にも関連付けられて単位参照データRDoが用意されており、当該別の条件にも基づき単位参照データRDoが選択される構成とすることも可能である。例えば、風景画像の撮影条件について「順光状態」と「逆光状態」とに区分し、現在の撮影条件が「順光状態」であれば「順光状態」に関連付けられた単位参照データRDoを取得し、現在の撮影条件が「逆光状態」であれば「逆光状態」に関連付けられた単位参照データRDoを取得する構成とすることができる。また、季節の条件が考慮された構成とすることも可能である。
(9)上記の実施形態で示した第一領域A1及び第二領域A2の形状や、各分割領域DAの形状は一例であり、これらの形状は適宜変更可能である。例えば、第一領域A1や第二領域A2の形状を矩形状としたり、少なくとも一部の分割領域DAを矩形状の領域とすることもできる。
(10)上記の実施形態では、第一領域A1内に、2つの分割領域DA(第一種分割領域DA1及び第二種分割領域DA2)が設定された構成を例として説明したが、第一領域A1内に設定される分割領域DAの個数(分割数)は適宜変更可能である。例えば、1つや3つの分割領域DAが第一領域A1内に設定された構成とすることができる。同様に、上記の実施形態では、第二領域A2内に、1つの分割領域DA(第三種分割領域DA3)が設定された構成を例として説明したが、第二領域A2内に設定される分割領域DAの個数(分割数)は適宜変更可能である。例えば、2つや3つの分割領域DAが第二領域A2内に設定された構成とすることができる。
(11)上記の実施形態では、地域属性情報RAが、「都市部」、「郊外」、及び「山間部」を属性項目として備えた構成を例として説明したが、地域属性情報が備える属性項目の種類及び個数は適宜変更可能である。例えば、地域属性情報が、「都市部」及び「郊外」のみを属性項目として備える構成や、「都市部」や「郊外」を更に細分化して備える構成(例えば、「都市部」が建物の平均高さや密集度等の傾向に応じて「第一都市部(高層都市部)」及び「第二都市部(市街地)」に細分化された構成等)としても好適である。なお、上記の実施形態では、このような地域属性情報RAに基づき第二種分割領域DA2の縦幅が調整される構成を例として説明したが、このような地域属性情報RAに基づく第二種分割領域DA2の調整が行われない構成とすることもできる。
(12)上記の実施形態では、地図情報記憶部10に記憶された道路地図データに、道路の道幅に関する情報である道幅情報RWが含まれており、道幅情報取得部34が、当該道路地図データを参照して道幅情報RWを取得する構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、地図情報記憶部10が備える道路地図データに現在位置周辺の道路の道幅情報RWが含まれていない場合等には、道幅情報取得部34が、道路地図データに含まれる道路種別情報(高速道路、有料道路、国道、県道等の種別)に基づき、道幅情報RWを推定値として取得する構成とすることもできる。このような構成においては、例えば高速道路は県道に対して一般的に道幅が広いという道路種別と道幅との一般的関係に基づき、道幅情報RWを推定することができる。
(13)上記の実施形態では、第二領域A2が、分割領域調整部43により、道幅情報取得部34が取得した道幅情報RWに応じて可変に設定される構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、第二領域A2が、分割領域調整部43により、地域属性情報取得部35が取得した地域属性情報RAに応じて可変に設定される構成としても良い。このような構成では、「山間部」、「郊外」、「都市部」の順に道幅が広くなるという一般的傾向に基づき、第二領域A2の横幅(上記実施例では第三種分割領域DA3の横幅)を可変に設定する構成とすることができる。なお、第二領域A2が可変に設定されずに、固定領域とされる構成とすることも可能である。
(14)上記の実施形態では、撮影領域WA中に互いに重複しないように設定される第一領域A1と第二領域A2とが、足し合わせた領域が撮影領域WAと等しくなるように設定される構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、第一領域A1及び第二領域A2のそれぞれに設定される単位参照データRDoの選択条件とは異なる条件に基づき単位参照データRDoの選択を行うのが好ましい分割領域DAがある場合には、当該分割領域DAを含む第三領域A3が第一領域A1及び第二領域A2に加えて設定された構成とすることができる。このような構成では、第一領域A1、第二領域A2、及び第三領域A3を足し合わせた領域が撮影領域WAと等しくなるように設定することができる。また、第三領域A3に含まれる分割領域DAについては、例えば、過去気象条件情報PWが表す気象条件に対応する単位参照データRDoが選択される構成とすることができる。
(15)上記の実施形態において説明した機能部の割り当ては単なる一例であり、複数の機能部を組合わせたり、1つの機能部をさらに区分けしたりすることも可能である。
(16)上記の実施形態では、カメラ90が車両の前方の風景を撮影するフロントカメラとされた構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、カメラ90を、車両の後方や側方、或いは斜め前方や斜め後方の風景を撮影するカメラとすることも可能である。
(17)上記の実施形態では、本発明に係る撮影位置特定システムを、車載用のナビゲーション装置1に適用した場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、本発明に係る撮影位置特定システムを、車両に備えられるナビゲーション装置以外の装置(走行制御装置等)に適用することも可能である。
(18)上記の実施形態では、撮影位置特定ユニット2、参照データ記憶部11、及び地図情報記憶部10が車両に備えられる構成を例として示したが、撮影位置特定ユニット2の少なくとも一部の機能部、参照データ記憶部11、或いは地図情報記憶部10が、車両の外部に設けられ、インターネット等の通信ネットワークを介して情報や信号の送受信が行われる構成とすることもできる。
(19)上記の実施形態では、車両が本発明に係る「移動体」に相当する場合を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、車両以外の移動体に本発明を適用することも可能である。例えば、車輪以外の機構(例えばクローラ機構や脚機構等)により走行する移動体(ロボット等)にも本発明を適用可能である。また、本発明で対象とする移動体は自走式の移動体に限定されず、携帯端末(例えばカメラ付携帯電話等)のように外部の力により移動する移動体にも本発明を適用可能である。
(20)上記の実施形態では、撮影位置特定ユニット2により特定された撮影位置に基づき、推定位置情報取得部31が取得した推定位置が補正される構成を例として説明したが、移動体の移動範囲が限られている場合等には、撮影位置特定ユニット2が推定位置情報取得部31を備えず、参照用データ取得部33が、参照データ記憶部11に記憶された全ての参照用データRDをマッチング候補の参照用データRDとして選択する構成とすることも可能である。また、上記の実施形態では、特定された実風景画像SPの撮影位置に基づき移動体の位置が決定される構成を例として示したが、特定された実風景画像SPの撮影位置を他の用途に用いることも可能である。
(21)上記の実施形態では、カメラ90が移動体に搭載された構成を例として説明した。しかし、本発明の実施形態はこれに限定されるものではなく、カメラ90が移動体に搭載されていない構成、例えば、カメラ90が単独の装置である構成とすることもできる。この場合、特定された実風景画像SPの撮影位置に基づき、カメラ90の位置が特定される構成とすることができる。
(22)上記の実施形態では、参照データ記憶部11が複数の参照用データRDを記憶する構成を例として説明したが、参照データ記憶部11が単一の参照用データRDを記憶する構成とすることも可能である。
(23)その他の構成に関しても、本明細書において開示された実施形態は全ての点で例示であって、本発明の実施形態はこれに限定されない。すなわち、本願の特許請求の範囲に記載された構成及びこれと均等な構成を備えている限り、特許請求の範囲に記載されていない構成の一部を適宜改変した構成も、当然に本発明の技術的範囲に属する。
本発明は、移動体に搭載されたカメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法に好適に利用することができる。
11:参照データ記憶部
31:推定位置情報取得部
34:道幅情報取得部
35:地域属性情報取得部
40:撮影位置特定部
42:単位参照データ選択部
90:カメラ
A1:第一領域
A2:第二領域
AD:実風景データ
CW:現在気象条件情報
DA:分割領域
EP:推定位置情報
PW:過去気象条件情報
RD:参照用データ
RDo:単位参照データ
RW:道幅情報
RA:地域属性情報
SP:実風景画像
WA:撮影領域

Claims (9)

  1. カメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定システムであって、
    同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される参照用データを、当該参照用データを構成する前記単位参照データの生成元の風景画像の撮影位置に関連付けて記憶する参照データ記憶部と、
    前記実風景画像に基づき生成される実風景データと前記参照用データとのマッチングを行い、マッチングに成功した前記参照用データに関連付けられた撮影位置に基づき当該実風景画像の撮影位置を特定する撮影位置特定部と、
    前記撮影位置特定部による前記実風景データと前記参照用データとのマッチングに際し、前記実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて、前記分割領域の前記撮影領域中の位置と、現在の気象条件を表す現在気象条件情報と、現在より所定時間以上前の過去の気象条件を表す過去気象条件情報とに基づき、前記参照用データを構成する前記単位参照データの群の中から、各分割領域に対応する前記単位参照データを選択する単位参照データ選択部と、を備えた撮影位置特定システム。
  2. 前記撮影領域中に互いに重複しない第一領域と第二領域とが設定され、
    前記単位参照データ選択部が、前記第一領域に含まれる前記分割領域については、前記現在気象条件情報が表す気象条件に対応する前記単位参照データを選択し、前記第二領域に含まれる前記分割領域については、前記過去気象条件情報が表す気象条件から前記現在気象条件情報が表す気象条件への変化に基づいて、前記現在気象条件情報が表す気象条件、及び、前記過去気象条件情報が表す気象条件のうちのいずれかを選択し、当該選択した気象条件に対応する前記単位参照データを選択する請求項1に記載の撮影位置特定システム。
  3. 前記実風景画像は道路の路面を含む風景画像であり、
    前記第二領域が少なくとも道路の路面を含むように設定される請求項2に記載の撮影位置特定システム。
  4. 前記カメラは移動体に搭載されており、
    前記移動体の推定位置を表す推定位置情報を取得する推定位置情報取得部と、前記推定位置情報に示される位置周辺の道路の道幅に関する情報である道幅情報を取得する道幅情報取得部と、を更に備え、
    前記第二領域が、前記道幅情報取得部が取得した前記道幅情報に応じて可変に設定される請求項3に記載の撮影位置特定システム。
  5. 前記カメラは移動体に搭載されており、
    前記移動体の推定位置を表す推定位置情報を取得する推定位置情報取得部と、前記推定位置情報に示される位置周辺についての、少なくとも都市部及び郊外を属性項目として含む地域属性情報を取得する地域属性情報取得部と、を更に備え、
    前記第二領域が、前記地域属性情報取得部が取得した前記地域属性情報に応じて可変に設定される請求項3に記載の撮影位置特定システム。
  6. 前記単位参照データ選択部は、前記第二領域に含まれる前記分割領域について、
    前記過去気象条件情報が降水を伴う気象条件を表すとともに前記現在気象条件情報が降水を伴わない気象条件を表す場合には、前記過去気象条件情報が表す気象条件を選択し、
    前記過去気象条件情報が降水を伴わない気象条件を表すとともに前記現在気象条件情報が降水を伴う気象条件を表す場合には、前記現在気象条件情報が表す気象条件を選択し、
    当該選択した気象条件に対応する前記単位参照データを選択する請求項2から5のいずれか一項に記載の撮影位置特定システム。
  7. 前記撮影位置特定部は、前記分割領域毎に前記実風景データと前記単位参照データとの一致度を導出するとともに、前記分割領域のそれぞれの前記撮影領域中の位置に応じて設定された重み係数と前記一致度とに基づき前記撮影領域全体での全体一致度を導出し、当該全体一致度に基づき前記マッチングの成否を判定する請求項1から6のいずれか一項に記載の撮影位置特定システム。
  8. カメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定プログラムであって、
    同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される参照用データを取得する参照用データ取得機能と、
    前記実風景画像に基づき生成される実風景データを取得する実風景データ取得機能と、
    前記実風景データと前記参照用データとのマッチングを行い、マッチングに成功した前記参照用データを構成する前記単位参照データの生成元の風景画像の撮影位置の情報を取得して、当該撮影位置の情報に基づき前記実風景データの生成元の前記実風景画像の撮影位置を特定する撮影位置特定機能と、
    前記撮影位置特定機能による前記実風景データと前記参照用データとのマッチングに際し、前記実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて、前記分割領域の前記撮影領域中の位置と、現在の気象条件を表す現在気象条件情報と、現在より所定時間以上前の過去の気象条件を表す過去気象条件情報とに基づき、前記参照用データを構成する前記単位参照データの群の中から、各分割領域に対応する前記単位参照データを選択する単位参照データ選択機能と、
    をコンピュータに実現させるための撮影位置特定プログラム。
  9. カメラにより撮影された風景画像である実風景画像の撮影位置を特定する撮影位置特定方法であって、
    前記実風景画像に基づき生成される実風景データを取得する実風景データ取得ステップと、
    同一の撮影位置から互いに異なる気象条件下で撮影された複数の風景画像のそれぞれに基づき生成されるデータであって、生成元の風景画像が撮影された時点の気象条件が対応付けられたデータである単位参照データの群により構成される参照用データを取得する参照用データ取得ステップと、
    前記実風景画像の撮影領域を分割してなる複数の分割領域のそれぞれについて、前記分割領域の前記撮影領域中の位置と、現在の気象条件を表す現在気象条件情報と、現在より所定時間以上前の過去の気象条件を表す過去気象条件情報とに基づき、前記参照用データを構成する前記単位参照データの群の中から、各分割領域に対応する前記単位参照データを選択する単位参照データ選択ステップと、
    前記単位参照データ選択ステップにて選択された前記単位参照データを用いて前記実風景データと前記参照用データとのマッチングを行い、マッチングに成功した前記参照用データを構成する前記単位参照データの生成元の風景画像の撮影位置の情報を取得して、当該撮影位置の情報に基づき前記実風景データの生成元の前記実風景画像の撮影位置を特定する撮影位置特定ステップと、を備える撮影位置特定方法。
JP2011030809A 2011-02-16 2011-02-16 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法 Expired - Fee Related JP5500388B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011030809A JP5500388B2 (ja) 2011-02-16 2011-02-16 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011030809A JP5500388B2 (ja) 2011-02-16 2011-02-16 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法

Publications (2)

Publication Number Publication Date
JP2012168098A true JP2012168098A (ja) 2012-09-06
JP5500388B2 JP5500388B2 (ja) 2014-05-21

Family

ID=46972396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011030809A Expired - Fee Related JP5500388B2 (ja) 2011-02-16 2011-02-16 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法

Country Status (1)

Country Link
JP (1) JP5500388B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028489A (ja) * 2016-08-18 2018-02-22 トヨタ自動車株式会社 位置推定装置、位置推定方法
JP2018100893A (ja) * 2016-12-20 2018-06-28 三菱重工機械システム株式会社 車載器、走行道路判定システム、走行道路判定方法、及びプログラム
JP2019133318A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 位置推定システム
JP2019537023A (ja) * 2016-12-02 2019-12-19 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. 測位方法及び装置
JP2020165778A (ja) * 2019-03-29 2020-10-08 田中 成典 地物管理システム
JP2021508027A (ja) * 2018-11-16 2021-02-25 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 不十分な照明条件下で車両を測位するシステムおよび方法
JP2021056629A (ja) * 2019-09-27 2021-04-08 株式会社ゼンリンデータコム 自己位置推定装置、自己位置を推定する方法、及びコンピュータプログラム
EP3961156A1 (en) * 2020-08-28 2022-03-02 Fujitsu Limited Position and orientation calculation method, position and orientation calculation program, and information processing apparatus
JP2022535568A (ja) * 2019-06-07 2022-08-09 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 汎用的に使用可能な特徴マップを生成する方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157676A (ja) * 2000-11-21 2002-05-31 Natl Inst For Land & Infrastructure Management Mlit 可視画像式路面状況把握装置における路面状況判定方法
WO2005098364A1 (ja) * 2004-03-31 2005-10-20 Pioneer Corporation 経路案内システム及び方法
JP2007299045A (ja) * 2006-04-27 2007-11-15 Nissan Motor Co Ltd 車線認識装置
JP2007328630A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
JP2010151658A (ja) * 2008-12-25 2010-07-08 Zhencheng Hu 移動体位置測定装置及び移動体位置測定方法
JP2011076214A (ja) * 2009-09-29 2011-04-14 Alps Electric Co Ltd 障害物検出装置
JP2011113245A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 位置認識装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157676A (ja) * 2000-11-21 2002-05-31 Natl Inst For Land & Infrastructure Management Mlit 可視画像式路面状況把握装置における路面状況判定方法
WO2005098364A1 (ja) * 2004-03-31 2005-10-20 Pioneer Corporation 経路案内システム及び方法
JP2007299045A (ja) * 2006-04-27 2007-11-15 Nissan Motor Co Ltd 車線認識装置
JP2007328630A (ja) * 2006-06-08 2007-12-20 Fujitsu Ten Ltd 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
JP2010151658A (ja) * 2008-12-25 2010-07-08 Zhencheng Hu 移動体位置測定装置及び移動体位置測定方法
JP2011076214A (ja) * 2009-09-29 2011-04-14 Alps Electric Co Ltd 障害物検出装置
JP2011113245A (ja) * 2009-11-26 2011-06-09 Panasonic Corp 位置認識装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028489A (ja) * 2016-08-18 2018-02-22 トヨタ自動車株式会社 位置推定装置、位置推定方法
JP2019537023A (ja) * 2016-12-02 2019-12-19 深▲せん▼前海達闥云端智能科技有限公司Cloudminds (Shenzhen) Robotics Systems Co.,Ltd. 測位方法及び装置
JP6993777B2 (ja) 2016-12-20 2022-01-14 三菱重工機械システム株式会社 車載器、走行道路判定システム、走行道路判定方法、及びプログラム
JP2018100893A (ja) * 2016-12-20 2018-06-28 三菱重工機械システム株式会社 車載器、走行道路判定システム、走行道路判定方法、及びプログラム
JP2019133318A (ja) * 2018-01-30 2019-08-08 トヨタ自動車株式会社 位置推定システム
US11676254B2 (en) 2018-11-16 2023-06-13 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
US11048264B2 (en) 2018-11-16 2021-06-29 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for positioning vehicles under poor lighting conditions
JP2021508027A (ja) * 2018-11-16 2021-02-25 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 不十分な照明条件下で車両を測位するシステムおよび方法
JP2020165778A (ja) * 2019-03-29 2020-10-08 田中 成典 地物管理システム
JP7307908B2 (ja) 2019-03-29 2023-07-13 成典 田中 地物管理システム
JP7467722B2 (ja) 2019-03-29 2024-04-15 成典 田中 地物管理システム
JP2022535568A (ja) * 2019-06-07 2022-08-09 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 汎用的に使用可能な特徴マップを生成する方法
JP7329079B2 (ja) 2019-06-07 2023-08-17 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング 汎用的に使用可能な特徴マップを生成する方法
JP2021056629A (ja) * 2019-09-27 2021-04-08 株式会社ゼンリンデータコム 自己位置推定装置、自己位置を推定する方法、及びコンピュータプログラム
JP7254671B2 (ja) 2019-09-27 2023-04-10 株式会社ゼンリンデータコム 自己位置推定装置、自己位置を推定する方法、及びコンピュータプログラム
EP3961156A1 (en) * 2020-08-28 2022-03-02 Fujitsu Limited Position and orientation calculation method, position and orientation calculation program, and information processing apparatus

Also Published As

Publication number Publication date
JP5500388B2 (ja) 2014-05-21

Similar Documents

Publication Publication Date Title
JP5500388B2 (ja) 撮影位置特定システム、撮影位置特定プログラム、及び撮影位置特定方法
JP7467365B2 (ja) 車両のためのナビゲーションシステム、車両のナビゲーション方法、およびコンピュータプログラム
CN105667518B (zh) 车道检测的方法及装置
CN108802785B (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
KR102595897B1 (ko) 차선 결정 방법 및 장치
CN109405824A (zh) 一种适用于智能网联汽车的多源感知定位系统
KR20190097453A (ko) 차량의 주행을 위한 정보를 제공하는 방법 및 그 장치들
CN104011737B (zh) 用于探测雾的方法
CN109815300B (zh) 一种车辆定位方法
JP6280409B2 (ja) 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム
WO2020083103A1 (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN102207389A (zh) 车辆位置识别系统
CN103714339A (zh) 基于矢量数据的sar影像道路损毁信息提取方法
CN117053814A (zh) 使用电子地平线导航交通工具
CN106996783A (zh) 一种行驶轨迹与路网底图的智能匹配方法及装置
CN109903574B (zh) 路口交通信息的获取方法和装置
US6853899B2 (en) Lighting device for vehicle
JP5522475B2 (ja) ナビゲーション装置
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN114509065A (zh) 地图构建方法、系统、车辆终端、服务器端及存储介质
Bayerl et al. Following dirt roads at night-time: sensors and features for lane recognition and tracking
JP5679207B2 (ja) 自車位置認識システム、自車位置認識プログラム、及び自車位置認識方法
JP2012203722A (ja) 地物選定システム、地物選定プログラム及び地物選定方法
Vishnyakov et al. Semantic scene understanding for the autonomous platform
CN103337220A (zh) 摄影数据提供系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140226

R150 Certificate of patent or registration of utility model

Ref document number: 5500388

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees