JP2019113493A - 対応付けシステム、及び対応付けプログラム - Google Patents

Abstract

【課題】表示装置画像中の表示装置を対応付対象に地図情報において適切に対応付けることが可能となる対応付けシステム、及び対応付けプログラムを提供すること。【解決手段】車両の周辺の駐車場の状態を表示する駐車場看板含む画像である表示装置画像を撮影する撮影部１２と、撮影部１２が撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の駐車場看板を、当該駐車場が状態を表示している駐車場に、地図情報において対応付ける対応付け部１８１と、を備え、対応付け部１８１は、表示装置画像中の駐車場看板の位置に基づいて、表示装置画像中の駐車場看板を、車両が走行している道路を挟んで一方側の駐車場又は他方側の駐車場に対応付け、また、表示装置画像中の駐車場看板の大きさに基づいて、表示装置画像中の駐車場看板を、車両の進行方向における前方側の駐車場又は手前側の駐車場に対応付ける。【選択図】図１

Description

本発明は、対応付けシステム、及び対応付けプログラムに関する。

従来、駐車場が満車であるか空車であるかを検出する駐車場状態検出装置が知られていた（例えば、特許文献１参照）。この駐車場状態検出装置においては、駐車場内の各駐車位置の車両の有無を検出することにより、駐車場が満車であるか空車であるかを検出し、検出結果である駐車場の状態を表示装置に表示していた。

特開２００１−３４４６９７号公報

ところで、本願発明者は、特許文献１の駐車場状態検出装置にて駐車場の状態が表示されている表示装置を、車両のカメラにて撮影して、撮影した画像中の表示装置について画像認識を行った上で、地図情報にて特定される駐車場に対して、当該画像認識した表示装置を対応付けることにより、駐車場の状態を案内することに想到した。

しかしながら、撮影した画像中に表示装置が複数写っている場合、当該表示装置が地図情報のどの駐車場の状態を表示しているかを判定することが容易ではなく、画像認識をした表示装置を、地図情報にて特定される駐車場に対して対応付けること困難となる可能性があった。

本発明は、上記に鑑みてなされたものであって、表示装置画像中の表示装置を対応付対象に地図情報において適切に対応付けることが可能となる対応付けシステム、及び対応付けプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る対応付けシステムは、車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する撮影手段と、前記撮影手段が撮影した前記表示装置画像と、車両の進行方向とに基づいて、前記表示装置画像中の前記表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける対応付け手段と、を備える。

また、本発明に係る対応付けプログラムは、コンピュータを、車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する撮影手段と、前記撮影手段が撮影した前記表示装置画像と、車両の進行方向とに基づいて、前記表示装置画像中の前記表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける対応付け手段と、として機能させる。

本発明に係る対応付けシステムによれば、撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付けることにより、例えば、少なくとも車両の進行方向を基準にして、表示装置画像中の表示装置が地図情報におけるどの対応付対象の状態を表示しているかを反映することができるので、表示装置画像中の表示装置を対応付対象に地図情報において適切に対応付けることが可能となる。

本発明に係る対応付けプログラムによれば、撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付けることにより、例えば、少なくとも車両の進行方向を基準にして、表示装置画像中の表示装置が地図情報におけるどの対応付対象の状態を表示しているかを反映することができるので、表示装置画像中の表示装置を対応付対象に地図情報において適切に対応付けることが可能となる。

本発明の実施の形態に係るナビゲーションシステムを例示するブロック図である。 装置側駐車場情報を例示した図である。 地図情報が特定する地図である。 センター側駐車場情報を例示した図である。 対応付け処理のフローチャートである。 撮影部のフロントカメラにて撮影した画像である。

以下、本発明に係る対応付けシステム、及び対応付けプログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、実施の形態によって本発明が限定されるものではない。

本発明に係る対応付けシステムは、表示装置を当該表示装置が状態を表示している対応付対象に、地図情報において対応付けるシステムであり、例えば、当該対応付けを行う専用システム、あるいは、汎用的に用いられるコンピュータ（一例としては、パーソナルコンピュータ、スマートフォン等の如き携帯端末等）に対して当該対応付けを行う機能を実装することにより実現されるシステム等を含む概念である。また、対応付けシステムは、例えば、車載装置、あるいは、センター装置等に対して当該対応付けを行う機能を実装することにより実現されるシステム等を含む概念であり、一例としては、撮影手段、及び対応付け手段を備える。

ここで、「車載装置」とは、車両に搭載される装置であり、具体的には、車載用ナビゲーション装置を含む概念である。「センター装置」とは、車載装置との間で通信を行う装置であり、具体的には、所定のコンピュータを搭載したサーバ装置を含む概念である。

また、「撮影手段」とは、車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する手段である。なお、「対応付対象」とは、地図情報において表示装置が対応付けられる対象であり、例えば、地図情報に含まれている任意の物であって、いわゆるＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）に対応する施設を含む概念であり、一例としては、駐車場、及び建物等を含む概念である。また、「表示装置」とは、対応付対象の状態を表示する装置であり、例えば、対応付対象た設けられている位置に対応する位置に設けられている装置であり、一例としては、駐車場が満車状態（つまり、現時点では駐車するスペースが無い状態）であるか空車状態（つまり、現時点で駐車するスペースが有る状態）であるか否かを「満」又は「満車」、「空」又は「空車」の文字情報において表示する装置である駐車場看板、建物中の店舗が営業中の状態であるか否かを表示する営業表示看板等を含む概念である。また、「表示装置画像」とは、表示装置が写っている画像であり、例えば、表示装置が１つのみ写っている画像、あるいは、表示装置が２つ以上写っている画像等を含む概念である。

また、「対応付け手段」とは、撮影手段が撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける手段であり、例えば、表示装置画像中の表示装置の位置に基づいて、表示装置画像中の表示装置を、車両が走行している道路を挟んで一方側の対応付対象又は他方側の対応付対象に対応付ける手段であり、また、表示装置画像中の表示装置の大きさに基づいて、表示装置画像中の表示装置を、車両の進行方向における前方側の対応付対象又は手前側の対応付対象に対応付ける手段である。なお、「表示装置画像中の表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける」とは、表示装置が表示している情報を、地図情報に含まれている対応付け対象に関連付けることであり、例えば、地図情報に含まれている対応付け対象の状態として、表示装置にて表示されている状態を格納すること等を含む概念である。

そして、以下に示す実施の形態では、対応付対象が「駐車場」であり、表示装置が「駐車場看板」である場合において、駐車場看板が、当該駐車場看板が状態を表示している駐車場の位置に対応する位置（例えば、駐車場の敷地内、又は当該敷地に隣接する位置等）に設けられており、また、当該駐車場看板が、公知の技術（例えば、駐車場内の駐車スペースの車を検知するセンサの検知結果を利用する技術等）を用いて自動的に「満車」を表示して満車状態を表示したり、又は、「空車」を表示して空車状態を表示したりすることとし、また、対応付けシステムが「車載装置」にて実現されている場合について説明する。

なお、以下では、車載装置を搭載した車両を「自車両」と称して説明する。また、「自車両」とは、例えば、四輪自動車、二輪自動車、及び自転車等を含む概念であるが、以下では、自車両が四輪自動車である場合について説明する。また、以下で説明する車載装置に関しては、対応付けシステムに関連する特徴について説明し、一方、対応付けシステムに関連する特徴以外については、公知の車載装置の特徴と同様であるので、その説明は省略する。

（構成）
まず、本実施の形態に係るナビゲーションシステム１００について説明する。図１は、本発明の実施の形態に係るナビゲーションシステムを例示するブロック図である。ナビゲーションシステム１００は、対応付けシステムを含んでおり、例えば、車載装置１、及びセンター装置２を備える。なお、実際には、ナビゲーションシステム１００には、車載装置１と同様な構成の車載装置が複数設けられているが、ここでは、説明の便宜上、特記する場合を除いて１つの車載装置１に着目して説明する（後述の処理についても同様とする）。

（構成−車載装置）
車載装置１は、対応付けシステムであり、例えば、通信部１１、撮影部１２、タッチパッド１３、ディスプレイ１４、スピーカ１５、現在位置検出部１６、データ記録部１７、及び制御部１８を備える。

（構成−車載装置−通信部）
通信部１１は、ネットワーク（図示省略）を介して外部装置との間で通信するための通信手段である。この通信部１１の具体的な種類や構成は任意であるが、例えば、公知の移動体無線通信手段や、ＦＭ多重放送やビーコンを介した公知のＶＩＣＳ（登録商標）システム用の無線通信手段を用いることができる。

（構成−車載装置−撮影部）
撮影部１２は、画像を撮影する手段であり、特に、前述の撮影手段である。この撮影部１２の具体的な種類や構成は任意であるが、例えば、自車両の周辺の画像を撮影するカメラを備えて構成することができ、一例としては、自車両の前方側の画像を撮像するフロントカメラを備えて構成することができる。

（構成−車載装置−タッチパッド）
タッチパッド１３は、ユーザの指等で押圧されることにより、当該ユーザから各種操作入力を受け付ける操作手段である。このタッチパッド１３の具体的な構成は任意であるが、例えば、抵抗膜方式や静電容量方式等による操作位置検出手段を備えた公知のものを用いることができる。

（構成−車載装置−ディスプレイ）
ディスプレイ１４は、制御部１８の制御に基づいて各種の画像を表示する表示手段である。このディスプレイ１４の具体的な構成は任意であるが、例えば、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイ等を用いることができる。なお、上記のタッチパッド１３とディスプレイ１４とをタッチパネルとして一体形成しても構わない。

（構成−車載装置−スピーカ）
スピーカ１５は、制御部１８の制御に基づいて各種の音声を出力する音声出力手段である。スピーカ１５より出力される音声の具体的な態様は任意であり、必要に応じて生成された合成音声や、予め録音された音声を出力することができる。

（構成−車載装置−現在位置検出部）
現在位置検出部１６は、自車両の現在位置を取得する現在位置取得手段である。この現在位置検出部１６は、ＧＰＳやジャイロセンサ、距離センサ（いずれも図示省略）を有し、現在の車載装置１の位置（座標）及び方位等を公知の方法にて検出する。

（構成−車載装置−データ記録部）
データ記録部１７は、車載装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記録装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

また、このデータ記録部１７は、地図情報データベース（以下、データベースを「ＤＢ」と称する）１７１、及び装置側駐車場情報ＤＢ１７２を備える。

（構成−車載装置−データ記録部−地図情報ＤＢ）
地図情報ＤＢ１７１は、地図情報を格納する地図情報格納手段である。ここで、「地図情報」とは、ユーザに対して地図を提示するための情報であり、具体的には、道路、道路の交差点、道路構造物、施設等を含む各種の位置の特定に必要な情報であり、例えば、道路上に設定された各ノードに関するノードデータ（例えばノードＩＤ、座標等）や、道路上に設定された各リンクに関するリンクデータ（例えばリンクＩＤ、リンク名、接続ノードＩＤ、道路座標、道路種別（例えば、細街路、一般道路、主要国道、及び高速道路等）、道路幅、車線数等）、地物データ（例えば信号機、道路標識、ガードレール、施設（建物や駐車場等の位置である一例としての座標を含む）等）、地形データ等を含んで構成されている。このような地図情報ＤＢ１７１の地図情報については、任意の手法で記録されるが、例えば、所定の記録媒体を介して入力することにより記録されたり、不図示の配信センターから配信された情報を受信することにより記録されたりする（後述する地図情報ＤＢ２２１の地図情報も同様とする）。

（構成−車載装置−データ記録部−装置側駐車場情報ＤＢ）
装置側駐車場情報ＤＢ１７２は、装置側駐車場情報を格納する装置側駐車場情報格納手段である。「装置側駐車場情報」とは、地図情報ＤＢ１７１の地図情報が特定する地図上の駐車場の状態を特定する情報である。図２は、装置側駐車場情報を例示した図であり、図３は、地図情報が特定する地図において、自車両の現在位置及び進行方向を特定する図である。なお、図３は、自車両が走行するべきルートである走行ルートを走行している状態の自車両の現在位置及び進行方向を図示している。図２に示すように、装置側駐車場情報は、項目「駐車場位置情報」、及び項目「満空情報」と、各項目に対応する情報とを、相互に関連付けて構成されている。ここで、項目「駐車場位置情報」に対応する情報は、地図情報ＤＢ１７１の地図情報が特定する地図上の駐車場の位置を特定する駐車場位置情報である。この駐車場位置情報については、図２では、従来と同様にして、タッチパッド１３を介して自車両の目的地を設定して、制御部１８が自車両が走行するべきルートである走行ルートの探索し、探索した走行ルートを案内する場合の、当該走行ルート沿いの駐車場の地図情報が特定する地図上での位置としての座標であり、図３の駐車場３１を座標を特定する「（ｘ１１，ｙ１１）」、駐車場３２を特定する「（ｘ２２，ｙ２２）」、及び駐車場３３を特定する「（ｘ３３，ｙ３３）」等である。また、項目「満空情報」に対応する情報は、駐車場が満車状態であるか空車状態であるかを特定する満空情報である（図２では、満車状態を特定する「満」、又は、空車状態を特定する「空」）。

そして、このような装置側駐車場情報については、任意の手法で記録されるが、例えば、後述の対応付け処理を実行することにより記録される。

（構成−車載装置−制御部）
制御部１８は、車載装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、実施の形態に係る対応付けプログラムは、任意の記録媒体又はネットワークを介して車載装置１にインストールされることで、制御部１８の各部を実質的に構成する。

この制御部１８は、例えば、機能概念的には、対応付け部１８１を備える。対応付け部１８１は、撮影部１２が撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の表示装置である駐車場看板を、当該駐車場看板が状態を表示している対応付対象である駐車場に、地図情報において対応付ける対応付け手段である。なお、この制御部１８の各部により行われる処理については、後述する。

（構成−センター装置）
センター装置２は、例えば、通信部２１、データ記録部２２、及び制御部２３を備える。

（構成−センター装置−通信部）
通信部２１は、ネットワーク（図示省略）を介して外部装置（例えば、車載装置１等）との間で通信するための通信手段である。この通信部２１の具体的な種類や構成は任意であるが、例えば、車載装置１の通信部１１と同様にして構成することができる。

（構成−センター装置−データ記録部）
データ記録部２２は、センター装置２の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、車載装置１のデータ記録部１７と同様にして構成することができる。

また、このデータ記録部２２は、地図情報ＤＢ２２１、及びセンター側駐車場情報ＤＢ２２２を備える。

（構成−センター装置−データ記録部−地図情報ＤＢ）
地図情報ＤＢ２２１は、地図情報を格納する地図情報格納手段であり、例えば、車載装置１の地図情報ＤＢ１７１と同様な情報を格納しているものである。

（構成−センター装置−データ記録部−センター側駐車場情報ＤＢ）
センター側駐車場情報ＤＢ２２２は、センター側駐車場情報を格納するセンター側駐車場情報格納手段である。「センター側駐車場情報」とは、地図情報ＤＢ２２１の地図情報が特定する地図上の駐車場の状態を特定する情報である。図４は、センター側駐車場情報を例示した図である。図４に示すように、センター側駐車場情報は、項目「駐車場位置情報」、及び項目「満空情報」と、各項目に対応する情報とを、相互に関連付けて構成されている。ここで、項目「駐車場位置情報」に対応する情報は、地図情報ＤＢ２２１の地図情報が特定する地図上の駐車場の位置を特定する駐車場位置情報である。この駐車場位置情報については、図４では、地図情報ＤＢ２２１の地図情報が特定する全体の地図における駐車場の位置としての座標であり、前述の「（ｘ１１，ｙ１１）等である。また、項目「満空情報」に対応する情報は、図２の同一名称の項目の情報と同様である。

そして、このようなセンター側駐車場情報については、任意の手法で記録されるが、例えば、後述の対応付け処理を実行することにより記録される。

（構成−センター装置−制御部）
制御部２３は、センター装置２を制御する制御手段であり、例えば、車載装置１の制御部１８と同様にして構成することができる。

（処理）
次に、このように構成されるナビゲーションシステム１００によって実行される対応付け処理について説明する。

（処理−対応付け処理）
まず、対応付け処理について説明する。図５は、対応付け処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。対応付け処理は、概略的には、車載装置１にて行われる処理であり、例えば、表示装置画像中の駐車場看板を、当該駐車場看板が状態を表示している駐車場に、地図情報において対応付ける処理である。そして、この対応付け処理を実行するタイミングは任意であるが、例えば、車載装置１の電源をオンした後に、従来と同様にして、タッチパッド１３を介して自車両の目的地を設定して、制御部１８が自車両が走行するべきルートである走行ルートの探索し、探索した走行ルートの案内を開始した場合に、繰り返し起動されて実行を開始することとして、実行を開始したところから説明する。また、この走行ルートの案内を開始した場合、制御部１８が、撮影部１２のフロンカメラにて、自車両の前方側の画像を、一定時間間隔（例えば、０．１秒〜０．３秒等）で繰り返し撮影する処理を開始することとして、説明する。また、例えば、図３の道路を図面下側から上側に向かって走行するルートが、走行ルートとなっている場合を適宜例示して説明する。

なお、実際には、走行ルートの案内を開始した場合、従来と同様にして、走行ルートの目印の案内等を行うが、ここでは、本願に特に関連する特徴的な処理についてのみ説明し、従来と同様な処理については、その説明を省略する。

図５のＳＡ１において対応付け部１８１は、自車両の周辺に駐車場があるか否かを判定する。具体的には任意であるが、例えば、現在位置検出部１６にアクセスして自車両の現在位置を特定した上で、地図情報ＤＢ１７１の地図情報を参照して、参照した地図情報が特定する地図において、前述の特定した自車両の現在位置の先の所定距離（例えば、２０ｍ〜５０ｍ等の予め定められている距離）以内に駐車場があるか否かを判定し、判定結果に基づいて判定する。そして、特定した自車両の現在位置の先の所定距離以内に駐車場がないものと判定した場合、駐車場を検出せずに、自車両の周辺に駐車場がないものと判定し（ＳＡ１のＮＯ）、自車両の周辺に駐車場があるものと判定するまで、繰り返しＳＡ１を実行する。また、特定した自車両の現在位置の先の所定距離以内に駐車場があるものと判定した場合、駐車場を検出し、自車両の周辺に駐車場があるものと判定し（ＳＡ１のＹＥＳ）、ＳＡ２に移行する。

ここでは、例えば、図３に示すように、自車両が少なくとも駐車場３１の周辺（例えば、１９ｍほど離れた位置）を、走行ルートに従って走行している場合、現在位置検出部１６にアクセスして自車両の現在位置を地図情報ＤＢ１７１の地図情報において特定するが、この特定した自車両の現在位置が駐車場３１から１９ｍ離れた位置となっているので、特定した自車両の現在位置の先の所定距離以内に少なくとも駐車場３１があるものと判定した上で、駐車場３１を検出し、自車両の周辺に駐車場があるものと判定する。

図５のＳＡ２において対応付け部１８１は、駐車場看板を検出したか否かを判定する。具体的には任意であるが、例えば、ＳＡ１にて自車両の周辺に駐車場があるものと判定した時に、撮影部１２のフロンカメラにて撮影された画像を取得し、取得した画像について任意の手法で画像認識を行うことにより、当該取得した画像に駐車場看板が写っているか否かを判定し、判定結果に基づいて判定する。なお、ここでの画像認識の手法は、駐車場看板のテンプレートと比較して認識する手法等の公知の手法を適用することができるので、詳細の説明については省略する（以下の説明でも同様とする）。そして、取得した画像に駐車場看板が写っていない場合、駐車場看板を検出していないものと判定し（ＳＡ２のＮＯ）、ＳＡ１に移行する。また、取得した画像に駐車場看板が写っている場合、駐車場看板を検出したものと判定し（ＳＡ２のＹＥＳ）、当該駐車場看板が写っている画像を表示装置画像として取得した上で、ＳＡ３に移行する。

図６は、撮影部のフロントカメラにて撮影した画像である。なお、図６の画像は、図３に示す自車両の位置で自車両の前方側（つまり、進行方向側）を撮影した場合の画像であり、例えば、図３の駐車場看板４１〜４３を撮影した画像である駐車場看板画像Ｇ４１〜Ｇ４３が写っているものである。ここでは、例えば、ＳＡ１にて自車両の周辺に駐車場があるものと判定した時に、撮影部１２のフロンカメラにて撮影された画像として、図６の画像を取得し、駐車場看板４１〜４３に対応する駐車場看板画像Ｇ４１〜Ｇ４３が写っているので、駐車場看板を検出したものと判定し、この図６の画像を表示装置画像として取得する。

図５のＳＡ３において対応付け部１８１は、画像認識を行う。具体的には任意であるが、例えば、ＳＡ２にて取得した表示装置画像について任意の手法で画像認識を行い、少なくとも駐車場看板画像の個数及び駐車場看板画像が表示している満空情報（図６では、「満車」及び「空車」）を認識する。ここでは、例えば、図６の表示装置画像において、「駐車場看板画像の個数」＝「３個」及び、「駐車場看板画像Ｇ４１〜Ｇ４３の満空情報」＝「満車」、「満車」、及び「空車」を認識する。

図５のＳＡ４において対応付け部１８１は、駐車場看板を複数検出したか否かを判定する。具体的には任意であるが、例えば、ＳＡ３で認識した駐車場看板画像の個数を取得し、取得した個数に基づいて判定する。そして、取得した個数が１個である場合、駐車場看板を複数検出したわけではないものと判定し（つまり、駐車場看板を１個検出したものと判定し）（ＳＡ４のＮＯ）、ＳＡ８に移行する。また、取得した個数が２個以上である場合、駐車場看板を複数検出したものと判定し（ＳＡ４のＹＥＳ）、ＳＡ５に移行する。ここでは、例えば、ＳＡ３で認識した駐車場看板画像の個数として「３個」を取得するので、取得した個数が２個以上であり、駐車場看板を複数検出したものと判定する。

図５のＳＡ５において対応付け部１８１は、ＳＡ２にて取得した表示装置画像中の駐車場看板画像の位置に基づいて、当該取得した表示装置画像中の駐車場看板画像に対応する駐車場看板が、車両が走行している道路を挟んで一方側又は他方側のどちらの側の駐車場の状態を表示しているものであるかを判定する。なお、ここでの「一方側」又は「他方側」とは、道路を挟んで自車両の進行方向を基準に左側又は右側を特定する概念であり、例えば、図３において図面左側又は図面右側を特定する概念であり、以下の説明では、この「一方側」及び「他方側」について、「左側」及び「右側」と適宜置き換えて説明する。

ＳＡ５の処理について具体的には任意であるが、例えば、まず、現在位置検出部１６にて特定した自車両の現在位置の履歴がデータ記録部１７に記録されていることとし、この自車両の現在位置の履歴を取得し、取得した履歴に基づいて、地図情報ＤＢ１７１の地図情報が特定する地図の前述の走行ルートにおける自車両の走行履歴のルートを特定することにより、自車両の進行方向を特定する。次に、ＳＡ２にて取得した表示装置画像を取得し、取得した表示装置看板画像の水平方向における中心線に対応する図６の画像中心仮想線を特定し、駐車場看板画像が当該画像中心仮想線の左右の何れに写っているかに基づいて判定する。そして、駐車場看板画像が画像中心仮想線の左側に写っている場合、当該駐車場看板画像に対応する駐車場看板は、前述の特定した進行方向を基準にして左側の駐車場（つまり、道路の左側の駐車場）の状態を表示しているものと判定する。また、駐車場看板画像が画像中心仮想線の右側に写っている場合、当該駐車場看板画像に対応する駐車場看板は、前述の特定した進行方向を基準にして右側の駐車場（つまり、道路の右側の駐車場）の状態を表示しているものと判定する。

ここでは、例えば、まず、自車両の進行方向として、図３の矢印が矢視する方向を特定し、図６において、駐車場看板画像Ｇ４１が画像中心仮想線の左側に写っているので、この駐車場看板画像Ｇ４１に対応する駐車場看板４１は、図３の道路の左側の駐車場の状態を表示しているものと判定し、また、駐車場看板画像Ｇ４２、Ｇ４３が画像中心仮想線の右側に写っているので、この駐車場看板画像Ｇ４２、Ｇ４３に対応する駐車場看板４２、４３は、図３の道路の右側の駐車場の状態を表示しているものと判定する。

図５のＳＡ６において対応付け部１８１は、同一側に駐車場看板が複数存在するか否かを判定する。なお、「同一側」とは、前述の一方側のみ、あるいは、他方側のみ示す概念である。具体的には任意であるが、例えば、ＳＡ５の判定結果を取得し、取得した判定結果に基づいて判定する。そして、ＳＡ５にて、進行方向を基準にして左側の駐車場の状態を表示しているものと判定された駐車場看板画像が１個以下であり、且つ、進行方向を基準にして右側の駐車場の状態を表示しているものと判定された駐車場看板画像が１個以下である場合、同一側に駐車場看板が複数存在するわけではないものと判定し（ＳＡ６のＮＯ）、ＳＡ８に移行する。また、ＳＡ５にて、進行方向を基準にして左側の駐車場の状態を表示しているものと判定された駐車場看板画像が複数ある場合、又は、及び進行方向を基準にして右側の駐車場の状態を表示しているものと判定された駐車場看板画像が複数ある場合、同一側に駐車場看板が複数存在するものと判定し（ＳＡ６のＹＥＳ）、ＳＡ７に移行する。

ここでは、例えば、ＳＡ５にて、進行方向を基準にして左側の駐車場の状態を表示しているものと判定された駐車場看板画像が「１個」であり、且つ、ＳＡ５にて、進行方向を基準にして右側の駐車場の状態を表示しているものと判定された駐車場看板画像が「２個」であるので、同一側に駐車場看板が複数存在するものと判定する。

図５のＳＡ７において対応付け部１８１は、ＳＡ２にて取得した表示装置画像中の駐車場看板画像の大きさ（つまり、表示面積）に基づいて、当該取得した表示装置画像中の駐車場看板画像に対応する駐車場看板が、自車両の進行方向における前方側（自車両から遠い側）又は手前側（自車両に近い側）のどちら側の駐車場の状態表示しているものかを判定する。具体的には任意であるが、例えば、まず、ＳＡ５の場合と同様にして自車両の進行方向を特定し、次に、ＳＡ２にて取得した表示装置画像を取得し、取得した表示装置画像において、ＳＡ６にて同一側に駐車場看板が複数存在するものと判定した駐車場看板画像を、特定した進行方向を基準にして右側に存在するグループ単位又は左側存在するグループ単位で取得し、取得したグループ単位の駐車場看板画像の大きさを駐車場看板画像毎に検出し、検出した大きさが小さいもの程、特定した進行方向におけるより前方側の駐車場の状態を表示しているものと判定する。

ここでは、例えば、まず、図３の矢印が矢視する方向を特定し、次に、図６の駐車場看板画像Ｇ４２、Ｇ４３を取得し、駐車場看板画像Ｇ４３の大きさが駐車場看板画像Ｇ４２の大きさよりも小さいことを検出し、特定した進行方向を基準にして、駐車場看板画像Ｇ４３が駐車場看板画像Ｇ４２よりも前方側の駐車場の状態を表示しているものと判定する。

図５のＳＡ８において対応付け部１８１は、自車両の周辺の駐車場を抽出する。具体的には任意であるが、例えば、ＳＡ１において特定した自車両の現在位置を取得し、地図情報ＤＢ１７１の地図情報を参照して、参照した地図情報が特定する地図において、前述の特定した自車両の現在位置の先の駐車場を抽出する。ここでの駐車場を抽出する範囲は任意であるが、例えば、後述するように、ここで抽出した駐車場に対して、撮影部１２のフロントカメラにて撮影した表示装置画像中の駐車場看板画像の駐車場看板を対応付けることを考慮して、表示装置画像中に写って画像認識可能となる範囲を実験又はシミュレーション等にて決定し、この決定した範囲を抽出する範囲にする場合について説明し、例えば、特定した自車両の現在位置から所定距離（例えば、１００ｍ〜１２０ｍ等）以内の範囲であることとして説明する。ここでは、例えば、自車両の周辺の駐車場として、図３の駐車場３１〜３３を抽出する。

図５のＳＡ９において対応付け部１８１は、ＳＡ２にて取得した表示装置画像中における駐車場看板画像に対応する駐車場看板が状態を表示している駐車場が、ＳＡ８で抽出した駐車場に存在するか否かを判定する。なお、以下では、「ＳＡ２にて取得した表示装置画像中における駐車場看板画像に対応する駐車場看板」を、「画像から特定する駐車場看板」と称し、「ＳＡ２にて取得した表示装置画像中における駐車場看板画像に対応する駐車場看板が状態を表示している駐車場」を、「画像から特定する駐車場」と称して説明する。具体的には任意であるが、例えば、ＳＡ４の駐車場看板を複数検出したか否かの判定にて、駐車場看板を１個検出したものと判定した場合（ＳＡ４のＮＯ）、駐車場看板を複数検出したものと判定した場合（ＳＡ４のＹＥＳ）に分けて処理するが、以下のように処理する。

まず、駐車場看板を１個検出したものと判定した場合（ＳＡ４のＮＯ）について具体的には、前述したように、ＳＡ８で駐車場の抽出範囲が画像認識可能となる範囲となっているので、画像認識等の各処理が正常に行われている場合には、ＳＡ２にて取得した表示装置画像中における駐車場看板画像の個数とＳＡ８で抽出した駐車場の個数とが相互に一致する観点に着目して、抽出できなかった場合、あるいは、ＳＡ８で抽出した駐車場の個数が２個以上である場合（つまり、個数が一致しない場合）、画像認識等の各処理が正常に行われなかった可能性を考慮して、「画像から特定する駐車場」がＳＡ８で抽出した駐車場に存在しないものと判定し（ＳＡ９のＮＯ）、処理を終了する。また、ＳＡ８で抽出した駐車場の個数が１個である場合（つまり、個数が一致した場合）、「画像から特定する駐車場」がＳＡ８で抽出した駐車場に存在するものと判定し（ＳＡ９のＹＥＳ）、ＳＡ１０に移行する。

また、駐車場看板を複数検出したものと判定した場合（ＳＡ４のＹＥＳ）について具体的には、前述の場合と同様に個数が一致する観点に加えて、画像認識等の各処理が正常に行われている場合には、ＳＡ５の判定結果にて特定される「画像から特定する駐車場」の位置（具体的には、道路の左側であるか右側であるか）と、地図情報ＤＢ１７１の地図情報にて特定されるＳＡ８にて抽出した駐車場の位置（具体的には、道路の左側であるか右側であるか）とが相互に全て一致する観点に着目して、以下の処理を行う。詳細には、ＳＡ２にて取得した表示装置画像中における駐車場看板画像の個数とＳＡ８で抽出した駐車場の個数とが相互に異なる場合、又は、「画像から特定する駐車場」の位置とＳＡ８にて抽出した駐車場の位置とが相互に全て一致するわけではない場合（つまり、相互に異なるものが含まれている場合）、画像認識等の各処理が正常に行われなかった可能性を考慮して、「画像から特定する駐車場」がＳＡ８で抽出した駐車場に存在しないものと判定し（ＳＡ９のＮＯ）、処理を終了する。また、ＳＡ２にて取得した表示装置画像中における駐車場看板画像の個数とＳＡ８で抽出した駐車場の個数とが相互に一致し、且つ、「画像から特定する駐車場」の位置とＳＡ８にて抽出した駐車場の位置とが相互に全て一致する場合、「画像から特定する駐車場」がＳＡ８で抽出した駐車場に存在するものと判定し（ＳＡ９のＹＥＳ）、ＳＡ１０に移行する。

ここでは、例えば、図６の表示装置画像中における駐車場看板画像の個数が「３個」であり、ＳＡ８で駐車場３１〜３３を抽出したの、この抽出した駐車場の個数が「３個」であり、個数が相互に一致する。また、ＳＡ５にて、図６の駐車場看板画像Ｇ４１に対応する駐車場看板４１が図３の道路の左側の駐車場の状態を表示しているものと判定し、また、図６の駐車場看板画像Ｇ４２、Ｇ４３に対応する駐車場看板４２、４３が図３の道路の右側の駐車場の状態を表示しているものと判定したので、この判定結果から「画像から特定する駐車場」の位置として、「左側」、「右側」、「右側」が特定され、また、地図情報ＤＢ１７１の地図情報にて特定されるＳＡ８にて抽出した駐車場３１〜３３の位置として、図３に図示するように、「左側」、「右側」、「右側」が特定される。よって、ＳＡ２にて取得した表示装置画像中における駐車場看板画像の個数とＳＡ８で抽出した駐車場の個数とが相互に「３個」で一致し、且つ、「画像から特定する駐車場」の位置とＳＡ８にて抽出した駐車場の位置とが相互に「左側」が１個と、「右側」が２個で、全て一致するので、「画像から特定する駐車場」がＳＡ８で抽出した駐車場に存在するものと判定する。

図５のＳＡ１０において対応付け部１８１は、情報の対応付けを行う。具体的には任意であるが、例えば、ＳＡ９の場合と同様にして、ＳＡ４の駐車場看板を複数検出したか否かの判定にて、駐車場看板を１個検出したものと判定した場合（ＳＡ４のＮＯ）、駐車場看板を複数検出したものと判定した場合（ＳＡ４のＹＥＳ）に分けて処理するが、以下のように処理する。

まず、駐車場看板を１個検出したものと判定した場合（ＳＡ４のＮＯ）について具体的には、１個であり一意に対応付けることが可能であるので、「画像から特定する駐車場看板」を、ＳＡ８で抽出した駐車場に対応付ける。詳細には、ＳＡ３で認識した駐車場看板画像が表示している満空情報を取得し、ＳＡ８で抽出した駐車場の位置を、地図情報ＤＢ１７１の地図情報にて特定し、特定した駐車場の位置を図２の駐車場位置情報をとして記録し、また、取得した満空情報に対応する情報を図２の満空情報として記録することにより、図２の装置側駐車場情報を記録することにより情報の対応付けを行う。次に、この記録した装置側駐車場を、通信部１１を介する車載装置１とセンター装置２との間の適宜の通信を介して、センター装置２に送信するが、センター装置２の制御部２３が、通信部２１を介してこの送信された情報を取得し、取得した情報を図４のセンター側駐車場情報として記録することにより、センター装置２側でも情報の対応付けを行う。

また、駐車場看板を複数検出したものと判定した場合（ＳＡ４のＹＥＳ）について具体的には、複数の「画像から特定する駐車場看板」を、ＳＡ８で抽出した複数の駐車場に対応付ける必要があるが、例えば、ＳＡ５にて道路の左側の駐車場の状態を表示しているものと判定した「画像から特定する駐車場看板」を、ＳＡ８で抽出した複数の駐車場のうちの、地図情報ＤＢ１７１の地図情報にて道路の左側に特定される駐車場に対応付けて、また、ＳＡ５にて道路の右側の駐車場の状態を表示しているものと判定した「画像から特定する駐車場看板」を、ＳＡ８で抽出した複数の駐車場のうちの、地図情報ＤＢ１７１の地図情報にて道路の右側に特定される駐車場に対応付ける。そして、道路の左側又は右側の駐車場に対応する「画像から特定する駐車場看板」が複数存在する場合、ＳＡ７の判定結果を利用して、「画像から特定する駐車場看板」各々が、車両の進行方向を基準にして前方側又手前側における複数の駐車場のうちの何れの駐車場の状態を表示しているかを特定した上で、対応付ける。そして、駐車場看板を１個検出したものと判定した場合（ＳＡ４のＮＯ）と同様にして、図２の装置側駐車場情報を記録し、またセンター装置２との通信を行うことにより、図４のセンター側駐車場情報を記録することにより対応付けを行う。

ここでは、例えば、図６の駐車場看板画像Ｇ４１〜Ｇ４３に対応する駐車場看板について、ＳＡ５にて、図６の駐車場看板画像Ｇ４１に対応する駐車場看板４１が図３の道路の左側の駐車場の状態を表示しているものと判定し、また、図６の駐車場看板画像Ｇ４２、Ｇ４３に対応する駐車場看板４２、４３が図３の道路の右側の駐車場の状態を表示しているものと判定し、また、ＳＡ７にて、駐車場看板画像Ｇ４３が駐車場看板画像Ｇ４２よりも前方側の駐車場の状態を表示しているものと判定したので、以下の処理を行う。詳細には、ＳＡ３で認識した「駐車場看板画像Ｇ４１〜Ｇ４３の満空情報」＝「満車」、「満車」、及び「空車」を取得し、ＳＡ８で抽出した駐車場３１〜３３の位置として、地図情報ＤＢ１７１の地図情報に「（ｘ１１，ｙ１１）」、「（ｘ２２，ｙ２２）」、「（ｘ３３，ｙ３３）」を特定し、図２の具体的に表示されている情報を記録し、また、センター装置２との適宜の通信を行うことにより、図４のセンター側駐車場情報の１段目〜３段目の情報を記録する。なお、このセンター装置２については、この後の車載装置１との通信、あるいは、車載装置１以外の他の車載装置との通信等により、「駐車場位置情報」＝「（ｘ４４，ｙ４４）」、「満空情報」＝「空」に対応する情報も記録することになる。これにて、対応付け処理を終了する。

なお、このようにして対応付けられて記録された図２の駐車場位置情報及び図４のセンター側駐車場情報については、任意の手法で利用されるが、例えば、車載装置１の制御部１８が、これらの情報を用いてディスプレイ１４にて駐車場の満空情報を表示出力したり、あるいは、スピーカ１５を介して当該満空情報を音声出力したりしてもよいし、あるいは、センター装置２の制御部２３が、各車両を案内する場合に同様にして用いてもよい。

（実施の形態の効果）
このように本実施の形態によれば、撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の駐車場看板を、当該駐車場看板が状態を表示している駐車場に、地図情報において対応付けることにより、例えば、少なくとも車両の進行方向を基準にして、表示装置画像中の駐車場看板が地図情報におけるどの地図情報の状態を表示しているかを反映することができるので、表示装置画像中の駐車場看板を対応付対象に地図情報において適切に対応付けることが可能となる。

また、表示装置画像中の駐車場看板の位置に基づいて、表示装置画像中の駐車場看板を、車両が走行している道路を挟んで一方側の駐車場又は他方側の駐車場に対応付けることにより、例えば、道路の左右の駐車場に対して駐車場看板を適切に対応付けることが可能となる。

また、表示装置画像中の駐車場看板の大きさに基づいて、表示装置画像中の駐車場看板を、車両の進行方向における前方側の駐車場又は手前側の駐車場に対応付けることにより、例えば、車両の前方側又は手前側の駐車場に対して駐車場看板を適切に対応付けることが可能となる。

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した本発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。

（分散や統合について）
また、上述した各電気的構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散や統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。また、本出願における「装置」とは、単一の装置によって構成されたものに限定されず、複数の装置によって構成されたものを含む。例えば、車載装置１の機能の少なくとも一部をセンター装置２に設けた上で、車載装置１とセンター装置２とが相互に通信を行うことにより、実施の形態と同様な処理を行うように構成してもよい。また、逆に、センター装置２の機能の少なくとも一部を車載装置１に設けてもよい。

（形状、数値、構造、時系列について）
実施の形態や図面において例示した構成要素に関して、形状、数値、又は複数の構成要素の構造若しくは時系列の相互関係については、本発明の技術的思想の範囲内において、任意に改変及び改良することができる。

（周辺画像について）
また、上記実施の形態では、撮影部１２のフロントカメラを備えて構成される場合について説明したが、これに限らない。例えば、撮影部１２を、フロントカメラに加えて又は代えて、自車両の前方以外の方向（例えば、側方、後方等）の画像を撮影できるカメラにて構成し、側方の画像又は後方の画像等を用いて前述の処理を行ってもよい。

（表示装置画像中の駐車場看板画像に対応する駐車場看板の判定について）
また、上記実施の形態では、ＳＡ５において、図６の画像中心仮想線を基準に、駐車場看板画像に対応する駐車場看板が情報を表示する駐車場を判定する場合について説明したが、これに限らない。例えば、図６の道路自体や道路のセンターラインを画像認識した上で、実施の形態と同様にして自車両の進行方向を考慮して、道路に対する駐車場看板画像の相対位置に基づいて判定してもよい。

〔実施の形態の特徴と効果の一部〕
最後に、これまでに説明した実施の形態の特徴と効果の一部を、以下に例示する。ただし、実施の形態の特徴と効果は、以下の内容に限定されず、以下の特徴の一部のみを具備することによって以下の効果の一部のみを奏する場合や、以下の特徴以外の他の特徴を具備することによって以下の効果以外の他の効果を奏する場合がある。

実施の形態の１つの側面１に係る対応付けシステムは、車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する撮影手段と、前記撮影手段が撮影した前記表示装置画像と、車両の進行方向とに基づいて、前記表示装置画像中の前記表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける対応付け手段と、を備える。

上記側面１に係る対応付けシステムによれば、撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付けることにより、例えば、少なくとも車両の進行方向を基準にして、表示装置画像中の表示装置が地図情報におけるどの対応付対象の状態を表示しているかを反映することができるので、表示装置画像中の表示装置を対応付対象に地図情報において適切に対応付けることが可能となる。

実施の形態の他の側面２に係る対応付けシステムは、上記側面１に係る対応付けシステムにおいて、前記対応付け手段は、前記表示装置画像中の表示装置の位置に基づいて、前記表示装置画像中の前記表示装置を、車両が走行している道路を挟んで一方側の対応付対象又は他方側の対応付対象に対応付ける。

上記側面２に係る対応付けシステムによれば、表示装置画像中の表示装置の位置に基づいて、表示装置画像中の表示装置を、車両が走行している道路を挟んで一方側の対応付対象又は他方側の対応付対象に対応付けることにより、例えば、道路の左右の対応付対象に対して表示装置を適切に対応付けることが可能となる。

実施の形態の他の側面３に係る対応付けシステムは、上記側面１又は２に係る対応付けシステムにおいて、前記対応付け手段は、前記表示装置画像中の表示装置の大きさに基づいて、前記表示装置画像中の前記表示装置を、車両の進行方向における前方側の対応付対象又は手前側の対応付対象に対応付ける。

上記側面３に係る対応付けシステムによれば、表示装置画像中の表示装置の大きさに基づいて、表示装置画像中の表示装置を、車両の進行方向における前方側の対応付対象又は手前側の対応付対象に対応付けることにより、例えば、車両の前方側又は手前側の対応付対象に対して表示装置を適切に対応付けることが可能となる。

実施の形態の他の側面４に係る対応付けプログラムは、コンピュータを、車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する撮影手段と、前記撮影手段が撮影した前記表示装置画像と、車両の進行方向とに基づいて、前記表示装置画像中の前記表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける対応付け手段と、として機能させる。

上記側面４に係る対応付けプログラムによれば、撮影した表示装置画像と、車両の進行方向とに基づいて、表示装置画像中の表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付けることにより、例えば、少なくとも車両の進行方向を基準にして、表示装置画像中の表示装置が地図情報におけるどの対応付対象の状態を表示しているかを反映することができるので、表示装置画像中の表示装置を対応付対象に地図情報において適切に対応付けることが可能となる。

１ 車載装置
２ センター装置
１１ 通信部
１２ 撮影部
１３ タッチパッド
１４ ディスプレイ
１５ スピーカ
１６ 現在位置検出部
１７ データ記録部
１８ 制御部
２１ 通信部
２２ データ記録部
２３ 制御部
３１ 駐車場
３２ 駐車場
３３ 駐車場
４１ 駐車場看板
４２ 駐車場看板
４３ 駐車場看板
１００ ナビゲーションシステム
１７１ 地図情報ＤＢ
１７２ 装置側駐車場情報ＤＢ
１８１ 対応付け部
２２１ 地図情報ＤＢ
２２２ センター側駐車場情報ＤＢ
Ｇ４１ 駐車場看板画像
Ｇ４２ 駐車場看板画像
Ｇ４３ 駐車場看板画像

Claims (4)

1. 車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する撮影手段と、
   前記撮影手段が撮影した前記表示装置画像と、車両の進行方向とに基づいて、前記表示装置画像中の前記表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける対応付け手段と、
   を備える対応付けシステム。
2. 前記対応付け手段は、前記表示装置画像中の表示装置の位置に基づいて、前記表示装置画像中の前記表示装置を、車両が走行している道路を挟んで一方側の対応付対象又は他方側の対応付対象に対応付ける、
   請求項１に記載の対応付けシステム。
3. 前記対応付け手段は、前記表示装置画像中の表示装置の大きさに基づいて、前記表示装置画像中の前記表示装置を、車両の進行方向における前方側の対応付対象又は手前側の対応付対象に対応付ける、
   請求項１又は２に記載の対応付けシステム。
4. コンピュータを、
   車両の周辺の対応付対象の状態を表示する表示装置を含む画像である表示装置画像を撮影する撮影手段と、
   前記撮影手段が撮影した前記表示装置画像と、車両の進行方向とに基づいて、前記表示装置画像中の前記表示装置を、当該表示装置が状態を表示している対応付対象に、地図情報において対応付ける対応付け手段と、
   として機能させる対応付けプログラム。

Images