JP2019148521A - 認識画像表示装置、認識画像表示方法、及びプログラム - Google Patents

Abstract

【課題】ユーザが見逃した看板についても、その看板に関連する処理を行うこと。【解決手段】認識画像表示装置は、車両周辺を撮像する撮像部から画像データを取得する画像データ取得部と、画像データから看板を画像認識したデータを看板画像データとして取得する看板画像データ取得部と、看板画像データから文字情報を文字認識する文字認識部と、文字情報から所定の形式の形式データを抽出する形式データ抽出部と、看板画像データと形式データとを含み、看板画像データと形式データとを関連付けた看板データを生成する看板データ生成部と、表示部と、看板画像データを表示部に表示する表示制御部と、ユーザが選択入力を行うユーザ入力部と、ユーザが表示部に表示された看板画像データを選択した場合、その看板画像データと関連付けされた形式データの形式に基づいた処理を行う処理部と、を備える。【選択図】図１

Description

本発明は、認識画像表示装置、認識画像表示方法、及びプログラムに関する。

近年、車両において、車両周辺を撮像した画像データから看板を画像認識し、その看板に関連する処理を行う技術が提案されている。
例えば、特許文献１には、ユーザが撮影した看板に関連する処理として、その看板に記載された施設を目的地として設定する処理を行う技術が開示されている。

より具体的には、特許文献１に記載の技術によれば、ユーザが携帯端末により看板を撮影すると、その撮影画像から予め定められた識別子及びその識別子により指し示される記載事項を抽出し、抽出した記載事項に基づき、看板に記載された施設の位置を特定する。そして、施設の位置をナビゲーション装置に送信して目的地として設定する。

特開２００５−１００２７７号公報

上述のように、特許文献１に記載の技術は、ユーザが携帯端末により看板を撮影する必要がある。
しかし、ユーザは、車両の走行中、看板を見逃すことがあり、見逃した看板については、そもそも撮影することができない。
そのため、特許文献１に記載の技術は、ユーザが見逃した看板については、その看板に関連する処理を行うことができないという問題があった。

本発明は、上述したような問題を解決するためになされたものであり、ユーザが見逃した看板についても、その看板に関連する処理を行うことができる、認識画像表示装置、認識画像表示方法、及びプログラムを提供することを目的とする。

本発明に係る認識画像表示装置は、
車両周辺を撮像する撮像部から画像データを取得する画像データ取得部と、
前記画像データから看板を画像認識したデータを看板画像データとして取得する看板画像データ取得部と、
前記看板画像データから文字情報を文字認識する文字認識部と、
前記文字情報から所定の形式の形式データを抽出する形式データ抽出部と、
前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する看板データ生成部と、
表示部と、
前記看板画像データを前記表示部に表示する表示制御部と、
ユーザが選択入力を行うユーザ入力部と、
ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う処理部と、
を備える。

本発明に係る認識画像表示方法は、
認識画像表示装置による認識画像表示方法であって、
車両周辺を撮像する撮像部から画像データを取得し、
前記画像データから看板を画像認識したデータを看板画像データとして取得し、
前記看板画像データから文字情報を文字認識し、
前記文字情報から所定の形式の形式データを抽出し、
前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成し、
前記看板画像データを表示部に表示し、
ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う。

本発明に係るプログラムは、
コンピュータに、
車両周辺を撮像する撮像部から画像データを取得する手順と、
前記画像データから看板を画像認識したデータを看板画像データとして取得する手順と、
前記看板画像データから文字情報を文字認識する手順と、
前記文字情報から所定の形式の形式データを抽出する手順と、
前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する手順と、
前記看板画像データを表示部に表示する手順と、
ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う手順と、
を実行させるためのプログラムである。

本発明によれば、ユーザが見逃した看板についても、その看板に関連する処理を行うことができる処理を行うことができるという効果が得られる。

実施の形態１に係る認識画像表示装置の構成例を示すブロック図である。 実施の形態１に係る認識画像表示装置において、看板データを登録するまでの動作の動作フロー例を示すフロー図である。 実施の形態１に係る認識画像表示装置において、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。 看板が設置されている道路の例を示す図である。 実施の形態１に係る認識画像表示装置において、データベースに登録された看板データの例を示す図である。 実施の形態１に係る認識画像表示装置において、看板画像データを表示する場合の画面の例を示す図である。 実施の形態１に係る認識画像表示装置において、看板画像データを表示する場合の画面の例を示す図である。 図６又は図７に示したボタンＢ４がタッチされた場合に遷移する画面の例を示す図である。 図６に示したボタンＢ２、図７に示したボタンＢ３、図１４又は図１５に示したボタンＢ１２，Ｂ１３がタッチされた場合に遷移する画面の例を示す図である。 実施の形態２に係る認識画像表示装置の構成例を示すブロック図である。 実施の形態２に係る認識画像表示装置において、看板データを登録するまでの動作の動作フロー例を示すフロー図である。 実施の形態２に係る認識画像表示装置において、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。 実施の形態２に係る認識画像表示装置において、データベースに登録された看板データの例を示す図である。 実施の形態２に係る認識画像表示装置において、シンボル又は看板画像付シンボルを表示する場合の画面の例を示す図である。 実施の形態２に係る認識画像表示装置において、シンボル又は看板画像付シンボルを表示する場合の画面の例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。なお、以下で説明する各図面において、同一又は対応する要素には同一の符号が付されており、必要に応じて重複説明は省略される。

（１）実施の形態１
＜実施の形態１の構成＞
図１は、本実施の形態１に係る認識画像表示装置１０の構成例を示すブロック図である。本実施の形態１に係る認識画像表示装置１０は、車両に搭載されて使用される。
図１に示されるように、本実施の形態１に係る認識画像表示装置１０は、撮像部１０１、画像データ取得部１０２、看板画像データ取得部１０３、文字認識部１０４、形式データ抽出部１０５、看板データ生成部１０６、記憶制御部１０７、記憶部１０８、表示制御部１１０、表示部１１１、ユーザ入力部１１２、処理部１１３、ナビゲーション部１１４、通話部１１５、及び、通信部１１６を備えている。

撮像部１０１は、車両周辺を撮像するもので、例えば、車載カメラである。撮像部１０１は、車両周辺をより広角に撮像可能であることが好適であり、例えば、魚眼カメラ等で実現することができる。撮像部１０１の設置場所は、例えば、フロントガラスのバックミラー付近にすることが考えられるが、車両周辺を撮像することができる場所であれば良く、特に限定は無い。

画像データ取得部１０２は、撮像部１０１が撮像した車両周辺の画像データを取得する。
看板画像データ取得部１０３は、画像データ取得部１０２が取得した画像データから看板を画像認識し、画像認識したデータを看板画像データとして取得する。看板の画像認識は、パターンマッチング等の公知の画像認識技術を用いて行えば良い。

文字認識部１０４は、看板画像データ取得部１０３が取得した看板画像データから文字情報を文字認識する。文字認識は、ＯＣＲ（Optical Character Recognition）等の公知の文字認識技術を用いて行えば良い。

形式データ抽出部１０５は、文字認識部１０４が文字認識した文字情報から所定の形式の形式データを抽出する。形式データは、例えば、看板に記載された施設の施設名、住所、営業時間、定休日、電話番号、ＵＲＬ（Uniform Resource Locator）、メールアドレス、ＳＮＳ（Social Networking Service）アドレス等である。なお、住所は、住所に準じた情報で代用しても良い。例えば、道路沿いに設置された看板に「この先○ｋｍ」という情報が記載されていれば、この情報で施設の所在地が分かるため、この情報を住所の代用として用いても良い。形式データの抽出においては、特定の文字列で始まること、特定の文字列を含むこと、地図データベースに登録された地名を含むことなど、公知の技術を用いて所定の形式のデータであると認識すればよい。特定の文字列で始まるデータとは、たとえば、http:で始まるデータ、数字の0から始まるデータである。特定の文字列を含むデータとは、たとえば、@を含むデータである。文字の大きさや、○○食堂などの特定の単語を認識して施設名であると判定してもよい。営業時間や定休日などの特定の単語の後に続く文字列を認識してもよい。

看板データ生成部１０６は、看板画像データ取得部１０３が取得した看板画像データと、形式データ抽出部１０５が抽出した形式データと、を含み、看板画像データと形式データとを関連付けた看板データを生成する。

記憶制御部１０７は、看板データ生成部１０６が生成した看板データを、記憶部１０８に記憶されたデータベース１０９に登録する。記憶制御部１０７は、データベース１０９に登録された看板データの検索及び更新も行う。

なお、記憶制御部１０７は、看板データに不足している形式データがある場合、不足分の形式データを取得し、取得した形式データを看板データに追加してデータベース１０９に登録しても良い。また、記憶制御部１０７は、看板に記載された施設のジャンルを取得し、取得したジャンルを看板データに追加してデータベース１０９に登録しても良い。ジャンルは、例えば、店舗、病院、レジャー施設、公園等である。例えば、記憶制御部１０７は、通信部１１６を介して、施設のＷｅｂサイトにＷｅｂアクセスし、不足分の形式データやジャンルを取得することが考えられる。

表示制御部１１０は、データベース１０９に登録された看板データに含まれる看板画像データを表示部１１１に表示する。なお、看板画像データは、正面から看板を撮像したものでない場合は、歪みがあると考えられる。そのため、表示制御部１１０は、歪みがある看板画像データについては、その歪みを補正した上で表示することが好適である。

本実施の形態１においては、表示制御部１１０は、看板画像データを、所定の大きさに拡大又は縮小したサムネイル画像として、表示部１１１に表示する。所定の大きさは、複数の看板画像データを表示部１１１に表示できるような大きさとすることが好適であり、例えば、６つの看板画像データを表示部１１１に表示する場合には、表示部１１１の画面サイズの１／６弱の大きさとすれば良い。

ユーザ入力部１１２は、ユーザが選択入力を行う部分である。ユーザは、ユーザ入力部１１２において、例えば、表示部１１１に表示された看板画像データを選択する。

なお、表示部１１１及びユーザ入力部１１２は、タッチパネル内蔵のモニタとして一体化しても良い。その場合、ユーザは、モニタに表示された看板画像データをタッチすることで、その看板画像データを選択することができる。以下では、表示部１１１及びユーザ入力部１１２を、タッチパネル内蔵のモニタとして一体化し、モニタ部分が表示部１１１で、タッチパネル部分がユーザ入力部１１２であることを前提に説明を行う。

処理部１１３は、ユーザが、ユーザ入力部１１２において、表示部１１１に表示された看板画像データを選択した場合、ユーザが選択した看板画像データと関連付けされた形式データの形式に基づいた処理を行う。
例えば、処理部１１３は、形式データが住所である場合、ナビゲーション部１１４に対し、その住所を目的地として設定するよう指示する。また、処理部１１３は、形式データが電話番号である場合、通話部１１５に対し、その電話番号を通話先として設定するよう指示する。また、処理部１１３は、形式データがＵＲＬ、メールアドレス、又はＳＮＳアドレスである場合、通信部１１６に対し、そのＵＲＬをＷｅｂアクセス先に設定するか、そのメールアドレスをメール送信先として設定するか、又は、そのＳＮＳアドレスをＳＮＳアクセス先として設定するよう指示する。

＜実施の形態１の動作＞
以下、本実施の形態１に係る認識画像表示装置１０の動作について説明する。
＜実施の形態１の動作フロー＞
最初に、本実施の形態１に係る認識画像表示装置１０において、看板データを登録するまでの動作の動作フローについて説明する。図２は、本実施の形態１に係る認識画像表示装置１０において、看板データを登録するまでの動作の動作フロー例を示すフロー図である。

図２に示されるように、撮像部１０１は、車両周辺を撮像し（ステップＳ１０１）、画像データ取得部１０２は、撮像部１０１が撮像した車両周辺の画像データを取得する（ステップＳ１０２）。なお、撮像部１０１及び画像データ取得部１０２は、ステップＳ１０１，Ｓ１０２の処理を繰り返し行うものとする。

続いて、看板画像データ取得部１０３は、画像データ取得部１０２が取得した画像データから看板を画像認識し、画像認識したデータを看板画像データとして取得することを試行する（ステップＳ１０３）。看板を画像認識できず、看板画像データを取得できない場合は（ステップＳ１０３のＮｏ）、ステップＳ１０３に戻る。なお、ステップＳ１０３に戻った場合は、画像データ取得部１０２が次に取得した画像データについて、ステップＳ１０３以降の処理を行う（以下、同じ）。

ステップＳ１０３において、看板画像データを取得できた場合は（ステップＳ１０３のＹｅｓ）、続いて、文字認識部１０４は、看板画像データ取得部１０３が取得した看板画像データから文字情報を文字認識することを試行する（ステップＳ１０４）。文字情報を文字認識できない場合は（ステップＳ１０４のＮｏ）、ステップＳ１０３に戻る。

ステップＳ１０４において、文字情報を文字認識できた場合は（ステップＳ１０４のＹｅｓ）、続いて、形式データ抽出部１０５は、文字認識部１０４が文字認識した文字情報から所定の形式の形式データを抽出することを試行する（ステップＳ１０５）。ステップＳ１０５では、住所、電話番号、ＵＲＬ、メールアドレス、ＳＮＳアドレスの５つの形式のいずれかを含む形式データを抽出することを試行するものとする。上記の５つの形式のいずれかを含む形式データを抽出できない場合は（ステップＳ１０５のＮｏ）、ステップＳ１０３に戻る。

ステップＳ１０５において、上記の５つの形式のいずれかを含む形式データを抽出できた場合は（ステップＳ１０５のＹｅｓ）、続いて、看板データ生成部１０６は、看板画像データ取得部１０３が取得した看板画像データと、形式データ抽出部１０５が抽出した形式データと、を含み、看板画像データと形式データとを関連付けた看板データを生成する（ステップＳ１０６）。

その後、記憶制御部１０７は、看板データ生成部１０６が生成した看板データを、記憶部１０８に記憶されたデータベース１０９に登録する（ステップＳ１０７）。その後、ステップＳ１０３に戻る。

次に、本実施の形態１に係る認識画像表示装置１０において、看板画像データを表示する動作とそれ以降の動作の動作フローについて説明する。図３は、本実施の形態１に係る認識画像表示装置１０において、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。

図３に示されるように、表示制御部１１０は、データベース１０９に登録された看板データに含まれる看板画像データを、所定の大きさに拡大又は縮小したサムネイル画像として、表示部１１１に表示する（ステップＳ２０１）。

続いて、処理部１１３は、ユーザが、ユーザ入力部１１２において、表示部１１１に表示された看板画像データを選択したか否かを判断する（ステップＳ２０２）。看板画像データが選択されていない場合は（ステップＳ２０２のＮｏ）、ステップＳ２０２に戻り、看板画像データが選択されるまで待機する。

ステップＳ２０２において、看板画像データが選択された場合は（ステップＳ２０２のＹｅｓ）、処理部１１３は、ユーザが選択した看板画像データと関連付けされた形式データの形式に基づいた処理を行う（ステップＳ２０３）。

＜実施の形態１の動作の具体例＞
次に、本実施の形態１に係る認識画像表示装置１０の動作の具体例について説明する。以下では、本実施の形態１に係る認識画像表示装置１０が搭載された車両が走行する道路には、図４に示されるような４つの看板が設置されているものとする。

図４の場合、撮像部１０１は、４つの看板を撮像し、看板画像データ取得部１０３は、撮像部１０１が撮像した４つの看板の看板画像データを取得する。４つの看板の看板画像データの各々は、文字情報として、所定の形式の形式データが含まれている。そのため、形式データ抽出部１０５は、看板画像データ取得部１０３が取得した４つの看板の看板画像データの各々から形式データを抽出する。

例えば、形式データ抽出部１０５は、「温泉Ｃ」の看板については、電話番号及びＵＲＬを形式データとして抽出し、「スーパーＸ」の看板については、電話番号及び住所を形式データとして抽出し、「Ｋ歯科」の看板については、電話番号を形式データとして抽出する。また、形式データ抽出部１０５は、「Ａ公園」の看板については、「この先１．５ｋｍ」という住所に準じた情報を形式データとして抽出する。

続いて、看板データ生成部１０６は、看板画像データ取得部１０３が取得した４つの看板の看板画像データの各々について、その看板画像データと、形式データ抽出部１０５が抽出した形式データとを含み、看板画像データと形式データとを関連付けた看板データを生成する。

続いて、記憶制御部１０７は、看板データ生成部１０６が生成した４つの看板の看板データを、記憶部１０８のデータベース１０９に登録する。ここでは、記憶制御部１０７は、４つの看板の看板データの各々について、不足分の形式データ及び看板に記載された施設のジャンルを取得し、取得した不足分の形式データ及びジャンルを看板データに追加してデータベース１０９に登録するものとする。

図５は、データベース１０９に登録された、「温泉Ｃ」の看板の看板データの例を示す図である。図５の例では、記憶制御部１０７は、ジャンル、住所、営業時間、メールアドレス、ＳＮＳアドレスを看板データに追加している。

続いて、表示制御部１１０は、データベース１０９に登録された４つの看板の看板データに含まれる看板画像データを、所定の大きさに拡大又は縮小したサムネイル画像として、表示部１１１に表示する。

図６及び図７は、看板画像データを表示する場合の画面の例を示す図である。
図６の例では、表示制御部１１０は、４つの看板画像データの各々を、看板画像Ｂ１として、施設名兼ボタンＢ２と共に一覧表示している。なお、看板画像データが５つ以上ある場合には、画面を上下移動させるスクロールバーを配置する等により、現在の画面に表示されていない看板画像データを表示可能な構成としても良い。

図７の例では、表示制御部１１０は、４つの看板画像データの各々を、看板画像兼ボタンＢ３として、タイル状に表示している。なお、図７における看板画像兼ボタンＢ３の配置は、６つの看板画像兼ボタンＢ３を２行×３列のタイル状に表示可能な配置となっている。なお、看板画像データが７つ以上ある場合には、画面を左右移動させるスクロールバーを配置する等により、現在の画面に表示されていない看板画像データを表示可能な構成としても良い。

また、図６及び図７の例では、表示制御部１１０は、看板画像データの表示順を選択するための表示順選択ボタンＢ４を表示している。図６及び図７の状態は、表示順として「画像取得順」が選択されており、看板画像データを取得した順に、看板画像データを表示している状態である。

図８は、図６又は図７に示した表示順選択ボタンＢ４がタッチされた場合に遷移する画面の例を示す図である。
表示制御部１１０は、図６又は図７に示した表示順選択ボタンＢ４がユーザにタッチされると、表示部１１１に表示する画面を、図６又は図７に示した画面から図８に示した画面に遷移させる。

図８の例では、表示制御部１１０は、看板画像データの表示順の選択肢を一覧表示すると共に、選択肢のいずれかを選択するための選択ボタンＢ５を表示している。図８の例では、４つの選択肢「画像取得順」、「施設までの距離順」、「ジャンル」、「情報更新順」が用意されている。

「画像取得順」は、看板画像データを取得した順に看板画像データを表示するもので、例えば、最後に取得された看板画像データを最上位に表示する。
「施設までの距離順」は、施設までの距離順に看板画像データを表示するもので、例えば、距離が最短の施設の看板画像データを最上位に表示する。
「ジャンル」は、ジャンル別順に看板画像データを表示するものである。どのジャンルを上位に表示するかは、予め定められても良いし、ユーザが設定しても良い。
「情報更新順」は、看板が更新された順に看板画像データを表示するもので、例えば、最後に更新された看板画像データを最上位に表示する。なお、新規に設置された看板は、最上位に表示すれば良い。

表示制御部１１０は、いずれかの選択肢の選択ボタンＢ５がユーザにタッチされると、表示部１１１に表示する画面を図６又は図７に示した画面に戻し、タッチされた選択肢の表示順に、看板画像データを表示する。

図６及び図７に戻ると、図６の例では、施設名兼ボタンＢ２がボタンを兼ね、図７の例では、看板画像兼ボタンＢ３がボタンを兼ねている。
図９は、図６に示した「温泉Ｃ」の施設名兼ボタンＢ２又は図７に示した「温泉Ｃ」の看板画像兼ボタンＢ３がタッチされた場合に遷移する画面の例を示す図である。
表示制御部１１０は、図６に示した「温泉Ｃ」の施設名兼ボタンＢ２又は図７に示した「温泉Ｃ」の看板画像兼ボタンＢ３がユーザにタッチされると、表示部１１１に表示する画面を、図６又は図７に示した画面から図９に示した画面に遷移させる。

図９の例では、表示制御部１１０は、「温泉Ｃ」のジャンル、施設名、施設までの距離、住所、営業時間、電話番号、ＵＲＬ、メールアドレス、及びＳＮＳアドレスを表示すると共に、ボタンＢ６〜Ｂ１１を表示している。

ボタンＢ６は、前画面に戻るためのボタンである。表示制御部１１０は、ボタンＢ６がユーザにタッチされると、表示部１１１に表示する画面を図６又は図７に示した画面に戻す。
ボタンＢ７は、「温泉Ｃ」を目的地として設定するためのボタンである。処理部１１３は、ボタンＢ７がユーザにタッチされると、ナビゲーション部１１４に対し、「温泉Ｃ」の住所を目的地として設定するよう指示する。

ボタンＢ８は、「温泉Ｃ」にハンズフリー電話で電話をかけるためのボタンである。処理部１１３は、ボタンＢ８がユーザにタッチされると、通話部１１５に対し、「温泉Ｃ」の電話番号を通話先として設定するよう指示する。
ボタンＢ９は、「温泉Ｃ」にＷｅｂアクセス（例えば、Ｗｅｂサイトのブラウザ表示）するためのボタンである。処理部１１３は、ボタンＢ９がユーザにタッチされると、通信部１１６に対し、「温泉Ｃ」のＵＲＬをＷｅｂアクセス先として設定するよう指示する。

ボタンＢ１０は、「温泉Ｃ」にメールするためのボタンである。処理部１１３は、ボタンＢ１０がユーザにタッチされると、通信部１１６に対し、「温泉Ｃ」ののメールアドレスをメール送信先として設定するよう指示する。
ボタンＢ１１は、「温泉Ｃ」へのＳＮＳアクセスをするためのボタンである。処理部１１３は、ボタンＢ１１がユーザにタッチされると、通信部１１６に対し、「温泉Ｃ」のＳＮＳアドレスをＳＮＳアクセス先として設定するよう指示する。

なお、表示制御部１１０は、ボタンＢ７〜Ｂ１１のいずれかがタッチされた場合、表示部１１１に表示する画面を、図９に示した画面から、各ボタンに応じた設定をしていることを示す画面（不図示）に遷移させても良い。

＜実施の形態１の効果＞
本実施の形態１によれば、認識画像表示装置１０は、車両周辺を撮像した画像データのうち看板を含む画像データを看板画像データとして取得し、看板画像データから形式データを抽出し、看板画像データと形式データとを関連付けた看板データを生成する。認識画像表示装置１０は、看板画像データを表示部１１１に表示し、看板画像データがユーザに選択されると、ユーザに選択された看板画像データと関連付けされた形式データの形式に基づいた処理を行う。

従って、ユーザは、車両が走行した道路沿いに設置された看板を後から確認することができ、その看板の看板画像データを選択すれば、その看板に関連する処理を行うことができる。そのため、ユーザは、車両走行中に見逃した看板や気になった看板についても、その看板に関連する処理を行うことができる。

また、本実施の形態１によれば、認識画像表示装置１０は、車両が走行した道路沿いに設置された全ての看板の看板画像データを取得し、その看板画像データのいずれかをユーザに選択させる。
従って、ユーザは、看板画像データとして表示する看板について、看板のジャンルや、看板が設置されているエリア等を事前に指定するといった操作が不要であるため、ユーザの利便性が向上する。

（２）実施の形態２
＜実施の形態２の構成＞
図１０は、本実施の形態２に係る認識画像表示装置１０Ａの構成例を示すブロック図である。本実施の形態２に係る認識画像表示装置１０Ａも、実施の形態１に係る認識画像表示装置１０と同様に、車両に搭載されて使用される。
図１０に示されるように、本実施の形態２に係る認識画像表示装置１０Ａは、実施の形態１に係る認識画像表示装置１０と比較して、位置情報取得部１１７及び時計部１１８が追加されている。
以下、本実施の形態２に係る認識画像表示装置１０Ａを構成する要素のうち、実施の形態１とは動作が異なる要素について説明する。

位置情報取得部１１７は、車両の現在位置の位置情報を取得する。位置情報の取得は、ＧＰＳ（Global Positioning System）等の公知の技術を用いて行えば良い。
位置情報は、後述のように、表示部１１１に表示する地図上に看板の位置を示すシンボルを表示するために使用される。
時計部１１８は、現在の日時の日時情報を取得するために使用される。日時情報は、後述のように、データベース１０９に登録された看板データの保存期間を判断するために使用される。

看板データ生成部１０６は、看板画像データ取得部１０３が看板画像データを取得した際の位置情報を位置情報取得部１１７から取得すると共に、その位置情報を位置情報取得部１１７が取得した日時の日時情報を時計部１１８から取得する。そして、看板データ生成部１０６は、位置情報取得部１１７及び時計部１１８から取得した位置情報及び日時情報をさらに含み、看板画像データと形式データと位置情報と日時情報とを関連付けた看板データを生成する。

本実施の形態２においては、表示制御部１１０は、地図を表示部１１１に表示し、データベース１０９に登録された看板データに含まれる位置情報に相当する地図上の位置に、看板データに含まれる看板画像データに関連付けられたシンボル、又は、看板画像データに関連付けられシンボル及び看板画像データを含む看板画像付シンボルを表示する。シンボルは、例えば、ピンアイコンであり、看板画像付シンボルは、例えば、その内部に看板画像データを含む吹き出しである。

処理部１１３は、ユーザが、ユーザ入力部１１２において、表示部１１１に表示されたシンボル又は看板画像付シンボルを選択した場合、ユーザが選択したシンボル又は看板画像付シンボルと関連付けされた形式データの形式に基づいた処理を行う。

＜実施の形態２の動作＞
以下、本実施の形態２に係る認識画像表示装置１０Ａの動作について説明する。
＜実施の形態２の動作フロー＞
最初に、本実施の形態２に係る認識画像表示装置１０Ａにおいて、看板データを登録するまでの動作の動作フローについて説明する。図１１は、本実施の形態２に係る認識画像表示装置１０Ａにおいて、看板データを登録するまでの動作の動作フロー例を示すフロー図である。

図１１に示されるように、まず、図２に示される実施の形態１のステップＳ１０１〜Ｓ１０５と同様のステップＳ３０１〜Ｓ３０５が行われる。ステップＳ３０５では、ステップＳ１０５と同様に、住所、電話番号、ＵＲＬ、メールアドレス、ＳＮＳアドレスの５つの形式のいずれかを含む形式データを抽出することを試行するものとする。

ステップＳ３０５において、上記の５つの形式のいずれかを含む形式データを抽出できた場合は（ステップＳ３０５のＹｅｓ）、続いて、看板データ生成部１０６は、看板画像データ取得部１０３が看板画像データを取得した際の位置情報を位置情報取得部１１７から取得すると共に、その位置情報を位置情報取得部１１７が取得した日時の日時情報を時計部１１８から取得する（ステップＳ３０６）。

続いて、看板データ生成部１０６は、看板画像データ取得部１０３が取得した看板画像データと、形式データ抽出部１０５が抽出した形式データと、位置情報取得部１１７及び時計部１１８から取得した位置情報及び日時情報と、を含み、看板画像データと形式データと位置情報と日時情報とを関連付けた看板データを生成する（ステップＳ３０７）。

その後、記憶制御部１０７は、図２に示される実施の形態１のステップＳ１０７と同様に、看板データ生成部１０６が生成した看板データを、記憶部１０８に記憶されたデータベース１０９に登録する（ステップＳ３０８）。その後、ステップＳ３０３に戻る。

次に、本実施の形態２に係る認識画像表示装置１０Ａにおいて、看板画像データを表示する動作とそれ以降の動作の動作フローについて説明する。図１２は、本実施の形態２に係る認識画像表示装置１０Ａにおいて、看板画像データを表示する動作とそれ以降の動作の動作フロー例を示すフロー図である。

図１２に示されるように、表示制御部１１０は、地図を表示部１１１に表示し、データベース１０９に登録された看板データに含まれる位置情報に相当する地図上の位置に、看板データに含まれる看板画像データに関連付けられたシンボル又は看板画像付シンボルを表示する（ステップＳ４０１）。

続いて、処理部１１３は、ユーザが、ユーザ入力部１１２において、表示部１１１に表示されたシンボル又は看板画像付シンボルを選択したか否かを判断する（ステップＳ４０２）。シンボル又は看板画像付シンボルが選択されていない場合は（ステップＳ４０２のＮｏ）、ステップＳ４０２に戻り、シンボル又は看板画像付シンボルが選択されるまで待機する。

ステップＳ４０２において、シンボル又は看板画像付シンボルが選択された場合は（ステップＳ４０２のＹｅｓ）、処理部１１３は、ユーザが選択したシンボル又は看板画像付シンボルと関連付けされた形式データの形式に基づいた処理を行う（ステップＳ４０３）。

＜実施の形態２の動作の具体例＞
次に、本実施の形態２に係る認識画像表示装置１０Ａの動作の具体例について説明する。以下では、本実施の形態２に係る認識画像表示装置１０Ａが搭載された車両が走行する道路には、実施の形態１と同様に、図４に示されるような４つの看板が設置されているものとする。

図４の場合、実施の形態１で説明したように、看板画像データ取得部１０３は、４つの看板の看板画像データを取得でき、形式データ抽出部１０５は、看板画像データ取得部１０３が取得した４つの看板の看板画像データの各々から形式データを抽出できる。

そのため、看板データ生成部１０６は、看板画像データ取得部１０３が取得した４つの看板の看板画像データの各々について、その看板画像データを取得した際の位置情報を位置情報取得部１１７から取得すると共に、その位置情報を位置情報取得部１１７が取得した日時の日時情報を時計部１１８から取得する。

続いて、看板データ生成部１０６は、看板画像データ取得部１０３が取得した４つの看板の看板画像データの各々について、その看板画像データと、形式データ抽出部１０５が抽出した形式データと、上記で取得した位置情報及び日時情報と、を含み、看板画像データと形式データと位置情報と日時情報とを関連付けた看板データを生成する。

続いて、記憶制御部１０７は、看板データ生成部１０６が生成した４つの看板の看板データを、記憶部１０８のデータベース１０９に登録する。ここでは、記憶制御部１０７は、４つの看板の看板データの各々について、不足分の形式データ及びジャンルを看板データに追加してデータベース１０９に登録するものとする。

図１３は、データベース１０９に登録された、「温泉Ｃ」の看板の看板データの例を示す図である。図１３の例では、図５と比較して、看板データに位置情報及び日時情報が追加されている。
なお、記憶制御部１０７は、看板データに含まれる日時情報が示す日時から一定の期間が経過した場合、その看板データの保存期間が終了したと判断し、その看板データを削除しても良い。

続いて、表示制御部１１０は、地図を表示部１１１に表示し、データベース１０９に登録された看板データに含まれる位置情報に相当する地図上の位置に、看板データに含まれる看板画像データに関連付けられたシンボル又は看板画像付シンボルを表示する。

図１４及び図１５は、シンボル又は看板画像付シンボルを表示する場合の画面の例を示す図である。なお、図１４及び図１５は、シンボルをピンアイコンとして表示し、看板画像付シンボルを、その内部に看板画像データを含む吹き出し（以下、看板画像付吹き出しと称す）として表示する例である。

図１４の例では、表示制御部１１０は、地図を３Ｄ表示している。また、表示制御部１１０は、４つの看板画像データのうちの２つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、看板画像付吹き出し兼ボタンＢ１２として、表示している。また、表示制御部１１０は、残りの２つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、ピンアイコン兼ボタンＢ１３として、表示している。ピンアイコン兼ボタンＢ１３は、看板画像データに関連付けされている。

図１５の例では、表示制御部１１０は、地図を２Ｄ表示している。また、表示制御部１１０は、４つの看板画像データのうちの２つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、看板画像付吹き出し兼ボタンＢ１２として、表示している。また、表示制御部１１０は、残りの２つの看板画像データの各々を、その看板画像データを取得した地図上の位置に、ピンアイコン兼ボタンＢ１３として、表示している。ピンアイコン兼ボタンＢ１３は、看板画像データに関連付けされている。

図１４及び図１５の例では、看板画像付吹き出し兼ボタンＢ１２及びピンアイコン兼ボタンＢ１３がボタンを兼ねている。

表示制御部１１０は、図１４又は１５に示した看板画像付吹き出し兼ボタンＢ１２又はピンアイコン兼ボタンＢ１３がユーザにタッチされると、実施の形態１で説明した図９に示した画面と同様の画面を表示する。

例えば、表示制御部１１０は、図１４又は図１５に示した「温泉Ｃ」の看板画像付吹き出し兼ボタンＢ１２がユーザにタッチされると、表示部１１１に表示する画面を、図１４又は図１５に示した画面から図９に示した画面に遷移させる。

なお、図９に示した画面は、実施の形態１で説明済みであるため、ここでの説明は省略する。

＜実施の形態２の効果＞
本実施の形態２によれば、認識画像表示装置１０Ａは、看板画像データを取得した際の位置情報を看板データに含め、地図を表示部１１１に表示し、位置情報に相当する地図上の位置に、看板画像データに関連付けられたシンボル又は看板画像付シンボルを表示する。
従って、ユーザは、看板がどこで取得されたかを視覚的に確認することができる。

認識画像表示装置１０Ａは、上記以外の構成は実施の形態１に係る認識画像表示装置１０と略同様であるため、その他の効果としては、実施の形態１と同様の効果が得られる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
例えば、上記実施の形態１，２においては、看板データ生成部１０６が看板データを生成した場合、記憶制御部１０７は、その看板データをデータベース１０９に登録し、表示制御部１１０は、その看板データを表示部１１１に表示しているが、これには限定されない。例えば、次の構成にしても良い。

すなわち、記憶制御部１０７は、看板データ生成部１０６が生成した看板データがデータベース１０９に登録されているか否かを判断し、その看板データがデータベース１０９に登録されていれば、さらに変更部分があるか否かを判断する。変更部分があるか否かの判断は、例えば、看板データの所定の項目を決めておき、その項目のいずれかが変更されていれば、変更部分があると判断することができる。所定の項目は、例えば、看板画像、施設名、住所、電話番号、ＵＲＬ、メールアドレス、ＳＮＳアドレス等である。
そして、記憶制御部１０７は、看板データ生成部１０６が生成した看板データがデータベース１０９に登録されていない又は変更部分があると判断した場合に、データベース１０９への看板データの登録又は更新を行う。

また、表示制御部１１０は、看板データ生成部１０６が生成した看板データがデータベース１０９に登録されていない又は変更部分があると記憶制御部１０７が判断した場合に、その看板データに含まれる看板画像データを表示部１１１に表示し、その看板データがデータベース１０９に登録されておりかつ変更部分が無いと記憶制御部１０７が判断した場合、その看板データに含まれる看板画像データを表示部１１１に表示しない。

これにより、データベース１０９に登録されていない又は変更部分がある看板データのみをデータベース１０９に登録又は更新し、そのような看板データに含まれる看板画像データのみを表示部１１１に表示することができる。
従って、例えば、日常的に走行する道路では、新規に設置された看板又は更新された看板のみについて、看板データをデータベース１０９に登録又は更新し、看板画像データを表示部１１１に表示することができる。

なお、上記の説明では、記憶制御部１０７が、看板データに変更部分があるか否かを判断し、表示制御部１１０が、看板データに変更部分があると記憶制御部１０７が判断した場合、看板画像データを表示部１１１に表示しているが、これには限定されない。記憶制御部１０７が、看板データの所定の項目を含む何らかの項目に変更があると判断した場合、表示制御部１１０は、看板画像データを表示するか否かをユーザに問合せ、ユーザが表示すると指示した場合のみ、看板画像データを表示しても良い。

また、上記実施の形態２において、記憶制御部１０７は、位置情報取得部１１７から車両の現在位置の位置情報を取得すると共に、その位置情報を取得した日時の日時情報を時計部１１８から取得し、取得した位置情報及び日時情報を走行履歴として記憶部１０８に記憶させても良い。そして、記憶制御部１０７は、看板データが位置情報を含む場合、その位置情報に相当する位置から所定の距離範囲内又はその位置と同じエリア内を所定の期間内に走行した走行履歴が記憶部１０８に記憶されているか否かを判断し、そのような走行履歴が記憶部１０８に記憶されていない場合、その看板データをデータベース１０９から削除しても良い。

これにより、所定の期間内に走行していないエリア内の道路に設置された看板の看板データについては、データベース１０９から削除することができる。
従って、例えば、旅行先の道路に設置された看板の看板データについては、所定の期間の経過後に削除することができる。

また、上記実施の形態１，２においては、表示制御部１１０は、全ジャンルの施設の看板画像データを、一律に表示部１１１に表示しているが、これには限定されない。表示制御部１１０は、ユーザが選択した看板画像データを基に、ユーザの好みのジャンルを学習し、ユーザの好みのジャンルの施設の看板画像データについては、表示部１１１に強調表示しても良い。

また、上記実施の形態１，２においては、表示制御部１１０は、全ジャンルの施設の看板画像データを表示部１１１に表示しているが、これには限定されない。表示制御部１１０は、ユーザが指定したジャンルの施設の看板画像データのみを表示部１１１に表示しても良い。

また、上記実施の形態１，２においては、記憶制御部１０７は、全ジャンルの施設の看板データをデータベース１０９に登録しているが、これには限定されない。記憶制御部１０７は、ユーザが指定したジャンルの施設の看板データのみをデータベース１０９に登録しても良い。

また、上記実施の形態１，２においては、撮像部１０１は、全エリアで撮像を行い、看板データ生成部１０６は、全エリアの看板の看板データを生成しているが、これには限定されない。ユーザが指定したエリアでのみ、看板データを生成したり、看板データを生成しなかったりしても良い。この場合、看板データを生成しないエリアでは、看板データの生成に関わる全ての要素の動作を停止させても良いし、撮像部１０１が撮像を行わなければ、看板データをそもそも生成できないため、撮像部１０１のみ動作を停止させても良い。

また、上記実施の形態１，２においては、認識画像表示装置の内部に、撮像部１０１、記憶部１０８、ナビゲーション部１１４、通話部１１５、通信部１１６、及び、時計部１１８を設けているが、これらの要素は、認識画像表示装置の外部に設けても良い。

また、上記実施の形態２においては、看板データに日時情報を含めているが、これには限定されない。例えば、データベース１０９に登録されたデータを保存期間経過後に削除しない構成とする場合や、走行履歴を記憶部１０８に記憶させない構成とする場合には、看板データに日時情報を含めなくても良い。

また、上記実施の形態において、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

また、上記のプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０，１０Ａ 認識画像表示装置
１０１ 撮像部
１０２ 画像データ取得部
１０３ 看板画像データ取得部
１０４ 文字認識部
１０５ 形式データ抽出部
１０６ 看板データ生成部
１０７ 記憶制御部
１０８ 記憶部
１０９ データベース
１１０ 表示制御部
１１１ 表示部
１１２ ユーザ入力部
１１３ 処理部
１１４ ナビゲーション部
１１５ 通話部
１１６ 通信部
１１７ 位置情報取得部
１１８ 時計部

Claims (7)

1. 車両周辺を撮像する撮像部から画像データを取得する画像データ取得部と、
   前記画像データから看板を画像認識したデータを看板画像データとして取得する看板画像データ取得部と、
   前記看板画像データから文字情報を文字認識する文字認識部と、
   前記文字情報から所定の形式の形式データを抽出する形式データ抽出部と、
   前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する看板データ生成部と、
   表示部と、
   前記看板画像データを前記表示部に表示する表示制御部と、
   ユーザが選択入力を行うユーザ入力部と、
   ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う処理部と、
   を備える、認識画像表示装置。
2. 車両の現在位置の位置情報を取得する位置情報取得部をさらに備え、
   前記看板データ生成部は、
   前記看板画像データ取得部が前記看板画像データを取得した際に前記位置情報取得部が取得した位置情報を含め、前記位置情報と前記看板画像データと前記形式データとを関連付けた前記看板データを生成し、
   前記表示制御部は、
   地図を前記表示部に表示し、
   前記看板データに含まれる前記位置情報に相当する前記地図上の位置に、前記看板画像データに関連付けられたシンボル及び該看板画像データを表示する、
   請求項１に記載の認識画像表示装置。
3. 前記形式データは、
   住所、電話番号、ＵＲＬ（Uniform Resource Locator）、メールアドレス、ＳＮＳ（Social Networking Service）アドレスのいずれかを少なくとも含み、
   前記処理部は、
   前記形式データが住所である場合、ナビゲーション部に対し、該住所を目的地として設定するよう指示し、
   前記形式データが電話番号である場合、通話部に対し、該電話番号を通話先として設定するよう指示し、
   前記形式データがＵＲＬ、メールアドレス、又はＳＮＳアドレスである場合、通信部に対し、該ＵＲＬをＷｅｂアクセス先に設定するか、該メールアドレスをメール送信先として設定するか、又は、該ＳＮＳアドレスをＳＮＳアクセス先として設定するよう指示する、
   請求項１又は２に記載の認識画像表示装置。
4. 前記看板データを記憶部のデータベースに登録し、また前記データベースの更新及び検索を行う記憶制御部をさらに備え、
   前記表示制御部は、
   前記看板データが前記データベースに登録されていない又は変更部分があると前記記憶制御部が判断した場合に、前記看板画像データを前記表示部に表示し、
   前記看板データが前記データベースに登録されておりかつ変更部分が無いと前記記憶制御部が判断した場合、前記看板画像データを前記表示部に表示しない、
   請求項１から３のいずれか１項に記載の認識画像表示装置。
5. 前記看板データを記憶部のデータベースに登録し、また前記データベースの更新及び検索を行う記憶制御部をさらに備え、
   前記記憶制御部は、
   前記位置情報取得部から車両の現在位置の位置情報を取得すると共に、該位置情報を取得した日時情報を時計部から取得し、取得した位置情報及び日時情報を走行履歴として前記記憶部に記憶させ、
   前記看板データに含まれる位置情報に相当する位置から所定の距離範囲内又は該位置と同じエリア内を所定の期間内に走行した走行履歴が前記記憶部に記憶されていない場合、前記データベースから前記看板データを削除する、
   請求項２に記載の認識画像表示装置。
6. 認識画像表示装置による認識画像表示方法であって、
   車両周辺を撮像する撮像部から画像データを取得し、
   前記画像データから看板を画像認識したデータを看板画像データとして取得し、
   前記看板画像データから文字情報を文字認識し、
   前記文字情報から所定の形式の形式データを抽出し、
   前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成し、
   前記看板画像データを表示部に表示し、
   ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う、
   認識画像表示方法。
7. コンピュータに、
   車両周辺を撮像する撮像部から画像データを取得する手順と、
   前記画像データから看板を画像認識したデータを看板画像データとして取得する手順と、
   前記看板画像データから文字情報を文字認識する手順と、
   前記文字情報から所定の形式の形式データを抽出する手順と、
   前記看板画像データと前記形式データとを含み、前記看板画像データと前記形式データとを関連付けた看板データを生成する手順と、
   前記看板画像データを表示部に表示する手順と、
   ユーザが前記表示部に表示された前記看板画像データを選択した場合、該看板画像データと関連付けされた前記形式データの形式に基づいた処理を行う手順と、
   を実行させるためのプログラム。

Images