JP2014215327A - 情報表示装置、車載器および情報表示システム - Google Patents

Abstract

【課題】車両に複数搭載された無線タグに関する情報を、マーカなどを事前に準備せずともカメラの撮像画像に重畳表示し、車両に新たに無線タグを搭載した際も、最新の情報をカメラの撮像画像に重畳表示することができる情報表示システムを提供することを目的とするものである。
【解決手段】情報表示システムは、近距離無線通信を搭載する情報表示装置で、車両に搭載された複数の無線タグ情報を車載器から受信し、情報表示装置の撮像部で車両を撮影する画像からハンドルなどの特定形状を抽出して無線タグの位置と機能を重畳表示する。また、車両に新たに無線タグが搭載された際は、撮像画像から、新規無線タグの位置を算出し、新たな無線タグを追加した情報を重畳表示する。
【選択図】図１

Description

本発明は、マーカを事前に準備せずともカメラで撮像された画像に関連する情報を重畳表示する情報表示装置、車載器及び情報表示システムに関するものである。

近年、ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）カードや定期券、携帯電話等の携帯機器と他の機器との間で近距離無線通信（例えば、ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎなど）を介してユーザ認証や電子マネーの決済を行う技術が広く普及している。このような近距離無線通信を備えた携帯機器に、車両の施錠やエンジン始動など車両の電子キーとしての機能を付加する技術も開発されている。

また、車両に近距離無線通信の無線タグを搭載し、無線タグに携帯端末をタッチして、携帯端末から車載器に目的地情報を送信する技術も開発されている。

一方、従来より、カメラで撮像したマーカに対応させてテキストや画像などを重畳表示する、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）という技術がある。現実空間のマーカを基準として位置及び姿勢に関する情報を取得するものが知られている（例えば特許文献１参照）。

さらに、車内の無線タグもタグマーカとなる図形をつければ、ＡＲを利用し、車両に搭載された位置を提示することができる。

特開２０１２−１７８０６４号公報

しかしながら、特許文献１記載の従来の拡張現実技術を用いた画像処理装置においては、カメラで撮像された現実空間内のマーカを画像処理によって検出して位置及び姿勢に関する処理を行い、対応する仮想オブジェクト等を重畳表示するため、このマーカを事前に用意する必要があるという問題があった。

本発明は、従来の問題を解決するためになされたもので、車両に複数搭載された無線タグに関する情報を、マーカなどを事前に準備せずともカメラの撮像画像に重畳表示し、車両に新たに無線タグを搭載した際も、最新の情報をカメラの撮像画像に重畳表示する情報表示システムを提供することを目的とする。

また本発明はさらに、乗車者が車両に新たにマーカとなる図形のない無線タグを搭載した際、新規無線タグに関する情報を追加することで、ユーザに最新の無線タグの位置や機能を提供する情報表示システムを提供することを目的とする。

上記目的を達成するために本発明は、車両内を撮像して撮像画像を生成する撮像部と、撮像部の移動量を検出する移動量検出部と、車両内にある無線タグの機能情報、及び特定形状と無線タグの相対位置情報を記憶する第１保存部と、撮像画像から特定形状の抽出、及び撮像画像への無線タグの機能情報の重畳描画を行う第１制御部と、撮像画像を表示す
る表示部とを備え、第１制御部は、撮像画像から抽出した特定形状の位置と相対位置情報に基づき、撮像画像内の無線タグの位置に無線タグの機能情報を重畳描画することを特徴とする情報表示装置という構成を有する。

また、ユーザが撮像画像内の無線タグの位置を指定する入力を受け付ける入力部と、撮像部から撮影面までの距離を算出する距離計測部とをさらに備え、第１制御部は、撮像画像内の特定形状とユーザが指定した無線タグの位置の相対位置に基づき、特定形状と無線タグの相対位置情報を生成する情報表示装置という構成を有する。

本発明によれば、車両に複数搭載された無線タグに関する情報を、マーカなどを事前に準備せずともカメラの撮像画像に重畳表示することができ、車両に新たに無線タグを搭載した際も、容易に最新の情報をカメラの撮像画像に重畳表示する情報表示システムを提供できる。

またさらに本発明によれば、乗車者が車両に新たにマーカとなる図形のない無線タグを搭載した際、新規無線タグに関する情報を追加することで、ユーザに最新の無線タグの位置や機能を提供する情報表示システムを提供できる。

本発明の実施の形態における情報表示システムのブロック図 本発明の実施の形態における撮像部が車両内を撮像した撮像画像の一例を示す図 本発明の実施の形態における無線タグ情報リスト１００の一例を示す図 本発明の実施の形態における情報表示システムの動作説明のためのフロー図 本発明の実施の形態における車両に搭載される無線タグの位置と機能を撮像画像３０５に重畳表示する一例を示す図 本発明の実施の形態における情報表示システムの無線タグ情報追加時の動作説明のためのフロー図

（実施の形態１）
以下、本発明の実施の形態における情報表示システムについて図面を参照しながら説明する。

図１は、本発明の実施の形態における情報表示システムのブロック図である。図１は、本発明と関係のある機能ブロックのみ図示した。よって、情報表示装置や車載器が従来から有する機能ブロックの図示は省略した。

図１において、情報表示システムは、近距離無線通信機能を搭載する情報表示装置１０と、車載器２０とからなるものである。
図１の情報表示装置１０は、携帯電話、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、およびスマートフォンのような、携帯可能であり、かつ情報処理機能を備えた端末である。当然ながら、音声通話機能を備えたものでもよい。

情報表示装置１０は、車両内を撮像する撮像部１１と、撮像部１１との移動量を検出する移動量検出部１２と、情報を記憶する第１保存部１３と、撮像画像から特定形状の抽出、及び撮像画像への無線タグの機能情報の重畳描画を行う第１制御部１４と、撮像画像を表示する表示部１５と、ユーザ入力を受け付ける入力部１６と、撮像部１１から撮影面までの距離を算出する距離計測部１７と、車載器２０及び無線タグと、近距離無線通信を確
立する第１近距離無線通信部１８とからなるものである。

撮像部１１は、カメラなどで構成され、撮像視野を変更する駆動装置を有する。例えば、パン、チルト、ズームなどの撮像パラメータを変更できる。

図２は、撮像部１１が撮像する撮像画像３０５の一例を示す図である。車両に搭載される無線タグ３０１〜３０４の一例を示す。

また、車両内の特定形状の一例として、撮像画像３０５内のハンドル撮像画像３０６を示す。

移動量検出部１２は、撮像部１１の姿勢や撮影方向から、撮像部１１の移動量を検出する。撮像部１１の姿勢や撮影方向は、ジャイロなどの各種センサから移動量を検出する。

第１保存部１３は、データの読み書きが可能な記憶装置であり、車両内の特定形状とそのサイズ、車両内にある無線タグの識別番号、機能、特定形状からの相対位置などの情報である無線タグ情報リスト１００とを保存する。
第１制御部１４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等で構成され、情報表示装置１０の各部を制御する。なお、第１制御部１４の動作の詳細に関しては後述する。

表示部１５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）により構成され、撮像部１１で撮影された車内の映像を表示する。また、撮像部１１で撮影された車内の撮像画像３０５に無線タグ機能を示す重畳表示画像を表示する。

入力部１６は、新規無線タグの機能や位置を無線タグ情報リスト１００に保存する際に、手動で入力するためのインタフエースである。例えば、タッチデバイスなど、ユーザの操作をシステムに伝えるための入力インタフエースである。

距離計測部１７は、赤外線などで撮像部１１から撮影面までの距離を算出する。

第１近距離無線通信部１８は、アンテナ、変復調ＩＣ、通信制御ＣＰＵ（図示せず）を備え、車載器２０の第２近距離無線通信部２２と近距離無線通信を確立し、無線タグ情報リスト１００や特定形状の情報を送受信する。また、情報表示装置１０を無線タグにかざすことで、近距離無線通信を確立し、無線タグの識別番号やデータを送受信する。

図１の車載器２０は、車両内の無線タグの情報および車両内の特定形状とそのサイズを記憶する第２保存部２１と、情報表示装置と近距離無線通信を確立する第２近距離無線通信部２２と、情報の制御を行う第２制御部２３とからなるものである。

車載器２０は、車両に専用の装置を搭載されるものであってもよいが、例えば、ナビゲーション装置、オーディオ装置、ＡＶＮ（Ａｕｄｉｏ Ｖｉｓｕａｌ Ｎａｖｉｇａｔｉｏｎ）装置等の一機能として実現することも可能である。

第２保存部２１は、データの読み書きが可能な記憶装置であり、情報表示装置１０から取得した車両内の特定形状とそのサイズ、及び無線タグ情報リスト１００を記憶する。

また、車両内の特定形状とそのサイズ、及び無線タグ情報リスト１００は、第２保存部
２１に事前に記憶されていてもよい。

第２近距離無線通信部２２は、近距離無線通信を確立し、情報表示装置１０の第１近距離無線通信部１８と近距離無線通信を確立し、車両内の特定形状と無線タグ情報リスト１００を送受信する。

第２制御部２３は、ＣＰＵ、ＤＳＰ、ＲＡＭ及びＲＯＭ等で構成され、車載器２０の各部を制御する。なお、第２制御部２３の動作の詳細に関しては後述する。
次に、図３を用いて、本発明の実施の形態における無線タグ情報リスト１００について説明する。

図３は、無線タグ情報リスト１００のデータ構成を説明するための図である。無線タグの車両内の場所や数は、任意であり、搭載された無線タグの情報は、無線タグ情報リスト１００として情報表示装置１０、または車載器２０に事前に記憶されている。

無線タグ情報リスト１００は、車両に搭載された複数の無線タグの識別番号、機能情報、車両内の特定形状からの相対位置情報で構成され、情報表示装置１０の第１保存部１３または、車載器２０の第２保存部２１に記憶される。

相対位置情報とは、車両内の特徴的な形状が抽出し易い、例えば、ハンドルなどの中心を起点（０，０，０）とした（ｘ，ｙ，ｚ）座標で示される。

次に、図４〜６を用いて、以上のように構成された情報表示システムについて、以下にその処理動作を説明する。

図４は、本発明の実施の形態における情報表示システムの動作手順を示すフローチャートである。なお、無線タグ情報リスト１００は、車載器２０の第２保存部２１に事前に記憶されている。

まず、ユーザが情報表示装置１０のボタン押下などの操作によって、本システムが起動されると、情報表示装置１０は、車載器２０に無線タグ情報を要求する（ステップＳ１１１）。

車載器２０の第２制御部２３は、情報表示装置１０から無線タグ情報の送信要求を検出した場合（ステップＳ１２１、Ｙｅｓ）、第２保存部２１に記憶された車両内の特定形状であるハンドルの形状データとサイズ情報と、無線タグの機能情報と相対位置情報の一覧である無線タグ情報リスト１００を第２近距離無線通信部２２を介して情報表示装置１０の第１近距離無線通信部１８に送信する（ステップＳ１２２）。

無線タグ情報の送信要求を検出できなかった場合（ステップＳ１２１、Ｎｏ）再度、送信要求の検出に戻る。

なお、本システムの起動は、起動専用の無線タグを車両に搭載し、該無線タグに情報表示装置１０をかざすことで起動を開始してもよい。

情報表示装置１０の第１制御部１４は、車載器２０から第１近距離無線通信部１８を介して受信した車両内の特定形状の形状データとサイズ情報と、無線タグ情報リスト１００を第１保存部１３に保存する（ステップＳ１１２）。

次に、第１制御部１４は、無線タグの相対位置の基準となる特定形状であるハンドルの
形状を撮像部１１が撮像する撮像画像３０５から抽出し（ステップＳ１１３）、ハンドルアイコン３０７（図５）を撮像画像３０５上に重畳表示する（ステップＳ１１４）。なお、第１制御部１４は、ハンドルアイコン３０７と撮像部１１が撮像したハンドル撮像画像３０６の位置が概ね重なるように、撮像部１１の向き又はズーム変更をユーザに促す指示を表示部１５に出力してもよい。また、特定形状を有する車両内の部品は、ハンドルに限らず、窓やシフトレバー、バックミラー等車内におけるものであればよい。

次に、第１制御部１４は、ハンドルアイコン３０７を描画した撮像画像内の位置と、ハンドルのサイズ情報と、車載器２０から受信した無線タグ情報リスト１００の相対位置情報から、撮像画像３０５内に存在する無線タグの位置を算出する（ステップＳ１１５）。

さらに、第１制御部１４は、撮像画像３０５上に存在する無線タグのうち無線タグ情報リスト１００の無線タグの機能をテキストや図で示す重畳表示画像３０８〜３１０（図５参照）を、表示部１５に出力する（ステップＳ１１６）。

ここで、図５を用いて、本発明の実施の形態における撮像画像３０５上に存在する無線タグの機能を示す重畳表示画像３０８〜３１０について説明する。
図５は、本発明の実施の形態における車両に搭載される無線タグの位置と機能を撮像画像３０５に重畳表示する一例を示す図である。

車載器２０から受信した車両内の特定形状のアイコンの一例として、ハンドルアイコン３０７を図示する。

また、車載器２０から受信した無線タグ情報リスト１００の無線タグの位置情報から、撮像画像３０５に存在する無線タグ３０１〜３０４の機能をテキストや図を用いて重畳表示する一例として、重畳表示画像３０８〜３１０を示す。

図４のフローチャートの説明に戻り、第１制御部１４は、ユーザが撮像部１１の姿勢や撮影方向を変更したことを検出した場合（ステップＳ１１７、Ｙｅｓ）、移動量検出部１２は、撮像部１１の姿勢や撮影方向から、撮像部１１の移動量を検出する（ステップＳ１１８）。撮像部１１の姿勢や撮影方向は、ハンドル撮像後、情報表示装置１０に搭載されたジャイロなどの各種センサから移動量を検出することで求めることができる。

撮像部１１の移動量と、無線タグ情報リスト１００の相対位置情報から、撮像画像３０５に存在する無線タグの位置を抽出し直し（ステップＳ１１５）、撮像画像３０５上に存在する無線タグのうち無線タグ情報リスト１００の無線タグの機能を示す重畳表示画像３０８〜３１０を、表示部１５に出力する（ステップＳ１１６）。

第１制御部１４は、ユーザが撮像部１１の姿勢や撮影方向を変更したことを検出しなかったた場合（ステップＳ１１７、Ｎｏ）、以下の処理を実施する。

第１制御部１４は、ユーザが情報表示装置１０のボタン押下などのタグ情報追加する操作を検出した場合（ステップＳ１１９、Ｙｅｓ）、タグ情報追加処理を起動する（ステップＳ２１０）。なお、タグ情報追加処理の動作の詳細に関しては後述する。

タグ情報追加する操作が検出されなかった場合は、処理を終了する（ステップＳ１１９、Ｎｏ）。

第１制御部１４は、ユーザが明示的に本システムの終了処理をする操作をした場合、または所定時間、操作が無かった場合（ステップＳ１２０、Ｙｅｓ）、処理を終了する。
図６は、本発明の実施の形態における情報表示システム無線タグ情報追加時のの動作手順（図４：ステップＳ２１０）を示すフローチャートである。

図４において、第１制御部１４は、タグ情報追加する操作を検出し（図４：ステップＳ１１９、Ｙｅｓ）、タグ情報追加処理が起動された際（図４：ステップＳ２１０）、以下の処理を実施する。

まず、第１制御部１４は、撮影された画像上の新規無線タグの位置を、ユーザにタッチ操作するよう促す指示を表示部１５に出力する（ステップＳ２１１）。第１制御部１４は、ハンドルのサイズ情報と、ハンドルアイコン３０７の表示位置と、ユーザのタッチ位置に基づいて、タッチ位置を新規無線タグのｘ方向とｙ方向の位置とし、新規無線タグのｘ、ｙ値を算出する（ステップＳ２１２）。なお、既存の無線タグが存在する場合は、その無線タグを用いて、新規無線タグのｘ、ｙ値を算出してもよい。

次に、距離計測部１７は、赤外線などで撮像部１１から撮影面までの距離を算出し、新規無線タグの概ねのＺ方向の位置とする（ステップＳ２１３）。

さらに、第１制御部１４は、新規無線タグの機能をユーザに入力させ（ステップＳ２１４）、識別番号、機能、位置を追加の無線タグ情報として、第１近距離無線通信部１８を介して車載器２０の第２近距離無線通信部２２に送信する（ステップＳ２１５）。

なお、車両に新たに搭載された新規無線タグの情報を無線タグ情報リスト１００に登録する際、情報表示装置１０を新規無線タグにかざし、第１近距離無線通信部１８を介して取得することで、識別番号や、機能情報を取得してもよい。

車載器２０の第２制御部２３は、受信した追加の無線タグ情報を第２保存部２１の無線タグ情報リスト１００に追加する（ステップＳ２２１）。

以上のように本実施の形態によれば、車両に複数搭載された無線タグに関する情報を、マーカなどを事前に準備せずともカメラの撮像画像に重畳表示し、車両に新たに無線タグを搭載した際も、容易に最新の情報をカメラの撮像画像に重畳表示することができる情報表示システムを提供することができる。

なお、本実施の形態において、情報表示装置１０と車載器２０との間の無線通信は、ＮＦＣを用いて行う例を示したが、ＮＦＣ以外のＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）による通信（Ｆｅｌｉｃａ（登録商標）など）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信のいずれかの通信を用いて行われてもよい。

本発明の情報表示システムは、携帯電話、スマートフォン等の携帯端末装置、及び、カーオーディオ等の車載装置として有用である。

１０ 情報表示装置
２０ 車載器
１１ 撮像部
１２ 移動量検出部
１３ 第１保存部
１４ 第１制御部
１５ 表示部
１６ 入力部
１７ 距離計測部
１８ 第１近距離無線通信部
２１ 第２保存部
２２ 第２近距離無線通信部
２３ 第２制御部
１００ 無線タグ情報リスト
３０１〜３０４ 無線タグ
３０５ 撮像画像
３０６ ハンドル撮像画像
３０７ ハンドルアイコン
３０８〜３１０ 重畳表示画像

Claims (9)

1. 車両内を撮像して撮像画像を生成する撮像部と、前記撮像部の移動量を検出する移動量検出部と、前記車両内にある無線タグの機能情報、及び特定形状と前記無線タグの相対位置情報を記憶する第１保存部と、前記撮像画像から前記特定形状の抽出、及び前記撮像画像への前記無線タグの前記機能情報の重畳描画を行う第１制御部と、前記撮像画像を表示する表示部とを備え、
   前記第１制御部は、前記撮像画像から抽出した前記特定形状の位置と前記相対位置情報に基づき、前記撮像画像内の前記無線タグの位置に前記無線タグの前記機能情報を重畳描画することを特徴とする情報表示装置。
2. 前記車両内の前記特定形状はハンドルの形状であることを特徴とする請求項１に記載の情報表示装置。
3. ユーザが前記撮像画像内の前記無線タグの位置を指定する入力を受け付ける入力部と、撮像部から撮影面までの距離を算出する距離計測部とをさらに備え、
   前記第１制御部は、前記撮像画像内の前記特定形状とユーザが指定した前記無線タグの位置の相対位置に基づき、前記特定形状と前記無線タグの前記相対位置情報を生成することを特徴とする請求項１または２に記載の情報表示装置。
4. 車載器と近距離無線通信を確立する第１近距離無線通信部をさらに備え、
   前記第１制御部は、前記車載器から前記第１近距離無線通信部を介して前記機能情報と前記相対位置情報を取得することを特徴とする請求項１または２に記載の情報表示装置。
5. ユーザが前記撮像画像内の前記無線タグの位置を指定する入力を受け付ける入力部と、撮像部から撮影面までの距離を算出する距離計測部とをさらに備え、
   前記第１制御部は、前記撮像画像内の前記特定形状とユーザが指定した前記無線タグの位置の相対位置に基づき、前記特定形状と前記無線タグの前記相対位置情報を生成し、前記第１近距離無線通信部を介して前記相対位置情報を前記車載器に送信することを特徴とする請求項４に記載の情報表示装置。
6. 前記第１近距離無線通信部は、前記無線タグとの間に近距離無線通信を確立し、
   前記第１制御部は、前記無線タグが記憶している前記機能情報を前記第１近距離無線通信部を介して取得し、前記第１保存部に前記機能情報を記録することを特徴とする請求項３または５に記載の情報表示装置。
7. 車両内にある無線タグの機能情報および車両内の特定形状と前記無線タグの相対位置情報を記憶する第２保存部と、情報表示装置と近距離無線通信を確立する第２近距離無線通信部と、情報の制御を行う第２制御部とを備え、
   前記第２制御部は、前記情報表示装置から前記第２近距離無線通信部を介して取得した前記機能情報と前記相対位置情報を前記第２保存部に記録し、前記情報表示装置の要求に基づいて前記第２保存部が記憶している前記機能情報と前記相対位置情報を前記第２近距離無線通信部を介して送信することを特徴とする車載器。
8. 車載器と情報表示装置からなる情報表示システムであって、
   前記車載器は、
   車両内にある無線タグの機能情報、及び車両内の特定形状と前記無線タグの相対位置情報を記憶する第２保存部と、前記情報表示装置と近距離無線通信を確立する第２近距離無線通信部と、情報の制御を行う第２制御部とを備え、
   前記情報表示装置は、
   車両内を撮像して撮像画像を生成する撮像部と、前記撮像部の移動量を検出する移動量検出部と、前記撮像画像から前記車両内の前記特定形状を抽出、及び前記撮像画像に前記機能情報を重畳描画する第１制御部と、前記撮像画像を表示する表示部と、前記車載器と近距離無線通信を確立する第１近距離無線通信部を備え、
   前記第２制御部は、前記情報表示装置の要求に基づいて前記第２保存部が記憶している前記機能情報と前記相対位置情報を前記第２近距離無線通信部を介して送信し、
   前記第１制御部は、前記車載器から前記第１近距離無線通信部を介して前記機能情報と前記相対位置情報を取得し、抽出した前記特定形状の位置と前記相対位置情報に基づき、前記撮像画像の前記無線タグの位置に前記無線タグの前記機能情報を重畳描画することを特徴とする情報表示システム。
9. 前記情報表示装置は、ユーザが前記撮像画像内の前記無線タグの位置を指定する入力を受け付ける入力部と、撮像部１１から撮影面までの距離を算出する距離計測部とをさらに備え、
   前記第１制御部は、前記撮像画像内の前記特定形状とユーザが指定した前記無線タグの位置の相対位置に基づき、前記特定形状と前記無線タグの前記相対位置情報を生成して、前記第１近距離無線通信部を介して前記相対位置情報を前記車載器に送信し、
   前記車載器の前記第２制御部は、前記情報表示装置から前記第２近距離無線通信部を介して取得した前記機能情報と前記相対位置情報を前記第２保存部に記録することを特徴とする請求項８に記載の情報表示システム。