JP2019057014A - 被写体特定情報処理装置並びにその制御方法及び制御プログラム - Google Patents

Abstract

【課題】より簡易に被写体に関する情報を実画像に重ねてディスプレイに表示する、ことを目的とする。【解決手段】情報表示システム１は、街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含む看板データベースをサーバ３が記憶する。そして、情報表示システム１は、携帯端末４が備えるカメラ４ｄが撮像した被写体を示す撮像データから抽出した抽出文字要素を取得し、抽出文字要素に一致する実在文字に関係する関係情報を看板データベースから取得し、撮像データにより示される画像と共に関係情報を携帯端末４が備えるディスプレイ４ａに表示する。【選択図】図１

Description

本発明は、被写体特定情報処理装置並びにその制御方法及び制御プログラムに関するものである。

近年、携帯端末等のカメラによって実空間を撮像した画像（以下「実画像」という。）に対して、実在しない画像（以下「仮想画像」という。）を投影、すなわち重ねて表示するＡＲ（Augmented Reality：拡張現実）に関する技術が開発されている。

このような技術として、例えば、指標となる物体であるマーカーを実空間に配置し、そのマーカーを撮像した場合に、実画像のマーカーの位置にキャラクター等の仮想画像を投影するものがある。また、この他にも、携帯端末が備えるＧＰＳ（Global Positioning System）やジャイロセンサ―等のセンサによって取得した携帯端末の位置や向きに基づいて、実画像に仮想画像を投影するものがある。

ここで、特許文献１には、ジャイロを持たない携帯端末において、視界情報（実画像）に仮想情報（仮想画像）を付加して表示できるシステムが開示されている。特許文献１に開示されているシステムでは、モニタに表示されるスクロールバーをユーザが操作することによって、携帯端末の東西南北などの方位と、携帯端末の水平面又は地面に対する傾きとを入力し、サーバが携帯端末自体の方向に関する情報を受信して視界情報に付加すべき仮想情報を選択する。

特開２０１１−２４２８１６号公報

しかしながら、特許文献１に記載のシステムでは、モニタに表示されたスクロールバーをユーザが操作する必要があり、煩雑である。このため、ユーザに対して特別な操作を要求することなく、より簡易に被写体に関する情報を実画像に重ねて表示できる手法の開発が望まれている。

本発明は、このような事情に鑑みてなされたものであって、より簡易に被写体に関する情報を実画像に重ねてディスプレイに表示できる、被写体特定情報処理装置並びにその制御方法及び制御プログラムを提供することを目的とする。

上記課題を解決するために、本発明の被写体特定情報処理装置並びにその制御方法及び制御プログラムは以下の手段を採用する。

上記課題を解決するため、本発明の一態様である「被写体特定情報処理装置」は、カメラが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する文字要素取得手段と、街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含むデータベースと前記抽出文字要素とを照合する照合手段と、前記抽出文字要素に一致する前記実在文字に関係する前記関係情報を前記データベースから取得する関係情報取得手段と、前記撮像データにより示される画像と共に、前記関係情報取得手段によって取得された前記関係情報をディスプレイに表示させる表示制御手段と、を備える。

上記課題を解決するため、本発明の一態様である「被写体特定情報処理装置の制御方法」は、カメラが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する第１工程と、街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含むデータベースと前記抽出文字要素とを照合する第２工程と、前記抽出文字要素に一致する前記実在文字に関係する前記関係情報を前記データベースから取得する第３工程と、前記撮像データにより示される画像と共に、前記第３工程によって取得された前記関係情報をディスプレイに表示する第４工程と、を有する。

上記課題を解決するため、本発明の一態様である「被写体特定情報処理装置の制御プログラム」は、コンピュータを、カメラが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する文字要素取得手段と、街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含むデータベースと前記抽出文字要素とを照合する照合手段と、前記抽出文字要素に一致する前記実在文字に関係する前記関係情報を前記データベースから取得する関係情報取得手段と、前記撮像データにより示される画像と共に、前記関係情報取得手段によって取得された前記関係情報をディスプレイに表示させる表示制御手段と、して機能させる。

上記「被写体特定情報処理装置」には、以下に例示するように、種々の技術的限定を加えてもよい。また、同趣旨の技術的限定を、「被写体特定情報処理装置の制御方法」が実行する処理ステップや「被写体特定情報処理装置の制御プログラム」の機能に加えてもよい。

前記データベースは、複数の前記実在文字の位置関係を含み、前記照合手段は、複数の前記抽出文字要素の位置関係と複数の前記実在文字の位置関係との同一性を照合する。

複数の前記抽出文字要素の前記位置関係に基づいて、前記被写体を撮像したユーザが向いている方向及びユーザの位置の少なくとも一方を特定する撮像場所特定手段を備える。

前記データベースは、前記実在文字と共に前記実在文字の特徴を示す実在特徴要素を含み、前記文字要素取得手段は、前記抽出文字要素と共に前記抽出文字要素の特徴を示す抽出特徴要素を取得し、前記照合手段は、前記抽出文字要素及び前記抽出特徴要素と前記実在文字及び前記実在特徴要素との同一性を照合する。

前記カメラは、前記被写体を連続的に撮像し、前記文字要素取得手段は、連続的に前記被写体を撮像した複数の前記撮像データから、移動していない前記文字と移動している前記文字を区別して抽出し、前記照合手段は、移動している前記文字を示す前記抽出文字要素を前記照合から除外する。

自身の位置を示す位置情報を取得する位置情報取得手段を備え、前記データベースは、前記実在文字が存在する地域を示す地域要素を含み、前記照合手段は、前記位置情報に対応する前記地域要素を有する前記実在文字と前記抽出文字要素とを照合する。

本発明によれば、より簡易に被写体に関する情報を実画像に重ねてディスプレイに表示できる、という効果を有する。

本発明の実施形態に係る情報表示システムの構成図である。 本発明の実施形態に係るサーバの電気的構成を示すブロック図である。 本発明の実施形態に係る携帯端末の電気的構成を示すブロック図である。 本発明の実施形態に係る看板データベースの内容を示す模式図である。 本発明の実施形態に係る携帯端末が備えるカメラで撮像される街を示した模式図である。 本発明の実施形態に係る携帯端末が備えるディスプレイにおけるオーバレイ表示を示した模式図である。 本発明の実施形態に係る携帯端末の情報オーバレイ表示機能に関する機能ブロック図である。 本発明の実施形態に係るサーバにおける情報オーバレイ表示機能に関する機能ブロック図である。 本発明の実施形態に係る携帯端末における情報オーバレイ表示処理の流れを示すフローチャートである。 本発明の実施形態に係るサーバにおける情報オーバレイ表示処理の流れを示すフローチャートである。

以下に、本発明に係る被写体特定情報処理装置並びにその制御方法及び制御プログラムの一実施形態について、図面を参照して説明する。

［１．情報表示システムの構成］
図１は、本実施形態に係る情報表示システム１の概略構成図である。情報表示システム１は、通信回線２、サーバ３、及び携帯端末４を含む。

本実施形態に係る情報表示システム１は、携帯端末４が備えるカメラ４ｄで撮像した画像から街中に配置されている看板等に表記されている文字を抽出し、この文字に関係する関係情報をオーバレイ表示させる情報オーバレイ表示機能を有する。換言すると、情報表示システム１は、看板等の被写体に表記されている文字を抽出することで、その被写体を特定し、その情報を実画像に重ね合わせて表示するものである。なお、重ね合わせとは、街中を示す実画像に情報を示す仮想画像を重ね合わせるＡＲ（Augmented Reality）によるものである。

通信回線２は、コンピュータネットワークを形成するものであり、例えば、電気事業者によって提供される広域通信回線である。

サーバ３は、通信回線２を介して、携帯端末４と情報の送受信を行う。なお、サーバ３は、街中に存在する文字である実在文字と実在文字に関係する関係情報とを関連付けたデータベース（以下「看板データベース」という。）を記憶している。

携帯端末４は、例えば、スマートフォンやタブレット端末、ノートパソコン等の可搬型の情報処理端末である。携帯端末４は、画像を表示するディスプレイ４ａ、音を出力するスピーカー４ｂ、音が入力されるマイクロフォン４ｃ、及び被写体を撮像するカメラ４ｄ等を備える。なお、ディスプレイ４ａは、一例としてタッチパネルディスプレイである。

［２．サーバの電気的構成］
図２は、本実施形態に係るサーバ３の電気的構成を示すブロック図である。

本実施形態に係るサーバ３は、サーバ３全体の動作を司る主制御部であるＣＰＵ（Central Processing Unit）２０、各種プログラム及び各種データ等が予め記憶されたＲＯＭ（Read Only Memory）２２、ＣＰＵ２０による各種プログラムの実行時のワークエリア等として用いられるＲＡＭ（Random Access Memory）２４、各種プログラム及び各種データを記憶する記憶手段としてのＨＤＤ（Hard Disk Drive）２６を備えている。

ＨＤＤ２６は、詳細を後述する看板データベース等の各種情報や各種プログラムを記憶する。なお、記憶手段は、ＨＤＤ２６に限らず、例えば、フラッシュメモリ等の半導体メモリ等の他の記憶媒体であってもよい。

さらに、サーバ３は、キーボード及びマウス等で構成されて各種操作の入力を受け付ける操作入力部２８、各種画像を表示する例えば液晶ディスプレイ装置等のモニタ３０、通信回線２を介して携帯端末４等の他の情報処理装置等と接続され、他の情報処理装置等との間で各種データの送受信を行う外部インタフェース３２を備えている。

これらＣＰＵ２０、ＲＯＭ２２、ＲＡＭ２４、ＨＤＤ２６、操作入力部２８、モニタ３０、及び外部インタフェース３２は、システムバス３４を介して相互に電気的に接続されている。従って、ＣＰＵ２０は、ＲＯＭ２２、ＲＡＭ２４、及びＨＤＤ２６へのアクセス、操作入力部２８に対する操作状態の把握、モニタ３０に対する画像の表示、並びに外部インタフェース３２を介した他の情報処理装置等との各種データの送受信等を各々行なうことができる。

［３．携帯端末の電気的構成］
図３は、携帯端末４の電気的構成を示す機能ブロック図である。

携帯端末４は、図１に示される構成に加え、主制御部４０、主記憶部４２、補助記憶部４４、通信部４６、位置情報取得部４８、及び操作ボタン５０を備える。

主制御部４０は、例えば、ＣＰＵ、マイクロプロセッサ、ＤＳＰ（Digital Signal Processor）等であり、携帯端末４の全体の動作を制御する。

主記憶部４２は、例えば、ＲＡＭやＤＲＡＭ（Dynamic Random Access Memory）等で構成されており、主制御部４０による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。

補助記憶部４４は、例えば、フラッシュメモリ等の不揮発性メモリであり、画像等の各種データ及び主制御部４０の処理に利用されるプログラム等を保存する。補助記憶部４４に記憶されるプログラムは、例えば、携帯端末４の基本的な機能を実現するためのＯＳ（Operating System）、各種ハードウェア制御するためのドライバ、電子メールやウェブブラウジング、その他各種機能を実現するためのプログラム等である。また、補助記憶部４４には、サーバ３から配信された動画データを再生してディスプレイ４ａに表示させるためのアプリケーションソフトが予め記憶されている。

通信部４６は、例えばＮＩＣ（Network Interface Controller）であり、通信回線２に接続する機能を有する。なお、通信部４６は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Local Area Network）に接続する機能、無線ＷＡＮ（Wide Area Network）に接続する機能、例えばBluetooth（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。

位置情報取得部４８は、位置情報取得機能を有し、携帯端末４自身の位置を示す位置情報を取得する。位置情報は、例えば、緯度及び経度である。なお、本実施形態に係る位置情報取得機能は、一例として、ＧＰＳ（Global Positioning System）を用いた機能である。

操作ボタン５０は、携帯端末４の側面に設けられ、携帯端末４を起動又は停止させるための電源ボタンやスピーカー４ｂが出力する音のボリューム調整ボタン等である。

これら主制御部４０、主記憶部４２、補助記憶部４４、通信部４６、位置情報取得部４８、及び操作ボタン５０、並びにディスプレイ４ａ、スピーカー４ｂ、マイクロフォン４ｃ、及びカメラ４ｄは、システムバス５２を介して相互に電気的に接続されている。従って、主制御部４０は、主記憶部４２及び補助記憶部４４へのアクセス、ディスプレイ４ａに対する画像の表示、ユーザによるディスプレイ４ａや操作ボタン５０に対する操作状態の把握、マイクロフォン４ｃへの音の入力、スピーカー４ｂからの音の出力、カメラ４ｄに対する制御、及び通信部４６を介した各種通信網や他の情報処理装置へのアクセス等を行える。

なお、携帯端末４は、上記各構成の他に、加速度センサや磁気センサ等の各種センサや、他の機能を備えてもよい。

［４．情報オーバレイ表示機能］
情報表示システム１が有する情報オーバレイ表示機能について詳細に説明する。

本実施形態に係る情報表示システム１は、街中に存在する文字である実在文字及び実在文字に関係する関係情報を含む看板データベースを、サーバ３が記憶する。

実在文字とは、例えば、店舗等の看板に表記される店舗の名称等を示す文字及び文字列であり、一又は複数のひらがな、カタカナ、漢字、アルファベット、及び数字によって構成される。関係情報とは、店名、店舗のサービス内容、店舗の住所、電話番号、営業時間、店舗が入居しているビルの名称、店舗の利用者の評価等である。

また、情報表示システム１は、携帯端末４が備えるカメラ４ｄが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する。撮像データからの文字の抽出は、画像認識、例えばＯＣＲ（Optical Character Recognition：光学文字認識）によって行われる。すなわち、情報表示システム１は、カメラ４ｄによって街を撮像することによって、看板等に表記された文字を抽出する。

そして、情報表示システム１は、実在文字を含む看板データベースと抽出文字要素とを照合し、抽出文字要素に一致する実在文字に関係する関係情報を看板データベースから取得し、撮像データにより示される画像と共に関係情報を携帯端末４のディスプレイ４ａにオーバレイ表示する。

次に、図４から図６を参照して情報オーバレイ表示機能についてより詳細に説明する。

［４−１．看板データベースの詳細］
図４は、看板データベース６０の内容（主に位置関係）を示す模式図である。図４の例では、看板データベース６０に含まれる実在文字６２の例として「１２３４」、「ＸＹＺ」、「ＡＢＣＤ」、「○×△」、「○△□」を模式的に示している。看板データベース６０は、実在文字６２毎に関係情報が関連付けて構成されている。

看板データベース６０は、図４に示されるように、複数の実在文字６２の位置関係を含む。図４の例では、複数の実在文字６２の位置関係が数値（ｘ１，ｘ２，ｙ１〜ｙ３）で表されている。

また、看板データベース６０は、実在文字６２の特徴を示す実在特徴要素を含む。実在特徴要素は、例えば、実在文字６２が表記されている看板の大きさ、実在文字６２の色、看板の色、文字の形状（大きさ）、文字の配置（複数段による表記）、及び文字の連なる方向（縦書き、横書き）等である。図４に示される看板データベース６０は、看板の大きさを示す数値（ｘｘ１〜ｘｘ４，ｙｙ１〜ｙｙ５）も模式的に表している。

さらに、看板データベース６０は、実在文字６２毎に実在文字６２が存在する地域を示す地域要素や、各実在文字６２が向いている方向を示す方向要素を含んで構成される。地域要素は、例えば、緯度及び経度で表される所定範囲や、住所や市区町村等の地域を示す名称で表される所定範囲である。方向要素は、東西南北で表される。

［４−２．看板データベースと抽出文字要素との照合］
図５は、携帯端末４（携帯端末４Ａ，４Ｂ）が備えるカメラ４ｄで撮像される街を示した模式図である。図４における携帯端末４Ａ，４Ｂのカメラ４ｄは、看板６４（６４Ａ〜６４Ｅ）を撮像し、この撮像データから文字を抽出する。すなわち、携帯端末４Ａ，４Ｂは、「ＸＹＺ」、「１２３４」、「ＡＢＣＤ」、「○×△」、「○△□」を抽出文字要素として取得する。

なお、ここでいう撮像データの取得とは、カメラ４ｄが撮像して得た撮像データをディスプレイ４ａに表示可能なように、主記憶部４２に一時的に記憶させることであり、カメラ４ｄが撮像して得た撮像データをユーザがシャッターボタンを押すことで静止画として補助記憶部４４に記憶することではない。

また、携帯端末４は、取得した複数の抽出文字要素に対して、各々が隣接する他の抽出文字要素の位置関係も取得する。この位置関係は、例えば、隣接する抽出文字要素間の縦方向（ｙ方向）及び横方向（ｘ方向）の撮像データにおけるドット数によって表される。

また、携帯端末４は、撮像データから抽出文字要素を取得すると共に、抽出文字要素の特徴を示す抽出特徴要素を取得する。抽出特徴要素は、例えば、抽出文字要素が表記されている看板の大きさ、抽出文字要素の色、抽出文字要素の周辺の色、抽出文字要素の形状（大きさ）、抽出文字要素の配置（複数段による表記）、及び抽出文字要素の連なる方向（縦書き、横書き）等である。

なお、抽出特徴要素は、例えば、画像認識によって取得されてもよい、例えば抽出文字要素の外周を囲む矩形を看板として認識し、看板の大きさ等は撮像データにおけるドット数によって表される。

そして、情報オーバレイ表示機能は、複数の抽出文字要素の位置関係と複数の実在文字の位置関係との同一性を照合し、抽出文字要素に一致する実在文字に関係する関係情報を取得する。なお、ここでいう同一とは、完全な同一だけでなく、ある程度の差異も許容したものであり、同一とみなされる許容範囲は予め定められている。

より具体的には、情報オーバレイ表示機能は、複数の抽出文字要素の位置関係を表すドット数と複数の実在文字６２の位置関係を表す数値とを比較し、複数の抽出文字要素の位置関係と同一（相似）となる複数の実在文字６２の関係情報を取得する。これにより、情報オーバレイ表示機能は、抽出文字要素と実在文字６２との照合をより精度良く行える。

ここで、図５に示される携帯端末４Ａと携帯端末４Ｂとでは、撮像した被写体はほぼ同じであるが、その撮像方向や撮像位置が異なる。そこで、本実施形態に係る情報オーバレイ表示機能は、複数の抽出文字要素の位置関係に基づいて、被写体を撮像したユーザが向いている方向及びユーザの位置の少なくとも一方を特定してもよい。

具体的には、携帯端末４Ａが備えるカメラ４ｄで取得された撮像データは、看板６４Ａ〜６４Ｅを正面から撮像したものであるため、撮像データにおける看板６４Ａ〜６４Ｅの縦横比に歪みはなく、実在の看板６４Ａ〜６４Ｅの縦横比と略同一である。すなわち、撮像データにより示される看板６４Ａ〜６４Ｅの縦横比と看板データベース６０に含まれる実在特徴要素における看板の縦横比は同じとなるので、これにより、ユーザが看板６４Ａ〜６４Ｅの正面から撮像を行ったと特定できる。

そして、看板６４Ａ〜６４Ｅに対応する看板データベース６０に含まれる実在文字６２の方向要素から、ユーザが向いている方向が特定される。また、ユーザは、看板６４が面している道路上に位置していると想定できるため、ユーザの位置も特定される。

なお、ユーザの位置の特定には、位置情報取得部４８で取得された位置情報や地図データ等が用いられてもよい。

一方、携帯端末４Ｂは、看板６４Ａ〜６４Ｅを斜め横方向から撮像しているため、撮像データにおける看板６４Ａ〜６４Ｅの縦横比に歪みが生じ、実在の看板６４Ａ〜６４Ｅの縦横比と同一とならない。例えば、看板データベース６０に含まれる実在文字を含む看板の縦方向の長さがｙであり、横方向の長さがｘであるにもかかわらず、撮像データから取得された抽出文字要素を含む看板の縦方向の長さがｙである一方、横方向の長さがｘ未満である場合には、ユーザは被写体である看板を正面ではなく、斜め方向から撮像していることになる。

図５の例では、携帯端末４Ｂが備えるカメラ４ｄによる撮像では、看板６４Ａ〜６４Ｅの横方向の長さが実際よりも短くなる。さらに、看板６４Ｃ，６４Ｄ，６４Ｅの方が看板６４Ａ，６４Ｂよりも奥側となるため、相対的に小さく撮像される。これらのことから、情報オーバレイ表示機能は、ユーザが向いている方向を特定する。

また、本実施形態に係る情報オーバレイ表示機能は、携帯端末４で取得された抽出文字要素及び抽出特徴要素と看板データベース６０とを照合し、抽出文字要素及び抽出特徴要素と実在文字及び実在特徴要素との同一性を照合してもよい。これにより、情報オーバレイ表示機能は、抽出文字要素と実在文字６２との照合をより精度良く行える。

さらに、本実施形態に係る情報オーバレイ表示機能は、位置情報取得部４８で取得した位置情報に対応する地域要素を有する実在文字６２と抽出文字要素とを照合してもよい。すなわち、情報オーバレイ表示機能は、看板データベース６０と抽出文字要素とを照合する際に、まず、位置情報に対応する地域要素を有する実在文字６２を看板データベース６０から抽出し、抽出した実在文字６２と抽出文字要素とを照合する。これにより、情報オーバレイ表示機能は、明らかに異なる地域に存在する実在文字６２を照合の対象から除外できるので、照合に要する時間を短縮できる。

また、街中には文字が表記された自動車や文字が印刷された服を着ている歩行者等が存在し、これらは移動している。このため、移動している文字をカメラ４ｄが撮像し、その文字を抽出文字要素として取得しても、この抽出文字要素に一致する実在文字６２は看板データベース６０には含まれていないため、情報オーバレイ表示機能は、正しい照合ができなくなる可能性がある。

そこで、本実施形態に係る情報オーバレイ表示機能は、カメラ４ｄが被写体を連続的に撮像し、連続的に被写体を撮像した複数の撮像データから、移動していない文字と移動している文字を区別して抽出し、移動している文字を示す抽出文字要素を看板データベース６０との照合から除外してもよい。これにより、情報オーバレイ表示機能は、照合をより正確に行うことが可能となる。

［４−３．関係情報のオーバレイ表示］
図６は、携帯端末４が備えるディスプレイ４ａにおけるオーバレイ表示を示した模式図である。

情報オーバレイ表示機能は、抽出文字要素と看板データベース６０との照合によって、抽出文字要素に対応する関係情報を看板データベース６０から取得すると、一例として、図６に示されるように、関係情報が表示されたポップアップ６６をオーバレイ表示する。ポップアップ６６は、抽出文字要素が取得された看板６４Ａ〜６４Ｅに対応するように表示される。すなわち、ユーザは、興味のある店舗の看板等をカメラ４ｄで撮像してディスプレイ４ａに表示させるだけで、その看板（店舗）に関係する関係情報がポップアップ６６でオーバレイ表示されるので、容易に看板（店舗）に関する情報を得ることができる。ポップアップ６６に表示される関係情報は、予めユーザが選択して設定できる。また、オーバレイ表示される情報として、ユーザが向いている方向及びユーザの位置が表示されてもよい。

なお、情報オーバレイ表示機能は、撮像データが更新され、新たな看板が被写体として撮像される毎にリアルタイムでポップアップ６６によるオーバレイ表示を更新する。

［５．携帯端末の情報オーバレイ表示機能に関する機能ブロック図］
図７は、本実施形態に係る携帯端末４の情報オーバレイ表示機能に関する機能ブロック図である。携帯端末４が備える主制御部４０は、文字要素取得部７０、照合指示送信制御部７２、照合結果受信制御部７４、及びオーバレイ表示制御部７６を備える。主制御部４０が備える各機能によって実行される処理は、補助記憶部４４に記憶されているプログラムによって実現される。

文字要素取得部７０は、カメラ４ｄが撮像した被写体を示す撮像データから抽出した抽出文字要素と共に、抽出文字要素の特徴を示す抽出特徴要素を取得する。また、文字要素取得部７０は、カメラ４ｄによって連続的に撮像された撮像データから、移動していない文字と移動している文字を撮像データから区別して抽出する。

照合指示送信制御部７２は、文字要素取得部７０によって取得された抽出文字要素や抽出特徴要素、位置情報取得部４８によって取得された位置情報等、看板データベース６０との照合に必要な情報を照合指示と共にサーバ３へ送信するように通信部４６を制御する。照合指示は、上記各種情報と看板データベース６０との照合をサーバ３に行わせるためのものであり、照合指示を送信する携帯端末４を特定するための情報も含まれる。

照合結果受信制御部７４は、通信部４６を介してサーバ３から受信した照合結果を主記憶部４２の所定の記憶領域に記憶させる。照合結果は、サーバ３の照合により看板データベース６０から取得された関係情報や被写体を撮像したユーザが向いている方向及びユーザの位置の情報、又は照合ができなかった旨を示す情報である。

オーバレイ表示制御部７６は、撮像データにより示される画像と共に、サーバ３から受信した関係情報をオーバレイ表示するようにディスプレイ４ａの表示を制御する。

［６．サーバの情報オーバレイ表示機能に関する機能ブロック図］
図８は、本実施形態に係るサーバ３の情報オーバレイ表示機能に関する機能ブロック図である。サーバ３が備えるＣＰＵ２０は、照合指示受信制御部８０、照合部８２、関係情報取得部８４、撮影場所特定部８６、及び照合結果送信制御部８８を備える。ＣＰＵ２０が備える各機能によって実行される処理は、ＨＤＤ２６に記憶されているプログラムによって実現される。

照合指示受信制御部８０は、外部インタフェース３２を介して携帯端末４から照合指示を受信すると、照合指示と共に受信した看板データベース６０との照合に必要な情報をＲＡＭ２４又はＨＤＤ２６の所定の記憶領域に記憶させる。

照合部８２は、携帯端末４から受信した抽出文字要素、複数の抽出文字要素の位置関係、及び抽出特徴要素と看板データベース６０とを照合する。

関係情報取得部８４は、抽出文字要素に一致する実在文字６２に関係する関係情報を看板データベース６０から取得する。

撮影場所特定部８６は、抽出文字要素の位置関係に基づいて、被写体を撮像したユーザが向いている方向及びユーザの位置の少なくとも一方を特定する。

照合結果送信制御部８８は、取得した関係情報や特定したユーザが向いている方向及びユーザの位置を携帯端末４へ送信するように外部インタフェース３２を制御する。

［７．情報オーバレイ表示処理のフロー］
図９は、携帯端末４が備える主制御部４０によって実行される情報オーバレイ表示処理の流れを示すフローチャートである。情報オーバレイ表示処理を実行するためのプログラムは補助記憶部４４の所定領域に予め記憶されている。

まず、ステップ１００では、カメラ４ｄによる撮像が行われる。このときの被写体は、街に存在している看板等を含むものである。

次のステップ１０２では、携帯端末４に対してユーザによる看板情報の取得操作が行われたか否かを文字要素取得部７０が判定し、肯定判定の場合はステップ１０４へ移行し、否定判定の場合はステップ１００へ戻る。看板情報の取得操作とは、情報表示システム１に対してユーザが情報オーバレイ表示機能を実行させるためのものであり、一例として、ディスプレイ４ａに表示される所定のボタンをクリックする操作である。

ステップ１０４では、撮像データからの抽出文字要素等の取得を文字要素取得部７０が行う。

次のステップ１０６では、照合指示と共に抽出文字要素等をサーバ３へ送信するように、照合指示送信制御部７２が通信部４６を制御する。

次のステップ１０８では、サーバ３から照合結果を受信したか否かを照合結果受信制御部７４が判定し、肯定判定の場合はステップ１１０へ移行する。

ステップ１１０は、サーバ３から受信した関係情報等をオーバレイ表示制御部７６がディスプレイ４ａにオーバレイ表示させる。

図１０は、サーバ３が備えるＣＰＵ２０によって実行される情報オーバレイ表示処理の流れを示すフローチャートである。情報オーバレイ表示処理を実行するためのプログラムはＨＤＤ２６の所定領域に予め記憶されている。

ステップ２００では、照合指示と共に抽出文字要素等を携帯端末４から受信したか否かを照合指示受信制御部８０が判定し、肯定判定の場合はステップ２０２へ移行する。

ステップ２０２では、抽出文字要素等と看板データベース６０との照合を照合部８２が行う。

ステップ２０４では、抽出文字要素に一致する実在文字に関係する関係情報を関係情報取得部８４が看板データベース６０から取得する。

次のステップ２０６では、照合結果である関係情報等を携帯端末４へ送信するように、照合結果送信制御部８８が外部インタフェース３２を制御する。

以上説明したように、本実施形態に係る情報表示システム１は、街中に存在する文字である実在文字及び実在文字に関係する関係情報を含む看板データベース６０をサーバ３が記憶する。そして、情報表示システム１は、携帯端末４が備えるカメラ４ｄが撮像した被写体を示す撮像データから抽出した抽出文字要素を取得し、抽出文字要素に一致する実在文字に関係する関係情報を看板データベース６０から取得し、撮像データにより示される画像と共に関係情報を携帯端末４が備えるディスプレイ４ａに表示する。

このように、情報表示システム１は、看板等の被写体に表記されている文字を抽出し、看板データベース６０と照合することで被写体を特定し、その情報を携帯端末４のディスプレイ４ａにオーバレイ表示する。従って、情報表示システム１は、ユーザに対して特別な操作を要求することなく、より簡易に被写体に関する情報を実画像に重ねてディスプレイ４ａに表示できる。

［８．他の実施形態］
以上、本発明を、上記実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本発明の技術的範囲に含まれる。

例えば、上記実施形態では、情報オーバレイ表示機能を行う情報処理装置をサーバ３及び携帯端末４とする形態について説明したが、本発明は、これに限定されるものではなく、携帯端末４が看板データベース６０の全て又は一部を記憶し、携帯端末４によってのみ情報オーバレイ表示機能が行われてもよい。また、携帯端末４が備える機能の一部をサーバ３が備える形態としてもよい。例えば、サーバ３が文字要素取得部７０を備え、携帯端末４が文字要素の抽出の対象となる撮像データをサーバ３へ送信する形態としてもよい。

また、上記実施形態では、撮像データはシャッターボタンを押すことなく行われる形態について説明したが、本発明は、これに限定されるものではない。例えば、ユーザがシャッターボタンを押すことで、撮像データを静止画として取得し、この静止画に対して抽出文字要素の取得が行われる形態でもよい。

また、上記実施形態では、看板データベース６０に含まれる複数の実在文字の位置関係を数値で表す形態について説明したが、本発明は、これに限定されるものではない。例えば、複数の実在文字の位置関係を上下及び左右等の方向で表す形態としてもよい。この形態に場合、複数の抽出文字要素の位置関係も上下及び左右等の方向で表される。

３ サーバ（被写体特定情報処理装置）
４ 携帯端末（被写体特定情報処理装置）
４ａ ディスプレイ
４８ 位置情報取得部（位置情報取得手段）
６０ 看板データベース（データベース）
７０ 文字要素取得部（文字要素取得手段）
８２ 照合部（照合手段）
８４ 関係情報取得部（関係情報取得手段）
８６ 撮影場所特定部（撮像場所特定手段）

Claims (8)

1. カメラが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する文字要素取得手段と、
   街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含むデータベースと前記抽出文字要素とを照合する照合手段と、
   前記抽出文字要素に一致する前記実在文字に関係する前記関係情報を前記データベースから取得する関係情報取得手段と、
   前記撮像データにより示される画像と共に、前記関係情報取得手段によって取得された前記関係情報をディスプレイに表示させる表示制御手段と、
   を備える被写体特定情報処理装置。
2. 前記データベースは、複数の前記実在文字の位置関係を含み、
   前記照合手段は、複数の前記抽出文字要素の位置関係と複数の前記実在文字の位置関係との同一性を照合する
   請求項１記載の被写体特定情報処理装置。
3. 複数の前記抽出文字要素の前記位置関係に基づいて、前記被写体を撮像したユーザが向いている方向及びユーザの位置の少なくとも一方を特定する撮像場所特定手段
   を備える請求項２記載の被写体特定情報処理装置。
4. 前記データベースは、前記実在文字と共に前記実在文字の特徴を示す実在特徴要素を含み、
   前記文字要素取得手段は、前記抽出文字要素と共に前記抽出文字要素の特徴を示す抽出特徴要素を取得し、
   前記照合手段は、前記抽出文字要素及び前記抽出特徴要素と前記実在文字及び前記実在特徴要素との同一性を照合する
   請求項１から請求項３の何れか１項記載の被写体特定情報処理装置。
5. 前記カメラは、前記被写体を連続的に撮像し、
   前記文字要素取得手段は、連続的に前記被写体を撮像した複数の前記撮像データから、移動していない前記文字と移動している前記文字を区別して抽出し、
   前記照合手段は、移動している前記文字を示す前記抽出文字要素を前記照合から除外する
   請求項１から請求項４の何れか１項記載の被写体特定情報処理装置。
6. 自身の位置を示す位置情報を取得する位置情報取得手段
   を備え、
   前記データベースは、前記実在文字が存在する地域を示す地域要素を含み、
   前記照合手段は、前記位置情報に対応する前記地域要素を有する前記実在文字と前記抽出文字要素とを照合する
   請求項１から請求項５の何れか１項記載の被写体特定情報処理装置。
7. カメラが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する第１工程と、
   街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含むデータベースと前記抽出文字要素とを照合する第２工程と、
   前記抽出文字要素に一致する前記実在文字に関係する前記関係情報を前記データベースから取得する第３工程と、
   前記撮像データにより示される画像と共に、前記第３工程によって取得された前記関係情報をディスプレイに表示する第４工程と、
   を有する被写体特定情報処理装置の制御方法。
8. コンピュータを、
   カメラが撮像した被写体を示す撮像データから抽出した文字である抽出文字要素を取得する文字要素取得手段と、
   街中に存在する文字である実在文字及び該実在文字に関係する関係情報を含むデータベースと前記抽出文字要素とを照合する照合手段と、
   前記抽出文字要素に一致する前記実在文字に関係する前記関係情報を前記データベースから取得する関係情報取得手段と、
   前記撮像データにより示される画像と共に、前記関係情報取得手段によって取得された前記関係情報をディスプレイに表示させる表示制御手段と、
   して機能させるための被写体特定情報処理装置の制御プログラム。

Images