JP2016143247A - 情報処理装置、制御方法、及びプログラム - Google Patents

Abstract

【課題】現実の被写体に対応して記憶された関連情報の中から、実際にその被写体との関連がある情報を選択的に表示させること。【解決手段】情報処理装置は、撮像画像を取得し、情報装置から所定の範囲に存在する装置であって、撮像画像の被写体に関連する情報を記憶装置に登録することが可能な装置の識別子を取得し、取得された識別子に関連して記憶装置に記憶された情報を取得し、取得された情報を、撮像画像に合成する。【選択図】 図８

Description

本発明は、撮像画像内の被写体に関連する情報をその撮像画像に付加して表示する技術に関する。

デジタルカメラ又は携帯電話等で撮像した現実環境の画像中に、人物や物体などの被写体に関連する属性情報を合成して表示する、拡張現実感（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が実現されている。例えば、特許文献１には、撮像画像に対して、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等による位置情報から現実空間と仮想空間との対応を判定し、仮想空間と撮像画像とを重畳させて表示する技術が記載されている。また、特許文献２には、人物の顔や物体の輪郭などの、被写体に関する特徴情報を利用してその被写体を特定し、撮像画像中の被写体の近傍にその被写体に関連する情報を合成して表示する技術が記載されている。

特開２０１３−２４２８６５号公報 特開２００２−３０５７１７号公報

被写体に関連する情報は、例えば、サービスの利用者が管理サーバに登録することにより、利用可能とすることができる。しかしながら、このようなサービスの利用者が管理サーバに被写体に関連する情報を登録するシステムでは、特定の利用者が、本来登録されるべきでない情報や誤った情報を登録してしまう場合があった。この結果、他の利用者がこの本来登録されるべきでない又は誤った情報を取得して表示してしまうことにより、サービスの質が低下してしまうという課題があった。

本発明は上記課題に鑑みなされたものであり、現実の被写体に対応して記憶された関連情報の中から、実際にその被写体との関連がある情報を選択的に表示させるための技術を提供することを目的とする。

上記目的を達成するため、本発明の情報処理装置は、撮像画像を取得する第１の取得手段と、前記情報処理装置から所定の範囲に存在する装置であって、前記撮像画像の被写体に関連する情報を記憶手段に登録することが可能な装置の識別子を取得する第２の取得手段と、取得された前記識別子に関連して前記記憶手段に記憶された前記情報を取得する第３の取得手段と、取得された前記情報を、前記撮像画像に合成する合成手段と、を有する。

本発明によれば、現実の被写体に対応して記憶された関連情報の中から、実際にその被写体との関連がある情報を選択的に表示させることができる。

画像表示システムの構成例を示す図。 画像表示装置のハードウェア構成例を示すブロック図。 画像表示装置の機能構成例を示すブロック図。 利用者が他の利用者の関連情報を参照している状態を示す概念図。 利用者が他の利用者の関連情報を参照している状態を示す概念図。 利用者が他の利用者の関連情報を参照している状態を示す概念図。 統計情報の構成例を示す図。 画像表示システムで行われる処理の流れの例を示すシーケンス図。 画像表示システムで行われる処理の流れの例を示すシーケンス図。 画像表示システムで行われる処理の流れの例を示すシーケンス図。 画像表示装置が実行する処理の流れの例を示すフローチャート。 画像表示装置が実行する処理の流れの例を示すフローチャート。 画像表示装置が実行する処理の流れの例を示すフローチャート。 画像表示システムで行われる処理の流れの別の例を示すシーケンス図。 画像表示装置が実行する処理の流れの別の例を示すフローチャート。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

（システム構成）
図１に、本実施形態に係る画像表示システムの構成例を示す。本実施形態において、第１の画像表示装置１０は、撮像機能、表示機能、及び無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等による通信機能を有する。なお、無線ＬＡＮによる通信機能は、例えば、ＩＥＥＥ８０２．１１規格に準拠する通信機能である。ここで、通信機能は、無線ＬＡＮによる通信機能でなくてもよく、少なくとも撮像機能によって撮像される範囲に存在する、他の装置に関する後述の識別子を取得できるような機能であれば足りる。例えば、通信機能は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＲＦＩＤ、などの他の無線通信規格を利用してもよい。第１の画像表示装置１０は、例えば、デジタルカメラ、デジタルビデオカメラ、携帯電話、スマートフォン、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノートＰＣ等でありうる。

また、第１の画像表示装置１０は、被写体となるオブジェクトの特徴情報に基づいて、撮像画像中からそのオブジェクトを特定する機能等を有する情報処理装置でもある。第１の画像表示装置１０は、特定した被写体に関連する情報（属性情報）を、撮像画像中の被写体の近傍に重ね合わせて表示する。本実施形態では、特に言及のない限りは、第１の画像表示装置１０が被写体として撮像するオブジェクト（被写体）は第２の利用者２１であるものとする。図１では、第１の画像表示装置１０が第２の利用者２１に関する特徴情報に基づいて、撮像画像中から第２の利用者２１を特定する関係が二点鎖線矢印で示されている。なお、第１の利用者１１は、第１の画像表示装置１０を所有する利用者である。

第２の画像表示装置２０及び第３の画像表示装置３０は、第１の画像表示装置１０と同様の画像表示装置であり、また、情報処理装置である。また、第２の利用者２１は、第２の画像表示装置２０を所有する利用者であり、第３の利用者３１は、第３の画像表示装置３０を所有する利用者である。第２の画像表示装置２０及び第３の画像表示装置３０は画像表示装置でなくてもよく、通信機能によって利用者の属性情報を管理装置（記憶装置）に登録することが可能で、かつ、それぞれが対応する利用者の近傍に存在することが想定される装置であれば足りる。なお、第２の利用者２１及び第３の利用者３１は、人物である必要はなく、物体であってもよい。すなわち、利用者と画像表示装置との関係は、物体と通信によって少なくともその物体に関する属性情報を管理装置（記憶装置）に登録可能な装置との組み合わせの関係によって置き換えられてもよい。利用者が物体に置き換えられる場合であっても、その属性情報が対応する装置から登録されていればよい。

なお、本実施形態では、第１の画像表示装置１０、第２の画像表示装置２０及び第３の画像表示装置３０には、それぞれの装置を特定することを可能とする一意の識別子が割り当てられている。なお、この識別子は、装置を識別するものでなく、その装置に対応する（その装置を所有する）利用者又は物体を一意に識別するための情報であってもよい。すなわち、１人の利用者が複数の装置に対応付けられている（複数の装置を所有している）場合は、それらの装置に対しては、同一の識別子が割り当てられていてもよい。この識別子は、無線ＬＡＮ通信における、ＩＥＥＥ８０２．１１規格で規定されたビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として、他の装置に通知されうる。なお、識別子は、対応する装置の位置情報と第１の画像表示装置１０の位置情報との関係に基づいて、第１の画像表示装置１０の近傍、例えば撮像機能による撮像範囲に存在する装置に関するものが、第１の画像表示装置１０に通知されるようにしてもよい。図１では、第１の画像表示装置１０、第２の画像表示装置２０及び第３の画像表示装置３０が、他の装置の識別子を取得する関係が破線矢印で示されている。

無線ＡＰ４０は、第１の画像表示装置１０、第２の画像表示装置２０及び第３の画像表示装置３０における無線ＬＡＮ通信を中継する無線アクセスポイントである。ネットワーク５０は、無線ＡＰ４０、及び管理サーバ６０が接続するネットワークである。ネットワーク５０は、例えば、有線ＬＡＮ、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等でありうる。なお、第１の画像表示装置１０、第２の画像表示装置２０及び第３の画像表示装置３０は、各装置間において直接、または無線ＡＰ４０を経由して通信することができる。各装置は、直接通信する場合、例えば、無線ＬＡＮ通信機能におけるアドホックモードを用いる。また、各装置は、無線ＡＰ４０を経由して通信する場合、例えば、無線ＬＡＮ通信機能におけるインフラモードを利用する。図１では、このインフラモードまたはアドホックモードを用いた通信が実線矢印で示されている。 管理サーバ６０は、各装置に割り当てられた識別子、各装置に対応する利用者又は物体に関する属性情報、及び被写体となる利用者または物体を撮像画像中から被写体として特定するための画像の特徴情報を関連付けて記憶し、管理する。なお、本実施形態では、管理サーバ６０は、第１の利用者１１に関して、第１の利用者１１を特定するための画像の特徴情報である第１の特徴情報と、その第１の特徴情報を有する被写体に対応させてその被写体の近傍に表示されうる第１の属性情報とを管理する。同様に、管理サーバ６０は、第２の利用者２１に関して、第２の特徴情報及び第２の属性情報を管理し、第３の利用者３１に関して、第３の特徴情報及び第３の属性情報を管理する。なお、本実施形態では、第３の利用者３１が、第２の利用者２１を撮像してその画像の特徴を第３の特徴情報とすると共に、関連する情報として第３の属性情報を管理サーバ６０に登録したものとする。したがって、第２の特徴情報と第３の特徴情報とは、互いに一致又は類似しているものとする。

以上のような構成により、第１の画像表示装置１０は、例えば、属性情報を登録することが可能な装置のうち、近傍に存在する装置の識別子を取得し、その識別子を取得できたものが登録した属性情報のみを選択的に取得することができる。したがって、ある被写体に対して、本来関係しない第三者が登録した情報については、その第三者が近傍に存在しない限りは、選択的な表示の対象外とすることができる。

（画像表示装置の構成例）
次に、本実施形態に係る画像表示装置の構成例について詳細に説明する。図２に、本実施形態に係る第１の画像表示装置１０のハードウェア構成例を示す。なお、第２の画像表示装置２０及び第３の画像表示装置３０も、第１の画像表示装置１０と同様の構成でありうる。なお、ここでの第２の画像表示装置２０及び第３の画像表示装置３０は、上述のように、人物又は物体に関連する属性情報を管理サーバ６０に登録可能な装置であればよく、必ずしも、第１の画像表示装置１０と同様の構成を有しなくてもよい。

図２において、ＣＰＵ２０１は、第１の画像表示装置１０全体を制御する、１つ以上の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＲＯＭ２０２は、変更を必要としないプログラムやパラメタを格納し、ＣＰＵ２０１とデータ通信可能な読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。ＲＡＭ２０３は、補助記憶装置などから供給されるプログラムやデータを一時記憶し、ＣＰＵ２０１とデータ通信可能なランダムアクセスメモリである。

補助記憶装置２０４は、撮像部２０５で撮像した画像や動画などをコンテンツデータとして記憶する記憶装置であり、例えば、メモリカード、ハードディスク等である。撮像部２０５は、例えば、被写体となる対象物からレンズを通して入力された光を、アナログ信号データからデジタル信号データへ変換して、撮像画像のＲＡＷデータを生成する。画像処理プロセッサ２０６は、例えば、撮像画像のＲＡＷデータに対して、補完、色空間変換、ガンマ特性変換などの様々な画像補正処理を適用し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを生成する。なお、本実施形態では、撮像画像データはＪＰＥＧデータ形式であるものとするが、これに限られず、ビットマップデータ、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）データ等の、他の画像データ形式が用いられてもよい。また、画像処理プロセッサ２０６は、画像の特徴情報に基づき、撮像画像中の被写体となる被写体の画像認識処理を行い、撮像画像中の被写体を特定する。さらに、画像処理プロセッサ２０６は、被写体に関する属性情報を、撮像画像中の被写体の近傍に重ね合わせた合成画像を生成する。

表示部２０７は、第１の利用者１１が第１の画像表示装置１０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。また、表示部２０７は、画像処理プロセッサ２０６において生成された撮像画像及び合成画像を表示する。操作部２０８は、第１の利用者１１が第１の画像表示装置１０を操作するための入力インタフェースである。無線ＬＡＮ通信部２０９は、アンテナ２１０を制御して、無線ＡＰ４０、又は、第２の画像表示装置２０若しくは第３の画像表示装置３０との無線通信を行う。なお、表示部２０７及び操作部２０８は、例えばタッチパネルなどにより、１つの装置として構成されてもよい。同様に、上述の他の機能部も、１つの装置によって構成されてもよいし、さらに分割されて複数の装置によって構成されてもよい。

図３に、本実施形態に係る第１の画像表示装置１０の機能構成例を示す。図３において、制御部３０１は、第１の画像表示装置１０の機能全体（３０２〜３１６）の制御を行う。無線ＬＡＮ通信制御部３０２は、無線ＬＡＮ通信部２０９を制御して、無線ＡＰ４０、又は、第２の画像表示装置２０若しくは第３の画像表示装置３０との無線通信のための制御を行う。撮像制御部３０３は、撮像部２０５を制御し、被写体を含む所定の範囲を対象として撮像を行う。また、撮像制御部３０３は、撮像画像を、画像コンテンツデータとして、記憶制御部３０６を介して、補助記憶装置２０４に記憶する。表示制御部３０４は、表示部２０７を制御して、第１の画像表示装置１０におけるＧＵＩの表示制御を行う。また、表示制御部３０４は、撮像画像や合成画像の表示制御を行う。操作制御部３０５は、操作部２０８を制御し、第１の画像表示装置１０における第１の利用者１１からの操作入力制御を行う。記憶制御部３０６は、補助記憶装置２０４を制御し、画像コンテンツデータや動画コンテンツデータを記憶する。

識別子通知部３０７は、無線ＬＡＮ通信制御部３０２を制御して（無線ＬＡＮ通信部２０９を介して）、周囲の装置から送信された識別子取得要求を受信し、第１の画像表示装置１０に割り当てられた一意の識別子の情報を送信する。識別子通知部３０７は、例えば、無線ＬＡＮ通信制御部３０２を制御して、ＩＥＥＥ８０２．１１規格におけるプローブ・レスポンス・フレームにより、第１の画像表示装置１０の識別子を周囲の装置へ送信する。識別子取得部３０８は、無線ＬＡＮ通信制御部３０２を制御して、周囲の装置に対して識別子の取得を要求する。識別子取得部３０８は、例えば、無線ＬＡＮ通信制御部３０２を制御して、ＩＥＥＥ８０２．１１規格におけるプローブ・リクエスト・フレームをブロードキャストで送信する。そして、識別子取得部３０８は、無線ＬＡＮ通信制御部３０２を介して、周囲の装置が通知した識別子の情報を取得する。

特徴情報取得部３０９は、無線ＬＡＮ通信制御部３０２を介して、識別子取得部３０８が取得した識別子に対応付けられて記憶されている被写体の特徴情報を、管理サーバ６０から取得する。属性情報取得部３１０は、無線ＬＡＮ通信制御部３０２を介して、識別子取得部３０８が取得した識別子対応付けられて記憶されている被写体の属性情報を、管理サーバ６０から取得する。すなわち、特徴情報取得部３０９及び属性情報取得部３１０は、識別子取得部３０８が取得した識別子に対応する周囲の装置に関連付けられた情報のみを取得する。これにより、周囲に存在する他の装置とは異なる装置によって登録された情報は取得されないこととなる。

オブジェクト特定部３１１は、画像処理プロセッサ２０６を制御し、特徴情報取得部３０９が取得した識別子に対応付けられて記憶されている被写体の特徴情報に基づき、撮像制御部３０３から取得した撮像画像中に含まれている被写体を特定する。画像合成部３１２は、撮像画像に含まれており、オブジェクト特定部３１１によって特定された被写体に関する属性情報を、撮像制御部３０３によって得られた撮像画像に重ねあわせて合成画像を生成する。なお、画像合成部３１２は、例えば、属性情報を、撮像画像中の、オブジェクト特定部３１１によって特定された被写体の近傍に重ね合わせる。

同一オブジェクト特定判断部３１３は、画像処理プロセッサ２０６を制御し、特徴情報取得部３０９において取得した複数の特徴情報に関してオブジェクト特定部３１１において被写体を特定した際、同一の被写体が特定されたか否かを判断する。すなわち、同一オブジェクト特定判断部３１３は、撮像画像中の特定の被写体に一致又は類似する特徴情報が複数個存在するか否かを判断する。統計情報取得部３１４は、無線ＬＡＮ通信制御部３０２を介して、識別子取得部３０８が取得した識別子に基づいて、管理サーバ６０から特徴情報に基づいた被写体特定に関する統計情報７００を取得する。統計情報７００は、１つの被写体に複数の特徴情報が一致又は類似する場合に、いずれの特徴情報に関連する属性情報を撮像画像に合成するかを判定するのに用いられる情報である。なお、統計情報取得部３１４は、同一オブジェクト特定判断部３１３が、１つの被写体に複数の特徴情報が一致又は類似する場合に、その複数の特徴情報に対応する統計情報７００を取得するようにしてもよい。ヒット率算出部３１５は、統計情報取得部３１４において取得した統計情報７００に基づき、被写体特定に関するヒット率を算出する。統計情報７００及びヒット率については後述する。

優先順位決定部３１６は、同一オブジェクト特定判断部３１３において同一の被写体を特定した複数の特徴情報に対して、ヒット率算出部３１５において算出した被写体特定に関するヒット率に基づいて、優先順位を決定する。そして、優先順位決定部３１６は、画像合成部３１２に対して、優先順位が最も高い特徴情報に関連する属性情報を用いた合成画像の生成を指示する。オブジェクト特定結果送信部３１７は、無線ＬＡＮ通信制御部３０２を介して、オブジェクト特定部３１１または優先順位決定部３１６における被写体特定に関する結果を、管理サーバ６０に送信する。

図７に、本実施形態に係る統計情報７００の構成例を示す。統計情報７００は、被写体特定に関する結果を、識別子に関する被写体の特徴情報ごとに集計した情報である。登録日７０１は、特徴情報が管理サーバ６０に登録された日時である。更新日７０２は、利用者などによって特徴情報の内容が更新された日時である。総特定数７０３は、登録日７０１から、その特徴情報に基づいて被写体が特定されたトータルの回数である。総特定数７０３は、オブジェクト特定結果送信部３１７によって送信された被写体特定に関する結果に基づいて集計される。更新後特定数７０４は、更新日７０２から、その特徴情報に基づいて被写体が特定された回数である。更新後特定数７０４も、総特定数７０３と同様に集計される。警告数７０５は、その特徴情報に一致又は類似する他の特徴情報が存在した回数である。警告数７０５も、オブジェクト特定結果送信部３１７によって通知された情報に基づいて特定される。

本実施形態では、ヒット率は、被写体の特定にその特徴情報が用いられた回数に関し、例えば、図７に示す総特定数７０３又は更新後特定数７０４に基づいて算出される。また、ヒット率は、例えば、総特定数７０３又は更新後特定数７０４の値そのものでありうる。なお、ヒット率は、図７の、登録日７０１、更新日７０２、総特定数７０３、更新後特定数７０４、及び警告数７０５の任意の組み合わせに基づいて算出されてもよい。なお、特徴情報が被写体の特定に用いられた回数ではなく、その特徴情報に関連する属性情報が撮像画像に合成された回数に応じてヒット率が定められてもよい。

（処理の概要）
続いて、上述の画像表示システムにおける処理の概要について説明する。図４は、第１の利用者１１が、第２の利用者２１の属性情報を参照している状態を示す概念図である。図４の例では、第１の利用者１１は、第１の画像表示装置１０を用いて、被写体である第２の利用者２１を撮像する。第１の画像表示装置１０は、第２の特徴情報及び第３の特徴情報を管理サーバ６０から取得する。ここで、第２の特徴情報及び第３の特徴情報が一致又は類似しているとすると、撮像画像中の被写体特定の結果、第２の利用者２１の撮像画像２２に対して、第２の特徴情報及び第３の特徴情報が合致（ヒット）する。このため、第１の画像表示装置１０は、図４に示すように、撮像画像における第２の利用者２１の近傍に、第２の属性情報及び第３の属性情報の両方を表示してしまう。この問題は、例えば第３の利用者３１が第２の利用者２１の情報を誤登録してしまった場合などに生じうる。また、相異なる被写体（第２の利用者２１及び第３の利用者３１）が偶然類似する特徴情報を有する場合にも、同様の問題が生じうる。

これに対して、本実施形態に係る第１の画像表示装置１０は、第１の画像表示装置１０から所定の範囲に存在する他の装置（第２の画像表示装置２０又は第３の画像表示装置３０）から、それぞれ識別子を取得する。なお、この所定の範囲は、例えば、第１の画像表示装置１０が、直接又は１つ若しくは所定数の他の装置（ＡＰ）のみを介して無線通信可能な範囲でありうる。また、所定の範囲は、例えば、第１の画像表示装置１０が撮像する範囲に関する範囲（例えば、その画角に対応する範囲、又は、画角とその周辺を含む所定の範囲）でありうる。そして、第１の画像表示装置１０は、識別子を取得できた装置が登録した特徴情報及び属性情報のみを取得し、取得した特徴情報を用いた被写体特定と、属性情報の合成とを行う。

ここで、例えば、第２の利用者２１に対して、第２の画像表示装置２０が第２の特徴情報を登録し、第３の画像表示装置３０が第３の特徴情報を登録したものとする。この場合、第２の利用者２１の周囲には第２の画像表示装置２０は存在しても、第３の画像表示装置３０は存在しないことが多いと考えられる。したがって、まず、第１の画像表示装置１０は、第２の利用者２１の周囲に第３の画像表示装置３０が存在しなければ、第３の特徴情報を用いた被写体特定は行わないこととなる。この結果、第１の画像表示装置１０において、第２の利用者２１の属性情報としては適切でない第３の属性情報が表示される確率を大幅に抑えることが可能となる。

また、その結果、第３の特徴情報が被写体特定に用いられる回数の増加速度は、第２の特徴情報が被写体特定に用いられる回数の増加速度に比べて遅くなる。したがって、統計的に、第２の特徴情報が被写体特定に用いられる回数が、第３の特徴情報が被写体特定に用いられる回数より多くなる。このため、仮に第２の利用者２１の周囲に第３の画像表示装置３０が存在したとしても、図５のように、第３の画像表示装置３０が登録した第３の特徴情報の統計情報に基づいて、第３の属性情報が表示されることが防止される。

（処理の流れ）
続いて、本実施形態に係る処理の流れについて説明する。図８は、第１の画像表示装置１０が、第２の利用者２１を撮像し、第２の利用者２１を被写体として特定するまでの処理の流れの例を示すシーケンス図である。まず、第１の画像表示装置１０は、Ｍ８０１において、第２の利用者２１を被写体として撮像を行い、撮像画像を画像コンテンツデータとして記憶する。続いて、第１の画像表示装置１０は、Ｍ８０２及びＭ８０３において、周囲の装置に対して各装置の識別子の取得要求を送信する。ここでは、周囲の装置として、第２の画像表示装置２０及び第３の画像表示装置３０が存在し、この識別子の取得要求を受信するが、いずれか一方のみが第１の画像表示装置１０の周囲に存在して識別子の取得要求を受信するのであってもよい。

第２の画像表示装置２０は、識別子の取得要求を受信すると、Ｍ８０４において、第１の画像表示装置１０に対して、第２の画像表示装置２０に割り当てられた第２の識別子を送信する。同様に、第３の画像表示装置３０は、識別子の取得要求を受信すると、Ｍ８０５において、第１の画像表示装置１０に対して、第３の画像表示装置３０に割り当てられた第２の識別子を送信する。

第１の画像表示装置１０は、周囲の装置から識別子を受信すると、Ｍ８０６及びＭ８０９において、管理サーバ６０に、受信した識別子に関連付けられて記憶された被写体の特徴情報の取得要求を送信する。なお、図８の場合では、第１の画像表示装置１０は、周囲に第２の画像表示装置２０及び第３の画像表示装置３０が存在するため、それぞれの識別子に関連付けられて記憶された被写体の特徴情報（第２の特徴情報及び第３の特徴情報）の取得要求を送信する。

ここで、第１の画像表示装置１０の周囲に、第２の画像表示装置２０しか存在しない場合は、第３の画像表示装置３０の識別子に関連する第３の特徴情報に対する取得要求は送信されないこととなる。これにより、第２の利用者２１を撮像した場合に、第３の画像表示装置３０を所有する第３の利用者３１が存在しなければ、（例えば誤って登録された）第２の利用者２１に関する第３の特徴情報によって、第２の利用者２１が特定されることはなくなる。そして、このときには、第３の特徴情報に関連付けられて登録された第３の属性情報が、撮像画像に合成されて表示されることもなくなる。これにより、撮像画像中の、被写体に関連する（例えは被写体が所有する）装置であって、その装置が登録した特徴情報以外の特徴情報を被写体の特定から除外することにより、誤った属性情報が撮像画像に合成されて表示されることを防ぐことが可能となる。

一方、図８の例では、第１の画像表示装置１０は、周囲に第２の画像表示装置２０及び第３の画像表示装置３０が存在するため、Ｍ８０７及びＭ８１０において、管理サーバ６０から、第２の特徴情報及び第３の特徴情報を取得することとなる。ここで、上述したように、第２の特徴情報及び第３の特徴情報は、共に第２の利用者２１に関する特徴情報であるから、互いに一致又は類似した情報であり、かつ、これらのいずれの情報によっても第２の利用者２１を特定することが可能である。このため、第１の画像表示装置１０は、Ｍ８０８及びＭ８１１において、第２の特徴情報と第３の特徴情報とのいずれによっても、第２の利用者２１を特定することとなる。なお、上述のＭ８０６〜Ｍ８０８とＭ８０９〜Ｍ８１１の処理は実行される順序が逆であってもよいし、例えば、Ｍ８０６とＭ８０９とが同時または略同時に行われ、その他の処理は、他の装置からの応答が到来したタイミングに応じて行われてもよい。

続いて、第１の画像表示装置１０は、被写体として、第２の利用者２１を特定した後に、複数の特徴情報がその被写体の特徴に類似又は一致したかを判定し、類似又は一致した場合に、その複数の特徴情報の優先順位の決定処理を行う。この処理の流れを図９に示す。図９は、第１の画像表示装置１０が、被写体（第２の利用者２１）を特定した後に、特徴情報の優先順位を決定するまでの処理の流れの例を示すシーケンス図である。

第１の画像表示装置１０は、Ｍ９０１において、第２の特徴情報及び第３の特徴情報で特定した被写体が同一であるかを判定する。すなわち、複数の特徴情報によって、１つの被写体が特定されたかが判定される。ここで、１つの特徴情報のみによって被写体が特定されている場合は、図９において、これ以上の処理は行われない。すなわち、統計情報の取得、ヒット率の算出及び優先順位の決定は行われない。処理の対象となる特徴情報が１つしかなく、優先順位を決定するまでもなく、その特徴情報に関連する属性情報が表示されることとなるからである。

一方、本実施形態では、Ｍ８０８及びＭ８１１において、第２の特徴情報及び第３の特徴情報によって同一の第２の利用者２１が特定されているため、特定された被写体が同一であると判定される。このため、第１の画像表示装置１０は、Ｍ９０２及びＭ９０５において、管理サーバ６０に、第２の特徴情報及び第３の特徴情報のそれぞれに基づいた被写体特定に関する統計情報の取得要求を送信する。そして、第１の画像表示装置１０は、Ｍ９０３及びＭ９０６において、管理サーバ６０から、第２の特徴情報に基づく被写体特定に関する第２の統計情報と、第３の特徴情報に基づく被写体特定に関する第３の統計情報とを取得する。そして、第１の画像表示装置１０は、Ｍ９０４及びＭ９０７において、取得した第２の統計情報及び第３の統計情報のそれぞれに基づいて、第２の特徴情報及び第３の特徴情報のそれぞれに基づく被写体特定に関する第２のヒット率及び第３のヒット率を算出する。

ここでは、例えば、特徴情報の登録後または更新後にその特徴情報を用いて被写体が特定された回数に応じて、ヒット率が算出される。例えば、特徴情報の登録後または更新後にその特徴情報を用いて被写体が特定された回数そのものがヒット率として用いられてもよい。また、特徴情報の登録後または更新後にその特徴情報を用いて被写体が特定された回数から、複数の特徴情報によって１つの被写体が特定された回数を減じた値がヒット率として算出されてもよい。さらに、複数の特徴情報によって１つの被写体が特定された回数のうち、後述する優先順位の決定において、優先順位が高いと判定された回数の比率に応じて、ヒット率が算出されてもよい。いずれの場合においても、統計情報は、このようなヒット率が計算されうるような情報として構成される。なお、第１の画像表示装置１０は、統計情報を取得してヒット率を計算してもよいし、管理サーバ６０が統計情報からヒット率を計算して、第１の画像表示装置１０はそのヒット率を取得するようにしてもよい。すなわち、第１の画像表示装置１０は、統計情報に基づいて後述する優先順位の決定を行うが、統計情報の加工（ヒット率の算出）などについては他の装置が行ってもよい。

なお、上述のＭ９０２〜Ｍ９０４とＭ９０５〜Ｍ９０７とは、処理の順序が逆であってもよいし、Ｍ９０２及びＭ９０５の要求の送信が同時または略同時に実行され、その後の処理は応答を受信したタイミングに応じて実行されてもよい。すなわち、Ｍ９０２〜Ｍ９０７の処理の順序は、図９に示す順序と一致していなくてもよい。

その後、第１の画像表示装置１０は、Ｍ９０８において、Ｍ９０４及びＭ９０７において算出した第２のヒット率と第３のヒット率とを比較し、特徴情報の優先順位を決定する。すなわち、ヒット率が高い特徴情報の優先順位を高く、一方でヒット率が低い特徴情報の優先順位を低く、それぞれ決定する。

ここで、例えばヒット率が特徴情報の登録後または更新後にその特徴情報を用いて被写体が特定された回数そのものであった場合について検討する。第２の利用者２１は第２の画像表示装置２０の所有者であるため、第２の利用者２１が撮像されるときにその撮像装置の周囲に第２の画像表示装置２０が存在する確率は高い。このため、第２の利用者２１を撮像した際に、第２の画像表示装置２０の識別子に関連付けられた第２の特徴情報によって第２の利用者２１が特定される回数（第２のヒット率）が多くなる。一方、第２の利用者２１は、第３の画像表示装置３０の所有者ではなく、第２の利用者２１の撮像時に、第３の利用者３１が第２の利用者２１に接近している場合にのみ、その撮像装置の周囲に第３の画像表示装置３０が存在することとなる。したがって、第３の画像表示装置３０の識別子に関連付けられた第３の特徴情報によって第２の利用者２１が特定される回数（第３のヒット率）は多くないと考えられる。このように、本実施形態では、第２のヒット率の方が、第３のヒット率より高くなる。したがって、以下では、第２のヒット率の方が、第３のヒット率より高く、第２の特徴情報の優先順位が高く決定され、第３の特徴情報の優先順位が低く決定されたものとする。

その後、第１の画像表示装置１０は、図１０のようにして、属性情報の取得、属性情報の撮像画像への合成、及び合成画像の表示を行う。図１０は、第１の画像表示装置１０が、属性情報を取得して撮像画像に合成し、統計情報が更新されるまでの処理の流れの例を示すシーケンス図である。

第１の画像表示装置１０は、Ｍ１００１において、優先順位が高いと決定された第２の特徴情報に関連付けられた第２の属性情報の取得要求を、管理サーバ６０へ送信する。ここで、管理サーバ６０への要求は、第２の特徴情報に関連付けられた第２の画像表示装置２０の識別子が指定されることによって行われうる。そして、第１の画像表示装置１０は、Ｍ１００２において、管理サーバ６０から第２の属性情報を取得する。そして、第１の画像表示装置１０は、Ｍ１００３及びＭ１００４において、管理サーバ６０から取得した第２の属性情報を、撮像画像中の第２の利用者２１の近傍に合成した合成画像を生成し、その合成画像を表示する。

一方、第１の画像表示装置１０は、Ｍ１００５及びＭ１００７において、管理サーバ６０に、Ｍ９０８において優先順位が決定された、第２の特徴情報及び第３の特徴情報による被写体特定結果を送信する。本実施形態では、第２の特徴情報による被写体特定結果は成功であり、第３の特徴情報による被写体特定結果は失敗である。管理サーバ６０は、Ｍ１００６及びＭ１００８において、第２の特徴情報及び第３の特徴情報による被写体特定結果に基づいて、第２の統計情報及び第３の統計情報を更新する。すなわち、管理サーバ６０は、第２の統計情報において、総特定数及び更新後特定数を増加させる。また、管理サーバ６０は、複数の特徴情報が同一の被写体を特定した場合の、その複数の特徴情報による特定成功数と特定失敗数とを管理してもよい。この場合、第２の統計情報の、複数の特徴情報が同一の被写体を特定した場合の特定成功数を１増加させ、第３の統計情報の、複数の特徴情報が同一の被写体を特定した場合の特定失敗数を１増加させてもよい。なお、特定失敗数に代えて、複数の特徴情報が同一の被写体を特定した回数が管理されてもよい。これらの場合、複数の特徴情報が同一の被写体を特定した回数に対する、複数の特徴情報が同一の被写体を特定した場合の特定成功数の比率などによってヒット率が算出されうる。なお、このような複数の特徴情報が同一の被写体を特定した場合の特定成功数と、１つの特徴情報のみが同一の被写体を特定した場合の特定成功数との関数によってヒット率が算出されてもよい。

続いて、第１の画像表示装置１０が実行する処理の流れについて、図１１から図１３を用いて説明する。まず、処理が開始されると、撮像制御部３０３が被写体を撮像する（Ｓ１１０１）。そして、識別子取得部３０８が、第１の画像表示装置１０の周囲（例えば、撮像される範囲又は直接若しくはＡＰを介して無線通信可能な範囲）に存在する装置に対して識別子の取得を要求する（Ｓ１１０２）。そして、識別子取得部３０８は、周囲の装置から識別子を取得できたか否かを判定する（Ｓ１１０３）。第１の画像表示装置１０は、識別子を取得できた場合（Ｓ１１０３でＹＥＳ）は処理をＳ１１０４へ進め、識別子を取得できなかった場合（Ｓ１１０３でＮＯ）は処理を終了する。

Ｓ１１０４では、特徴情報取得部３０９が、管理サーバ６０から、Ｓ１１０３で受信した識別子のそれぞれに関連付けられて記憶された特徴情報を取得する。そして、オブジェクト特定部３１１は、Ｓ１１０４で取得した特徴情報に基づいて、撮像画像中に含まれる被写体を特定する処理を行い、被写体を特定できたかを判定する（Ｓ１１０５）。第１の画像表示装置１０は、被写体を特定できた場合（Ｓ１１０５でＹＥＳ）は処理をＳ１１０６へ進め、被写体を特定できなかった場合（Ｓ１１０５でＮＯ）は処理をＳ１１０７へ進める。

Ｓ１１０６では、オブジェクト特定部３１１が、Ｓ１１０５での被写体の特定の結果を一時的に保持する。その後、Ｓ１１０７において、制御部３０１が、Ｓ１１０２で取得した全ての識別子に対して、被写体特定処理の実行が完了したかを判定する。そして、第１の画像表示装置１０は、全ての識別子に対する被写体特定処理が完了している場合（Ｓ１１０７でＹＥＳ）は処理を終了する。一方、第１の画像表示装置１０は、全ての識別子に対する被写体特定処理が完了していない場合（Ｓ１１０７でＮＯ）は、処理を完了していない識別子に対する被写体特定処理を行うために、処理をＳ１１０４へ戻す。

第１の画像表示装置１０は、図１１の被写体特定処理を、取得した全ての識別子に対して実行し終わると、続いて、図１２の処理を実行する。図１２の処理では、まず、同一オブジェクト特定判断部３１３が、Ｓ１１０６で保持した被写体特定結果に基づいて、複数の特徴情報によって同一の被写体が特定されたかを判定する（Ｓ１２０１）。第１の画像表示装置１０は、複数の特徴情報によって同一の被写体が特定された場合（Ｓ１２０１でＹＥＳ）、処理をＳ１２０２に進め、複数の特徴情報によって同一の被写体が特定されていない場合（Ｓ１２０１でＮＯ）は処理を終了する。

Ｓ１２０２では、統計情報取得部３１４が同一の被写体を特定した複数の特徴情報のそれぞれに関連する統計情報を、管理サーバ６０から取得する。そして、ヒット率算出部３１５が、Ｓ１２０２で取得した統計情報に基づいて、それぞれの特徴情報について、被写体特定に関するヒット率を算出する（Ｓ１２０３）。Ｓ１２０２及びＳ１２０３の処理は、同一の被写体を特定した複数の特徴情報の全てについてヒット率を算出するまで繰り返される。同一の被写体を特定した複数の特徴情報の全てについてヒット率が算出されると（Ｓ１２０４でＹＥＳ）、優先順位決定部３１６が、算出された全てのヒット率に基づいて、特徴情報の優先順位を決定する（Ｓ１２０５）。優先順位決定部３１６は、例えば、最も高いヒット率が算出された特徴情報を、被写体を特定する特徴情報として決定し、最も高い優先順位を付与し、他の特徴情報には低い優先順位を付与する。

第１の画像表示装置１０は、図１２の優先順位決定処理を実行し終わると、続いて、図１３の処理を実行する。図１３では、まず、属性情報取得部３１０が、Ｓ１２０５において決定された優先順位の高い特徴情報に関連付けられた属性情報を、管理サーバ６０から取得する（Ｓ１３０１）。なお、この属性情報の取得処理は、例えば、管理サーバ６０に、優先順位が高い特徴情報に関連付けられた識別子を送信して属性情報を要求することによって行われる。

そして、画像合成部３１２が、Ｓ１３０１で取得した属性情報を、撮像画像中の特定された被写体の近傍に重ね合わせて、合成画像を生成する（Ｓ１３０２）。そして、表示制御部３０４は、その生成した合成画像を表示する（Ｓ１３０３）。また、オブジェクト特定結果送信部３１７は、Ｓ１１０５及びＳ１２０５における被写体特定の結果を、管理サーバ６０に送信する（Ｓ１３０４）。

以上の各処理により、撮像画像に合成される属性情報は、撮像画像内の被写体に真に関係があるものに限定される。すなわち、まず、被写体が撮像されるときに、撮像装置（すなわち、その被写体）の近傍に存在する装置が登録した属性情報のみを取得するようにする。これにより、被写体に関係せず、その被写体の近傍に存在しない装置が登録した属性情報が撮像画像に合成されることを防ぐこととなる。また、被写体は、その被写体が保持する又は被写体の近傍にある確率の高い装置が登録した特徴情報によって、特定される回数が多くなる。したがって、複数の特徴情報によって１つの被写体が特定される場合に、いずれの特徴情報がその被写体を特定するのに最も相応しいかを、特徴情報ごとの被写体の特定回数に応じた統計情報に基づいて推定することができる。この結果、被写体と関連がない装置によって誤って登録されるなどした、被写体と関係のない属性情報が撮像画像に合成されることを防ぐことができる。

すなわち、本実施形態では、第２の利用者２１が被写体である場合に第３の属性情報が表示されるには、第３の利用者３１が保持する第３の画像表示装置３０が、第２の利用者２１の近くに存在する必要がある。しかしながら、第２の利用者２１は、第３の画像表示装置３０が第２の利用者２１の近傍に存在しない状態では、第２の画像表示装置２０が登録した第２の特徴情報に基づく被写体特定が行われ、一方で、第３の特徴情報に基づく被写体特定は行われない。その結果、第２の統計情報における総特定数は増加していくが、第３の統計情報における総特定数は増加しない。このため、第３の画像表示装置３０が第２の利用者２１の近傍に存在するようになった場合であっても、撮像画像中の第２の利用者２１を特定する際に、第２の統計情報の総特定数の方が、第３の統計情報の総特定数よりも大きくなる。したがって、統計情報の総特定数に基づいて算出されるヒット率は、第２の特徴情報に関する値の方が、第３の特徴情報に関する値よりも大きくなる。したがって、第１の画像表示装置１０は、撮像画像中の第２の利用者２１の近傍に、第２の利用者２１に真に関連する第２の属性情報を合成して表示することが可能となる。これによって、利用者が、誤った情報を参照し得る事象を解消し、サービスを安心して利用できるようになるため、利用者の利便性が向上する。

なお、第３の特徴情報として、当初は第３の利用者３１の特徴に関する情報が登録されていたが、その後、第２の利用者２１に関する情報に更新されてしまった場合について検討する。この場合、第３の利用者３１が撮像される際には、その近傍に、第３の利用者３１が保持する第３の画像表示装置３０が存在する確率が高い。このため、第３の利用者３１が撮像されるたびに第３の統計情報の総特定数は増加していく。その後、何らかの理由で、第３の特徴情報が第２の利用者２１に関するものに更新されたとする。このとき、第３の統計情報は、そのまま引き継がれたとすると、第３の統計情報の総特定数が、第２の統計情報の総特定数よりも大きくなる場合がある。そして、この状態で、第２の利用者２１を撮像し、被写体特定処理が実行されると、ヒット率が逆転し、第３の特徴情報によって第２の利用者２１が特定されてしまう可能性がある。

これを防ぐため、ヒット率の算出において、総特定数ではなく更新後特定数が用いられてもよい。なお、総特定数と更新後特定数とが組み合わせられてヒット率が算出されてもよい。この場合、第３の特徴情報が第２の利用者２１に関するものに更新された時点では、第３の統計情報における更新後特定数はゼロになる。したがって、この更新後特定数をヒット率に反映することで、第２の統計情報と第３の統計情報とにおけるヒット率の逆転を防ぐことができ、第２の利用者２１に真に関連する属性情報を撮像画像に合成することが可能となる。

また、第２の利用者２１が、第２の画像表示装置２０の電源を切っている場合又は第２の画像表示装置２０を所有していない場合は、第１の画像表示装置１０は、第２の識別子を取得できず、結果的に第２の特徴情報を取得することができない。このため、例えば、この状態において第３の画像表示装置３０が第２の利用者２１を撮像してその特徴を第３の特徴情報として更新すると、その時点から第３の属性情報が撮像画像に合成表示されることとなりうる。これを防ぐために、ヒット率を算出する際に、統計情報中の更新日がさらに組み合わせられてもよい。例えば、実際に更新したタイミングから所定時間以上経過しないと、特徴情報の更新を有効にしないようにする。または、更新日からの経過時間とヒット率とを比例させて、特徴情報の更新直後はヒット率を大幅に下げるようにしてもよい。

上述の説明では、第２のヒット率と第３のヒット率との高低によって、優先順位が決定されると説明したが、これに限られない。すなわち、第２のヒット率と第３のヒット率との差が所定値以下である場合には、第２の特徴情報と第３の特徴情報とのいずれにも高い優先順位を決定しなくてもよい。この場合、図６に示すように、第１の画像表示装置１０は、撮像画像における第２の利用者２１の近傍に、複数の特徴情報の候補が存在することを示す警告メッセージを表示してもよい。

図１４に、このような処理についての画像表示システムの処理の流れの例を示す。図１４では、第１の画像表示装置１０は、まず、Ｍ１４０１において、Ｍ９０４及びＭ９０８で算出した第２のヒット率及び第３のヒット率の差が所定値以下か否かを判定する。すなわち、例えば、第２の統計情報と第３の統計情報とにおける、総特定数の差、又は総特定数などから算出される値の差が、所定値以下であるかが判定される。なお、ここでは、ヒット率の差は所定値以下であるものとする。第１の画像表示装置１０は、Ｍ１４０２及びＭ１４０３において、撮像画像中の第２の利用者２１の近傍に、複数の特徴情報の候補が存在する旨を示す警告メッセージを合成した画像を生成し、生成した合成画像を表示する。そして、第１の画像表示装置１０は、Ｍ１４０４及びＭ１４０８において、第２の特徴情報及び第３の特徴情報による被写体特定結果を送信する。なお、第１の画像表示装置１０は、第２の特徴情報に関して、被写体特定結果は失敗であり、さらに、他に同等のヒット率を有する特徴情報が存在したことを示す情報を送信する。また、第１の画像表示装置１０は、第３の特徴情報に関しても、被写体特定結果は失敗であり、さらに、他に同等のヒット率を有する特徴情報が存在したことを示す情報を送信する。

管理サーバ６０は、Ｍ１４０５及びＭ１４０９において、第２の特徴情報と第３の特徴情報とから通知された、被写体特定結果及び同等のヒット率を有する他の特徴情報が存在したことを示す情報に基づいて、第２の統計情報及び第３の統計情報を更新する。そして、管理サーバ６０は、Ｍ１４０６及びＭ１４１０において、第２の画像表示装置２０及び第３の画像表示装置３０に、他に同等のヒット率を有する特徴情報が存在する旨の警告メッセージを送信する。そして、第２の画像表示装置２０及び第３の画像表示装置３０は、それぞれＭ１４０７及びＭ１４１１において、他に同等のヒット率を有する特徴情報が存在する旨の警告メッセージを表示する。

図１５は、第１の画像表示装置１０の処理の流れの例を示すフローチャートである。図１５では、まず、優先順位決定部３１６が、Ｓ１２０５における優先順位の決定において、最も高いヒット率との差が所定値以下のヒット率を有する他の特徴情報が存在するかを判定する（Ｓ１５０１）。第１の画像表示装置１０は、最高のヒット率との差が所定値以下のヒット率を有する他の特徴情報が存在する場合（Ｓ１５０１でＹＥＳ）は処理をＳ１５０６へ進め、一方でそのような特徴情報が存在しない場合（Ｓ１５０１でＮＯ）は処理をＳ１５０２へ進める。Ｓ１５０２からＳ１５０５の処理は、Ｓ１３０１からＳ１３０４と同様であるため、説明を省略する。Ｓ１５０６では、画像合成部３１２が、撮像画像に対して、複数の特徴情報の候補が存在する旨を示す警告メッセージを、特定された被写体の近傍に重ね合わせた合成画像を生成する。

このように、第１の画像表示装置１０は、被写体特定時に複数の特徴情報の候補が存在し、最も高いヒット率との差が所定値以下のヒット率を有する他の特徴情報が存在する場合、複数の特徴情報の候補が存在する旨を示す警告メッセージを撮像画像に合成する。これにより、第１の利用者１１は、第２の利用者２１に対して複数の特徴情報の候補が存在することを認識することができる。なお、このときに、第１の利用者１１のさらなる操作によって、複数の特徴情報に関連する複数の属性情報を閲覧することができるようにしておいてもよい。この場合、本来、第２の利用者２１に関連しない属性情報が表示されうるが、第１の利用者１１は、複数の特徴情報の候補が存在することを知っているため、これらの情報が、第２の利用者２１に関連しない可能性があることを知ることができる。これにより、第１の利用者１１が誤った情報を、被写体に真に関係がある情報であると信じる確率を減らすことができる。

また、第１の画像表示装置１０が、ヒット率の差が所定値以下であったことを管理サーバ６０に通知し、管理サーバ６０がその通知に基づいて第２の画像表示装置２０及び第３の画像表示装置３０に警告メッセージを送信する。そして、第２の画像表示装置２０及び第３の画像表示装置３０は、警告メッセージを受信すると、画面上に警告メッセージを通知する。これにより、第２の利用者２１は、第２の利用者２１の近辺に、自身と類似する特徴情報を登録した第２の画像表示装置２０以外の装置が存在することを認識することができる。また、第３の利用者３１も、第２の利用者２１の近辺に、第２の利用者２１と類似する特徴情報を登録した第２の画像表示装置２０以外の装置が存在することを認識することができる。これにより、例えば第３の利用者３１が、誤って第２の利用者２１に関して第３の特徴情報を登録した場合に、第３の利用者３１がその誤りに気付くことができるようになる。また、故意にそのような誤った情報を登録した者に対して、警告を送ることができ、かつ、被写体の人物に、近辺にそのような誤情報登録者がいることを知らせることができるようになる。

また、ヒット率の差が所定値以下であったことを管理サーバ６０に通知し、管理サーバ６０は、その通知がある度に、統計情報中の警告数を増加させることができる。この場合、第１の画像表示装置１０は、統計情報中の警告数を組み合わせてヒット率を算出することができる。第１の画像表示装置１０は、例えば、警告数が大きくなるとヒット率を下げるようにする。また、管理サーバ６０は、統計情報中の警告数に基づいて、第２の画像表示装置２０及び第３の画像表示装置３０に警告メッセージを送信するか否かを決定してもよい。例えば、管理サーバ６０は、警告数が少ない場合は警告メッセージを送信せず、警告数が所定数より大きくなった場合に警告メッセージを送信するようにしてもよい。

また、上述の例では、第１の画像表示装置１０は、撮像画像中の第２の利用者２１の近傍に警告メッセージを合成して表示したが、これに限られず、警告メッセージを表示しなくてもよい。例えば、第１の利用者１１が、多数の利用者が存在する場所で第１の画像表示装置１０を利用した場合、第１の画像表示装置１０の画面上には多数の他の利用者の属性情報が表示され、警告メッセージをさらに表示することにより視認性が低下する可能性がある。したがって、このような場合、第１の画像表示装置１０は、特定した被写体に対して、複数の特徴情報の候補が存在する場合は何も表示しなくてもよい。これによって、第１の利用者１１の視認性を向上することが可能となり、利用者の利便性がさらに向上する。

なお、上述の各説明では、第１の画像表示装置１０が、撮像と、識別子の取得と、識別子に関連する特徴情報の取得と、撮像画像中の被写体の特定と、被写体に関する属性情報の取得及び合成と、合成画像の表示とを行ったが、これに限られない。例えば、第１の画像表示装置１０が撮像した画像を例えばデータ通信によって取得して、上述の各種処理を実行した後に合成画像を生成し、その合成画像を第１の画像表示装置１０へ送信する情報処理装置が、第１の画像表示装置１０とは別に設けられてもよい。

＜＜その他の実施形態＞＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：第１の画像表示装置、２０：第２の画像表示装置、３０：第２の画像表示装置、３０８：識別子取得部、３０９：特徴情報取得部、３１０：属性情報取得部、３１１：オブジェクト特定部、３１２：画像合成部、３１３：同一オブジェクト特定判断部、３１４：統計情報取得部、３１５：ヒット率算出部、３１６：優先順位決定部、３１７：オブジェクト特定結果送信部

Claims (13)

1. 情報処理装置であって、
   撮像画像を取得する第１の取得手段と、
   前記情報処理装置から所定の範囲に存在する装置であって、前記撮像画像の被写体に関連する情報を記憶手段に登録することが可能な装置の識別子を取得する第２の取得手段と、
   取得された前記識別子に関連して前記記憶手段に記憶された前記情報を取得する第３の取得手段と、
   取得された前記情報を、前記撮像画像に合成する合成手段と、
   を有することを特徴とする情報処理装置。
2. 取得された前記識別子および前記情報に関連して前記記憶手段に記憶された、被写体の特徴情報を取得する第４の取得手段と、
   前記撮像画像から、前記特徴情報に一致または類似する被写体を特定する特定手段と、
   をさらに有し、
   前記合成手段は、前記撮像画像に、前記特定手段で特定された被写体に関連する前記情報を合成する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 同一の被写体に対して複数の特徴情報が一致または類似する場合、前記複数の特徴情報のそれぞれが用いられて被写体が特定された回数に関する統計情報に基づいて、前記複数の特徴情報のうちのいずれに関連する前記情報を、前記撮像画像に合成するかを決定する決定手段をさらに有する、
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記統計情報は、前記特徴情報が登録されてから、当該特徴情報が用いられて被写体が特定された回数に関する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記統計情報は、前記特徴情報が更新されてから、当該特徴情報が用いられて被写体が特定された回数に関する、
   ことを特徴とする請求項３に記載の情報処理装置。
6. 前記決定手段は、前記複数の特徴情報のうち、前記回数または当該回数に関する値が大きい特徴情報に関連する前記情報を、前記撮像画像に合成すると決定する、
   ことを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
7. 前記決定手段は、前記複数の特徴情報のそれぞれに関する前記回数または当該回数に関する値の差が所定値以下である場合、当該複数の特徴情報のそれぞれに関する前記情報を、いずれも前記撮像画像に合成しないと決定する、
   ことを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
8. 前記決定手段は、前記複数の特徴情報のそれぞれに関する前記回数または当該回数に関する値の差が所定値以下である場合、複数の前記情報が存在することを示す情報を、前記撮像画像に合成すると決定する、
   ことを特徴とする請求項３から５のいずれか１項に記載の情報処理装置。
9. 前記合成手段により合成された画像を表示する表示手段をさらに有する、
   ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記第１の取得手段は、撮像によって前記撮像画像を取得する撮像手段である、
    ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記第２の取得手段は、前記撮像画像における撮像の範囲に関連する範囲に存在する装置の識別子を取得する、
    ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 情報処理装置の制御方法であって、
    第１の取得手段が、撮像画像を取得する第１の取得工程と、
    第２の取得手段が、前記情報処理装置から所定の範囲に存在する装置であって、前記撮像画像の被写体に関連する情報を記憶手段に登録することが可能な装置の識別子を取得する第２の取得工程と、
    第３の取得手段が、取得された前記識別子に関連して前記記憶手段に記憶された前記情報を取得する第３の取得工程と、
    合成手段が、取得された前記情報を、前記撮像画像に合成する合成工程と、
    を有することを特徴とする制御方法。
13. 情報処理装置に備えられたコンピュータに、
    撮像画像を取得する第１の取得工程と、
    前記情報処理装置から所定の範囲に存在する装置であって、前記撮像画像の被写体に関連する情報を記憶手段に登録することが可能な装置の識別子を取得する第２の取得工程と、
    取得された前記識別子に関連して前記記憶手段に記憶された前記情報を取得する第３の取得工程と、
    取得された前記情報を、前記撮像画像に合成する合成工程と、
    を実行させるためのプログラム。

Images