JP2013219608A - 情報処理装置、情報処理装置の制御方法、プログラム - Google Patents

Abstract

【課題】 撮像画像の検出したオブジェクトの同定状態に基づいて、他の装置の識別子取得処理を制御することを目的とする。
【解決手段】 第１の撮像画像に対して第１の特徴情報を用いた前記特定処理を行う第１の特定処理と、第２の撮像画像に対して前記第１の特徴情報を用いた前記特定処理を行う第２の特定処理とを行い、第２の特定処理の結果に応じて、他の装置の識別子の取得を行わないように制御する。
【選択図】 図５

Description

本発明は、撮像画像からオブジェクトを特定する情報処理装置に関する。

近年、カメラ等で撮影した撮像画像に、撮像画像中の物体の属性情報を合成して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術がある。例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、撮像画像中の物体の属性情報を合成して表示する。
また、被写体人物が有する携帯端末から取得した識別に用いる特徴情報に基づいて、撮影画像中の被写体人物を特定し、特定した人物の属性情報をサーバから取得して、撮像画像中の特定した被写体の近傍に情報を表示する技術が提案されている（特許文献１）。
このような携帯端末から情報を収集する技術として、特許文献２では、ネットワークカメラに備えられたタグリーダーが、被写体の所有するタグから被写体が持つオブジェクト情報を収集する方法を開示している。特許文献２においてタグリーダーは、ユーザからの情報収集指示をトリガにしてタグ情報収集を開始する。また、特許文献３では、ＲＦ（Ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ）タグを持つ被写体が指向性アンテナのエリアを通過する際、画角が指向性アンテナエリアと連動したカメラにて撮影を行う技術を開示している。特許文献２では撮影画像にＲＦタグの所有者である被写体が存在することを示す情報を付与する。

特開２００２−３０５７１７ 特開２００６−０３１４１９ 特開２００７−２２８１９５

しかしながら、従来技術では携帯端末から情報を収集する際の通信資源の有効活用や処理負荷の低減に関しては考慮されておらず、改善の余地がある。例えば、従来技術は通信可能な範囲に存在する携帯端末から既に情報を収集済みであるか否かを考慮せず、情報収集処理を行っている。このように既に情報を取得済である携帯端末と再度情報を取得するための通信を行うとすると、不要な通信帯域や不要な電力を消費してしまい効率が悪い。
本願発明は、撮像画像から検出したオブジェクトの特定に応じて、他の装置の識別子を取得しないように制御することを目的とする。

上記課題を解決するための手段として、
他の装置の識別子を取得する識別子取得手段と、
撮像画像から所定のオブジェクトを検出する検出手段と、
取得した記識別子に基づいて、前記所定のオブジェクトを特定するための特徴情報を取得する特徴情報取得手段と、
前記検出手段により検出された前記所定のオブジェクトを前記特徴情報に基づいて、特定するための特定処理を行う手段であり、第１の撮像画像に対して第１の特徴情報を用いた前記特定処理を行う第１の特定処理と、第２の撮像画像に対して前記第１の特徴情報を用いた前記特定処理を行う第２の特定処理とを行う特定手段と、
前記第２の特定処理の結果に応じて、前記識別子取得手段による前記識別子の取得を行わないように制御する制御手段を有することを特徴とする情報処理装置を提供する。

本願発明によれば、撮像画像から検出したオブジェクトの特定に応じて、他の装置の識別子を取得しないように制御するので、不要な通信帯域や不要な電力を消費してしまうことが低減される。

ＡＲシステムの構成を示す図である。 サーバ１０９が管理するデータベースに保持される情報の一例を示す図である。 カメラ１０１の機能構成を示すブロック図である。 携帯電話の構成を示す図である。 ＡＲシステムの装置間のメッセージシーケンスの一例を示す図である。 識別情報（識別子）の一例を示す図である。 特定処理のフローチャートである。 判定処理のフローチャートである。 オブジェクトテーブルの一例を示す図である。 オブジェクトテーブルの他の一例を示す図である。 プローブリクエストフレームの一例を示す図である。 カメラ１０１の表示画面例を示す図である。 カメラ１０１のハードウェア構成を示す図である。 カメラ１０１の全体の動作を示すフローチャートである。

［実施例１］
本実施例は、カメラにて撮影を行った画像中に、被写体の属性情報を付加して表示するカメラ装置を例として説明する。以下は、添付図面に従って本発明に係る各実施例を説明する。図１は本実施例におけるＡＲシステムの構成を示す図である。カメラ１０１は、デジタル画像を撮像する情報処理装置である。

カメラ１０１は、他の端末装置から受信した該端末装置を一意に識別可能な識別情報（識別子）に関連付けられた属性情報をサーバ１０９から取得し、取得した属性情報と撮像画像とを合成して表示部に表示させる。また、カメラ１０１は、撮像画像から識別情報に関連付けられた特徴情報に基づいて、オブジェクトを特定する。そして、特定したオブジェクトと属性情報と関連付けて合成して表示部に表示させる。

また、カメラ１０１はＩＥＥＥ８０２．１１シリーズに準拠した無線ＬＡＮ通信機能を有する。図１においてカメラ１０１の所有者は図示していない。また、カメラ１０１の撮影範囲には人物１０２、１０４、人物１０６が存在するものとする。

携帯電話１０３、１０５、１０７は定期的あるいは他端末の要求に応じて端末を一意に識別可能な識別子を識別情報として発信する端末装置である。なお、識別情報として、端末装置のユーザを一意に識別するための情報であってもよいし、ユーザの特徴情報や属性情報そのものであっても構わない。携帯電話１０３、１０５、１０７はＩＥＥＥ８０２．１１シリーズに準拠した無線ＬＡＮ通信機能を有する。識別情報はＩＥＥＥ８０２．１１に則ったフレームの一要素として付与され、送信されるものとする。

携帯電話１０３、１０５、１０７の発信する識別情報の一例に図６に示す。識別情報により端末の所有者を一意に識別することが可能である。識別情報は、端末装置を一意に識別可能な識別子として、例えば、ＭＡＣアドレスや端末装置の所有者のユーザＩＤとする。なお、携帯電話１０３、１０５、１０７の所有者は人物１０２、１０４、１０６である。

サーバ１０９はネットワーク１０８を介して、カメラ１０１から受信した識別情報に対応付けられた特徴情報と属性情報とをデータベースから検索し、カメラ１０１に送信する。サーバ１０９が管理するデータベースに保持される情報の一例を図２に示す。データベースには、端末装置を一意に識別するための識別子として識別情報、属性情報として端末装置の所有者の名前、コメント、特徴情報とを夫々関連付けている保持している。

特徴情報は、識別情報に対応付けられたオブジェクトを撮像画像から検出して、特定するための情報である。本実施例においては、画像処理によるオブジェクト特定処理を行うためのリファレンス画像を特徴情報とする。なお、特徴情報としては、画像データに限られず、オブジェクト特定処理に用いるに任意の特徴情報であってよい。本実施例では、特徴情報として人物１０２、１０４，１０６の顔画像がデータベースに格納されているとする。

続いて、カメラ１０１の構成について説明する。図１３は、カメラ１０１のハードウェア構成を示す図である。１３０１は装置全体を示す。１３０２は、記憶部１３０３に記憶される制御プログラムを実行することにより装置全体を制御する制御部である。１３０３は制御部１３０２が実行する制御プログラムと、各種情報を記憶する記憶部である。後述する各種動作は、記憶部１３０３に記憶された制御プログラムを制御部１３０２が実行することにより行われる。１３０４はＩＥＥＥ８０２．１１シリーズに準拠した無線ＬＡＮ通信を行うための無線部である。１３０５は各種表示を行う表示部でありＬＣＤやＬＥＤのように視覚で認知可能な情報の出力、あるいはスピーカなどの音出力が可能な機能を有する。１３０６は、レンズを介して入射した被写体光を画像として撮像する撮像部である。１３０７はアンテナ制御部、そして１３０８はアンテナである。１３０９は、ユーザが各種入力を行うための入力部である。１３１０は、３軸方向の加速度を取得する加速度センサおよび位置情報を取得するＧＰＳセンサ等のセンサ部である。

図３は、カメラ１０１の制御部１３０２が情報の演算加工および各ハードウェアを制御して実現する機能構成を示すブロック図である。なお、図３に示す各機能構成の一部乃至全てがハードウェアとして実現されても構わない。無線通信制御部３０１は他の無線装置との間で無線信号の送受信を行うためにアンテナ１３０８や無線部１３０４を制御して無線通信を制御する。

シャッターボタン３０２は撮影を開始するためのボタンで、ユーザがシャッターボタン３０２を押すことで撮像部１３０６が動作を開始する。また、シャッターボタン３０２はユーザから半押しの入力を検知すると撮像準備動作を開始する。撮像機能部３０３は撮像部１３０６（レンズやＲＧＢセンサ）を制御して、画像データを作成する。表示制御部３０４は、表示部１３０５に撮像画像や各種情報を表示させる表示制御を行う。

識別情報取得部３０５は、無線通信制御部３０１により受信した通信可能な範囲に存在する端末装置の識別情報を取得する。特徴情報取得部３０６は、識別情報取得部３０５により取得した識別情報をもとにしてサーバ１０９に問い合わせを行い、識別情報に関連付けられた特徴情報をサーバ１０９から取得する。属性情報取得部３０７は、識別情報取得部３０５が取得した識別情報をもとにしてサーバ１０９に問い合わせを行い、識別情報に関連付けられた属性情報をサーバ１０９から取得する。

特定部３０８は、撮像画像データ上から、特徴情報により特定されるオブジェクトを検出する。測定部３０９は、センサ部１３１０かの出力情報に基づいてカメラ１０１の動き情報を取得し、カメラ１０１の動きを測定する。合成部３１０は、特定部３０８で特定されたオブジェクトの近傍または任意の場所に、属性情報取得部３０７で取得した特定されたオブジェクトに関連付けられた属性情報を合成し、合成画像データを作成する。

検出部３１１は撮像機能部３０３から得られた画像データから公知のオブジェクト検出技術を用いて、所定のオブジェクトを検出する。ここで、所定のオブジェクトとは例えば人間の顔である。また、検出部３１１は、画像からエッジ情報の抽出、パターマッチングなどの画像処理により、撮影画像から背景と任意のオブジェクトを分離し識別する。

記憶制御部３１２は記憶部１３０３における情報の入出力を制御する。自動取得部３１３は動画撮影時等、シャッターボタン３０２を押していない状況でも自動で識別情報取得部３０５を動作させる。自動取得部３１３は所定周期毎（例えば、５秒毎）、またはカメラ１０１の所定の閾値以上の動きがあったかによって識別情報の取得要求を通知する。または、撮像部１３０６が取得した定期的に取得する画像（以後、スル―画像と呼ぶ）に所定の閾値以上の変化量が生じたかによって識別情報の取得要求を通知する。なお、自動取得部３１３の取得要求はカメラ１０１の電源投入後まだ識別情報を一度も取得してない場合は、識別情報取得部３０５に通知し、２回目以降は判定部３１４に通知する。判定部３１４は識別情報取得部３０５による識別子取得処理を実行させるか否か判定する。ここでスル―画像とは、所定のフレームレートにより逐次撮影される画像のことである。また、スル―画像は、メモリーカード等の記憶媒体への記録を目的とするものではなく、被写体の様子をユーザに認識させるための動画像ということができる。

続いて、携帯電話１０３、１０５、１０７の構成について説明する。各携帯電話はＣＰＵを有し、後述する各構成は、ＣＰＵが制御プログラムを実行し、情報の演算や加工、各ハードウェアの制御を行うことで実現される。図４において無線通信制御部４０１は無線ＬＡＮで他の無線装置との間で無線信号の送受信を行うためのアンテナや回路を制御する。識別情報発信部４０２は無線通信制御部４０１を制御することで、保持する識別情報（識別子）を定期的、もしくは他の装置からの要求に応じて報知する。識別情報発信部４０２は、識別情報（識別子）をＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として付与し、送信する。携帯電話制御部４０３は、携帯電話として動作するためのアンテナや回路を制御することで携帯電話通信網と接続し、他の装置と通信を行う。

以上の構成を有する本実施例におけるシステムにおける動作を説明する。図１４にカメラ１０１の全体の動作を示すフローチャートを示す。図１４に示すフローチャートは制御部１３０２が記憶部１３０３から読み出した制御プログラムを実行することにより実現される。カメラ１０１に電源が入れられると処理が開始される。カメラ１０１は、撮像準備の指示であるシャッターボタン３０２の押下（半押し）の検出または自動取得部３１３の初回の取得要求を識別情報取得部３０５に通知したかを判定する（Ｓ１４０１）。シャッターボタン３０２の押下の検出または自動取得部３１３の初回の識別子取得要求を識別情報取得部３０５に通知を検出すると、識別情報取得部３０５は通信可能な範囲の端末装置の識別情報取得する（Ｓ１４０２）。ここで、識別情報取得部３０５は、プローブリクエストフレーム（探索要求）を送信するよう無線通信制御部３０１を制御し、通信可能な範囲の端末装置からの応答（プロ―ブレスポンス）に含まれる識別情報を取得する。

ここで、図１１に本実施例におけるプローブリクエストフレームを説明する。プローブリクエストフレーム１１０１はＩＥＥＥ８０２．１１シリーズにおいて規定されているコントロールパケットであるプローブリクエストフレームを用いている。１１０２はフレームにおけるデータ領域であり、任意の情報を付加することができる。なお、プローブリクエストフレームは通信可能な範囲に存在する端末装置に識別子をカメラ１０１に送信する要求する送信要求（識別子要求）メッセージということもできる。

続いて、特徴情報取得部３０６と属性情報取得部３０７は取得した識別情報に対応付けられた特徴情報、属性情報を取得するためにサーバ１０９に問い合わせを行う。サーバ１０９は、カメラ１０１から問い合わせを受信すると、問い合わせに含まれる識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを取得し、カメラ１０１に送信する。特徴情報取得部３０６と属性情報取得部３０７は、サーバ１０９から送信された特徴情報、属性情報を取得する（Ｓ１４０３）。そして、記憶制御部３１２は、識別情報、特徴情報、属性情報を関連付けて記憶部１３０３に記憶する。このように、カメラ１０１は、取得した識別情報、特徴情報、属性情報を所持しておく。

検出部３１１は撮像機能部３０３により撮像されたスル―画像から所定のオブジェクトを検出する（Ｓ１４０４）。ここで、所定のオブジェクトは例えば人間の顔であり、検出部３１１は周期的に撮像機能部３０３により撮像されるスル―画像から人間の顔の領域を検出する。また、後述するオブジェクトテーブルに検出したオブジェクトに関する情報を入力する。特定部３０８は、所定のオブジェクトから特徴情報に基づいた特定処理を行う（Ｓ１４０５）。

ここで、Ｓ１４０５における特定処理の詳細を図７に示す。特定処理は取得した特徴情報に基づいて、検出部３１１により検出した所定のオブジェクトが特徴情報に基づいたオブジェクトであるか否かを判定する。即ち、画像中の顔から人物を特定するための処理である。特定部３０８は、検出部３１１が検出した所定のオブジェクトの画像情報の特徴を算出する（Ｓ７０１）。ここで、Ｓ７０１で算出する所定のオブジェクトの特徴は、後述するオブジェクトテーブルのオブジェクトナンバーが「１」に該当するオブジェクトである。そして特定部３０８は、Ｓ７０１で算出したオブジェクトの特徴と取得した特徴情報とを比較する。特定部３０８は、Ｓ７０３の比較により算出したオブジェクトの特徴と取得した特徴情報との相関が閾値を上回るかを判定し、個人を特定できるかを判定する（Ｓ７０３）。検出部３１１が検出したオブジェクトから特徴情報に基づいて、個人を特定できた場合はＳ７０４に、検出部３１１が検出したオブジェクトから特徴情報に基づいて、個人が特定できない場合はＳ７０５に処理を進める。オブジェクト特定成功の場合は、特定部３０８は、その後オブジェクトテーブル更新（Ｓ７０４）を行う。ここで、特定部３０８が更新するオブジェクトテーブルについて図９を用いて説明を行う。

オブジェクトテーブルとは、撮影画像中から検出した所定のオブジェクトの特定状態を分類するためのテーブルである。オブジェクトテーブル９０１には、撮影画像から検出部３１１によって検出した所定のオブジェクトごとに該オブジェクトを識別するためのオブジェクトナンバー９０２が付与され、格納される。各検出された所定のオブジェクトが特定部３０８により取得した特徴情報に基づいたオブジェクトであるかが特定できた場合は該当するオブジェクトテーブルの識別子欄９０３に対応する識別情報を格納する。特定できていない場合は識別子欄９０３には情報を格納しない。

また、オブジェクトテーブル９０１には、検出部３１１が検出した各オブジェクトに対応する画像上の領域（画像サイズ）が特定部３０８による特定処理を行うのに十分であるかを判定した結果が格納される。オブジェクトテーブル９０１のサイズ判定結果９０５にオブジェクトに対応する画像上の領域が特定処理を行うのに十分である場合はＯＫ、また特定処理を行うのに不十分である場合はＮＧが夫々格納される。また、オブジェクトテーブル更新（Ｓ７０７）では特定できた被写体に関してオブジェクトテーブル９０１の該当するオブジェクトＮｏの識別子欄９０３に対して該当する識別子を格納する。また、オブジェクト特定失敗判定９０６欄は特定部３０８による特定処理の結果を格納する。特定処理に成功した場合はＯＫ、失敗した場合はＮＧの情報を格納する。オブジェクト種別９０７は、検出されたオブジェクトの種別が格納され、例えば、「人物」、「犬」、「車」などが格納される。

識別可能判定９０４には、各オブジェクトが特定可能な状態にあるかの判定結果が格納される。識別可能な状態とは、サイズ判定９０５が「ＯＫ」、オブジェクト種別９０７が「人物」の状態をいう。識別可能判定９０４には、識別可能な状態であればＯＫ、識別可能な状態でなければＮＧが夫々格納される。

以上説明したオブジェクトテーブルを更新するまたはＳ７０３においてオブジェクト特定に失敗したと判定した場合、特定部３０８は、検出した所定のオブジェクトに対して全て処理を行ったかを判定する。検出した所定のオブジェクトに対して全て処理を行った場合は特定処理を終了する。検出した所定のオブジェクトに対して全て処理を行っていない場合は、次のオブジェクトナンバーの所定のオブジェクトの特徴を算出して（Ｓ７０６）、Ｓ７０２に戻る。

図１４に戻り、合成部３１０は、特定部３０８により特定されたオブジェクトと関連付けてその近傍に属性情報（名前とコメント）とスルー画像とを合成する。表示制御部３０４は該合成画像を表示するよう制御する（Ｓ１４０６）。なお、特定部３０８により特定されたオブジェクトとは、該オブジェクトに関連付けて情報が表示されているオブジェクトということができる。なお、属性情報は、オブジェクト追尾処理などを用いて特定できたオブジェクトが検出され続けている間は、複数のスル―画像において表示され続けるよう構成して良い。

続いて、カメラ１０１は、シャッターボタン３０２の全押しが検出されたかを判定する（Ｓ１４０７）。シャッターボタン３０２の全押しが検出された場合、記憶制御部３１２は、合成画像を記憶する（Ｓ１４０８）。そして、カメラ１０１は処理を終了するかを、例えばユーザの電源オフの指示の検出、動作モード切替え（画像閲覧モードへの切替え等）の指示の検出に基づいて判定する（Ｓ１４０９）。処理を終了しない場合やＳ１４０７においてシャッターボタン３０２の全押しが検出されない場合はＳ１４１０に処理を進める。なお、Ｓ１４０９の処理は、割りこみ処理として任意のタイミングで行われて良い。

Ｓ１４１０において、カメラ１０１は、再度シャッターボタン３０２の押下（半押し）の検出または自動取得部３１３が識別子取得要求を通知したかを判定する。再度シャッターボタン３０２の押下（半押し）の検出または自動取得部３１３が識別子取得要求を通知されない場合はＳ１４０７に処理を戻し、検出された場合はＳ１４１１に処理を進める。なお、自動取得部３１３は、Ｓ１４０２の処理が既に行われている場合は取得要求を判定部３１４に識別子取得要を通知する。判定部３１４は、不要な識別情報収集を行わないように撮像画像中のオブジェクトの特定状況に基づいて識別情報を取得するか否かを判定する（Ｓ１４１１）。Ｓ１４１１における判定処理を図８に示すフローチャートを用いて詳細に説明する。

図８において、測定部３０９は、前回特定部３０８による特定処理が行われてから現在までのカメラ１０１の動き量を取得し、判定部３１４に通知する（Ｓ８０１）。判定部３１４は、あらかじめ設定された閾値以上、カメラの移動量があるか否かを判定する（Ｓ８０２）。閾値以上の動きを検出した場合、撮像機能部３０３が取得する撮像画像の撮像範囲は変わり、被写体が変わっているとして識別情報を取得すると判定する（Ｓ８０３）。これは、移動量が多いカメラには新規の被写体が撮影される可能性が高いことから、新規の被写体（オブジェクト）を特定するために周囲の端末装置の識別情報をもれなく取得するためである。なお、判定部３１４はＳ８０１の処理中の単位時間当たりの動き量に基づいて、識別情報を取得するか否かを判定する構成としてもよい。また、撮像機能部３０３により周期的に撮像された撮像画像の画像情報の差分（変化量）に基づいて、撮像範囲が変わったかを判定し、識別情報を取得するかを判定する構成としてもよい。

カメラ１０１の動き量があらかじめ設定された閾値以下である場合、Ｓ８０４に処理を進める。検出部３１１は、上述したＳ１４０４と同様に最新に撮像されたスルー画像から所定のオブジェクトの検出処理を行う。検出部３１１は、新規に検出されたオブジェクトテーブル９０１に追加、検出されなくなったオブジェクトの削除などオブジェクトテーブル９０１を更新する。

特定部３０８は、上述したＳ１４０４と同様に既に記憶制御部３１２が記憶し、所持している特徴情報に基づいて、特定処理を実行し、特定処理の結果を反映させるようにオブジェクトテーブルを更新する（Ｓ８０５）。判定部３１４は、更新されたオブジェクトテーブルに基づいて、識別可能状態であるオブジェクトが全て特定部３０８により特定されているかを判定する（Ｓ８０６）。判定部３１４は、オブジェクトテーブル９０１の各オブジェクトの識別可能判定９０４を参照し、識別可能判定ＯＫオブジェクトに対して識別子９０３が既に格納されているかを確認する。すなわち全ての識別可能なオブジェクトが特定済みの状態であるかを判定する。判定部３１４は識別可能なオブジェクトのうち一つでも特定できていない場合、特定できていないオブジェクトに対応する識別情報を取得するため、識別情報を取得すると判定する（Ｓ８０３）。また、判定部３１４は、すべての識別可能なオブジェクトが識別できている状態の場合、新たに識別情報を取得したとしても取得した識別情報に対応するオブジェクトは特定できないため、識別情報取得は不要として識別情報を取得しないと判定する（Ｓ８０７）。

なお、上述の例では、検出した識別可能なオブジェクトのうち一つでも特定できていない場合は、識別情報を新たに取得すると判定する構成としたが、これに限られるものではない。例えば、特定処理の結果が所定の条件を満たしているか否かに応じて、識別子を取得するか否かを決定してよい。所定の条件の具体例としては、特定できた（特定できなかった）オブジェクトの数に基づいてよい。また、所定の条件は特定できたオブジェクトの画像上の領域に基づいて、識別情報を新たに取得するかの判定を行ってもよい。

特定できたオブジェクトの数が所定の値（例えば、５）より大きい場合は、それ以上新たにオブジェクトを特定できたとしても新たに情報を表示できる画像上のスペースがなくなるため識別情報を新たに取得しないと判定してよい。また、検出したオブジェクトの数に対する特定できたオブジェクト（特定できなかったオブジェクト）の割合に基づいて識別情報を取得しないように制御してもよい。例えば、検出したオブジェクトのうち８０％を上回る割合で、オブジェクトを特定できた場合、装置の電力や通信資源の有効活用を目的として識別情報を新たに取得しないと判定してよい。また、特定できたオブジェクトの画像上の領域が所定の値（例えば、撮像画像全領域の５０％以上）を上回る場合は、新たにオブジェクトを特定できたとしても新たに情報を表示できる画像上のスペースがなくなるため識別情報を新たに取得しないと判定してよい。即ち、検出したオブジェクトのうち一部が特定できていない場合でも新たに識別情報を取得しないように制御してもよい。

以上の判定処理が終了すると図１４に戻り、判定部３１４の判定結果が識別情報を取得しないと判定された場合はＳ１４１３に、識別情報を取得すると判定した場合はＳ１４１４に夫々処理を進める（Ｓ１４１２）。無線通信制御部３０１は、判定部３１４による判定結果を受けて識別情報を取得しないように制御する（Ｓ１４１３）。そして、特定したオブジェクトに対応する属性情報を表示すべくＳ１４０６に処理を戻す。Ｓ１４１３では無線通信制御部３０１は、識別情報を周囲の端末に対して要求しないようにプローブリクエストフレームを送信しないよう制御する。また、無線通信制御部３０１は、端末装置が周期的に識別子を報知している信号を受信しないように無線部１３０４の受信回路を起動させないように制御する。このようにカメラ１０１の撮像範囲に存在する端末装置の識別情報に対応するオブジェクトを全て特定済みである場合は、不要な識別情報を送信するよう周囲の端末装置に要求しない。したがって、周囲の端末装置が要求に応答して識別子を送信する際の不必要な通信資源の使用を低減できるので通信資源を有効活用することができる。また、端末装置が周期的に識別子を報知している信号を受信しないように無線部１３０４の受信回路を起動させないように制御するのでカメラ１０１の省電力に寄与することができる。

一方、識別情報を取得すると判定した場合識別情報取得部３０５は、通信可能な範囲の未取得の端末装置の識別情報を取得するため、プローブリクエストフレームを同報送信するように無線通信制御部３０１を制御する。（Ｓ１４１４）。このとき、無線通信制御部３０１は、既に取得している識別情報を有する端末装置に対してはこのプローブリクエストフレームに応答しないように指示する情報を含めてプローブリクエストフレームを生成する。即ち、無線通信制御部３０１は既に取得している識別子を有する他の装置から再度識別子を取得しないように制御する。例えば、図１１にあるようにプローブリクエストフレームの領域１１０２に既に取得済みの識別情報（識別子）を含めて送信する。端末装置は、受信したプローブリクエスト内に自端末の識別情報が含まれていた場合、該フレームに対する応答メッセージ（プローブレスポンス）を返さない。このように、既に取得済みの識別情報を有する端末装置に対しては再度識別情報を送信させないように制御するので不必要な通信資源の使用を低減できる。

続いて、特徴情報取得部３０６と属性情報取得部３０７はＳ１４０３と同様に取得した識別情報に対応付けられた特徴情報、属性情報をサーバ１０９から取得し、記憶する（Ｓ１４１５）。続いて、カメラ１０１がＳ１４１１（図８の判定処理）において動き量に基づいて識別情報を取得すると判定した場合とそうでない場合と処理を切替える（Ｓ１４１６）。動き量に基づいて識別情報を取得すると判定した場合は新たな撮像範囲より撮像されたオブジェクトを検出し、特定するためにＳ１４１３に処理を戻す。一方、撮像画像中の識別可能なオブジェクトが全て特定済みでないとして、識別情報を取得すると判定した場合は、Ｓ１４１７に処理を進める。Ｓ１４１７において、特定部３０８は、オブジェクトテーブルを参照して未特定のオブジェクトに対して、新たなに取得した特徴情報に基づく特定処理を行う。そして、Ｓ１４０６に戻り合成部３１０は、特定部３０８により特定されたオブジェクトと関連付けてその近傍に属性情報とスルー画像とを合成し、表示制御部３０４は該合成画像を表示するよう制御する（Ｓ１４０６）。

続いて、本実施例におけるシステムの動作を説明する。以降の説明では図１にあるように、人物１０２、１０４、１０６の存在する空間において、カメラ１０１が撮影を行った際のオブジェクト特定およびオブジェクトに紐付いた属性情報を合成するまでのシーケンスを図５を用いて説明する。図５は本実施例におけるＡＲシステムの装置間のメッセージシーケンスの一例を示す図である。

まず、カメラ１０１のシャッターボタン３０２を押す、または自動取得部３１３が識別情報取得部３０５を駆動させることによって、識別情報を通信可能な範囲に存在する端末装置に要求する（Ｓ５００、Ｓ１４０１、Ｓ１４０２）。カメラ１０１と通信可能な範囲に存在する携帯電話１０７はカメラ１０１からの要求に応答して、識別情報をカメラ１０１に送信する（Ｓ５０１）。なお、携帯電話１０５および携帯電話１０３はこの時点でカメラ１０１とからの識別情報要求を受信できない距離に存在するので識別情報を送信しない。

カメラ１０１は携帯電話１０７から受信した識別情報に基づいてサーバ１０９に特徴情報、属性情報を要求する。サーバ１０９は、受信した携帯電話１０７の識別情報に関連付けられている特徴情報、属性情報をカメラ１０１に送信する（Ｓ５０３、Ｓ１４０３）。カメラ１０１は、現在の撮像画像から所定のオブジェクトを検出し、検出したオブジェクトに携帯電話１０７の識別情報に関連付けられた特徴情報によって特定されるオブジェクトが存在するか判定する（Ｓ５０４、Ｓ１４０４、Ｓ１４０５）。カメラ１０１は、携帯電話１０７の識別情報に対応するオブジェクトをスル―画像から特定できたので該オブジェクトと属性情報を対応づけて表示する（Ｓ５０５，Ｓ１４０６）。

Ｓ５０５におけるカメラ１０１の表示画面例を図１２（ａ）に示す。図１２（ａ）において１５００はスル―画像（第１の撮像画像）を表示した表示画面である。１５０１は携帯電話１０７の識別情報に対応付けられた特徴情報に基づいて特定されたオブジェクトであって、人物１０６である。１５０２は、携帯電話１０７の識別情報に対応付けられた属性情報であり、特定されたオブジェクト１５０１に対応付けられて表示されている。なお、携帯電話１０５および携帯電話１０３の人物１０２、１０４は、この時点でカメラ１０１の撮像範囲に存在していないため撮像されていない。

その後、各携帯電話の所有者である人物１０２、１０４、１０６は移動する（Ｓ５０６）。カメラ１０１は、カメラ１０１のシャッターボタン３０２を再度押す、または自動取得部３１３が識別情報取得部３０５の駆動によって、判定処理を開始する（Ｓ５０７、Ｓ１４０８，Ｓ１４０９）。判定処理開始時点におけるスル―画像（第２の撮像画像）の表示例を図１２（ｂ）に、判定処理において更新されたオブジェクトテーブル作成されたオブジェクトテーブルを図９に夫々示す。図１２（ｂ）において、１５０３は表示画面である。１５０１はＳ５０４において特定されたオブジェクトである人物１０６である。１５０４は、新たに検出されたオブジェクトであって、携帯電話１０３の所有者である人物１０２である。１５０５は、新たに検出されたオブジェクトであって、携帯電話１０５の所有者である人物１０４である。なお、図１２（ｂ）において、オブジェクト１５０１（人物１０６）には、属性情報が表示されていないが、オブジェクト追尾処理を用いて、特定したオブジェクトに対して属性情報が表示され続けるようにしてよい。

図９のオブジェクトテーブルにおいて、人物１０２はオブジェクトナンバー９０２が「１」、人物１０４は「２」、人物１０６は「３」として夫々検出されたとする。そして、判定処理では、表示画面１５００におけるスル―画像に対して行われた特定処理に用いた特徴情報により、表示画面１５０３に対して特定処理を実行する。ここで、オブジェクトナンバー「３」である人物１０６についてはＳ５０３において取得し、既に所持している特徴情報により表示画面１５０３において表示されるスル―画像においても特定可能である。

したがって、オブジェクトナンバー「３」については識別子９０３の欄が格納される。しかしながら、オブジェクトナンバー「１」およびオブジェクトナンバー「２」については現在保持している特徴情報では特定できないため識別子９０３については空欄である。また、オブジェクトナンバー「１」のオブジェクト１５０４は人物として検出されかつ画像上のサイズも特定処理を行う上で十分なので識別可能判定において「ＯＫ」が入力される。一方、オブジェクトナンバー「２」のオブジェクト１５０４は人物として検出されたが画像上のサイズも特定処理を行う上で十分なサイズがないと判定されたため識別可能判定において「ＮＧ」が入力される。ここで、検出されたオブジェクトのうち少なくとも１つが識別可能判定「ＯＫ」であり、識別子９０３が入力されていないオブジェクトがあるため判定処理の判定結果は識別情報を取得すると判定される（Ｓ８０３）。即ち、検出されたオブジェクトのうち少なくとも１つが未特定のオブジェクトが存在するため、判定処理の判定結果は識別情報を取得すると判定される。

カメラ１０１は、Ｓ５０７における識別情報を取得するとの判定に応じて、通信可能な範囲に存在する未取得の識別情報を取得するための処理を行う。具体的には無線通信制御部３０１により図１１に示すようなプローブリクエストフレームをブロードキャスト（同報送信）で送信する（Ｓ５０８）。図１１に図示するようにデータ部に取得済み識別子を複数格納することで、取得済み識別子を報知する機能を持たせている。ここで取得済み識別子は複数持たせてもよい。また、複数のプローブリクエストに分けて取得済み識別子を報知させてもよい。プローブリクエストフレームにはカメラ１０１が既に取得済みの識別子であるは図６で表される携帯電話１０７の識別子００：００：８５：００：００：０３が付与されて送出される。携帯電話１０７は受信したプローブリクエスト内に自端末の識別子を認めるため、プローブレスポンスを返さない。

携帯電話１０３、１０５は図６で表される識別情報を付与したプローブ・レスポンス・フレームでそれぞれ応答する（Ｓ５０９）。カメラ１０１はプローブ・レスポンス・フレームを受信すると、携帯電話１０３、１０５の識別情報を得ることができる。そして、カメラ１０１は識別情報取得部３０５によって識別情報を得ると、次に特徴情報取得部３０６と属性情報取得部３０７を用いて、その識別情報を発信する人物の顔の特徴情報および属性情報、すなわち人物の情報をサーバ１０９に問い合わせる（Ｓ５１０）。このとき、該問い合わせに対して取得した識別情報を付与することで、どの人物の情報を得たいのかがサーバ１０９で判別することができる。

サーバ１０９は人物情報の要求を受信すると、受信した識別情報をもとにデータベースから該識別情報に関連付けられた属性情報と特徴情報とを検索し、カメラ１０１に送信する（Ｓ５１１）。そして、カメラ１０１は取得した特徴情報に基づいて、未特定の各オブジェクトに対して特定処理を実行する。そして、新たに取得したオブジェクトの特定が成功（Ｓ７０５）した場合、オブジェクトテーブルの更新を行う。ここで更新されたオブジェクトテーブルを図１０に説明する。

図１０では、新たに取得した特徴情報に基づいた特定処理によって、オブジェクトナンバー「１」のオブジェクト１５０４は特定され、識別子が割り当てられた状態となっている。カメラ１０１はこれらの処理を行った後にサーバ１０９から取得した特定されたオブジェクトに対応する属性情報を画像データに合成し、表示制御部３０４は表示部１３０５に合成画像を表示する（Ｓ５１３）。Ｓ５１３において表示される表示画面の一例を図１２（ｃ）に示す。１５０６は表示画面であり、１５０７はオブジェクト１５０４（人物１０２）の属性情報である。図１２（ｃ）に示す通り属性情報を表示することができる。

そして、さらにカメラ１０１はシャッターボタン３０２を押下の検出、または自動取得部３１３の通知によって、判定処理を開始する（Ｓ５１４）。図１２（ｄ）はＳ５１４の判定処理が開始された際の表示画面例である。なお、図１２（ｄ）において、オブジェクト１５０１（人物１０６）とオブジェクト１５０４には、属性情報が表示されていないが、オブジェクト追尾処理を用いて、特定したオブジェクトに関連付けて複数のスル―画像に属性情報が表示され続けるようにしてよい。

前回特定処理を行った図１２（ｂ）に示した表示画面例におけるスル―画像と被写体（オブジェクト）の位置関係に変化はないためオブジェクトテーブルは図１０と変わらない。また、カメラの動き量も所定値以下であるとする。そして、所持している特徴情報（撮像画像（図１２（ｂ））に対して実行した特定処理に用いた特徴情報）を用いて特定処理を実行する。すると、カメラ１０１の識別可能判定が「ＯＫ」になっているオブジェクトすべてに識別子が入力され、特定できている状態であるため、判定処理の結果として識別情報を取得しないと判定する。そして、カメラ１０１は識別情報を取得しないための処理を行う（Ｓ５１５）。識別情報を取得しないための処理とはカメラ１０１は識別情報を周囲の端末に対して要求しない。また、端末装置が識別情報を定期的に報知する信号（例えばビーコン）を受信する受信処理を実行しない。そして、カメラ１０１は特定されているオブジェクトの属性情報を撮像機能部３０３から得られた画像データに合成画像し、表示制御部３０４は合成画像を表示する（Ｓ５１６）。

以上説明したように本実施例によれば、撮像したオブジェクトを特定して、特定したオブジェクトに対応する情報を合成して表示するＡＲシステムにおいて、撮像画像における検出したオブジェクトの同定状態によって識別情報の取得処理の実行可否を判定する。したがって、識別情報収集が不要な場合に識別情報収集を行わず、不要な通信資源の使用を低減することができる。特に、例えば識別情報を送信する端末装置が多数いる環境では顕著な通信資源の有効活用を奏することできる。また、不要な情報収集処理を行わないのでカメラ１０１は消費電力を削減させることができる。

本実施例における情報処理装置は、他の装置の識別子を取得し、撮像画像から所定のオブジェクトを検出す。そして、取得した識別子に基づいて、所定のオブジェクトを特定するための特徴情報を取得する。第１の撮像画像に対して第１の特徴情報を用いた第１の特定処理と、第２の撮像画像に対して第１の特定処理に用いた第１の特徴情報により特定処理を行う。そして、第２の特定処理の結果に応じて、識別子の取得を行わないように制御する。

（その他の実施形態）
その他の構成として、本発明は静止画によらず動画像において人物を特定し、属性情報を表示してもよい。その場合、動画像の各フレームを静止画として連続して処理することで実現してもよい。

識別情報の発信や取得などに関わる通信は、ＩＥＥＥ８０２．１１に則った無線ＬＡＮの通信に限らず、Ｂｌｕｅｔｏｏｔｈやパッシブ／アクティブ型のＲＦＩＤなどでよい。無線ＬＡＮとパッシブ型ＲＦＩＤなど複数の無線通信インタフェースで同時に、識別情報に関する通信を行ってもよい。特徴情報検索をサーバに取得要求を行うモデルを記述しているが、これによらず自端末内での特徴情報検索の方法をとってもよい。

また、ミリ波などの指向性のある無線方式を利用して識別情報の発信、取得をしてもよい。実施例では各識別子は人物に紐づけられていたが、人物である必要はなく、動物や自動車、またはやある特定の物体などに紐づけられていてもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ カメラ
１０２、１０４、１０６ 人物
１０３、１０５、１０７ 携帯電話
１０８ ネットワーク
１０９ サーバ

Claims (14)

1. 他の装置の識別子を取得する識別子取得手段と、
   撮像画像から所定のオブジェクトを検出する検出手段と、
   取得した前記識別子に基づいて、前記所定のオブジェクトを特定するための特徴情報を取得する特徴情報取得手段と、
   前記検出手段により検出された前記所定のオブジェクトを前記特徴情報に基づいて、特定するための特定処理を行う手段であり、第１の撮像画像に対して第１の特徴情報を用いた前記特定処理を行う第１の特定処理と、第２の撮像画像に対して前記第１の特徴情報を用いた前記特定処理を行う第２の特定処理とを行う特定手段と、
   前記第２の特定処理の結果に応じて、前記識別子取得手段による前記識別子の取得を行わないように制御する制御手段を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記第２の特定処理において、検出された一部の前記所定のオブジェクトが特定できない場合、前記識別子取得手段による前記識別子の取得を行うよう制御することを特徴とする請求項１記載の情報処理装置。
3. 前記特定手段は、特定されていない前記一部の所定のオブジェクトを特定するために、新たに取得した前記識別子に対応する前記特徴情報に基づいて、前記特定処理を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記制御手段は、前記第２の特定処理において、検出された全ての前記所定のオブジェクトが特定できた場合、前記識別子取得手段による前記識別子の取得を行わないよう制御することを特徴とする請求項１乃至３何れか１項に記載の情報処理装置。
5. 前記制御手段は、前記第２の特定処理において、検出された一部の前記所定のオブジェクトが特定されていない場合であって、前記第２の特定処理の結果が所定の条件を満たす場合には、前記識別子取得手段による前記識別子の取得を行わないよう制御することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
6. 前記所定の条件は、特定できた前記所定のオブジェクトのサイズまたは数に基づくことを特徴とする請求項５に記載の情報処理装置。
7. 前記制御手段は、前記識別子取得手段による前記識別子の取得を行わないように他の装置に識別子を要求するメッセージを送信しないように制御することを特徴とする請求項１乃至６何れか１項に記載の情報処理装置。
8. 前記制御手段は前記識別子取得手段による前記識別子の取得を行わないように他の装置から送信される前記識別子を受信しないように制御することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
9. 前記情報処理装置の動きを測定する測定手段とを更に有し、
   前記識別子取得手段は、前記測定手段により測定された動きが所定の値を上回る場合は、他の装置の識別子を取得することを特徴とする請求項１乃至８何れか１項に記載の情報処理装置。
10. 前記識別子取得手段は、既に取得している識別子を有する他の装置から再度識別子を取得しないようにすることを特徴とする請求項１乃至９何れか１項に記載の情報処理装置。
11. 前記識別子取得手段は、既に取得している識別子を有する他の装置に対して応答しないよう指示するメッセージを含めた識別子取得要求を同報送信することを特徴とする請求項１乃至１０何れか１項に記載の情報処理装置。
12. 前記特定手段により特定した所定のオブジェクトに関連付けて所定の情報を表示させる表示制御手段を有することを特徴とする請求項１乃至１１何れか１項に記載の情報処理装置。
13. 情報処理装置の制御方法であって、
    他の装置の識別子を取得する識別子取得工程と、
    撮像画像から所定のオブジェクトを検出する検出工程と、
    取得した前記識別子に基づいて、前記所定のオブジェクトを特定するための特徴情報を取得する特徴情報取得工程と、
    第１の撮像画像から前記検出工程において検出された前記所定のオブジェクトを第１の特徴情報に基づいて特定するための第１の特定処理を行う第１の特定工程と、
    第２の撮像画像から前記検出工程において検出された前記所定のオブジェクトを前記第１の特徴情報に基づいて特定するための第２の特定処理を行う第２の特定工程と、
    前記第２の特定処理の結果に応じて、前記識別子取得工程を行わないように制御する制御工程を有することを特徴とする情報処理装置の制御方法。
14. コンピュータを請求項１乃至１２いずれか一項の記載の情報処理装置として動作させるためのプログラム。

Images