JP2012238965A - 通信装置、通信装置の制御方法およびプログラム。 - Google Patents

Abstract

【課題】撮像画像中に付加情報を表示する撮像装置を提供する。
【解決手段】撮像画像を表示する表示装置が、撮像画像の中から被写体を検出するための特徴情報と、被写体に関連付けて表示する付加情報とを取得し、被写体に関連付けて付加情報を表示する。表示装置は、付加情報を表示する被写体の数を設定でき、設定された被写体の数に応じて、特徴情報と付加情報とを取得する。
【選択図】図６

Description

本発明は、撮像画像に情報を合成して表示する通信装置に関する。

近年、カメラで撮影した撮像画像に、撮像画像中の物体の付加情報を合成して表示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術がある。例えば、頓智ドット株式会社のセカイカメラでは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報に基づいて、カメラで撮影した撮像画像に、撮像画像中の物体の付加情報を合成して表示する。
また、被写体が有する携帯端末から取得した被写体の特徴情報に基づいて撮像画像中から被写体を特定し、特定した被写体に関する付加情報をサーバから取得して撮像画像中の被写体の近傍に表示する技術がある（特許文献１）。

特開２００２−３０５７１７号公報

しかしながら、撮像画像中に多くの被写体が存在する場合、全ての被写体の付加情報を表示したのでは付加情報が見づらいという問題があった。また、付加情報を外部装置から取得する場合、全ての被写体の付加情報を取得するのでは通信負荷が増大してしまうという問題があった。
上記課題を解決するために、本発明は、撮像画像中の被写体に関連付けて付加情報を表示する際に、付加情報を見やすくすると共に、通信負荷を軽減することを目的とする。

本発明の表示装置は、撮像画像を表示する表示装置であって、前記撮像画像の中から被写体を検出するための特徴情報と、前記被写体に関連付けて表示する付加情報とを取得する取得手段と、前記被写体に関連付けて前記付加情報を表示する表示手段と、前記表示手段により前記付加情報を表示する前記被写体の数を設定する設定手段と、前記設定手段により設定された前記被写体の数に応じて、前記取得手段が前記特徴情報と前記付加情報とを取得するように制御する制御手段とを有する。

本発明によれば、撮像画像中の被写体に関連付けて付加情報を表示する際に、付加情報が見やすくなると共に、通信負荷が軽減される。

システム構成図 データベース ビューワ１０３のハードウェア構成図 ビューワ１０３のソフトウェア機能ブロック図 上限数を設定する際の表示画面を示す図 ビューワ１０３が実現するフローチャート

＜実施形態１＞
図１に本実施形態に係るシステム構成図を示す。

１０１−１〜５は、被写体である。被写体１０１−１〜５は、各々無線タグ１０２−１〜５を有している。無線タグ１０２−１〜５はＩＥＥＥ８０２．１１シリーズに準拠した無線ＬＡＮのアドホックモードで通信する通信装置であり、通信装置間で直接通信する。無線タグ１０２−１〜５は定期的に識別情報を送信する。識別情報は、無線タグの所有者（被写体）を一意に示す情報であり、各無線タグに固有に設定される情報である。なお、この識別情報は、ＩＥＥＥ８０２．１１シリーズに準拠したビーコンのＩＥ（情報要素、Ｉｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔ）に含めて送信される。
ビューワ１０３は、撮影機能を備えた情報処理装置（ここでは、表示装置）である。ビューワ１０３の表示部３０５は、撮像画像中の被写体の近傍に吹き出しの形式で、被写体の付加情報（被写体の名前や趣味など）を合成して表示する。また、サーバ１０４は、ネットワーク１０５を介してビューワ１０３と接続され、ビューワ１０３からの問い合わせに応じて、無線タグの識別情報に応じた付加情報と特徴情報とをビューワ１０３に送信する。ここで、特徴情報とは無線タグの所有者の顔の特徴情報であり、無線タグの所有者を画像処理により検出するために用いられる。

図２に、サーバ１０４が保持するデータベース２０１の一例を示す。データベース２０１では、無線タグの所有者を一意に示す識別情報に関連付けて、所有者の付加情報と特徴情報とが管理されている。ここで、付加情報とは、無線タグの所有者の名前や趣味等の情報である。なお、付加情報として、所有者のブログのＵＲＬなどの情報が含まれていてもよい。また、このような付加情報や顔の特徴情報は、予め各被写体が無線タグと関連付けて、サーバ１０４に登録しておくものとする。

図３に、ビューワ１０３のハードウェア構成を示す。

制御部３０１はＣＰＵ、ＭＰＵ等のコンピュータにより構成され、記憶部３０２に記憶されたプログラムを実行することによりビューワ１０３全体を制御する。記憶部３０２はＲＯＭ、ＲＡＭにより構成され、制御部３０１が実行するプログラムや、通信パラメータ等の各種情報を記憶する。後述する各種動作は、記憶部３０２に記憶されたプログラムを制御部３０１が実行することにより行われる。なお、記憶部３０２には、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。
撮影部３０３はシャッターボタン３０４を有し、ユーザによるシャッターボタンの押下に応じて、画像の撮影を行う。表示部３０５は、撮影部３０３により撮影された画像（撮像画像）の表示、および、撮像画像に付加情報を合成した合成画像の表示を行う。操作部３０６は、ユーザからの各種操作の受付を行う。
第１の通信部３０７は不図示のアンテナを有し、ＩＥＥＥ８０２．１１シリーズに準拠した通信を無線タグ１０２−１〜５と行う。第２の通信部３０８は不図示のアンテナを有し、ネットワーク１０５を介してサーバ１０４と通信する。

図４に、ビューワ１０３の制御部３０１が記憶部３０２に記憶されているプログラムを読み出すことで実現されるソフトウェア機能ブロックを示す。なお、図４に示すソフトウェア機能ブロックの少なくとも一部をハードウェアにより実現してもよい。
設定部４０１は、表示部３０５に図５に示すような表示を行い、ユーザに操作部３０６を介して、吹き出しの形式で付加情報を表示する被写体の上限数を設定させる。撮影制御部４０２は、ユーザによるシャッターボタン３０４の押下に応じて、撮影部３０３を用いて撮影を行う。取得部４０３は、第１の通信部３０７を用いて、無線タグから識別情報を取得する。選択部４０４は、取得部４０３により取得した複数の無線タグの識別情報の中から優先度に従って、上限数に応じた数の無線タグの識別情報を選択する。
要求部４０５は、第２の通信部３０８を用いて、選択部４０４により選択された無線タグの識別情報に対応する付加情報をサーバ１０４に要求する。また、当該要求に応じたサーバ１０４から、第２の通信部３０８を用いて、選択部４０４により選択された無線タグの識別情報に対応する付加情報を受信する。この付加情報には、選択された無線タグの所有者の付加情報、および、所有者の顔の特徴情報が含まれる。
検出部４０６は、要求部４０５が取得した顔の特徴情報に基づいて、画像認識により、撮影部３０３により撮影された撮像画像の中から、無線タグの所有者である被写体を検出する。合成部４０７は、撮影部３０３により撮影された撮像画像に、当該撮像画像の中から検出された被写体の近傍に、当該被写体の付加情報を吹き出しの形式で合成して、表示部３０５に表示する。

図６に、ビューワ１０３の表示部３０４が合成画像を表示する際に、制御部３０１が記憶部３０２に記憶されているプログラムを読み出すことで実現されるフローチャートを示す。

まず、設定部４０１は、表示部３０５に図５に示すような表示を行い、ユーザに操作部３０６を介して、吹き出しの形式で付加情報を表示する被写体の上限数を設定させる（Ｓ６０１）。ここでは、ユーザは、上限数として「１」を設定するものとする。その後、ユーザがシャッターボタン３０４を押下すると、撮影制御部４０２は撮影を行う（Ｓ６０２）。ここでは、ユーザは被写体１０１−１〜５を含めて撮影を行うものとする。
次に、取得部４０３は第１の通信部３０７の通信範囲内に存在する無線タグから、識別情報を取得する（Ｓ６０３）。ここでは、取得部４０２は、５台の無線タグ１０２−１〜５の各々から識別情報を取得するものとする。
次に、選択部４０４は、取得部４０３により取得した複数の無線タグの識別情報の中から優先度に従って、上限数に応じた数の無線タグの識別情報を選択する（Ｓ６０４）。ここでは、上限数は「１」のため、選別部４０４は５台の無線タグの識別情報の中から、１台の無線タグの識別情報を選択する。また、優先度として無線タグからの電波強度（ＲＳＳＩ）を利用する。即ち、電波強度の強い無線タグの識別情報から順に、高い優先度を与えるものとする。ここでは、無線タグ１０２−３からの電波強度が最も高く、無線タグ１０２−３の識別情報が選択されるものとする。
次に、要求部４０５は、第２の通信部３０８を用いて、選択部４０４により選択された無線タグの識別情報に対応する付加情報をサーバ１０４に要求する（Ｓ６０５）。ここでは、要求部４０５は、無線タグ１０２−３の識別情報をサーバ１０４に送信することで、無線タグ１０２−３の識別情報に対応する付加情報をサーバ１０４に要求する。そして、要求部４０５は、要求に応じたサーバ１０４から、選択部４０４により選択された無線タグの識別情報に対応する付加情報を受信する（Ｓ６０６）。ここでは、要求部４０５は、無線タグ１０２−３の識別情報に対応する付加情報として、被写体１０１−３の名前および趣味の情報、および、被写体１０１−３の顔の特徴情報を受信する。

なお、サーバ１０４に要求された識別情報に対応する付加情報が多い場合、サーバ１０４は、対応する付加情報の一部を自動的にビューワ１０３に送信する。この際、サーバ１０４はビューワ１０３に対して、付加情報に続きがあることを通知する。この通知を受信したビューワ１０３は表示部３０５を介して、ユーザにこの旨を通知する。この場合、ユーザは操作部３０６を介して付加情報の続きを要求することができる。ユーザの指示により、この要求が為された場合には、ビューワ１０３はサーバ１０４に対して、付加情報の続きを要求し、受信する。

次に、要求部４０５が取得した顔の特徴情報に基づいて、画像認識により、撮影部３０３により撮影された撮像画像の中から、無線タグの所有者を検出する（Ｓ６０７）。ここでは、被写体１０１−３の顔の特徴情報に基づいて、無線タグ１０２−３の所有者である被写体１０１−３を検出する。
そして、合成部４０７は、撮影部３０３により撮影された撮像画像に、当該撮像画像の中から検出された被写体の近傍に、当該被写体の付加情報を吹き出しの形式で合成した合成画像を表示部３０５に表示する（Ｓ６０８）。ここでは、図１に示すように、合成部４０７は、被写体１０１−３の上部に、被写体１０１−３の名前および趣味を吹き出しの形式で合成して、表示部３０５に表示する。なお、Ｓ６０７において無線タグの所有者に対応する被写体を検出できなかった場合には、Ｓ６０８における付加情報の表示は行わない。この際、「無線タグの所有者がいません」等のエラー表示を行う。これにより、ユーザは近くに無線タグの所有者がいないことを知ることができる。

このようにして、複数の被写体を撮影したとしても、ビューワ１０３の近くにいる被写体に関する付加情報を選択的に取得して、表示することができる。更に、付加情報は被写体の近傍に吹き出しの形式で合成して表示されるため、ユーザは簡単に誰の付加情報かを知ることができる。

なお、上述の実施形態は静止画であっても動画像であっても適用することができる。動画像の場合には、動画像の各フレームを静止画として連続して処理することで実現することができる。即ち、
また、無線タグ１０２とビューワ１０３との間の通信方式は、無線ＬＡＮに限らず、ＢｌｕｅｔｏｏｔｈやＩｒＤＡ、Ｗｉｒｅｌｅｓｓ ＵＳＢを用いてもよい。また、無線タグごとに異なる通信方式を用いて通信するようにしてもよい。

なお、上述の実施形態では、電波強度が強い順に高い優先度を与えた。しかし、これに限らず、無線タグが利用している周波数チャネルに応じて優先度を決めるようにしてもよい。例えば、チャネル１は、料理に関する趣味を付加情報として登録しているユーザが利用し、チャネル２は、スポーツに関する趣味を付加情報として登録しているユーザが利用する場合が考えられる。このような場合、ユーザは自身の趣味に応じて例えば、チャネル２により通信する無線タグの優先度を高くするように設定することができる。これにより、ユーザは、複数の被写体のうち、ユーザが得たい種類（ジャンル）の情報を付加情報として登録している被写体の付加情報を選択的に取得して、表示することができる。

また、無線タグが利用している周波数チャネルに応じて優先度を決める場合、優先度の高い周波数チャネルから順にスキャンを行い識別情報を取得し、取得した識別情報が上限数に達した場合には、スキャンを中止するようにしてもよい。即ち、チャネル１よりもチャネル２の方が優先度が高く、チャネル２におけるスキャンにより、上限数である「１」つの無線タグの識別情報を取得した場合には、チャネル１のスキャンを行わないようにする。これにより、全ての周波数チャネルをスキャンする場合と比べ、無線タグとの通信量が削減されるので、省電力および処理負荷の軽減をすることができる。

また、周波数チャネルの他、無線タグのベンダＩＤや通信方式に基づいて、優先度を決めるようにしてもよい。

また、ビューワ１０３とは異なる撮影装置が撮影した撮像画像を当該撮影装置からビューワ１０３に送信し、ビューワ１０３において受信した撮像画像に、被写体の付加情報を合成して表示するようにしてもよい。
また、ビューワ１０３に上述の無線タグを取り付けるようにしてもよい。これにより、ビューワ１０３を持つ者同士で、各々が登録した付加情報を見ることができる。

また、上述の実施形態では、付加情報を撮像画像に吹き出しの形式で合成して表示した。しかしこれに限らず、音声により付加情報をユーザに提示するようにしてもよい。この場合、どの被写体についての付加情報かについては、当該被写体を四角や丸で囲んで表示することにより、ユーザに提示するようにする。これにより、ユーザは文字を読むことなく、被写体についての付加情報を知ることができる。
また、上述の実施形態では、付加情報および被写体の特徴情報をサーバ１０４に問い合わせた。しかしこれに限らず、付加情報および特徴情報のうちのいずれか一方、または、その一部のみをサーバ１０４に要求するようにし、他の情報については予めビューワ１０３が記憶しておくようにしてもよい。また、サーバ１０４から受信した付加情報および特徴情報の全部または一部を記憶するようにし、記憶している情報についてはサーバ１０４に再度要求しないようしてもよい。これにより、ビューワ１０３とサーバ１０４との間の通信料が削減され、省電力および処理負荷の軽減をすることができる。

また、被写体は人に限らず、建物（例えば店舗）やオブジェクト（例えば像）等であってもよい。そして、上述の実施形態と同様にして建物やオブジェクトの付加情報をユーザに通知することで、ユーザは建物やオブジェクトの情報を知ることができる。例えば、店舗の看板や、像の標識部分に無線タグを取り付けておき、この無線タグに関連付けて当該看板や標識の特徴情報をサーバに記憶させておく。更に、無線タグに関連付けて店舗やオブジェクトの付加情報をサーバに記憶させておく。そして、ユーザがビューワ１０３により当該看板や標識を撮影すると、ビューワ１０３はサーバ１０４から特徴情報を受信し、受信した特徴情報に基づいて当該看板や標識を認識し、店舗や像の付加情報を表示する。このようにして、ユーザは簡単に建物やオブジェクトの情報を知ることができる。

上述のようにして、ビューワ１０３は、周囲に多くの無線タグが存在している場合であっても、付加情報を表示する被写体の上限数に応じた数の特徴情報と付加情報とをサーバ１０４から受信するので、処理負荷を低減することができる。また、ビューワ１０３のメモリを効率的に使用することができる。

１０１ 被写体
１０２ 無線タグ
１０３ ビューワ
１０４ サーバ
１０５ ネットワーク

Claims (9)

1. 撮像画像を表示する表示装置であって、
   前記撮像画像の中から被写体を検出するための特徴情報と、前記被写体に関連付けて表示する付加情報とを取得する取得手段と、
   前記被写体に関連付けて前記付加情報を表示する表示手段と、
   前記表示手段により前記付加情報を表示する前記被写体の数を設定する設定手段と、
   前記設定手段により設定された前記被写体の数に応じて、前記取得手段が前記特徴情報と前記付加情報とを取得するように制御する制御手段と、
   を有することを特徴とする表示装置。
2. 通信装置から、前記通信装置の識別情報を受信する受信手段を更に有し、
   前記取得手段は、前記受信手段により受信した前記識別情報に関連付けられた前記特徴情報と前記付加情報とを取得することを特徴とする請求項１に記載の表示装置。
3. 前記制御手段は、前記受信手段に、前記設定手段により設定された前記被写体の数に応じた数の前記通信装置から識別情報を受信させることにより、前記取得手段が、前記設定手段により設定された前記被写体の数に応じて前記特徴情報と前記付加情報とを取得するように制御することを特徴とする請求項２に記載の表示装置。
4. 前記受信手段は、複数の他の通信装置の各々から、前記複数の他の通信装置の各々の識別情報を受信し、
   前記受信手段により受信した前記識別情報のうち、前記設定手段により設定された前記被写体の数に応じた数の前記他の通信装置の識別情報を選択する選択手段を更に有し、
   前記取得手段は、前記設定手段により選択された前記識別情報に関連付けられた前記特徴情報と前記付加情報とを取得することを特徴とする請求項２に記載の表示装置。
5. 前記選択手段は、前記複数の通信装置の各々からの電波強度に基づいて、前記識別情報を選択することを特徴とする請求項４に記載の表示装置。
6. 前記取得手段は、前記付加情報の一部を自動的に取得し、その後のユーザの指示に応じて、残りの前記付加情報を取得することを特徴とする請求項１乃至５のいずれか１項に記載の表示装置。
7. 前記特徴情報に基づく画像認識により、前記撮像画像の中から前記被写体を検出する検出手段を更に有し、
   前記表示手段は、前記検出手段により検出した前記被写体に関連付けて、前記付加情報を表示することを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
8. 情報処理装置の制御方法であって、
   表示部に表示させた撮像画像の中から被写体を検出するための特徴情報と、前記被写体に関連付けて表示する付加情報とを取得する取得工程と、
   前記被写体に関連付けて前記付加情報を前記表示部に表示させる表示工程と、
   前記表示工程において前記付加情報を表示する前記被写体の数を設定する設定工程と、
   前記設定工程において設定された前記被写体の数に応じて、前記取得工程が前記特徴情報と前記付加情報とを取得するように制御する制御工程と、
   を有することを特徴とする制御方法。
9. コンピュータを請求項１乃至７のいずれか１項に記載の表示装置として動作させるためのプログラム。

Images