JP2016194756A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】未知のアプリケーションや、動的に変化するアプリケーションなど、装置の外観を認識して機器連携を行う。
【解決手段】本開示に係る情報処理装置は、自装置の外観の特徴を示す外観情報を取得する外観情報取得部と、自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する送信部と、を備える。この構成により、未知のアプリケーションや、動的に変化するアプリケーションなど、装置の外観を認識して機器連携を行うことが可能となる。
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

カメラなどを通して得られた現実の環境をコンピュータによって拡張する技術は拡張現実（AR：Augmented Reality）として研究されている。特に、近年ではスマートフォンの普及により、カメラ付きのモバイル端末が使用しやすくなっているため、モバイル端末のカメラを物体にかざすことで、物体を認識し、任意の情報を重畳表示するＡＲアプリケーションが多く開発されている。このような中、下記の特許文献１には、プログラム自体を認証キーとして機能させることを想定した技術が記載されている。

特開２００２−３４４４４４号公報

ＡＲアプリケーションにおいては、カメラから得られた画像で物体認識を行うために、被写体となる物体に、特定のタグ画像やマーカー画像を付加しておく必要があった。そのため、マーカー画像を使用せず、画像から得られる特徴点を解析し、物体を認識するマーカーレスのＡＲ手法も考えられる。

しかし、いずれの手法においても、物体を認識するためには、認識対象の特徴点を事前に辞書データとして登録しておく必要があった。そのため、別端末上で動作している未知のアプリケーションや、動的に画面の状態が変化するアプリケーションなど、あらかじめ特徴点を取得することが難しいものは認識対象として用いることは困難であった。

そこで、未知のアプリケーションや、動的に変化するアプリケーションなど、装置の外観を認識して機器連携を行うことが望まれていた。

本開示によれば、自装置の外観の特徴を示す外観情報を取得する外観情報取得部と、自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する送信部と、を備える、情報処理装置が提供される。

表示画面を備え、前記外観情報取得部は、前記表示画面に表示された画面の特徴を示す画像情報を前記外観情報として生成する画像情報生成部から構成されるものであっても良い。

また、前記送信部は、前記他装置と通信するための通信情報を前記画像情報とともに送信するものであっても良い。

また、前記表示画面には複数のアプリケーションが表示され、前記画像情報生成部は、前記複数のアプリケーション毎に前記画像情報を生成し、前記送信部は、アプリケーション毎に生成された前記画像情報を送信するものであっても良い。

また、前記表示画面の撮像画像と前記画像情報とが一致すると判定した前記他装置と通信を行うものであっても良い。

また、前記他装置を識別するための識別情報を取得する識別情報取得部を備え、前記送信部は、前記識別情報を前記画像情報とともに送信するものであっても良い。

また、前記識別情報は、前記他装置のＩＰアドレスの少なくとも一部を含むものであっても良い。

また、前記識別情報取得部は、ビーコン、音、又は光によって送られた前記識別情報を取得するものであっても良い。

また、位置情報を取得する位置情報取得部を備え、前記送信部は、前記位置情報を前記画像情報とともに送信するものであっても良い。

また、本開示によれば、自装置の外観の特徴を示す外観情報を取得することと、自装置の外観を撮影した他装置と通信するため、前記外観情報を送信することと、を備える、情報処理方法が提供される。

また、本開示によれば、自装置の外観の特徴を示す外観情報を取得する手段、自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する手段、としてコンピュータを機能させるためのプログラムが提供される。

以上説明したように本開示によれば、未知のアプリケーションや、動的に変化するアプリケーションなど、装置の外観を認識して機器連携を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るシステムの概要を示す模式図である。 本開示の一実施形態に係るシステムの概要を示す模式図である。 本実施形態に係るシステムの構成を示す模式図である。 認識される端末による画像情報の作成、登録の処理を示すフローチャートである。 認識する端末の画像認識の処理を説明するためのフローチャートである。 サーバの辞書データ保持機能の処理を説明するためのフローチャートである。 通信情報の例を示す模式図である。 テーブルトップインタラクティブシステムとスマートフォンなどの端末とが連携するシステムを示す模式図である。 図７の情報処理システムの機能構成例を示す説明図である。 据え置きディスプレイとウェアラブルデバイスを連携させる例を示す模式図である。 壁面に設置された大画面ディスプレイ上のアプリケーションを認識する場合を示す模式図である。 家庭内でネットワークに接続された家電製品などの物を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムの構成例
２．端末、及びサーバの処理
３．通信情報の例
４．アプリケーション画面が動画である場合
５．登録情報の絞り込み
６．本実施形態の適用例
６．１．テーブルトップインタラクティブシステムへの適用
６．２．ウェアラブルデバイスと他の表示デバイス
６．３．壁面に設置された大画面ディスプレイ上のアプリケーションの認識
６．４．ウェアラブルカメラと家電製品

１．システムの構成例
図１Ａ及び図１Ｂは、本開示の一実施形態に係るシステムの概要を示す模式図である。このシステムは、複数の端末を用いた機器連携において、ある端末が別の端末上で動作するアプリケーションをカメラ画像により画像認識することで、認識された端末と認識した端末とが連携して通信を行う。図１Ａに示すように、このシステムでは、認識される側の端末１００であるタブレット端末のアプリケーション画面１１０を、認識する側の端末２００であるモバイル機器が撮影する。

図１Ｂに示すように、認識される端末１００は、アプリケーション画面１１０を辞書データとしてサーバ３００に逐次登録する。認識する端末２００は、サーバ３００から辞書データを取得して、撮影により得られた画像と比較する。そして、比較の結果、両者が一致した場合は、端末１００と端末２００が通信を開始する。

図２は、本実施形態に係るシステム１０００の構成を示す模式図である。図２に示すように、このシステム１０００は、認識される端末１００、認識する端末２００、サーバ３００を有して構成されている。認識される端末１００は、表示画面にアプリケーションなどを表示する。また、認識される端末１００は、画像情報生成部１０２を備え、端末１００上のアプリケーション画面を画像情報（辞書データ）として生成する。端末１００は、通信部１０４から画像情報をサーバ３００の通信部３０４へ送ることで、画像情報をサーバ３００に登録する。サーバ３００は、画像情報の保持部３０２を有している。なお、図１に示す端末１００，２００、サーバ３００の各構成要素は、ハードウェア（回路）、又はＣＰＵなどの中央演算処理装置とこれを機能させるためのプログラム（ソフトウェア）によって構成されることができる。この場合に、そのプログラムは、装置内部に設けられるメモリ、または外部から接続されるメモリ等の記録媒体に格納されることができる。

端末１００の画像情報生成部１０２は、端末１００で表示中のアプリケーションのスナップショットや画像認識用特徴点の画像情報を作成し、サーバ３００の保持部３０２へデータを登録する。端末１００に複数のアプリケーション画面が表示されている場合、アプリケーション画面毎に画像情報を送る。同時に、端末１００は、端末１００と端末２００が通信するための通信情報、端末２００が端末１００に表示中のアプリケーションと通信するための通信情報も合わせてサーバ３００へ登録する。画像情報は、認識される端末１００上で作成せずに、スナップショットのデータを利用して、サーバ３００上で作成することも可能である。アプリケーション画面は、静止画であっても動画であっても良い。

認識する端末２００は、カメラ２０２、画像認識部２０４、通信部２０６を有する。端末１００に表示されたアプリケーション画面をカメラ２０２が撮像し、画像認識部２０４が撮像により得られた画像を認識する。通信部２０６は、サーバ３００の通信部３０４と通信を行い、保持部３０２に保持されている画像情報を取得する。画像認識部２０４は、画像情報とカメラ２０２から入力される画像データとを比較することにより、端末１００上で表示されているアプリケーションを認識する。そして、カメラ２０２が撮像したアプリケーション画面とサーバ３００から取得した画像情報が一致した場合は、サーバ３００の保持部３０２から、端末１００と通信するための情報、端末１００に表示中のアプリケーションと通信するための情報を取得し、認識される端末１００と通信を始める。

サーバ３００の保持部３０２は、認識される端末１００から登録される画像情報、端末１００と端末２００が通信するための情報、端末１００のアプリケーションと端末２００が通信するための情報を保持し、認識する端末２００の画像認識部２０２の要求に応じて、保持しているデータを提供する。

なお、サーバ３００の辞書データ保持機能は、辞書データ作成機能を有する端末１００上、または画像認識機能を有する端末２００上に構成されていても良い。

従って、本実施形態のシステムによれば、複数のデバイスを用いた機器連携において、認識する端末２００が認識される端末１００上で動作するアプリケーションをカメラ画像から認識することで、認識する端末２００と認識される端末１００とが連携することができる。

被認識対象となるアプリケーション画面が動作している端末１００は、アプリケーション画面のスナップショットや画像認識用特徴点といった画像情報を、画面の変化に応じてリアルタイムでサーバ３００へ送信する。そして、認識する端末２００がその画像情報を用いてカメラ２０２の画像と対比することにより、事前に辞書データの作成、登録を行うことなく、未知のアプリケーションや、状態が動的に変化するアプリケーションを画像認識で識別することが可能となる。

本実施形態を実施する際の前提条件として、認識される側の端末１００、認識する側の端末２００、サーバ３００は、ネットワークやＰ２Ｐによって、予め通信可能に接続されているものとする。但し、接続方法については特に限定されるものではない。

２．端末、及びサーバの処理
次に、図３に基づいて、認識される端末１００による画像情報の作成、登録の処理を説明する。先ず、認識される端末１００上のアプリケーションが起動すると、ステップＳ１０では、表示画面が変化したか否かを判定する。表示画面が変化した場合はステップＳ１２へ進み、表示画面上のスナップショットや画像認識用特徴点の画像情報を作成する。一方、表示画面に変化が無い場合は、ステップＳ１９で一定時間待機した後、ステップＳ１０に戻り、再度、表示画面が変化したか否かを判定する。

ステップＳ１２の後はステップＳ１４へ進み、ステップＳ１２で作成したスナップショットや画像認識用特徴点をサーバ３００登録する。この際、通信情報も併せて登録する。通信情報は、端末２００が端末１００と通信するための情報、端末２００が端末１００のアプリケーションと通信するための情報である。

次のステップＳ１６では、アプリケーションの機能が終了したか否かを判定し、アプリケーションの機能が終了した場合は、その旨をサーバ３００に通知し、ステップＳ１８へ進む。ステップＳ１８では、サーバ３００に登録したデータを削除する。ステップＳ１８の後は処理を終了する。

また、ステップＳ１６でアプリケーションの機能が終了していない場合は、ステップＳ１９で一定時間待機した後、ステップＳ１０に戻り、以降の処理を再度行う。

次に、図４に基づいて、認識する端末２００の画像認識の処理を説明する。先ず、認識する端末２００上のアプリケーションが起動すると、ステップＳ２０では、認識される端末１００と通信するために、認識される端末１００の認識が必要か調べる。認識が必要な場合はステップＳ２２へ進み、サーバ３００からスナップショットや画像特徴点の画像情報を取得する。一方、認識が必要でない場合は、ステップＳ３２で一定時間待機した後、ステップＳ２０に戻り、以降の処理を再度行う。

ステップＳ２２の後はステップＳ２４へ進み、カメラ２０２から入力された画像と、ステップＳ２２で取得した画像情報を比較する。比較の結果、カメラ２０２から入力された画像と、ステップＳ２２で取得した画像情報が一致した場合は、ステップＳ２６へ進み、サーバ３００に保持された通信情報を取得する。一方、一致しない場合は、ステップＳ３２で一定時間待機した後、ステップＳ２０に戻り、以降の処理を再度行う。この一致判定は、例えば公知の顔検出アルゴリズム等と同様の手法により、撮像画像を解析して特徴点を抽出し、画像情報の特徴点と対比する。そして、テンプレートマッチング処理等により相関性の高さに基づいて画像が一致しているか否かを判定する。

ステップＳ２６の後はステップＳ２８へ進む。ステップＳ２８では、通信情報に基づいて、端末２００が端末１００と通信を行う。これにより、端末２００は端末１００に表示されたアプリケーションと通信を行うことができる。次のステップＳ３０では、アプリケーションの機能が終了したか否かを判定し、アプリケーションの機能が終了した場合は、処理を終了する。

一方、アプリケーションの機能が終了していない場合は、ステップＳ３２で一定時間待機した後、ステップＳ２０に戻り、以降の処理を再度行う。

次に、図５に基づいて、サーバ３００の辞書データ保持機能の処理を説明する。先ず、サーバ３００の辞書データ保持機能が開始されると、ステップＳ４０では、認識される端末１００上のアプリケーション、または認識する端末２００上のアプリケーションからの通信要求を待つ。次のステップＳ４２において、認識される端末１００から画像情報の登録要求があると、ステップＳ４４へ進み、画像情報の登録を行う。

また、ステップＳ４６において、端末１００から通信情報の登録要求があった場合は、ステップＳ４８へ進む。ステップＳ４８では、通信情報を登録する。

また、ステップＳ５０において、端末２００から画像情報の取得要求があった場合は、ステップＳ５２へ進む。ステップＳ５２では、端末２００へ画像情報の提供を行う。

また、ステップＳ５４において、端末２００から通信情報の取得要求があった場合は、ステップＳ５６へ進む。ステップＳ５６では、端末２００へ通信情報の提供を行う。

ステップＳ５８では、アプリケーションの機能が終了したか否かを判定し、アプリケーションの機能が終了した場合は、処理を終了する。一方、アプリケーションの機能が終了していない場合は、ステップＳ４０に戻り、以降の処理を再度行う。

３．通信情報の例
通信情報としては、プロトコル名、ポート番号、ＩＰアドレス等の情報を挙げることができる。図６は、通信情報の例を示す模式図である。図６では、Ａ機器、Ｂ機器、Ｃ機器がそれぞれ有する通信情報を示す模式図である。通信情報は、ネットワークインタフェース、インターネット層、トランスポート層、アプリケーション層、通信フォーマットのそれぞれについて規定されている。ネットワークインタフェースに関する情報としては、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ,Ｅｔｈｅｒｎｅｔ（登録商標）,ＷｉＦｉ Ｄｉｒｅｃｔなどがある。インターネット層に関する情報としては、ＩＰアドレスとポート番号（ＩＰ ｖ４とＩＰ Ｖ６）がある。トランスポート層に関する情報は、ＴＣＰまたはＵＤＰの情報である。アプリケーション層に関する情報としては、ＨＴＴＰ、ＨＴＴＰＳ、ｗｓ（ＷｅｂＳｏｃｋｅｔ）,ｗｓｓ（Ｓｅｃｕｒｅ ＷｅｂＳｏｃｋｅｔ）などがある。通信フォーマットに関する情報としては、ＪＳＯＮ ＰＲＣ、ＳＯＡＰ、ＲＥＳＴなどがある。

認識される端末１００と認識する端末２００は、サーバ３００を介して通信情報を共有することで、互いに通信を行うことができる。端末２００は、通信情報に含まれるＩＰアドレスによって端末１００を認識する。また、端末２００は、通信情報に含まれるポート番号によって端末１００のアプリケーションを認識する。通信情報は、アプリケーション画面毎に、画像情報と紐付けて端末１００から端末２００へ送られ、画像情報とともに保持部３０２に保持される。端末２００からの画像情報の取得要求に応じて、画像情報は紐付けられた通信情報とともに端末２００へ送られる。従って、端末１００に複数のアプリケーション画面が含まれている場合であっても、端末２００は、画像情報に対応するポート番号を取得することで、複数のアプリケーションのうちカメラ２０２によって撮影されたアプリケーションと通信を行うことができる。

４．アプリケーション画面が動画である場合
上述したように、アプリケーション画面は動画であっても良い。アプリケーション画面が動画の場合、通信のタイムラグを吸収するための仕組みを導入することができる。例えば、認識される端末１００から、画像情報よりも先にフレーム番号をサーバ３００へ送るようにする。フレーム番号の送信にはタイムラグは生じない。フレーム番号には時刻情報が対応付けされており、サーバ３００は、これから画像情報を受信することを予め認識することができる。サーバ３００は、フレーム番号よりも後に画像情報を端末１００から受信する。そして、サーバ３００は、端末１００から画像情報を受信すると、既に端末２００から受信している要求に応じて、要求された時刻に対応するフレームの画像情報を抽出し、端末２００へ送る。これにより、端末２００では、要求した時刻のカメラの画像と、サーバ３００から送られた画像情報が一致しているか否かを判定することができる。

または、認識する端末２００側において、カメラ２０２により撮影した動画を一定時間分だけ保持（キャッシュ）しておいても良い。これにより、端末２００がサーバ３００から画像情報を受信した際にタイムラグが生じていたとしても、端末２００側では、フレームの時刻情報に基づいて受信した画像情報と保持しておいた動画を比較することで、画像情報とキャッシュした動画が一致しているか否かを判定できる。

５．登録情報の絞り込み
多数の認識される端末１００が画像情報、通信情報をサーバ３００に登録した場合、認識する端末２００から画像情報、通信情報の取得要求を受けたサーバ３００は、登録された多数の画像情報、通信情報の中から情報を絞り込んで取得要求を出した端末２００へ返信する。

本実施形態では、絞り込みのための補助情報を用いることで、サーバ３００側での検索を容易にする。補助情報としては、例えば位置情報が挙げられる。認識される端末１００は、辞書データとともに、位置情報取得部（ＧＰＳ）１０６が取得した端末１００の位置情報をサーバ３００へ送る。サーバ３００は、画像情報、通信情報とともに位置情報を登録する。

認識する端末２００は、サーバ３００に対して画像情報を要求する際に、位置情報取得部（ＧＰＳ）２０８により取得した端末２００の位置情報をサーバ３００へ送る。サーバ３００の情報抽出部３０６は、端末２００から取得した位置情報に基づいて、画像情報、通信情報の絞り込みを行う。例えば、サーバ３００は、端末２００から取得した位置情報に基づいて、端末２００の位置から半径１０ｍ以内に位置する端末１００の画像情報、通信情報を抽出して端末２００へ送る。このように、位置情報に基づいて多数の端末１００の画像情報、通信情報の絞り込みを行うことで、端末２００側での画像情報と撮影情報との対比を容易に行うことができ、処理負荷を大幅に軽減することができる。

補助情報としては、位置情報以外にも、様々なものを用いることができる。例えば、認識する端末２００から認識される端末に向けて、端末２００の識別情報出力部２０９は、Ｗｉ−Ｆｉのビーコン、音、光などを用いて識別情報を端末１００へ送る。認識される端末１００の識別情報取得部１０８は識別情報を取得する。端末１００は、画像情報、通信情報とともに識別情報をサーバ３００へ送り、サーバ３００は画像情報、通信情報とともに識別情報を登録する。

認識する端末２００は、サーバ３００に対して画像情報を要求する際に、識別情報をサーバ３００へ送る。サーバ３００は、端末２００から取得した識別情報に基づいて画像情報の絞り込みを行い、登録された画像情報、通信情報のうち、端末２００から送られた識別情報と一致する識別情報に紐付けられた画像情報、通信情報を端末２００に送る。これにより、登録された多数の画像情報の中から、端末２００が撮影した端末１００の画像情報のみを抽出することができる。識別情報としては、端末２００のＩＰアドレス、又はその一部を用いることができる。このように、識別情報に基づいて多数の端末１００の画像情報の絞り込みを行うことで、端末２００側での画像情報と撮影情報との対比を容易に行うことができ、処理負荷を大幅に軽減することができる。

また、辞書データがサーバ３００に登録された順番に基づいて、直近に登録されたものから順に検索するようにしても良い。

６．本実施形態の適用例
６．１．テーブルトップインタラクティブシステムへの適用
以下では、本実施形態を適用した幾つかの例を説明する。図７は、テーブルトップインタラクティブシステムとスマートフォンなどの端末とが連携するシステムを示す模式図である。図７に示したように、このシステム１１００ａは、入力部１１１０ａと、出力部１１３０ａと、を含んで構成される。図７に示した本開示の一実施形態に係る情報処理システム１１００ａは、テーブル１１４０ａの天面に情報を表示し、テーブル１１４０ａに表示した情報に対して情報処理システム１１００ａを使用するユーザに操作をさせるシステムである。図７のようにテーブル１１４０ａの天面に情報を表示する方式を「プロジェクション型」とも称する。

入力部１１１０ａは、情報処理システム１１００ａを使用するユーザの操作内容や、テーブル１１４０ａに置かれている物体の形状や模様などを入力する装置である。図７に示した例では、入力部１１１０ａは、テーブル１１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。すなわち、入力部１１１０ａは、情報が表示される対象となるテーブル１１４０ａとは離隔して設けられる。入力部１１１０ａとしては、例えば１つのレンズでテーブル１１４０ａを撮像するカメラや、２つのレンズでテーブル１１４０ａを撮像して奥行き方向の情報を記録することが可能なステレオカメラ、情報処理システム１１００ａを使用するユーザが発する音声や情報処理システム１１００ａが置かれている環境の環境音を収音するためのマイク等が用いられ得る。

入力部１１１０ａとして、１つのレンズでテーブル１１４０ａを撮像するカメラが用いられる場合、情報処理システム１１００ａは、そのカメラが撮像した画像を解析することで、テーブル１１４０ａに置かれた物体を検出することが出来る。また入力部１１１０ａとしてステレオカメラが用いられる場合、そのステレオカメラには、例えば可視光カメラや赤外線カメラ等が用いられ得る。入力部１１１０ａとしてステレオカメラが用いられることで、入力部１１１０ａは、深度情報を取得することが可能となる。入力部１１１０ａが、深度情報を取得することで、情報処理システム１１００ａは、例えばテーブル１１４０ａの上に置かれた手や物体の検出が可能になる。また入力部１１１０ａが、深度情報を取得することで、情報処理システム１１００ａは、テーブル１１４０ａへのユーザの手の接触、近接の検出やテーブル１１４０ａからの手の離脱の検出が可能となる。なお、以下の説明では、ユーザが情報の表示面に手等の操作体を接触または近接させることを、まとめて単に「接触」とも称する。

また入力部１１１０ａとしてマイクが用いられる場合、そのマイクは特定の方向の音声を収音するためのマイクアレイが用いられ得る。入力部１１１０ａとしてマイクアレイが用いられる場合、情報処理システム１１００ａは、マイクアレイの収音方向を任意の方向に調整しても良い。

以下では、ユーザの操作が、入力部１１１０ａによって撮像された画像から検出される場合を主に説明するが、本開示は係る例に限定されるものではない。ユーザの操作は、ユーザの指等の接触を検出するタッチパネルによって検出されてもよい。また入力部１１１０ａが取得できるユーザ操作としては、この他にも、例えば情報の表示面に対するスタイラス操作、カメラに対するジェスチャ操作等が含まれ得る。

出力部１１３０ａは、入力部１１１０ａによって入力された、情報処理システム１１００ａを使用するユーザの操作内容や、出力部１３０ａが出力している情報の内容、テーブル１１４０ａに置かれている物体の形状や模様等の情報に応じて、テーブル１１４０ａに情報を表示したり、音声を出力したりする装置である。出力部１１３０ａとしては、例えばプロジェクタやスピーカ等が用いられる。図７に示した例では、出力部１１３０ａは、テーブル１４０ａの上方に、例えば天井から吊り下げられた状態で設けられる。出力部１１３０ａがプロジェクタで構成される場合、出力部１１３０ａは、テーブル１１４０ａの天面に情報を投影する。出力部１１３０ａがスピーカで構成される場合、出力部１１３０ａは、音声信号に基づいて音声を出力する。出力部１１３０ａがスピーカで構成される場合、スピーカの数は１つで合っても良く、複数であっても良い。出力部１１３０ａが複数のスピーカで構成される場合、情報処理システム１１００ａは、音声を出力するスピーカを限定したり、音声を出力する方向を調整したりしても良い。

また情報処理システム１１００ａが図７に示したようなプロジェクション型である場合、出力部１１３０ａに、照明機器が含まれていても良い。出力部１１３０ａに照明機器が含まれる場合、情報処理システム１１００ａは、入力部１１１０ａによって入力された情報の内容に基づいて、照明機器の点灯、消灯等の状態を制御しても良い。

情報処理システム１１００ａを使用するユーザは、出力部１１３０ａがテーブル１１４０ａに表示する情報に対して、指などをテーブル１１４０ａに置いて操作することが出来る。また情報処理システム１１００ａを使用するユーザは、テーブル１１４０ａに物体を置いて入力部１１１０ａに認識させることで、その認識させた物体に関する種々の操作を実行することが出来る。

なお図７には図示しないが、情報処理システム１１００ａには他の装置が接続されていても良い。例えば情報処理システム１１００ａには、テーブル１１４０ａを照らすための照明機器が接続されていても良い。情報処理システム１１００ａにテーブル１１４０ａを照らすための照明機器が接続されていることで、情報処理システム１１００ａは、情報の表示面の状態に応じて照明機器の点灯状態を制御することが可能となる。

図８は、図７の情報処理システム１１００の機能構成例を示す説明図である。以下、図８を用いて本開示の一実施形態にかかる情報処理システムの機能構成例について説明する。

図８に示したように、本開示の一実施形態にかかる情報処理システム１１００は、入力部１１１０と、制御部１１２０と、出力部１１３０と、を含んで構成される。

入力部１１１０は、情報処理システム１１００を使用するユーザの情報処理システム１１００に対する操作内容や、出力部１１３０が情報を出力する面（例えば図７に示したテーブル１１４０ａ）に置かれている物体の形状や模様などを入力する。情報処理システム１１００を使用するユーザの情報処理システム１１００に対する操作内容には、情報処理システム１１００が情報の表示面に出力するＧＵＩに対する操作内容を含む。入力部１１１０が入力した、情報処理システム１１００に対する操作内容、物体の形状、模様等の情報は制御部１１２０に送られる。

入力部１１１０は、情報処理システム１１００がプロジェクション型である場合、例えば１つのレンズで構成されるカメラ、２つのレンズで構成されるステレオカメラ、マイク等で構成され得る。

制御部１１２０は、情報処理システム１１００の各部の制御を実行する。例えば制御部１１２０は、入力部１１１０が入力した情報を用いて、出力部１１３０から出力する情報を生成する。図８に示したように、制御部１１２０は、検出部１１２１と、出力制御部１１２２と、を含んで構成される。検出部１１２１は、情報処理システム１１００を使用するユーザの、情報処理システム１１００に対する操作内容や、出力部１１３０が出力している情報の内容、出力部１１３０が情報を出力する面（例えば図７に示したテーブル１１４０ａ）に置かれている物体の形状や模様などを検出する処理を実行する。検出部１１２１が検出した内容は出力制御部１１２２に送られる。出力制御部１１２２は、検出部１１２１が検出した内容に基づいて、出力部１１３０から出力する情報を生成する制御を実行する。出力制御部１１２２が生成した情報は出力部１１３０に送られる。

例えば情報処理システム１１００が図７に示したプロジェクション型の場合、情報の表示面の座標と、ユーザの手等の操作体の表示面への接触座標とが一致するように予め校正されることで、検出部１１２１は、ユーザの手等の操作体が、ＧＵＩのどの部分に接触したかを検出することが可能になる。

制御部１１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理装置）などで構成されていてもよい。制御部１１２０がＣＰＵ等の装置で構成される場合は、かかる装置は電子回路で構成され得る。

また図８には図示しないが、制御部１１２０は、他の装置との間で無線通信を行なうための通信機能や、情報処理システム１１００に接続される他の装置、例えば照明機器の動作を制御する機能を有してもよい。

出力部１１３０は、入力部１１１０によって入力された、情報処理システム１１００を使用するユーザの操作内容や、出力部１１３０が出力している情報の内容、また出力部１１３０が情報を出力する面（例えば図７に示したテーブル１１４０ａ）に置かれている物体の形状や模様等の情報に応じて情報を出力する。出力部１１３０は、出力制御部１１２２が生成する情報に基づいて情報を出力する。出力部１１３０が出力する情報には、情報の表示面に表示される情報や、スピーカ（図示せず）等から出力される音声などが含まれる。

図８に示した情報処理システム１１００は、単独の装置として構成されてもよく、一部または全部が別々の装置で構成されても良い。例えば、図８に示した情報処理システム１１００の機能構成例の内、制御部１１２０が、入力部１１１０及び出力部１１３０とネットワーク等で接続されたサーバ等の装置に備えられていても良い。制御部１１２０がサーバ等の装置に備えられる場合は、入力部１１１０からの情報がネットワーク等を通じて当該サーバ等の装置に送信され、制御部１１２０が入力部１１１０からの情報に対して処理を行って、当該サーバ等の装置から、出力部１１３０が出力するための情報がネットワーク等を通じて出力部１１３０に送られる。

本開示の一実施形態に係る情報処理システム１１００が、例えば図７に示したような、テーブルに情報を投影して、その情報に対してユーザに操作させるような形態を採る場合、情報処理システム１１００は、テーブルの上にスマートフォン等の携帯端末との連携が可能になる。例えば、ユーザがテーブルの上にスマートフォン等の携帯端末を置き、その携帯端末を入力部１１１０に認識させることで、本開示の一実施形態に係る情報処理システム１００は、その携帯端末を識別し、識別した携帯端末との連携を可能にする。

しかし、複数のユーザが全く同じ携帯端末を所有しており、その同じ携帯端末を同時に、また別々にテーブルの上に置いて、情報処理システム１１００に認識させようとすると、情報処理システム１１００は、どちらの携帯端末に連携すれば良いか判断できなくなる。

そこで本開示の一実施形態では、上述した画像情報による判定を行うことで、複数のユーザが全く同じ携帯端末を所有しており、同じ携帯端末が同時に、また別々にテーブルの上に置かれた場合であっても、連携する携帯端末を容易に特定可能とする。この場合、認識される端末１００が携帯端末に相当し、認識する端末１００が情報処理システム１１００に相当する。これにより、情報処理システム１１００と各携帯端末との連携が可能となる。

６．２．ウェアラブルデバイスと他の表示デバイス
図９は、据え置きディスプレイ４００とウェアラブルデバイス４５０を連携させる例を示す模式図である。ここで、据え置きディスプレイ４００は認識される端末１００に相当し、ウェアラブルデバイス４５０は認識する端末２００に相当する。ウェアラブルデバイス４５０は、カメラ２０２により据え置きディスプレイ４００の表示されたアプリケーション画面４１０，４２０，４３０のいずれかを撮影し、予めサーバ３００に登録された画像情報と撮影情報を比較することで、両者が一致した場合はアプリケーションと通信を行うことができる。

６．３．壁面に設置された大画面ディスプレイ上のアプリケーションの認識
図１０は、壁面に設置された大画面ディスプレイ５００上のアプリケーションを認識する場合を示す模式図である。図１０に示すように、大画面ディスプレイ５００は、地面に対して画面５０２が垂直な状態で設置されている。画面５０２上では、複数のアプリケーション５１０，５２０，５３０が動作している。

大画面上ディスプレイ５００の画面５０２に表示された各アプリケーション、または任意の１又は複数のアプリケーションの画像情報は、通信情報とともにサーバ３００に送られて登録される。

一方、ユーザは、自身が持つスマートフォン６００のアプリケーションを使い、画面５０２上に表示されたアプリケーション画面を撮影する。これにより、スマートフォン６００が、アプリケーション５１０，５２０，５３０の画面を認識する。

スマートフォン６００は、上述した認識する端末２００に相当する。スマートフォン６００は、サーバ３００に登録されたアプリケーション５１０，５２０，５３０の画像情報と、撮影した画像を比較する。比較の結果、両者が一致した場合は、スマートフォン６００とアプリケーション５１０との通信が実現される。

スマートフォン６００がアプリケーション画面を認識して得た通信を使うことで、色々な連携アプリケーションを実行することが可能である。例えば、スマートフォン６００上の画像、映像、音楽データを大画面ディスプレイ５００のアプリケーション５１０上で再生することが可能となる。また、複数ユーザが保有する各スマートフォンが、大画面ディスプレイ５００上の１つのアプリケーション５１０を認識し、通信を行うことで、複数ユーザがカードゲームなどを実行することも可能である。

なお、図１０では、大画面ディスプレイ５００のアプリケーション５１０，５２０，５３０を認識したが、大画面ディスプレイ５００に取り付けたカメラで、ユーザが持つスマートフォン６００の画面上のアプリケーションを認識することも可能である。この場合、大画面ディスプレイ５００が認識する端末２００に相当し、スマートフォン６００が認識される端末１００に相当する。

６．４．ウェアラブルカメラと家電製品
図１１は、家庭内でネットワークに接続された家電製品などの物７００を示す模式図である。ネットワークに接続されたこれらの物７００は、認識される端末１００に相当する。家電製品などの物７００は、自身の外見の写真や３Ｄモデルデータをサーバ３００の辞書データ保持機能に登録する。

従って、図１１に示すシステムでは、認識される端末１００に相当する物７００は、自身の外観の特徴に関する外観情報を取得し、外観情報をサーバ３００に登録する。ユーザは、図９と同様のウェアラブルデバイス４５０を装着しており、ウェアラブルデバイス４５０は認識する端末１００に相当する。ウェアラブルデバイス４５０は、カメラ２０２によって物７００を撮影することにより、これらの物７００の画像を取得し、サーバ３００から提供された外観情報との一致、不一致を判定し、両者が一致した場合は物７００と通信を行う。

認識して得た通信を使って、色々なアプリケーションを実行することが可能である。例えば、エアコンを認識することにより、ウェアラブルデバイス４５０からの操作によってエアコンの設定アプリケーションを実行することができる。また、ドアノブの鍵を認識することにより、ウェアラブルデバイス４５０からの操作によって鍵を解除するアプリケーションを実行することができる。なお、図１０では、ウェアラブルデバイス４５０によって認識を行ったが、スマートフォン等のモバイル機器で認識を行っても良い。また、図１０のネットワークに接続された機器は、一例であり、接続される機器や物を限定するものではない。

以上説明したように本実施形態によれば、被認識対象となるアプリケーションのスナップショットや特徴点をリアルタイムで送信し、認識を行う端末１００でそれらを辞書データとして用いることにより、未知のアプリや動的に変化するアプリケーションを画像認識することが可能となる。

また、複数の機器が認識することで、複数機器を使った連携アプリケーションも実行可能となる。また、機器や物がネットワークに接続された時に、機器や物の外見画像や3Dモデルデータを動的に辞書データとして登録することで、事前に登録作業をすることなしに、他の機器から認識し、連携することが出来る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 自装置の外観の特徴を示す外観情報を取得する外観情報取得部と、
自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する送信部と、
を備える、情報処理装置。
（２） 表示画面を備え、
前記外観情報取得部は、前記表示画面に表示された画面の特徴を示す画像情報を前記外観情報として生成する画像情報生成部から構成される、前記（１）に記載の情報処理装置。
（３） 前記送信部は、前記他装置と通信するための通信情報を前記画像情報とともに送信する、前記（２）に記載の情報処理装置。
（４） 前記表示画面には複数のアプリケーションが表示され、
前記画像情報生成部は、前記複数のアプリケーション毎に前記画像情報を生成し、
前記送信部は、アプリケーション毎に生成された前記画像情報を送信する、前記（２）に記載の情報処理装置。
（５） 前記表示画面の撮像画像と前記画像情報とが一致すると判定した前記他装置と通信を行う、前記（２）に記載の情報処理装置。
（６） 前記他装置を識別するための識別情報を取得する識別情報取得部を備え、
前記送信部は、前記識別情報を前記画像情報とともに送信する、前記（２）に記載の情報処理装置。
（７） 前記識別情報は、前記他装置のＩＰアドレスの少なくとも一部を含む、前記（６）に記載の情報処理装置。
（８） 前記識別情報取得部は、ビーコン、音、又は光によって送られた前記識別情報を取得する、前記（６）に記載の情報処理装置。
（９） 位置情報を取得する位置情報取得部を備え、
前記送信部は、前記位置情報を前記画像情報とともに送信する、前記（２）に記載の情報処理装置。
（１０） 自装置の外観の特徴を示す外観情報を取得することと、
自装置の外観を撮影した他装置と通信するため、前記外観情報を送信することと、
を備える、情報処理方法。
（１１） 自装置の外観の特徴を示す外観情報を取得する手段、
自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する手段、
としてコンピュータを機能させるためのプログラム。
（１２） 他装置を撮像する撮像部と、
サーバから他装置の外観の特徴を示す外観情報を取得する外観情報取得部と、
前記撮像部が撮像した撮像画像と前記外観情報を比較する画像認識部と、
前記画像認識部による比較の結果、前記撮像部が撮像した撮像画像と前記外観情報が一致した場合に前記他装置と通信を行う通信部と、
を備える、情報処理装置。
（１３） 第１の端末から、前記第１の端末の外観の特徴を示す外観情報を取得する外観情報取得部と、
前記外観情報を保持する保持部と、
第２の端末からの要求に応じて、前記第２の端末が前記第１の端末の外観を撮影して得られた撮影情報と前記外観情報を比較するため、前記外観情報を前記第２の端末へ送信する送信部と、
を備える、情報処理装置。

１００ 認識される端末
１０２ 画像情報生成部
１０４ 通信部
１０６ ＧＰＳ
１０８ 識別情報取得部
２００ 認識する端末

Claims (11)

1. 自装置の外観の特徴を示す外観情報を取得する外観情報取得部と、
   自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する送信部と、
   を備える、情報処理装置。
2. 表示画面を備え、
   前記外観情報取得部は、前記表示画面に表示された画面の特徴を示す画像情報を前記外観情報として生成する画像情報生成部から構成される、請求項１に記載の情報処理装置。
3. 前記送信部は、前記他装置と通信するための通信情報を前記画像情報とともに送信する、請求項２に記載の情報処理装置。
4. 前記表示画面には複数のアプリケーションが表示され、
   前記画像情報生成部は、前記複数のアプリケーション毎に前記画像情報を生成し、
   前記送信部は、アプリケーション毎に生成された前記画像情報を送信する、請求項２に記載の情報処理装置。
5. 前記表示画面の撮像画像と前記画像情報とが一致すると判定した前記他装置と通信を行う、請求項２に記載の情報処理装置。
6. 前記他装置を識別するための識別情報を取得する識別情報取得部を備え、
   前記送信部は、前記識別情報を前記画像情報とともに送信する、請求項２に記載の情報処理装置。
7. 前記識別情報は、前記他装置のＩＰアドレスの少なくとも一部を含む、請求項６に記載の情報処理装置。
8. 前記識別情報取得部は、ビーコン、音、又は光によって送られた前記識別情報を取得する、請求項６に記載の情報処理装置。
9. 位置情報を取得する位置情報取得部を備え、
   前記送信部は、前記位置情報を前記画像情報とともに送信する、請求項２に記載の情報処理装置。
10. 自装置の外観の特徴を示す外観情報を取得することと、
    自装置の外観を撮影した他装置と通信するため、前記外観情報を送信することと、
    を備える、情報処理方法。
11. 自装置の外観の特徴を示す外観情報を取得する手段、
    自装置の外観を撮影した他装置と通信するため、前記外観情報を送信する手段、
    としてコンピュータを機能させるためのプログラム。
    

Images