JP2015215642A - 情報処理装置およびその制御方法、情報処理システム - Google Patents

Abstract

【課題】表示内容が動的に変化するコンテンツに対して、好適な仮想オブジェクトを重畳表示可能とする技術を提供する。【解決手段】情報処理装置は、表示装置が表示しているコンテンツの識別子と当該コンテンツの表示状態に関する状態情報とを当該表示装置から受信する受信手段と、受信した識別子と表示状態とに基づいて表示装置で表示されることになる仮想オブジェクトを決定する決定手段と、決定手段により決定された仮想オブジェクトを表示装置に提供する提供手段と、を有する。【選択図】図１

Description

本発明は、表示されているコンテンツに対し関連情報を重畳表示する技術に関するものである。

撮像装置から取得した画像に対し、仮想的なオブジェクトを撮像画像に重畳して表示する技術が、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）として知られている。例えば、特許文献１では、メモ内容を地理的位置情報と関連付けて記録しておき、撮像装置で取得された地理的位置情報に関連するメモ内容を撮像画像と重畳して表示する技術が開示されている。

特開２００８−７１２９８号公報

しかしながら、プレゼンテーション資料や動画など表示内容が動的に変化するコンテンツに対して特許文献１の技術を適用した場合、適切に仮想的なオブジェクトを重畳表示できないという問題がある。すなわち、位置情報やコンテンツに対応付けた仮想的なオブジェクトを表示する場合、現在の表示内容に関係のない情報まで表示されてしまうことになる。結果として、仮想オブジェクトが多数表示されることによる視認性の低下、及び不要な仮想オブジェクトまで取得してしまうことによる機器のリソースの無駄が発生する恐れがある。

本発明はこのような問題を鑑みてなされたものであり、表示内容が動的に変化するコンテンツに対して、好適に仮想オブジェクトを重畳表示可能とする技術を提供することを目的とする。

上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、情報処理装置は、表示装置が表示しているコンテンツの識別子と、該コンテンツの表示状態に関する状態情報と、を該表示装置から受信する受信手段と、前記受信した識別子と表示状態とに基づいて、前記表示装置で表示されることになる仮想オブジェクトを決定する決定手段と、前記決定手段により決定された仮想オブジェクトを前記表示装置に提供する提供手段と、を有する。

本発明によれば、表示内容が動的に変化するコンテンツに対して、好適な仮想オブジェクトを重畳表示可能とする技術を提供することができる。

情報処理システムの全体構成を示す図である。 表示装置の構成を示す図である。 サーバの構成を示す図である。 発信装置の構成を示す図である。 ＵＩ部品を重畳表示する処理を示すシーケンス図である。 ＵＩ部品を重畳表示する処理を示す他のシーケンス図である。 表示装置１０５における動作フローチャートである。 サーバ１０７における動作フローチャートである。 サーバ１０７における他の動作フローチャートである。 コンテンツに関連する情報を規定する各種テーブルを説明する図である。 表示装置の表示部における表示画面の例を示す図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、ユーザ端末である表示装置に対してＵＩ部品を提供するサーバを例に挙げて以下に説明する。具体的には、表示装置が、撮像部で撮像したコンテンツに対して重畳表示する仮想オブジェクトである「ユーザインタフェース（ＵＩ）部品」を提供するサーバについて説明する。特に、以下の説明では、コンテンツは、時間と共に表示内容が変化する映像コンテンツであるとして説明する。

＜システム及び各装置の構成＞
図１は、第１実施形態に係る情報処理装置を含む情報処理システムの全体構成を示す図である。情報処理システムは、主に、表示装置１０５、発信装置１０６、サーバ１０７から構成されている。

情報処理システム内の各装置は、例えばインターネットのようなネットワーク１００を介して相互に通信可能に構成されている。ネットワーク１００は、インターネットに限らず、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、それらの複合であってもよい。

無線基地局１０１は、表示装置１０５と無線ＬＡＮ（例えば、ＩＥＥＥ８０２．１１シリーズ）に準拠した通信方式で無線通信ネットワークを構築する。無線基地局１０２は、発信装置１０６と無線ＬＡＮに準拠した通信方式で無線通信ネットワークを構築する。なお、通信方式はこれに限らず、ＷｉＭＡＸやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信方式、あるいは有線通信方式を利用してもよい。

ユーザＡ１０３及びユーザＢ１０４は、情報処理システムのユーザである。以下の説明においては、ユーザＡ１０３は、表示装置１０５の利用者であり、ユーザＢ１０４は、発信装置１０６の利用者である。

表示装置１０５は、画像や各種情報を表示するディスプレイを有する表示装置である。発信装置１０６は、画像や各種情報等のコンテンツを表示するディスプレイを有する発信装置である。なお、発信装置１０６は、コンテンツをスクリーンに投影する構成のものでもよい。また、発信装置１０６は、表示しているコンテンツに関連する識別子（コンテンツ識別子）を通知可能に構成されている。

図２は、表示装置１０５の構成を示す図である。なお、各機能部の一部または全ては、ＣＰＵ等の演算装置が所定のプログラムを実行することにより実現され得る。

バス２００は、各機能部を接続するバスである。撮像部２０１は、レンズを介して取得した被写体光を画像データとして取得する機能部である。また、撮像部２０１は、光学ズームやデジタルズームを用いて撮像する画角の調整が可能なように構成され得る。入力部２０２は、表示装置１０５のユーザから各種ユーザ操作に基づいた入力を受け付ける入力部である。例えば、利用者の識別子（ユーザ識別子）の入力、ＵＩ部品への指示入力などがある。表示部２０３は、液晶ディプレイなどで構成された、画像や各種情報を表示する機能部である。なお、入力部２０２と表示部２０３とを一体としたタッチパネルディスプレイとして構成してもよい。

コンテンツ識別子取得部２０４は、発信装置１０６が表示するコンテンツを介して発信するコンテンツ識別子を取得する識別子取得部である。例えば、コンテンツ識別子は、知覚困難型の電子透かしとしてコンテンツに埋め込まれており、撮像部２０１により撮像した画像を取得し、解析して取得される。

なお、コンテンツ識別子は、コンテンツに埋め込まれる形式のほか、他の様々な方法で発信装置１０６から表示装置１０５に通知され得る。例えば、発信装置１０６にＬＥＤライトのような発光部を取り付け、コンテンツ識別子を符号化した発光パターンで点滅させるよう構成しても良い。また、バーコードやＱＲコード（登録商標）などの符号化画像をコンテンツ内あるいはコンテンツとは別個に表示するよう構成してもよい。

ＲＦ部２０５は、所定の無線方式で他の装置（発信装置１０６や無線基地局１０２）との間で無線信号の送受信を行うためのアンテナや回路の制御を行う。例えば、無線ＬＡＮ（ＩＥＥＥ８０２．１１シリーズ）、ミリ波、ＲＦＩＤなどを用いることができる。

ＵＩ部品取得部２０６は、サーバ１０７からＵＩ部品を取得する。メッセージ送受信部２０７は、サーバ１０７に対するメッセージ、および、サーバ１０７を介したメッセージを送受信する。合成部２０８は、サーバ１０７から取得したＵＩ部品の一部又は全部と撮影画像とを重畳する。ここでは、撮像部２０１で撮影された画像に重畳しているが、これに限らず、既に撮影済みの画像やリアルタイムの動画でも実現できる。ＴＣＰ／ＩＰ処理部２０９は、通信プロトコルの処理を行う。

ユーザ識別子取得部２１０は、表示装置１０５を使用しているユーザ（ここではユーザＡ１０３）のユーザ識別子を取得する。ここでは、ユーザ識別子は、入力部２０２を介して入力されることを想定するが、例えば、撮像部２０１から取得した画像によりユーザ認証する方法でもよい。また、表示装置１０５自身に識別子を持たせておき、その情報をユーザ識別子として扱う構成にしてもよい。

状態情報取得部２１１は、発信装置１０６が表示するコンテンツの表示状態を取得する機能部である。例えば、コンテンツのシーンごとに、表示状態を示す状態情報を知覚困難な電子透かしとして予め埋め込んでおくとよい。そして、表示装置１０５は、撮像部２０１で撮像したコンテンツの画像を解析して状態情報を取得する。

関係性要求部２１２は、コンテンツとユーザとの関係性情報の取得要求をするメッセージを生成する。具体的には、ユーザ識別子とコンテンツ識別子とを指定したメッセージを生成する。

図３は、サーバ１０７の構成を示す図である。なお、各機能部の一部または全ては、ＣＰＵ等の演算装置が所定のプログラムを実行することにより実現され得る。

バス３００は、各機能部を接続するバスである。関係性情報保持部３０１は、コンテンツとユーザとの間の関係性を示す情報（関係情報）を保持する。ここでは、関係性情報保持部３０１は、関係性をデータベース１０８を用いて保持しており、データベース１０８に対して、関係性情報の追加・更新・削除などの操作を行う。また、ここでは、関係性は、コンテンツとユーザと関係の「強度」を含むものとする。例えば、コンテンツとユーザ間の関係性の強度はコンテンツの利用者と閲覧者の業務上の関係の強さを表す。

コンテンツ情報保持部３０２は、コンテンツに対応付けられたコンテンツ情報を保持する。ここでは、コンテンツ情報保持部３０２は、コンテンツ情報をデータベース１０９で保持しており、データベース１０９に対して、コンテンツ情報の追加・更新・削除などの操作を行う。なお、ここでは、コンテンツ情報は、ＵＩ部品の、「部品名」「種類」「必要とする関係性の強度」「動作」「コンテンツ上の座標」を含むものとする。詳細については図１０を参照して後述する。

決定部３０３は、ＵＩ部品の取得要求がなされた際に、コンテンツ識別子、状態情報、ユーザとコンテンツとの間の関係性に基づいて、表示すべきＵＩ部品を決定する処理を行う。生成部３０４は、ＵＩ部品の生成要求がなされた際に、ＵＩ部品を生成し、コンテンツ情報を更新する処理を行う。

メッセージ送受信部３０５は、他の装置（表示装置１０５や発信装置１０６など）と、所定のメッセージを送受信する。メッセージ保存部３０６は、表示装置１０５から受け付けたメッセージに応じた処理を即時に実行できなかった時、該メッセージを保存する。ＴＣＰ／ＩＰ処理部３０７は、ネットワークのプロトコル処理を行う。

図４は、表示装置１０５とは別体の外部表示装置である発信装置１０６の構成を示す図である。なお、各機能部の一部または全ては、ＣＰＵ等の演算装置が所定のプログラムを実行することにより実現され得る。

バス４００は、各機能部を接続するバスである。ＲＦ部４０１は、所定の無線方式で他の装置（表示装置１０５や無線基地局など）との間で無線信号の送受信を行うためのアンテナや回路の制御を行う。

メッセージ送受信部４０２は、サーバ１０７と、制御メッセージなどの送受信を行う。コンテンツ情報発信部４０３は、表示部４０４で表示しているコンテンツに対応するコンテンツ識別子や状態情報を発信する。表示部４０４は、液晶ディプレイなどで構成された、画像や各種情報を表示する機能部である。なお、上述のように、表示部４０４は、コンテンツをスクリーンに投影する構成のものでもよい。

また、コンテンツ情報発信部４０３と表示部４０４とは、一体構成としてもよい。つまり、コンテンツ識別子や状態情報をコンテンツに知覚困難型の電子透かしとして埋め込み、当該コンテンツを表示する構成でも良い。また、ＱＲコードなどを用いて実現してもよい。

入力部４０５は、発信装置１０６のユーザから各種ユーザ操作に基づいた入力を受け付ける入力部である。コンテンツ取得部４０６は、コンテンツをサーバ１０７から取得する。コンテンツ保持部４０７は、コンテンツを発信装置１０６上で保持しておくためのである。なお、以下の説明では、コンテンツ保持部４０７上のコンテンツを利用する例で説明するが、コンテンツは、サーバ１０７から取得したものを直接利用してもよい。ＴＣＰ／ＩＰ処理部４０８は、ネットワークのプロトコル処理を行う機能部である。

＜サーバ及びデータベースが管理する情報＞
サーバ１０７は、表示装置１０５の表示部２０３に表示されるコンテンツに対しＵＩ部品を重畳表示（追加表示）させるためのサーバである。重畳表示するＵＩ部品を制御するため、サーバ１０７は、コンテンツとユーザとの間の関係性やコンテンツ情報を管理する。

なお、コンテンツとユーザとの間の関係性の情報は、ユーザからの入力に基づいて事前に設定されているものとする。ただし、例えばインターネット上に存在するソーシャルネットワーキングサービス（ＳＮＳ）からインポートして取得する構成として良い。また、サーバ１０７がＳＮＳを提供し、該サービスにより構成されたユーザ間の関係性や所有するコンテンツの情報を利用する構成としても良い。

データベース１０８は、ユーザ間の関係性、および、ユーザとデバイスの関係性を保持するリレーショナルデータベース（ＲＤＢ）である。データベース１０９は、コンテンツ情報を保持するデータベースであり、ＵＩ部品についての情報を保持するＲＤＢである。もちろん、データベース１０８、１０９を、ＸＭＬＤＢ（Extensible Markup Language Database）など別の種類のデータベースを用いて構成しても良い。

ここで、データベース１０８に記憶され、サーバ１０７が管理する関係性情報とコンテンツ情報について説明する。

図１０は、コンテンツに関連する情報を規定する各種テーブルを説明する図である。図１０（ａ）は、ユーザ（コンテンツの閲覧者）とコンテンツの関係性を示す図である。具体的には、コンテンツ識別子（コンテンツＩＤ）が「１」のコンテンツに対する、３つのユーザ識別子「２」「３」「４」それぞれとの関連性の強度を示している。

図１０（ａ）では、ユーザ識別子「２」のユーザとの関係性は、強度が「５０」であることが示されている。一方、ユーザ識別子が「３」のユーザとの関係性は、強度が「３０」であり、ユーザ識別子が「４」のユーザとの関係性は、強度が「１００」であることが示されている。上述のように、関係性の強度は、予め登録されるものであってもよいし、例えば、ＳＮＳ、メールや電話のやりとりの頻度から算出するよう構成しても良い。また、ここでは、一元的に管理するテーブルを用いたが、複数ユーザ間の関係性も表しやすいように、木構造やノードなどの管理方法を用いてもよい。

図１０（ｂ）及び図１０（ｃ）は、サーバ１０７で保持されるコンテンツ情報を示す図である。ここでは、コンテンツ情報は、所定のコンテンツに関連付けられた、予め用意された複数のＵＩ部品のリストである。

図１０（ｂ）において、コンテンツＩＤは、発信装置１０６が表示するコンテンツのコンテンツ識別子である。ここでは、コンテンツＩＤが「１」のコンテンツに対するコンテンツ情報のみを例示的に示している。

表示状態ＩＤは、コンテンツの状態情報を表す識別子である。表示状態ＩＤは、例えば、発信装置１０６に表示されるコンテンツがプレゼンテーション資料であれば、表示ページを特定する識別子である。また、表示状態ＩＤは、動画であれば、再生位置、あるいは、再生を開始してからの経過時間を特定する識別子である。ただし、表示状態ＩＤは、必ずしも一意に状態を識別する必要はなく、取得した画像を解析した場面（シーン）や、再生中、閲覧中といった再生状態を表すような情報を用いてもよいものである。

部品名は、ＵＩ部品の部品名を表している。特に、各表示状態に設定されている（表示装置１０５において重畳表示され得る）ＵＩ部品の部品名を表している。なお、表示状態ＩＤが付与されていないＵＩ部品は、特定のＵＩ部品の動作の結果として表示がなされるＵＩ部品であることを示している。

種類は、ＵＩ部品の種類を表している。ここでは、一例として以下の「Ｌｉｎｋ」、「Ｉｎｐｕｔ」、「Ｄｉｓｐｌａｙ」の３種類を利用して説明する。それぞれ、
「Ｌｉｎｋ」：別のＵＩ部品を表示するためのＵＩ部品
「Ｉｎｐｕｔ」：メモを表示するＵＩ部品を生成するためのＵＩ部品
「Ｄｉｓｐｌａｙ」：所定の情報（画像、補足資料に対応するスライドなど）を表示するためのＵＩ部品
を意味する。なお、表示する情報については、これらに限らず、事前に設定した任意の情報を表示することができる。

必要とする関係性の強度は、ＵＩ部品を表示するために必要となるコンテンツとユーザ間の関係性の強度である。

動作は、ＵＩ部品に入力がなされた際に、行われる動作を表している。例えば、ＵＩ部品Ａでは、「ＵＩ部品Ａに対して入力がなされた際にＵＩ部品Ｅを表示する」という動作が実行されることを示している。

コンテンツ上の座標は、ＵＩ部品を表示する際に、対応するコンテンツ上のどの位置に重畳表示すべきかを示す情報である。

なお、上述のシステム構成は一例に過ぎず、図１の形態に限定されるものではない。例えば、上述の説明では、データベース１０８とデータベース１０９を別々に配置したが、同一のデータベース内に配置してもよい。また、サーバ１０７は、複数の装置により構成されていてもよいし、サーバ１０７で実行される処理の一部または全てを表示装置１０５又は発信装置１０６が行う構成としても構わない。

＜システムの動作＞
＜コンテンツの撮像に応じた重畳表示＞
図５は、表示装置１０５の表示部２０３において仮想オブジェクトであるＵＩ部品を重畳表示する処理を示すシーケンス図である。具体的は、ユーザによるコンテンツの撮像に応じた重畳表示を説明するシーケンス図である。ここでは、ユーザＡ１０３が表示装置１０５を利用しており、ユーザＢ１０４が発信装置１０６を利用していることを想定する。シーケンスは、ユーザＢ１０４が入力部４０５を介して、コンテンツの選択を行うことにより開始される。

Ｍ５００では、発信装置１０６は、サーバ１０７に対して、これから表示するコンテンツのコンテンツ情報の登録（更新）するための処理を行う。Ｍ５０１では、サーバ１０７は、発信装置１０６から受け付けたコンテンツ情報をコンテンツ情報保持部３０２に保持する。Ｍ５０２では、発信装置１０６はコンテンツ保持部４０７から、対応するコンテンツを読みだして表示する。

Ｍ５０３では、ユーザＡ１０３は、ユーザＡ１０３のユーザ識別子を表示装置１０５に入力する。Ｍ５０４では、表示装置１０５のユーザ識別子取得部２１０は、ユーザＡ１０３のユーザ識別子を取得する。これによって、ユーザＡ１０３が情報処理システムを利用しているという状態になる。

Ｍ５０５では、ユーザＡ１０３は、表示装置１０５の撮像部２０１の撮像方向を、発信装置１０６の表示部４０４の方向に向ける。Ｍ５０６では、表示装置１０５の撮像部２０１は、発信装置１０６上のコンテンツを撮像する。尚、この時に、ユーザＢ１０４が併せて映り込むように撮像してもよい。Ｍ５０７では、表示装置１０５のコンテンツ識別子取得部２０４は、Ｍ５０６で取得した画像を解析してコンテンツ識別子を取得する。Ｍ５０８では、状態情報取得部２１１は、Ｍ５０６で取得した画像を解析して状態情報を取得する。

Ｍ５０９では、関係性要求部２１２は、ユーザＡ１０３のユーザ識別子と取得したコンテンツ識別子から関係性の情報の取得要求メッセージを生成する。そして、メッセージ送受信部２０７は、生成した取得要求メッセージをサーバ１０７に送信する。ここで、取得要求メッセージは、重畳表示すべきＵＩ部品があるか否かを問い合わせるメッセージである。ここでは、取得要求メッセージは、ユーザＡ１０３のユーザ識別子、取得したコンテンツ識別子、状態情報、関係性の情報を含む。

Ｍ５１０では、サーバ１０７は、表示装置１０５から取得要求メッセージを受信する。その後、取得要求メッセージに含まれるコンテンツ識別子を用いて、データベース１０９からコンテンツ情報を取得する。尚、取得したコンテンツ情報は、コンテンツが異なるものに切り替わるまで、コンテンツ情報保持部３０２で保持する。

Ｍ５１１では、サーバ１０７は、取得したコンテンツ情報から、取得要求メッセージに含まれる状態情報を用いて、現在の表示状態に対応するＵＩ部品を取得する。尚、取得したＵＩ部品は、表示状態が切り替わるまで、コンテンツ情報保持部３０２で保持する。

Ｍ５１２では、関係性情報保持部３０１は、ユーザＡ１０３のユーザ識別子とコンテンツ識別子を用いて、データベース１０８からユーザＡ１０３とコンテンツの関係性情報を取得する。尚、Ｍ５０６において、ユーザＢ１０４が映り込むように画像を撮影した場合に、コンテンツとユーザＢ１０４との間の関係性と同様に関係性を付与しておき、関係性を取得するように変形してもよい。

Ｍ５１３では、決定部３０３は、Ｍ５１２で取得した関係性情報と、Ｍ５１１で取得したＵＩ部品とに基づいて、表示すべきＵＩ部品を決定する。Ｍ５１４では、サーバ１０７のメッセージ送受信部３０５は、ＵＩ部品を含むメッセージを表示装置１０５に送信する。なお、取得されるＵＩ部品が存在しない場合には、メッセージ送受信部３０５は、表示すべきＵＩ部品が存在しない旨を表示装置１０５に送信する。尚、Ｍ５１０〜Ｍ５１３におけるサーバ１０７の動作については、図８を参照して後述する。

Ｍ５１４では、表示装置１０５は、サーバ１０７から送信されたＵＩ部品を受信する。Ｍ５１５では、Ｍ５０６で取得した画像上のコンテンツに、ＵＩ部品が保持するコンテンツ上の座標で表示されるように位置計算を行う。Ｍ５１６では、位置計算した座標に基づいて、ＵＩ部品を表示装置１０５上に表示する。尚、Ｍ５０４〜Ｍ５０９、Ｍ５１４〜Ｍ５１６の表示装置１０５における詳細動作については、図７（ａ）を参照して後述する。

図１１は、表示装置１０５の表示部２０３における表示画面の例を示す図である。図１１（ａ）は、Ｍ５０６において、コンテンツを表示している発信装置１０６を撮像した際の表示部２０３の表示を示している。図１１（ｂ）は、Ｍ５１６において、取得したＵＩ部品を重畳表示した際の表示部２０３の表示を示している。ＵＩ部品１１００が図１０に示したＵＩ部品Ａであり、ＵＩ部品１１０１が図１０に示したＵＩ部品Ｂである。

このように、現在表示部２０３に表示されているコンテンツに対して、表示装置１０５のユーザ（ユーザＡ１０３）に好適なＵＩ部品を重畳表示することが可能となる。すなわち、現在のコンテンツの表示状態に対応したＵＩ部品のみを表示することができる。また、ユーザとコンテンツの関係性を更に考慮することで、ユーザに有用なＵＩ部品のみを表示することができる。

＜ＵＩ部品への入力に応じた重畳表示の更新＞
図６は、表示装置１０５の表示部２０３において仮想オブジェクトであるＵＩ部品を重畳表示する処理を示す他のシーケンス図である。具体的は、表示装置１０５において重畳表示されたＵＩ部品へのユーザ入力に応じた重畳表示の更新を説明するシーケンス図である。つまり、上述の図５で示したシーケンスの処理がなされた後に、これらの処理は実行される。そのため、コンテンツ情報保持部３０２は、現在の表示状態に対応するコンテンツ情報、ＵＩ品の情報を既に保持しているものとする。

Ｍ６００では、ユーザＡ１０３は、表示装置１０５に表示されたＵＩ部品１１００（ＵＩ部品Ａ）に対し入力を行う。Ｍ６０１では、ＵＩ部品のＵＩ部品Ａは、入力を受け付ける。Ｍ６０２では、表示装置１０５のメッセージ送受信部２０７は、入力を受け付けたＵＩ部品Ａを特定する情報を含むメッセージをサーバ１０７に送信する。

Ｍ６０３では、サーバ１０７は、表示装置１０５から受信したメッセージに基づいて、コンテンツ情報保持部３０２で保持しているコンテンツ情報から、ユーザ入力があったＵＩ部品の動作に対応する動作を特定して実行する。ここでは、ＵＩ部品Ａに対応する動作は、別のＵＩ部品Ｅを表示するだけである。そのため、サーバ１０７は、コンテンツ情報保持部３０２からＵＩ部品Ｅを取得する。Ｍ６０４では、サーバ１０７のメッセージ送受信部３０５は、ＵＩ部品Ｅを含むメッセージを表示装置１０５に送信する。Ｍ６０２に関する処理は、図９（ａ）及び図９（ｂ）を参照して後述する。

Ｍ６０５では、表示装置１０５は、サーバ１０７から送信されたＵＩ部品Ｅを受信する。Ｍ６０５で取得した画像上のコンテンツに、ＵＩ部品Ｅが保持するコンテンツ上の座標で表示されるように位置計算を行う。Ｍ６０６では、位置計算した座標に基づいて、ＵＩ部品Ｅを表示装置１０５上に表示する。図１１（ｃ）は、ＵＩ部品Ａへの入力に応じて、ＵＩ部品ＥであるＵＩ部品１１０２が表示されている状態を示している。

Ｍ６０７では、ユーザＡ１０３は、図１１（ｂ）のＵＩ部品１１０１（ＵＩ部品Ｂ）に対し入力を行う。Ｍ６０８では、ＵＩ部品のＵＩ部品Ｂは、入力を受け付ける。Ｍ６０９では、表示装置１０５のメッセージ送受信部２０７は、入力を受け付けたＵＩ部品Ｂを特定する情報を含むメッセージをサーバ１０７に送信する。

図１１（ｄ）は、ＵＩ部品ＢへユーザＡ１０３が入力を行った際の表示を示している。具体的には、ＵＩ部品１１０３で表されるＵＩ部品Ｂは「ＸＸＸ」と入力されたテキスト入力領域と、「Ａｄｄ」と記載された入力確定ボタンから構成されている。ここでは、「Ａｄｄ」ボタンが押された際にユーザ入力が行われたと判定している。

Ｍ６１０では、サーバ１０７は、表示装置１０５から受信したメッセージ（入力情報受信手段）に基づいて、コンテンツ情報保持部３０２で保持しているコンテンツ情報から、ユーザ入力があったＵＩ部品の動作に対応する動作を特定して実行する。ＵＩ部品Ｂに対応する動作は、テキスト入力領域に入力されたユーザ入力情報である文字列（Ｔｅｘｔ）を表示するためのＵＩ部品を生成する処理である。そのため、サーバ１０７は、種類が「Ｄｉｓｐｌａｙ」で、動作が「情報を表示」のＵＩ部品であるＵＩ部品Ｆを新規に生成する。

Ｍ６１１では、サーバ１０７は、コンテンツ情報保持部３０２で保持しているコンテンツ情報から、ＵＩ部品Ｂを表示するために必要とする関係性の強度を取得して、ＵＩ部品Ｆに付与する。

Ｍ６１２では、サーバ１０７は、データベース１０９のコンテンツ情報を更新する。ここでは、図１０（ｃ）に示すようにコンテンツ情報を更新する。具体的には、図１０（ｃ）においては、更新前の図１０（ｂ）に対し、ＵＩ部品Ｆの情報が追加されている。尚、その際に、コンテンツ情報保持部３０２で保持するコンテンツ情報も合わせて更新しておく。尚、コンテンツ上の座標については、予め決めておいて所定の位置に表示するものとする。

Ｍ６１３では、サーバ１０７のメッセージ送受信部３０５は、発信装置１０６に対し、コンテンツ情報が更新されたことを示すメッセージを通知する。尚、Ｍ６１３における処理は、必ずしも必要な処理ではなく、省略することも可能である。また、発信装置１０６は、メッセージを受け取った際に、ユーザＢ１０４に対し、承認を求めるポップアップダイアログを表示して、承認を求めるように構成してもよい。このようにすることで、ユーザＢ１０４が把握しないＵＩ部品が表示されてしまうというケースを防ぐことが可能となる。

Ｍ６１４では、サーバ１０７のメッセージ送受信部３０５は、ＵＩ部品Ｆを含むメッセージを表示装置１０５に送信する。Ｍ６１０〜Ｍ６１３についてのサーバ１０７の処理については、図９（ａ）及び図９（ｃ）を参照して後述する。

Ｍ６１５では、表示装置１０５は、サーバ１０７から送信されたＵＩ部品Ｆを受信する。その後、Ｍ５０６で取得した画像上のコンテンツにＵＩ部品Ｆが表示されるように位置計算を行う。Ｍ６１６では、表示装置１０５は、位置計算した座標に基づいて、ＵＩ部品Ｆを表示装置１０５上に表示する。図１１（ｅ）は、ＵＩ部品Ｂへの入力に応じて、ＵＩ部品Ｆが生成されて表示されている状態を示している。Ｍ６０１〜Ｍ６１６までの、表示装置１０５の詳細処理については、図７（ｂ）を参照して後述する。

＜表示装置における動作＞
図７は、表示装置１０５における動作フローチャートである。図７（ａ）は、表示装置１０５が発信装置１０６上のコンテンツからコンテンツ識別子を受信し、サーバ１０７に情報の問い合わせを行う時の、表示装置１０５のフローチャートである。

Ｓ７０１では、ユーザ識別子取得部２１０は、入力部２０２からの入力によりユーザＡ１０３のユーザ識別子を受け付ける。Ｓ７０２では、撮像部２０１は、発信装置１０６が表示するコンテンツの撮影を開始する。

Ｓ７０３では、コンテンツ識別子取得部２０４は、Ｓ７０２において撮影された画像を解析し、発信装置１０６が表示しているコンテンツのコンテンツ識別子を取得する。尚、必要に応じてＳ７０３における処理は省略してもよい。同様に、Ｓ７０４では、状態情報取得部２１１は、Ｓ７０２において撮影された画像を解析し、コンテンツの現在の表示状態を示す状態情報を取得する。

Ｓ７０５では、ＵＩ部品取得部２０６は、現在表示されているコンテンツに対して重畳表示するＵＩ部品を取得する。具体的には、まず、ＵＩ部品を取得するための取得要求メッセージを作成する。取得要求メッセージは、ユーザＡ１０３のユーザ識別子とコンテンツ識別子と状態情報とを含む、なお、ユーザＡ１０３のユーザ識別子とコンテンツ識別子とに基づいて、関係性の検索要求を生成し、取得要求メッセージに含めてもよい。ここでは、上述の３つの情報（ユーザ識別子、コンテンツ識別子、状態情報）全てを利用する例を説明するが、コンテンツ識別子のみを含む取得要求メッセージを作成してもよい。また、ユーザＡ１０３のユーザ識別子とコンテンツ識別子のみを含む取得要求メッセージを生成してもよい。メッセージ送受信部２０７は、ＴＣＰ／ＩＰ処理部２０９を用いて、生成した取得要求メッセージをサーバ１０７に送信する。これにより、ＵＩ部品取得部２０６は、メッセージ送受信部２０７を介して、サーバ１０７からＵＩ部品を受信する。

Ｓ７０６では、合成部２０８は、撮影した画像上のＵＩ部品の位置計算を行う。例えば、表示部２０３の表示領域における撮像コンテンツの位置と、ＵＩ部品に対して設定された「コンテンツ上の座標」とに基づいて、重畳表示する座標を決定する。Ｓ７０７では、表示部２０３は、ＵＩ部品を、撮影したコンテンツに重畳表示する。

図７（ｂ）は、表示装置１０５上のＵＩ部品に対し、ユーザＡ１０３が入力を行った際の表示装置１０５のフローチャートである。

Ｓ７０８では、ＵＩ部品取得部２０６は、更新表示するＵＩ部品を取得する。具体的には、まず、ユーザＡ１０３のユーザ識別子と入力がなされたＵＩ部品を特定する情報とを含む、ＵＩ部品の取得要求メッセージを生成する。そして、メッセージ送受信部２０７は、ＴＣＰ／ＩＰ処理部２０９を用いて、生成した取得要求メッセージをサーバ１０７に送信する。ＵＩ部品取得部２０６は、メッセージ送受信部２０７を介して、サーバ１０７からＵＩ部品を取得する。

Ｓ７０９において、合成部２０８は、撮影した画像上のＵＩ部品の位置計算を行う。Ｓ７１０では、表示部２０３は、ＵＩ部品を、撮影したコンテンツに重畳表示する。

＜サーバにおける動作＞
図８は、サーバ１０７における動作フローチャートである。具体的には、サーバ１０７が、表示装置１０５からＵＩ部品の取得要求メッセージを受信した際に実行されるフローチャートである。

Ｓ８０１において、メッセージ送受信部３０５は、ＴＣＰ／ＩＰ処理部３０７を介して、表示装置１０５からの取得要求メッセージを受信する（ユーザ情報受信手段）。Ｓ８０２では、決定部３０３は、取得要求メッセージに含まれるコンテンツ識別子に基づいて、対応するコンテンツ情報（ＵＩ部品の一覧）の取得をコンテンツ情報保持部３０２に依頼する。コンテンツ情報保持部３０２は、コンテンツ識別子を鍵として、データベース１０９の検索を行い、対応するコンテンツ情報を取得する。

Ｓ８０３では、決定部３０３は、取得要求メッセージに含まれる状態情報に基づいて、ＵＩ部品の取得をコンテンツ情報保持部３０２に依頼する。コンテンツ情報保持部３０２は、状態情報を鍵として、データベース１０９の検索を行い、対応するＵＩ部品を取得する。

Ｓ８０４では、決定部３０３は、ユーザ識別子とコンテンツ識別子に基づいて、ユーザとコンテンツの関係性情報の取得を関係性情報保持部３０１に依頼する。関係性情報保持部３０１は、ユーザ識別子とコンテンツ識別子に基づいて、ユーザＡ１０３とコンテンツの関係性情報をデータベース１０８から取得する。

Ｓ８０５では、決定部３０３は、Ｓ８０３で取得したＵＩ部品とＳ８０４で取得した関係性情報とに基づいて、重畳表示するＵＩ部品を決定する。ここでは、Ｓ８０３で取得した１以上のＵＩ部品のうち、以下の式（１）の関係を満たすＵＩ部品を重畳表示するＵＩ部品として決定する。

「強度」 ≧ 「必要とする関係性の強度」 ・・・（１）
ここでは、関係性情報は「強度」のみで表したが、関係の「種類」（家族、同僚、友人など）や任意に設定した「グループ」を含むような構成であってもよい。

Ｓ８０６では、決定部３０３は、重畳表示すべきＵＩ部品の有無を判定する。表示すべきＵＩ部品が１以上存在する場合には、Ｓ８０７に進む。一方、表示すべきＵＩ部品が１つも存在しない場合には、Ｓ８０８へ進む。Ｓ８０７では、決定部３０３は、メッセージ送受信部３０５を介して、表示装置１０５にＵＩ部品を送信する。一方、Ｓ８０８では、決定部３０３は、メッセージ送受信部３０５を介して、表示装置１０５に表示すべきＵＩ部品が存在しない旨を通知する。

図９は、サーバ１０７における他の動作フローチャートである。図９（ａ）は、ＵＩ部品への入力によるＵＩ部品の取得要求を受信した際のサーバ１０７のフローチャートである。

Ｓ９０１では、メッセージ送受信部３０５は、ＴＣＰ／ＩＰ処理部３０７を介して、表示装置１０５からのメッセージを受信する。上述のように、当該メッセージは、表示装置１０５上で入力がなされたＵＩ部品を特定する情報を含む。

Ｓ９０２では、決定部３０３は、コンテンツ情報保持部３０２で保持しているコンテンツ情報から、入力を受け付けたＵＩ部品に対応する種類を判別し動作を特定する。Ｓ９０３では、決定部３０３は、特定した動作に従った処理を実行する。

図９（ｂ）は、Ｓ９０３におけるＵＩ部品の動作として、異なるＵＩ部品を表示する場合の動作フローチャートである。

Ｓ９０４では、決定部３０３は、コンテンツ情報保持部３０２から対応するＵＩ部品を取得する。Ｓ９０５では、決定部３０３は、メッセージ送受信部３０５を介して、表示装置１０５にＵＩ部品を送信する。

図９（ｃ）は、Ｓ９０３におけるＵＩ部品の動作として、ＵＩ部品を新規に生成して表示する場合の動作フローチャートである。

Ｓ９０６では、決定部３０３は、生成すべきＵＩ部品を特定し、生成部３０４に対して当該ＵＩ部品の生成依頼をする。そして、生成部３０４は、「部品名」「種類」「動作」「コンテンツ上の座標」の情報を付与したＵＩ部品を生成する。なお、生成時に付与する「部品名」「種類」「動作」「コンテンツ上の座標」は、事前に取り決めた値やルールで決定されるものとする。例えば、ＵＩ部品Ｂに対応する動作に基づき新しくＵＩ部品を生成する場合、ＵＩ部品Ｂの「動作」、及び、テキスト入力領域に入力されたユーザ入力情報である文字列（Ｔｅｘｔ）に基づいて決定される。

Ｓ９０７では、生成部３０４は、入力を受け付けたＵＩ部品を表示するために必要とする関係性の強度を、コンテンツ情報保持部３０２で保持しているコンテンツ情報から取得して、新規に生成したＵＩ部品に付与する。Ｓ９０８では、生成部３０４は、Ｓ９０６、Ｓ９０７において決定した情報に応じて、データベース１０９のコンテンツ情報を更新する。

Ｓ９０９では、決定部３０３は、メッセージ送受信部３０５を介して、表示装置１０５に生成したＵＩ部品を送信する。

以上説明したとおり、第１実施形態に係る情報処理装置であるサーバは、現在表示されているコンテンツに対して好適なＵＩ部品を、ユーザ端末である表示装置に提供することができる。つまり、表示装置１０５のユーザ（ユーザＡ１０３）に好適なＵＩ部品を重畳表示することが可能となる。すなわち、現在のコンテンツの表示状態に対応したＵＩ部品のみを表示することができる。また、ユーザとコンテンツの関係性を更に考慮することで、ユーザに有用なＵＩ部品のみを表示することができる。

これにより、多数のＵＩ部品が表示されることによる視認性の低下、及び表示に必要のないデータを自機器が取得してしまうことによるリソースの無駄を低減できるという効果がある。

なお、上述の説明において、表示装置１０５とサーバ１０７を別体構成であるとして説明したが、サーバ１０７の機能の一部又は全部を表示装置１０５の機能として実装してもよい。また、表示装置１０５は、更にサーバ１０７から取得した関係性情報やＵＩ部品を一時的に保存するためのキャッシュを有してもよい。表示装置１０５は、サーバ１０７に問い合わせる前にキャッシュにアクセスすることで、連続して表示するＵＩ部品の情報の取得負荷を軽減することが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ 撮影部； ２０３ 表示部； ２０４ コンテンツ識別子取得部； ２０６ ＵＩ部品取得部； ２０８ 合成部； ２１０ ユーザ識別子取得部； ２１１ 状態情報取得部； ２１２ 関係性要求部

Claims (10)

1. 表示装置が表示しているコンテンツの識別子と、該コンテンツの表示状態に関する状態情報と、を該表示装置から受信する受信手段と、
   前記受信した識別子と表示状態とに基づいて、前記表示装置で表示されることになる仮想オブジェクトを決定する決定手段と、
   前記決定手段により決定された仮想オブジェクトを前記表示装置に提供する提供手段と、
   を有することを特徴とする情報処理装置。
2. 前記表示装置を利用しているユーザの識別子を受信するユーザ情報受信手段と、
   前記受信したユーザの識別子と前記コンテンツの識別子とに基づいて、前記ユーザと前記コンテンツとの間の関係情報を特定する特定手段と、
   を更に有し、
   前記決定手段は、更に前記特定された関係情報に基づいて、前記表示装置で表示されることになる仮想オブジェクトを決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記関係情報は、前記ユーザと前記コンテンツとの間の関連性の強度として予め指定されている
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記決定手段は、予め用意された複数の仮想オブジェクトから前記表示装置で表示されることになる１以上の仮想オブジェクトを選択する
   ことを特徴とする請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記表示装置に対してユーザが入力した入力情報を、該表示装置から受信する入力情報受信手段と、
   前記入力情報に基づいて仮想オブジェクトを生成する生成手段と、
   を更に有し、
   前記決定手段は、前記生成手段により生成された仮想オブジェクトを、前記表示装置で表示されることになる仮想オブジェクトとして決定する
   ことを特徴とする請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記コンテンツは時間と共に表示内容が変化するコンテンツであり、
   前記表示状態は、前記コンテンツにおける再生位置、表示ページ、コンテンツを表示してからの経過時間、シーンの特徴の何れかである
   ことを特徴とする請求項１乃至５の何れか一項に記載の情報処理装置。
7. 前記表示装置は撮像手段を有しており、
   前記コンテンツは、前記撮像手段が撮像した前記表示装置とは別体の外部表示装置により表示されたコンテンツであり、
   前記コンテンツの識別子と前記状態情報とは、前記外部表示装置により表示されたコンテンツに埋め込まれている
   ことを特徴とする請求項１乃至６の何れか一項に記載の情報処理装置。
8. 表示装置により表示される仮想オブジェクトを提供する情報処理装置の制御方法であって、
   前記表示装置が表示しているコンテンツの識別子と、該コンテンツの表示状態に関する状態情報と、を該表示装置から受信する受信工程と、
   前記受信した識別子と表示状態とに基づいて、前記表示装置で表示されることになる仮想オブジェクトを決定する決定工程と、
   前記決定工程により決定された仮想オブジェクトを前記表示装置に提供する提供工程と、
   を含むことを特徴とする情報処理装置の制御方法。
9. 表示装置とサーバとを含む情報処理システムであって、
   前記表示装置は、
   前記表示装置とは別体の外部表示装置により表示されたコンテンツを撮像する撮像手段と、
   前記撮像手段により撮像された前記コンテンツを表示する表示手段と、
   前記撮像手段により撮像された前記コンテンツから、該コンテンツの識別子及び該コンテンツの表示状態を特定する特定手段と、
   を有し、
   前記サーバは、
   前記表示装置が表示しているコンテンツの識別子と、該コンテンツの表示状態に関する状態情報と、を該表示装置から受信する受信手段と、
   前記受信した識別子と表示状態とに基づいて、前記表示装置で表示されることになる仮想オブジェクトを決定する決定手段と、
   前記決定手段により決定された仮想オブジェクトを前記表示装置に提供する提供手段と、
   を有し、
   前記表示手段は、前記サーバから受信した仮想オブジェクトを表示する
   ことを特徴とする情報処理システム。
10. コンピュータを、請求項１乃至８の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images