JP2016038682A - 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム - Google Patents
情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム Download PDFInfo
- Publication number
- JP2016038682A JP2016038682A JP2014160800A JP2014160800A JP2016038682A JP 2016038682 A JP2016038682 A JP 2016038682A JP 2014160800 A JP2014160800 A JP 2014160800A JP 2014160800 A JP2014160800 A JP 2014160800A JP 2016038682 A JP2016038682 A JP 2016038682A
- Authority
- JP
- Japan
- Prior art keywords
- display
- component
- unit
- information processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】撮像装置で取得した画像上に重畳表示された仮想オブジェクトへの入力の操作性を向上させる技術を提供する。【解決手段】 情報処理装置は、撮影により画像を取得する撮影手段と、前記画像を表示する表示手段と、前記画像に含まれるオブジェクトを検出する検出手段と、前記画像における前記オブジェクトに対応する位置にUI部品を重畳して前記表示手段に表示させる表示制御手段とを備え、前記表示制御手段は、前記オブジェクトを検出した後、当該オブジェクトが検出されなくなった後も、前記UI部品を継続して前記表示手段に表示させる。【選択図】 図3
Description
本発明は情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラムに関し、特に、撮影画像の表示内容に情報を追加表示する技術に関する。
撮像装置から取得した画像に対し、仮想的なオブジェクトを重畳して表示するAR(Augmented Reality:拡張現実)等の技術が知られている。特許文献1には、仮想的なメモ(掲示板)のオブジェクトをその位置情報と共に記録しておき、撮像装置の位置や姿勢に応じて、撮像画像に合わせてメモ内容を表示することが記載されている。
上記構成において、重畳表示される仮想的なメモのオブジェクトに対して選択や編集等の入力を行う際には、仮想的なオブジェクトが表示されるような位置・姿勢で撮像装置を保持しなくてはならない。例えば、仮想的なオブジェクトの位置に対応する向きで端末を保持したり、仮想オブジェクトに対応する実世界のオブジェクトを撮像範囲に捉える位置・姿勢で端末を保持したりする必要がある。入力に不向きな位置・姿勢で端末を保持しつつ、入力を行う場合、操作性の低下や、操作ミスが発生しうる。
本発明はこのような問題を鑑みてなされたものであり、撮像装置で取得した画像上に重畳表示された仮想オブジェクトへの入力の操作性を向上させる技術を提供することを目的とする。
上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
撮影により画像を取得する撮影手段と、
前記画像を表示する表示手段と、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記画像における前記オブジェクトに対応する位置にUI部品を重畳して前記表示手段に表示させる表示制御手段と
を備え、
前記表示制御手段は、前記オブジェクトを検出した後、当該オブジェクトが検出されなくなった後も、前記UI部品を継続して前記表示手段に表示させる。
撮影により画像を取得する撮影手段と、
前記画像を表示する表示手段と、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記画像における前記オブジェクトに対応する位置にUI部品を重畳して前記表示手段に表示させる表示制御手段と
を備え、
前記表示制御手段は、前記オブジェクトを検出した後、当該オブジェクトが検出されなくなった後も、前記UI部品を継続して前記表示手段に表示させる。
本発明によれば、撮像装置で取得した画像上に重畳表示された仮想オブジェクトへの入力の操作性を向上させる技術を提供することができる。
以下、図面を参照しながら本発明の好適な実施形態について説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
(システム構成)
図1は、本発明の一実施形態に係る情報処理システムのシステム構成図である。本実施形態では、コンテンツを表示するデバイスを撮影し、撮影画像中のコンテンツ上に仮想UI部品を追加表示する情報処理システムについて説明する。
図1は、本発明の一実施形態に係る情報処理システムのシステム構成図である。本実施形態では、コンテンツを表示するデバイスを撮影し、撮影画像中のコンテンツ上に仮想UI部品を追加表示する情報処理システムについて説明する。
図1において、100は、多様なネットワークの集合体のインターネットである。インターネット100は任意のネットワークにより構成することができ、インターネットに限らず、例えば、WAN(Wide Area Network)、LAN(Local Area Network)、又は、それらの複合としてもよい。101は、無線基地局である。無線基地局101は、後述する表示装置105と無線LAN(例えば、IEEE802.11シリーズに準拠)による通信方式で無線通信ネットワークを構築する。なお、通信方式はこれに限らず、WiMAXやBluetooth(登録商標)などの無線通信や有線通信を利用してもよい。また、無線基地局101は、インターネット100と接続されており、表示装置105と後述するサーバ107との通信を中継する。
102は、無線基地局である。無線基地局102は、後述する発信装置106と無線LAN(例えば、IEEE802.11シリーズに準拠)による通信方式で無線通信ネットワークを構築する。また、無線基地局102は、インターネット100と接続されており、発信装置106と後述するサーバ107との通信を中継する。なお、通信方式はこれに限らず、WiMAXやBluetooth(登録商標)などの無線通信や有線通信を利用してもよい。103は、本情報処理システムのユーザであるユーザA(第1のユーザ)である。ユーザA103は、表示装置105の所有者であり、利用者である。104は、本情報処理システムのユーザB(第2のユーザ)である。ユーザB104は、発信装置106の利用者である。
105は、画像や各種情報を表示するディスプレイを有する表示装置(第1のデバイス)である。表示装置105は、無線通信機能を有し、無線基地局101及びインターネット100を介してサーバ107と通信を行う。106は、画像や各種情報等のコンテンツを表示するディスプレイを有する発信装置(第2のデバイス)である。発信装置106は、表示しているコンテンツを介して、コンテンツに関連する識別子を発信する。また、発信装置106は、無線基地局102及びインターネット100を介してサーバ107と通信する。なお、表示装置105、及び、発信装置106の一部の機能がネットワークに接続されたサーバ107上に存在し、以降に述べる処理を実現する構成にしてもよい。本実施形態では、表示装置105が発信装置106が表示するコンテンツを撮影し、その撮影画像中のコンテンツに対し、コンテンツに関連する識別子や閲覧ユーザ等に応じて、仮想UI部品を重畳させて表示する例を説明する。
107は、ユーザに関連するデバイス上に表示されるコンテンツ上に仮想UI部品を追加表示させるためのサーバである。サーバ107は、本情報処理システムで利用するコンテンツとユーザ間の関係性を示す情報やコンテンツ情報を後述するデータベース108、109を用いて管理する。サーバ107は、コンテンツとユーザ間の関係性を示す情報を、各ユーザからの入力に基づいて事前に保持している。また、これらの保持している情報は、例えばインターネット上に存在するソーシャルネットワーキングサービス(SNS)からインポートして取得する構成としてよい。また、サーバ107がソーシャルネットワーキングサービスを提供し、そのサービスにより構成されたユーザ間の関係性や所有するコンテンツの情報を利用する構成としてもよい。後述するように、サーバ107は、コンテンツとユーザ間の関係性やコンテンツの表示状態等に応じて、表示すべき仮想UI部品の決定や、生成を行う。
108はデータベースであり、ユーザ間の関係性、及び、ユーザとデバイスの関係性等を示す情報(以下、「関係性情報」という)を保持するRDB(Relational Database)として構成される。109は、コンテンツ情報を保持するデータベースである。データベース109は、仮想UI部品についての情報等をコンテンツ情報として保持するRDBとして構成される。本実施形態では、データベース108、109をRDBを用いて実現するが、これに限らず、XMLDB(Extensible Markup Language Database)など別の種類のデータベース用いても実現できる。
●関係性情報
ここで、データベース108に記憶され、サーバ107が管理する関係性情報とコンテンツ情報について説明する。図2(a)は、関係性情報が登録される関係性情報テーブルの一例である。図2(a)の例では、コンテンツID1002(コンテンツ識別子)が「1」のコンテンツに対して、このコンテンツを閲覧するユーザ(閲覧者)の識別子(閲覧者ID1001)と、ユーザとコンテンツとの関係性(強度1003)が登録されている。表の例では、3人のユーザについてこれらの情報が示されており、閲覧者ID1001が「2」であるユーザには、強度1003が「50」の関係性が登録されている。一方、閲覧者ID1001が「3」のユーザには強度1003が「30」の関係性、閲覧者ID1001が「4」のユーザには強度1003が「100」の関係性が登録されている。関係性の強度1003は、SNSなどから取得したり、メールや電話等のやりとりの頻度から算出したり、コンテンツが変更されるごとに更新するほか、あらかじめ登録するようにしてもよい。ここでは、一元的な表を用いて関係性情報を管理する例を説明したが、複数ユーザ間の関係性も表しやすいように、木構造やノードなどを用いる管理方法を採用してもよい。
ここで、データベース108に記憶され、サーバ107が管理する関係性情報とコンテンツ情報について説明する。図2(a)は、関係性情報が登録される関係性情報テーブルの一例である。図2(a)の例では、コンテンツID1002(コンテンツ識別子)が「1」のコンテンツに対して、このコンテンツを閲覧するユーザ(閲覧者)の識別子(閲覧者ID1001)と、ユーザとコンテンツとの関係性(強度1003)が登録されている。表の例では、3人のユーザについてこれらの情報が示されており、閲覧者ID1001が「2」であるユーザには、強度1003が「50」の関係性が登録されている。一方、閲覧者ID1001が「3」のユーザには強度1003が「30」の関係性、閲覧者ID1001が「4」のユーザには強度1003が「100」の関係性が登録されている。関係性の強度1003は、SNSなどから取得したり、メールや電話等のやりとりの頻度から算出したり、コンテンツが変更されるごとに更新するほか、あらかじめ登録するようにしてもよい。ここでは、一元的な表を用いて関係性情報を管理する例を説明したが、複数ユーザ間の関係性も表しやすいように、木構造やノードなどを用いる管理方法を採用してもよい。
●コンテンツ情報
図2(b)は、コンテンツ情報を表すテーブルの一例である。コンテンツID1004は、発信装置106上に表示するコンテンツに対応するコンテンツの識別子である。表示状態ID1005は、コンテンツの表示状態を表すID(識別子)である。発信装置106に表示されるコンテンツがプレゼンテーション資料であれば、当該資料のページにより表示状態を特定することができる。そこで、例えば、資料のページを特定する識別子を表示状態ID1005として使用する。また、コンテンツが動画であれば、例えば、再生時間、再生時間帯等を表示状態ID1005として使用することができる。また、表示状態ID1005は、発信装置106上に表示される画面を必ずしも一意に識別する必要はなく、取得した画像を解析した場面(シーン)や、再生中、閲覧中といった再生状態を表すような情報を用いてもよい。また、コンテンツID1004は、発信装置106上に表示されるコンテンツだけでなく、撮像画像に写り込む人物(例えば、ユーザB104)や、プリンタやカメラ等の特定の物体の識別子としても機能しうる。このようなコンテンツ以外のものをコンテンツID1004が識別する場合、表示状態ID1005は使用されない。図2(b)では、コンテンツID1004が「2」、「3」で識別されるもの(人物、物体等)について、表示状態ID1005が使用されない場合を例示している。
図2(b)は、コンテンツ情報を表すテーブルの一例である。コンテンツID1004は、発信装置106上に表示するコンテンツに対応するコンテンツの識別子である。表示状態ID1005は、コンテンツの表示状態を表すID(識別子)である。発信装置106に表示されるコンテンツがプレゼンテーション資料であれば、当該資料のページにより表示状態を特定することができる。そこで、例えば、資料のページを特定する識別子を表示状態ID1005として使用する。また、コンテンツが動画であれば、例えば、再生時間、再生時間帯等を表示状態ID1005として使用することができる。また、表示状態ID1005は、発信装置106上に表示される画面を必ずしも一意に識別する必要はなく、取得した画像を解析した場面(シーン)や、再生中、閲覧中といった再生状態を表すような情報を用いてもよい。また、コンテンツID1004は、発信装置106上に表示されるコンテンツだけでなく、撮像画像に写り込む人物(例えば、ユーザB104)や、プリンタやカメラ等の特定の物体の識別子としても機能しうる。このようなコンテンツ以外のものをコンテンツID1004が識別する場合、表示状態ID1005は使用されない。図2(b)では、コンテンツID1004が「2」、「3」で識別されるもの(人物、物体等)について、表示状態ID1005が使用されない場合を例示している。
部品名1006は、各表示状態に設定されている仮想UI部品の名前を表している。対応する表示状態ID1005が存在しない仮想UI部品は、コンテンツの表示状態に関わらず表示されうるUI部品であることを示している。
種別1007は、仮想UI部品の種別を表している。本実施形態では、一例として「Input」、「Droppable」、「Toggle」の三種類が存在する場合について説明する。「Input」は、ユーザがメモを編集・入力するための仮想UI部品の種別である。取得したコンテンツID1004に対応するコンテンツに対してメモを付与する。また、メモをその場で付与するのではなく、後でメモを付与する箇所に目印を付けるような振る舞いを有する仮想UI部品としてもよい。「Droppable」は、任意のオブジェクトをドロップし、アクションを実行するための領域を表すUI部品の種別である。具体例として、表示装置105の撮像部201で人物の画像を取得し、画像中の人物を認識する。認識した人物の顔領域に「Droppable」部品を表示し、画像がドロップされたら、該人物に関連付けられたメールアドレスへその画像を添付してメール送信をするといった振る舞いが考えられる。「Toggle」は、任意のオブジェクトに対して、On/Offの指示をするためのUI部品である。具体例として、撮像部201でプリンタが写り込んだ画像を取得し、画像中のプリンタを認識する。認識したプリンタの傍らに「Toggle」部品を表示し、部品に対するユーザ操作に応じてそのプリンタの電源のOn/Offの制御をするための命令を送信するといった振る舞いが考えられる。
必要とする関係性の強度1008は、仮想UI部品を表示するために必要となるコンテンツとユーザ間の関係性の強度である。動作1009は、各仮想UI部品に入力がなされた際に、行われる動作を表している。コンテンツ上の座標1010は、各仮想UI部品を表示する際に、対応するコンテンツ上のどの位置に表示すべきか示す情報である。
本実施形態では、表示装置105の撮像画像を閲覧するユーザA103と、撮像画像中のコンテンツや所定の物体等との関係性の強度に応じて、仮想UI部品の表示の有無や表示すべき仮想UI部品を決定する。このため、本実施形態によれば、コンテンツ等の種類、性質やユーザの特性、権限等に応じて、適切な仮想UI部品を重畳表示することができる。
本実施形態では、便宜上、データベース108とデータベース109を別々に配置して、関係性情報とコンテンツ情報を管理する例を説明したが、これに限らず、同一のデータベース内でこれらの情報を管理してもよい。以上説明した本実施形態のデータベースの形態は一例であって、データベースの形態を上述のものに限る趣旨ではない。また、上述のシステム構成は一例に過ぎず、図1の形態に限定されるものではない。例えば、サーバ107は複数の装置により構成してもよいし、また、サーバ107で実行される処理の一部または全てを、クライアント側である表示装置105、発信装置106が行う構成としても構わない。また、表示装置105は、メガネ型のディスプレイと入力装置に分けた構成としてもよい。その場合、少なくとも、表示装置105の後述する入力部202は、入力装置側に持たせる構成にするとよい。入力装置は、メガネ型ディスプレイに上に重畳表示されている仮想UI部品の選択と、ボタン押下による決定指示の入力ができればよい。
(表示装置)
図3は、本実施形態に係る表示装置105のハードウェア(モジュール)構成図である。なお、各構成の一部または全ては、CPU等の演算装置がプログラムを実行して情報の演算、加工する制御に基づいて実現されてよい。また、各構成は、演算装置がプログラムを実行して、ハードウェアを制御することで実現されてよい。表示装置105はスマートフォン、デジタルカメラ、タブレット端末、眼鏡型ウェアラブル端末、パーソナルコンピュータ等の情報処理装置により実現することができる。
図3は、本実施形態に係る表示装置105のハードウェア(モジュール)構成図である。なお、各構成の一部または全ては、CPU等の演算装置がプログラムを実行して情報の演算、加工する制御に基づいて実現されてよい。また、各構成は、演算装置がプログラムを実行して、ハードウェアを制御することで実現されてよい。表示装置105はスマートフォン、デジタルカメラ、タブレット端末、眼鏡型ウェアラブル端末、パーソナルコンピュータ等の情報処理装置により実現することができる。
図3において、200は、各構成を接続するバスである。201は、レンズを介して取得した被写体光を画像データとして取得する撮影部である。撮像部201は、光学ズームやデジタルズームを用いて画角の調整を行い、画像を撮影する。202は、所有者の識別子の入力や仮想UI部品への入力、各種ユーザ操作に基づいた入力を受け付ける入力部である。203は、液晶パネルなどのディプレイに画像、各種情報を表示する表示部である。入力部202と表示部203は、例えばタッチパネルとして構成することができる。
204は、発信装置106が表示するコンテンツを介して発信する識別子の情報や、人物や機器等のオブジェクトの識別子を取得するオブジェクト取得部である。本実施形態例では、識別子の情報をコンテンツに対する知覚困難型の電子透かしとして埋め込んでおき、撮像部201から画像を取得し、解析して取得する。人物や機器を識別する場合には、画像処理による人物認証を行う。なお、発信装置106に、LEDライトを取り付け、オブジェクトを一意に特定可能なパターンで点滅させ、点滅パターンから識別子を取得してもよい。また、QRコード(登録商標)などのバーコードを用いて実現してもよいし、ビーコン等の無線信号から取得することで実現しても構わない。
205は、所定の無線方式(無線LAN(IEEE802.11シリーズ)、ミリ波、RFIDなど)で発信装置106や無線基地局との間で無線信号の送受信を行うためのアンテナや回路の制御を行うRF部である。206は、サーバ107から仮想UI部品を取得するUI部品取得部である。207は、サーバ107に対するメッセージ、及び、サーバ107を介したメッセージを送受信するためのメッセージ送受信部である。208は、サーバから取得した仮想UI部品の一部ないし全部と撮影画像とを重畳する合成部である。本実施形態では、撮像部201で撮影された画像に重畳するが、これに限らず、既に撮影済みの画像やリアルタイムの動画でも実現できる。209は、通信プロトコルの処理を行うTCP/IP処理部である。
210は、発信装置106が表示コンテンツを介して発信する識別子の情報を取得する識別情報取得部である。前述のように、本実施形態では、識別子の情報がコンテンツに知覚困難型の電子透かしとして埋め込まれるため、識別情報取得部210は、撮像部201から画像を取得し、解析して取得する。コンテンツの識別子が、LEDライトの点滅パターンや、QRコード(登録商標)、無線信号等により伝達される場合は、識別情報取得部210は、これらの信号を解析して識別子を取得する。
211は、ユーザA103の識別子を取得するユーザID取得部である。本実施形態では、識別子は、入力部202を介してユーザにより入力されるが、撮像部201から取得した画像により、ユーザを認証する方法を採ってもよい。また、表示装置105に識別子を持たせ、その情報をユーザの識別子として扱う構成にしてもよい。212は、ユーザA103の識別子と、コンテンツの識別子から、これらの関係性の検索要求をするメッセージを生成する。213は、表示装置105上の表示を維持すべきか否か判断する判断部である。214は、判断部213で、表示を維持すべきと判断した際に、表示する情報を保持する記憶部である。記憶部214で保持する情報としては、仮想UI部品、識別情報、撮像部で取得した画像等がある。215は、解除部215で、表示の維持を解除する際の処理を行う。
(サーバ)
続いて、サーバ107の構成について説明を行う。図4は、本実施形態に係るサーバ107のハードウェア(モジュール)構成図である。なお、各構成の一部または全ては、CPU等の演算装置が、コンピュータプログラムに基づき情報の演算、加工する制御等を実行することにより実現されてよい。サーバ107はパーソナルコンピュータ、ワークステーション等の情報処理装置により実現することができる。
続いて、サーバ107の構成について説明を行う。図4は、本実施形態に係るサーバ107のハードウェア(モジュール)構成図である。なお、各構成の一部または全ては、CPU等の演算装置が、コンピュータプログラムに基づき情報の演算、加工する制御等を実行することにより実現されてよい。サーバ107はパーソナルコンピュータ、ワークステーション等の情報処理装置により実現することができる。
図4において、300は、各構成を接続するバスである。301は、コンテンツとユーザ間の関係性を示す関係性情報を保持する関係性情報保持部である。本実施形態では、関係性情報保持部301が、関係性情報をデータベース108を用いて保持しており、データベース108に対して、追加・更新・削除などの操作を行う。図2(a)を参照して前述したように、本実施形態では関係性には、コンテンツとユーザ間の関係の強度を含む。なお、コンテンツとユーザ間の関係性の強度はコンテンツの利用者と閲覧者の業務上の関係の強さを表す。例えば、コンテンツに関連付けられたテキストを編集するための仮想GUI部品について、そのコンテンツの責任者に対してより大きな強度を割り当てることで、業務分担に応じたアクセス制御などを実現することができる。
302は、コンテンツに対応付けられたコンテンツ情報を保持するコンテンツ情報保持部である。本実施形態では、コンテンツ情報保持部302は、コンテンツ情報をデータベース109で保持しており、データベース109に対して、追加・更新・削除などの操作を行う。また、本実施形態では、仮想UI部品の名前、種別、必要とする関係性の強度、動作、コンテンツ上に表示する座標を含む。コンテンツ情報の具体例は図2(b)を参照して前述したとおりである。
303は、仮想UI部品の取得要求がなされた際に、コンテンツの識別子、表示状態の識別子、ユーザとコンテンツの関係性に基づいて、表示すべき仮想UI部品を決定する処理を行う。304は、仮想UI部品の生成要求がなされた際に、仮想UI部品を生成し、コンテンツ情報を更新する処理を行う。305は、メッセージ送受信部である。メッセージ送受信部305は、表示装置105、及び、発信装置106などと、所定のメッセージを送受信する。306は、表示装置105から受け付けたメッセージに応じた処理を即時に実行できなかった時、該メッセージを保存するメッセージ保存部である。307は、ネットワークのプロトコル処理を行うTCP/IP処理部である。
(発信装置)
続いて、発信装置106のハードウェア(モジュール)構成を図5を用いて説明する。図5において、400は、各モジュールを接続するバスである。401は、所定の無線方式(無線LAN、ミリ波、RFIDなど)で表示装置105、無線基地局との間で無線信号の送受信を行うためのアンテナや回路の制御を行うRF部である。402は、メッセージ送受信部である。メッセージ送受信部402は、サーバ107と、制御メッセージなどの送受信を行う。403は、コンテンツの識別子、表示状態の識別子を発信する識別情報発信部である。404は、液晶パネルなどのディプレイにコンテンツを表示する表示部である。なお、識別情報発信部403と表示部404は、識別子の情報をコンテンツに知覚困難型の電子透かしとして埋め込んでおくことで、同一の構成としてよい。すなわち、表示部404は、コンテンツの識別子に対応する電子透かしを埋め込んだコンテンツを表示することで、識別情報発信部403としても機能する。電子透かしに代えて、QRコード(登録商標)などのバーコードを表示して、識別情報を発信するようにしてもよい。
続いて、発信装置106のハードウェア(モジュール)構成を図5を用いて説明する。図5において、400は、各モジュールを接続するバスである。401は、所定の無線方式(無線LAN、ミリ波、RFIDなど)で表示装置105、無線基地局との間で無線信号の送受信を行うためのアンテナや回路の制御を行うRF部である。402は、メッセージ送受信部である。メッセージ送受信部402は、サーバ107と、制御メッセージなどの送受信を行う。403は、コンテンツの識別子、表示状態の識別子を発信する識別情報発信部である。404は、液晶パネルなどのディプレイにコンテンツを表示する表示部である。なお、識別情報発信部403と表示部404は、識別子の情報をコンテンツに知覚困難型の電子透かしとして埋め込んでおくことで、同一の構成としてよい。すなわち、表示部404は、コンテンツの識別子に対応する電子透かしを埋め込んだコンテンツを表示することで、識別情報発信部403としても機能する。電子透かしに代えて、QRコード(登録商標)などのバーコードを表示して、識別情報を発信するようにしてもよい。
入力部405は、コンテンツへの各種ユーザ操作に基づいた入力を受け付ける入力部である。406は、コンテンツをサーバ107から取得するためのコンテンツ取得部である。407は、コンテンツを発信装置106上で保持しておくためのコンテンツ保持部である。本実施形態では、コンテンツ保持部407上のコンテンツを利用する例で説明するが、コンテンツは、サーバ107から取得したものを利用してもよい。408は、ネットワークのプロトコル処理を行うTCP/IP処理部である。発信装置106は、ディスプレイ装置を備えたパーソナルコンピュータ、ワークステーション等により実現することができる。
(システム動作)
以上のような構成を備えた情報処理システムの動作について説明する。図6は、本情報処理システムにおいてユーザA103が利用している表示装置105上に仮想UI部品を表示するための処理を示すシーケンス図である。まず、ユーザB104が発信装置106の入力部405を介して、コンテンツの選択を行うと、M500において、発信装置106が、選択されたコンテンツのコンテンツ情報をサーバ107に登録(更新)するための処理を行う。M501において、サーバ107は、受信したコンテンツ情報をコンテンツ情報保持部302に保持する。M502において、発信装置106はコンテンツ保持部407から、対応するコンテンツを読みだして表示する。
以上のような構成を備えた情報処理システムの動作について説明する。図6は、本情報処理システムにおいてユーザA103が利用している表示装置105上に仮想UI部品を表示するための処理を示すシーケンス図である。まず、ユーザB104が発信装置106の入力部405を介して、コンテンツの選択を行うと、M500において、発信装置106が、選択されたコンテンツのコンテンツ情報をサーバ107に登録(更新)するための処理を行う。M501において、サーバ107は、受信したコンテンツ情報をコンテンツ情報保持部302に保持する。M502において、発信装置106はコンテンツ保持部407から、対応するコンテンツを読みだして表示する。
M503において、ユーザA103は、ユーザA103の識別子を表示装置105に入力する。その際、識別子(ID)に対応するパスワードの入力も求め、これらが整合しているか検証することでユーザのなりすまし等を防止することができる。M504において、表示装置105のユーザID取得部211は、入力されたユーザA103の識別子を取得する。これによって、ユーザA103が本処理システムを利用しているという状態になる。
M505において、ユーザA103は、表示装置105を発信装置106の方にかざして、表示装置105に撮像を指示する。M506において、表示装置105の撮像部201は、発信装置106上に表示されたコンテンツを撮像する。この時に、ユーザB104が映り込むように撮像してもよい。M507において、表示装置105のオブジェクト取得部204は、M506で取得した画像を解析してコンテンツの識別子を取得する。M508において、識別情報取得部210は、M506で取得した画像を解析して表示状態の識別子を取得する。M509において、関係性要求部212は、ユーザA103の識別子と取得したコンテンツの識別子から関係性の検索要求を生成する。さらに、表示装置105のメッセージ送受信部207は、サーバ107に、ユーザA103の識別子と取得したコンテンツの識別子、表示状態の識別子、関係性の検索要求を含む、仮想UI部品の取得要求のメッセージを送信する。
M510において、サーバ107は、表示装置105から、仮想UI部品の取得要求のメッセージを受信する。その後、コンテンツの識別子を用いて、データベース109からコンテンツ情報を取得する。なお、取得したコンテンツ情報は、コンテンツが異なるものに切り替わるか、若しくはコンテンツのメタデータ(コンテンツ情報)が修正されるまで、コンテンツ情報保持部302で保持する。M511において、サーバ107は、取得したコンテンツ情報から、表示状態の識別子を用いて、表示状態に対応する仮想UI部品を取得する。なお、取得した仮想UI部品は、表示状態が切り替わるまで、コンテンツ情報保持部302で保持する。M512では、関係性情報保持部301が、ユーザA103の識別子とコンテンツの識別子を用いて、データベース108からユーザAとコンテンツの関係性情報を取得する。M513において、取得したユーザA103とコンテンツの関係性情報等と、表示状態に対応する仮想UI部品から、表示すべき仮想UI部品を決定する。なお、コンテンツとユーザ間の関係性と同様に、ユーザ間(表示装置105のユーザと発信装置106ユーザとの間)にも関係性を予め付与しておき、その関係性にさらに基づき仮想UI部品を決定するようにしてもよい。この場合、表示装置105がM506でユーザB104が映り込むように画像を撮影すると、撮影画像から取得されたユーザB104の識別情報をサーバ107へ送り、サーバ107は、M513でその情報を基に仮想UI部品を決定する。
M514において、サーバ107のメッセージ送受信部305は、仮想UI部品を含むメッセージを表示装置105へ送信する。一方、取得される仮想UI部品が存在しない場合には、メッセージ送受信部305は、表示すべき仮想UI部品が存在しない旨を表示装置105に送信する。なお、M510〜M513におけるサーバ107の動作を図10に示すフローチャートを用いて後述する。
M515において、表示装置105は、M514で取得した画像上のコンテンツに、仮想UI部品が保持するコンテンツ上の座標で表示されるように位置計算を行う。M516において、位置計算した座標に基づいて、仮想UI部品を表示装置105上に表示する。M517において、取得したUI部品、現在の識別情報、M506で取得した画像を記憶部214で記憶する。なお、M504〜M509、M514〜M517の表示装置105の動作を図9で示すフローチャートを用いて後述する。
続いて、図7を用いて、ユーザA103が仮想UI部品へ入力中に、コンテンツが撮影領域から外れて、表示装置105の撮像部201が、コンテンツ上の仮想UI部品を捉えることができなくなった際の処理の流れを説明する。M600において、ユーザA103が表示装置105上の仮想UI部品Aへの入力を行う。続いて、M601において、ユーザA103が表示装置105の姿勢を変更する。ここでは、撮像部201がコンテンツを捉えなれなくなるほど、表示装置105の姿勢が変更させられた場合を説明する。本実施形態では、表示装置105の撮像部201がコンテンツを捉えることができなくなったことをトリガ(契機)として、仮想UI部品の表示を維持するために以下の処理を実行する。端末の姿勢変更はそのようなトリガの一例であり、表示の維持のトリガとなる入力であれば、どのような入力でもよい。例えば、発信装置106と表示装置105の間を、プレゼンターや聴衆などの障害物が横切った場合などをトリガとしてもよい。その他にも、ユーザの指示入力をトリガとしてもよい。例えば、明示的に表示の維持を指示するようなボタンを表示装置105上に設け、ボタンの押下をトリガとしてもよい。さらには、仮想UI部品に入力中であれば、常にM602以降の処理に入るようにしてもよい。
M602において、表示装置105は、発信装置106上のコンテンツを捉えていないことを判断する。その具体的な方法としては、例えば、発信装置106上のコンテンツの識別子を撮像部201で撮像した画像から取得できなくなったことに応じて、コンテンツを捉えていないと判断することができる。また、次に示す方法を採ってもよい。すなわち、発信装置106上のコンテンツを最初に捉えた際、もしくは発信装置106上の仮想UI部品への入力を開始した際などの、所定のタイミングにおける表示装置105の姿勢情報などを基準として保持しておく。この基準の姿勢情報と現在の表示装置105の姿勢との差異が所定の範囲を越えた場合にコンテンツを捉えていないと判断する。このような構成を採る場合には、表示装置105に、加速度センサや地磁気センサ等の姿勢を取得するためのセンサを設けておき、これらのセンサの出力値を用いて、端末の姿勢情報を判断する。なお、端末の姿勢情報は、ピッチ、ロール、アジマスの3つの情報で表されるが、必ずしもこれに限るものではない。M603において、記憶部214に記憶されている、UI部品、現在の識別情報、M506で取得した画像を取得する。M604において、ユーザA103から解除の指示が入力されるまで表示を維持する。なお、表示を維持する際は、仮想UI部品だけでなく、オブジェクトが検出された際の撮影画像も、継続して表示部203に表示させるようにしてもよい。これにより、ユーザは、オブジェクトとの関係を把握しながら、仮想UI部品を操作することができる。
M605において、ユーザA103が、表示維持の解除指示を行う。解除の指示の入力は、例えば、仮想UI部品に対する入力を完了した後に、表示装置105上に表示される仮想UI部品からフォーカスを外すことにより行うことができる。一般的には、仮想UI部品以外の領域上をタッチすることや、入力の完了ボタンなどのボタンを押下することなどでフォーカスを外すことができる。また、端末を左右に振る等の動作を検知するなどの、端末に対するジェスチャ入力で解除指示を行ってもよい。このような構成を採る場合には、表示装置105に、加速度センサや地磁気センサ等の姿勢を取得するためのセンサを設けておき、これらのセンサの出力値を用いて、端末に対するジェスチャ入力を判断する。M606では、表示装置105が記憶部214に保持しているUI部品、現在の識別情報、M506で取得した画像の情報を削除する。M607において、表示装置105は、表示の維持を解除する。
図8(a)は、コンテンツを表示している発信装置106の表示部404を撮像し、表示装置105の表示部203に撮像画像を表示した様子を示す図である(M506)。図8(a)には、コンテンツとして棒グラフ1102が表示された場合の例を示している。図8(b)は、取得した仮想UI部品をコンテンツに重畳表示した様子を示す図である。1100はUI部品Aである(M516)。図2(b)を参照して前述したように、UI部品Aはテキストを入力するための仮想UI部品であり、ユーザA103はこの部品を選択してテキストを入力し、棒グラフ1102に反映させることができる。図8(c)は、ユーザA103が、端末(表示装置105)の姿勢を変更し、発信装置106上のコンテンツを捉えならなくなった様子を示す図である(M601)。図8(d)は、記憶部214に記憶した情報に基づき表示を維持している際の図である(M603)。
まず、図8(b)の状態になった際に、表示装置105は、保持しているUI部品、現在のコンテンツの識別情報、M506で取得した画像の情報を記憶部214に記憶する(M517)。ユーザA103が、1100で表されるUI部品Aへ入力中であり(M600)、かつ、図8(c)で示すように、1101の矢印の方向へ端末を動かし、姿勢を変更する(M601)。この場合、表示装置105は、コンテンツが捉えられていないと判断し(M602)、図8の(d)のように、記憶部214に保持している情報を取得し(M603)、図8(b)と同様に表示を維持する(M604)。
以上のように、表示装置105は、撮影画像に含まれるオブジェクトを検出すると、オブジェクトに対応する位置にUI部品を重畳して表示部203に表示させ、その後オブジェクトが検出されなくなった後も、UI部品を継続して表示させる表示制御を行う。このため、表示装置105がコンテンツを常に捉えていなくとも、ユーザA103に対し、仮想オブジェクトへの入力を継続させることができる。したがって、撮像装置で取得した画像上に重畳表示する仮想オブジェクトへの入力時の操作性を向上させることができるという効果がある。
(仮想UI部品の表示処理)
以下、本システムの各装置における処理をフローチャートに基づいて説明する。図9は、表示装置105が発信装置106上のコンテンツからコンテンツの識別子を受信し、サーバ107に情報を問い合わせて仮想UI部品を表示する際の、表示装置105が実行する処理の処理手順を示すフローチャートである。
以下、本システムの各装置における処理をフローチャートに基づいて説明する。図9は、表示装置105が発信装置106上のコンテンツからコンテンツの識別子を受信し、サーバ107に情報を問い合わせて仮想UI部品を表示する際の、表示装置105が実行する処理の処理手順を示すフローチャートである。
S701において、ユーザID取得部211は、入力部202からの入力によりユーザA103の識別子を受け付け、S702に進む。S702において、撮像部201は、発信装置106上のコンテンツを含む画像の撮影を行い(図8(a))、S703に進む。S703では、オブジェクト取得部204が、S702において撮影された画像を解析し、発信装置106上のコンテンツの識別子を取得し、S704に進む。なお、必要に応じてS701、S703の処理は省略してもよい。S704では、S702において撮像部201が撮影した画像を解析し、識別情報取得部210が発信装置106上のコンテンツの表示状態の識別子を取得し、S705へ進む。
S705では、UI部品取得部206が、ユーザA103の識別子、コンテンツの識別子、及び、表示状態の識別子を含む、仮想UI部品を取得するメッセージを作成する。また、ユーザA103の識別子とコンテンツの識別子から、関係性の検索要求を生成し、検索要求を含むメッセージを作成してもよい。本実施形態では、ユーザ、コンテンツ、表示状態の3つの識別子全てを利用する例を説明するが、そのうちの一部を識別子を利用するようにしてもよい。例えば、コンテンツの識別子のみを含むメッセージを作成してもよいし、ユーザA103の識別子とコンテンツの識別子のみのメッセージを作成してもよい。メッセージ送受信部207は、TCP/IP処理部209を用いて、作成したメッセージをサーバ107へ送信する。メッセージ送受信部207は、サーバ107から、仮想UI部品を取得し、UI部品取得部206に送り、S706に進む。
S706において、合成部208が、撮影した画像上において仮想UI部品を表示すべき位置の計算を行い、S707に進む。表示位置の計算は、コンテンツ情報に含まれるコンテンツ上の座標1010(図2(b))に基づき行われる。S707において、表示部203が、仮想UI部品を撮影した画像上のS706で計算した位置に重畳表示する(図8(b))。S711において、表示装置105は、表示に関連する情報として、保持しているUI部品、現在の識別情報、M506で取得した画像の情報を記憶部214に記憶する。
(サーバの処理)
図10は、サーバ107が、表示装置105から仮想UI部品の取得依頼を受けた際に実行する処理の処理手順を示すフローチャートである。
図10は、サーバ107が、表示装置105から仮想UI部品の取得依頼を受けた際に実行する処理の処理手順を示すフローチャートである。
S801において、メッセージ送受信部305は、TCP/IP処理部307を介して、表示装置105からのメッセージを受信し、S802に進む。S802において、決定部303は、受信したメッセージに含まれるコンテンツの識別子に基づいて、コンテンツ情報の取得をコンテンツ情報保持部302に依頼する。コンテンツ情報保持部302は、コンテンツの識別子を検索鍵として、データベース109の検索を行い、対応するコンテンツ情報を取得する。S803において、決定部303は、受信したメッセージに含まれる表示状態の識別子に基づいて、仮想UI部品の取得をコンテンツ情報保持部302に依頼する。コンテンツ情報保持部302は、表示状態の識別子を検索鍵として、データベース109の検索を行い、対応する仮想UI部品を取得する。
S804において、決定部303は、ユーザA103とコンテンツの識別子に基づいて、ユーザA103とコンテンツの関係性情報の取得を関係性情報保持部301に依頼する。関係性情報保持部301は、ユーザA103の識別子とコンテンツの識別子に基づいて、ユーザA103とコンテンツの関係性情報を取得する(図2(a))。S805において、決定部303が、S803において取得した仮想UI部品と、S804で取得したユーザA103とコンテンツの関係性情報とに基づいて、表示する仮想UI部品を決定する。具体的には、関係性情報で保持する「強度1003」(図2(a))が仮想UI部品が保持する「必要とする関係性の強度1008」(図2(b))以上の部品を表示する仮想UI部品として決定する。すなわち、[数1]の関係が成立する仮想UI部品を表示対象として決定する。
[数1]
「強度」 ≧ 「必要とする関係性の強度」
なお、本実施形態では、関係性情報は「強度」のみで表したが、関係の種別(家族、同僚、友人など)や任意に設定したグループと強度を含むような構成とし、これらの情報に基づき仮想UI部品を決定してもよい。また、図2(b)の例では、コンテンツ又はその表示状態の識別子ごとに一つの仮想UI部品が定義されているが、複数の仮想UI部品を定義してもよい。その場合、[数1]の関係を満たす仮想UI部品が複数存在するときは、そのような仮想UI部品のうち最も大きな「必要とする関係性の強度1008」を有するものを表示対象として決定することができる。あるいは、用途や目的に応じて、[数1]の関係を満たす全て又は一部の仮想UI部品を表示対象としてもよい。
「強度」 ≧ 「必要とする関係性の強度」
なお、本実施形態では、関係性情報は「強度」のみで表したが、関係の種別(家族、同僚、友人など)や任意に設定したグループと強度を含むような構成とし、これらの情報に基づき仮想UI部品を決定してもよい。また、図2(b)の例では、コンテンツ又はその表示状態の識別子ごとに一つの仮想UI部品が定義されているが、複数の仮想UI部品を定義してもよい。その場合、[数1]の関係を満たす仮想UI部品が複数存在するときは、そのような仮想UI部品のうち最も大きな「必要とする関係性の強度1008」を有するものを表示対象として決定することができる。あるいは、用途や目的に応じて、[数1]の関係を満たす全て又は一部の仮想UI部品を表示対象としてもよい。
S806において、決定部303は、S805で表示対象として決定された仮想UI部品の有無を判定する。表示すべき仮想UI部品がある場合(S806でYES)には、S807に進む。一方、表示すべき仮想UI部品が存在しない場合(S806でNO)には、S808へ進む。S807では、決定部303は、メッセージ送受信部305を用いて、表示すべき仮想UI部品を表示装置105へ送信し、処理を終了する。S808では、決定部303は、メッセージ送受信部305を用いて、表示装置105に表示すべき仮想UI部品が存在しない旨を通知し、処理を終了する。
(仮想GUI部品の表示維持)
図11(a)は、表示装置105における表示の維持を実現する処理の処理手順を示すフローチャートである。本実施形態では、ユーザが仮想UI部品へ入力中に、仮想UI部品が表示装置105の撮影領域から外れた場合に、仮想UI部品の表示を維持する処理を行う。
図11(a)は、表示装置105における表示の維持を実現する処理の処理手順を示すフローチャートである。本実施形態では、ユーザが仮想UI部品へ入力中に、仮想UI部品が表示装置105の撮影領域から外れた場合に、仮想UI部品の表示を維持する処理を行う。
S901において、判断部213は、仮想UI部品への入力中か否かを判断する。仮想UI部品へ入力中である場合(S901でYES)には、S902へ進む。一方、仮想UI部品へ入力中でない場合(S901でNO)には、S905へ進む。仮想UI部品への入力中か否かは、ユーザから仮想UI部品を選択されて、所定の操作がなされているか否かに基づき判断することができる。
S902においては、オブジェクト取得部204がコンテンツの識別子を取得できているか否かを判断する。本実施形態では、発信装置106に表示されるコンテンツ上に仮想UI部品を重畳表示するため、コンテンツが表示装置105の撮影領域の外に出たことに応じて、仮想UI部品の表示を維持するための処理を行う。そして、本実施形態では、発信装置106上のコンテンツの識別子を撮像部201で撮像した画像から取得できたか否かに基づき、コンテンツを表示装置105の撮影領域に捉えているか否かを判断する。なお、コンテンツを捉えている際の姿勢情報を基準として保持しておき、基準の姿勢情報との差異が所定の範囲を越えた際にコンテンツを捉えていないと判断してもよい。コンテンツの識別子を取得できている場合(S902でYES)は、S905へ進む。一方、コンテンツの識別子を取得できていない場合(S902でNO)は、S903へ進む。
S903において、記憶している表示に関連する情報を取得する。具体的には、保持している仮想UI部品、現在の識別情報、M506で取得した画像の情報等である。また、これらの全てを取得する必要はなく、一部の情報を取得するようにしてもよい。次に、S904において、S903で取得した情報に応じて表示を維持する。本ステップの処理もS903と同様に、UI部品、現在の識別情報、M506で取得した画像の情報等の全てを表示する必要はなく、一部の情報を利用するようにしてもよい。そして、処理を終了する。
S905では、表示装置105の撮影画像に含まれるコンテンツに表示すべき仮想UI部品を重畳表示する。そして、処理を終了する。
なお、図11(a)のフローチャートでは、仮想UI部品へユーザが入力中であり、かつ、表示装置105がコンテンツを撮影領域に捉えなれなくなった場合に表示を維持するが、コンテンツを捉えたら、毎回表示を維持するようにしてもよい。この場合は、表示の維持と解除を繰り返しながら、ユーザはUI部品に入力をすることになる。
(仮想GUI部品の表示維持の解除)
図11(b)は、表示装置105における表示の維持の解除方法を示す図である。表示の解除に対応する入力が入力部202から入力された際に本フローチャートの処理に入る。S906において、解除部215は、記憶部214に保持されている表示に関連する情報を削除する。具体的には保持しているUI部品、現在の識別情報、M506で取得した画像の情報等である。S907において、解除部215は、表示の維持を解除する。すなわち、表示装置105は、撮像部201が撮像した画像をそのまま表示し、仮想UI部品の表示位置が撮影領域に含まれたときは、適宜、仮想UI部品を表示する。そして、処理を終了する。
図11(b)は、表示装置105における表示の維持の解除方法を示す図である。表示の解除に対応する入力が入力部202から入力された際に本フローチャートの処理に入る。S906において、解除部215は、記憶部214に保持されている表示に関連する情報を削除する。具体的には保持しているUI部品、現在の識別情報、M506で取得した画像の情報等である。S907において、解除部215は、表示の維持を解除する。すなわち、表示装置105は、撮像部201が撮像した画像をそのまま表示し、仮想UI部品の表示位置が撮影領域に含まれたときは、適宜、仮想UI部品を表示する。そして、処理を終了する。
以上のように、本実施形態の表示装置105は、撮影画像に重畳表示された仮想UI部品がユーザにより選択された後にオブジェクトが検出されなくなった場合などに仮想UI部品の表示を継続する。このため、ユーザA103に対し、表示装置105が、コンテンツ常に捉えていなくとも、仮想オブジェクトへの入力を継続させることができる。したがって、撮像装置で取得した画像上に重畳表示する仮想オブジェクトへの入力時の操作性を向上させることができるという効果がある。
本実施形態では、表示装置105とサーバ107を別筐体として実施したが、これに限らず、サーバ107の機能の一部乃至全部を表示装置105内で実施してもよい。表示装置105は、更にサーバ107から取得した関係性情報や仮想UI部品を一時的に保存するためのキャッシュ保持部を有してもよい。表示装置105は、サーバ107に問い合わせる前にキャッシュ保持部にアクセスすることで、連続して表示するUI部品の情報の取得を軽減できる。また、本実施形態では、表示の維持に関する判断は、表示装置105上の処理として記載したが、判断部213、記憶部214、解除部215をサーバ側に用意し、サーバ側で、図11(a)、図11(b)の処理の一部を行ってもよい。その場合には、表示の維持や解除については、サーバ107側からの指示を受けて表示装置105上で行うような構成となる。
表示装置105が、別に設けられたサーバ107から仮想UI部品を取得するのではなく、もともと保持している仮想UI部品を表示する場合の動作について、図9(b)を参照して説明する。図9(b)は、そのような表示装置105が仮想UI部品を表示する場合の処理手順を示している。S708において、表示装置105は、ユーザの入力に応じた仮想UI部品を記憶部214等の記憶装置から読み出して取得する。例えば、記憶部214に記憶されている複数の仮想UI部品の中からユーザにより選択されたものを取得する。次に、S709において、仮想UI部品の画像内での表示位置を計算する。表示位置の計算は、S706と同様に、撮影画像に含まれるオブジェクトの座標に基づき行うことができる。次に、S710において、撮影画像に仮想UI部品を重畳表示して処理を終了する。オブジェクトが撮影領域から外れた場合に、ユーザからの入力の有無等に応じて、仮想UI部品の表示を継続することは前述した処理と同様である。このように、自ら保持する仮想UI部品を撮影画像に重畳表示することで、サーバ107との通信を要することなく、操作性の高いAR(拡張現実)を実現することが可能となる。
なお、上述の表示装置105は、撮影により画像を取得する撮像部201(カメラ)と画像を表示する表示部203(ディスプレイ)を備えているが、これらの構成を別装置に設けてもよい。すなわち、別装置のカメラにより撮影された撮影画像を取得し、当該撮影画像に仮想UI部品を重畳させて、別装置のディスプレイに表示させてもよい。このように、別装置と通信することにより、条件に応じて仮想UI部品の表示が継続されるARを実現することができる。また、前述の構成は撮影画像に含まれるオブジェクトを検出し、当該オブジェクトに対応する位置に仮想UI部品を重畳表示させる例を説明したが、これに限られない。例えば、所定の空間位置を予め設定しておき、当該空間位置に対応する撮影画像における位置にUI部品を重畳表示させ、空間位置が撮影画像に含まれなくなった後も、仮想UI部品を継続して表示させるようにしてもよい。この空間位置が撮影画像に含まれるか否かは、例えば、表示装置105の位置姿勢と画角の大きさ、パン・チルトの程度等の撮影条件とにより撮影領域を計算し、撮影領域に空間位置が含まれるか判断することにより、判定することができる。ここで、表示装置105の位置姿勢は、GPS、ジャイロスコープ等により測定することができる。このように、予め定められた空間位置に仮想UI部品を重畳表示することで、撮影される側にオブジェクト等を予め設定することなく、操作性の高いARを実現することができる。
以上のように、本実施形態の構成においては、オブジェクトを取得できなくなる際にUI部品の表示を維持すべきか判断し、その判断に応じて、UI部品の表示を維持する。このため、撮像装置で取得した画像上に重畳表示する仮想オブジェクトへの入力時の操作性を向上させることが可能となる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
200 バス、201 撮像部、202 入力部、203 表示部、204 オブジェクト取得部、205 RF部、206 UI部品取得部、207 メッセージ送受信部、208 合成部、209 TCP/IP処理部、210 ユーザID取得部、211 識別情報取得部、212 関係性要求部、213 判断部、214 記憶部、215 解除部
Claims (16)
- 撮影により画像を取得する撮影手段と、
前記画像を表示する表示手段と、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記画像における前記オブジェクトに対応する位置にUI部品を重畳して前記表示手段に表示させる表示制御手段と
を備え、
前記表示制御手段は、前記オブジェクトを検出した後、当該オブジェクトが検出されなくなった後も、前記UI部品を継続して前記表示手段に表示させる
ことを特徴とする情報処理装置。 - 前記表示制御手段は、前記画像に重畳して表示されたUI部品がユーザにより選択された後に前記オブジェクトが検出されなくなった場合に、前記UI部品を継続して前記表示手段に表示させることを特徴とする請求項1に記載の情報処理装置。
- 前記表示制御手段は、更に、前記オブジェクトが検出された際の前記画像を継続して前記表示手段に表示させることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記表示制御手段は、ユーザの操作に応じて、前記UI部品の表示を解除することを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
- 前記検出手段は、前記画像を解析して前記オブジェクトを検出することを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
- 当該情報処理装置の姿勢を検知する検知手段を更に備え、
前記表示制御手段は、前記検出手段が前記オブジェクトを検出したときの前記姿勢と、現在の前記姿勢との差異が予め定められた範囲を超えた場合に、前記UI部品を継続して前記表示手段に表示させる
ことを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。 - 前記表示制御手段は、前記オブジェクトの識別情報に応じて決定されたUI部品を重畳して前記表示手段に表示させることを特徴とする請求項1から6のいずれか1項に記載の情報処理装置。
- 前記表示制御手段は、当該情報処理装置のユーザに応じて決定されたUI部品を重畳して前記表示手段に表示させることを特徴とする請求項1から7のいずれか1項に記載の情報処理装置。
- 前記オブジェクトはディスプレイ装置に表示される画像であり、
前記表示制御手段は、前記オブジェクトの表示状態に応じて決定されたUI部品を重畳して前記表示手段に表示させることを特徴とする請求項1から8のいずれか1項に記載の情報処理装置。 - サーバ装置からUI部品を取得する取得手段を更に備え、
前記表示制御手段は、前記サーバ装置から取得したUI部品を前記表示手段に表示させる
ことを特徴とする請求項9に記載の情報処理装置。 - 請求項10に記載の情報処理装置からUI部品の要求を受信する受信手段と、
前記情報処理装置が表示すべきUI部品を決定する決定手段と、
前記決定手段が決定したUI部品を前記情報処理装置へ送信する送信手段と
を備えることを特徴とするサーバ装置。 - 前記受信手段は、前記オブジェクトを表示するディスプレイ装置から当該オブジェクトの識別情報を更に受信し、
前記決定手段は、前記識別情報に基づきUI部品を決定する
ことを特徴とする請求項11に記載のサーバ装置。 - 撮影画像を取得する取得手段と、
前記撮影画像を表示手段に表示させる表示制御手段と、
を備え、
前記表示制御手段は、
予め定められた空間位置に対応する前記撮影画像における位置にUI部品を重畳して前記表示手段に表示させ、
前記空間位置が前記取得手段により取得された撮影画像に含まれなくなった後も、前記UI部品を継続して前記表示手段に表示させる
ことを特徴とする情報処理装置。 - 撮像手段が、撮影により画像を取得する撮影工程と、
表示手段が、前記画像を表示する表示工程と、
検出手段が、前記画像に含まれるオブジェクトを検出する検出工程と、
表示制御手段が、前記画像における前記オブジェクトに対応する位置にUI部品を重畳して前記表示手段に表示させる表示制御工程と
を備え、
前記表示制御手段は、前記オブジェクトを検出した後、当該オブジェクトが検出されなくなった後も、前記UI部品を継続して前記表示手段に表示させる
ことを特徴とする情報処理装置の制御方法。 - 受信手段が、請求項10に記載の情報処理装置からUI部品の要求を受信する受信工程と、
決定手段が、前記情報処理装置が表示すべきUI部品を決定する決定工程と、
送信手段が、前記決定手段が決定したUI部品を前記情報処理装置へ送信する送信工程と
を備えることを特徴とするサーバ装置の制御方法。 - コンピュータを、請求項1から10のいずれか1項若しくは請求項13に記載の情報処理装置、又は、請求項11若しくは12に記載のサーバ装置が備える各手段として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014160800A JP2016038682A (ja) | 2014-08-06 | 2014-08-06 | 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014160800A JP2016038682A (ja) | 2014-08-06 | 2014-08-06 | 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016038682A true JP2016038682A (ja) | 2016-03-22 |
Family
ID=55529720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014160800A Pending JP2016038682A (ja) | 2014-08-06 | 2014-08-06 | 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016038682A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016115058A (ja) * | 2014-12-12 | 2016-06-23 | コニカミノルタ株式会社 | 中継接続システム、中継接続プログラム |
CN111052063A (zh) * | 2017-09-04 | 2020-04-21 | 三星电子株式会社 | 电子装置及其控制方法 |
-
2014
- 2014-08-06 JP JP2014160800A patent/JP2016038682A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016115058A (ja) * | 2014-12-12 | 2016-06-23 | コニカミノルタ株式会社 | 中継接続システム、中継接続プログラム |
CN111052063A (zh) * | 2017-09-04 | 2020-04-21 | 三星电子株式会社 | 电子装置及其控制方法 |
CN111052063B (zh) * | 2017-09-04 | 2024-03-29 | 三星电子株式会社 | 电子装置及其控制方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101292463B1 (ko) | 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법 | |
US10264207B2 (en) | Method and system for creating virtual message onto a moving object and searching the same | |
JP2018067315A (ja) | ユーザー編集イメージを用いた拡張現実コンテンツの提供方法及びシステム | |
US20140009494A1 (en) | Display control device, display control method, and program | |
JP2006293912A (ja) | 情報表示システム、情報表示方法および携帯端末装置 | |
JP2017529029A (ja) | カメラ制御および画像ストリーミング | |
JP5854714B2 (ja) | 表示制御装置、表示制御装置の制御方法、プログラム | |
CN109104564B (zh) | 一种拍摄提示方法及终端设备 | |
JP2016038682A (ja) | 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム | |
JP2017062680A (ja) | デバイス情報登録システム、管理装置、情報処理装置、管理装置の制御方法、情報処理装置の制御方法及びプログラム | |
JP2013085200A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2013192029A (ja) | 撮影機能を有する携帯端末およびそれを用いる画像取得システム | |
JP2017108356A (ja) | 画像管理システム、画像管理方法、プログラム | |
JP5891828B2 (ja) | 携帯端末、撮影画像公開方法、プログラム | |
US10313827B2 (en) | Server and method for providing content, and computer-readable storage medium for computer program | |
JP5743017B2 (ja) | 画像管理装置及びプログラム | |
JP7225016B2 (ja) | Ar空間画像投影システム、ar空間画像投影方法及びユーザ端末 | |
KR20120080379A (ko) | 디지털 카메라의 이미지 어노테이션 처리 방법 및 장치 | |
JP6885179B2 (ja) | 撮影装置、撮影制御プログラム、及び撮影管理システム | |
KR20170000191A (ko) | 단말기에서 부가 컨텐츠를 제공하는 방법 및 이를 이용하는 단말기 | |
CN111147745A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
JP2015099581A (ja) | 複数のカメラとサーバとを含む情報提示システム | |
JP2016082511A (ja) | 場所情報指定装置、場所情報指定方法及び場所情報指定プログラム | |
JP2020119211A (ja) | 情報処理装置、端末プログラムおよび情報処理システム | |
US9813612B2 (en) | Imaging apparatus, information managing apparatus, control methods thereof, and non-transitory computer-readable storage medium for superimposing image data on a display |