JP2017107293A - 情報処理システム、プログラム及び情報処理方法 - Google Patents

Abstract

【課題】デバイス間を無線で接続する場合であっても、デバイスの動きに追従したコンテンツの共有を実現すること。
【解決手段】本発明の一態様に係る情報処理システムは、物体に装着される第１の装置と、前記第１の装置と通信する第２の装置と、を有する情報処理システムであって、前記第１の装置は、前記物体の動きに関する動き情報を取得する取得部と、前記動き情報に基づいて、所定のデータを参照して第１の画像を生成する生成部と、前記第１の画像を表示する表示部と、前記動き情報を前記第２の装置に送信する送信部と、を有し、前記第２の装置は、前記動き情報を前記第１の装置から受信する受信部と、前記動き情報に基づいて第２の画像を生成する生成部と、を有することを特徴とする。
【選択図】図５

Description

本発明は、情報処理システム、プログラム及び情報処理方法に関する。

近年、ユーザの頭部に装着され、眼前に配置されたディスプレイに画像を表示させる頭部装着ディスプレイ（ヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display））の実用化が進んでいる。ＨＭＤは、ディスプレイが外光を透過させず、表示画像のみをユーザに視覚させる非透過型ＨＭＤ（例えば、特許文献１を参照）と、ディスプレイが外光を透過させ、表示画像をユーザの視界に重畳させる透過型ＨＭＤ（例えば、特許文献２を参照）と、に大別される。なお、非透過型ＨＭＤは没入型ＨＭＤとも呼ばれ、透過型ＨＭＤは非没入型ＨＭＤとも呼ばれる。

ＨＭＤにより、例えば仮想現実（ＶＲ：Virtual Reality）や拡張現実（ＡＲ：Augmented Reality）をユーザが容易に体験することができる。また、ＶＲへの没入感をより向上させるために、頭部の動きに画面表示が追従するヘッドトラッキング機能を有するＨＭＤも検討されている。

ところで、ＨＭＤでユーザが現在視聴している画面は、特に非透過型ＨＭＤの場合、外部から視認することができず、他人と容易に共有することができない。従来、このような共有を実現するためには、ＨＭＤと他のデバイス（コンピュータなど）を有線で接続し、ＨＭＤに表示されている画像を当該デバイスのディスプレイに表示するという手法があった。

特開２０１５−２７９１号公報 特開２０１３−１６８９１０号公報

しかしながら、ＨＭＤを有線により他のデバイスと接続すると、ＨＭＤを装着したユーザの移動範囲が制限されてしまう。この場合、ＨＭＤを多様な利用シーンで用いることが困難となるという課題がある。

ＨＭＤをＷｉ−Ｆｉ（登録商標）などの無線により他のデバイスと接続すると、ユーザの移動範囲の制限はなくなる。例えば、ＨＤＭと他のデバイスとの間で、無線を用いて画面を共有する場合、画像データを直接送受信することが考えられる。しかしながら、ＨＤＭに表示される画像は、画像データの情報量が大きいことが想定されるため、無線状態によっては通信の遅延や断絶が発生し、画像共有の体感品質が劣化する事態が生じる。

本発明はかかる点に鑑みてなされたものであり、デバイス間を無線で接続する場合であっても、デバイスの動きに追従したコンテンツの共有を実現することができる情報処理システム、プログラム及び情報処理方法を提供することを目的の１つとする。

本発明の一態様に係る情報処理システムは、物体に装着される第１の装置と、前記第１の装置と通信する第２の装置と、を有する情報処理システムであって、前記第１の装置は、前記物体の動きに関する動き情報を取得する取得部と、前記動き情報に基づいて、所定のデータを参照して第１の画像を生成する生成部と、前記第１の画像を表示する表示部と、前記動き情報を前記第２の装置に送信する送信部と、を有し、前記第２の装置は、前記動き情報を前記第１の装置から受信する受信部と、前記動き情報に基づいて第２の画像を生成する生成部と、を有することを特徴とする。

本発明によれば、デバイス間を無線で接続する場合であっても、デバイスの動きに追従したコンテンツの共有を実現することができる。

本発明の第１の実施形態に係る情報処理システムの概略構成の一例を示す図である。 本発明の第２の実施形態に係る情報処理システムの概略構成の一例を示す図である。 本発明の一実施形態に係るＨＭＤの機能構成の一例を示す図である。 本発明の一実施形態に係るサーバ及びデバイスの機能構成の一例を示す図である。 本発明の第１の実施形態に係るデバイス間画面共有の一例を示すフローチャートである。 本発明の第２の実施形態に係るデバイス間画面共有の一例を示すフローチャートである。

上述した課題を解決するため、本発明者らは、ＨＤＭ及び他のデバイスに同じデータ（例えば画像）を保持させ、ユーザの動作に関する情報（例えば、ヘッドトラッキングデータ）をデバイス間で共有することを着想した。

本発明の一態様によれば、デバイス間を無線で接続する場合であっても、情報量のより小さなヘッドトラッキングデータを送信することで、ユーザの動作に追従するコンテンツ（例えば、画像）の共有を、安定した品質で提供することが期待できる。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。

（情報処理システム）
まず、本発明が適用される情報処理システムについて説明する。図１は、本発明の第１の実施形態に係る情報処理システムの概略構成の一例を示す図である。図１に示す情報処理システム１は、ＨＭＤ１０と、サーバ２０と、デバイス３０と、を含む。

第１の実施形態では、図１に示した情報通信システムの構成において、ＨＭＤ１０がサーバ２０に対して、ＨＭＤ１０が装着された物体の動きに関する動き情報（以下、単に動き情報と呼ぶ）を送信し、サーバ２０が動き情報に基づいて、ＨＭＤ１０に表示される画像に対応する画像を生成し、サーバ２０がデバイス３０に対して生成した画像を送信する。これにより、ＨＭＤ１０の表示画像とデバイス３０の表示画像との高精度な同期を実現することができる。

ＨＭＤ１０は、非透過型ＨＭＤであってもよいし、透過型ＨＭＤであってもよい。ＨＭＤ１０は、装具を有し、図示しない物体（例えば、人間、動物などの頭部であり、以下では人間（ユーザ）の頭部とする）に、装着される。ＨＭＤ１０の機能構成及びハードウェア構成の一例については、図３及び図４で後述する。

なお、ＨＭＤ１０は、図１では、バンド（ストラップ）形状の装具を有するものとして示されているが、これに限られるものではなく、眼鏡型形状の装具を有してもよい。また、ＨＭＤ１０は、複数の装置を組み合わせて構成してもよい。例えば、ＨＭＤ１０は、ヘッドセットにスマートフォンを搭載（装着）して実現されるものであってもよい。

サーバ２０は、ＨＤＭ１０及びデバイス３０と無線通信する機能を有する装置である。デバイス３０は、携帯電話、スマートフォン、タブレット型端末などの携帯端末（移動通信端末）であってもよいし、パソコン、多機能テレビ、セットトップボックスなどの固定通信端末であってもよい。また、デバイス３０は、ＨＭＤであってもよい。デバイス３０は、例えばサーバ２０にアクセスし、生成された画像を受信して自身の具備する画面に表示する。

なお、当該システム構成は一例であり、これに限られない。例えば、ＨＭＤ１０、サーバ２０及びデバイス３０は、図１ではそれぞれ１つずつ含まれる構成としたが、各機器の数はこれに限られず、複数存在してもよい。例えば、情報処理システム１は、ＨＭＤ１０、サーバ２０及びデバイス３０の一部を含まない構成であってもよいし、ＨＭＤ１０及びデバイス３０は、サーバ２０を介さず直接データの送受信を行う構成であってもよい。

図２は、本発明の第２の実施形態に係る情報処理システムの概略構成の一例を示す図である。図２においては、ＨＭＤ１０及びデバイス３０が直接通信（Ｐ２Ｐ（Peer-to-Peer）通信）を行うことができる。第２の実施形態では、図２に示した情報通信システムの構成において、ＨＭＤ１０がデバイス３０に動き情報を送信し、デバイス３０が動き情報に基づいて、ＨＭＤ１０に表示される画像に対応する画像を生成する。

第２の実施形態では、サーバ２０はなくてもよいし、画面共有の実施を補助するための情報をＨＭＤ１０及び／又はデバイス３０との間で送信及び／又は受信してもよい。例えば、サーバ２０は、ＨＭＤ１０又はデバイス３０に対して、他方の機器（デバイス３０又はＨＭＤ１０）に接続するための情報（例えば、ＩＰ（Internet Protocol）アドレス）を送信してもよい。

（機器の構成）
図３は、本発明の一実施形態に係るＨＭＤの機能構成の一例を示す図である。図３に示すように、ＨＭＤ１０は、測定部（取得部）１１と、再生部（生成部）１２と、出力部（表示部）１３と、送受信部１４と、入力部１５と、記憶部１６と、制御部１７と、を有する。なお、図３では、本実施形態における特徴部分の機能ブロックを主に示しており、ＨＭＤ１０は、他の処理に必要な他の機能ブロックも有してもよい。

測定部（取得部）１１は、ＨＭＤ１０が装着された物体の動きに関する動き情報を測定（取得）する。測定部１１は、動き情報として、物体の座標（例えば、前後、左右及び上下の少なくとも１方向の位置）や、物体の回転角度（例えば、上下左右の首振りや、時計／反時計回りの首傾きなど）の少なくとも１つを取得する。なお、物体の座標や回転角度は、初期設定（キャリブレーションなど）を行った時点の位置を基準として取得されてもよい。また、動き情報は、ＨＭＤ１０が装着された物体の眼の視点移動に関する情報を含んでもよい。

測定部１１は、本発明に係る技術分野での共通認識に基づいて説明される測定器、測定回路又は測定装置から構成することができる。なお、測定部１１は、動き情報の他にも、外部環境の情報を測定してもよい。

測定部１１は、本発明に係る技術分野での共通認識に基づいて説明される各種センサにより構成することができる。例えば、測定部１１は、画像（静止画像及び／又は動画像）を取得するカメラ、音声を取得するマイクロフォン、各種センサ（タッチセンサ、接地センサ、近接センサ、傾斜センサ、加速度センサ、ジャイロセンサ、磁気センサ、温度センサ（サーモグラフィ）、超音波センサ、測域センサ（レーザスキャンセンサ）、無線ビーム（レーダー）など）のうち１つ以上から構成されてもよい。

なお、測定部１１は、ＨＭＤ１０の外部装置であってもよく、無線及び／又は有線により接続されたＨＭＤ１０に動き情報を出力する構成としてもよい。例えば、測定部１１は、ヘッドトラッカーなどと呼ばれてもよい。

再生部（生成部）１２は、測定部１１から取得した動き情報に基づいて、所定のデータから表示用の画像を生成して、当該画像を表示するための信号を出力部１３に出力する。ここで、再生部１２による所定のデータからの画像の生成は、記憶部１６に保持される既存の画像の少なくとも一部（出力部１３で表示すべき領域）を動き情報に基づいて特定し、特定した領域部分の画像を表示するための信号を出力することで実現されてもよい。また、再生部１２による所定のデータからの画像の生成は、出力部１３で表示すべき画像を、動き情報及び所定のデータに基づいて新規に生成することで実現されてもよい。また、これらが組み合わされて実現されてもよいし、他の手法により実現されてもよい。

再生部１２が画像生成に用いる所定のデータとは、例えば全天球型（３６０度）の画像データである。ただし、これに限られるわけではなく、所定のデータは、ＶＲ空間における物体の３次元座標を示すデータなどであってもよい。再生部１２は、当該３次元座標を示すデータに基づいて全天球型の画像を生成してもよい。

また、再生部１２は、所定のコンテンツ（例えば、楽曲、音声などの音データ）の再生を行って、出力部１３に出力してもよい。例えば、コンテンツが音データであれば、コンテンツに係る音声ファイルフォーマットに従って、出力部１３が認識できる形式で再生用信号に変換する。再生部１２は、例えば、本発明に係る技術分野での共通認識に基づいて説明される演算器、演算回路、演算装置、プレイヤー、画像／映像／音声処理回路、画像／映像／音声処理装置、アンプなどにより構成することができる。

出力部（表示部）１３は、外部への出力を実施する出力デバイスで構成され、再生部１２から入力されたコンテンツの再生信号の出力を行う。例えば、出力部１３は、画像を表示する表示部、音声を出力する音声出力部、匂いを出力する匂い出力部の少なくとも１つから構成されてもよい。表示部は、例えば、本発明に係る技術分野での共通認識に基づいて説明されるディスプレイ、モニタなどの表示装置により構成することができる。表示部は、ＨＭＤ１０が装着された物体（ユーザ）の眼の直前に配置される構成となっていることが好ましい。

また、音声出力部は、本発明に係る技術分野での共通認識に基づいて説明されるスピーカーなどの出力装置により構成することができる。また、匂い出力部は、本発明に係る技術分野での共通認識に基づいて説明される匂い発生器などの出力装置により構成することができる。

送受信部１４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うための通信デバイスで構成され、サーバ２０及び／又はデバイス３０との間で、動き情報や、画像生成に用いる所定のデータなどの送信及び／又は受信を行う。また、送受信部１４は、サーバ２０及び／又はデバイス３０から受信した種々の情報を制御部１７に出力する。送受信部１４は、本発明に係る技術分野での共通認識に基づいて説明されるトランスミッター／レシーバー、送受信回路又は送受信装置により構成することができる。

なお、送受信部１４は、送信部及び受信部から構成されてもよい。また、送受信部１４は、ネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどと呼ばれてもよい。

入力部１５は、外部からの入力を受け付ける入力デバイスで構成され、ユーザからの操作により入力を受け付ける。また、入力部１５は、所定の機器や記憶媒体と接続され、データの入力を受け付けてもよい。入力部１５は、入力結果を例えば制御部１７に出力してもよい。入力部１５は、本発明に係る技術分野での共通認識に基づいて説明されるキーボード、マウス、ボタンなどの入力装置や、入出力端子、入出力回路などにより構成することができる。また、入力部１５は、表示部と一体となった構成（例えば、タッチパネル）としてもよい。

記憶部１６は、ＨＭＤ１０で利用する情報を記憶（保持）する。例えば、記憶部１６は、画像の生成に用いる所定のデータを記憶する。記憶部１６は、例えば、本発明に係る技術分野での共通認識に基づいて説明されるメモリ、ストレージなどにより構成することができる。

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本発明の一実施形態に係る情報処理方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージは、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク、フラッシュメモリなどの少なくとも１つで構成されてもよい。ストレージは、補助記憶装置と呼ばれてもよい。

制御部１７は、ＨＭＤ１０の制御を実施する。制御部１７は、本発明に係る技術分野での共通認識に基づいて説明されるコントローラ、制御回路又は制御装置により構成することができる。

図４は、本発明の一実施形態に係るサーバ及びデバイスの機能構成の一例を示す図である。図４に示すように、サーバ２０（デバイス３０）は、測定部（取得部）２１（３１）と、再生部（生成部）２２（３２）と、出力部（表示部）２３（３３）と、送受信部２４（３４）と、入力部２５（３５）と、記憶部２６（３６）と、制御部２７（３７）と、を有する。なお、図４では、本実施形態における特徴部分の機能ブロックを主に示しており、サーバ２０及びデバイス３０は、他の処理に必要な他の機能ブロックも有してもよい。

図４の各部は、図３における同名の各部の機能を有してもよく、上述したハードウェア及び／又はソフトウェアにより構成することができる。

サーバ２０は、送受信部２４により動き情報を受信し、再生部２２により動き情報に基づいて画像を生成し、送受信部２４により当該画像をデバイス３０に送信するように構成される。また、デバイス３０は、送受信部３４により画像を受信し、再生部３２により画像を再生して、出力部３３により画像を表示するように構成される。

なお、記憶部２６（３６）は、画像の生成に用いる所定のデータを記憶してもよいし、ＨＭＤ１０が有する画像データと同じコンテンツを示すが解像度が異なる画像データを記憶してもよい。また、これらのデータは、ＨＭＤ１０、サーバ２０及びデバイス３０のいずれかから送受信部２４（３４）により受信されてもよい。

なお、サーバ２０やデバイス３０は、図４に示す機能ブロックが示す一部の機能を含まずに構成されてもよい。例えば、サーバ２０は、測定部２１を含まなくてもよい。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的に結合した１つの装置により実現されてもよいし、物理的に分離した２つ以上の装置を有線又は無線で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施形態における無線基地局、ユーザ端末などは、本発明の情報処理方法を実施するコンピュータとして機能してもよい。例えば、上述のＨＭＤ１０、サーバ２０及びデバイス３０の少なくとも１つは、物理的には、プロセッサ、メモリ、ストレージ、通信装置、入力装置、出力装置などを含むコンピュータ装置として構成されてもよい。

ＨＭＤ１０、サーバ２０及びデバイス３０における各機能は、プロセッサ、メモリなどのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサが演算を行い、通信装置による通信や、メモリ及びストレージにおけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサは、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサは、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、上述の制御部１７や再生部１２などは、プロセッサで実現されてもよい。

また、プロセッサは、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ及び／又は通信装置からメモリに読み出し、これらに従って各種の処理を実行する。プログラムとしては、後述の実施形態で説明する動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ＨＭＤ１０の制御部１７は、メモリに格納され、プロセッサで動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。

また、プロセッサやメモリなどの各装置は、情報を通信するためのバスで接続される。バスは、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、ＨＭＤ１０、サーバ２０及びデバイス３０は、マイクロプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサは、これらのハードウェアの少なくとも１つで実装されてもよい。

（情報処理方法）
＜サーバを介した画面共有＞
以下では、第１及び第２の実施形態に関して、デバイス間の画面共有を行う情報処理方法の具体的なシーケンスを説明する。

図５は、本発明の第１の実施形態に係るデバイス間画面共有の一例を示すフローチャートである。まず、ＨＭＤ１０は、画像表示を開始する（ステップＳＴ１０１）。上述したように、当該画像は所定のデータに基づいて生成される（例えば、表示領域が特定される）。所定のデータは、ＨＭＤ１０に予め保持されていてもよいし、サーバ２０及び／又はデバイス３０から受信してもよい。

ステップＳＴ１０１は、ＨＭＤ１０がユーザからの所定の操作を検出したタイミング（例えば、出力部１３により表示されるサムネイルをユーザが入力部１５を介して選択したタイミング）で実施されてもよい。また、ステップＳ１０１の前後で、ＨＭＤ１０は、サーバ２０及び／又はデバイス３０に所定のデータを送信してもよい。

次に、ＨＭＤ１０は、サーバ２０に対して、画像表示を開始した旨の通知を行う（ステップＳＴ１０２）。ステップＳＴ１０２の通知は、ステップＳＴ１０１が発生した場合は常に行うものとしてもよいし、画面共有機能が有効になっている場合に行うものとしてもよい。例えば、画面共有機能は、ＨＭＤ１０において入力部１５を介したユーザの操作により有効及び無効が切り替えられてもよいし、サーバ２０及び／又はデバイス３０からＨＭＤ１０への画面共有機能に関する情報の通知により切り替えられてもよい。

ＨＭＤ１０から画像表示を開始した旨の通知を受けたサーバ２０は、画像を生成する（ステップＳＴ１０３）。当該画像はステップＳＴ１０１でＨＭＤ１０が用いた所定のデータと同一のデータに基づいて生成されることが好ましい。ただし、これに限られず、異なるデータに基づいて生成されてもよい。例えば、所定のデータが例えば全天球型の画像データである場合、サーバ２０は、当該画像データと同じコンテンツを示すが解像度が異なる画像データを用いて画像の生成を行ってもよい。また、サーバ２０は、ステップＳＴ１０２の通知の前又は通知とともに、画像の生成に用いるデータを特定する情報を受信し、当該情報に基づいて画像の生成を行ってもよい。

デバイス３０は、サーバ２０に対して画像の要求を行う（ステップＳＴ１０４）。例えば、デバイス３０は、ＨＭＤ１０及びサーバ２０に関連付けられた識別子（例えば、ＵＲＬ（Uniform Resource Locator）、ＵＲＩ（Uniform Resource Identifier）など）に基づいて、画像自体及び／又は画像を表示するためのＷｅｂページを要求することができる。

なお、当該識別子は、ＨＭＤ１０を特定する情報（シリアル番号など）やＨＭＤ１０が表示している画像に関する情報、サーバ２０を特定する情報などに基づいて決定されてもよい。また、サーバ２０は、当該識別子に関する情報を、デバイス３０に通知してもよい。また、ＨＭＤ１０がヘッドセットに所定の機器（例えば、スマートフォン）を搭載して実現される場合には、デバイス３０は、当該所定の機器の画面に表示される２次元バーコードをカメラを用いて読み取ることで、当該識別子を取得してもよい。

サーバ２０は、デバイス３０から画像の要求を受けると、ステップＳＴ１０３で生成した画像をデバイス３０に送信する（ステップＳＴ１０５）。デバイス３０は、サーバ２０から受信した画像を表示する（ステップＳＴ１０６）。ここで表示される画像は、ＨＭＤ１０で表示される画像と同じ視点となる。以降、デバイス３０は、サーバ２０から新たな画像が送られてきた場合は、表示する画像を更新する。

なお、デバイス３０が、上記識別子に基づいてサーバ２０にアクセスした際は、ＨＭＤ１０で画像表示が開始されていない場合であっても、サーバ２０は所定の初期画像を送信し、デバイス３０に表示させるようにしてもよい。

ＨＭＤ１０は、動き情報を取得する（ステップＳＴ１１１）。なお、ＨＭＤ１０の出力部１３は、ユーザの動作に追従した画像を適宜生成して表示する。

次に、ＨＭＤ１０は、取得した動き情報をサーバ２０に送信する（ステップＳＴ１１２）。ここで、ＨＭＤ１０による動き情報の送信は、周期的（例えば、１秒ごと、所定数のフレーム処理ごと、など）に行われるものとしてもよいし、所定のタイミング（例えば、ＨＭＤ１０の入力部１５がユーザからの所定の操作を検出したタイミング）で行われるものとしてもよい。

また、動き情報は、ある期間における物体（ユーザ）の動きの変化量が所定の閾値以下である場合には、送信するタイミングであっても送信を行わない（省略する）構成としてもよい。例えば、以前に動き情報を送信した時点から、物体の位置及び／又は角度の変化が小さい場合には、動き情報の送信を行わない。これにより、動き情報の送信頻度を低減することができるため、ＨＭＤ１０の通信負荷や、サーバ２０の処理負荷を低減することができる。

ＨＭＤ１０から動き情報を受信したサーバ２０は、画像を生成（更新）する（ステップＳＴ１１３）。そして、サーバ２０は、ステップＳＴ１１３で生成した画像をデバイス３０に送信する（ステップＳＴ１１５）。こうして、デバイス３０において表示される画像は、ＨＭＤ１０を装着するユーザの動きを反映したものとなり、画面共有が実現される。

なお、図５のフローチャートにおいて、複数のデバイス３０がサーバ２０にアクセスする場合には、それぞれがＨＭＤ１０との画面共有を行うことができる。

第１の実施形態によれば、ＨＭＤ１０の動きに追従した画面共有を、画像データをリアルタイムに直接送信するより少ない通信量で実施することができる。また、サーバ２０により画像の生成が行われるため、デバイス３０の処理負荷の増大を抑制することができる。

＜デバイス間の直接通信による画面共有＞
図６は、本発明の第２の実施形態に係るデバイス間画面共有の一例を示すフローチャートである。図６は、図５とは異なり、ＨＭＤ１０とデバイス３０とがサーバ２０を介さずに直接通信して画面共有を行う例を示している。

この例では、デバイス３０は画像生成に用いるデータを保持している。当該データはＨＭＤ１０が画像生成に用いる所定のデータと同一のデータであることが好ましいが、これに限られず、異なるデータであってもよい。図６において、図５と同様の処理を行うステップについては動作主体が異なるステップであっても説明を省略し、異なる処理を行うステップについてのみ以下で説明する。

デバイス３０は、ＨＭＤ１０との画面共有を実施するために、ＨＭＤ１０に対して、画像表示を開始しているかの問い合わせを行う（ステップＳＴ１２１）。ＨＭＤ１０は、ステップＳＴ１０１で画像表示を開始している場合、当該問い合わせに対して、デバイス３０に画像表示を開始した旨の通知を行う（ステップＳＴ１０２）。ＨＭＤ１０から画像表示を開始した旨の通知を受けたデバイス３０は、画像を生成する（ステップＳＴ１０３）。これ以降は、図５のフローチャートと同様の処理を行うことができる。

なお、ステップＳＴ１０２の通知は、ステップＳＴ１２１の問い合わせがなくても行うものとしてもよい。また、ステップＳ１０１の前後で、ＨＭＤ１０は、デバイス３０に所定のデータを送信してもよい。また、デバイス３０は、ステップＳＴ１０２の通知の前又は通知とともに、画像の生成に用いるデータを特定する情報を受信し、当該情報に基づいて画像の生成を行ってもよい。

第２の実施形態によれば、ＨＭＤ１０及びデバイス３０間で直接通信する場合に、ＨＭＤ１０の動きに追従した画面共有を、画像データをリアルタイムに直接送信するより少ない通信量で実施することができる。

＜変形例＞
デバイス３０は、ＨＭＤ１０及び／又はサーバ２０に対して、画像の生成に用いる所定のデータの変更（切り替え）を指示する指示情報を送信してもよい。例えば、ＨＭＤ１０の記憶部１６は、所定のデータを複数記憶しており、当該指示情報によって指示されるデータを用いて再生部１２にて画像の生成を行い、出力部１３で当該画像を出力するようにしてもよい。

また、デバイス３０は、入力部３５において、出力部（表示部）３３における画面の所定の領域を特定する情報（画面の座標情報、画像の座標情報などともいう）を取得した場合には、当該情報をＨＭＤ１０及び／又はサーバ２０に対して送信してもよい。座標情報を受信したＨＭＤ１０は、再生部１２において、所定のデータに基づいて生成される画像に、さらに当該座標情報に基づく補助画像（例えば、丸、矢印、ポインタなど）を重畳した画像（所定のデータに基づいて生成される画像を修正した画像）を表示するための信号を出力部１３に出力するようにしてもよい。

サーバ２０は、これらの指示情報や座標情報を受信した場合、ＨＭＤ１０に送信するようにしてもよいし、自身の画像の生成に用いるようにしてもよい。

上述の各実施形態ではデバイス間で画面を共有する例について説明したが、他の要素（コンテンツ）が共有されてもよい。例えば、ＨＭＤ１０において、ユーザの動きに応じて出力部（音声出力部）１４が音を出力する場合には、サーバ２０及び／又はデバイス３０においても動き情報に基づいて音を出力する構成としてもよい。また、ユーザの動きに応じて出力部（匂い出力部）１４が匂いを出力する場合には、サーバ２０及び／又はデバイス３０においても動き情報に基づいて匂いを出力する構成としてもよい。

また、上述の各実施形態において、ＨＭＤ１０は他の装置（例えば、デバイス３０）で読み替えられてもよい。この場合、動き情報は、他の装置自体の動きに関する動き情報とすることができ、当該他の装置の座標や回転角度の情報であってもよい。

また、上述の各実施形態においては、ＨＭＤ１０、サーバ２０及びデバイス３０は無線で通信するものとしたが、これに限られない。例えば、これらの機器間の少なくとも一部の通信（例えば、サーバ２０及びデバイス３０間）を有線で行うようにしてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的に（例えば、当該所定の情報の通知を行わないことによって）行われてもよい。

本明細書で説明した各態様／実施形態における無線通信には、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＬＴＥ−Ｂ（LTE-Beyond）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（4th generation mobile communication system）、５Ｇ（5th generation mobile communication system）、ＦＲＡ（Future Radio Access）、Ｎｅｗ−ＲＡＴ（Radio Access Technology）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切な通信方法及びこれらに基づいて拡張された次世代の通信方法の少なくとも１つが用いられてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。例えば、上述の各実施形態は単独で用いてもよいし、組み合わせて用いてもよい。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

１ 情報処理システム
１０ ＨＭＤ
２０ サーバ
３０ デバイス
１１、２１、３１ 測定部（取得部）
１２、２２、３２ 再生部（生成部）
１３、２３、３３ 出力部（表示部）
１４、２４、３４ 送受信部
１５、２５、３５ 入力部
１６、２６、３６ 記憶部
１７、２７、３７ 制御部

Claims (12)

1. 物体に装着される第１の装置と、前記第１の装置と通信する第２の装置と、を有する情報処理システムであって、
   前記第１の装置は、
   前記物体の動きに関する動き情報を取得する取得部と、
   前記動き情報に基づいて、所定のデータを参照して第１の画像を生成する生成部と、
   前記第１の画像を表示する表示部と、
   前記動き情報を前記第２の装置に送信する送信部と、を有し、
   前記第２の装置は、
   前記動き情報を前記第１の装置から受信する受信部と、
   前記動き情報に基づいて第２の画像を生成する生成部と、を有することを特徴とする情報処理システム。
2. 前記第２の装置の生成部は、前記所定のデータと同一のデータを参照して、前記動き情報に基づいて前記第２の画像を生成することを特徴とする請求項１に記載の情報処理システム。
3. 前記情報処理システムは、さらに前記第２の装置と通信可能な第３の装置を有し、
   前記第２の装置は、
   前記第２の画像を前記第３の装置に送信する送信部を有し、
   前記第３の装置は、
   前記第２の画像を前記第２の装置から受信する受信部と、
   前記第２の画像を表示する表示部と、を有することを特徴とする請求項１又は請求項２に記載の情報処理システム。
4. 前記第３の装置は、前記所定のデータの変更を指示する指示情報を前記第１の装置及び前記第２の装置の少なくとも１つに送信する送信部を有することを特徴とする請求項３に記載の情報処理システム。
5. 前記第１の装置は、画像の座標情報を前記第２の装置及び第３の装置の少なくとも１つから受信する受信部を有し、
   前記第１の装置の表示部は、前記座標情報に基づいて修正された前記第１の画像を表示することを特徴とする請求項３に記載の情報処理システム。
6. 前記第２の装置は、前記第２の画像を表示する表示部を有することを特徴とする請求項１又は請求項２に記載の情報処理システム。
7. 前記第２の装置は、前記所定のデータの変更を指示する指示情報を前記第１の装置に送信する送信部を有することを特徴とする請求項６に記載の情報処理システム。
8. 前記第１の装置は、画像の座標情報を前記第２の装置から受信する受信部を有し、
   前記第１の装置の表示部は、前記座標情報に基づいて修正された前記第１の画像を表示することを特徴とする請求項６に記載の情報処理システム。
9. 前記第１の装置の送信部は、前記物体の動きの変化量が所定の閾値以下である場合には前記動き情報を送信しないことを特徴とする請求項１から請求項８のいずれかに記載の情報処理システム。
10. 前記第１の装置は、スマートフォンを搭載するヘッドセット又はヘッドマウントディスプレイで構成されることを特徴とする請求項１から請求項９のいずれかに記載の情報処理システム。
11. コンピュータに、
    物体の動きに関する動き情報を取得する手順と、
    前記動き情報に基づいて、所定のデータを参照して第１の画像を生成する手順と、
    前記第１の画像を表示する手順と、
    前記動き情報を送信する手順と、を実行させるためのプログラム。
12. 物体に装着される第１の装置と、前記第１の装置と通信する第２の装置と、を有する情報処理システムの情報処理方法であって、
    前記第１の装置において、
    前記物体の動きに関する動き情報を取得する工程と、
    前記動き情報に基づいて、所定のデータを参照して第１の画像を生成する工程と、
    前記第１の画像を表示する工程と、
    前記動き情報を前記第２の装置に送信する工程と、を具備し、
    前記第２の装置において、
    前記動き情報を前記第１の装置から受信する工程と、
    前記動き情報に基づいて第２の画像を生成する工程と、を具備することを特徴とする情報処理方法。
    

Images