JP2019135655A - 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 - Google Patents
仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 Download PDFInfo
- Publication number
- JP2019135655A JP2019135655A JP2019040931A JP2019040931A JP2019135655A JP 2019135655 A JP2019135655 A JP 2019135655A JP 2019040931 A JP2019040931 A JP 2019040931A JP 2019040931 A JP2019040931 A JP 2019040931A JP 2019135655 A JP2019135655 A JP 2019135655A
- Authority
- JP
- Japan
- Prior art keywords
- user
- computer
- virtual space
- search key
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
パノラマ画像を変更するための技術に関する。
る技術が知られている。たとえば、特開2016−140078号公報(特許文献1)は
、ヘッドマウントディスプレイにパノラマ画像を表示する技術を開示している。
。たとえば、非特許文献1は、仮想空間上に複数のユーザの各々のアバターを配置し、こ
れらアバターを通じてユーザ間でのコミュニケーションを図る技術を開示している。
考える。非特許文献1は、ユーザに対して切り替え候補のパノラマ画像を提示する技術を
開示しているものの、これら切り替え候補のパノラマ画像の中にユーザが所望するパノラ
マ画像が含まれていない場合があった。したがって、ユーザが所望するパノラマ画像の候
補を提示する技術が必要とされている。
る目的は、仮想空間に展開されるパノラマ画像を変更するにあたり、ユーザの所望するパ
ノラマ画像をユーザに提示する技術を提供することである。
ンピュータで実行されるプログラムが提供される。このプログラムはコンピュータに、予
め定められた複数のパノラマ画像に含まれる一のパノラマ画像を仮想空間に展開するステ
ップと、ヘッドマウントデバイスのユーザから、仮想空間に展開されているパノラマ画像
を他のパノラマ画像に変更するためのトリガの入力を受け付けるステップと、トリガの入
力を受け付けた後に、ユーザから検索キーの入力を受け付けるステップと、複数のパノラ
マ画像の中から、検索キーにより検索された一以上のパノラマ画像を特定するための情報
を仮想空間に提示するステップと、ユーザから、一以上のパノラマ画像の中から一のパノ
ラマ画像を選択する入力を受け付けるステップと、選択された一のパノラマ画像を仮想空
間に展開するステップとを実行させる。
たり、ユーザの所望するパノラマ画像をユーザに提示できる。
関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じであ
る。したがって、それらについての詳細な説明は繰り返さない。なお、以下で説明される
各実施の形態および各変形例は、適宜選択的に組み合わされてもよい。
図1を参照して、HMDシステム100の構成について説明する。図1は、ある実施の
形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HM
Dシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供され
る。
0と、コンピュータ200とを備える。HMD110は、モニタ112と、注視センサ1
40と、スピーカ115と、マイク119とを含む。コントローラ160は、モーション
センサ130を含み得る。
に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュー
タと通信可能である。他の局面において、HMD110は、HMDセンサ120の代わり
に、センサ114を含み得る。
に提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモ
ニタ112にそれぞれ表示する。ユーザ190の各目がそれぞれの画像を視認すると、ユ
ーザ190は、両目の視差に基づき当該画像を3次元の画像として認識し得る。
、モニタ112は、ユーザ190の両目の前方に位置するようにHMD110の本体に配
置されている。したがって、ユーザ190は、モニタ112に表示される3次元画像を視
認すると、仮想空間2に没入することができる。ある実施の形態において、仮想空間2は
、たとえば、背景、ユーザ190が操作可能なオブジェクト、ユーザ190が選択可能な
メニューの画像を含む。複数のコンピュータ200が各ユーザの動作に基づく信号を受け
渡しすることで、複数のユーザが一の仮想空間2で仮想体験できる構成であれば、各ユー
ザに対応するアバターオブジェクトが、仮想空間2に提示される。
、オブジェクトは、ユーザに対応するアバターオブジェクト、アバターオブジェクトが身
に着ける仮想アクセサリおよび仮想衣服、ユーザに関する情報が示されたパネルを模した
仮想パネル、手紙を模した仮想手紙、およびポストを模した仮想ポストなどを含む。さら
に、アバターオブジェクトは、仮想空間2においてユーザ190を象徴するキャラクタで
あり、たとえば人型、動物型、ロボット型などを含む。オブジェクトの形は様々である。
ユーザ190は、予め決められたオブジェクトの中から好みのオブジェクトを仮想空間2
に提示するようにしてもよいし、自分が作成したオブジェクトを仮想空間2に提示するよ
うにしてもよい。
が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得
る。
、左目用の画像を表示するためのサブスクリーンとを含み得る。他の局面において、モニ
タ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。
この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方
の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動す
る。
向)を検出する。当該方向の検出は、たとえば、公知のアイトラッキング機能によって実
現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現さ
れる。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを
含むことが好ましい。注視センサ140は、たとえば、ユーザ190の右目および左目に
赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることに
より各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各
回転角に基づいて、ユーザ190の視線方向を検知することができる。
)を外部に出力する。マイク119は、ユーザ190の発話に対応する音声データをコン
ピュータ200に出力する。ユーザ190は、マイク119を用いて他のユーザに向けて
発話する一方で、スピーカ115を用いて他のユーザの音声(発話)を聞くことができる
。
0の発話に対応する音声データがコンピュータ200に入力される。コンピュータ200
は、その音声データを、ネットワーク19を介してサーバ150に出力する。サーバ15
0は、コンピュータ200から受信した音声データを、ネットワーク19を介して他のコ
ンピュータ200に出力する。他のコンピュータ200は、サーバ150から受信した音
声データを、他のユーザが装着するHMD110のスピーカ115に出力する。これによ
り、他のユーザは、HMD110のスピーカ115を介してユーザ190の音声を聞くこ
とができる。同様に、他のユーザからの発話は、ユーザ190が装着するHMD110の
スピーカ115から出力される。
じて、当該他のユーザに対応する他アバターオブジェクトを動かすような画像をモニタ1
12に表示する。たとえば、ある局面において、コンピュータ200は、他アバターオブ
ジェクトの口を動かすような画像をモニタ112に表示することで、あたかも仮想空間2
内でアバターオブジェクト同士が会話しているかのように仮想空間2を表現する。このよ
うに、複数のコンピュータ200間で音声データの送受信が行なわれることで、一の仮想
空間2内で複数のユーザ間での会話(チャット)が実現される。
線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は
、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセ
ンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを
検出する。
の場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて
、画像解析処理を実行することにより、HMD110の位置および傾きを検出することが
できる。
に、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD11
0自身の位置および傾きを検出し得る。たとえば、センサ114が、角速度センサ、地磁
気センサ、加速度センサ、あるいはジャイロセンサなどである場合、HMD110は、H
MDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および
傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサ
は、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD11
0は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さら
に、角度の時間的変化に基づいて、HMD110の傾きを算出する。
示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可
能であってもよい。また、視野画像は仮想空間2を構成する画像の一部に、現実空間を提
示する構成を含んでいてもよい。たとえば、HMD110に搭載されたカメラで撮影した
画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過
率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
サーバ150は、他のユーザによって使用されるHMD110に仮想現実を提供するため
の他のコンピュータ200と通信し得る。たとえば、アミューズメント施設において、複
数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に
基づく信号を他のコンピュータ200と通信して、同じ仮想空間2において複数のユーザ
が共通のゲームを楽しむことを可能にする。また、上述したように、複数のコンピュータ
200が各ユーザの動作に基づく信号を送受信することで、一の仮想空間2内で複数のユ
ーザが会話を楽しむことができる。
ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成
される。他の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の
一部に装着可能に構成される。他の局面において、コントローラ160は、コンピュータ
200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力す
るように構成されてもよい。他の局面において、コントローラ160は、仮想現実を提供
する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって
与えられる操作を受け付ける。
ユーザ190の手の動きを検出する。たとえば、モーションセンサ130は、手の回転速
度、回転数などを検出する。モーションセンサ130によって得られたユーザ190の手
の動きの検出結果を表すデータ(以下、検出データともいう)は、コンピュータ200に
送られる。モーションセンサ130は、たとえば、手袋型のコントローラ160に設けら
れている。ある実施の形態において、現実空間における安全のため、コントローラ160
は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないもの
に装着されるのが望ましい。他の局面において、ユーザ190に装着されないセンサがユ
ーザ190の手の動きを検出してもよい。たとえば、ユーザ190を撮影するカメラの信
号が、ユーザ190の動作を表す信号として、コンピュータ200に入力されてもよい。
モーションセンサ130とコンピュータ200とは、有線により、または無線により互い
に接続される。無線の場合、通信形態は特に限られず、たとえば、Bluetooth(
登録商標)その他の公知の通信手法が用いられる。
もよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ
番組を表示することができる。
通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、
一局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コ
ンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレ
ージ12と、入出力インターフェース13と、通信インターフェース14とを備える。各
構成要素は、それぞれ、バス15に接続されている。
定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納され
ているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10
は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FP
GA(Field-Programmable Gate Array)その他のデバイスとして実現される。
、ストレージ12からロードされる。データは、コンピュータ200に入力されたデータ
と、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11
は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
たとえば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、そ
の他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、H
MDシステム100において仮想空間2を提供するためのプログラム、シミュレーション
プログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通
信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間
2を規定するためのデータおよびオブジェクトなどを含む。
置として実現されてもよい。さらに他の局面において、コンピュータ200に内蔵された
ストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを
使用する構成が使用されてもよい。このような構成によれば、たとえば、アミューズメン
ト施設のように複数のHMDシステム100が使用される場面において、プログラムやデ
ータの更新を一括して行なうことが可能になる。
サ120またはモーションセンサ130との間で信号を通信する。ある局面において、入
出力インターフェース13は、USB(Universal Serial Bus)インターフェース、D
VI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multi
media Interface)その他の端子を用いて実現される。なお、入出力インターフェース1
3は上述のものに限られない。
0と通信し得る。たとえば、入出力インターフェース13は、モーションセンサ130か
ら出力された信号の入力を受ける。他の局面において、入出力インターフェース13は、
プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、
音声出力、発光などをコントローラ160に指示する。コントローラ160は、当該命令
を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
続されている他のコンピュータ(たとえば、サーバ150、他のユーザのコンピュータ2
00など)と通信する。ある局面において、通信インターフェース14は、たとえば、L
AN(Local Area Network)その他の有線通信インターフェース、あるいは、WiFi
(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Com
munication)その他の無線通信インターフェースとして実現される。なお、通信インター
フェース14は上述のものに限られない。
に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含ま
れる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレ
ーティングシステム、仮想空間2を提供するためのアプリケーションプログラム、コント
ローラ160を用いて仮想空間2で実行可能なゲームソフトウェアなどを含み得る。プロ
セッサ10は、入出力インターフェース13を介して、仮想空間2を提供するための信号
をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示
する。
る構成が示されているが、他の局面において、コンピュータ200は、HMD110に内
蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(たとえば、ス
マートフォン)がコンピュータ200として機能してもよい。
もよい。このような構成によれば、たとえば、複数のユーザに同一の仮想空間2を提供す
ることもできるので、各ユーザは同一の仮想空間2で他のユーザと同一のアプリケーショ
ンを楽しむことができる。
れている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方
向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3
つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つ
である。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前
後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標
系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平
行である。z軸は現実空間の前後方向に平行である。
MD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を
検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標
値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内にお
けるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、
経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出で
きる。
によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の
3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD
110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設
定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間2におい
て物体を見る際の視点座標系に対応する。
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従う
HMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ12
0は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾
きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD
110に設定する。
を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD1
10は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸
、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りに
それぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw
視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として
設定する。
している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD
110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(
y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方
向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
0の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの
変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、
uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロ
ール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピ
ッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系に
おけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野
座標系におけるロール方向周りのHMD110の傾き角度を表す。
が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HM
D110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾
きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置お
よび傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系
の位置および傾きが変化する。
れる赤外線の光強度および複数の点間の相対的な位置関係(たとえば、各点間の距離など
)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する
相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づい
て、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を
決定してもよい。
図4を参照して、仮想空間2についてさらに説明する。図4は、ある実施の形態に従う
仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360
度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮
想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定され
る。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予
め規定されている。コンピュータ200は、仮想空間2に展開可能なコンテンツ(静止画
、動画など)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞ
れ対応付けて、ユーザ190によって視認可能な仮想空間画像22が展開される仮想空間
2をユーザ190に提供する。
。XYZ座標系は、たとえば、グローバル座標系に平行である。XYZ座標系は視点座標
系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前
後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX
軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向
)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバ
ル座標系のz軸と平行である。
仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の
動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD1
10の位置および向きの変化が、仮想空間2において同様に再現される。
想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)にお
けるHMD110のuvw視野座標系に連動するように規定されている。したがって、H
MD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、
仮想カメラ1は、HMD110を装着したユーザ190の現実空間における移動に連動し
て、仮想空間2において移動することもできる。
90が仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1
の向きに応じて決まる。コンピュータ200のプロセッサ10は、基準視線5に基づいて
、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、H
MD110を装着したユーザ190の視界に対応する。
を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユ
ーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のu
vw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある
局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190
の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザ190の視線方向とみな
すことができる。
図5を参照して、ユーザ190の視線方向の決定について説明する。図5は、ある実施
の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、
視線R1およびL1を検出する。他の局面において、ユーザ190が遠くを見ている場合
、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対し
て視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角
度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
ンサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点で
ある注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値
を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特
定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ190の視
線方向N0を特定する。コンピュータ200は、たとえば、ユーザ190の右目Rと左目
Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として
検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向であ
る。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けてい
る方向に相当する。
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2にお
いて視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2におい
て視界領域23をY方向から見たXZ断面を表す図である。
は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッ
サ10は、仮想空間2おける基準視線5を中心として極角αを含む範囲を、領域24とし
て規定する。
は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想
空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する
。
て、視界画像をモニタ112に表示させることにより、ユーザ190に仮想空間2を提供
する。視界画像は、仮想空間画像22のうちの視界領域23に重畳する部分に相当する。
ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ
1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、
モニタ112に表示される視界画像は、仮想空間画像22のうち、仮想空間2においてユ
ーザ190が向いた方向の視界領域23に重畳する画像に更新される。ユーザ190は、
仮想空間2における所望の方向を視認することができる。
空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム10
0は、仮想空間2への高い没入感覚をユーザ190に与えることができる。
間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、
プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HM
D110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域
23)を特定する。
像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むこ
とが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視
差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮
想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されること
によって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるよ
うに構成されているものとして、本開示に係る技術思想を例示する。
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形
態に従うコントローラ160の概略構成を表す図である。
ントローラ800と左コントローラ(図示しない)とを含み得る。右コントローラ800
は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作さ
れる。ある局面において、右コントローラ800と左コントローラとは、別個の装置とし
て対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右
手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。他の局面
において、コントローラ160は両手の操作を受け付ける一体型のコントローラであって
もよい。以下、右コントローラ800について説明する。
リップ30は、ユーザ190の右手によって把持されるように構成されている。たとえば
、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって
保持され得る。
は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は
、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面に
おいて、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ
130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラそ
の他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、
モーションセンサ130を備えなくてもよい。
外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラ
ムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コ
ントローラ800と左コントローラとの各位置や姿勢(傾き、向き)を検出するために使
用され得る。図8に示される例では、二列に配置された赤外線LED35が示されている
が、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用さ
れてもよい。
37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手
の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位
置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、
たとえば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを
含むが、これらに限定されない。他の局面において、右コントローラ800と左コントロ
ーラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この
場合、右コントローラ800および左コントローラは、電池を必要としない。
仮想空間2に配置されるハンドオブジェクト810の一例を示す。たとえば、ユーザ19
0の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向
が規定される。たとえば、入力操作が、右コントローラ800のボタン34に対して行な
われると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタ
ン34に対して行なわれていない場合には、分図(B)に示すように、ハンドオブジェク
ト810の人差し指を伸ばした状態とすることもできる。たとえば、ハンドオブジェクト
810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人
差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定され
る平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
図9を参照して、HMD110の制御装置について説明する。ある実施の形態において
、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある
実施の形態に従うコンピュータ200をモジュール構成として表すブロック図である。
間制御モジュール230と、音声制御モジュール225と、メモリモジュール240と、
通信制御モジュール250とを備える。
1と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特
定モジュール224と、視線検出モジュール226と、ハンドトラッキングモジュール2
27と、フェイストラッキングモジュール228とを含む。
31と、仮想オブジェクト生成モジュール232と、手オブジェクト制御モジュール23
3とを含む。
、および音声制御モジュール225は、プロセッサ10によって実現される。他の実施の
形態において、複数のプロセッサ10が表示制御モジュール220、仮想空間制御モジュ
ール230、および音声制御モジュール225として作動してもよい。メモリモジュール
240は、メモリ11またはストレージ12によって実現される。通信制御モジュール2
50は、通信インターフェース14によって実現される。
る画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1
を配置し、仮想カメラ1の挙動、向きなどを制御する。視界領域決定モジュール222は
、HMD110を装着したユーザ190の頭の向きに応じて、視界領域23を規定する。
視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に
表示される視界画像のデータ(視界画像データともいう)を生成する。さらに、視界画像
生成モジュール223は、仮想空間制御モジュール230から受信したデータに基づいて
、視界画像データを生成する。視界画像生成モジュール223によって生成された視界画
像データは、通信制御モジュール250によってHMD110に出力される。基準視線特
定モジュール224は、HMDセンサ120またはセンサ114からの信号に基づいて基
準視線(HMD110の傾き)を検出する。視線検出モジュール226は、注視センサ1
40からの信号に基づいて、ユーザ190の視線を特定する。ハンドトラッキングモジュ
ール227は、ユーザ190が装着するコントローラ160の動き、つまり、ユーザ19
0の手の動きを検出する。より具体的には、HMDセンサ120は、コントローラ160
に設けられた赤外線LED35が発する赤外線を検出してコンピュータ200に出力する
。ハンドトラッキングモジュール227は、HMDセンサ120から入力される検出結果
に基づいて、コントローラ160(右コントローラ800および左コントローラの各々)
の位置を検出する。フェイストラッキングモジュール228は、ユーザ190の表情を検
出する。フェイストラッキングモジュール228の詳細は後述される。
仮想空間定義モジュール231は、仮想空間2を表す仮想空間データを生成することによ
り、HMDシステム100における仮想空間2を規定する。
ータを生成する。オブジェクトは、たとえば、他アバターオブジェクト、仮想パネル、仮
想手紙、および仮想ポストなどを含み得る。仮想オブジェクト生成モジュール232によ
って生成されたデータは、視界画像生成モジュール223に出力される。
オブジェクトは、たとえば、コントローラ160を保持したユーザ190の右手あるいは
左手に対応する。ある局面において、手オブジェクト制御モジュール233は、右手ある
いは左手に対応する手オブジェクトを仮想空間2に配置するためのデータを生成する。ま
た、手オブジェクト制御モジュール233は、ユーザ190によるコントローラ160の
操作に応じて、手オブジェクトを動かすためのデータを生成する。手オブジェクト制御モ
ジュール233によって生成されたデータは、視界画像生成モジュール223に出力され
る。
足、頭などの動き)がコントローラ160に関連付けられている場合、仮想空間制御モジ
ュール230は、ユーザ190の体の一部に対応する部分オブジェクトを仮想空間2に配
置するためのデータを生成する。仮想空間制御モジュール230は、ユーザ190が体の
一部を用いてコントローラ160を操作すると、部分オブジェクトを動かすためのデータ
を生成する。これらのデータは、視界画像生成モジュール223に出力される。
た発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を
特定する。音声データは、音声制御モジュール225によって特定されたコンピュータ2
00に送信される。音声制御モジュール225は、ネットワーク19を介して他のユーザ
のコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発
話)をスピーカ115から出力する。
るために使用されるデータを保持している。ある局面において、メモリモジュール240
は、空間情報241と、オブジェクト情報242と、ユーザ情報243と、顔情報244
とを保持している。
保持している。
ツで使用されるオブジェクトを配置するための情報を保持している。当該コンテンツは、
たとえば、ゲーム、現実社会と同様の風景を表したコンテンツなどを含み得る。さらに、
オブジェクト情報242は、コントローラ160を操作するユーザ190の手に相当する
手オブジェクトを仮想空間2に配置するためのデータと、各ユーザのアバターオブジェク
トを仮想空間2に配置するためのデータと、仮想パネルなどのその他のオブジェクトを仮
想空間2に配置するためのデータとを含む。
能させるためのプログラム、オブジェクト情報242に保持される各コンテンツを使用す
るアプリケーションプログラムなどを保持している。メモリモジュール240に格納され
ているデータおよびプログラムは、HMD110のユーザ190によって入力される。あ
るいは、プロセッサ10が、当該コンテンツを提供する事業者が運営するコンピュータ(
たとえば、サーバ150)からプログラムあるいはデータをダウンロードして、ダウンロ
ードされたプログラムあるいはデータをメモリモジュール240に格納する。顔情報24
4は、ユーザ190の顔器官を検出するために必要なテンプレートを含む。ある実施形態
において、顔情報244は、口テンプレート245と、目テンプレート246と、眉テン
プレート247とを含む。各テンプレートは、顔を構成する器官に対応する画像であり得
る。たとえば、口テンプレート245は、口の画像であり得る。なお、各テンプレートは
複数の画像を含んでもよい。
通信装置と通信し得る。
、たとえば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用
いて実現され得る。他の局面において、表示制御モジュール220および仮想空間制御モ
ジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
るソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその
他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、
CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納され
て、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、イ
ンターネットその他のネットワークに接続されている情報提供事業者によってダウンロー
ド可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光デ
ィスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、ある
いは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウン
ロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ1
0によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納
される。プロセッサ10は、そのプログラムを実行する。
実施の形態に係る最も本質的な部分は、コンピュータ200に格納されたプログラムであ
るとも言える。なお、コンピュータ200のハードウェアの動作は周知であるので、詳細
な説明は繰り返さない。
スクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical
Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integr
ated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM
(Electronically Programmable Read-Only Memory)、EEPROM(Electronicall
y Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモ
リなどの固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
く、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプロ
グラムなどを含み得る。
図10を参照して、HMDシステム100の制御構造について説明する。図10は、あ
る実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケン
スチャートである。
10は、仮想空間定義モジュール231として、仮想空間画像データを特定し、仮想空間
2を定義する。
プロセッサ10は、メモリのワーク領域において、仮想カメラ1を仮想空間2において予
め規定された中心点に配置し、仮想カメラ1の視線をユーザ190が向いている方向に向
ける。
初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データ
は、通信制御モジュール250によってHMD110に出力される。
信した視界画像データに基づいて、視界画像を表示する。HMD110を装着したユーザ
190は、視界画像を視認すると仮想空間2を認識し得る。
赤外線光に基づいて、HMD110の位置と傾きを検知する。検知結果は、動き検知デー
タとして、コンピュータ200に出力される。
る位置と傾きとに基づいて、HMD110を装着したユーザ190の視界方向を特定する
。
アプリケーションプログラムに含まれる命令に基づいて、仮想空間2にオブジェクトを提
示する。このとき提示されるオブジェクトは、他アバターオブジェクトを含む。
れる信号に基づいて、ユーザ190の操作を検出し、その検出された操作を表す検出デー
タをコンピュータ200に出力する。なお、他の局面において、ユーザ190によるコン
トローラ160の操作は、ユーザ190の周囲に配置されたカメラからの画像に基づいて
検出されてもよい。
ータに基づいて、ユーザ190によるコントローラ160の操作を検出する。
ための視界画像データを生成する。
の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジ
ュール250によってHMD110に出力される。
像を更新し、更新後の視界画像をモニタ112に表示する。
次に、図11〜図13を用いて本開示に従う技術思想を説明する。図11は、仮想空間
2に展開されている仮想空間画像22(以下、「パノラマ画像22」とも言う)を変更す
るための処理を説明する図(その1)である。
る。また、仮想空間2は、スピーカオブジェクト1120を含む。ある局面において、ユ
ーザ190は、仮想空間2に展開されているパノラマ画像22を変更したいと思う。係る
場合、ユーザ190は、パノラマ画像22を変更するためのトリガをコンピュータ200
に入力する(ステップS1)。一例として、トリガは、スピーカオブジェクト1120と
ハンドオブジェクト810とを接触させることを含む。
。図11に示される例において、ユーザ190は、「動物」と発話する。コンピュータ2
00は、マイク119から入力される音声信号から文字列「動物」を抽出する。コンピュ
ータ200は、抽出された文字列を表す検索キー1130をサーバ150に送信する(ス
テップS3)。サーバ150は、パノラマ画像DB(データベース)1934を保持する
ストレージ1930を有する。パノラマ画像DB1934は、パノラマ画像(動画像を含
む)と、パノラマ画像を識別する情報(以下、「パノラマ画像ID」とも言う。)とを関
連付けて複数保持する。
キー1130に基づいて、パノラマ画像DB1934に格納される複数のパノラマ画像の
中から、一以上のパノラマ画像を検索する(ステップS4)。サーバ150は、検索され
た一以上のパノラマ画像のサムネイル1140を生成する。サムネイル1140は、パノ
ラマ画像を特定するための情報として機能する。サーバ150は、生成したサムネイル1
140とパノラマ画像ID1150とをコンピュータ200に送信する(ステップS5)
。
12に示される視界画像1200は、サムネイル1210〜1260を含む。これらのサ
ムネイルは、受信した一以上のサムネイル1140に対応する。また、これらのサムネイ
ルは、静止画像または動画像のいずれであってもよい。
)をハンドオブジェクト810で選択する(ステップS6)。たとえば、ユーザ190は
、犬を含むサムネイル1210とハンドオブジェクト810とを接触させることにより、
サムネイル1210を選択する。
ンピュータ200は、ユーザ190から選択されたサムネイルに対応するパノラマ画像I
D1310をサーバ150に送信する(ステップS7)。サーバ150は、受信したパノ
ラマ画像IDに対応するパノラマ画像1320をコンピュータ200に送信する。コンピ
ュータ200は、受信したパノラマ画像1320を仮想空間2に展開する(ステップS9
)。これにより、ユーザ190は、仮想空間2において犬1330を含むパノラマ画像1
320を視認できる。
一以上のパノラマ画像、換言すれば、ユーザ190が所望するパノラマ画像(を特定する
情報)をユーザ190に提示できる。以下、パノラマ画像を変更するためのより具体的な
処理について説明する。
図14は、ある実施形態に従うHMDシステム1400の構成を説明するための図であ
る。HMDシステム1400は、HMD110に替えてHMD1410を有する点におい
て、図1で説明したHMDシステム100と相違する。
MD110と相違する。第1カメラ116は、ユーザ190の顔の下部を撮影する。より
具体的には、第1カメラ116は、ユーザ190の鼻、頬、および口などを撮影する。第
2カメラ117は、ユーザ190の目および眉などを撮影する。HMD1410のユーザ
190側の筐体をHMD1410の内側、HMD1410のユーザ190とは逆側の筐体
をHMD1410の外側と定義する。ある局面において、第1カメラ116は、HMD1
410の外側に配置され、第2カメラ117は、HMD1410の内側に配置され得る。
第1カメラ116および第2カメラ117が生成した画像は、コンピュータ200に入力
される。
2カメラ117が生成するユーザ190の顔の画像から、ユーザ190の顔を構成する器
官(例えば、口,目,眉)を検出する。フェイストラッキングモジュール228は、検出
した各器官ごとの特徴点の位置を間欠的に検出する。換言すれば、フェイストラッキング
モジュール228は、ユーザ190の表情を検出する。以下、フェイストラッキングモジ
ュール228のより具体的な処理を説明する。
以下、図15〜図18を参照して、ユーザの表情(顔の動き)を検出するための具体例
について説明する。図15〜図18では、一例として、ユーザ190の口の動きを検出す
る具体例について説明する。なお、図15〜図18で説明される検出方法は、ユーザ19
0の口の動きに限られず、ユーザ190の顔を構成する他の器官(例えば、目、眉、鼻、
頬)の動きの検出にも適用され得る。
第1カメラ116により生成された顔画像1500は、ユーザ190の鼻と口とを含む。
245を利用したパターンマッチングにより、顔画像1500から口領域1510を特定
する。ある局面において、フェイストラッキングモジュール228は、顔画像1500に
おいて、矩形上の比較領域を設定し、この比較領域の大きさ、位置および角度をそれぞれ
変えながら、比較領域の画像と、口テンプレート245の画像との類似度を算出する。フ
ェイストラッキングモジュール228は、予め定められたしきい値よりも大きい類似度が
算出された比較領域を、口領域1510として特定し得る。
きい比較領域の位置と、他の顔器官(例えば、目、鼻)の位置との相対関係に基づいて、
当該比較領域が口領域に相当するか否かを判断し得る。
詳細な口の形状を検出する。
る図(その1)である。図16を参照して、フェイストラッキングモジュール228は、
口領域1510に含まれる口の形状(唇の輪郭)を検出するための複数の輪郭検出線16
00を設定する。各輪郭検出線1600は、顔の高さ方向に直交する方向に、予め定めら
れた間隔で設定される。
口領域1510の輝度値の変化を検出し、輝度値の変化が急激な位置を輪郭点として特定
し得る。より具体的には、フェイストラッキングモジュール228は、隣接画素との輝度
差(すなわち、輝度値変化)が予め定められたしきい値以上である画素を、輪郭点として
特定し得る。画素の輝度値は、たとえば、画素のRBG値を所定の重み付けで積算するこ
とにより得られる。
の輪郭点を特定する。フェイストラッキングモジュール228は、口(唇)の外側の輪郭
に対応する輪郭点1610と、口(唇)の内側の輪郭に対応する輪郭点1620とを特定
する。ある局面において、フェイストラッキングモジュール228は、1つの輪郭検出線
1600上に3つ以上の輪郭点が検出された場合には、両端の輪郭点を外側の輪郭点16
10として特定し得る。この場合、フェイストラッキングモジュール228は、外側の輪
郭点1610以外の輪郭点を、内側の輪郭点1620として特定し得る。また、フェイス
トラッキングモジュール228は、1つの輪郭検出線1600上に二つ以下の輪郭点が検
出された場合には、検出された輪郭点を外側の輪郭点1610として特定し得る。
るための図(その2)である。図17では、外側の輪郭点1610は白丸、内側の輪郭点
1620はハッチングされた丸としてそれぞれ示されている。
より、口形状1700を特定する。この場合、輪郭点1620は、口の特徴点と言える。
ある局面において、フェイストラッキングモジュール228は、スプライン補完などの非
線形の補完方法を用いて、口形状1700を特定し得る。なお、他の局面において、フェ
イストラッキングモジュール228は、外側の輪郭点1610間を補完することにより口
形状1700を特定してもよい。さらに他の局面において、フェイストラッキングモジュ
ール228は、想定される口形状(人の上唇と下唇とによって形成され得る所定の形状)
から、大きく逸脱する輪郭点を除外し、残った輪郭点によって口形状1700を特定して
もよい。このようにして、フェイストラッキングモジュール228は、ユーザの口の動作
(形状)を特定し得る。なお、口形状1700の検出方法は上記に限られず、フェイスト
ラッキングモジュール228は、他の手法により口形状1700を検出してもよい。また
、フェイストラッキングモジュール228は、同様にして、ユーザの目および眉の動作を
検出し得る。なお、フェイストラッキングモジュール228は、頬、鼻などの器官の形状
を検出可能に構成されてもよい。
ータは、各器官の形状を構成する複数の特徴点のuvw視野座標系における位置座標を表
す。たとえば、図18に示されるポイントm1、m2・・は、口形状1700を構成する
内側の輪郭点1620に対応する。ある局面において、フェイストラッキングデータは、
第1カメラ116または第2カメラ117の位置を基準(原点)としたuvw視野座標系
における座標値である。他の局面において、フェイストラッキングデータは、各器官ごと
に予め定められた特徴点を基準(原点)とした座標系における座標値である。一例として
、ポイントm1、m2・・・は、内側の輪郭点1620のうち口角に対応するいずれか一
方の特徴点を原点とした座標系における座標値である。
図19は、サーバ150のハードウェア構成と機能構成とを表すブロック図である。あ
る実施形態において、サーバ150は、主たるハードウェアとして通信インターフェース
1910と、プロセッサ1920と、ストレージ1930とを備える。
受信するための変復調処理などを行なう無線通信用の通信モジュールとして機能する。通
信インターフェース1910は、チューナ、高周波回路等により実現される。
レージ1930に格納される各種の制御プログラムを実行することにより、送受信部19
21、サーバ処理部1922、検索エンジン1923、物体特定部1924、感情判断部
1925、学習部1926として機能する。
、送受信部1921は、仮想空間2にオブジェクトを配置する要求、オブジェクトを仮想
空間2から削除する要求、オブジェクトを移動させる要求、ユーザの音声などを各コンピ
ュータ200に送信する。
るユーザDB1933および学習用DB1935を更新する。検索エンジン1923は、
コンピュータ200から受信した検索キーに基づいて、パノラマ画像DB1934に含ま
れる複数のパノラマ画像の中から一以上のパノラマ画像を検索する。
から入力された線図データに対応する物体の候補を特定する。感情判断部1925は、後
述する学習モデル1937を利用して、コンピュータ200から受信したフェイストラッ
キングデータに対応するユーザ190の感情の候補を判断する。学習部1926は、後述
する学習モデル1936、1937を更新する。
と、ユーザDB1933と、パノラマ画像DB1934と、学習用DB1935と、学習
モデル1936、1937とを保持する。
仮想空間2を定義するために用いられる情報である。たとえば、仮想空間指定情報193
1は、仮想空間2の大きさまたは形状を指定する情報を含む。オブジェクト指定情報19
32は、コンピュータ200の仮想オブジェクト生成モジュール232が仮想空間2に配
置(生成)するオブジェクトを指定する。
々のユーザ190を識別するための情報(以下、「ユーザID」とも言う)と、ユーザの
属性情報とを含む。属性情報は、たとえば、年齢、場所(住所など)、性別、趣味などを
含む。パノラマ画像DB1934は、パノラマ画像IDと、パノラマ画像(動画像を含む
)とを関連付けて保持する。
画像のうちユーザ190に選択されたパノラマ画像とを互いに関連付けて保持する。ある
局面において、学習用DB1935は、これらの情報にさらにユーザIDを関連付けて保
持してもよい。パノラマ画像DB1934および学習用DB1935のデータ構造は後述
される。
を特定するためのプログラムを保持する。学習モデル1937は、コンピュータ200か
ら入力されたフェイストラッキングデータに対応するユーザ190の感情を判断するため
のプログラムを保持する。一例として、学習モデル1936,1937は、入力層、複数
の中間層、および出力層を含むニューラルネットワークである。学習部1926は、学習
用DB1935に保持される学習用データに基づいて、学習モデル1936、1937の
各ノード間の重み係数を更新する。学習部1926は、一例として、誤差逆伝播法に従い
重み係数を更新する。
図20は、パノラマ画像DB1934のデータ構造の一例を表す。パノラマ画像DB1
934は、パノラマ画像IDと、画像データと、タイトルと、タグとを互いに関連付けて
保持する。
0のユーザ、またはサーバ150の管理者によりサーバ150に投稿(登録)される。タ
イトルは、画像データの投稿者によって設定される。タグは、画像データの投稿者、また
はパノラマ画像の視聴者によって設定される。タグは、パノラマ画像のジャンル、パノラ
マ画像に含まれる物体などを特定する。タグはさらに、感情タグを含み得る。感情タグは
、ユーザ190がパノラマ画像を視聴することにより得られると推定される感情を表す。
一例として、コメディ動画像のパノラマ画像には、「楽しい」、「リラックス」、「満足
」などの感情タグが設定される。
図21は、学習用DB1935のデータ構造の一例を表す。学習用DB1935は、テ
ーブル2110,2120,2130を含む。テーブル2110は、線図データとしての
検索キーと、線図により表される物体と、当該検索キーにより検索された一以上のパノラ
マ画像のうちユーザ190に選択されたパノラマ画像のパノラマ画像IDとを互いに関連
付けて保持する。テーブル2120は、フェイストラッキングデータとしての検索キーと
、フェイストラッキングデータにより表される感情と、当該検索キーにより検索された一
以上のパノラマ画像のうちユーザ190に選択されたパノラマ画像のパノラマ画像IDと
を互いに関連付けて保持する。テーブル2130は、音声信号から抽出された文字列とし
ての検索キーと、当該検索キーにより検索された一以上のパノラマ画像のうちユーザ19
0に選択されたパノラマ画像のパノラマ画像IDとを互いに関連付けて保持する。
ーザ190の表情を表すフェイストラッキングデータ、ユーザ190の発話に基づく音声
信号から抽出された文字列、を用いる実施形態について説明する。
図22は、ユーザ190が仮想空間2において線図を描いている様子を表す視界画像2
200である。視界画像2200は、机オブジェクト2210を含む。机オブジェクト2
210の上には、コンピュータ200がユーザ190から線図の入力を受け付けるための
入力オブジェクト2220が配置されている。入力オブジェクト2220の形状は、平ら
な面を有する略直方体である。
れている。また、入力オブジェクト2220の近傍に、入力オブジェクト2220への線
図の入力を促すメッセージオブジェクト2240が配置されている。
とが関連付けられている。たとえば、コンピュータ200のプロセッサ10は、ハンドオ
ブジェクト810とペンオブジェクト2230とが接触したことを検出して、これらのオ
ブジェクトを互いに関連付ける。
動かす。プロセッサ10はハンドトラッキングモジュール227として、コントローラ1
60の動きをハンドオブジェクト810に反映する。これにより、ペンオブジェクト22
30がハンドオブジェクト810に連動して動く。
を入力する。より具体的には、プロセッサ10は、ペンオブジェクト2230と入力オブ
ジェクト2220との接点の軌跡を表す軌跡オブジェクト2250を入力オブジェクト2
220上に配置する。これにより、ユーザ190は、自身が描いた線図(に対応する軌跡
オブジェクト2250)を認識できる。ある実施形態において、プロセッサ10は、コン
トローラ160の予め定められたボタンが押下されている間のみ、ペンオブジェクト22
30と入力オブジェクト2220との接点の軌跡をトラッキングするように構成されても
よい。
図を表す線図データ)を検索キーとして、サーバ150に送信する。
0から入力された線図データが表す物体の候補を特定する。より具体的には、物体特定部
1924は、学習モデル1936の各入力層に線図データを入力し、各出力層から出力さ
れた値に基づいて、線図データが表す物体の候補を特定する。一例として、物体特定部1
924は、予め定められた閾値を超える値を出力した出力層に対応する物体を、線図デー
タが表す物体の候補として特定する。物体特定部1924は、特定された物体の候補を表
す情報(例えば文字列)を検索エンジン1923に出力する。
マ画像DB1934に格納される複数のパノラマ画像の中から一以上のパノラマ画像を検
索する。たとえば、検索エンジン1923は、物体特定部1924から「ねこ」、「いぬ
」の文字列の入力を受け付ける。検索エンジン1923は、入力された文字列を用いて、
パノラマ画像DB1934の中から、タイトルまたはタグに「ねこ」または「いぬ」の文
字列を含むパノラマ画像を検索する。プロセッサ1920は、検索されたパノラマ画像の
画像データからサムネイルを生成する。プロセッサ1920は、生成したサムネイルと、
当該サムネイルに対応するパノラマ画像IDとをコンピュータ200に送信する。
。視界画像2300は、ユーザ190により入力された検索キーを表すスクリーン231
0と、サーバ150から受信したサムネイル2320〜2350とを含む。
)をハンドオブジェクト810で選択する。コンピュータ200は、選択されたサムネイ
ルに対応するパノラマ画像IDをサーバ150に送信する。サーバ150は、受信したパ
ノラマ画像IDに対応する画像データをコンピュータ200に送信する。コンピュータ2
00は、受信した画像データを仮想空間2に展開する。これにより、ユーザ190は、所
望のパノラマ画像を視聴できる。なお、パノラマ画像が動画像である場合、コンピュータ
200は、当該パノラマ画像を予めダウンロードしてから仮想空間2に展開してもよいし
、当該パノラマ画像をストリーミング再生してもよい。
IDに関連付けられたタグに基づいて、検索キーにより表される物体を特定する。プロセ
ッサ1920は、検索キー(線図データ)と、検索キーにより表される物体と、パノラマ
画像IDとを検索用DB1935のテーブル2110に格納する。ある局面において、プ
ロセッサ1920は、学習部1926として、線図データと当該線図データにより表され
る物体とに基づいて、学習モデル1936の学習(教師あり学習)を実行する。
が所望するパノラマ画像の候補をユーザ190に提供できる可能性を高め得る。また、図
23の視界画像2300に示されるように、ユーザ190は、自分で入力した検索キー(
線図)と、検索キーにより検索されたパノラマ画像(のサムネイル)とを一緒に提示され
るため、自身が思い浮かべていた検索キー(線図ではなく文字列)に対応するパノラマ動
画を正確に選択し得る。その結果、サーバ150は、質の高い学習用データを取得でき、
学習効率を高め得る。
ザ190に問い合わせるための質問オブジェクト2360を含む。たとえば、質問オブジ
ェクト2360は、検索キーに対応する物体が、最も大きな値を出力した出力層に対応す
る物体(つまり、ユーザが意図している物体である確率が最も高い物体)であるか否かを
問い合わせる。質問オブジェクト2360は、当該問い合わせに対する回答の入力を受け
付けるための回答オブジェクト2370,2380を含む。ユーザ190は、ハンドオブ
ジェクト810で回答オブジェクト2370,2380のいずれか一方を選択する。コン
ピュータ200は、当該問い合わせに対するユーザ190の回答結果をサーバ150に送
信する。サーバ150のプロセッサ1920は、受信した回答結果と線図データとに基づ
いて学習モデル1936を学習してもよい。
図24は、線図に基づいてパノラマ画像を変更するための処理を表すフローチャートで
ある。図24に示される処理は、コンピュータ200のプロセッサ10およびサーバ15
0のプロセッサ1920によって実現される。
仮想空間2にパノラマ画像を展開する。ステップS2410にて、プロセッサ10は、仮
想空間2に、入力オブジェクト、ペンオブジェクト、操作オブジェクトとして機能するハ
ンドオブジェクト、仮想カメラなどの各種オブジェクトを配置する。
が接触したか否かを判断する。プロセッサ10は、これらのオブジェクトが接触したと判
断した場合(ステップS2415でYES)、これらのオブジェクトを関連付ける。また
、プロセッサ10は、これらのオブジェクトが接触したことを、パノラマ画像を変更する
ためのトリガとして受け付ける。そうでない場合(ステップS2415でNO)、プロセ
ッサ10は、トリガを受け付けるまで待機する。
、ペンオブジェクトと入力オブジェクトとの接点の軌跡)を検索キーとして受け付ける。
ステップS2425にて、プロセッサ10は、操作オブジェクトとペンオブジェクトとの
関連付けが解除されたか否かを判断する。たとえば、ユーザ190は、コントローラ16
0に設けられた予め定められたボタンを押下することにより、上記関連付けを解除する。
プロセッサ10は、操作オブジェクトとペンオブジェクトとの関連付けが解除されたと判
断した場合(ステップS2425でYES)、ステップS2420で入力された線図デー
タをサーバ150に送信する(ステップS2430)。そうでない場合(ステップS24
25でNO)、プロセッサ10は、ステップS2420の処理を再び実行する。
(検索キー)を受信する。ステップS2440にて、プロセッサ1920は、線図データ
に基づいて物体(例えば、物体を表す文字列)を特定する。ステップS2445にて、プ
ロセッサ1920は、特定した物体を表す文字列に基づいて、パノラマ画像DB1934
に格納される複数のパノラマ画像の中から一以上のパノラマ画像を検索する。ステップS
2450にて、プロセッサ1920は、検索した一以上のパノラマ画像の各々についてサ
ムネイルを生成し、サムネイルとパノラマ画像IDとをコンピュータ200に送信する。
画像IDとを受信する。ステップS2460にて、プロセッサ10は、検索されたパノラ
マ画像を特定するための情報として機能するサムネイルを仮想空間2に提示する。ステッ
プS2465にて、プロセッサ10は、ユーザ190から、一以上のパノラマ画像(サム
ネイル)の中から一のパノラマ画像(サムネイル)の選択を受け付ける。ステップS24
70にて、プロセッサ10は、選択されたサムネイルに対応するパノラマ画像IDをサー
バ150に送信する。
00から受信する。ステップS2480にて、プロセッサ1920は、パノラマ画像DB
1934を参照して、受信したパノラマ画像IDに対応する画像データをコンピュータ2
00に送信する。
受信した画像データを仮想空間2を構成する天球に展開する。これにより、ユーザ190
は、自身の所望するパノラマ画像を視認できる。
して入力された線図データと、当該線図データにより表される物体とに基づいて、学習モ
デル1936を学習(更新)する。
上記の例では、コンピュータ200は、平坦な入力オブジェクトに対してユーザが描く
平面的な線図の入力を受け付けるように構成されている。他の局面において、コンピュー
タ200は、ユーザが描く立体的な線図を検索キーとして受け付けるように構成されても
よい。
画像2500は、入力オブジェクト2510を含む。図25に示される例において、入力
オブジェクト2510は、立方体であって、立方体を構成する各辺が破線で表示されてい
る。
0を操作して、入力オブジェクト2510に囲まれる領域に立体的な線図を描くことがで
きる。図25に示される例において、飛行機2520が描かれている。
には、入力オブジェクト2510を構成する立方体の各平面に飛行機2520を転写する
。入力オブジェクト2510は、仮想空間2に設定されている各軸に平行に配置されてい
るとする。係る場合、コンピュータ200は、図26に示されるように、飛行機2520
を、XY平面、YZ平面、およびZX平面にそれぞれ転写する。図26(A)は、飛行機
2520をXY平面に転写した線図である。図26(B)は、飛行機2520をYZ平面
に転写した線図である。図26(C)は、飛行機2520をZX平面に転写した線図であ
る。
送信する。その後の処理は上述の通りであるので、当該処理の説明は、繰り返さない。
コンピュータ200およびサーバ150に入力できる。ある局面において、ユーザ190
は、仮想空間2を介して他のユーザと通信する場合がある。係る場合、ユーザ190は、
ユーザ190が意図する物体を、サーバ150が入力された線図に基づいて正しく認識で
きているのか否かを、他のユーザとともにゲーム感覚で楽しむことができる。
次に、フェイストラッキングデータ、つまり、ユーザ190の表情を検索キーとして用
いる場合の実施形態について説明する。
を表すフローチャートである。なお、図27に示される処理のうち図24の処理と同じ処
理については同じ符号を付している。そのため、その処理についての説明は繰り返さない
。
されているパノラマ画像を変更するためのトリガを受け付けたか否かを判断する。たとえ
ば、プロセッサ10は、コントローラ160に設けられた予め定められたボタンが押下さ
れたことに応じて、上記トリガを受け付ける。
。このとき、プロセッサ10は、ユーザ190に今の感情(気分)、またはパノラマ画像
を視聴することにより得たい感情を問い合わせてもよい。ユーザ190は、当該問い合わ
せに応じて表情を作る。第1カメラ116および第2カメラ117は、そのときのユーザ
190の顔の画像を生成する。プロセッサ10はフェイストラッキングモジュール228
として、入力された顔の画像に基づいてフェイストラッキングデータを生成する。ステッ
プS2730にて、プロセッサ10は、生成されたフェイストラッキングデータを検索キ
ーとしてサーバ150に送信する。
からフェイストラッキングデータの入力を受け付ける。ステップS2750にて、プロセ
ッサ1920は、感情判断部1925として、入力されたフェイストラッキングデータが
表すユーザ190の感情の候補を特定する。より具体的には、感情判断部1925は、学
習モデル1937の各入力層にフェイストラッキングデータを入力し、各出力層から出力
された値に基づいて、フェイストラッキングデータが表す感情の候補を特定する。一例と
して、感情判断部1925は、予め定められた閾値を超える値を出力した出力層に対応す
る感情を、フェイストラッキングデータが表す感情の候補として特定する。ステップS2
760にて、プロセッサ1920は、パノラマ画像DB1934に格納されている複数の
パノラマ画像の中から、特定された感情の感情タグを含む一以上のパノラマ画像を検索す
る。
して入力されたフェイストラッキングデータと、当該フェイストラッキングデータにより
表される感情とに基づいて、学習モデル1937を学習(更新)する。
感情)に合わせたパノラマ画像の候補を受けることができる。また、サーバ150は、ユ
ーザ190の表情(を表すフェイストラッキングデータ)に基づいて、ユーザ190が所
望するパノラマ画像の候補をユーザ190に提供できる可能性を高め得る。
190の感情を推定するように構成されているが、他の局面において他のデータに基づい
てユーザ190の感情を推定するように構成されてもよい。たとえば、サーバ150は、
ユーザ190の発話に基づく音声信号をコンピュータ200から受け付け、当該音声信号
に基づいてユーザ190の感情を推定してもよい。たとえば、サーバ150は、音声信号
から文字列を抽出して、当該文字列から感情を推定する。このような処理は、たとえば、
メタデータ社が提供する「感情解析API」により実現され得る。他の局面において、サ
ーバ150は、音声信号の波形から感情を推定する。このような処理は、たとえば、AG
I社が提供する「ST Emotion SDK」により実現され得る。なお、これらの処
理は、サーバ150ではなくコンピュータ200が実行するように構成されてもよい。係
る場合、コンピュータ200は、推定した感情を特定する情報をサーバ150に送信する
。
次に、ユーザ190の発話に対応する音声信号から抽出される文字列を検索キーとして
用いる場合の実施形態について説明する。
である。視界画像2800は、机オブジェクト2210を含む。机オブジェクト2210
の上には、スピーカオブジェクト2810が配置されている。また、スピーカオブジェク
ト2810に重畳するようにポインタオブジェクト2820が配置されている。
ロセッサ10は視線検出モジュール226として、注視センサ140の出力に基づいて現
実空間におけるユーザ190の視線を検出する。視線検出モジュール226は、現実空間
におけるユーザ190の視線を、仮想カメラ1の位置および傾き(基準視線)に基づいて
、仮想空間2における視線に変換する。仮想オブジェクト生成モジュール232は、仮想
空間2における視線と、オブジェクトとが衝突する位置にポインタオブジェクト2820
を配置する。
、仮想空間2に展開されているパノラマ画像を変更するためのトリガをコンピュータ20
0に入力する。一例として、ユーザ190は、ハンドオブジェクト810と、スピーカオ
ブジェクト2810とを接触させることで、スピーカオブジェクト2810を選択する。
他の例として、ユーザ190は、スピーカオブジェクト2810を予め定められた時間に
わたり注視する、つまり、ポインタオブジェクト2820を予め定められた時間にわたり
スピーカオブジェクト2810に重畳することにより、スピーカオブジェクト2810を
選択する。
とを通知する。たとえば、プロセッサ10は、「検索したい内容を話してください」等の
、ユーザ190の発話を促す音声またはメッセージを出力する。これに従い、ユーザ19
0は、検索したい内容を発話する。プロセッサ10は、マイク119から音声信号を受け
付け、当該音声信号から文字列を抽出する。一例として、プロセッサ10は、音声信号の
先頭から所定時間単位(たとえば、10msec単位)で区切られる波形データと、スト
レージ12に格納される音響モデル(図示しない)とを照合して、文字列を抽出する。音
響モデルは、母音や子音などの音素ごとの特徴量を表す。一例として、プロセッサ10は
、隠れマルコフモデルに基づき、音声信号と音響モデルとを照合する。プロセッサ10は
、抽出した文字列をサーバ150に送信する。
数のパノラマ画像の中から、タイトルまたはタグに入力された文字列(または当該文字列
に含まれる単語)を含むパノラマ画像を検索する。その後の処理は上述の処理と同じであ
るので繰り返さない。
入力できる。また、現実世界においてスピーカ機能を有するデバイス(たとえば、アマゾ
ンエコー(登録商標))とユーザとの間での音声コミュニケーションが一般的になってい
る。そのため、ユーザ190は、スピーカの形状を有するスピーカオブジェクトが音声入
力および出力機能を有すると容易に想像し得る。なお、他の局面において、スピーカオブ
ジェクトに替えて、マイクの形状を有するマイクオブジェクトが配置されていてもよい。
図29は、音声信号から抽出される文字列に基づいてパノラマ画像を切り替えるための
処理を表すフローチャートである。なお、図29に示される処理のうち図24の処理と同
じ処理については同じ符号を付している。そのため、その処理についての説明は繰り返さ
ない。
されているパノラマ画像を変更するためのトリガを受け付けたか否かを判断する。たとえ
ば、プロセッサ10は、スピーカオブジェクトがユーザ190に選択された場合に、上記
トリガを受け付けて、ステップS2920の処理を実行する。そうでない場合(ステップ
S2910でNO)、プロセッサ10は、トリガを受け付けるまで待機する。
対応する音声信号の入力を受け付ける。ステップS2930にて、プロセッサ10は、音
声信号から文字列を抽出し、抽出された文字列を検索キーとしてサーバ150に送信する
。なお、他の局面において、プロセッサ10は音声信号をサーバ150に送信し、サーバ
150が音声信号から文字列を抽出するように構成されてもよい。
字列をコンピュータ200から受信する。
を受けることができる。
上述のように、ユーザ190は、ネットワーク19を介して仮想空間2上で他のユーザ
とコミュニケーションできる。このとき、ユーザ190と他のユーザは、同じパノラマ画
像を視聴している。ある局面において、ユーザ190は、他のユーザと相談しながらパノ
ラマ画像の変更を行ないたいと考え得る。その理由は、ユーザ190が勝手にパノラマ画
像22を変更することで、他のユーザが驚くことを抑制するためである。そこで、以下に
、複数のユーザの入力に基づいてパノラマ画像を変更する処理について説明する。
図である。図30に示される例において、ネットワーク19にコンピュータ200A、2
00Bが接続されている。コンピュータ200AはHMDシステム1400Aに含まれ、
コンピュータ200BはHMDシステム1400Bに含まれる。HMDシステム1400
AおよびHMDシステム1400Bの構成は、上述のHMDシステム1400と同じ構成
である。以下、HMDシステム1400Aのユーザをユーザ190A、HMDシステム1
400Bのユーザをユーザ190Bとする。また、HMDシステム1400Aに関する各
構成要素の参照符号にAが付され、HMDシステム1400Bに関する各構成要素の参照
符号にBが付される。
と、コンピュータ200Bによって提供される仮想空間2Bとは同じデータによって構成
されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空
間を共有していることになる。仮想空間2Aおよび仮想空間2Bには、ユーザ190Aに
対応するアバターオブジェクト3000Aと、ユーザ190Bに対応するアバターオブジ
ェクト3000Bとが存在する。なお、仮想空間2Aにおけるアバターオブジェクト30
00Aおよび仮想空間2Bにおけるアバターオブジェクト3000BがそれぞれHMDを
装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらの
オブジェクトはHMDを装着していない。
Aを配置する。これにより、ユーザ190Aは、仮想空間2Aにおけるアバターオブジェ
クト3000Aの視界を共有する。コンピュータ200Bは、アバターオブジェクト30
00Bの目の位置に仮想カメラ1Bを配置する。これにより、ユーザ190Bは、仮想空
間2Bにおけるアバターオブジェクト3000Bの視界を共有する。仮想空間2Aおよび
仮想空間2Bにおいて、アバターオブジェクト3000Aとアバターオブジェクト300
0Bとは互いに向かい合っている。そのため、ユーザ190Aはユーザ190Bに対応す
るアバターオブジェクト3000Bを視認し、ユーザ190Bはユーザ190Aに対応す
るアバターオブジェクト3000Aを視認する。この状態において、ユーザ190Aとユ
ーザ190Bとはコミュニケーションを行なう。
、コントローラ160Bの動きを表すデータをサーバ150を介してコンピュータ200
Aに送信する。コンピュータ200Aは、受信したデータをアバターオブジェクト300
0Bの手に反映する。これにより、ユーザ190Aは、アバターオブジェクト3000B
を介してユーザ190Bの動きを認識できる。
コンピュータ200Aに接続されているモニタ112Aに表示される。視界画像3100
は、机オブジェクト2210と、机オブジェクト2210の上に配置されるスピーカオブ
ジェクト2810と、アバターオブジェクト3000Bと、サムネイル群3110とを含
む。
動物」と発話することで検索キーをコンピュータ200Bに入力する。サーバ150は、
コンピュータ200Bから入力された検索キーに基づいて検索された複数のパノラマ画像
に対応するサムネイル群3110を、検索キーの受信元のコンピュータ200Bと、コン
ピュータ200Bと仮想空間を共有するコンピュータ200Aとに対して送信する。
これにより、ユーザ190Aは、ユーザ190Bがコンピュータ200Bに入力した検索
キーによって検索されたパノラマ画像を表すサムネイル群3110を視認する。
定するための検索キーをコンピュータ200Aに入力できる。たとえば、ユーザ190A
は、自身の注視点を表すポインタオブジェクト3120を予め定められた時間にわたりス
ピーカオブジェクト2810に重畳し、スピーカオブジェクト2810を選択する。その
後、ユーザ190Aは、「ねこ」と発話することで検索キーをコンピュータ200Aに入
力する。
に関する複数のパノラマ画像のなかから、ねこに関する一以上のパノラマ画像を検索する
。サーバ150は、検索された一以上のパノラマ画像の各々のサムネイルを生成し、コン
ピュータ200Aおよび200Bに送信する。
現在提示しているサムネイル群3110に替えて、新たに受信した一以上のサムネイルを
表示する。コンピュータ200Bもコンピュータ200Aと同様の動作を行なう。
サムネイルの中から一のサムネイルを選択する。これにより、仮想空間2Aおよび2Bに
、選択されたサムネイルに対応するパノラマ画像が展開される。
ョンを図りながら変更するパノラマ画像を決定できる。
以上に開示された技術的特徴は、以下のように要約され得る。
実行されるプログラムが提供される。このプログラムはコンピュータ200に、複数のパ
ノラマ画像に含まれる一のパノラマ画像を仮想空間2に展開するステップ(ステップS2
405)と、HMD110のユーザ190から、仮想空間2に展開されているパノラマ画
像を他のパノラマ画像に変更するためのトリガの入力を受け付けるステップ(ステップS
2415)と、トリガの入力を受け付けた後に、ユーザ190から検索キーの入力を受け
付けるステップ(ステップS2420)と、複数のパノラマ画像の中から、検索キーによ
り検索された一以上のパノラマ画像を特定するための情報を仮想空間2に提示するステッ
プ(ステップS2460)と、ユーザ190から、一以上のパノラマ画像の中から一のパ
ノラマ画像を選択する入力を受け付けるステップ(ステップS2465)と、選択された
一のパノラマ画像を仮想空間2に展開するステップ(ステップS2485)とを実行させ
る。
が、他の実施形態において、コンピュータ200が検索を行なってもよい。例えば、コン
ピュータ200は、ストレージ12に格納される複数のパノラマ画像の中から、検索キー
に基づいて一以上のパノラマ画像を検索してもよい。
、当該パノラマ画像から生成されるサムネイルを仮想空間2に提示する処理を説明したが
、他の例として、パノラマ画像に関連付けられるタイトル、タグを仮想空間2に提示して
もよい。
一以上のパノラマ画像、換言すれば、ユーザ190が所望するパノラマ画像(を特定する
情報)をユーザ190に提示できる。
された検索キーと、選択された一のパノラマ画像のパノラマ画像IDとを、コンピュータ
200と通信可能なサーバ150に送信するステップ(ステップS2430、ステップS
2470)とを実行させる。
上記によれば、ユーザ190は、例えば、興味のある物体の名称を知らない、または忘
れた場合であっても、当該物体の線図を仮想空間上で描くことによって、コンピュータ2
00に当該興味のある物体に関する検索キーを入力できる。
0の手の動きを検出するステップをさらに実行させる。上記のユーザ190から検索キー
の入力を受け付けるステップは、ユーザ190の手の動きに基づく線図を検索キーとして
受け付けることを含む。
の手の動きとして検出する。他の局面において、コンピュータ200は、図示しない赤外
線カメラによりユーザ190の手を撮影し、撮影結果に基づいてユーザ190の手の動き
を検出してもよい。このような技術は、例えば、Leap Motion社が提供するL
eap Motion(登録商標)によって実現され得る。上記によれば、ユーザ190
は、仮想空間2上で容易に線図を描くことができる。
入力オブジェクトに対してユーザ190が描いた線図を検索キーとして受け付けることを
含む。
定められた空間内(例えば、入力オブジェクト2510により囲まれる空間)にユーザ1
90が形成した立体オブジェクト(例えば、飛行機2520)の入力を受け付けることと
、立体オブジェクトを2次元化して得られる線図を検索キーとして受け付けることとを含
む。
入力できる。さらに、サーバ150またはコンピュータ200は、平面的な線図よりも情
報量の多い立体的な線図に基づいて検索を行なうことが出来るため、ユーザ190が所望
するパノラマ画像をユーザ190に提示できる可能性を高め得る。
表情を表すフェイストラッキングデータを検出するステップ(ステップS2720)をさ
らに実行させる。検索キーは、ユーザ190のフェイストラッキングデータを含む。
、当該仮想的なキーボードに基づいてユーザ190から検索キーの入力を受け付けること
も考えられる。しかしながら、仮想的なキーボードは触感がないため現実空間におけるハ
ードウェアキーボードと使用感が異なる。そのため、ユーザ190は、仮想的なキーボー
ドに対してうまく検索キーを入力できない場合もある。これに対し、ユーザ190は、単
に表情を作るだけでコンピュータ200に検索キーを入力できる。
力を受け付けることと、ユーザ190の音声から抽出された文字列を検索キーとして受け
付けることとを含む。
入力できる。
ェクトまたはマイクオブジェクトを仮想空間2に配置するステップをさらに実行させる。
トリガの入力を受け付けるステップは、スピーカオブジェクトまたはマイクオブジェクト
に対するユーザ190の予め定められた動作をトリガとして受け付けることを含む。
オブジェクトと、スピーカオブジェクトまたはマイクオブジェクトとが接触した場合に、
上記トリガの入力を受け付ける。他の局面において、コンピュータ200は、ユーザ19
0がスピーカオブジェクトまたはマイクオブジェクトを予め定められた時間にわたり見つ
めたことを検出した場合に、上記トリガの入力を受け付ける。
キーまたは当該検索キーに基づく情報と、一以上のパノラマ画像とを仮想空間2に提示す
ることを含む。
たパノラマ画像(のサムネイル)とを一緒に提示されるため、一以上のパノラマ画像の中
から自分が意図したパノラマ動画を正確に選択し得る。その結果、サーバ150またはコ
ンピュータ200は、質の高い学習用データを取得でき、学習効率を高め得る。
)のうちユーザ190が意図する可能性が最も高い内容が、検索キーに対応するか否かを
ユーザ190に問い合わせる情報であり得る。当該問い合わせに対するユーザ190の回
答を得ることで、サーバ150またはコンピュータ200は、質の高い学習用データを取
得でき、学習効率を高め得る。
ュータ200Bのユーザ190Bに対応するアバターオブジェクト3000Bを仮想空間
2に配置するステップと、複数のパノラマ画像の中から、コンピュータ200Bのユーザ
190がコンピュータ200Bに入力した検索キーにより検索された一以上のパノラマ画
像を仮想空間2に提示するステップとをさらに実行させる。
190Bが入力した検索キーに対する検索結果を確認できる。これにより、コンピュータ
200Aは、ユーザ190Aが意図せずにパノラマ画像が変更された場合に、ユーザ19
0Aが驚くことを抑制し得る。
のユーザ190Bによって入力された検索キーにより検索された一以上のパノラマ画像に
対する検索キーの入力を受け付けることを含む。
変更する処理において、互いの合意形成を行ないながら、パノラマ画像を変更し得る。
ストレージ12と、当該プログラムを実行するためのプロセッサ10とを備えるコンピュ
ータ200が提供される。
めにコンピュータ200で実行される方法が提供される。この方法は、複数のパノラマ画
像に含まれる一のパノラマ画像を仮想空間2に展開するステップ(ステップS2405)
と、HMD110のユーザ190から、仮想空間2に展開されているパノラマ画像を他の
パノラマ画像に変更するためのトリガの入力を受け付けるステップ(ステップS2415
)と、トリガの入力を受け付けた後に、ユーザ190から検索キーの入力を受け付けるス
テップ(ステップS2420)と、複数のパノラマ画像の中から、検索キーにより検索さ
れた一以上のパノラマ画像を特定するための情報を仮想空間2に提示するステップ(ステ
ップS2460)と、ユーザ190から、一以上のパノラマ画像の中から一のパノラマ画
像を選択する入力を受け付けるステップ(ステップS2465)と、選択された一のパノ
ラマ画像を仮想空間2に展開するステップ(ステップS2485)とを備える。
ータ200と通信可能なサーバ150によって実行されるプログラムが提供される。この
プログラムはサーバ150に、HMD110のモニタ112に展開されるパノラマ画像を
変更するための検索キーの入力をコンピュータ200から受け付けるステップ(ステップ
S2435)と、サーバ150のストレージ1930のパノラマ画像DB1934に格納
される複数のパノラマ画像の中から、検索キーに基づいて一以上のパノラマ画像を検索す
るステップ(ステップS2445)と、検索した一以上のパノラマ画像を特定するための
情報(例えば、サムネイル)をコンピュータ200に送信するステップ(ステップS24
50)と、一以上のパノラマ画像の中から選択された一のパノラマ画像のパノラマ画像I
Dの入力をコンピュータ200から受け付けるステップ(ステップS2475)と、パノ
ラマ画像の識別情報と検索キーとに基づいて、検索のための学習を行なうステップ(ステ
ップS2490)とを実行させる。
が所望するパノラマ画像の候補をユーザ190に提供できる。また、サーバ150は、検
索キーと、ユーザ190に選択されたパノラマ画像に関連づけられた情報(例えば、タグ
、タイトル)とに基づいて学習を行なうことにより、入力された検索キーに対してユーザ
190が所望するパノラマ画像をユーザ190に提供できる可能性を高め得る。
ノラマ画像DB1934に格納される複数のパノラマ画像の中から、検出された文字列が
関連付けられた一以上のパノラマ画像を検索することとを含む。
ッキングデータを含む。上記の検索するステップは、ユーザ190のフェイストラッキン
グデータからユーザ190の感情を推測することと、推測された感情に基づいて一以上の
パノラマ画像を検索することとを含む。
のプログラムを格納したストレージ1930と、当該プログラムを実行するためのプロセ
ッサ1920とを備えるサーバ150が提供される。
ータ200と通信可能なサーバ150によって実行される方法が提供される。この方法は
、HMD110のモニタ112に展開されるパノラマ画像を変更するための検索キーの入
力をコンピュータ200から受け付けるステップ(ステップS2435)と、サーバ15
0のストレージ1930のパノラマ画像DB1934に格納される複数のパノラマ画像の
中から、検索キーに基づいて一以上のパノラマ画像を検索するステップ(ステップS24
45)と、検索した一以上のパノラマ画像を特定するための情報(例えば、サムネイル)
をコンピュータ200に送信するステップ(ステップS2450)と、一以上のパノラマ
画像の中から選択された一のパノラマ画像のパノラマ画像IDの入力をコンピュータ20
0から受け付けるステップ(ステップS2475)と、パノラマ画像の識別情報と検索キ
ーとに基づいて、検索のための学習を行なうステップ(ステップS2490)とを備える
。
れるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され
、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図され
る。
メモリ、12,1930 ストレージ、19 ネットワーク、22 パノラマ画像、10
0,1400 HMDシステム、112 モニタ、114 センサ、115 スピーカ、
116 第1カメラ、117 第2カメラ、119 マイク、120 HMDセンサ、1
30 モーションセンサ、140 注視センサ、150 サーバ、160 コントローラ
、190 ユーザ、200 コンピュータ、220 表示制御モジュール、221 仮想
カメラ制御モジュール、222 視界領域決定モジュール、223 視界画像生成モジュ
ール、224 基準視線特定モジュール、225 音声制御モジュール、226 視線検
出モジュール、227 ハンドトラッキングモジュール、228 フェイストラッキング
モジュール、230 仮想空間制御モジュール、231 仮想空間定義モジュール、23
2 仮想オブジェクト生成モジュール、233 手オブジェクト制御モジュール、240
メモリモジュール、241 空間情報、242 オブジェクト情報、243 ユーザ情
報、244 顔情報、810 ハンドオブジェクト1120,2810 スピーカオブジ
ェクト、1130 検索キー、1140,1210,1260,2320,2350 サ
ムネイル、1200,2200,2300,2500,2800,3100 視界画像、
1923 検索エンジン、1924 物体特定部、1925 感情判断部、1926 学
習部、1934 パノラマ画像DB、1935 学習用DB、1936,1937 学習
モデル、2220,2510 入力オブジェクト、2230 ペンオブジェクト、224
0 メッセージオブジェクト、2250 軌跡オブジェクト、2310 スクリーン、2
520 飛行機、2820,3120 ポインタオブジェクト、3000A,3000B
アバターオブジェクト。
Claims (19)
- ヘッドマウントデバイスによって仮想空間を提供するためにコンピュータで実行される
プログラムであって、前記プログラムは前記コンピュータに、
予め定められた複数のパノラマ画像に含まれる一のパノラマ画像を仮想空間に展開する
ステップと、
前記ヘッドマウントデバイスのユーザから、前記仮想空間に展開されているパノラマ画
像を他のパノラマ画像に変更するためのトリガの入力を受け付けるステップと、
前記トリガの入力を受け付けた後に、前記ユーザから検索キーの入力を受け付けるステ
ップと、
前記複数のパノラマ画像の中から、前記検索キーにより検索された一以上のパノラマ画
像を特定するための情報を前記仮想空間に提示するステップと、
前記ユーザから、前記一以上のパノラマ画像の中から一のパノラマ画像を選択する入力
を受け付けるステップと、
前記選択された一のパノラマ画像を前記仮想空間に展開するステップとを実行させる、
プログラム。 - 前記プログラムは前記コンピュータに、前記入力された検索キーと、前記選択された一
のパノラマ画像の識別情報とを、前記コンピュータと通信可能な情報処理端末に送信する
ステップとを実行させる、請求項1に記載のプログラム。 - 前記検索キーは、前記ユーザが前記仮想空間で描いた線図を含む、請求項1または2に
記載のプログラム。 - 前記プログラムは前記コンピュータに、前記ユーザの手の動きを検出するステップをさ
らに実行させ、
前記ユーザから検索キーの入力を受け付けるステップは、前記ユーザの手の動きに基づ
く線図を前記検索キーとして受け付けることを含む、請求項3に記載のプログラム。 - 前記検索キーの入力を受け付けるステップは、前記仮想空間に配置された予め定められ
たオブジェクトに対して前記ユーザが描いた線図を前記検索キーとして受け付けることを
含む、請求項3または4に記載のプログラム。 - 前記検索キーをの入力受け付けるステップは、
前記仮想空間における予め定められた空間内に前記ユーザが形成した立体オブジェク
トの入力を受け付けることと、
前記立体オブジェクトを2次元化して得られる線図を前記検索キーとして受け付ける
こととを含む、請求項3または4に記載のプログラム。 - 前記プログラムは前記コンピュータに、前記ユーザの表情を表すデータを検出するステ
ップをさらに実行させ、
前記検索キーは、前記ユーザの表情を表すデータを含む、請求項1または2に記載のプ
ログラム。 - 前記検索キーの入力を受け付けるステップは、
前記ユーザの音声の入力を受け付けることと、
前記ユーザの音声から抽出された文字列を前記検索キーとして受け付けることとを含
む、請求項1または2に記載のプログラム。 - 前記プログラムは前記コンピュータに、スピーカオブジェクトまたはマイクオブジェク
トを前記仮想空間に配置するステップをさらに実行させ、
前記トリガの入力を受け付けるステップは、前記スピーカオブジェクトまたは前記マイ
クオブジェクトに対する前記ユーザの予め定められた動作を前記トリガとして受け付ける
ことを含む、請求項8に記載のプログラム。 - 前記一以上のパノラマ画像を前記仮想空間に提示するステップは、前記検索キーまたは
当該検索キーに基づく情報と、前記一以上のパノラマ画像とを前記仮想空間に提示するこ
とを含む、請求項1〜9のいずれか1項に記載のプログラム。 - 前記プログラムは前記コンピュータに、
他のコンピュータのユーザに対応するアバターオブジェクトを前記仮想空間に配置する
ステップと、
前記複数のパノラマ画像の中から、前記他のコンピュータのユーザが前記他のコンピュ
ータに入力した検索キーにより検索された一以上のパノラマ画像を前記仮想空間に提示す
るステップとをさらに実行させる、請求項1〜10のいずれか1項に記載のプログラム。 - 前記検索キーの入力を受け付けるステップは、前記他のコンピュータのユーザによって
入力された検索キーにより検索された一以上のパノラマ画像に対する検索キーの入力を受
け付けることを含む、請求項11に記載のプログラム。 - 請求項1〜11のいずれか1項に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。 - ヘッドマウントデバイスによって仮想空間を提供するためにコンピュータで実行される
方法であって、
予め定められた複数のパノラマ画像に含まれる一のパノラマ画像を仮想空間に展開する
ステップと、
前記ヘッドマウントデバイスのユーザから、前記仮想空間に展開されているパノラマ画
像を他のパノラマ画像に変更するためのトリガの入力を受け付けるステップと、
前記トリガの入力を受け付けた後に、前記ユーザから検索キーの入力を受け付けるステ
ップと、
前記複数のパノラマ画像の中から、前記検索キーにより検索された一以上のパノラマ画
像を特定するための情報を前記仮想空間に提示するステップと、
前記ユーザから、前記一以上のパノラマ画像の中から一のパノラマ画像を選択する入力
を受け付けるステップと、
前記選択された一のパノラマ画像を前記仮想空間に展開するステップと、
前記入力された検索キーと、前記選択された一のパノラマ画像の識別情報とを、前記コ
ンピュータと通信可能な情報処理端末に送信するステップとを備える、方法。 - ヘッドマウントデバイスに仮想空間を提供する情報処理端末と通信可能なコンピュータ
によって実行されるプログラムであって、
前記プログラムは前記コンピュータに、
前記ヘッドマウントデバイスのディスプレイに展開されるパノラマ画像を変更するため
の検索キーの入力を前記情報処理端末から受け付けるステップと、
前記コンピュータのメモリに格納される複数のパノラマ画像の中から、前記検索キーに
基づいて一以上のパノラマ画像を検索するステップと、
前記検索した一以上のパノラマ画像を特定するための情報を前記情報処理端末に送信す
るステップと、
前記一以上のパノラマ画像の中から選択された一のパノラマ画像の識別情報の入力を前
記情報処理端末から受け付けるステップと、
前記パノラマ画像の識別情報と前記検索キーとに基づいて、前記検索のための学習を行
なうステップとを実行させる、プログラム。 - 前記検索するステップは、
前記検索キーから文字列を検出することと、
前記メモリに格納される複数のパノラマ画像の中から、前記検出された文字列が関連
付けられた一以上のパノラマ画像を検索することとを含む、請求項15に記載のプログラ
ム。 - 前記検索キーは、前記情報処理端末のユーザの表情を表すデータを含み、
前記検索するステップは、
前記ユーザの表情を表すデータから前記ユーザの感情を推測することと、
前記推測された感情に基づいて前記一以上のパノラマ画像を検索することとを含む、
請求項15に記載のプログラム。 - 請求項15〜17のいずれか1項に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。 - ヘッドマウントデバイスに仮想空間を提供する情報処理端末と通信可能なコンピュータ
によって実行される方法であって、
前記ヘッドマウントデバイスのディスプレイに展開されるパノラマ画像を変更するため
の検索キーの入力を前記情報処理端末から受け付けるステップと、
前記コンピュータのメモリに格納される複数のパノラマ画像の中から、前記検索キーに
基づいて一以上のパノラマ画像を検索するステップと、
前記検索した一以上のパノラマ画像を特定するための情報を前記情報処理端末に送信す
るステップと、
前記一以上のパノラマ画像の中から選択された一のパノラマ画像の識別情報の入力を前
記情報処理端末から受け付けるステップと、
前記パノラマ画像の識別情報と前記検索キーとに基づいて、前記検索のための学習を行
なうステップとを備える、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019040931A JP6911070B2 (ja) | 2017-09-04 | 2019-03-06 | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017169613A JP6495399B2 (ja) | 2017-09-04 | 2017-09-04 | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
JP2019040931A JP6911070B2 (ja) | 2017-09-04 | 2019-03-06 | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017169613A Division JP6495399B2 (ja) | 2017-09-04 | 2017-09-04 | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019135655A true JP2019135655A (ja) | 2019-08-15 |
JP2019135655A5 JP2019135655A5 (ja) | 2021-04-22 |
JP6911070B2 JP6911070B2 (ja) | 2021-07-28 |
Family
ID=67624207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019040931A Active JP6911070B2 (ja) | 2017-09-04 | 2019-03-06 | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6911070B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05314240A (ja) * | 1992-05-11 | 1993-11-26 | Sony Corp | 三次元形状データ表示方法 |
JPH0785084A (ja) * | 1993-09-10 | 1995-03-31 | Toshiba Corp | 画像記憶システムおよび画像検索システム |
JP2008263274A (ja) * | 2007-04-10 | 2008-10-30 | Sony Corp | 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム |
JP2009087034A (ja) * | 2007-09-28 | 2009-04-23 | Sega Corp | 仮想空間提供システム、仮想空間提供サーバ、仮想空間提供方法及び仮想空間提供プログラム |
JP2010146099A (ja) * | 2008-12-16 | 2010-07-01 | Fujitsu Ltd | 画像検索プログラム、画像検索方法及び記録媒体 |
JP2010211172A (ja) * | 2009-02-10 | 2010-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識コミュニケーション支援システム、及び音声認識コミュニケーション支援方法 |
JP2013055606A (ja) * | 2011-09-06 | 2013-03-21 | Nikon Corp | 画像表示システム、画像表示装置、及びプログラム |
-
2019
- 2019-03-06 JP JP2019040931A patent/JP6911070B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05314240A (ja) * | 1992-05-11 | 1993-11-26 | Sony Corp | 三次元形状データ表示方法 |
JPH0785084A (ja) * | 1993-09-10 | 1995-03-31 | Toshiba Corp | 画像記憶システムおよび画像検索システム |
JP2008263274A (ja) * | 2007-04-10 | 2008-10-30 | Sony Corp | 画像保存処理装置、画像検索装置、画像保存処理方法、画像検索方法、プログラム |
JP2009087034A (ja) * | 2007-09-28 | 2009-04-23 | Sega Corp | 仮想空間提供システム、仮想空間提供サーバ、仮想空間提供方法及び仮想空間提供プログラム |
JP2010146099A (ja) * | 2008-12-16 | 2010-07-01 | Fujitsu Ltd | 画像検索プログラム、画像検索方法及び記録媒体 |
JP2010211172A (ja) * | 2009-02-10 | 2010-09-24 | Nippon Telegr & Teleph Corp <Ntt> | 音声認識コミュニケーション支援システム、及び音声認識コミュニケーション支援方法 |
JP2013055606A (ja) * | 2011-09-06 | 2013-03-21 | Nikon Corp | 画像表示システム、画像表示装置、及びプログラム |
Non-Patent Citations (1)
Title |
---|
久森 隆史 他: "データマイニングを用いたスケッチ画像検索", 電子情報通信学会技術研究報告, vol. 第108巻 第263号, JPN6021024361, 16 October 2008 (2008-10-16), JP, pages 73 - 78, ISSN: 0004538431 * |
Also Published As
Publication number | Publication date |
---|---|
JP6911070B2 (ja) | 2021-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6263252B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
JP6244593B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US10341612B2 (en) | Method for providing virtual space, and system for executing the method | |
US20180165862A1 (en) | Method for communication via virtual space, program for executing the method on a computer, and information processing device for executing the program | |
US10545339B2 (en) | Information processing method and information processing system | |
US20190026950A1 (en) | Program executed on a computer for providing virtual space, method and information processing apparatus for executing the program | |
US10894211B2 (en) | Information processing method, apparatus, and system for executing the information processing method | |
JP6290467B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
US20190005732A1 (en) | Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program | |
JP6201028B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
US20180190010A1 (en) | Method for providing virtual space, program for executing the method on computer, and information processing apparatus for executing the program | |
JP7394158B2 (ja) | ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置 | |
JP6495399B2 (ja) | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP2018125003A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2018124981A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6225242B1 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP2021101358A (ja) | 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2019030638A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018092635A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2018109937A (ja) | 情報処理方法、装置、情報処理システム、および当該情報処理方法をコンピュータに実行させるプログラム | |
JP6911070B2 (ja) | 仮想空間を提供するためにコンピュータで実行されるプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP2018092592A (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP6623199B2 (ja) | ヘッドマウントデバイスを用いて仮想現実を提供するためにコンピュータで実行されるプログラムおよび情報処理装置 | |
JP6392832B2 (ja) | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210707 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6911070 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |