JP2019012443A - ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 - Google Patents
ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 Download PDFInfo
- Publication number
- JP2019012443A JP2019012443A JP2017129088A JP2017129088A JP2019012443A JP 2019012443 A JP2019012443 A JP 2019012443A JP 2017129088 A JP2017129088 A JP 2017129088A JP 2017129088 A JP2017129088 A JP 2017129088A JP 2019012443 A JP2019012443 A JP 2019012443A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- timing
- computer
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 74
- 230000010365 information processing Effects 0.000 title claims 2
- 230000005236 sound signal Effects 0.000 claims description 50
- 230000000007 visual effect Effects 0.000 claims description 50
- 238000001514 detection method Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 230000008921 facial expression Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 61
- 210000000214 mouth Anatomy 0.000 description 43
- 230000033001 locomotion Effects 0.000 description 40
- 210000001508 eye Anatomy 0.000 description 35
- 238000012545 processing Methods 0.000 description 31
- 238000004891 communication Methods 0.000 description 28
- 230000008451 emotion Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 22
- 210000000056 organ Anatomy 0.000 description 20
- 230000008859 change Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 12
- 210000004709 eyebrow Anatomy 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 210000001331 nose Anatomy 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 235000013351 cheese Nutrition 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000002356 skeleton Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Abstract
Description
図1は、本開示の技術思想を説明するための図である。図1を参照して、コンピュータ200は、ユーザ190が装着しているHMD(Head-Mounted Device)110に仮想空間2を提供している。コンピュータ200は、仮想空間2にパノラマ画像22を展開している。図1の例において、パノラマ画像22は動画像である。
図2を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図2は、HMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
図3を参照して、本実施形態に係るコンピュータ200について説明する。図3は、ある局面に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14とを備える。各構成要素は、それぞれ、バス15に接続されている。
図4を参照して、uvw視野座標系について説明する。図4は、ある実施形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
図5を参照して、仮想空間についてさらに説明する。図5は、ある実施形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図5では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間2に展開可能なパノラマ画像22(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付ける。
図6を参照して、ユーザの視線の決定について説明する。図6は、HMD110を装着するユーザ190の頭部を上から見た図である。
図7および図8を参照して、視認領域23について説明する。図7は、仮想空間2において視認領域23をX方向から見たYZ断面を表す図である。図8は、仮想空間2において視認領域23をY方向から見たXZ断面を表す図である。
図9を参照して、HMD110の制御装置について説明する。ある実施形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図9は、ある実施形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
次に、図10を用いて実施形態に係るコンピュータ200の制御構造について説明する。図10は、HMDシステム100が実行する処理を表わすフローチャートである。
図11Aおよび図11Bを参照して、実施形態に従うアバターオブジェクトについて説明する。以下、HMDセット105Aのユーザをユーザ190A、HMDセット105Bのユーザをユーザ190B、HMDセット105Cのユーザをユーザ190C、HMDセット105Dのユーザをユーザ190Dと表す。また、HMDセット105Aに関する各構成要素の参照符号にAが付され、HMDセット105Bに関する各構成要素の参照符号にBが付され、HMDセット105Cに関する各構成要素の参照符号にCが付され、HMDセット105Dに関する各構成要素の参照符号にDが付される。例えば、HMD110Aは、HMDセット105Aに含まれる。
以下、図12〜図14を参照して、ユーザの表情(顔の動き)を検出するための具体例について説明する。図12〜図14では、一例として、ユーザ190の口の動きを検出する具体例について説明する。なお、図12〜図14で説明される検出方法は、ユーザ190の口の動きに限られず、ユーザ190の顔を構成する他の器官(例えば、目、眉、鼻、頬)の動きの検出にも適用され得る。
図16は、サーバ150のハードウェア構成およびモジュール構成を説明する図である。ある実施形態において、サーバ150は、主たるハードウェアとして通信インターフェイス1610と、プロセッサ1620と、ストレージ1630とを備える。
次に図17および図18を用いて、ユーザ190Aの音声に基づく自動撮影処理を説明する。図17は、ある局面においてモニタ112Aに表示される視界画像1700を表す。視界画像1700は、市街風景を表すパノラマ画像22の一部と、アバターオブジェクト1100Bと、カメラオブジェクト1710とコメントオブジェクト1721〜1723とを含む。なお、図17に示される例においてカメラオブジェクト1710は、カメラの形状をしているが、他の局面において、カメラ以外の形状であってもよい。
ある実施形態に従う撮影制御モジュール235Aは、マイク119Aから入力される音声信号のレベル(振幅)が予め定められたレベル以上になった場合に、撮影タイミングを検出する。ユーザ190Aが大きな声を出している時、ユーザ190Aは、パノラマ画像22に展開されるコンテンツまたはユーザ190Bとの会話によって興奮している可能性が高いためである。
ある実施形態に従う撮影制御モジュール235Aは、マイク119Aから入力される音声信号から文字列を抽出する。一例として、撮影制御モジュール235Aは、音声信号の先頭から予め定められた時間単位(たとえば、10msec単位)で区切られる波形データと、ストレージ12Aに格納される音響モデル(図示しない)とを照合して、文字列を抽出する。音響モデルは、母音や子音などの音素ごとの特徴量を表す。一例として、プロセッサ10Aは、隠れマルコフモデルに基づき、音声信号と音響モデルとを照合する。
ある実施形態に従う感情判断モジュール236Aは、入力された音声信号からユーザ190Aの感情を推定する。例えば、感情判断モジュール236Aは、音声信号から文字列を抽出して、当該文字列から感情を推定する。このような処理は、例えば、メタデータ社が提供する「感情解析API」により実現され得る。他の局面において、感情判断モジュール236Aは、音声信号の波形から感情を推定する。このような処理は、例えば、AGI社が提供する「ST Emotion SDK」により実現され得る。
図18は、音声に基づく自動撮影処理の一例を表すフローチャートである。図18に示される処理は、プロセッサ10Aがメモリ11Aまたはストレージ12Aに格納される制御プログラムを読み込んで実行することにより実現される。
上記の例において、撮影制御モジュール235Aは、アバターオブジェクト1100Aの視線方向とカメラオブジェクト1710の撮影方向とが向かい合うようにカメラオブジェクト1710を仮想空間2Aに配置するように構成されている(ステップS1850)。
上記の例では、プロセッサ10Aは、音声信号に基づいて撮影タイミングを検出するように構成されている。他の局面において、プロセッサ10Aは、フェイストラッキングデータ(ユーザ190Aの表情)に基づいて撮影タイミングを検出する。図22および23を用いてこの処理を説明する。
図23は、フェイストラッキングデータに基づく自動撮影処理の一例を表すフローチャートである。なお、図23に示される処理のうち上述の処理には同じ符号を付している。そのため、それらの処理については繰り返し説明しない。
上記の例では、コンピュータ200Aがユーザ190Aの動作(発話、表情の動き)に基づいて自動撮影処理を行なうように構成されている。他の局面において、サーバ150は、ユーザ190Aとは異なる1以上の他のユーザ(例えばユーザ190B〜190D)のパノラマ画像22に関する履歴情報に基づいて、パノラマ画像22の中から他のユーザが関心を示した場所とタイミングとを検出する。サーバ150は、検出した情報をコンピュータ200Aに送信する。コンピュータ200Aは、サーバ150から受信した情報に基づいて自動撮影処理を行なう。
図24は、ユーザ190Aが仮想空間2Aで能動的に撮影を行なう様子を表すための図である。視界画像2400は、アバターオブジェクト1100Aの手1110Aと、スクリーンオブジェクト2410とを含む。
図26は、視点履歴DB1642のデータ構造の一例を表す。視点履歴DB1642は、パノラマ画像IDと、ユーザIDと、視点位置と、タイミングとを含む。
図17を参照して、パノラマ画像1700は、コメントオブジェクト1721〜1723を含む。各コンピュータ200は、パノラマ動画像の任意のタイミング(図17の例ではパノラマ画像1700が表示されているタイミング)および位置で、ユーザ190からコメントの入力を受け付ける。各コンピュータ200は、入力されたコメントと、パノラマ動画像の再生開始を起点としてコメントが投稿されたタイミング(投稿タイミング)と、コメントが投稿された位置(コメント位置)とをサーバ150に送信する。サーバ150のプロセッサ1620は、各コンピュータ200から受信した情報に基づいて、コメントDB1644を更新する。
図29は、サーバ150が撮影タイミングを検出する処理の概要を表すフローチャートである。ステップS2905において、サーバ150のプロセッサ1620は、コンピュータ200Aからパノラマ画像の指定を受け付ける。一例として、プロセッサ1620は、コンピュータ200Aからパノラマ画像IDの指定を受け付ける。
上記の例では、コンピュータ200Aは、コンピュータ200Aのユーザ190Aに対応するアバターオブジェクト1100Aを含む画像を自動的に生成するように構成されている。ある局面においてユーザ190Aは、仮想空間2A上で他のユーザ190とコミュニケーションを図る。この場合、ユーザ190Aは、自身のアバターオブジェクト1100Aだけでなく、他のユーザ190に対応するアバターオブジェクトも含む画像を自動生成して欲しいと考え得る。そこで、以下に、他のユーザのアバターオブジェクトを含む画像を自動的に生成する処理について説明する。
図32は、プロセッサ10Aが、コンピュータ200Bと通信している状態においてアバターオブジェクト1100Bを含む画像を自動的に生成する処理を表すフローチャートである。図32に示される処理のうち上述と同じ処理については同じ符号を付している。そのため、その処理についての説明は繰り返さない。
以上に開示された技術的特徴は、以下のように要約され得る。
Claims (19)
- ヘッドマウントデバイスによって仮想空間を提供するためにコンピュータで実行されるプログラムであって、前記プログラムは前記コンピュータに、
仮想空間を定義するステップと、
前記ヘッドマウントデバイスのユーザに対応するアバターオブジェクトを前記仮想空間に配置するステップと、
撮影機能を有するカメラオブジェクトを、当該カメラオブジェクトの撮影範囲に前記アバターオブジェクトの少なくとも一部が含まれるように前記仮想空間に配置するステップと、
前記仮想空間における撮影に適したタイミングと前記カメラオブジェクトの位置とを前記ユーザに通知するステップと、
前記通知後に、前記カメラオブジェクトの撮影範囲に対応する画像を生成するステップとを実行させる、プログラム。 - 前記プログラムは前記コンピュータに、前記ユーザの発話に対応する音声信号の入力を受け付けるステップをさらに実行させ、
前記通知するステップは、前記音声信号に基づいて前記タイミングを前記ユーザに通知することを含む、請求項1に記載のプログラム。 - 前記通知するステップは、前記音声信号のレベルが予め定められたレベル以上である場合に前記タイミングを前記ユーザに通知することを含む、請求項2に記載のプログラム。
- 前記通知するステップは、
前記音声信号から文字列を抽出することと、
前記抽出された文字列が予め定められた文字列を含む場合に前記タイミングを前記ユーザに通知することを含む、請求項2または3に記載のプログラム。 - 前記プログラムは前記コンピュータに、
前記コンピュータと通信可能な他コンピュータのユーザに対応する他アバターオブジェクトを前記仮想空間に配置するステップと、
前記他コンピュータのユーザに対応する他音声信号の入力を受け付けるステップとをさらに実行させ、
前記カメラオブジェクトを前記仮想空間に配置するステップは、当該カメラオブジェクトの撮影範囲に前記アバターオブジェクトおよび前記他アバターオブジェクトの各々の少なくとも一部が含まれるように前記カメラオブジェクトを前記仮想空間に配置することを含み、
前記通知するステップは、
前記音声信号と前記他音声信号とに基づいて前記タイミングを前記ユーザに通知することと、
前記他コンピュータに当該タイミングを表す情報と前記カメラオブジェクトの位置を表す情報とを送信することとを含む、請求項2〜4のいずれか1項に記載のプログラム。 - 前記プログラムは前記コンピュータに、前記アバターオブジェクトと前記他アバターオブジェクトとの間隔を算出するステップをさらに実行させ、
前記通知するステップは、前記算出された間隔が予め定められた間隔未満である場合に、前記音声信号と前記他音声信号とに基づいて前記タイミングを前記ユーザに通知することを含む、請求項5に記載のプログラム。 - 前記通知するステップは、前記音声信号および前記他音声信号が予め定められたレベルを超えた場合に前記タイミングを前記ユーザに通知することを含む、請求項5または6に記載のプログラム。
- 前記プログラムは前記コンピュータに、前記ユーザの表情を表すフェイストラッキングデータの入力を受け付けるステップをさらに実行させ、
前記通知するステップは、前記フェイストラッキングデータに基づいて前記タイミングを前記ユーザに通知することを含む、請求項1〜7のいずれか1項に記載のプログラム。 - 前記プログラムは前記コンピュータに、前記フェイストラッキングデータとの比較に用いられる基準データの入力を受け付けるステップをさらに実行させ、
前記フェイストラッキングデータに基づいて前記タイミングを前記ユーザに通知することは、フェイストラッキングデータの前記基準データに対する変動量が予め定められた変動量を超えた場合に前記タイミングを前記ユーザに通知することを含む、請求項8に記載のプログラム。 - 前記プログラムは前記コンピュータに、
前記仮想空間にパノラマ動画像を展開するステップと、
前記ユーザとは異なる1以上の他ユーザの前記パノラマ動画像に関する履歴情報の入力を受け付けるステップと、
前記履歴情報に基づいて前記パノラマ動画像の中から前記他ユーザが関心を示した関心場所と関心タイミングとを検出するステップとをさらに実行させ、
前記通知するステップは、前記関心タイミングを前記ユーザに通知することを含み、
前記カメラオブジェクトを前記仮想空間に配置するステップは、前記カメラオブジェクトの撮影範囲に前記関心場所を含むように前記カメラオブジェクトを配置することを含む、請求項1〜9のいずれか1項に記載のプログラム。 - 前記履歴情報の入力を受け付けるステップは、前記ユーザの属性により選定される他ユーザの履歴情報の入力を受け付けることを含む、請求項10に記載のプログラム。
- 前記履歴情報は、前記パノラマ動画像が展開される仮想空間において前記他ユーザが撮影を行なった際の、撮影タイミングおよび前記パノラマ動画像における撮影位置を含み、
前記検出するステップは、前記撮影タイミングと前記撮影位置とに基づいて前記関心場所と前記関心タイミングとを検出することを含む、請求項10または11に記載のプログラム。 - 前記履歴情報は、複数の前記他ユーザの各々の、前記パノラマ動画像における視点位置と当該視点位置に対応するタイミングとを含み、
前記検出するステップは、前記視点位置と、当該視点位置に対応するタイミングとに基づいて、前記関心場所と前記関心タイミングとを検出することを含む、請求項10〜12のいずれか1項に記載のプログラム。 - 前記履歴情報は、前記パノラマ動画像において複数の前記他ユーザの各々がコメントを投稿した投稿タイミングと、当該コメントが配置されるコメント位置とを含み、
前記検出するステップは、前記投稿タイミングと前記コメント位置とに基づいて、前記関心場所と前記関心タイミングとを検出することを含む、請求項10〜13のいずれか1項に記載のプログラム。 - 前記プログラムは前記コンピュータに、
前記仮想空間にパノラマ動画像を展開するステップと、
前記ユーザとは異なる1以上の他ユーザが前記パノラマ動画像において関心を示した関心場所と関心タイミングとの入力を受け付けるステップと、
前記通知するステップは、前記入力を受け付けた関心タイミングを前記ユーザに通知することを含み、
前記カメラオブジェクトを前記仮想空間に配置するステップは、前記カメラオブジェクトの撮影範囲に前記関心場所を含むように前記カメラオブジェクトを配置することを含む、請求項1〜9のいずれか1項に記載のプログラム。 - 前記カメラオブジェクトの位置を前記ユーザに通知することは、聴覚的または視覚的に通知することを含む、請求項1〜15のいずれか1項に記載のプログラム。
- 前記画像を生成するステップは、前記アバターオブジェクトが前記カメラオブジェクトを向いていることを検出したことに基づいて、前記画像を生成することを含む、請求項1〜16のいずれか1項に記載のプログラム。
- 請求項1〜17のいずれか1項に記載のプログラムを格納したメモリと、
前記プログラムを実行するためのプロセッサとを備える、情報処理装置。 - ヘッドマウントデバイスによって仮想空間を提供するためにコンピュータで実行される方法であって、
仮想空間を定義するステップと、
前記ヘッドマウントデバイスのユーザに対応するアバターオブジェクトを前記仮想空間に配置するステップと、
撮影機能を有するカメラオブジェクトを、当該カメラオブジェクトの撮影範囲に前記アバターオブジェクトの少なくとも一部が含まれるように前記仮想空間に配置するステップと、
前記仮想空間における撮影に適したタイミングと前記カメラオブジェクトの位置とを前記ユーザに通知するステップと、
前記通知後に、前記カメラオブジェクトの撮影範囲に対応する画像を生成するステップとを備える、方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129088A JP6298563B1 (ja) | 2017-06-30 | 2017-06-30 | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
US16/022,810 US20190005732A1 (en) | 2017-06-30 | 2018-06-29 | Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129088A JP6298563B1 (ja) | 2017-06-30 | 2017-06-30 | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018031378A Division JP2019012509A (ja) | 2018-02-23 | 2018-02-23 | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6298563B1 JP6298563B1 (ja) | 2018-03-20 |
JP2019012443A true JP2019012443A (ja) | 2019-01-24 |
Family
ID=61629130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017129088A Active JP6298563B1 (ja) | 2017-06-30 | 2017-06-30 | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20190005732A1 (ja) |
JP (1) | JP6298563B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022539420A (ja) * | 2019-07-04 | 2022-09-08 | アニペン インコーポレイテッド | 使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019012509A (ja) * | 2018-02-23 | 2019-01-24 | 株式会社コロプラ | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
JP6826082B2 (ja) * | 2018-08-31 | 2021-02-03 | 株式会社コロプラ | プログラム、情報処理装置、および方法 |
JP7182990B2 (ja) * | 2018-10-15 | 2022-12-05 | 東京瓦斯株式会社 | 情報処理システムおよびプログラム |
JP7341674B2 (ja) * | 2019-02-27 | 2023-09-11 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
KR20210012724A (ko) * | 2019-07-26 | 2021-02-03 | 삼성전자주식회사 | 아바타를 제공하는 전자 장치 및 그의 동작 방법 |
US20240029331A1 (en) * | 2022-07-22 | 2024-01-25 | Meta Platforms Technologies, Llc | Expression transfer to stylized avatars |
WO2024090914A1 (ko) * | 2022-10-25 | 2024-05-02 | 삼성전자주식회사 | 가상 객체의 변경을 표시하기 위한 전자 장치 및 그 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070821A (ja) * | 2002-08-08 | 2004-03-04 | Sega Corp | ネットワークシステムの制御方法 |
JP2009176025A (ja) * | 2008-01-24 | 2009-08-06 | Panasonic Corp | 仮想空間コミュニケーションシステムおよび仮想空間撮影方法 |
WO2016063622A1 (ja) * | 2014-10-24 | 2016-04-28 | 株式会社ソニー・コンピュータエンタテインメント | キャプチャ装置、キャプチャ方法、プログラム及び情報記憶媒体 |
JP2016123517A (ja) * | 2014-12-26 | 2016-07-11 | 株式会社バンダイナムコエンターテインメント | プログラム及びコンピュータシステム |
JP2017093946A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社コロプラ | 画像表示方法及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170148267A1 (en) * | 2015-11-25 | 2017-05-25 | Joseph William PARKER | Celebrity chase virtual world game system and method |
US10602133B2 (en) * | 2016-10-04 | 2020-03-24 | Facebook, Inc. | Controls and interfaces for user interactions in virtual spaces |
-
2017
- 2017-06-30 JP JP2017129088A patent/JP6298563B1/ja active Active
-
2018
- 2018-06-29 US US16/022,810 patent/US20190005732A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004070821A (ja) * | 2002-08-08 | 2004-03-04 | Sega Corp | ネットワークシステムの制御方法 |
JP2009176025A (ja) * | 2008-01-24 | 2009-08-06 | Panasonic Corp | 仮想空間コミュニケーションシステムおよび仮想空間撮影方法 |
WO2016063622A1 (ja) * | 2014-10-24 | 2016-04-28 | 株式会社ソニー・コンピュータエンタテインメント | キャプチャ装置、キャプチャ方法、プログラム及び情報記憶媒体 |
JP2016123517A (ja) * | 2014-12-26 | 2016-07-11 | 株式会社バンダイナムコエンターテインメント | プログラム及びコンピュータシステム |
JP2017093946A (ja) * | 2015-11-27 | 2017-06-01 | 株式会社コロプラ | 画像表示方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
""Oculus、VR自撮り棒とアバターのデモを披露"", [ONLINE], JPN7017003748, 14 April 2016 (2016-04-14), ISSN: 0003700522 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022539420A (ja) * | 2019-07-04 | 2022-09-08 | アニペン インコーポレイテッド | 使用者間の経験共有を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6298563B1 (ja) | 2018-03-20 |
US20190005732A1 (en) | 2019-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6298563B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP6266736B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6240301B1 (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
JP6298561B1 (ja) | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 | |
US10262461B2 (en) | Information processing method and apparatus, and program for executing the information processing method on computer | |
JP6470356B2 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
US10545339B2 (en) | Information processing method and information processing system | |
US10546407B2 (en) | Information processing method and system for executing the information processing method | |
US20190005731A1 (en) | Program executed on computer for providing virtual space, information processing apparatus, and method of providing virtual space | |
JP6342024B1 (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP6392945B1 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6470859B1 (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP7394158B2 (ja) | ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置 | |
JP6947661B2 (ja) | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 | |
JP2019128721A (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP6470387B1 (ja) | ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 | |
US20180373884A1 (en) | Method of providing contents, program for executing the method on computer, and apparatus for providing the contents | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
JP2019021324A (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6826082B2 (ja) | プログラム、情報処理装置、および方法 | |
JP2018190390A (ja) | 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2018097879A (ja) | 仮想空間を介して通信するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 | |
JP2019160295A (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP7438786B2 (ja) | プログラム、情報処理方法、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180126 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6298563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |