〔実施形態1〕
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。
[Embodiment 1]
Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated. In one or more of the embodiments presented in this disclosure, elements of each embodiment may be combined with each other, and the combined result shall also form part of the embodiments presented in this disclosure.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[Configuration of HMD system]
A configuration of an HMD (Head-Mounted Device) system 100 will be described with reference to FIG. FIG. 1 is a diagram showing a schematic configuration of an HMD system 100 according to this embodiment. The HMD system 100 is provided as a system for home use or as a system for business use.
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
HMD system 100 includes server 600 , HMD sets 110 A, 110 B, 110 C, and 110 D, external device 700 , and network 2 . Each of HMD sets 110A, 110B, 110C, and 110D is configured to communicate with server 600 and external device 700 via network 2 . Hereinafter, the HMD sets 110A, 110B, 110C, and 110D are collectively referred to as the HMD set 110 as well. The number of HMD sets 110 configuring the HMD system 100 is not limited to four, and may be three or less or five or more. HMD set 110 includes HMD 120 , computer 200 , HMD sensor 410 , display 430 and controller 300 . HMD 120 includes monitor 130 , gaze sensor 140 , first camera 150 , second camera 160 , microphone 170 , and speaker 180 . Controller 300 may include motion sensor 420 .
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
In one aspect, computer 200 is connectable to network 2 such as the Internet, and is capable of communicating with server 600 and other computers connected to network 2 . Other computers include, for example, computers of other HMD sets 110 and external devices 700 . In another aspect, HMD 120 may include sensor 190 instead of HMD sensor 410 .
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 120 can be worn on the head of the user 5 and provide the user 5 with a virtual space during operation. More specifically, HMD 120 displays a right-eye image and a left-eye image on monitor 130 . When each eye of the user 5 views the respective image, the user 5 can perceive the image as a three-dimensional image based on the parallax of both eyes. The HMD 120 may include both a so-called head-mounted display having a monitor and a head-mounted device on which a smartphone or other terminal having a monitor can be attached.
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The monitor 130 is implemented as, for example, a non-transmissive display device. In one aspect, the monitor 130 is arranged on the main body of the HMD 120 so as to be positioned in front of both eyes of the user 5 . Therefore, the user 5 can immerse himself in the virtual space by viewing the three-dimensional image displayed on the monitor 130 . In one aspect, the virtual space includes images of, for example, a background, objects that the user 5 can manipulate, and menus that the user 5 can select. In one aspect, the monitor 130 can be realized as a liquid crystal monitor or an organic EL (Electro Luminescence) monitor provided in a so-called smart phone or other information display terminal.
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, monitor 130 may be implemented as a transmissive display. In this case, the HMD 120 may be an open type, such as a glasses type, instead of a closed type that covers the eyes of the user 5 as shown in FIG. Transmissive monitor 130 may be temporarily configurable as a non-transmissive display by adjusting its transmittance. The monitor 130 may include a configuration for simultaneously displaying a portion of the image forming the virtual space and the real space. For example, the monitor 130 may display an image of the real space captured by a camera mounted on the HMD 120, or may make the real space visible by setting a partial transmittance high.
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, monitor 130 may include a sub-monitor for displaying images for the right eye and a sub-monitor for displaying images for the left eye. In another aspect, the monitor 130 may be configured to display the image for the right eye and the image for the left eye as one. In this case, monitor 130 includes a high speed shutter. The high speed shutter operates to alternately display the right eye image and the left eye image so that the image is perceived by only one eye.
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
In one aspect, the HMD 120 includes multiple light sources (not shown). Each light source is implemented by, for example, an LED (Light Emitting Diode) that emits infrared rays. HMD sensor 410 has a position tracking function for detecting movement of HMD 120 . More specifically, HMD sensor 410 reads a plurality of infrared rays emitted by HMD 120 and detects the position and tilt of HMD 120 in the physical space.
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
In another aspect, HMD sensor 410 may be implemented by a camera. In this case, the HMD sensor 410 can detect the position and tilt of the HMD 120 by executing image analysis processing using the image information of the HMD 120 output from the camera.
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
In another aspect, HMD 120 may include sensor 190 instead of HMD sensor 410 or in addition to HMD sensor 410 as a position detector. HMD 120 can detect the position and tilt of HMD 120 using sensor 190 . For example, if sensor 190 is an angular velocity sensor, a geomagnetic sensor, or an acceleration sensor, HMD 120 can detect its own position and tilt using any of these sensors instead of HMD sensor 410 . As an example, when the sensor 190 is an angular velocity sensor, the angular velocity sensor temporally detects angular velocities around three axes of the HMD 120 in real space. The HMD 120 calculates temporal changes in angles around the three axes of the HMD 120 based on the angular velocities, and further calculates the tilt of the HMD 120 based on the temporal changes in the angles.
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
Gaze sensor 140 detects the directions in which the user's 5 right and left eyes are directed. That is, the gaze sensor 140 detects the line of sight of the user 5 . Detection of the line-of-sight direction is achieved by, for example, a known eye-tracking function. Gaze sensor 140 is realized by a sensor having the eye tracking function. In one aspect, gaze sensor 140 preferably includes a right eye sensor and a left eye sensor. The gaze sensor 140 may be, for example, a sensor that irradiates the right and left eyes of the user 5 with infrared rays and receives reflected light from the cornea and iris of the irradiated light, thereby detecting the rotation angle of each eyeball. The gaze sensor 140 can detect the line of sight of the user 5 based on each detected rotation angle.
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
The first camera 150 photographs the lower part of the user's 5 face. More specifically, first camera 150 captures the nose, mouth, and the like of user 5 . The second camera 160 photographs the eyes, eyebrows, etc. of the user 5 . The housing of the HMD 120 on the side of the user 5 is defined as the inside of the HMD 120 , and the housing of the HMD 120 on the side opposite to the user 5 is defined as the outside of the HMD 120 . In one aspect, first camera 150 may be positioned outside HMD 120 and second camera 160 may be positioned inside HMD 120 . Images generated by first camera 150 and second camera 160 are input to computer 200 . In another aspect, the first camera 150 and the second camera 160 may be realized as one camera, and the face of the user 5 may be photographed with this one camera.
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
The microphone 170 converts the speech of the user 5 into an audio signal (electrical signal) and outputs it to the computer 200 . The speaker 180 converts the audio signal into audio and outputs it to the user 5 . In another aspect, HMD 120 may include earphones instead of speaker 180 .
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The controller 300 is connected to the computer 200 by wire or wirelessly. The controller 300 accepts command input from the user 5 to the computer 200 . In one aspect, controller 300 is configured to be grippable by user 5 . In another aspect, controller 300 is configured to be attachable to part of user's 5 body or clothing. In yet another aspect, controller 300 may be configured to output at least one of vibration, sound, and light based on signals transmitted from computer 200 . In yet another aspect, controller 300 receives an operation from user 5 for controlling the position and movement of an object placed in the virtual space.
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
In one aspect, controller 300 includes multiple light sources. Each light source is implemented, for example, by an LED that emits infrared rays. The HMD sensor 410 has a position tracking function. In this case, the HMD sensor 410 reads multiple infrared rays emitted by the controller 300 and detects the position and tilt of the controller 300 in the physical space. In another aspect, HMD sensor 410 may be implemented by a camera. In this case, the HMD sensor 410 can detect the position and tilt of the controller 300 by executing image analysis processing using the image information of the controller 300 output from the camera.
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
Motion sensor 420 , in one aspect, is attached to the hand of user 5 to detect movement of the hand of user 5 . For example, the motion sensor 420 detects hand rotation speed, number of rotations, and the like. The detected signal is sent to computer 200 . Motion sensor 420 is provided in controller 300, for example. In one aspect, motion sensor 420 is provided, for example, in controller 300 configured to be grippable by user 5 . In another aspect, for safety in the real space, the controller 300 is attached to an object such as a glove that is attached to the hand of the user 5 so as not to fly off easily. In yet another aspect, sensors not worn by user 5 may detect movement of user's 5 hand. For example, a signal from a camera that takes an image of user 5 may be input to computer 200 as a signal representing the motion of user 5 . Motion sensor 420 and computer 200 are, for example, wirelessly connected to each other. In the case of wireless communication, the form of communication is not particularly limited, and for example, Bluetooth (registered trademark) or other known communication methods are used.
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
Display 430 displays an image similar to the image displayed on monitor 130 . This allows users other than the user 5 wearing the HMD 120 to view the same image as that of the user 5 . The image displayed on display 430 does not have to be a three-dimensional image, and may be an image for the right eye or an image for the left eye. Examples of the display 430 include a liquid crystal display and an organic EL monitor.
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
Server 600 may transmit programs to computer 200 . In another aspect, server 600 may communicate with other computers 200 to provide virtual reality to HMDs 120 used by other users. For example, when a plurality of users play a participatory game in an amusement facility, each computer 200 communicates a signal based on each user's action with the other computers 200 via the server 600 so that a plurality of users can participate in the same virtual space. users to enjoy common games. Each computer 200 may communicate signals based on each user's actions with other computers 200 without going through the server 600 .
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、及びコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
The external device 700 may be any device as long as it can communicate with the computer 200 . The external device 700 may be, for example, a device capable of communicating with the computer 200 via the network 2, or may be a device capable of directly communicating with the computer 200 through short-range wireless communication or wired connection. Examples of the external device 700 include smart devices, PCs (Personal Computers), and peripheral devices of the computer 200, but are not limited to these.
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
[Computer hardware configuration]
A computer 200 according to the present embodiment will be described with reference to FIG. FIG. 2 is a block diagram showing an example of the hardware configuration of computer 200 according to this embodiment. The computer 200 includes a processor 210, a memory 220, a storage 230, an input/output interface 240, and a communication interface 250 as main components. Each component is connected to bus 260 respectively.
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
Processor 210 executes a series of instructions contained in a program stored in memory 220 or storage 230 based on a signal given to computer 200 or based on the establishment of a predetermined condition. In one aspect, processor 210 is implemented as a CPU (Central Processing Unit), GPU (Graphics Processing Unit), MPU (Micro Processor Unit), FPGA (Field-Programmable Gate Array), or other device.
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
Memory 220 temporarily stores programs and data. The program is loaded from storage 230, for example. Data includes data input to computer 200 and data generated by processor 210 . In one aspect, memory 220 is implemented as random access memory (RAM) or other volatile memory.
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
Storage 230 permanently holds programs and data. The storage 230 is implemented as, for example, a ROM (Read-Only Memory), hard disk device, flash memory, or other non-volatile storage device. The programs stored in the storage 230 include programs for providing a virtual space in the HMD system 100, simulation programs, game programs, user authentication programs, and programs for realizing communication with other computers 200. The data stored in the storage 230 includes data and objects for defining the virtual space.
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, storage 230 may be implemented as a removable storage device such as a memory card. In still another aspect, instead of storage 230 built into computer 200, a configuration using programs and data stored in an external storage device may be used. According to such a configuration, for example, in a scene where a plurality of HMD systems 100 are used, such as an amusement facility, it is possible to collectively update programs and data.
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
Input/output interface 240 communicates signals between HMD 120 , HMD sensor 410 , motion sensor 420 and display 430 . Monitor 130 , gaze sensor 140 , first camera 150 , second camera 160 , microphone 170 and speaker 180 included in HMD 120 can communicate with computer 200 via input/output interface 240 of HMD 120 . In one aspect, the input/output interface 240 is implemented using a USB (Universal Serial Bus), DVI (Digital Visual Interface), HDMI (registered trademark) (High-Definition Multimedia Interface), or other terminals. Input/output interface 240 is not limited to the one described above.
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In some aspects, input/output interface 240 may also communicate with controller 300 . For example, input/output interface 240 receives signals output from controller 300 and motion sensor 420 . In another aspect, input/output interface 240 sends instructions output from processor 210 to controller 300 . The command instructs the controller 300 to vibrate, output sound, emit light, or the like. Upon receiving the command, the controller 300 performs any one of vibration, sound output, or light emission according to the command.
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
The communication interface 250 is connected to the network 2 and communicates with other computers connected to the network 2 (for example, the server 600). In one aspect, the communication interface 250 is implemented as, for example, a LAN (Local Area Network) or other wired communication interface, or a WiFi (Wireless Fidelity), Bluetooth (registered trademark), NFC (Near Field Communication) or other wireless communication interface. be done. Communication interface 250 is not limited to the one described above.
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
In one aspect, processor 210 accesses storage 230, loads one or more programs stored in storage 230 into memory 220, and executes the sequences of instructions contained in the programs. The one or more programs may include an operating system of computer 200, an application program for providing virtual space, game software executable in virtual space, and the like. Processor 210 sends a signal for providing virtual space to HMD 120 via input/output interface 240 . HMD 120 displays an image on monitor 130 based on the signal.
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
In the example shown in FIG. 2, computer 200 is provided outside HMD 120, but computer 200 may be built into HMD 120 in another aspect. As an example, a portable information communication terminal (for example, a smart phone) including monitor 130 may function as computer 200 .
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The computer 200 may have a configuration that is commonly used by a plurality of HMDs 120 . According to such a configuration, for example, the same virtual space can be provided to a plurality of users, so each user can enjoy the same application as other users in the same virtual space.
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In one embodiment, in the HMD system 100, a real coordinate system, which is a coordinate system in real space, is set in advance. The real coordinate system has three reference directions (axes) parallel to the vertical direction in the real space, the horizontal direction perpendicular to the vertical direction, and the front-rear direction perpendicular to both the vertical and horizontal directions. The horizontal direction, vertical direction (vertical direction), and front-rear direction in the real coordinate system are defined as x-axis, y-axis, and z-axis, respectively. More specifically, in the real coordinate system, the x-axis is parallel to the horizontal direction of the real space. The y-axis is parallel to the vertical direction in real space. The z-axis is parallel to the front-back direction of the physical space.
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
In one aspect, HMD sensor 410 includes an infrared sensor. The presence of HMD 120 is detected when the infrared sensor detects infrared rays emitted from each light source of HMD 120 . The HMD sensor 410 further detects the position and inclination (orientation) of the HMD 120 in the physical space according to the movement of the user 5 wearing the HMD 120, based on the value of each point (each coordinate value in the real coordinate system). do. More specifically, the HMD sensor 410 can detect temporal changes in the position and tilt of the HMD 120 using each value detected over time.
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
Each tilt of HMD 120 detected by HMD sensor 410 corresponds to each tilt of HMD 120 around three axes in the real coordinate system. The HMD sensor 410 sets the uvw visual field coordinate system to the HMD 120 based on the tilt of the HMD 120 in the real coordinate system. The uvw visual field coordinate system set in the HMD 120 corresponds to the viewpoint coordinate system when the user 5 wearing the HMD 120 sees an object in virtual space.
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
[uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually representing the uvw viewing coordinate system set in the HMD 120 according to one embodiment. HMD sensor 410 detects the position and tilt of HMD 120 in the real coordinate system when HMD 120 is activated. Processor 210 sets the uvw viewing coordinate system to HMD 120 based on the detected values.
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
As shown in FIG. 3 , the HMD 120 sets a three-dimensional uvw visual field coordinate system centered (origin) on the head of the user 5 wearing the HMD 120 . More specifically, the HMD 120 rotates the horizontal direction, the vertical direction, and the front-rear direction (x-axis, y-axis, and z-axis) defining the real coordinate system by tilts around each axis of the HMD 120 within the real coordinate system. The three directions newly obtained by tilting around the axes are set as the pitch axis (u-axis), yaw-axis (v-axis), and roll-axis (w-axis) of the uvw visual field coordinate system in the HMD 120 .
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
In one aspect, when user 5 wearing HMD 120 is standing upright and looking straight ahead, processor 210 sets HMD 120 to a uvw viewing coordinate system that is parallel to the real coordinate system. In this case, the horizontal direction (x-axis), vertical direction (y-axis), and front-back direction (z-axis) in the real coordinate system are the pitch axis (u-axis) and yaw-axis (v-axis) of the uvw visual field coordinate system in the HMD 120. , and the roll axis (w-axis).
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
After the uvw visual field coordinate system is set on the HMD 120 , the HMD sensor 410 can detect the tilt of the HMD 120 in the set uvw visual field coordinate system based on the movement of the HMD 120 . In this case, the HMD sensor 410 detects the pitch angle (θu), yaw angle (θv), and roll angle (θw) of the HMD 120 in the uvw visual field coordinate system as the tilt of the HMD 120 . The pitch angle (θu) represents the tilt angle of the HMD 120 around the pitch axis in the uvw visual field coordinate system. The yaw angle (θv) represents the tilt angle of the HMD 120 around the yaw axis in the uvw visual field coordinate system. A roll angle (θw) represents the tilt angle of the HMD 120 around the roll axis in the uvw visual field coordinate system.
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
The HMD sensor 410 sets the uvw visual field coordinate system in the HMD 120 after the HMD 120 moves based on the detected inclination of the HMD 120 to the HMD 120 . The relationship between the HMD 120 and the uvw visual field coordinate system of the HMD 120 is always constant regardless of the position and tilt of the HMD 120 . When the position and tilt of the HMD 120 change, the position and tilt of the uvw visual field coordinate system of the HMD 120 in the real coordinate system change in conjunction with the change in the position and tilt.
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
In one aspect, HMD sensor 410 detects HMD 120 based on the infrared light intensity and the relative positional relationship between a plurality of points (for example, the distance between points) obtained based on the output from the infrared sensor. position in the physical space may be specified as a relative position with respect to the HMD sensor 410 . Processor 210 may determine the origin of the uvw visual field coordinate system of HMD 120 in physical space (real coordinate system) based on the specified relative position.
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one aspect of expressing virtual space 11 according to an embodiment. The virtual space 11 has a spherical structure covering the entire 360-degree direction of the center 12 . In FIG. 4, the celestial sphere in the upper half of the virtual space 11 is illustrated in order not to complicate the explanation. Each mesh is defined in the virtual space 11 . The position of each mesh is defined in advance as coordinate values in the XYZ coordinate system, which is the global coordinate system defined in the virtual space 11 . The computer 200 associates each partial image that constitutes the panorama image 13 (still image, moving image, etc.) that can be developed in the virtual space 11 with each corresponding mesh in the virtual space 11 .
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
In one aspect, the virtual space 11 defines an XYZ coordinate system with the center 12 as the origin. The XYZ coordinate system is parallel to the real coordinate system, for example. The horizontal direction, vertical direction (vertical direction), and front-rear direction in the XYZ coordinate system are defined as the X-axis, Y-axis, and Z-axis, respectively. Therefore, the X-axis (horizontal direction) of the XYZ coordinate system is parallel to the x-axis of the real coordinate system, the Y-axis (vertical direction) of the XYZ coordinate system is parallel to the y-axis of the real coordinate system, and the The Z-axis (front-rear direction) is parallel to the z-axis of the real coordinate system.
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
When the HMD 120 is activated, that is, in the initial state of the HMD 120 , the virtual camera 14 is arranged at the center 12 of the virtual space 11 . In one aspect, processor 210 displays an image captured by virtual camera 14 on monitor 130 of HMD 120 . The virtual camera 14 similarly moves in the virtual space 11 in conjunction with the movement of the HMD 120 in the real space. Thereby, changes in the position and tilt of the HMD 120 in the real space can be similarly reproduced in the virtual space 11 .
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
A uvw field-of-view coordinate system is defined in the virtual camera 14 as in the case of the HMD 120 . The uvw visual field coordinate system of the virtual camera 14 in the virtual space 11 is defined to interlock with the uvw visual field coordinate system of the HMD 120 in the real space (real coordinate system). Therefore, when the tilt of HMD 120 changes, the tilt of virtual camera 14 also changes accordingly. The virtual camera 14 can also move in the virtual space 11 in conjunction with the movement of the user 5 wearing the HMD 120 in the real space.
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
The processor 210 of the computer 200 defines the field of view area 15 in the virtual space 11 based on the position and tilt of the virtual camera 14 (reference line of sight 16). The field of view area 15 corresponds to an area of the virtual space 11 that is viewed by the user 5 wearing the HMD 120 . That is, the position of the virtual camera 14 can be said to be the viewpoint of the user 5 in the virtual space 11 .
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
The line of sight of the user 5 detected by the gaze sensor 140 is the direction in the viewpoint coordinate system when the user 5 visually recognizes an object. The uvw visual field coordinate system of the HMD 120 is equal to the viewpoint coordinate system when the user 5 visually recognizes the monitor 130 . The uvw visual field coordinate system of the virtual camera 14 is interlocked with the uvw visual field coordinate system of the HMD 120 . Therefore, the HMD system 100 according to one aspect can regard the line of sight of the user 5 detected by the gaze sensor 140 as the line of sight of the user 5 in the uvw field coordinate system of the virtual camera 14 .
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
[User's line of sight]
Determination of the line of sight of the user 5 will be described with reference to FIG. FIG. 5 is a top view of the head of user 5 wearing HMD 120 according to an embodiment.
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, gaze sensor 140 detects the line of sight of user 5's right and left eyes. In one aspect, when user 5 is looking near, gaze sensor 140 detects lines of sight R1 and L1. In another aspect, when user 5 is looking far away, gaze sensor 140 detects lines of sight R2 and L2. In this case, the angle between the lines of sight R2 and L2 with respect to the roll axis w is smaller than the angle between the lines of sight R1 and L1 with respect to the roll axis w. Gaze sensor 140 transmits the detection result to computer 200 .
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
When computer 200 receives detection values of lines of sight R1 and L1 from gaze sensor 140 as a detection result of lines of sight, computer 200 identifies point of gaze N1, which is the intersection of lines of sight R1 and L1, based on the detected values. On the other hand, when computer 200 receives detection values of lines of sight R2 and L2 from gaze sensor 140, computer 200 identifies the intersection of lines of sight R2 and L2 as the point of gaze. The computer 200 identifies the line of sight N0 of the user 5 based on the identified position of the gaze point N1. The computer 200 detects, for example, the extending direction of a straight line passing through the midpoint of the straight line connecting the right eye R and the left eye L of the user 5 and the gaze point N1 as the line of sight N0. The line of sight N0 is the direction in which the user 5 is actually looking with both eyes. The line of sight N<b>0 corresponds to the direction in which the user 5 actually looks toward the field of view area 15 .
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
In another aspect, HMD system 100 may include a television broadcast reception tuner. With such a configuration, the HMD system 100 can display television programs in the virtual space 11 .
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the HMD system 100 may have a communication circuit for connecting to the Internet or a calling function for connecting to a telephone line.
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
[Vision area]
The field of view area 15 will be described with reference to FIGS. 6 and 7. FIG. FIG. 6 is a diagram showing a YZ cross section of the visual field area 15 viewed from the X direction in the virtual space 11. As shown in FIG. FIG. 7 is a diagram showing an XZ cross section of the visual field area 15 viewed from the Y direction in the virtual space 11. As shown in FIG.
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
As shown in FIG. 6 , the field of view area 15 in the YZ cross section includes area 18 . A region 18 is defined by the position of the virtual camera 14 , the reference line of sight 16 and the YZ section of the virtual space 11 . The processor 210 defines an area 18 centered on the reference line of sight 16 in the virtual space and including the polar angle α.
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
As shown in FIG. 7 , the viewing area 15 in the XZ cross section includes area 19 . A region 19 is defined by the position of the virtual camera 14 , the reference line of sight 16 and the XZ section of the virtual space 11 . The processor 210 defines a range including the azimuth angle β around the reference line of sight 16 in the virtual space 11 as the region 19 . The polar angles α and β are determined according to the position of the virtual camera 14 and the tilt (orientation) of the virtual camera 14 .
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭部に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
In one aspect, HMD system 100 provides user 5 with a view in virtual space 11 by displaying view image 17 on monitor 130 based on a signal from computer 200 . The field-of-view image 17 is an image corresponding to a portion of the panoramic image 13 corresponding to the field-of-view area 15 . When the user 5 moves the HMD 120 worn on the head, the virtual camera 14 also moves in conjunction with the movement. As a result, the position of the viewing area 15 in the virtual space 11 changes. As a result, the field-of-view image 17 displayed on the monitor 130 is updated to an image of the panorama image 13 that is superimposed on the field-of-view area 15 in the direction the user 5 faces in the virtual space 11 . The user 5 can visually recognize a desired direction in the virtual space 11 .
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
Thus, the tilt of the virtual camera 14 corresponds to the line of sight (reference line of sight 16 ) of the user 5 in the virtual space 11 , and the position where the virtual camera 14 is arranged corresponds to the viewpoint of the user 5 in the virtual space 11 . Therefore, by changing the position or tilt of the virtual camera 14, the image displayed on the monitor 130 is updated and the field of view of the user 5 is moved.
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
While wearing the HMD 120, the user 5 can visually recognize only the panoramic image 13 developed in the virtual space 11 without visually recognizing the real world. Therefore, the HMD system 100 can give the user 5 a high sense of immersion in the virtual space 11 .
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
In one aspect, processor 210 can move virtual camera 14 in virtual space 11 in conjunction with movement of user 5 wearing HMD 120 in the physical space. In this case, processor 210 identifies an image area (viewing area 15 ) projected on monitor 130 of HMD 120 based on the position and tilt of virtual camera 14 in virtual space 11 .
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In one aspect, virtual camera 14 may include two virtual cameras, a virtual camera for providing images for the right eye and a virtual camera for providing images for the left eye. Appropriate parallax is set for the two virtual cameras so that the user 5 can recognize the three-dimensional virtual space 11 . In another aspect, virtual camera 14 may be realized by one virtual camera. In this case, an image for the right eye and an image for the left eye may be generated from an image obtained by one virtual camera. In the present embodiment, the virtual camera 14 includes two virtual cameras, and the roll axis (w) generated by synthesizing the roll axes of the two virtual cameras is adapted to the roll axis (w) of the HMD 120. The technical idea according to the present disclosure is exemplified as configured as follows.
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
[controller]
An example of the controller 300 will be described with reference to FIG. FIG. 8 is a diagram showing a schematic configuration of controller 300 according to an embodiment.
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
As shown in FIG. 8, in one aspect, controller 300 may include a right controller 300R and a left controller (not shown). Right controller 300R is operated by user 5's right hand. The left controller is operated with the user's 5 left hand. In one aspect, right controller 300R and left controller are symmetrically configured as separate devices. Therefore, the user 5 can freely move the right hand holding the right controller 300R and the left hand holding the left controller. In another aspect, controller 300 may be an integrated controller that accepts two-handed operation. The right controller 300R will be described below.
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
Right controller 300R includes grip 310 , frame 320 , and top surface 330 . The grip 310 is configured to be gripped by the user's 5 right hand. For example, grip 310 may be held by user 5's right palm and three fingers (middle finger, ring finger, little finger).
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
Grip 310 includes buttons 340 and 350 and motion sensor 420 . Button 340 is arranged on the side surface of grip 310 and is operated by the middle finger of the right hand. Button 350 is arranged on the front surface of grip 310 and is operated by the index finger of the right hand. In one aspect, buttons 340, 350 are configured as trigger buttons. Motion sensor 420 is built into the housing of grip 310 . The grip 310 may not include the motion sensor 420 if the motion of the user 5 can be detected from around the user 5 by a camera or other device.
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
Frame 320 includes a plurality of infrared LEDs 360 arranged along its circumference. Infrared LED 360 emits infrared light in accordance with the progress of a program using controller 300 during execution of the program. Infrared rays emitted from infrared LED 360 can be used to detect the positions and orientations (inclination and orientation) of right controller 300R and left controller. Although the example shown in FIG. 8 shows infrared LEDs 360 arranged in two rows, the number of arrays is not limited to that shown in FIG. A single row or three or more row arrays may be used.
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
Top surface 330 includes buttons 370 and 380 and analog stick 390 . Buttons 370 and 380 are configured as push buttons. Buttons 370 and 380 accept operations by user 5's right thumb. In a certain aspect, the analog stick 390 accepts an operation in any direction of 360 degrees from the initial position (neutral position). The operation includes, for example, an operation for moving an object placed in the virtual space 11 .
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
In one aspect, right controller 300R and left controller include batteries for powering infrared LEDs 360 and other components. Batteries include, but are not limited to, rechargeable, button-type, dry cell-type, and the like. In another aspect, right controller 300R and left controller may be connected to a USB interface of computer 200, for example. In this case, right controller 300R and left controller do not require batteries.
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined for the user's 5 right hand. When the user 5 extends the thumb and index finger, the direction in which the thumb extends is the yaw direction, the direction in which the index finger extends is the roll direction, and the direction perpendicular to the plane defined by the yaw direction axis and the roll direction axis is the pitch direction. defined as
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
[Server hardware configuration]
Server 600 according to the present embodiment will be described with reference to FIG. FIG. 9 is a block diagram showing an example hardware configuration of server 600 according to an embodiment. The server 600 includes a processor 610, a memory 620, a storage 630, an input/output interface 640, and a communication interface 650 as main components. Each component is respectively connected to bus 660 .
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
Processor 610 executes a series of instructions contained in a program stored in memory 620 or storage 630 based on a signal provided to server 600 or based on the establishment of a predetermined condition. In one aspect, processor 610 is implemented as a CPU, GPU, MPU, FPGA, or other device.
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
Memory 620 temporarily stores programs and data. The program is loaded from storage 630, for example. Data includes data input to server 600 and data generated by processor 610 . In one aspect, memory 620 is implemented as RAM or other volatile memory.
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
Storage 630 permanently holds programs and data. The storage 630 is implemented as, for example, a ROM, hard disk device, flash memory, or other non-volatile storage device. The programs stored in the storage 630 may include a program for providing a virtual space in the HMD system 100, a simulation program, a game program, a user authentication program, and a program for realizing communication with the computer 200. The data stored in the storage 630 may include data and objects for defining the virtual space.
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, storage 630 may be implemented as a removable storage device such as a memory card. In still another aspect, instead of storage 630 built into server 600, a configuration using programs and data stored in an external storage device may be used. According to such a configuration, for example, in a scene where a plurality of HMD systems 100 are used, such as an amusement facility, it is possible to collectively update programs and data.
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
Input/output interface 640 communicates signals with input/output devices. In one aspect, input/output interface 640 is implemented using USB, DVI, HDMI, or other terminals. Input/output interface 640 is not limited to the one described above.
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
Communication interface 650 is connected to network 2 and communicates with computer 200 connected to network 2 . In one aspect, communication interface 650 is implemented as, for example, a LAN or other wired communication interface, or a WiFi, Bluetooth, NFC or other wireless communication interface. Communication interface 650 is not limited to those described above.
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
In one aspect, processor 610 accesses storage 630, loads one or more programs stored in storage 630 into memory 620, and executes the sequences of instructions contained in the programs. The one or more programs may include an operating system of server 600, an application program for providing virtual space, game software executable in virtual space, and the like. Processor 610 may send signals to computer 200 via input/output interface 640 to provide the virtual space.
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[HMD control device]
A control device for the HMD 120 will be described with reference to FIG. In one embodiment, the controller is implemented by computer 200 having a well-known configuration. FIG. 10 is a block diagram representing a modular configuration of computer 200 according to one embodiment.
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
As shown in FIG. 10, computer 200 comprises control module 510 , rendering module 520 , memory module 530 and communication control module 540 . In one aspect, control module 510 and rendering module 520 are implemented by processor 210 . In another aspect, multiple processors 210 may act as control module 510 and rendering module 520 . Memory module 530 is implemented by memory 220 or storage 230 . Communication control module 540 is implemented by communication interface 250 .
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
A control module 510 controls the virtual space 11 provided to the user 5 . The control module 510 defines the virtual space 11 in the HMD system 100 using virtual space data representing the virtual space 11 . Virtual space data is stored, for example, in memory module 530 . The control module 510 may generate virtual space data or acquire virtual space data from the server 600 or the like.
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The control module 510 places objects in the virtual space 11 using object data representing the objects. Object data is stored, for example, in memory module 530 . The control module 510 may generate object data or acquire object data from the server 600 or the like. The objects include, for example, an avatar object that is the alter ego of the user 5, a character object, an operation object such as a virtual hand operated by the controller 300, landscapes including forests, mountains, etc. arranged according to the progress of the story of the game, townscapes, and animals. etc.
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
The control module 510 places the avatar object of the user 5 of the other computer 200 connected via the network 2 in the virtual space 11 . In one aspect, control module 510 places user 5's avatar object in virtual space 11 . In one aspect, the control module 510 places an avatar object that resembles the user 5 in the virtual space 11 based on the image containing the user 5 . In another aspect, the control module 510 arranges in the virtual space 11 an avatar object that has been selected by the user 5 from among multiple types of avatar objects (for example, an object imitating an animal or a deformed human object). do.
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
Control module 510 identifies the tilt of HMD 120 based on the output of HMD sensor 410 . In another aspect, control module 510 identifies the tilt of HMD 120 based on the output of sensor 190, which functions as a motion sensor. The control module 510 detects the facial organs of the user 5 (eg, mouth, eyes, eyebrows) from the facial images of the user 5 generated by the first camera 150 and the second camera 160 . The control module 510 detects the motion (shape) of each detected organ.
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
The control module 510 detects the line of sight of the user 5 in the virtual space 11 based on the signal from the gaze sensor 140 . The control module 510 detects the viewpoint position (coordinate values in the XYZ coordinate system) where the detected line of sight of the user 5 and the celestial sphere of the virtual space 11 intersect. More specifically, the control module 510 detects the viewpoint position based on the line of sight of the user 5 defined by the uvw coordinate system and the position and tilt of the virtual camera 14 . Control module 510 transmits the detected viewpoint position to server 600 . In another aspect, the control module 510 may be configured to transmit line-of-sight information representing the line-of-sight of the user 5 to the server 600 . In this case, the viewpoint position can be calculated based on the line-of-sight information received by the server 600 .
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
The control module 510 reflects the movement of the HMD 120 detected by the HMD sensor 410 on the avatar object. For example, the control module 510 detects that the HMD 120 is tilted, and tilts and arranges the avatar object. The control module 510 reflects the motion of the detected facial features on the face of the avatar object placed in the virtual space 11 . The control module 510 receives line-of-sight information of the other user 5 from the server 600 and reflects the line-of-sight information of the avatar object of the other user 5 . In one aspect, control module 510 reflects movements of controller 300 on avatar objects and operation objects. In this case, controller 300 includes a motion sensor, an acceleration sensor, a plurality of light emitting elements (for example, infrared LEDs), or the like for detecting movement of controller 300 .
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The control module 510 arranges in the virtual space 11 an operation object for receiving an operation by the user 5 in the virtual space 11 . The user 5 operates an object placed in the virtual space 11, for example, by operating the operation object. In one aspect, the manipulation object may include, for example, a hand object, which is a virtual hand corresponding to the user's 5 hand. In one aspect, the control module 510 moves the hand object in the virtual space 11 based on the output of the motion sensor 420 in conjunction with the hand movement of the user 5 in the real space. In one aspect, the manipulation object may correspond to a hand portion of the avatar object.
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
The control module 510 detects a collision when each of the objects placed in the virtual space 11 collides with another object. The control module 510 can detect, for example, the timing at which the collision area of a certain object touches the collision area of another object, and performs predetermined processing when the detection is made. The control module 510 can detect the timing when the objects are separated from the touching state, and performs predetermined processing when the detection is made. The control module 510 can detect that objects are touching. For example, when the operating object touches another object, the control module 510 detects that the operating object touches the other object, and performs predetermined processing.
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭部の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
In one aspect, control module 510 controls image display on monitor 130 of HMD 120 . For example, control module 510 places virtual camera 14 in virtual space 11 . The control module 510 controls the position of the virtual camera 14 in the virtual space 11 and the tilt (orientation) of the virtual camera 14 . The control module 510 defines the field of view area 15 according to the tilt of the head of the user 5 wearing the HMD 120 and the position of the virtual camera 14 . Rendering module 520 generates view image 17 displayed on monitor 130 based on determined view area 15 . The field-of-view image 17 generated by the rendering module 520 is output to the HMD 120 by the communication control module 540 .
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
When the control module 510 detects an utterance by the user 5 using the microphone 170 from the HMD 120, the control module 510 specifies the computer 200 to which the audio data corresponding to the utterance is to be transmitted. The audio data is sent to the computer 200 specified by control module 510 . When the control module 510 receives voice data from another user's computer 200 via the network 2 , the control module 510 outputs voice (utterance) corresponding to the voice data from the speaker 180 .
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
Memory module 530 holds data used by computer 200 to provide virtual space 11 to user 5 . In one aspect, memory module 530 holds spatial information, object information, and user information.
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
The spatial information holds one or more templates defined to provide the virtual space 11. FIG.
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of panoramic images 13 forming the virtual space 11 and object data for arranging objects in the virtual space 11 . Panorama image 13 may include still images and moving images. The panorama image 13 may include an image of unreal space and an image of real space. Images of unreal space include, for example, images generated by computer graphics.
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
User information holds a user ID that identifies the user 5 . The user ID can be, for example, an IP (Internet Protocol) address or a MAC (Media Access Control) address set in the computer 200 used by the user. In another aspect, the user ID can be set by the user. The user information includes programs and the like for causing the computer 200 to function as a control device for the HMD system 100 .
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
Data and programs stored in memory module 530 are input by user 5 of HMD 120 . Alternatively, processor 210 downloads a program or data from a computer (for example, server 600 ) operated by a content provider, and stores the downloaded program or data in memory module 530 .
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
Communication control module 540 can communicate with server 600 and other information communication devices via network 2 .
ある局面において、コントロールモジュール510及びレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510及びレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In one aspect, control module 510 and rendering module 520 may be implemented using, for example, Unity® provided by Unity Technologies. In another aspect, the control module 510 and the rendering module 520 can also be implemented as a combination of circuit elements that implement each process.
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD-ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
Processing in computer 200 is realized by hardware and software executed by processor 210 . Such software may be pre-stored on a hard disk or other memory module 530 . The software may be distributed as a program product stored in a CD-ROM or other computer-readable non-volatile data recording medium. Alternatively, the software may be provided as a downloadable program product by an information provider connected to the Internet or other network. Such software is read from a data recording medium by an optical disk drive or other data reading device, or downloaded from the server 600 or other computer via the communication control module 540, and then temporarily stored in the storage module. . The software is read from the storage module by processor 210 and stored in RAM in the form of executable programs. Processor 210 executes the program.
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
[Control Structure of HMD System]
The control structure of the HMD set 110 will be described with reference to FIG. FIG. 11 is a sequence chart representing part of the processing performed in HMD set 110 according to one embodiment.
図11に示されるように、ステップS1110において、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
As shown in FIG. 11, in step S1110, processor 210 of computer 200, as control module 510, specifies virtual space data and defines virtual space 11. As shown in FIG.
ステップS1120において、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
At step S1120, processor 210 initializes virtual camera . For example, the processor 210 places the virtual camera 14 at the predefined center 12 in the virtual space 11 in the work area of the memory, and directs the line of sight of the virtual camera 14 in the direction the user 5 is facing.
ステップS1130において、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1130, processor 210, as rendering module 520, generates view image data for displaying an initial view image. The generated visual field image data is output to HMD 120 by communication control module 540 .
ステップS1132において、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。
In step S<b>1132 , monitor 130 of HMD 120 displays a field-of-view image based on the field-of-view image data received from computer 200 . The user 5 wearing the HMD 120 can recognize the virtual space 11 by viewing the visual field image.
ステップS1134において、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
In step S<b>1134 , HMD sensor 410 detects the position and tilt of HMD 120 based on a plurality of infrared rays emitted from HMD 120 . The detection result is output to the computer 200 as motion detection data.
ステップS1140において、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
In step S<b>1140 , processor 210 identifies the viewing direction of user 5 wearing HMD 120 based on the position and tilt included in the motion detection data of HMD 120 .
ステップS1150において、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
In step S1150, processor 210 executes the application program and places objects in virtual space 11 based on instructions included in the application program.
ステップS1160において、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S<b>1160 , controller 300 detects the operation of user 5 based on the signal output from motion sensor 420 and outputs detection data representing the detected operation to computer 200 . In another aspect, manipulation of controller 300 by user 5 may be detected based on images from cameras placed around user 5 .
ステップS1170において、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
In step S<b>1170 , processor 210 detects an operation of controller 300 by user 5 based on the detection data acquired from controller 300 .
ステップS1180において、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S<b>1180 , processor 210 generates view image data based on the operation of controller 300 by user 5 . The generated visual field image data is output to HMD 120 by communication control module 540 .
ステップS1190において、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
In step S<b>1190 , HMD 120 updates the field-of-view image based on the received field-of-view image data, and displays the updated field-of-view image on monitor 130 .
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
[Avatar object]
An avatar object according to this embodiment will be described with reference to FIGS. Hereafter, it is a figure explaining the avatar object of each user 5 of HMD set 110A, 110B. Hereinafter, the user of the HMD set 110A will be referred to as the user 5A, the user of the HMD set 110B as the user 5B, the user of the HMD set 110C as the user 5C, and the user of the HMD set 110D as the user 5D. A is attached to the reference sign of each component regarding the HMD set 110A, B is attached to the reference sign of each component regarding the HMD set 110B, C is attached to the reference sign of each component regarding the HMD set 110C, and the HMD set A D is attached to the reference number of each component related to 110D. For example, HMD 120A is included in HMD set 110A.
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A~200Dは、HMD120A~120Dを介して、ユーザ5A~5Dに、仮想空間11A~11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
FIG. 12A is a schematic diagram showing a situation in which each HMD 120 provides the virtual space 11 to the user 5 in the network 2. FIG. Computers 200A-200D provide users 5A-5D with virtual spaces 11A-11D via HMDs 120A-120D, respectively. In the example shown in FIG. 12A, virtual space 11A and virtual space 11B are configured with the same data. In other words, the computers 200A and 200B share the same virtual space. An avatar object 6A of the user 5A and an avatar object 6B of the user 5B exist in the virtual space 11A and the virtual space 11B. Although the avatar object 6A in the virtual space 11A and the avatar object 6B in the virtual space 11B are each wearing the HMD 120, this is for the sake of clarity of explanation, and in reality these objects are not wearing the HMDs 120. not
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
In one aspect, processor 210A may position virtual camera 14A capturing view image 17A of user 5A at the eye position of avatar object 6A.
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
FIG. 12(B) is a diagram showing a field-of-view image 17A of the user 5A in FIG. 12(A). The field-of-view image 17A is an image displayed on the monitor 130A of the HMD 120A. This field-of-view image 17A is an image generated by the virtual camera 14A. An avatar object 6B of the user 5B is displayed in the field-of-view image 17A. Although not particularly illustrated, the avatar object 6A of the user 5A is similarly displayed in the visual field image of the user 5B.
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
In the state of FIG. 12B, the user 5A can communicate with the user 5B through dialogue through the virtual space 11A. More specifically, the voice of user 5A acquired by microphone 170A is transmitted to HMD 120B of user 5B via server 600 and output from speaker 180B provided in HMD 120B. The voice of user 5B is transmitted to HMD 120A of user 5A via server 600, and is output from speaker 180A provided in HMD 120A.
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
Actions of the user 5B (actions of the HMD 120B and actions of the controller 300B) are reflected in the avatar object 6B arranged in the virtual space 11A by the processor 210A. Thereby, the user 5A can recognize the action of the user 5B through the avatar object 6B.
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
FIG. 13 is a sequence chart showing part of the processing executed in HMD system 100 according to the present embodiment. Although the HMD set 110D is not shown in FIG. 13, the HMD set 110D operates similarly to the HMD sets 110A, 110B, and 110C. In the following description, A is attached to the reference sign of each component regarding the HMD set 110A, B is attached to the reference sign of each component regarding the HMD set 110B, and C is attached to the reference sign of each component regarding the HMD set 110C. , and D is added to the reference numeral of each component of the HMD set 110D.
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires avatar information for determining the motion of the avatar object 6A in the virtual space 11A. This avatar information includes, for example, information about the avatar such as motion information, face tracking data, and voice data. The movement information includes information indicating temporal changes in the position and tilt of the HMD 120A, information indicating hand movements of the user 5A detected by the motion sensor 420A, and the like. The face tracking data includes data specifying the position and size of each part of the user 5A's face. The face tracking data includes data indicating the movement of each organ that constitutes the face of the user 5A and line-of-sight data. The audio data includes data indicating the audio of the user 5A acquired by the microphone 170A of the HMD 120A. The avatar information may include information specifying the avatar object 6A or the user 5A associated with the avatar object 6A, information specifying the virtual space 11A in which the avatar object 6A exists, and the like. A user ID is mentioned as information which specifies the avatar object 6A and the user 5A. Room ID is mentioned as information which specifies virtual space 11A in which avatar object 6A exists. Processor 210A transmits the avatar information obtained as described above to server 600 via network 2 .
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
In step S1310B, processor 210B in HMD set 110B acquires avatar information for determining the motion of avatar object 6B in virtual space 11B and transmits it to server 600, as in the process in step S1310A. Similarly, in step S1310C, processor 210C in HMD set 110C acquires avatar information for determining the motion of avatar object 6C in virtual space 11C and transmits it to server 600. FIG.
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A~5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMDセット110B、およびHMDセット110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320, server 600 temporarily stores the player information received from each of HMD set 110A, HMD set 110B, and HMD set 110C. Server 600 integrates avatar information of all users (users 5A to 5C in this example) associated with common virtual space 11 based on user IDs, room IDs, and the like included in each avatar information. Then, the server 600 transmits the integrated avatar information to all users associated with the virtual space 11 at a predetermined timing. Accordingly, synchronization processing is executed. Such synchronization processing enables the HMD set 110A, the HMD set 110B, and the HMD set 110C to share each other's avatar information at approximately the same timing.
続いて、サーバ600から各HMDセット110A~110Cに送信されたアバター情報に基づいて、各HMDセット110A~110Cは、ステップS1330A~S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
Subsequently, based on the avatar information transmitted from server 600 to each HMD set 110A-110C, each HMD set 110A-110C executes the process of steps S1330A-S1330C. The processing of step S1330A corresponds to the processing of step S1180 in FIG.
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates information on the avatar objects 6B and 6C of the other users 5B and 5C in the virtual space 11A. Specifically, the processor 210A updates the position, orientation, etc. of the avatar object 6B in the virtual space 11 based on the motion information included in the avatar information transmitted from the HMD set 110B. For example, processor 210A updates the information (such as position and orientation) of avatar object 6B contained in the object information stored in memory module 530. FIG. Similarly, the processor 210A updates the information (position, orientation, etc.) of the avatar object 6C in the virtual space 11 based on the motion information included in the avatar information transmitted from the HMD set 110C.
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
In step S1330B, processor 210B in HMD set 110B updates information on avatar objects 6A and 6C of users 5A and 5C in virtual space 11B, similar to the process in step S1330A. Similarly, in step S1330C, the processor 210C in the HMD set 110C updates information on the avatar objects 6A, 6B of the users 5A, 5B in the virtual space 11C.
[コンピュータ200のモジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表わすブロック図である。図14に示されるように、コントロールモジュール510は、仮想オブジェクト生成モジュール1421、仮想カメラ制御モジュール1422、操作オブジェクト制御モジュール1423、アバターオブジェクト制御モジュール1424、動き検出モジュール1425、衝突検出モジュール1426、仮想オブジェクト制御モジュール1427、および学習モジュール1428を備えている。メモリモジュール530は、学習済みモデル1429を格納している。
[Detailed Configuration of Modules of Computer 200]
Details of the module configuration of the computer 200 will be described with reference to FIG. FIG. 14 is a block diagram showing the detailed configuration of the modules of computer 200 according to one embodiment. As shown in FIG. 14, the control module 510 includes a virtual object generation module 1421, a virtual camera control module 1422, a manipulated object control module 1423, an avatar object control module 1424, a motion detection module 1425, a collision detection module 1426, a virtual object control module 1421, a It has a module 1427 and a learning module 1428 . Memory module 530 stores trained model 1429 .
仮想オブジェクト生成モジュール1421は、各種の仮想オブジェクトを仮想空間11に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、およびステージオブジェクト、UI(User Interface)オブジェクトを含み得る。
A virtual object generation module 1421 generates various virtual objects in the virtual space 11 . In one aspect, the virtual objects may include, for example, landscapes including forests, mountains, etc., animals, etc. arranged according to the progress of the story of the game. In one aspect, the virtual object may include an avatar object, an operation object, a stage object, and a UI (User Interface) object.
仮想カメラ制御モジュール1422は、仮想空間11における仮想カメラ14の挙動を制御する。仮想カメラ制御モジュール1422は、例えば、仮想空間11における仮想カメラ14の配置位置と、仮想カメラ14の向き(傾き)とを制御する。
The virtual camera control module 1422 controls behavior of the virtual camera 14 in the virtual space 11 . The virtual camera control module 1422 controls, for example, the arrangement position of the virtual camera 14 in the virtual space 11 and the orientation (inclination) of the virtual camera 14 .
操作オブジェクト制御モジュール1423は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを制御する。ユーザ5は、操作オブジェクトを操作することによって、例えば、仮想空間11に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、HMD120を装着したユーザ5の手に相当する手オブジェクト(仮想手)等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。
The manipulation object control module 1423 controls manipulation objects for receiving manipulations by the user 5 in the virtual space 11 . The user 5 operates, for example, a virtual object placed in the virtual space 11 by operating the operation object. In one aspect, the operation object may include, for example, a hand object (virtual hand) corresponding to the hand of user 5 wearing HMD 120 . In one aspect, the manipulation object can correspond to a hand portion of an avatar object, which will be described later.
アバターオブジェクト制御モジュール1424は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、アバターオブジェクト制御モジュール1424は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバターオブジェクト制御モジュール1424は、コントローラ300の動きをアバターオブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。アバターオブジェクト制御モジュール1424は、動き検出モジュール1425が検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。つまり、アバターオブジェクト制御モジュール1424は、ユーザ5の顔の動作をアバターオブジェクトに反映する。
Avatar object control module 1424 reflects the movement of HMD 120 detected by HMD sensor 410 on the avatar object. For example, the avatar object control module 1424 detects that the HMD 120 is tilted and generates data for tilting and arranging the avatar object. In one aspect, the avatar object control module 1424 reflects movements of the controller 300 on the avatar object. In this case, controller 300 includes a motion sensor, an acceleration sensor, a plurality of light emitting elements (for example, infrared LEDs), or the like for detecting movement of controller 300 . The avatar object control module 1424 reflects the motion of facial organs detected by the motion detection module 1425 on the face of the avatar object placed in the virtual space 11 . That is, the avatar object control module 1424 reflects the motion of the user 5's face on the avatar object.
動き検出モジュール1425は、ユーザ5の動きを検出する。動き検出モジュール1425は、例えば、コントローラ300の出力に応じて、ユーザ5の手の動きを検出する。動き検出モジュール1425は、例えば、ユーザ5の身体に装着されるモーションセンサの出力に応じて、ユーザ5の身体の動きを検出する。動き検出モジュール1425は、ユーザ5の顔器官の動作を検出することもできる。
Motion detection module 1425 detects motion of user 5 . The motion detection module 1425 detects motion of the hand of the user 5 according to the output of the controller 300, for example. The motion detection module 1425 detects body motion of the user 5 according to the output of a motion sensor attached to the body of the user 5, for example. The motion detection module 1425 can also detect motion of the user's 5 facial features.
衝突検出モジュール1426は、仮想空間11に配置される仮想オブジェクトのそれぞれが、他の仮想オブジェクトと衝突した場合に、当該衝突を検出する。衝突検出モジュール1426は、例えば、ある仮想オブジェクトと、別の仮想オブジェクトとが触れたタイミングを検出することができる。衝突検出モジュール1426は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態から離れたタイミングを検出することができる。衝突検出モジュール1426は、ある仮想オブジェクトと他の仮想オブジェクトとが触れている状態であることを検出することもできる。衝突検出モジュール1426は、例えば、操作オブジェクトと、他の仮想オブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出する。衝突検出モジュール1426は、これらの検出結果に基づいて、予め定められた処理を実行する。
The collision detection module 1426 detects a collision when each virtual object placed in the virtual space 11 collides with another virtual object. Collision detection module 1426 may, for example, detect when one virtual object touches another virtual object. Collision detection module 1426 can detect when one virtual object is out of touch with another virtual object. Collision detection module 1426 can also detect when one virtual object is in contact with another virtual object. The collision detection module 1426 detects that the operating object touches another virtual object, for example, when the operating object touches another virtual object. Collision detection module 1426 performs predetermined processing based on these detection results.
仮想オブジェクト制御モジュール1427は、仮想空間11において、アバターオブジェクトを除く仮想オブジェクトの挙動を制御する。一例として、仮想オブジェクト制御モジュール1427は、仮想オブジェクトを変形させる。別の例として、仮想オブジェクト制御モジュール1427は、仮想オブジェクトの配置位置を変更する。別の例として、仮想オブジェクト制御モジュール1427は、仮想オブジェクトを移動させる。
The virtual object control module 1427 controls behavior of virtual objects other than avatar objects in the virtual space 11 . As an example, virtual object control module 1427 deforms the virtual object. As another example, the virtual object control module 1427 changes the placement position of the virtual object. As another example, virtual object control module 1427 moves virtual objects.
学習モジュール1428は、アバターオブジェクト6が仮想空間2611において行った過去の動作(第1動作)を機械学習することによって、当該動作が機械学習された学習済みモデル1429を生成する。
The learning module 1428 machine-learns a past action (first action) performed by the avatar object 6 in the virtual space 2611 to generate a learned model 1429 in which the action is machine-learned.
[配信システムの構成]
図15は、本実施の形態に従う配信システム1500の構成の概略を表す図である。配信システム1500は、サーバ600と、HMDセット110Bと、ユーザ端末800A,800C,800Dと、ネットワーク2とを含む。HMDセット110Bと、ユーザ端末800A,800C,800Dの各々とは、ネットワーク2を介してサーバ600と通信可能に構成される。以下、ユーザ端末800A,800C,800Dを総称して、ユーザ端末800とも言う。配信システム1500を構成するユーザ端末800の数は、3つに限られず、2つ以下でも、4つ以上でもよい。
[Delivery system configuration]
FIG. 15 is a diagram showing a schematic configuration of distribution system 1500 according to the present embodiment. Distribution system 1500 includes server 600 , HMD set 110 B, user terminals 800 A, 800 C, and 800 D, and network 2 . HMD set 110B and each of user terminals 800A, 800C, and 800D are configured to be able to communicate with server 600 via network 2 . Hereinafter, the user terminals 800A, 800C, and 800D are collectively referred to as the user terminal 800 as well. The number of user terminals 800 constituting distribution system 1500 is not limited to three, and may be two or less or four or more.
ユーザ端末800は、ユーザ5が持ち運び可能な携帯型の端末装置である。ユーザ端末800は、例えば、スマートフォン、タブレット端末、またはノートパソコンなどとして実現される。以下、ユーザ端末800Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、ユーザ端末800Cのユーザをユーザ5C、ユーザ端末800Dのユーザをユーザ5Dと表す。ユーザ端末800Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、ユーザ端末800Cに関する各構成要素の参照符号にCが付され、ユーザ端末800Dに関する各構成要素の参照符号にDが付される。
The user terminal 800 is a portable terminal device that the user 5 can carry. User terminal 800 is implemented as, for example, a smart phone, a tablet terminal, or a notebook computer. Hereinafter, the user of the user terminal 800A is referred to as user 5A, the user of the HMD set 110B is referred to as user 5B, the user of user terminal 800C is referred to as user 5C, and the user of user terminal 800D is referred to as user 5D. A is attached to the reference numeral of each component relating to the user terminal 800A, B is attached to the reference numeral of each component relating to the HMD set 110B, C is attached to the reference numeral of each component relating to the user terminal 800C, and the user terminal A D is added to the reference number of each component for 800D.
配信システム1500は、ユーザ5Bに関連付けられるアバターオブジェクト6Bが仮想空間において実演する番組を、HMDセット110Bから各ユーザ端末800にストリーミング配信するためのシステムである。ユーザ5Bは、HMDセット110Bにおいてアバターオブジェクト6Bを制御することによって、アバターオブジェクト6Bの番組を進行させる。ユーザ5Aは、配信されるアバターオブジェクト6Bの番組を、ユーザ端末800Aを通じて視聴する。ユーザ5Cは、配信されるアバターオブジェクト6Bの番組を、ユーザ端末800Cを通じて視聴する。ユーザ5Dは、配信されるアバターオブジェクト6Bの番組を、ユーザ端末800Dを通じて視聴する。
The distribution system 1500 is a system for streaming distribution of a program demonstrated in a virtual space by an avatar object 6B associated with a user 5B from the HMD set 110B to each user terminal 800. FIG. The user 5B advances the program of the avatar object 6B by controlling the avatar object 6B on the HMD set 110B. The user 5A views the distributed program of the avatar object 6B through the user terminal 800A. The user 5C views the distributed program of the avatar object 6B through the user terminal 800C. The user 5D views the distributed program of the avatar object 6B through the user terminal 800D.
[ユーザ端末のハードウェア構成]
図16は、ある実施の形態に従うユーザ端末800のハードウェア構成の一例を表すブロック図である。ユーザ端末800は、主たる構成要素として、プロセッサ710と、メモリ720と、ストレージ730と、入出力インターフェイス740と、通信インターフェイス750と、タッチスクリーン770と、スピーカ780とを備える。各構成要素は、それぞれ、バス760に接続されている。
[Hardware configuration of user terminal]
FIG. 16 is a block diagram showing an example hardware configuration of user terminal 800 according to an embodiment. User terminal 800 includes a processor 710 , memory 720 , storage 730 , input/output interface 740 , communication interface 750 , touch screen 770 , and speaker 780 as main components. Each component is respectively connected to bus 760 .
プロセッサ710は、ユーザ端末800に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ720またはストレージ730に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ710は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
Processor 710 executes a series of instructions contained in a program stored in memory 720 or storage 730 based on a signal provided to user terminal 800 or based on the establishment of a predetermined condition. . In one aspect, processor 710 is implemented as a CPU, GPU, MPU, FPGA, or other device.
メモリ720は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ730からロードされる。データは、ユーザ端末800に入力されたデータと、プロセッサ710によって生成されたデータとを含む。ある局面において、メモリ720は、RAMその他の揮発メモリとして実現される。
Memory 720 temporarily stores programs and data. The program is loaded from storage 730, for example. Data includes data input to user terminal 800 and data generated by processor 710 . In one aspect, memory 720 is implemented as RAM or other volatile memory.
ストレージ730は、プログラムおよびデータを永続的に保持する。ストレージ730は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ730に格納されるプログラムは、ユーザ端末800において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、サーバ600との通信を実現するためのプログラムを含んでもよい。ストレージ730に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。別の局面において、ストレージ730は、メモリカードのように着脱可能な記憶装置として実現されてもよい。
Storage 730 permanently holds programs and data. The storage 730 is implemented as, for example, a ROM, hard disk drive, flash memory, or other non-volatile storage device. The programs stored in the storage 730 may include a program for providing a virtual space in the user terminal 800, a simulation program, a game program, a user authentication program, and a program for realizing communication with the server 600. The data stored in the storage 730 may include data and objects for defining the virtual space. In another aspect, storage 730 may be implemented as a removable storage device such as a memory card.
入出力インターフェイス740は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス740は、USB、DVI、HDMIその他の端子を用いて実現される。入出力インターフェイス740は上述のものに限られない。
Input/output interface 740 communicates signals with input/output devices. In one aspect, input/output interface 740 is implemented using USB, DVI, HDMI, or other terminals. Input/output interface 740 is not limited to the one described above.
通信インターフェイス750は、ネットワーク2に接続されて、ネットワーク2に接続されているサーバ600と通信する。ある局面において、通信インターフェイス750は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス750は上述のものに限られない。
Communication interface 750 is connected to network 2 and communicates with server 600 connected to network 2 . In one aspect, communication interface 750 is implemented as, for example, a LAN or other wired communication interface, or a WiFi, Bluetooth, NFC or other wireless communication interface. Communication interface 750 is not limited to those described above.
タッチスクリーン770は、図示しない入力部および表示部を組み合わせた電子部品である。入力部は、例えばタッチセンシティブなデバイスであり、例えばタッチパッドによって構成される。表示部152は、例えば液晶ディスプレイ、または有機EL(Electro-Luminescence)ディスプレイ等によって構成される。入力部は、入力面に対しユーザの操作(主にタッチ操作、スライド操作、スワイプ操作、およびタップ操作等の物理的接触操作)が入力された位置を検知して、位置を示す情報を入力信号として送信する機能を備える。入力部は、図示しないタッチセンシング部を備えていればよい。タッチセンシング部は、静電容量方式または抵抗膜方式等のどのような方式を採用したものであってもよい。
The touch screen 770 is an electronic component combining an input section and a display section (not shown). The input unit is, for example, a touch-sensitive device, and is configured by, for example, a touch pad. The display unit 152 is configured by, for example, a liquid crystal display or an organic EL (Electro-Luminescence) display. The input unit detects the position where the user's operation (mainly physical contact operation such as touch operation, slide operation, swipe operation, and tap operation) is input on the input surface, and outputs information indicating the position as an input signal. It has a function to send as The input unit may include a touch sensing unit (not shown). The touch sensing unit may employ any type of system, such as a capacitive system or a resistive film system.
スピーカ780は、音声信号を音声に変換してユーザ5に出力する。別の局面において、ユーザ端末800は、スピーカ780に替えてイヤホンを含み得る。
The speaker 780 converts the audio signal into audio and outputs it to the user 5 . In another aspect, user terminal 800 may include earphones in place of speaker 780 .
ある局面において、プロセッサ710は、ストレージ730にアクセスし、ストレージ730に格納されている1つ以上のプログラムをメモリ720にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、ユーザ端末800のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。
In one aspect, processor 710 accesses storage 730, loads one or more programs stored in storage 730 into memory 720, and executes the sequences of instructions contained in the programs. The one or more programs may include an operating system of the user terminal 800, an application program for providing the virtual space, game software executable in the virtual space, and the like.
図示していないが、ユーザ端末800は、ユーザ端末800の保持姿勢を特定するための1以上のセンサを備えていてもよい。このセンサは、例えば、加速度センサ、または、角速度センサ等であってもよい。ユーザ端末800がセンサを備えている場合、プロセッサ710は、センサの出力からユーザ端末800の保持姿勢を特定して、保持姿勢に応じた処理を行うことも可能になる。例えば、プロセッサ710は、ユーザ端末800が縦向きに保持されているときには、縦長の画像をタッチスクリーン770に表示させる縦画面表示としてもよい。一方、ユーザ端末800が横向きに保持されているときには、横長の画像をタッチスクリーンに表示させる横画面表示としてもよい。このように、プロセッサ710は、ユーザ端末800の保持姿勢に応じて縦画面表示と横画面表示とを切り替え可能であってもよい。
Although not shown, the user terminal 800 may include one or more sensors for identifying the holding posture of the user terminal 800. FIG. This sensor may be, for example, an acceleration sensor or an angular velocity sensor. If the user terminal 800 is equipped with a sensor, the processor 710 can identify the holding posture of the user terminal 800 from the output of the sensor and perform processing according to the holding posture. For example, when the user terminal 800 is held vertically, the processor 710 may cause the touch screen 770 to display a vertically long image. On the other hand, when the user terminal 800 is held horizontally, a horizontal screen display may be used in which a horizontally long image is displayed on the touch screen. In this way, the processor 710 may be capable of switching between vertical screen display and horizontal screen display according to the holding posture of the user terminal 800 .
[ユーザ端末のモジュール構成]
図17は、ある実施の形態に従うユーザ端末800のモジュールの詳細構成を表わすブロック図である。図17に示されるように、ユーザ端末800Aは、コントロールモジュール810と、レンダリングモジュール820と、メモリモジュール830と、通信制御モジュール840とを備える。ある局面において、コントロールモジュール810とレンダリングモジュール820とは、プロセッサ710によって実現される。別の局面において、複数のプロセッサ710がコントロールモジュール810とレンダリングモジュール820として作動してもよい。メモリモジュール830は、メモリ720またはストレージ730によって実現される。通信制御モジュール840は、通信インターフェイス750によって実現される。
[Module configuration of user terminal]
FIG. 17 is a block diagram showing the detailed configuration of the modules of user terminal 800 according to an embodiment. As shown in FIG. 17, the user terminal 800A comprises a control module 810, a rendering module 820, a memory module 830, and a communication control module 840. In one aspect, control module 810 and rendering module 820 are implemented by processor 710 . In another aspect, multiple processors 710 may act as control module 810 and rendering module 820 . Memory module 830 is implemented by memory 720 or storage 730 . Communication control module 840 is implemented by communication interface 750 .
コントロールモジュール810、レンダリングモジュール820、メモリモジュール530、および通信制御モジュール840の基本的な機能は、コンピュータ200が備えるコントロールモジュール510、レンダリングモジュール520、メモリモジュール530、および通信制御モジュール540と同一である。したがって、これらの詳細な説明は繰り返さない。
The basic functions of the control module 810, the rendering module 820, the memory module 530, and the communication control module 840 are the same as the control module 510, the rendering module 520, the memory module 530, and the communication control module 540 provided in the computer 200. Accordingly, these detailed descriptions will not be repeated.
図17に示すように、コントロールモジュール810は、仮想オブジェクト生成モジュール1721、仮想視点制御モジュール1722、アバターオブジェクト制御モジュール1723、および学習モジュール1724を備えている。メモリモジュール830は、学習済みモデル1725を格納している。
As shown in FIG. 17, the control module 810 comprises a virtual object generation module 1721, a virtual viewpoint control module 1722, an avatar object control module 1723, and a learning module 1724. Memory module 830 stores trained model 1725 .
仮想オブジェクト生成モジュール1721は、コンピュータ200が備える仮想オブジェクト生成モジュール1421と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。仮想視点制御モジュール1722は、仮想空間11における仮想視点の挙動を制御する。仮想視点は、仮想カメラ14と同等の機能を有する。仮想視点制御モジュール1722は、例えば、仮想空間11における仮想視点の配置位置と、仮想視点の向き(傾き)とを制御する。アバターオブジェクト制御モジュール1723は、コンピュータ200が備えるアバターオブジェクト制御モジュール1424と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。
Since virtual object generation module 1721 has at least the same functions as virtual object generation module 1421 provided in computer 200, detailed description thereof will not be repeated. The virtual viewpoint control module 1722 controls behavior of the virtual viewpoint in the virtual space 11 . The virtual viewpoint has functions equivalent to those of the virtual camera 14 . The virtual viewpoint control module 1722 controls, for example, the arrangement position of the virtual viewpoint in the virtual space 11 and the orientation (inclination) of the virtual viewpoint. Avatar object control module 1723 has at least the same functions as avatar object control module 1424 provided in computer 200, and therefore detailed description thereof will not be repeated.
学習モジュール1724は、コンピュータ200が備える学習モジュール1428と同一の機能を少なくとも有するため、その詳細な説明を繰り返さない。学習済みモデル1725は、コンピュータ200のメモリモジュール530に格納される学習済みモデル1429と同一のものであるため、その詳細な説明は繰り返さない。
Learning module 1724 has at least the same functions as learning module 1428 provided in computer 200, so detailed description thereof will not be repeated. Trained model 1725 is the same as trained model 1429 stored in memory module 530 of computer 200, so detailed description thereof will not be repeated.
[演者(配信者)の仮想空間]
図18は、ある実施の形態に従う仮想空間11Bおよび視界画像1817Bを示す図である。図18(A)では、ユーザ5Bに仮想体験を提供するための仮想空間11Bに、アバターオブジェクト6B、仮想カメラ14B、およびパネルオブジェクト1832が少なくとも配置される。ユーザ5B(第1ユーザ)は、頭部にHMD120Bを装着している。ユーザ5Bは、ユーザ5Bの身体の右側の一部を構成する右手(第1部位)で右コントローラ300RBを把持し、ユーザ5Bの身体の左側の一部を構成する左手(第2部位)で左コントローラ300LBを把持している。
[Performer (distributor) virtual space]
FIG. 18 is a diagram showing virtual space 11B and view image 1817B according to one embodiment. In FIG. 18A, at least an avatar object 6B, a virtual camera 14B, and a panel object 1832 are placed in a virtual space 11B for providing a virtual experience to a user 5B. User 5B (first user) wears HMD 120B on the head. The user 5B holds the right controller 300RB with the right hand (first part) forming part of the right side of the body of the user 5B, and holds the right controller 300RB with the left hand (second part) forming part of the left side of the body of the user 5B. It holds the controller 300LB.
HMD120Bは、モーションセンサとして機能するセンサ190を備える。右コントローラ300RBおよび左コントローラ300LBは、モーションセンサ420を備える。ユーザ5Bは、さらに、モーションセンサ1841~1843を装着している。モーションセンサ1841は、ベルト1844によってユーザ5Bの腰部に装着されている。モーションセンサ1842は、ユーザ5Bの右足の甲に装着されている。モーションセンサ1843は、ユーザ5Bのユーザ5Bの左足の甲に装着されている。モーションセンサ1841~1843は、有線または無線によってコンピュータ200Bに接続されている。
HMD 120B includes sensor 190 that functions as a motion sensor. Right controller 300RB and left controller 300LB include motion sensors 420 . User 5B also wears motion sensors 1841-1843. A motion sensor 1841 is attached to the waist of the user 5B by a belt 1844. FIG. The motion sensor 1842 is attached to the instep of the right foot of the user 5B. The motion sensor 1843 is attached to the instep of the user 5B's left foot. Motion sensors 1841-1843 are wired or wirelessly connected to computer 200B.
ある局面において、ユーザ5Bに装着されるモーションセンサは、ベースステーション(図示しない)から照射される信号(例えば赤外線レーザ)の到達時間と角度とを検出する。コンピュータ200Bのプロセッサ210B(以下、単にプロセッサ210B)は、モーションセンサの検出結果に基づいて、ベースステーションに対するモーションセンサの位置を検出する。プロセッサ210Bは、さらに、ベースステーションに対するモーションセンサの位置を、所定点(例えば頭部に装着されたセンサ190の位置)を基準として規格化してもよい。
In one aspect, a motion sensor worn by user 5B detects the arrival time and angle of a signal (eg, an infrared laser) emitted from a base station (not shown). A processor 210B (hereinafter simply processor 210B) of computer 200B detects the position of the motion sensor with respect to the base station based on the detection result of the motion sensor. Processor 210B may also normalize the positions of the motion sensors relative to the base station relative to a predetermined point (eg, the position of head-mounted sensor 190).
アバターオブジェクト6Bは、仮想右手1831RBおよび仮想左手1831LBを含む。仮想右手1831RBは操作オブジェクトの一種であり、ユーザ5Bの右手の動きに応じて仮想空間11Bにおいて動くことができる。仮想左手1831LBは操作オブジェクトの一種であり、ユーザ5Bの左手の動きに応じて仮想空間11Bにおいて動くことができる。
Avatar object 6B includes virtual right hand 1831RB and virtual left hand 1831LB. The virtual right hand 1831RB is a kind of operation object, and can move in the virtual space 11B according to the movement of the right hand of the user 5B. The virtual left hand 1831LB is a kind of operation object, and can move in the virtual space 11B according to the movement of the left hand of the user 5B.
図18(A)に示す仮想空間11Bは、コンピュータ200Bにおいて番組コンテンツが再生されることによって、構築される。ユーザ5Bは、アバターオブジェクト6Bにパフォーマンスを実行させるために、自身の身体を動かす。コンピュータ200Bは、ユーザ5Bに装着される各種のモーションセンサの出力に基づいて、ユーザ5Bの動きを検出する。仮想空間11Bにおいて、アバターオブジェクト6Bは、特定されたユーザ5Bの動きに応じて、現実空間におけるユーザ5Bの動きが反映されたパフォーマンスを実行する。仮想空間11Bにおいてアバターオブジェクト6Bがユーザ5Bに動きに応じたパフォーマンスを実行すると、仮想空間11Bに同期する仮想空間11A、11C、および11Dにおいても、アバターオブジェクト6Bが同じパフォーマンスを実行する。このように、ユーザ5Bは、アバターオブジェクト6Bによる番組を、ユーザ5A、5C、および5Dにそれぞれ配信する配信者としての役割を有する。
A virtual space 11B shown in FIG. 18A is constructed by reproducing program content on the computer 200B. The user 5B moves his/her own body to cause the avatar object 6B to perform the performance. The computer 200B detects the movement of the user 5B based on the outputs of various motion sensors attached to the user 5B. In the virtual space 11B, the avatar object 6B performs a performance reflecting the movement of the user 5B in the real space according to the specified movement of the user 5B. When the avatar object 6B performs a performance corresponding to the movement of the user 5B in the virtual space 11B, the avatar object 6B also performs the same performance in the virtual spaces 11A, 11C, and 11D synchronized with the virtual space 11B. In this way, user 5B has a role as a distributor who distributes programs by avatar object 6B to users 5A, 5C, and 5D, respectively.
パネルオブジェクト1832は、アバターオブジェクト6Bの番組の視聴者であるユーザ5Aなどが、番組の配信中に入力したコメントが表示される仮想オブジェクトである。パネルオブジェクト1832は、透過設定された半透明のオブジェクトであってもよい。
The panel object 1832 is a virtual object on which a comment input by the user 5A or the like who is the viewer of the program of the avatar object 6B during distribution of the program is displayed. The panel object 1832 may be a semi-transparent object with transparency set.
図18(A)において、仮想カメラ14Bは、アバターオブジェクト6Bの頭部に配置される。仮想カメラ14Bは、仮想カメラ14Bの位置および向きに応じた視界領域15Bを規定する。仮想カメラ14Bは、視界領域15Bに対応する視界画像1817Bを生成して、図18(B)に示すようにHMD120Bに表示させる。ユーザ5Bは、視界画像1817Bを視認することによって、アバターオブジェクト6Bの視点で仮想空間の一部を視認する。これにより、ユーザ5Bは、あたかもユーザ5B自身がアバターオブジェクト6Bであるかのような仮想体験を、得ることができる。視界画像1817Bには、パネルオブジェクト1832が含まれる。したがって、ユーザ5Bは、アバターオブジェクト6Bによる番組に対するユーザ5Aなどからのコメントを、番組の配信中にリアルタイムに視認することができる。
In FIG. 18A, the virtual camera 14B is arranged on the head of the avatar object 6B. The virtual camera 14B defines a viewing area 15B according to the position and orientation of the virtual camera 14B. The virtual camera 14B generates a field-of-view image 1817B corresponding to the field-of-view area 15B, and displays it on the HMD 120B as shown in FIG. 18(B). The user 5B visually recognizes part of the virtual space from the viewpoint of the avatar object 6B by visually recognizing the view image 1817B. Thereby, the user 5B can obtain a virtual experience as if the user 5B himself were the avatar object 6B. View image 1817B includes panel object 1832 . Therefore, the user 5B can view comments from the user 5A and the like on the program by the avatar object 6B in real time during the distribution of the program.
[視聴者の仮想空間]
図19は、ある実施の形態に従う仮想空間11Aおよびユーザ端末800Aの表示面を示す図である。図19(A)では、ユーザ5A(第2ユーザ)に仮想体験を提供するための仮想空間11Aに、アバターオブジェクト6Bが少なくとも配置される。仮想空間11Aは、図18に示す仮想空間11Bに同期している。ユーザ5Aは、頭部にHMD120Aを装着せず、左手にユーザ端末800Aを把持している。図19の例では、ユーザ5Aは、アバターオブジェクト6Bが実演する番組(配信動画)を、ユーザ端末800Aの画面を視認しながら視聴する。
[Viewer's virtual space]
FIG. 19 is a diagram showing display surfaces of virtual space 11A and user terminal 800A according to an embodiment. In FIG. 19A, at least an avatar object 6B is arranged in a virtual space 11A for providing a virtual experience to a user 5A (second user). The virtual space 11A is synchronized with the virtual space 11B shown in FIG. The user 5A does not wear the HMD 120A on his head and holds the user terminal 800A in his left hand. In the example of FIG. 19, the user 5A watches the program (distributed video) demonstrated by the avatar object 6B while viewing the screen of the user terminal 800A.
図19(A)に示す仮想空間11Aは、ユーザ端末800Aにおいて番組コンテンツが再生されることによって、構築される。仮想空間11Aにおいて、アバターオブジェクト6Bは、ユーザ5Bの動きに基づいて、ライブの演者としてパフォーマンスを実行する。ユーザ5Bは、ユーザ端末800Aの画面を通じて、ライブの視聴者としてアバターオブジェクト6Bのパフォーマンスを視聴する。このとき、ユーザ5Cは、ユーザ端末800Cの画面を通じて、ライブの視聴者としてアバターオブジェクト6Bのパフォーマンスを視聴する。また、ユーザ5Dは、ユーザ端末800Dの画面を通じて、ライブの視聴者としてアバターオブジェクト6Bのパフォーマンスを視聴する。このように、アバターオブジェクト6Bの番組は、複数の異なるユーザ5に対して同時にストリーミング配信される。
A virtual space 11A shown in FIG. 19A is constructed by reproducing program content on the user terminal 800A. In the virtual space 11A, the avatar object 6B performs as a live performer based on the movements of the user 5B. User 5B views the performance of avatar object 6B as a live viewer through the screen of user terminal 800A. At this time, the user 5C views the performance of the avatar object 6B as a live viewer through the screen of the user terminal 800C. Also, the user 5D views the performance of the avatar object 6B as a live viewer through the screen of the user terminal 800D. Thus, the program of avatar object 6B is streamed to multiple different users 5 at the same time.
図19(A)において、仮想空間11Aの中心12Aに仮想視点1951が設定される。仮想視点1951は、仮想カメラ14Aと同等の機能を有する。仮想視点1951は、仮想視点1951の位置および向きに応じた視界領域15Aを規定する。プロセッサ710Aは、視界領域15Aに対応する視界画像1917Aを生成して、図19(B)に示すように、タッチスクリーン770Aに表示する。視界画像1917Aには、パフォーマンスを実行するアバターオブジェクト6Bが少なくとも含まれる。ユーザ5Aは、視界画像1917Aを視認することによって、アバターオブジェクト6Bと、アバターオブジェクト6Bが登場する仮想空間11Aの一部とを、視認する。これにより、ユーザ5Aは、あたかもアバターオブジェクト6Bが実際の配信者であるかのような仮想体験を、得ることができる。
In FIG. 19A, a virtual viewpoint 1951 is set at the center 12A of the virtual space 11A. A virtual viewpoint 1951 has a function equivalent to that of the virtual camera 14A. A virtual viewpoint 1951 defines a viewing area 15A according to the position and orientation of the virtual viewpoint 1951 . Processor 710A generates view image 1917A corresponding to view area 15A and displays it on touch screen 770A as shown in FIG. 19(B). The view image 1917A includes at least the avatar object 6B performing the performance. User 5A visually recognizes avatar object 6B and a part of virtual space 11A in which avatar object 6B appears by visually recognizing view image 1917A. Thereby, the user 5A can obtain a virtual experience as if the avatar object 6B were the actual distributor.
[寸法データの取得]
図20は、寸法データの取得方法を説明するための図である。寸法データは、ユーザ5Bの身体の寸法を表すデータである。図20(A)は、ユーザ5Bが、正面を向き、両手を水平に広げ、起立している状態を表す。以下、図20(A)に示される状態を第1姿勢とも言う。図20(B)は、ユーザ5Bが、正面を向き、両手を太もも側面に下ろし、起立している状態を表す。以下、図20(B)に示される状態を第2姿勢とも言う。
[Acquisition of dimension data]
FIG. 20 is a diagram for explaining a method of acquiring dimension data. The dimension data is data representing the body dimension of the user 5B. FIG. 20A shows a state in which the user 5B faces the front, spreads both hands horizontally, and stands up. Hereinafter, the state shown in FIG. 20A is also referred to as the first posture. FIG. 20B shows a state in which the user 5B faces the front, puts both hands on the sides of the thighs, and stands up. Hereinafter, the state shown in FIG. 20B is also referred to as a second posture.
ある局面において、プロセッサ210Bは、ユーザ5Bに対し第1姿勢および第2姿勢をとるように促す。一例として、プロセッサ210Bは、第1姿勢および第2姿勢のキャラクタをモニタ130Bに表示し、同様の姿勢をとる旨のメッセージを表示する。他の例として、プロセッサ210Bは、第1姿勢および第2姿勢をとる旨の音声をスピーカ180Bから出力してもよい。
In one aspect, processor 210B prompts user 5B to take a first pose and a second pose. As an example, processor 210B displays the characters in the first and second poses on monitor 130B and displays a message to the effect that they will take similar poses. As another example, the processor 210B may output a voice indicating that the first posture and the second posture are taken from the speaker 180B.
プロセッサ210Bは、ユーザ5Bに装着されたモーションセンサから、ユーザ5Bの頭部、腰部、両手、および両足の位置を検出する。以下、各モーションセンサによって検出されるユーザ5Bの部位の位置を「位置情報」とも言う。プロセッサ210Bは、2つの姿勢(第1姿勢と第2姿勢)のそれぞれにおいて、ユーザ5Bに装着されたモーションセンサの出力に基づいてユーザ5Bの頭部、腰部、両手、両足の位置情報を取得する。これら位置情報は、図21に示されるように実座標系(x、y、z)における位置として取得され得る。
The processor 210B detects the positions of the user 5B's head, waist, both hands, and both feet from the motion sensors worn by the user 5B. Hereinafter, the positions of the parts of the user 5B detected by each motion sensor are also referred to as "positional information". The processor 210B acquires position information of the head, waist, hands, and feet of the user 5B based on the outputs of the motion sensors worn by the user 5B in each of the two postures (the first posture and the second posture). . These position information can be obtained as positions in the real coordinate system (x, y, z) as shown in FIG.
プロセッサ210Bは、2つの姿勢に対応する位置情報からユーザ5Bの寸法データを算出する。ある実施形態において、プロセッサ210Bは、図22に示されるように、ユーザ5Bの身長、肩幅、腕の長さ、足の長さ、頭部から肩までの高さを寸法データとして算出する。プロセッサ210Bは、第2姿勢における両手の間隔を肩幅として算出し得る。プロセッサ210Bは、第1姿勢における両手の間隔から肩幅を差し引いた値の半分を腕の長さとして算出し得る。プロセッサ210Bは、足の高さから頭部の高さまでの距離を身長として算出し得る。プロセッサ210Bは、足の高さから腰部の高さまでの距離を足の長さとして算出し得る。プロセッサ210Bは、第1姿勢における手の高さから頭部までの高さを、頭部から肩までの高さとして算出し得る。
The processor 210B calculates the dimension data of the user 5B from the position information corresponding to the two postures. In one embodiment, the processor 210B calculates the height, shoulder width, arm length, leg length, and head-to-shoulder height of the user 5B as dimension data, as shown in FIG. Processor 210B may calculate the distance between both hands in the second posture as the shoulder width. The processor 210B may calculate half the distance between the hands in the first posture minus the shoulder width as the arm length. The processor 210B may calculate the height as the distance from the height of the feet to the height of the head. Processor 210B may calculate the distance from the height of the legs to the height of the hips as the length of the legs. The processor 210B may calculate the height from the hand height to the head in the first posture as the height from the head to the shoulder.
図23は、寸法データを取得するための処理を表すフローチャートである。ステップS2310において、プロセッサ210Bは、仮想空間11Bに仮想カメラ14Bを配置する。プロセッサ210Bはさらに、仮想カメラ14Bの撮影範囲に対応する視界画像17Bをモニタ130Bに出力する。
FIG. 23 is a flow chart showing processing for acquiring dimension data. In step S2310, processor 210B arranges virtual camera 14B in virtual space 11B. Processor 210B further outputs field-of-view image 17B corresponding to the imaging range of virtual camera 14B to monitor 130B.
ステップS2320において、プロセッサ210Bは、ユーザ5Bに第1姿勢になるように指示する。例えば、プロセッサ210Bは、当該指示が記されたオブジェクトを仮想空間11Bに配置することでステップS2320の処理を実現する。ステップS2330において、プロセッサ210Bは、第1姿勢に対応する位置情報を取得する。
At step S2320, the processor 210B instructs the user 5B to take the first posture. For example, the processor 210B implements the process of step S2320 by arranging the object on which the instruction is written in the virtual space 11B. At step S2330, the processor 210B obtains position information corresponding to the first pose.
ステップS2340において、プロセッサ210Bは、ユーザ5Bに第2姿勢になるように指示する。ステップS2350において、プロセッサ210Bは、第2姿勢に対応する位置情報を取得する。
At step S2340, the processor 210B instructs the user 5B to take the second posture. At step S2350, the processor 210B obtains position information corresponding to the second posture.
ステップS2360において、プロセッサ210Bは、第1姿勢に対応する位置情報と第2姿勢に対応する位置情報とから、ユーザ5Bの寸法データを算出する。プロセッサ210Bは、寸法データをストレージ230Bに格納する。
In step S2360, processor 210B calculates dimension data of user 5B from the position information corresponding to the first posture and the position information corresponding to the second posture. Processor 210B stores the dimension data in storage 230B.
以上のように、ユーザ5Bは、2つの姿勢をとるだけで、自身の寸法をコンピュータ200Bに容易に入力できる。なお、他の局面において、ユーザ5Bは、自身の寸法をキーボード等の入力デバイスを用いてコンピュータ200Bに入力してもよい。
As described above, the user 5B can easily input his/her own dimensions to the computer 200B simply by taking two postures. In another aspect, user 5B may input his or her dimensions into computer 200B using an input device such as a keyboard.
[関節の回転方向]
ある実施形態において、プロセッサ210Bは、ユーザ5Bに装着された6つのモーションセンサの出力(位置情報)と、寸法データとに基づいて、ユーザ5Bの関節の回転方向を推定する。一例として、プロセッサ210Bは、頭部の位置情報と、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。プロセッサ210Bは、肩の位置と手の位置情報とから、肘の位置を推定する。この推定は、逆運動学(Inverse Kinematics)を利用した公知のアプリケーションにより実行され得る。
[Direction of joint rotation]
In one embodiment, the processor 210B estimates the rotational direction of the joints of the user 5B based on the outputs (positional information) of the six motion sensors attached to the user 5B and the dimensional data. As an example, the processor 210B estimates the position of the shoulder based on the head position information, the shoulder width, and the height from the head to the shoulder. Processor 210B estimates the elbow position from the shoulder position and hand position information. This estimation can be performed by known applications using Inverse Kinematics.
ある実施形態において、プロセッサ210Bは、6つのモーションセンサから、ユーザ5Bの首(頭部)、腰、両手首、および両足首の関節の傾き(回転方向)を取得する。加えて、プロセッサ210Bは、逆運動学に基づいて、両肩、両肘、両股(足のつけ根)、両膝の関節の回転方向を推定する。図22に示されるように、プロセッサ210Bは、各関節の回転方向をuvw視野座標系で取得または推定する。
In one embodiment, the processor 210B acquires the joint tilts (rotational directions) of the neck (head), waist, both wrists, and both ankles of the user 5B from six motion sensors. In addition, the processor 210B estimates the rotational directions of the shoulder, elbow, hip, and knee joints based on inverse kinematics. As shown in FIG. 22, the processor 210B obtains or estimates the rotation direction of each joint in the uvw field coordinate system.
なお、回転方向が位置情報と寸法データとに基づいて算出される場合、プロセッサ210Bは、ユーザ5Bが正面を向いていないとき(つまり、頭部と腰部とが異なる方向を向いているとき)の肩の位置等を正確に推定できない。そこで、他の実施形態において、コンピュータ200Bは、モーションセンサによって検出されるユーザ5Bの部位の傾きをさらに考慮して関節の回転方向を推定してもよい。例えば、コンピュータ200Bは、頭部の位置情報と、頭部の傾きと、腰部の傾きと、肩幅と、頭部から肩までの高さとに基づいて、肩の位置を推定する。当該構成によれば、コンピュータ200Bは、関節の回転方向の精度を向上し得る。
Note that when the rotation direction is calculated based on the position information and the dimension data, the processor 210B calculates the rotation direction when the user 5B is not facing the front (that is, when the head and waist are facing in different directions). The position of the shoulder, etc. cannot be estimated accurately. Therefore, in another embodiment, the computer 200B may further consider the inclination of the part of the user 5B detected by the motion sensor to estimate the rotational direction of the joint. For example, the computer 200B estimates the shoulder positions based on the head position information, the tilt of the head, the tilt of the waist, the width of the shoulders, and the height from the head to the shoulders. According to this configuration, the computer 200B can improve the accuracy of the rotational direction of the joint.
[番組配信フロー]
図25は、ある実施の形態に従う配信システム1500において実行される処理の一部を表すシーケンスチャートである。図26は、ある実施の形態に従う仮想空間2611Bおよび視界画像2617Bを示す図である。図27は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。本実施形態では、少なくともHMDセット110B、ユーザ端末800A、およびサーバ600が、アバターオブジェクト6Bの番組を進行させるための一連の処理を実行する。HMDセット110Bの処理の一部または全部は、サーバ600またはユーザ端末800Aによって実行されてもよい。以下では、仮想空間2611Bにおいて進行するアバターオブジェクト6Bの番組を、HMDセット110Bからユーザ端末800Aに配信するための一連の処理を説明する。ユーザ端末800Cおよび800Dに対しても、同様の一連の処理に基づいてアバターオブジェクト6Bの番組が配信される。
[Program distribution flow]
FIG. 25 is a sequence chart representing part of the processing performed in distribution system 1500 according to one embodiment. FIG. 26 is a diagram showing virtual space 2611B and view image 2617B according to one embodiment. FIG. 27 is a diagram showing the display surface of virtual space 2611A and user terminal 800A according to one embodiment. In this embodiment, at least the HMD set 110B, the user terminal 800A, and the server 600 execute a series of processes for advancing the program of the avatar object 6B. A part or all of the processing of the HMD set 110B may be executed by the server 600 or the user terminal 800A. A series of processes for distributing the program of the avatar object 6B progressing in the virtual space 2611B from the HMD set 110B to the user terminal 800A will be described below. A program of avatar object 6B is also distributed to user terminals 800C and 800D based on a similar series of processes.
ステップS2501において、プロセッサ210Bは、図26(A)に示すような仮想空間2611Bを定義する。当該処理は、図11のステップS1110の処理に相当する。具体的には、プロセッサ210Bは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間2611Bを定義する。仮想空間2611Bは、アバターオブジェクト6Bが番組を実演する仮想空間である。言い換えれば、仮想空間2611Bは、アバターオブジェクト6Bによるパフォーマンスが行われる仮想空間である。
At step S2501, the processor 210B defines a virtual space 2611B as shown in FIG. 26(A). This process corresponds to the process of step S1110 in FIG. Specifically, processor 210B defines virtual space 2611B represented by the virtual space data by specifying the virtual space data. A virtual space 2611B is a virtual space in which the avatar object 6B demonstrates a program. In other words, the virtual space 2611B is a virtual space in which the performance is performed by the avatar object 6B.
ステップS2502において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、ユーザ5B(第1ユーザ)に関連付けられるアバターオブジェクト6B(第1アバター)を生成し、仮想空間2611Bに配置する。ステップS2503において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、仮想カメラ14Bを生成し、仮想空間2611Bに配置する。図26(A)では、仮想カメラ14Bは、アバターオブジェクト6Bの頭部に配置される。ステップS2504において、プロセッサ210Bは、仮想オブジェクト生成モジュール1421として、パネルオブジェクト1832を生成し、仮想空間2611Bに配置する。パネルオブジェクト1832は、番組の視聴者であるユーザ5Aなどが入力したコメントが表示される仮想オブジェクトである。図26(A)では、パネルオブジェクト1832は、アバターオブジェクト6Bの正面における、アバターオブジェクト6Bから一定距離置いた位置に配置される。この時点では、番組に対するコメントがユーザ5Aなどによって入力されていないので、パネルオブジェクト1832にはコメントが表示されていない。
In step S2502, the processor 210B, as the virtual object generation module 1421, generates an avatar object 6B (first avatar) associated with the user 5B (first user) and places it in the virtual space 2611B. In step S2503, the processor 210B, as the virtual object generation module 1421, generates the virtual camera 14B and places it in the virtual space 2611B. In FIG. 26A, the virtual camera 14B is placed on the head of the avatar object 6B. In step S2504, the processor 210B, as the virtual object generation module 1421, generates the panel object 1832 and places it in the virtual space 2611B. The panel object 1832 is a virtual object on which comments input by the user 5A, etc. who are viewers of the program are displayed. In FIG. 26(A), the panel object 1832 is placed in front of the avatar object 6B at a certain distance from the avatar object 6B. At this time point, no comment on the program has been entered by the user 5A or the like, so no comment is displayed on the panel object 1832 .
ステップS2505において、プロセッサ210Bは、アバターオブジェクト6Bのアバター情報を生成し、サーバ600を介してユーザ端末800Aに送信する。ステップS2506において、プロセッサ210Bは、仮想カメラ制御モジュール1422として、HMD120Bの動きに応じて仮想空間2611Bにおける仮想カメラ14Bの位置および傾きを決定する。より詳細には、プロセッサ210Bは、ユーザ5Bの頭部の姿勢と、仮想空間2611Bにおける仮想カメラ14Bの位置とに応じて、仮想空間2611Bにおける仮想カメラ14B(仮想視点)からの視界である視界領域15Bを制御する。当該処理は、図11のステップS1140の処理の一部に相当する。仮想カメラ14Bがアバターオブジェクト6Bと同一の位置に配置されるので、仮想カメラ14Bの位置は、アバターオブジェクト6Bの位置と同義である。さらに、仮想カメラ14Bからの視界は、アバターオブジェクト6Bからの視界と同義である。
At step S2505, the processor 210B generates avatar information for the avatar object 6B and transmits it to the user terminal 800A via the server 600. FIG. In step S2506, the processor 210B, as the virtual camera control module 1422, determines the position and tilt of the virtual camera 14B in the virtual space 2611B according to the movement of the HMD 120B. More specifically, the processor 210B adjusts the field of view, which is the field of view from the virtual camera 14B (virtual viewpoint) in the virtual space 2611B, according to the head posture of the user 5B and the position of the virtual camera 14B in the virtual space 2611B. 15B. This process corresponds to part of the process of step S1140 in FIG. Since the virtual camera 14B is arranged at the same position as the avatar object 6B, the position of the virtual camera 14B is synonymous with the position of the avatar object 6B. Furthermore, the field of view from the virtual camera 14B is synonymous with the field of view from the avatar object 6B.
ステップS2507において、プロセッサ210Bは、視界画像2617Bをモニタ130Bに表示する。具体的には、プロセッサ210Bは、HMD120Bの動き(すなわち仮想カメラ14Bの位置および傾き)と、仮想空間2611Bを定義する仮想空間データと、に基づいて、視界領域15Bに対応する視界画像2617Bを定義する。視界画像2617を定義することは、視界画像2617Bを生成することと同義である。プロセッサ210Bは、さらに、HMD120Bのモニタ130Bに視界画像2617Bを出力することによって、視界画像2617BをHMD120Bに表示させる。当該処理は、図11のステップS1180およびS1190の処理に相当する。
At step S2507, processor 210B displays view image 2617B on monitor 130B. Specifically, the processor 210B defines a view image 2617B corresponding to the view area 15B based on the movement of the HMD 120B (that is, the position and tilt of the virtual camera 14B) and the virtual space data defining the virtual space 2611B. do. Defining field of view image 2617 is synonymous with generating field of view image 2617B. Processor 210B further causes HMD 120B to display field-of-view image 2617B by outputting field-of-view image 2617B to monitor 130B of HMD 120B. This processing corresponds to the processing of steps S1180 and S1190 in FIG.
プロセッサ210Bは、例えば、図26(A)に示す仮想空間2611Bに対応する視界画像2617Bを、図26(B)に示すようにモニタ130Bに表示する。視界画像2617Bは、コメントが表示されないパネルオブジェクト1832を含む。ユーザ5Bは、視界画像2617Bを視認することによって、アバターオブジェクト6Bの視点で、仮想空間2611Bの一部を視認する。これにより、ユーザ5Bは、あたかもユーザ5B自身がアバターオブジェクト6Bであるかのような仮想体験を、得ることができる。ユーザ5Bは、パネルオブジェクト1832を視認することによって、現時点ではアバターオブジェクト6Bの番組に対するコメントが得られていないことを認識する。
The processor 210B, for example, displays a view image 2617B corresponding to the virtual space 2611B shown in FIG. 26(A) on the monitor 130B as shown in FIG. 26(B). View image 2617B includes panel object 1832 with no comment displayed. The user 5B visually recognizes a part of the virtual space 2611B from the viewpoint of the avatar object 6B by visually recognizing the view image 2617B. Thereby, the user 5B can obtain a virtual experience as if the user 5B himself were the avatar object 6B. By visually recognizing the panel object 1832, the user 5B recognizes that no comment has been obtained for the program of the avatar object 6B at this time.
ステップS2521において、プロセッサ710Aは、ユーザ5Aに仮想体験を提供するための仮想空間2611Aを定義する。この処理は、ステップS2501における仮想空間2611Bを定義するための処理と基本的に同一であるため、詳細な説明を繰り返さない。図26(A)では、仮想空間2611Aは、アバターオブジェクト6Bを含む。仮想空間2611Aは、仮想空間2611Bに部分的に同期される仮想空間である。ステップS2522において、プロセッサ710Aは、仮想空間2611Bに仮想視点1951を設定する。図27(A)では、仮想視点1951は、仮想空間2611Aの中心に設定される。ステップS2523において、プロセッサ710Aは、コンピュータ200Bから送信されたアバターオブジェクト6Bのアバター情報を受信する。ステップS2524において、プロセッサ710Aは、仮想オブジェクト生成モジュール1721として、受信したアバター情報に基づいて、アバターオブジェクト6Bを生成し、仮想空間2611Aにおける仮想視点1951の視界領域15A内に配置する。プロセッサ710Aは、パネルオブジェクト1832に関する情報をコンピュータ200Bから受信せず、パネルオブジェクト1832を仮想空間2611Aに配置しない。このように、パネルオブジェクト1832は、ユーザ5Bは視認できるが、ユーザ5Aは視認できない仮想オブジェクトである。
At step S2521, the processor 710A defines a virtual space 2611A for providing a virtual experience to the user 5A. Since this process is basically the same as the process for defining virtual space 2611B in step S2501, detailed description will not be repeated. In FIG. 26A, virtual space 2611A includes avatar object 6B. Virtual space 2611A is a virtual space partially synchronized with virtual space 2611B. In step S2522, the processor 710A sets the virtual viewpoint 1951 in the virtual space 2611B. In FIG. 27A, virtual viewpoint 1951 is set at the center of virtual space 2611A. At step S2523, processor 710A receives the avatar information of avatar object 6B transmitted from computer 200B. In step S2524, the processor 710A, as the virtual object generation module 1721, generates the avatar object 6B based on the received avatar information, and places it within the field of view 15A of the virtual viewpoint 1951 in the virtual space 2611A. Processor 710A does not receive information regarding panel object 1832 from computer 200B and does not place panel object 1832 in virtual space 2611A. Thus, the panel object 1832 is a virtual object that is visible to the user 5B but invisible to the user 5A.
ステップS2525において、プロセッサ710Aは、仮想視点制御モジュール1722として、タッチスクリーン770Aに対するユーザ5Aの操作に基づいて、仮想空間2611Aにおける仮想視点1951の位置および傾きを決定する。プロセッサ710Aは、例えば、タッチスクリーン770Aに対するユーザ5Aのフリック操作の方向と、仮想空間2611Aにおける仮想視点1951の位置とに応じて、仮想空間2611Aにおける仮想視点1951からの視界である視界領域15Aを制御する。
In step S2525, processor 710A, as virtual viewpoint control module 1722, determines the position and tilt of virtual viewpoint 1951 in virtual space 2611A based on user 5A's operation on touch screen 770A. Processor 710A, for example, according to the direction of user 5A's flick operation on touch screen 770A and the position of virtual viewpoint 1951 in virtual space 2611A, controls view area 15A, which is the field of view from virtual viewpoint 1951 in virtual space 2611A. do.
ステップS2526において、プロセッサ710Aは、視界領域15Aに対応する視界画像2717Aを生成し、タッチスクリーン770Aに表示する。具体的には、プロセッサ710Aは、仮想視点1951の位置および傾きと、仮想空間2611Aを定義する仮想空間データと、に基づいて、視界領域15Aに対応する視界画像2717Aを定義する。視界画像2717Aを定義することは、視界画像2717Aを生成することと同義である。プロセッサ710Aは、さらに、ユーザ端末800Aのタッチスクリーン770Aに視界画像2717Aを出力することによって、視界画像2717Aをタッチスクリーン770Aに表示する。
In step S2526, processor 710A generates view image 2717A corresponding to view area 15A and displays it on touch screen 770A. Specifically, processor 710A defines view image 2717A corresponding to view area 15A based on the position and tilt of virtual viewpoint 1951 and virtual space data defining virtual space 2611A. Defining the field of view image 2717A is synonymous with generating the field of view image 2717A. Processor 710A further displays view image 2717A on touch screen 770A by outputting view image 2717A to touch screen 770A of user terminal 800A.
プロセッサ710Aは、例えば、図27(A)に示す仮想空間2611Aに対応する視界画像2717Aを、図27(B)に示すようにタッチスクリーン770Aに表示する。これにより、プロセッサ710Aは、アバターオブジェクト6Bを含む視界画像2717Aをユーザ5Aに提供する。ユーザ5Aは、視界画像2717Aを視認することによって、アバターオブジェクト6Bの番組を視聴する。ステップS2527において、プロセッサ710Aは、コメント欄1952を、タッチスクリーン770Aにおける視界画像2717Aの下部に表示する。この時点では、ユーザ5Aは、コメントをまだ入力していない。そのため、コメント欄1952にはユーザ5Aのコメントが表示されていない。
Processor 710A, for example, displays field-of-view image 2717A corresponding to virtual space 2611A shown in FIG. 27(A) on touch screen 770A as shown in FIG. 27(B). Thereby, processor 710A provides user 5A with view image 2717A including avatar object 6B. User 5A views the program of avatar object 6B by visually recognizing view image 2717A. In step S2527, processor 710A displays comment field 1952 below view image 2717A on touch screen 770A. At this point, user 5A has not yet entered a comment. Therefore, the comments of the user 5A are not displayed in the comment column 1952. FIG.
図28は、ある実施形態に従うユーザ5Bの姿勢の一例を表す図である。図29は、ある実施の形態に従う仮想空間2611Bおよび視界画像2917Bを示す図である。ユーザ5Bは、番組の開始後、例えば図28に示す姿勢を取るように自身の身体を動かす。図28に示す姿勢は、第1パフォーマンスに対応する姿勢である。ステップS2508において、プロセッサ210Bは、図28に示す姿勢を取るためのユーザ5Bの動きを検出する。詳細には、プロセッサ210Bは、ユーザ5Bに装着された各モーションセンサから、ユーザ5Bの頭部、腰部、両手、および両足の位置を検出する。プロセッサ210Bは、ユーザ5Bの現在の位置情報と、予め取得されたユーザ5Bの寸法データとに基づいて、ユーザ5Bの関節の回転方向を算出する。このように、現在の位置情報を検出することおよび回転方向を算出することは、ユーザ5Bの動きを検出することと同義である。
FIG. 28 is a diagram representing an example of a posture of user 5B according to an embodiment. FIG. 29 is a diagram illustrating virtual space 2611B and view image 2917B according to one embodiment. After starting the program, the user 5B moves his/her body so as to take the posture shown in FIG. 28, for example. The posture shown in FIG. 28 is a posture corresponding to the first performance. At step S2508, the processor 210B detects movements of the user 5B to take the postures shown in FIG. Specifically, processor 210B detects the positions of user 5B's head, waist, hands, and feet from each motion sensor worn by user 5B. The processor 210B calculates the rotational directions of the joints of the user 5B based on the current position information of the user 5B and the pre-acquired dimension data of the user 5B. Thus, detecting the current position information and calculating the rotation direction are synonymous with detecting the movement of the user 5B.
ステップS2509において、プロセッサ210Bは、検出したユーザ5Bの動きに基づいて、図29(A)に示すようにアバターオブジェクト6Bを制御する。詳細には、プロセッサ210Bは、ユーザ5Bの現在の位置情報および回転方向に基づいて、仮想空間2611Bに配置されるアバターオブジェクト6Bを動かす。プロセッサ210Bは、例えば、右肩の回転方向に基づいて、アバターオブジェクト6Bの右上腕部を動かす。プロセッサ210Bはさらに、現在の位置情報(例えば現在の腰部の位置情報)に基づいて、アバターオブジェクト6Bの仮想空間2611Bにおける位置を動かす。これにより、プロセッサ210Bは、現実空間のユーザ5Bの動きを、仮想空間2611Bに配置されるアバターオブジェクト6Bに反映させる。言い換えれば、プロセッサ210Bは、アバターオブジェクト6Bに、ユーザ5Bの動きに応じた第1パフォーマンスを実行させる。
In step S2509, the processor 210B controls the avatar object 6B as shown in FIG. 29(A) based on the detected motion of the user 5B. Specifically, the processor 210B moves the avatar object 6B placed in the virtual space 2611B based on the current position information and rotation direction of the user 5B. Processor 210B moves the right upper arm of avatar object 6B, for example, based on the rotation direction of the right shoulder. The processor 210B further moves the position of the avatar object 6B in the virtual space 2611B based on the current position information (for example, current waist position information). Thereby, the processor 210B reflects the movement of the user 5B in the physical space on the avatar object 6B arranged in the virtual space 2611B. In other words, the processor 210B causes the avatar object 6B to perform the first performance according to the movements of the user 5B.
ユーザ5Bの動きをアバターオブジェクト6Bに反映させるための処理は、上述した位置情報および回転方向に応じた処理に限定されない。プロセッサ210Bは、例えば、回転方向を算出することなく、ユーザ5Bの動きに応じてアバターオブジェクト6Bを動かすこともできる。プロセッサ210Bは、例えば、ユーザ5Bの身体を構成する各部位の位置に対応するように、ユーザ5Bの各部位に対応するアバターオブジェクト6Bの各部位オブジェクトの位置を制御するようにしてもよい。
The processing for reflecting the movement of the user 5B on the avatar object 6B is not limited to the processing according to the above-described positional information and rotation direction. Processor 210B may, for example, move avatar object 6B in response to movement of user 5B without calculating the direction of rotation. For example, the processor 210B may control the position of each part object of the avatar object 6B corresponding to each part of the user 5B so as to correspond to the position of each part constituting the body of the user 5B.
ステップS2510において、プロセッサ210Bは、第1パフォーマンスを実行した際のアバターオブジェクト6Bの動きを表す動き情報をリアルタイムに生成し、この動き情報を含むアバターオブジェクト6Bのアバター情報を、サーバ600を介してユーザ端末800Aにリアルタイムに送信する。ステップS2511において、プロセッサ210Bは、モニタ130Bに表示される視界画像2617Bを更新する。プロセッサ210Bは、例えば、図29(A)に示す仮想空間2611Bに対応する視界画像2917Bを生成し、図29(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像3017Bを視認することによって、第1パフォーマンスの実施直後に、番組に対するコメントがまだ得られていないことを認識する。
In step S2510, the processor 210B generates motion information representing the motion of the avatar object 6B when performing the first performance in real time, and transmits the avatar information of the avatar object 6B including this motion information to the user via the server 600. It transmits to the terminal 800A in real time. At step S2511, processor 210B updates view image 2617B displayed on monitor 130B. Processor 210B, for example, generates field-of-view image 2917B corresponding to virtual space 2611B shown in FIG. 29(A), and displays it on monitor 130B as shown in FIG. 29(B). User 5B recognizes, by visually recognizing view image 3017B, that comments on the program have not yet been obtained immediately after the performance of the first performance.
図30は、ある実施の形態に仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。ステップS2528において、プロセッサ710Aは、コンピュータ200Bから送信されたアバターオブジェクト6Bのアバター情報をリアルタイムに受信する。ステップS2529において、プロセッサ710Aは、受信したアバター情報に含まれるアバターオブジェクト6Bの動き情報に基づいて、図30(A)に示すように仮想空間2611Aにおいてアバターオブジェクト6Bの第1カテゴリに属する動作をリアルタイムに制御する。詳細には、プロセッサ710Aは、アバター情報に含まれるアバターオブジェクト6Bの動き情報に基づいて、仮想空間2611Bにおいてアバターオブジェクト6Bに第1カテゴリに属する第1パフォーマンスを実行させる。このように、第1カテゴリに属する動作は、アバターオブジェクト6Bの身体の一部を構成する部位を動かす動作である。仮想空間2611Bにおけるアバターオブジェクト6Bの挙動が、仮想空間2611Aにおけるアバターオブジェクト6Bに反映される。言い換えれば、アバターオブジェクト6Bの挙動が、仮想空間2611Aおよび2611Bにおいて同期される。このようにして、仮想空間2611Bにおけるアバターオブジェクト6Bの番組が、仮想空間2611Aに配信される。
FIG. 30 is a diagram showing display surfaces of virtual space 2611A and user terminal 800A in an embodiment. At step S2528, the processor 710A receives in real time the avatar information of the avatar object 6B transmitted from the computer 200B. In step S2529, processor 710A performs real-time movement of avatar object 6B belonging to the first category in virtual space 2611A as shown in FIG. 30A, based on the movement information of avatar object 6B included in the received avatar information. to control. Specifically, the processor 710A causes the avatar object 6B to perform a first performance belonging to the first category in the virtual space 2611B based on the motion information of the avatar object 6B included in the avatar information. As described above, the action belonging to the first category is the action of moving a part forming part of the body of the avatar object 6B. The behavior of the avatar object 6B in the virtual space 2611B is reflected on the avatar object 6B in the virtual space 2611A. In other words, the behavior of avatar object 6B is synchronized in virtual spaces 2611A and 2611B. Thus, the program of the avatar object 6B in the virtual space 2611B is delivered to the virtual space 2611A.
ステップS2530において、プロセッサ710Aは、タッチスクリーン770Aに表示される視界画像17Aを更新する。プロセッサ710Aは、例えば、図30(A)に示す仮想空間2611Aに対応する視界画像3017Aを生成し、図30(B)に示すようにタッチスクリーン770Aに表示する。ユーザ5Aは、視界画像3017Aを視認することによって、アバターオブジェクト6Bの第1パフォーマンスを楽しむことができる。
In step S2530, processor 710A updates view image 17A displayed on touch screen 770A. Processor 710A, for example, generates field-of-view image 3017A corresponding to virtual space 2611A shown in FIG. 30(A), and displays it on touch screen 770A as shown in FIG. 30(B). User 5A can enjoy the first performance of avatar object 6B by viewing view image 3017A.
図示しないが、プロセッサ210Bは、ユーザ5Bが発した音声を、マイク170Bを用いて録音する。プロセッサ210Bは、ユーザ5Bの音声を表す音声データを生成し、サーバ600に送信する。サーバ600は、受信したユーザ5Bの音声データを、同期処理によってユーザ端末800Aに送信する。ユーザ端末800Aは、受信したユーザ5Bの音声データが表す音声を、スピーカ780Aに出力する。これらの一連の処理の結果、ユーザ5Aは、ライブ中にユーザ5Bが発した音声を、リアルタイムに聴取することができる。
Although not shown, the processor 210B records the voice uttered by the user 5B using the microphone 170B. The processor 210B generates voice data representing the voice of the user 5B and transmits it to the server 600. FIG. The server 600 transmits the received voice data of the user 5B to the user terminal 800A by synchronous processing. The user terminal 800A outputs the voice represented by the received voice data of the user 5B to the speaker 780A. As a result of these series of processes, the user 5A can listen in real time to the voice uttered by the user 5B during the live performance.
(実施形態1の詳細)
図31は、ある実施の形態に係るアバターオブジェクト6Bが取り得る表情3161~3163を示す図である。図31(A)は破顔表情3161を示し、図31(B)は怒気表情3162を示し、図31(C)は困惑表情3163を示す。アバターオブジェクト6B(第1アバター)は、ユーザ5B(第1ユーザ)による所望の操作に基づいて、破顔表情3161、怒気表情3162、および困惑表情3163のうちいずれかを、アバターオブジェクト6Bの顔に作ることができる。破顔表情3161は、アバターオブジェクト6Bが笑ったときに示す顔の表情であり、怒気表情3162は、アバターオブジェクト6Bが怒ったときに示す顔の表情であり、困惑表情3163は、アバターオブジェクト6Bが困ったときに示す顔の表情である。
(Details of Embodiment 1)
FIG. 31 is a diagram showing facial expressions 3161 to 3163 that can be taken by the avatar object 6B according to an embodiment. 31(A) shows a broken face expression 3161, FIG. 31(B) shows an angry expression 3162, and FIG. 31(C) shows a confused expression 3163. FIG. The avatar object 6B (first avatar) makes one of a broken face expression 3161, an angry expression 3162, and a confused expression 3163 on the face of the avatar object 6B based on a desired operation by the user 5B (first user). be able to. The angry facial expression 3161 is the facial expression shown when the avatar object 6B laughs, the angry facial expression 3162 is the facial expression shown when the avatar object 6B is angry, and the confused facial expression 3163 is the facial expression shown when the avatar object 6B is embarrassed. It is the expression on the face that is shown when
これらの表情は、コントローラ300RBに備えられるいずれかのボタンに対する操作に予め設定されている。例えば、ボタン340の押下操作に破顔表情3161が設定され、ボタン350の押下操作に怒気表情3162が設定され、ボタン370の押下操作に困惑表情3163が設定される。メモリモジュール530Bは、破顔表情3161、怒気表情3162、および困惑表情3163をそれぞれ表す個別の動作情報を格納している。以下、アバターオブジェクト6Bの動作情報は、アバターオブジェクト6Bの動き情報と同義であるとする。動作情報は、アバターオブジェクト6の骨格部分の動作を規定した情報であればよい。プロセッサ210Bは、ユーザ5Bが押下したボタンに対応する動作情報をメモリモジュール530Bから取得し、当該情報が表す表情をアバターオブジェクト6Bに作らせる。
These facial expressions are set in advance for operations on any of the buttons provided on the controller 300RB. For example, a dejected facial expression 3161 is set for the pressing operation of the button 340 , an angry facial expression 3162 is set for the pressing operation of the button 350 , and a puzzled facial expression 3163 is set for the pressing operation of the button 370 . Memory module 530B stores separate motion information representing broken facial expression 3161, angry facial expression 3162, and confused facial expression 3163, respectively. Hereinafter, it is assumed that the motion information of the avatar object 6B is synonymous with the motion information of the avatar object 6B. The motion information may be any information that defines the motion of the skeletal portion of the avatar object 6 . The processor 210B acquires the motion information corresponding to the button pressed by the user 5B from the memory module 530B, and causes the avatar object 6B to create the facial expression represented by the information.
図32は、ある実施の形態に従う仮想空間2611Bおよび視界画像3217Bを示す図である。以下では、まず、アバターオブジェクト6Bの番組の視聴者に好評の表情を機械学習するための一連の手順を説明する。図32(A)では、アバターオブジェクト6Bおよびパネルオブジェクト1832が仮想空間2611Bに配置されている。ユーザ5Bは、アバターオブジェクト6Bに破顔表情3161を作らせるために、コントローラ300RBのボタン340を押下する。プロセッサ210Bは、ボタン340に対するユーザ5Bの押下操作を、ユーザ5Bの動きととして検出する。プロセッサ210Bは、ボタン340に対する押下操作に対応する破顔表情3161を、図32(A)に示すようにアバターオブジェクト6Bに作らせる。プロセッサ210Bは、破顔表情3161を表す動作情報を、サーバ600を介してユーザ端末800Aに送信する。
FIG. 32 is a diagram illustrating virtual space 2611B and view image 3217B according to one embodiment. In the following, first, a series of procedures for machine-learning facial expressions that are popular among viewers of the program of the avatar object 6B will be described. In FIG. 32A, avatar object 6B and panel object 1832 are arranged in virtual space 2611B. The user 5B presses the button 340 of the controller 300RB in order to make the avatar object 6B make the broken face expression 3161. The processor 210B detects the pressing operation of the user 5B on the button 340 as the movement of the user 5B. The processor 210B causes the avatar object 6B to create a broken facial expression 3161 corresponding to the pressing operation on the button 340, as shown in FIG. 32(A). Processor 210B transmits motion information representing broken facial expression 3161 to user terminal 800A via server 600 .
プロセッサ210Bは、図32(A)に示す仮想空間2611Bに対応する視界画像3217Bを生成し、例えば図32(B)に示すようにモニタ130Bに表示する。視界画像3217Bには、何も表示されないパネルオブジェクト1832が含まれる。ユーザ5Bは、視界画像3217Bを通じて、アバターオブジェクト6Bの破顔表情3161に対する視聴者のコメントがまだ得られていないことを認識する。
Processor 210B generates field-of-view image 3217B corresponding to virtual space 2611B shown in FIG. 32(A), and displays it on monitor 130B as shown in FIG. 32(B), for example. View image 3217B includes panel object 1832 that displays nothing. The user 5B recognizes through the view image 3217B that the viewer's comment on the broken facial expression 3161 of the avatar object 6B has not yet been obtained.
図33は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図33(A)に示す仮想空間2611Aには、アバターオブジェクト6Bが配置されている。プロセッサ710Aは、破顔表情3161を表す動作情報をHMDセット110Bから受信し、当該情報に基づいて、図33(B)に示すように仮想空間2611Aにおいてアバターオブジェクト6Bに破顔表情3161を作らせる。
FIG. 33 is a diagram showing the display surface of virtual space 2611A and user terminal 800A according to one embodiment. An avatar object 6B is placed in the virtual space 2611A shown in FIG. 33(A). The processor 710A receives motion information representing the broken facial expression 3161 from the HMD set 110B, and based on the information, causes the avatar object 6B to make the broken facial expression 3161 in the virtual space 2611A as shown in FIG. 33(B).
プロセッサ710Aは、図33(A)に示す仮想空間2611Aに対応する視界画像3317Aを生成し、例えば図33(B)に示すようにタッチスクリーン770Aに表示する。視界画像3317Aには、破顔表情3161を作っているアバターオブジェクト6Bが含まれている。ユーザ5A(第2ユーザ)は、視界画像3317Aを通じて、アバターオブジェクト6Bが破顔表情3161を作ったことを認識する。
Processor 710A generates field-of-view image 3317A corresponding to virtual space 2611A shown in FIG. 33(A), and displays it on touch screen 770A as shown in FIG. 33(B), for example. A view image 3317A includes an avatar object 6B making a broken face expression 3161. FIG. The user 5A (second user) recognizes that the avatar object 6B has made a broken face expression 3161 through the field image 3317A.
図34は、ある実施の形態に従うユーザ端末800Aの表示面を示す図である。ユーザ5Aは、アバターオブジェクト6Bの破顔表情3161を好ましいものと感じ、そのような評価をユーザ5Bに与えるための操作をユーザ端末800Aに入力する。詳細には、ユーザ5Aは、アバターオブジェクト6Bの破顔表情3161に対するコメントを、ユーザ端末800Aに入力する。プロセッサ710Aは、例えば、タッチスクリーン770Aに対するユーザ5Bの操作に基づいて、文字列を入力するためのソフトウェアキーボードをタッチスクリーン770Aに表示する。ユーザ5Aは、ソフトウェアキーボードに対するタップ操作によって、コメントをユーザ端末800Aに入力する。プロセッサ710Aは、ユーザ5Aによるコメントの入力を検出する。これにより、プロセッサ710Aは、ユーザ5Aが入力したコメント3453を特定する。
FIG. 34 is a diagram illustrating a display surface of user terminal 800A according to one embodiment. The user 5A feels that the broken face expression 3161 of the avatar object 6B is preferable, and inputs an operation to the user terminal 800A for giving such an evaluation to the user 5B. Specifically, the user 5A inputs a comment on the broken face expression 3161 of the avatar object 6B to the user terminal 800A. Processor 710A displays a software keyboard for inputting a character string on touch screen 770A, for example, based on user 5B's operation on touch screen 770A. The user 5A inputs a comment to the user terminal 800A by tapping the software keyboard. Processor 710A detects input of a comment by user 5A. Thereby, processor 710A identifies comment 3453 input by user 5A.
プロセッサ710Aは、特定したコメント3453を、図34に示すようにコメント欄1952に表示する。ユーザ5Aは、コメント欄1952に表示されたコメント3453を視認することによって、コメント3453が正常に入力されたことを認識する。プロセッサ710Aは、コメント3453をサーバ600を介してコンピュータ200Bに送信する。
Processor 710A displays identified comment 3453 in comment column 1952 as shown in FIG. User 5A recognizes that comment 3453 has been correctly input by visually recognizing comment 3453 displayed in comment field 1952 . Processor 710A transmits comment 3453 to computer 200B via server 600.
図35は、ある実施の形態に従う仮想空間2611Bおよび視界画像3517Bを示す図である。プロセッサ210Bは、ユーザ端末800Aから送信されたコメント3453を受信し、図35(A)に示すように、コメント3453に関するテキスト3553をパネルオブジェクト1832の表示面に表示する。当該テキストは、ユーザ5Aのコメント3453と、ユーザ5Aの名称とを含む。プロセッサ210Bは、図35(A)に示す仮想空間2611Bに対応する視界画像3517Bを生成し、例えば図35(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像3517Bを通じて、破顔表情3161に対してユーザ5Aからコメントが入力されたことを認識する。
FIG. 35 is a diagram illustrating virtual space 2611B and view image 3517B according to one embodiment. The processor 210B receives the comment 3453 transmitted from the user terminal 800A, and displays the text 3553 regarding the comment 3453 on the display surface of the panel object 1832 as shown in FIG. 35(A). The text includes user 5A's comment 3453 and user 5A's name. Processor 210B generates field-of-view image 3517B corresponding to virtual space 2611B shown in FIG. 35(A), and displays it on monitor 130B as shown in FIG. 35(B), for example. User 5B recognizes through field image 3517B that user 5A has input a comment on broken facial expression 3161 .
図36は、ある実施の形態に係る学習済みモデル1429を示す図である。プロセッサ210Bは、ユーザ5Bの操作に基づいてアバターオブジェクト6Bが作った破顔表情3161に対してユーザ5Aが入力したコメント3453を、破顔表情3161に対する評価として特定する。プロセッサ210Bは、破顔表情3161に対して、特定したユーザ5Aの評価を関連付ける。さらに、評価が関連付けられた破顔表情3161を機械学習することによって、表情の学習結果に相当する学習済みモデル1429を生成する。プロセッサ210Bは、例えば、図36に示すように、アバターオブジェクト6Bが取り得る表情を表す動作情報と、当該表情に対する評価の総計とが関連付けられて格納される学習済みモデル1429を生成する。図36では、破顔表情3161に評価の総計「100」が関連付けられ、怒気表情3162に評価の総計「5」が関連付けられ、困惑表情3163に評価総計「12」が関連付けられる。この例では、破顔表情3161、困惑表情3163、および怒気表情3162の順で、視聴者から得られた評価の総計が高い。
FIG. 36 is a diagram illustrating a trained model 1429 according to one embodiment. The processor 210B identifies the comment 3453 input by the user 5A to the broken facial expression 3161 created by the avatar object 6B based on the operation of the user 5B as an evaluation of the broken facial expression 3161. Processor 210B associates evaluation of identified user 5A with broken facial expression 3161 . Furthermore, by machine learning the facial expression 3161 associated with the evaluation, a learned model 1429 corresponding to the learning result of the facial expression is generated. For example, as shown in FIG. 36, the processor 210B generates a learned model 1429 in which motion information representing possible facial expressions of the avatar object 6B and total evaluations of the facial expressions are associated and stored. In FIG. 36, the dejected facial expression 3161 is associated with a total evaluation of "100", the angry expression 3162 is associated with a total evaluation of "5", and the confused expression 3163 is associated with a total evaluation of "12". In this example, the total number of evaluations obtained from the viewers is high in the order of the dejected facial expression 3161, the confused facial expression 3163, and the angry facial expression 3162.
図37は、ある実施の形態に従う配信システム1500において実行される処理の一部を表すシーケンスチャートである。以下では、表情の機械学習結果に基づいてアバターオブジェクト6Bが好適な表情を自動的に作る際の一連の処理の流れを説明する。
FIG. 37 is a sequence chart representing part of the processing performed in distribution system 1500 according to one embodiment. Below, a series of processing flows when the avatar object 6B automatically creates a suitable facial expression based on the results of machine learning of the facial expression will be described.
図38は、ある実施形態に従うユーザの姿勢の一例を表す図である。ユーザ5Bは、番組の配信中に、例えば図38に示す姿勢を取るように自身の身体を動かす。図38に示す姿勢は、ユーザ5Bの第2パフォーマンスに対応する姿勢である。ステップS3701において、プロセッサ210Bは、図38に示す姿勢を取るためのユーザ5Bの動きを検出する。ステップS3702において、プロセッサ210Bは、学習済みモデル1429に基づいて、アバターオブジェクト6Bが行い得る新たな動作に関する情報を特定する。ここでは、当該新たな動作は、アバターオブジェクト6Bが表情を作る動作のことである。プロセッサ210Bは、学習済みモデル1429に格納される表情に関する複数の動作情報のうち、より多くの評価が関連付けられた表情を表す動作情報を、より優先的に特定する。ここでは、破顔表情3161、怒気表情3162、および困惑表情3163のうち、最も大きい評価の総計「100」が関連付けられる破顔表情3161を表す動作情報を、学習済みモデル1429から特定する。
FIG. 38 is a diagram representing an example of a user's posture according to an embodiment. The user 5B moves his/her body so as to take the posture shown in FIG. 38, for example, during the distribution of the program. The posture shown in FIG. 38 is a posture corresponding to the second performance of the user 5B. At step S3701, the processor 210B detects movements of the user 5B to take the postures shown in FIG. At step S3702, the processor 210B identifies, based on the learned model 1429, information about new actions that the avatar object 6B can perform. Here, the new action is the action of the avatar object 6B making a facial expression. Processor 210</b>B preferentially identifies motion information representing a facial expression associated with a larger number of evaluations from among a plurality of pieces of motion information related to facial expressions stored in trained model 1429 . Here, from the trained model 1429 , the action information representing the broken face 3161 associated with the highest evaluation sum of “100” among the broken face 3161 , the angry face 3162 , and the confused face 3163 is identified.
ステップS3703において、プロセッサ210Bは、ユーザ5Bの動きと、学習済みモデル1429から取得した動作情報とに基づいて、アバターオブジェクト6Bに適用可能な制御内容を特定する。ここでは、ユーザ5Bの動きに対応する第2パフォーマンスを実行しながら、取得した動作情報が表す破顔表情3161を作るという制御内容を特定する。特に図示しないが、プロセッサ210Bは、仮想空間2611Bにおいて、特定した制御内容に基づいてアバターオブジェクト6Bを制御してもよい。ステップS3704において、プロセッサ210Bは、特定した制御内容をサーバ600を介してユーザ端末800Aに送信する。
In step S3703, the processor 210B identifies control details applicable to the avatar object 6B based on the motion of the user 5B and the motion information acquired from the trained model 1429. Here, the content of the control is specified to create the broken facial expression 3161 represented by the acquired motion information while executing the second performance corresponding to the motion of the user 5B. Although not shown, the processor 210B may control the avatar object 6B in the virtual space 2611B based on the specified control content. In step S3704, the processor 210B transmits the identified control content to the user terminal 800A via the server 600. FIG.
図39は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。ステップS3705において、プロセッサ710Aは、コンピュータ200Bから送信された制御内容を受信する。ステップS3706において、プロセッサ710Aは、受信した制御内容に基づいて、図39(A)に示すようにアバターオブジェクト6Bを制御する。詳細には、アバターオブジェクト6Bに、第2パフォーマンスを実行させながら破顔表情3161を作らせる。このように、アバターオブジェクト6Bは、ユーザ5Bが表情を指定する操作を行わなくても、視聴者からの評価が高い破顔表情3161を自動的に作ることができる。
FIG. 39 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to one embodiment. At step S3705, the processor 710A receives the control content transmitted from the computer 200B. In step S3706, the processor 710A controls the avatar object 6B as shown in FIG. 39(A) based on the received control details. Specifically, the avatar object 6B is made to make a broken facial expression 3161 while performing the second performance. In this way, the avatar object 6B can automatically create the broken facial expression 3161, which is highly rated by viewers, without the user 5B performing an operation to specify the facial expression.
プロセッサ710Aは、図39(A)に示す仮想空間2611Aに対応する視界画像3917Aを生成し、例えば図39(B)に示すようにタッチスクリーン770Aに表示する。視界画像3917Aには、破顔表情3161を作りながら第2パフォーマンスを実行しているアバターオブジェクト6Bが表示されている。ユーザ5Aは、視界画像3917Aを通じて、アバターオブジェクト6Bの第2パフォーマンスを楽しむ。ユーザ5Aは、特に、ユーザ5Aが過去に評価した破顔表情3161をアバターオブジェクト6Bが作っているため、アバターオブジェクト6Bの番組に対してより一層好ましい印象を持つことになる。
Processor 710A generates field-of-view image 3917A corresponding to virtual space 2611A shown in FIG. 39(A), and displays it on touch screen 770A as shown in FIG. 39(B), for example. A view image 3917A displays an avatar object 6B performing a second performance while making a broken facial expression 3161. FIG. User 5A enjoys the second performance of avatar object 6B through view image 3917A. The user 5A has a much more favorable impression of the program of the avatar object 6B, especially since the avatar object 6B makes the broken facial expression 3161 evaluated by the user 5A in the past.
(主要な作用効果)
本実施形態では、ユーザ5Bの動きと、アバターオブジェクト6Bの過去の動作を機械学習した学習結果に基づいて特定されたアバターオブジェクト6Bの新たな動作に関する動作情報との双方に基づいて、アバターオブジェクト6Bの制御内容を特定するため、仮想空間2611においてアバターオブジェクト6Bをより好適に制御することができる。
(main effects)
In this embodiment, based on both the motion of the user 5B and the motion information regarding the new motion of the avatar object 6B specified based on the learning result of machine learning of the past motion of the avatar object 6B, the avatar object 6B , the avatar object 6B can be more suitably controlled in the virtual space 2611.
また、アバターオブジェクト6Bの過去の動作に対する視聴者の評価に基づいて、アバターオブジェクト6Bが取るべき好ましい動作を機械学習するため、視聴者の好みに合致した動作をアバターオブジェクト6Bに実行させることができる。
In addition, since machine learning is performed on preferable actions that the avatar object 6B should take based on the viewer's evaluation of the past actions of the avatar object 6B, the avatar object 6B can be made to perform actions that match the viewer's preferences. .
(変形例)
図40は、ある実施の形態に係るユーザ端末800Aの表示面を示す図である。図40(A)では、プロセッサ710Aは、タッチスクリーン770Aに視界画像3317Aを表示すると共に、タッチスクリーン770Aにおける視界画像3317Aの下部にUI表示欄4054を表示している。UI表示欄4054は、番組視聴に関する各種のUI部品を表示するための領域である。図40(A)では、プロセッサ710Aは、UI表示欄4054にボタン4055を表示している。ボタン4055には「Good」というテキストがラベルされている。ボタン4055は、番組に対する視聴者の好意的な評価が対応している。ボタン4055は、アバターオブジェクト6Bの番組に対するユーザ5Aからの評価の入力を受け付ける機能を有する。
(Modification)
FIG. 40 is a diagram showing a display surface of a user terminal 800A according to one embodiment. In FIG. 40A, processor 710A displays field image 3317A on touch screen 770A, and displays UI display field 4054 below field image 3317A on touch screen 770A. The UI display column 4054 is an area for displaying various UI components related to program viewing. In FIG. 40A, processor 710A displays button 4055 in UI display field 4054 . Button 4055 is labeled with the text "Good". A button 4055 corresponds to the viewer's favorable evaluation of the program. The button 4055 has a function of receiving an input of evaluation from the user 5A for the program of the avatar object 6B.
図40(B)では、ユーザ5Bは、アバターオブジェクト6Bが作った破顔表情3161を好意的なものと感じ、破顔表情3161に応答してボタン4055を押下することによって、破顔表情3161に対する評価をタッチスクリーン770Aに入力する。プロセッサ710Aは、ボタン4055に対するユーザ5Bの操作を検出し、当該操作を表す操作情報を生成してコンピュータ200Bに送信する。プロセッサ210Bは、ユーザ端末800Aから受信した操作情報に基づいて、アバターオブジェクト6Bが破顔表情3161を作ったことに応答して、ユーザ5Bがボタン4055を押下操作したことを特定する。これにより、プロセッサ210Bは、破顔表情3161に対するユーザ5Aの評価を特定する。
In FIG. 40B, the user 5B feels that the broken face expression 3161 made by the avatar object 6B is favorable, and touches the evaluation of the broken face expression 3161 by pressing the button 4055 in response to the broken face expression 3161. Enter screen 770A. Processor 710A detects an operation of user 5B on button 4055, generates operation information representing the operation, and transmits the operation information to computer 200B. Based on the operation information received from user terminal 800A, processor 210B identifies that user 5B pressed button 4055 in response to avatar object 6B making broken face expression 3161 . Thereby, the processor 210B identifies the user 5A's evaluation of the broken facial expression 3161. FIG.
本例でも、プロセッサ210Bは、アバターオブジェクト6Bが過去に行った動作に対するユーザ5Aの評価を適切に特定することができる。これにより、番組の視聴者から好まれるアバターオブジェクト6Bの動作を効果的に機械学習することができる。
In this example as well, the processor 210B can appropriately identify the user's 5A evaluation of the action performed by the avatar object 6B in the past. As a result, the motion of the avatar object 6B that is preferred by the viewers of the program can be effectively machine-learned.
図41は、ある実施の形態に係るユーザ端末800Aの表示面を示す図である。図41(A)では、プロセッサ710Aは、タッチスクリーン770Aに視界画像3317Aを表示すると共に、タッチスクリーン770Aにおける視界画像3317Aの下部にUI表示欄4054を表示している。図41(A)では、プロセッサ710Aは、UI表示欄4054に、アイコン状態のダイヤオブジェクト4156を表示している。ダイヤオブジェクト4156は、ユーザ5Aが有償で入手可能な仮想オブジェクトの一種である。ダイヤオブジェクト4156は、ダイヤオブジェクト4156をユーザ5Bに付与するための操作を受け付け可能な態様でUI表示欄4054に表示される。
FIG. 41 is a diagram showing a display surface of a user terminal 800A according to one embodiment. In FIG. 41A, the processor 710A displays the view image 3317A on the touch screen 770A and also displays the UI display field 4054 below the view image 3317A on the touch screen 770A. In FIG. 41A, the processor 710A displays an icon state diamond object 4156 in the UI display field 4054 . Diamond object 4156 is a kind of virtual object that user 5A can obtain for a fee. The diamond object 4156 is displayed in the UI display field 4054 in such a manner that an operation for giving the diamond object 4156 to the user 5B can be accepted.
図41(B)では、ユーザ5Aは、アバターオブジェクト6Bが作った破顔表情3161を好意的なものと感じ、ユーザ5Bによる番組配信を応援すべく、有償のダイヤオブジェクト4156をユーザ5Bに付与するための操作をタッチスクリーン770Aに入力する。詳細には、ユーザ5Aは、ダイヤオブジェクト4156をUI表示欄4054から視界画像3317Aまで移動させるためのスワイプ操作を、ダイヤオブジェクト4156に対して入力する。プロセッサ710Aは、ユーザ5Bのスワイプ操作を検出し、図41(B)に示すようにダイヤオブジェクト4156を視界画像3317Aの位置まで移動させる。プロセッサ710Aは、ダイヤオブジェクト4156の移動に応答して、ダイヤオブジェクト4156を表すオブジェクト情報を生成し、コンピュータ200Bに送信する。
In FIG. 41(B), the user 5A finds the broken face expression 3161 made by the avatar object 6B favorable, and gives the user 5B a paid diamond object 4156 in order to support the program distribution by the user 5B. is input to the touch screen 770A. Specifically, the user 5A inputs a swipe operation to the diamond object 4156 to move the diamond object 4156 from the UI display field 4054 to the view image 3317A. Processor 710A detects the swipe operation of user 5B and moves diamond object 4156 to the position of view image 3317A as shown in FIG. 41(B). Processor 710A generates object information representing diamond object 4156 in response to movement of diamond object 4156 and transmits it to computer 200B.
図42は、ある実施の形態に従う仮想空間2611Bおよび視界画像4217Bを示す図である。プロセッサ210Bは、ユーザ端末800Aから送信されたオブジェクト情報を受信し、当該情報に基づいて、ユーザ5Aからユーザ5Bにダイヤオブジェクト4156が付与されたことを特定する。プロセッサ210Bは、この特定に応答して、ユーザ5Bにダイヤオブジェクト4156が付与されたことを表すメッセージ4134を、図42(A)に示すようにパネルオブジェクト1832の表示面に表示する。プロセッサ210Bは、さらに、ダイヤオブジェクト4156を、図42(B)に示すように視界領域15B内に配置する。
FIG. 42 is a diagram illustrating virtual space 2611B and view image 4217B according to one embodiment. The processor 210B receives the object information transmitted from the user terminal 800A, and based on the information, specifies that the diamond object 4156 has been given from the user 5A to the user 5B. In response to this identification, processor 210B displays message 4134 indicating that diamond object 4156 has been granted to user 5B on the display surface of panel object 1832 as shown in FIG. 42(A). Processor 210B further places diamond object 4156 within view area 15B as shown in FIG. 42(B).
プロセッサ210Bは、図42(A)に示す仮想空間2611Bに対応する視界画像4217Bを生成し、例えば図42(B)に示すようにモニタ130Bに表示する。視界画像4217Bは、メッセージ4134が表示されるパネルオブジェクト1832と、ユーザ5Bに付与されたダイヤオブジェクト4156とを含む。ユーザ5Bは、視界画像4217Bを通じて、ユーザ5Aからダイヤオブジェクト4156を貰ったことを認識する。ダイヤオブジェクト4156がユーザ5Bに付与されたことによって、ユーザ5Aがダイヤオブジェクト4156の購入に要した費用の一部が、番組の配信者に支払われる。これにより、番組の売り上げが増加する。
Processor 210B generates field-of-view image 4217B corresponding to virtual space 2611B shown in FIG. 42(A), and displays it on monitor 130B as shown in FIG. 42(B), for example. View image 4217B includes panel object 1832 displaying message 4134 and diamond object 4156 provided to user 5B. User 5B recognizes that he has received diamond object 4156 from user 5A through view image 4217B. By giving the diamond object 4156 to the user 5B, part of the cost required for the purchase of the diamond object 4156 by the user 5A is paid to the program distributor. This will increase the sales of the program.
プロセッサ210Bは、ユーザ5Aからユーザ5Bに付与されたダイヤオブジェクト4156を、破顔表情3161に対するユーザ5Aの評価として特定する。このように、アバターオブジェクト6Bが特定の表情を作ったことに応答して、視聴者からユーザ5Bにダイヤオブジェクト4156などの贈答用のオブジェクトがユーザ5Bに付与されるたびに、当該表情に関連付けられる評価がより高くなる。本例でも、プロセッサ210Bは、アバターオブジェクト6Bが過去に行った動作に対するユーザ5Aの評価を適切に特定することができる。これにより、番組の視聴者から好まれる動作を効果的に機械学習することができる。
The processor 210B identifies the diamond object 4156 provided by the user 5A to the user 5B as the user 5A's evaluation of the broken facial expression 3161. In this way, every time the viewer gives the user 5B a gift object such as the diamond object 4156 in response to the avatar object 6B making a specific facial expression, it is associated with that facial expression. higher evaluation. In this example as well, the processor 210B can appropriately identify the user's 5A evaluation of the action performed by the avatar object 6B in the past. As a result, it is possible to effectively machine-learn actions that are preferred by program viewers.
プロセッサ210Bは、機械学習された破顔表情3161をユーザ5A等に販売することができる。ユーザ5Aは、自らを配信者として、アバターオブジェクト6Aによる番組をユーザ5B等に配信することができる。その際、プロセッサ210Aは、アバターオブジェクト6Aの番組配信中にユーザ5Aの動きを検出した場合、当該動きと、ユーザ5Bから購入した機械学習済みの破顔表情3161とに基づいて、アバターオブジェクト6Aに適用可能な制御内容を特定する。これにより、ユーザ5Aがアバターオブジェクト6Aの表情を制御する操作を行わなくても、アバターオブジェクト6Aに破顔表情3161を自動的に作らせることができる。
The processor 210B can sell the machine-learned broken facial expression 3161 to the user 5A or the like. The user 5A can distribute the program by the avatar object 6A to the user 5B or the like by himself/herself as a distributor. At that time, when the processor 210A detects the movement of the user 5A during the program distribution of the avatar object 6A, the processor 210A applies to the avatar object 6A based on the movement and the machine-learned facial expression 3161 purchased from the user 5B. Identify possible controls. This allows the avatar object 6A to automatically create the broken face expression 3161 without the user 5A performing an operation to control the facial expression of the avatar object 6A.
プロセッサ210Bは、ユーザ5Bの動きに基づくアバターオブジェクト6Bの任意の動作を機械学習し、当該動作を表す動作情報を販売することができる。例えば、ダンス、スポーツ等の定型的な動作(スイングや投球フォーム)、楽器を弾く動きなどの売買が配信システム1500において可能になる。
The processor 210B can machine-learn any motion of the avatar object 6B based on the motion of the user 5B and sell motion information representing the motion. For example, the delivery system 1500 enables the sale of routine movements (swings and pitching forms) in dance, sports, etc., and movements of playing musical instruments.
〔実施形態2〕
図43は、ある実施の形態に従うユーザ5Bおよびアバターオブジェクト6Bを表す図である。図43(A)では、ユーザ5Bは、両手をぶら下げた状態で、自然な呼吸動作を行っている。この場合のユーザ5Bの動きが小さいため、検出したユーザ5Bの動きに単にそのまま基づくのでは、アバターオブジェクト6Bを正常に動作させることができない可能性がある。そこでプロセッサ210Bは、検出したユーザ5Bの動きに対応するアバターオブジェクト6Bの動作に関する動作情報(第1情報)をまず生成し、そして当該動作情報を所定の補正パラメータを用いて補正することによって、アバターオブジェクト6Bの補正された補正動作(第1動作)を表す補正動作情報(第2情報)を生成する。ここでの補正動作は、図43(A)に示すように、アバターオブジェクト6Bが、その両肩および両腕を大きく上下させる動作である。
[Embodiment 2]
FIG. 43 is a diagram representing a user 5B and an avatar object 6B according to one embodiment. In FIG. 43(A), the user 5B is performing a natural breathing motion with both hands hanging. Since the motion of the user 5B in this case is small, there is a possibility that the avatar object 6B may not be able to move normally if it is simply based on the detected motion of the user 5B. Therefore, the processor 210B first generates motion information (first information) regarding motion of the avatar object 6B corresponding to the detected motion of the user 5B, and corrects the motion information using a predetermined correction parameter to obtain an avatar Correction action information (second information) representing the corrected correction action (first action) of the object 6B is generated. The correction motion here is a motion in which the avatar object 6B raises and lowers both its shoulders and both arms, as shown in FIG. 43(A).
図44は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図44(A)に示す仮想空間2611Aでは、視界領域15A内にアバターオブジェクト6Bが配置されている。プロセッサ710Aは、HMDセット110Bにおいて生成された補正動作情報を、コンピュータ200Bから受信する。プロセッサ210Bは、受信した補正動作情報に基づいて、図44(A)に示すように、仮想空間2611Aにおいてアバターオブジェクト6Bに補正動作を実行させる。ここでの補正動作は、図43(B)に示す補正動作と同一である。
FIG. 44 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to an embodiment. In the virtual space 2611A shown in FIG. 44(A), the avatar object 6B is placed within the field of view 15A. Processor 710A receives corrective motion information generated in HMD set 110B from computer 200B. Processor 210B causes avatar object 6B to perform a corrective action in virtual space 2611A, as shown in FIG. 44A, based on the received corrective action information. The correction operation here is the same as the correction operation shown in FIG.
プロセッサ710Aは、図44(A)に示す仮想空間2611Aに対応する視界画像4417Aを生成し、例えば図44(B)に示すようにタッチスクリーン770Aに表示する。プロセッサ210Bは、視界画像4417と共に、番組に対する好意的な評価をユーザ5Bに与えるためのボタン4055をタッチスクリーン770Aに表示する。視界画像4417Aには、アバターオブジェクト6Bが両肩および両腕を上下させる様子が表示されている。ユーザ5Aは、このような動作を不自然と感じるため、視界画像4417Aを視認した際にボタン4055を押下しない。
Processor 710A generates field-of-view image 4417A corresponding to virtual space 2611A shown in FIG. 44(A), and displays it on touch screen 770A as shown in FIG. 44(B), for example. Processor 210B displays view image 4417 along with button 4055 for giving user 5B a positive rating of the program on touch screen 770A. The view image 4417A shows the avatar object 6B moving its shoulders and arms up and down. The user 5A does not press the button 4055 when viewing the view image 4417A because the user 5A finds such an action unnatural.
図45は、ある実施の形態に従うユーザ5Bおよびアバターオブジェクト6Bを表す図である。図45(A)では、ユーザ5Bは、アバターオブジェクト6Bが図43(A)に示す補正動作を行った後、引き続き両手をぶら下げた状態で自然な呼吸動作を行っている。プロセッサ210Bは、アバターオブジェクト6Bが行った補正動作に対する評価が閾値以上であるか否かを特定する。ここでは、ユーザ5Aがボタン4055を押下しないことに対応して、図44に示す補正動作に対する評価が、所定の閾値を下回っていると特定する。プロセッサ210Bは、補正動作に対する評価が閾値を下回る場合、補正パラメータを調整する。調整の手法は特に限定されない。ここでは、ユーザ5Bの動きを強調する程度を、調整前に比べて小さくするように、補正パラメータを調整するものとする。
Figure 45 is a diagram representing a user 5B and an avatar object 6B according to one embodiment. In FIG. 45A, after the avatar object 6B has performed the correcting action shown in FIG. 43A, the user 5B continues to perform a natural breathing action with both hands hanging. The processor 210B identifies whether or not the evaluation of the correction action performed by the avatar object 6B is equal to or greater than a threshold. Here, in response to user 5A not pressing button 4055, it is specified that the evaluation for the correction operation shown in FIG. 44 is below a predetermined threshold. Processor 210B adjusts the correction parameters if the evaluation for the corrective action falls below the threshold. The method of adjustment is not particularly limited. Here, it is assumed that the correction parameter is adjusted so as to reduce the extent to which the motion of the user 5B is emphasized compared to before the adjustment.
プロセッサ210Bは、図45(A)に示すユーザ5Bの動きに対応するアバターオブジェクト6Bの動作に関する動作情報を生成し、そして当該動作情報を、調整後の補正パラメータを用いて補正することによって、アバターオブジェクト6Bの補正動作情報を生成する。この補正動作情報が表す補正動作は、図45(B)に示すように、アバターオブジェクト6Bが、その両肩および両腕を僅かに上下させる動作であり、図45(A)に示すユーザ5Bの動きに良く合致した自然なものである。
The processor 210B generates motion information about the motion of the avatar object 6B corresponding to the motion of the user 5B shown in FIG. Correction motion information for the object 6B is generated. The correcting action represented by this correcting action information is, as shown in FIG. It is a natural thing that matches the movement well.
図46は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図46(A)に示す仮想空間2611Aでは、視界領域15A内にアバターオブジェクト6Bが配置されている。プロセッサ710Aは、図45(B)に示すアバターオブジェクト6Bの補正動作を表す補正動作情報を、コンピュータ200Bから受信する。プロセッサ210Bは、受信した補正動作情報に基づいて、図46(A)に示すように、仮想空間2611Aにおいてアバターオブジェクト6Bに補正動作を実行させる。ここでの第1動作は、図45(B)に示す動作と同一である。
FIG. 46 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to an embodiment. In the virtual space 2611A shown in FIG. 46A, the avatar object 6B is placed within the field of view 15A. Processor 710A receives corrective action information representing the corrective action of avatar object 6B shown in FIG. 45(B) from computer 200B. Processor 210B causes avatar object 6B to perform a corrective action in virtual space 2611A, as shown in FIG. 46A, based on the received corrective action information. The first operation here is the same as the operation shown in FIG. 45(B).
プロセッサ710Aは、図46(A)に示す仮想空間2611Aに対応する視界画像4617Aを生成し、例えば図46(B)に示すようにタッチスクリーン770Aに表示する。プロセッサ210Bは、視界画像4617と共にボタン4055をタッチスクリーン770Aに表示する。視界画像4617Aには、アバターオブジェクト6Bが両肩および両腕を僅かに上下させる様子が表示されている。ユーザ5Aは、このような動作を自然なものと感じるため、視界画像4617Aを視認した際にボタン4055を押下することによって、図46(B)に示すアバターオブジェクト6Bの動作に対する好意的な評価をユーザ5Bに与える。
Processor 710A generates field-of-view image 4617A corresponding to virtual space 2611A shown in FIG. 46(A), and displays it on touch screen 770A as shown in FIG. 46(B), for example. Processor 210B displays button 4055 along with view image 4617 on touch screen 770A. The view image 4617A shows the avatar object 6B slightly moving its shoulders and arms up and down. Since the user 5A feels that such an action is natural, by pressing the button 4055 when viewing the view image 4617A, the action of the avatar object 6B shown in FIG. 46B is evaluated favorably. Give to user 5B.
プロセッサ210Bは、ユーザ端末800Aにおいてアバターオブジェクト6Bの第1動作に与えられた評価を特定する。プロセッサ210Bは、評価が関連付けられる補正動作を表す補正動作情報を生成するために用いられた補正パラメータを機械学習することによって、当該補正パラメータが格納された学習済みモデル1429を生成する。
Processor 210B identifies the rating given to the first action of avatar object 6B at user terminal 800A. Processor 210B machine-learns the correction parameters used to generate the corrective action information representing the corrective action with which the evaluation is associated, thereby generating learned model 1429 in which the corrective parameters are stored.
図47は、ある実施の形態に従うユーザ5Bおよびアバターオブジェクト6Bを表す図である。図47(A)では、ユーザ5Bは、補正パラメータが機械学習された後に、両手の先を体の前で近づけた状態で、自然な呼吸動作を行っている。プロセッサ210Bは、図47(A)に示すユーザ5Bの動きに対応するアバターオブジェクト6Bの動作情報を生成し、さらに、当該動作情報を補正するための学習済み補正パラメータを、学習済みモデル1429から特定する。プロセッサ210Bは、特定した補正パラメータを用いて動作情報を補正することによって、アバターオブジェクト6Bに図47(B)に示す補正動作を行わせるための補正動作情報を生成する。この補正動作は、図47(B)に示すように、アバターオブジェクト6Bが、その両手を体の前で近づけた状態で、両肩および両腕を僅かに上下させる動作であり、図47(A)に示すユーザ5Bの動きに良く合致した自然な動作である。
FIG. 47 is a diagram representing a user 5B and an avatar object 6B according to one embodiment. In FIG. 47(A), the user 5B performs a natural breathing motion with the tips of both hands brought close to each other in front of the body after the correction parameters have been machine-learned. Processor 210B generates motion information of avatar object 6B corresponding to the motion of user 5B shown in FIG. do. The processor 210B corrects the action information using the identified correction parameters to generate correction action information for causing the avatar object 6B to perform the correction action shown in FIG. 47(B). As shown in FIG. 47(B), this correction action is a motion in which the avatar object 6B slightly raises and lowers both shoulders and both arms while keeping both hands close in front of the body. ) is a natural movement that well matches the movement of the user 5B shown in FIG.
図48は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図48(A)に示す仮想空間2611Aでは、視界領域15A内にアバターオブジェクト6Bが配置されている。プロセッサ710Aは、図47(B)に示すアバターオブジェクト6Bの補正動作を表す補正動作情報を、コンピュータ200Bから受信する。プロセッサ210Bは、受信した補正動作情報に基づいて、図48(A)に示すように、仮想空間2611Aにおいてアバターオブジェクト6Bに補正動作を実行させる。ここでの第1動作は、図47(B)に示す動作と同一である。
FIG. 48 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to an embodiment. In the virtual space 2611A shown in FIG. 48(A), the avatar object 6B is placed within the field of view 15A. Processor 710A receives corrective action information representing the corrective action of avatar object 6B shown in FIG. 47(B) from computer 200B. Processor 210B causes avatar object 6B to perform a corrective action in virtual space 2611A, as shown in FIG. 48A, based on the received corrective action information. The first operation here is the same as the operation shown in FIG. 47(B).
プロセッサ710Aは、図48(A)に示す仮想空間2611Aに対応する視界画像4817Aを生成し、例えば図48(B)に示すようにタッチスクリーン770Aに表示する。視界画像4817Aには、アバターオブジェクト6Bが両肩および両腕を僅かに上下させる様子が表示されている。ユーザ5Aは、このような動作を自然なものと感じる。
Processor 710A generates field-of-view image 4817A corresponding to virtual space 2611A shown in FIG. 48(A), and displays it on touch screen 770A as shown in FIG. 48(B), for example. The view image 4817A shows the avatar object 6B slightly moving its shoulders and arms up and down. User 5A feels that such an operation is natural.
(主要な作用効果)
本実施形態では、アバターオブジェクト6Bの補正動作に対する評価が閾値に満たない場合には補正パラメータが調整されるので、このような調整を繰り返すことによって、補正動作に対する評価が閾値を超えるような補正パラメータをいずれは得ることができる。これにより、ユーザ5Aの様々な動きに対して補正パラメータを適用することによって、アバターオブジェクト6Bの動作を自然なものとしてユーザ5Aに視認させることができるようになる。その結果、仮想空間2611においてアバターオブジェクト6Bに自然な振る舞いをさせることができ、これにより番組に対する視聴者(ユーザ5A)の満足度をより高めることができる。
(main effects)
In the present embodiment, the correction parameter is adjusted when the evaluation of the correction action of the avatar object 6B is less than the threshold. can eventually be obtained. Accordingly, by applying the correction parameters to various motions of the user 5A, the motion of the avatar object 6B can be visually recognized as natural by the user 5A. As a result, the avatar object 6B can be made to behave naturally in the virtual space 2611, thereby further increasing the viewer's (user 5A's) satisfaction with the program.
(変形例)
プロセッサ210Bは、ユーザ5Bの動きを一定時間検出しない場合、規定の動作をアバターオブジェクト6Bに実行させることができる。この場合の動作として、機械学習したアバターオブジェクト6Bの過去の動作が挙げられる。
(Modification)
If the processor 210B does not detect the motion of the user 5B for a certain period of time, the processor 210B can cause the avatar object 6B to perform a prescribed action. The motion in this case includes the past motion of the machine-learned avatar object 6B.
〔実施形態3〕
図49は、ある実施の形態に従うユーザ5Bおよびアバターオブジェクト6Bを表す図である。図49(A)では、ユーザ5Bは、コントローラ300RBを把持した右手をユーザ5Bの頭部のすぐ側まで近づける。プロセッサ210Bは、図49(A)に示すユーザ5Bの右手の動きに基づいて、図49(B)に示すように、アバターオブジェクト6Bの仮想右手1831RBを仮想空間2611Bにおいて動作させる。図49(B)は、仮想右手1831RBはアバターオブジェクト6Bの顔の側で止まらずに、アバターオブジェクト6Bの顔の内部にまでめり込んでいる。
[Embodiment 3]
FIG. 49 is a diagram representing a user 5B and an avatar object 6B according to one embodiment. In FIG. 49A, the user 5B brings the right hand holding the controller 300RB close to the immediate side of the user 5B's head. Processor 210B moves virtual right hand 1831RB of avatar object 6B in virtual space 2611B as shown in FIG. 49(B) based on the movement of user 5B's right hand shown in FIG. 49(A). In FIG. 49B, the virtual right hand 1831RB does not stop on the side of the face of the avatar object 6B, but penetrates into the face of the avatar object 6B.
プロセッサ210Bは、図49(B)に示すように動作された仮想右手1831RBが、アバターオブジェクト6Bにめり込んだか否かを判定する。具体的には、アバターオブジェクト6Bと仮想右手1831RBとの位置関係に基づいて、両者が少なくとも部分的に重畳することを検出した場合、仮想右手1831RBがアバターオブジェクト6Bにめり込んだと判定する。ここでは、仮想右手1831RBがめり込んだと判定される。プロセッサ210Bは、アバターオブジェクト6Bにめり込んだ仮想右手1831RBの動作を表す動作情報は、機械学習しない。
The processor 210B determines whether or not the virtual right hand 1831RB operated as shown in FIG. 49B has sunk into the avatar object 6B. Specifically, based on the positional relationship between the avatar object 6B and the virtual right hand 1831RB, it is determined that the virtual right hand 1831RB has sunk into the avatar object 6B when it is detected that the two overlap at least partially. Here, it is determined that the virtual right hand 1831RB has sunk. The processor 210B does not machine-learn the motion information representing the motion of the virtual right hand 1831RB that sinks into the avatar object 6B.
図50は、ある実施の形態に従うユーザ5Bおよびアバターオブジェクト6Bを表す図である。図50(A)では、ユーザ5Bは、コントローラ300RBを把持した右手をユーザ5Bの頭部から少し放れた位置まで近づける。プロセッサ210Bは、図50(A)に示すユーザ5Bの右手の動きに基づいて、図50(B)に示すように、アバターオブジェクト6Bの仮想右手1831RBを仮想空間2611Bにおいて動作させる。図50(B)では、仮想右手1831RBはアバターオブジェクト6Bの顔から少し離れた位置で止まり、アバターオブジェクト6Bの顔の内部にめり込んでいない。
FIG. 50 is a diagram representing a user 5B and an avatar object 6B according to one embodiment. In FIG. 50(A), the user 5B brings the right hand holding the controller 300RB closer to a position slightly away from the head of the user 5B. Processor 210B moves virtual right hand 1831RB of avatar object 6B in virtual space 2611B as shown in FIG. 50(B) based on the movement of user 5B's right hand shown in FIG. 50(A). In FIG. 50B, the virtual right hand 1831RB stops at a position slightly separated from the face of the avatar object 6B and does not sink into the face of the avatar object 6B.
図51は、ある実施の形態に従う学習済みモデル1429を示す図である。プロセッサ210Bは、図50(B)に示すように動作された仮想右手1831RBが、アバターオブジェクト6Bにめり込んだか否かを判定する。ここでは、仮想右手1831RBがめり込んでいないと判定する。この判定結果に基づき、プロセッサ210Bは、図50(B)に示す仮想右手1831RBの動作を表す動作情報を学習することによって、図51に示すように、当該動作情報が格納された学習済みモデル1429を生成する。図51では、めり込み「なし」が関連付けられた動作情報「α」が、学習済みモデル1429に格納されている。
FIG. 51 is a diagram illustrating a trained model 1429 according to one embodiment. The processor 210B determines whether or not the virtual right hand 1831RB operated as shown in FIG. 50B has sunk into the avatar object 6B. Here, it is determined that the virtual right hand 1831RB is not sunken. Based on this determination result, the processor 210B learns motion information representing the motion of the virtual right hand 1831RB shown in FIG. to generate In FIG. 51 , the learned model 1429 stores motion information “α” associated with “no” penetration.
図52は、ある実施の形態に従うユーザ5Bおよびアバターオブジェクト6Bを表す図である。動作情報の学習後、ユーザ5Bは、図52(A)に示すように、コントローラ300RBを把持した右手をユーザ5Bの頭部のすぐ側まで近づける。これは図49(A)に示すユーザ5Bの動作と同じである。プロセッサ210Bは、図52(A)に示すユーザ5Bの右手の動きを検出した場合、学習済みモデル1429にアクセスして、仮想右手1831RBの動きに関する複数の動作情報の中から、機械学習された動作情報αを特定する。プロセッサ210Bは、検出したユーザ5Bの右手の動きと、学習済みモデル1429から特定した動作情報αとに基づいて、仮想右手1831RBがアバターオブジェクト6Bにめり込まずに済む制御内容を特定する。ここでは、動作情報αが表すアバターオブジェクト6Bの動作、すなわち仮想右手1831RBをアバターオブジェクト6Bの頭部のすぐ側まで近づける動作を、ユーザ5Bの動きに対応するアバターオブジェクト6Bの制御内容として特定する。プロセッサ210Bは、特定した制御内容に基づいて、図52(B)に示すように仮想右手1831RBを制御する。この結果、動作情報αの学習前には図49(B)に示すように仮想右手1831RBをアバターオブジェクト6Bにめり込ませていた動きを、動作情報αの学習後にユーザ5Bが行った場合、図52の(B)に示すように仮想右手1831RBはアバターオブジェクト6Bにめり込まずに済む。
Figure 52 is a diagram representing a user 5B and an avatar object 6B according to one embodiment. After learning the motion information, the user 5B brings the right hand holding the controller 300RB close to the immediate side of the user 5B's head, as shown in FIG. 52(A). This is the same as the action of user 5B shown in FIG. 49(A). When the processor 210B detects the motion of the right hand of the user 5B shown in FIG. 52(A), the processor 210B accesses the learned model 1429 and extracts the machine-learned motion from the plurality of motion information regarding the motion of the virtual right hand 1831RB. Identify the information α. The processor 210B identifies the control content that prevents the virtual right hand 1831RB from getting into the avatar object 6B based on the detected movement of the right hand of the user 5B and the movement information α identified from the learned model 1429. Here, the motion of the avatar object 6B represented by the motion information α, that is, the motion of bringing the virtual right hand 1831RB close to the head of the avatar object 6B is specified as the control content of the avatar object 6B corresponding to the motion of the user 5B. Processor 210B controls virtual right hand 1831RB as shown in FIG. 52(B) based on the specified control content. As a result, when the user 5B performs the motion of immersing the virtual right hand 1831RB into the avatar object 6B as shown in FIG. 49B before learning the action information α, after learning the action information α, As shown in FIG. 52(B), the virtual right hand 1831RB does not have to sink into the avatar object 6B.
〔実施形態4〕
本実施形態では、ユーザ5Bは、自身が発話した音声(第1音声)の代わりに、当該音声を変換した変換音声(第2音声)をアバターオブジェクト6Bに発話させるための設定を、HMDセット110Bに対して行う。当該設定を開始する際、ユーザ5Bは、HMDセット110Bのマイク170Aに向かって、所定の音声を発する。プロセッサ210Bは、ユーザ5Bの動きを検出する際、ユーザ5Bが発した音声をマイク170Aを通じて検出する。プロセッサ210Bは、検出されたユーザ5Bの音声を、音声変換のための変換パラメータ(第1パラメータ)を用いて変換音声に変換する。変換パラメータは、そのデフォルト値がメモリモジュール530Bに予め記憶されている。
[Embodiment 4]
In this embodiment, the user 5B sets the HMD set 110B to make the avatar object 6B utter a converted voice (second voice) obtained by converting the voice (first voice) instead of the voice uttered by the user 5B. against When starting the setting, the user 5B emits a predetermined sound toward the microphone 170A of the HMD set 110B. When the processor 210B detects the movement of the user 5B, it detects the voice uttered by the user 5B through the microphone 170A. Processor 210B converts the detected speech of user 5B into converted speech using a conversion parameter (first parameter) for speech conversion. Default values of the conversion parameters are pre-stored in the memory module 530B.
プロセッサ210Bは、第2音声が、基準音声と同一の音質を有するか否かを判定する。基準音声とは、ユーザ5Bが自身の音声の代わりにアバターオブジェクト6Bに発話させたい音質を有する音声のことである。ユーザ5Bは、設定開始前に、基準音声を表す音声データを入手してHMDセット110Bに保存しており、当該音声データを再生することによって基準音声を聴取することができる。プロセッサ210Bは、第2音声を表す音声データと、基準音声を表す音声データとに基づいて、第2音声と基準音声との音質の同一性を判定する。判定の手法は特に限定されない。
Processor 210B determines whether the second voice has the same quality as the reference voice. A reference voice is a voice having a quality that the user 5B wants the avatar object 6B to utter instead of his/her own voice. The user 5B obtains audio data representing the reference audio and stores it in the HMD set 110B before starting the setting, and can listen to the reference audio by reproducing the audio data. Based on the audio data representing the second audio and the audio data representing the reference audio, the processor 210B determines the identity of the second audio and the reference audio. The method of determination is not particularly limited.
プロセッサ210Bは、両者が同一の音質を有すると判定された場合、音声変換に用いた変換パラメータを機械学習することによって、音声変換に関する学習結果を生成する。詳細には、プロセッサ210Bは、学習結果として、機械学習された変換パラメータが格納された学習済みモデル1429を生成する。プロセッサ210Bは、同一の音質を有しないと判定された場合、音声変換に用いた変換パラメータを学習しない。その代わりに、変換パラメータを補正することによって、新たな変換パラメータを取得する。プロセッサ210Bは、新たな変換パラメータを用いて、ユーザ5Bの音声の変換処理、および変換音声と基準音声との音質の同一性判定処理を実行する。その際、音質が否同一と判定されるたびに変換パラメータの補正の度合いを変更しながら、音声変換および同一性質判定の処理を繰り返し実行する。プロセッサ210Bは、機械学習された変換パラメータを格納した学習済みモデル1429を生成した場合、音声変換の設定処理を終了する。プロセッサ210Bは、設定が終了したことをユーザ5Bに通知してもよい。
When it is determined that both have the same sound quality, the processor 210B generates a learning result regarding voice conversion by performing machine learning on the conversion parameters used for voice conversion. Specifically, processor 210B generates learned model 1429 in which machine-learned conversion parameters are stored as a learning result. Processor 210B does not learn conversion parameters used for speech conversion when it is determined that they do not have the same sound quality. Instead, new transformation parameters are obtained by correcting the transformation parameters. The processor 210B uses the new conversion parameters to convert the voice of the user 5B and to determine whether the converted voice and the reference voice have the same sound quality. At this time, the process of voice conversion and identity determination is repeatedly executed while changing the degree of correction of the conversion parameter each time the sound quality is determined to be not the same. When the processor 210B has generated the learned model 1429 storing machine-learned conversion parameters, the processor 210B ends the voice conversion setting process. Processor 210B may notify user 5B that the settings are complete.
プロセッサ210Bは、変換パラメータが機械学習された後、学習済みモデル1429に格納される変換パラメータを、アバターオブジェクト6Bが行い得る新たな動作に関する情報として特定する。プロセッサ210Bは、ユーザ5Bが番組の進行中に何らかの音声を発話するたびに、当該音声を検出し、次に変換パラメータを用いて当該音声を変換することによって発話用の変換音声を生成し、当該変換音声を仮想空間2611Bにおいてアバターオブジェクト6Bに発話させる。その際、プロセッサ210Bは、変換音声をスピーカ180Bから出力させる。
After the transformation parameters are machine-learned, the processor 210B identifies the transformation parameters stored in the learned model 1429 as information about new actions that the avatar object 6B can perform. Processor 210B detects each time user 5B utters some sound during the program, and then generates transformed voice for the utterance by transforming that voice using transformation parameters, The avatar object 6B is made to utter the converted voice in the virtual space 2611B. At that time, the processor 210B outputs the converted voice from the speaker 180B.
プロセッサ210Bは、特定した変換パラメータを、サーバ600を介してユーザ端末800Aに送信する。また、プロセッサ210Bは、検出したユーザ5Bの音声を表す音声データを生成して、サーバ600を介してユーザ端末800Aに送信する。プロセッサ710Aは、受信した音声データが表すユーザ5Bの音声をアバターオブジェクト6Bに発話させず、受信した変換パラメータを用いてユーザ5Bの音声を変換することによって変換音声を生成し、当該変換音声を仮想空間2611Aにおいてアバターオブジェクト6Bに発話させる。
Processor 210B transmits the identified conversion parameters to user terminal 800A via server 600. FIG. The processor 210B also generates voice data representing the detected voice of the user 5B, and transmits the voice data to the user terminal 800A via the server 600. FIG. The processor 710A does not cause the avatar object 6B to utter the voice of the user 5B represented by the received voice data, converts the voice of the user 5B using the received conversion parameters to generate a converted voice, and converts the converted voice into a virtual voice. The avatar object 6B is made to speak in the space 2611A.
(主要な作用効果)
本実施形態では、ユーザ5Bの音声を基準音声と同一音質の音声に変換するための変換パラメータを学習し、当該パラメータを用いて、番組配信中にユーザ5Bが発話した音声を自動的に基準音声と同一音質の音声に変換してアバターオブジェクト6Bに発話させる。これにより、ユーザ5Bは、自身が好む所望の音質を有する音声をアバターオブジェクト6Bに発話させることができるので、アバターオブジェクト6Bによる番組の興趣性をより向上させることができる。さらに、配信システム1500は、自身の声にあまり自信のないユーザ5に対して、アバターオブジェクト6を用いた番組配信を行わせる動機を与えることができる。
(main effects)
In the present embodiment, conversion parameters for converting the voice of the user 5B into voice having the same quality as the reference voice are learned, and using the parameters, the voice uttered by the user 5B during program distribution is automatically converted into the reference voice. is converted into a voice having the same sound quality as the avatar object 6B. As a result, the user 5B can make the avatar object 6B utter a voice having a desired sound quality that the user 5B likes, so that the interest of the program by the avatar object 6B can be further improved. Furthermore, the distribution system 1500 can motivate the user 5 who is not very confident in his/her own voice to perform program distribution using the avatar object 6 .
(変形例)
プロセッサ210Bは、機械学習した変換パラメータを用いてユーザ5Bの音声を変換した変換音声を、ユーザ5B以外の任意のユーザ5に販売することができる。例えばユーザ5Aが当該変換音声を購入した場合、当該変換音声は、ユーザ5Aにとっての基準音声として機能する。ユーザ5Aは、基準音声を聴取することによって、例えばHMDセット110Aを用いて上述した変換パラメータの設定を行うことができる。これにより、ユーザ5Aは、ユーザ5Aに関連付けられるアバターオブジェクト6Aを用いた番組を配信する際に、アバターオブジェクト6Bが発話する音声と同じ音質の音声を、ユーザ5Aの音声の代わりにオブジェクトに発話させることができる。
(Modification)
The processor 210B can sell converted speech obtained by converting the speech of the user 5B using machine-learned conversion parameters to any user 5 other than the user 5B. For example, when the user 5A purchases the converted voice, the converted voice functions as a reference voice for the user 5A. By listening to the reference voice, the user 5A can use the HMD set 110A, for example, to set the conversion parameters described above. Thereby, when distributing a program using the avatar object 6A associated with the user 5A, the user 5A causes the object to utter a voice of the same quality as the voice uttered by the avatar object 6B instead of the voice of the user 5A. be able to.
プロセッサ210Bは、ユーザ5Bが番組配信中に歌を歌う際に、ユーザ5Bの歌声を検出し、当該歌声の音程を自動的に補正することができる。プロセッサ210Bは、さらに、音程補正後のユーザ5Bの歌声を、アバターオブジェクト6Bに発話させることによって、アバターオブジェクト6Bに適切な音程の歌を歌わせることができる。このような音程補正は、ユーザ端末800Aにおいてプロセッサ710Aが実行することもできる。
The processor 210B can detect the singing voice of the user 5B and automatically correct the pitch of the singing voice when the user 5B sings during the program delivery. Further, the processor 210B can cause the avatar object 6B to sing a song with an appropriate pitch by causing the avatar object 6B to utter the pitch-corrected singing voice of the user 5B. Such pitch correction may also be performed by processor 710A at user terminal 800A.
プロセッサ210Bは、ユーザ5Bが発話した音声を、仮想空間2611Bにおいてアバターオブジェクト6Bが歌っているように響かせることができる。このような処理は、ユーザ端末800Aにおいてプロセッサ710Aが実行することもできる。
The processor 210B can make the voice uttered by the user 5B sound like the avatar object 6B is singing in the virtual space 2611B. Such processing may also be performed by processor 710A at user terminal 800A.
プロセッサ210Bは、ユーザ5Bの音声に応じた表情を、アバターオブジェクト6Bに作らせることができる。プロセッサ210Bは、例えば、検出したユーザ5Bの音声に関する各種のパラメータ(波形、周波数、声の高さ、声の太さ)などを検出し、当該パラメータに対応する表情を特定する。プロセッサ210Bは、例えば、ユーザ5Bの音声の波形が第1パターンの波形であった場合、当該波形に対応する破顔表情3161をメモリモジュール530Bから特定し、アバターオブジェクト6Bの顔に反映させる。これにより、ユーザ5Bが発話した音声に合致する適切な表情をアバターオブジェクト6Bに自動的に作らせることができるので、ユーザ5Bは、自身が発話した音声に合致する適切な表情をアバターオブジェクト6Bに作らせるための操作をする必要がない。
The processor 210B can cause the avatar object 6B to make facial expressions according to the voice of the user 5B. Processor 210B detects, for example, various parameters (waveform, frequency, pitch of voice, thickness of voice) related to the detected voice of user 5B, and identifies facial expressions corresponding to the parameters. For example, when the waveform of the voice of the user 5B is the waveform of the first pattern, the processor 210B identifies the facial expression 3161 corresponding to the waveform from the memory module 530B and reflects it on the face of the avatar object 6B. This allows the avatar object 6B to automatically create an appropriate facial expression that matches the voice uttered by the user 5B. You don't have to do anything to get it to work.
〔実施形態5〕
図53は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図53(A)では、仮想空間2611Aに配置されるアバターオブジェクト6Bが、困惑表情3163を作っている。プロセッサ710Aは、アバターオブジェクト6Bが困惑表情3163が作っていることを、仮想空間2611Aにおいて発生した事象として特定する。プロセッサ710Aは、特定した事象に応じた情報を、仮想空間2611Aに出力する。図53(A)では、プロセッサ710Aは、困惑表情3163に応じた「ガーン」という音声5371を、アバターオブジェクト6Bが発生する音声として仮想空間2611Aにおいて再生する。
[Embodiment 5]
FIG. 53 is a diagram showing the display surface of virtual space 2611A and user terminal 800A according to one embodiment. In FIG. 53A, the avatar object 6B placed in the virtual space 2611A is making a confused expression 3163. In FIG. Processor 710A identifies that avatar object 6B is making confused expression 3163 as an event that occurred in virtual space 2611A. Processor 710A outputs information corresponding to the specified event to virtual space 2611A. In FIG. 53(A), processor 710A reproduces voice 5371 of "Gang" in response to puzzled expression 3163 as voice generated by avatar object 6B in virtual space 2611A.
プロセッサ710Aは、図53(A)に示す仮想空間2611Aに対応する視界画像5317Aを生成し、例えば図53(B)に示すようにタッチスクリーン770Aに表示する。プロセッサ210Bは、さらに、音声5371をスピーカ780Aから出力させる。ユーザ5Aは、視界画像5317Aを視認しながら、スピーカ780Aから流れる音声5371を聴取する。このように、ユーザ5Bは、アバターオブジェクト6Bの困惑表情3163に適切に合致した音声5371を耳にする。
Processor 710A generates field-of-view image 5317A corresponding to virtual space 2611A shown in FIG. 53(A), and displays it on touch screen 770A as shown in FIG. 53(B), for example. Processor 210B also causes audio 5371 to be output from speaker 780A. The user 5A listens to the sound 5371 flowing from the speaker 780A while visually recognizing the view image 5317A. Thus, user 5B hears speech 5371 that appropriately matches confused expression 3163 of avatar object 6B.
図54は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図54(A)では、アバターオブジェクト6Bは、図53(A)と同様に、ユーザ5Bの操作に基づいて、困惑表情3163を作っている。プロセッサ710Aは、アバターオブジェクト6Bが困惑表情3163を作っているという事象を特定し、当該事象に応じた情報として、「ガーン」というテキスト5472を仮想空間2611Aにおける視界領域15A内に出力する。
FIG. 54 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to an embodiment. In FIG. 54(A), the avatar object 6B makes a confused expression 3163 based on the operation of the user 5B, as in FIG. 53(A). The processor 710A identifies the event that the avatar object 6B is making a confused expression 3163, and outputs the text 5472 "Gang" as information corresponding to the event within the field of view 15A in the virtual space 2611A.
プロセッサ710Aは、図54(A)に示す仮想空間2611Aに対応する視界画像5417Aを生成し、例えば図54(B)に示すようにタッチスクリーン770Aに表示する。図54の(A)において視界領域15Aにアバターオブジェクト6Bおよびテキスト5472が含まれることから、図54に示す視界画像5417Aには、アバターオブジェクト6Bと、アバターオブジェクト6Bに重畳するテキスト5472とが含まれている。ユーザ5Aは、視界画像5417Aを通じて、アバターオブジェクト6Bが困惑表情3163を作った際に、困惑表情3163に適切に合致する「ガーン」というテキスト5472が番組内のテロップとして表示されていることを認識する。
Processor 710A generates field-of-view image 5417A corresponding to virtual space 2611A shown in FIG. 54(A), and displays it on touch screen 770A as shown in FIG. 54(B), for example. Since avatar object 6B and text 5472 are included in view area 15A in FIG. 54A, view image 5417A shown in FIG. 54 includes avatar object 6B and text 5472 superimposed on avatar object 6B. ing. When the avatar object 6B makes the confused expression 3163, the user 5A recognizes through the visual field image 5417A that the text 5472 "Gang" that appropriately matches the confused expression 3163 is displayed as a telop in the program. .
図55は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図54(A)では、アバターオブジェクト6Bは、図53(A)と同様に、ユーザ5Bの操作に基づいて、困惑表情3163を作っている。プロセッサ710Aは、アバターオブジェクト6Bが困惑表情3163を作っているという事象を特定し、当該事象に応じた情報として特殊効果5573を仮想空間2611Aに反映する。特殊効果5573は、仮想空間2611Aの少なくとも一部を暗転させる効果である。図55(A)では、特殊効果5573が仮想空間2611Aに出力された結果、視界領域15Aの全体が暗転されている。
FIG. 55 is a diagram showing the display surface of virtual space 2611A and user terminal 800A according to one embodiment. In FIG. 54(A), the avatar object 6B makes a confused expression 3163 based on the operation of the user 5B, as in FIG. 53(A). Processor 710A identifies the event that avatar object 6B is making confused facial expression 3163, and reflects special effect 5573 in virtual space 2611A as information corresponding to the event. A special effect 5573 is an effect that darkens at least part of the virtual space 2611A. In FIG. 55A, as a result of outputting the special effect 5573 to the virtual space 2611A, the entire viewing area 15A is darkened.
プロセッサ710Aは、図55(A)に示す仮想空間2611Aに対応する視界画像5517Aを生成し、例えば図55(B)に示すようにタッチスクリーン770Aに表示する。視界領域15A内に特殊効果5573が反映されているため、全体に特殊効果5573が反映された視界画像5517Aが表示される。ユーザ5Bは、視界画像5617Aを通じて、アバターオブジェクト6Bが困惑表情3163を作った際に、困惑表情3163に適切に合致する暗転という特殊効果5573が仮想空間2611Aに反映されていることを認識する。
Processor 710A generates field-of-view image 5517A corresponding to virtual space 2611A shown in FIG. 55(A), and displays it on touch screen 770A as shown in FIG. 55(B), for example. Since the special effect 5573 is reflected in the field of view area 15A, a field image 5517A in which the special effect 5573 is reflected in its entirety is displayed. User 5B recognizes through visual field image 5617A that, when avatar object 6B makes a confused facial expression 3163, a special effect 5573 of darkening that appropriately matches the confused facial expression 3163 is reflected in the virtual space 2611A.
(主要な作用効果)
本実施形態の各例によれば、仮想空間2611Aにおいて発生した事象に応じた適切な各種の情報が仮想空間2611Aに自動的に出力されるので、仮想空間2611Aにおけるアバターオブジェクト6Bの番組をより盛り上げることができる。
(main effects)
According to each example of the present embodiment, appropriate various information corresponding to the event occurring in the virtual space 2611A is automatically output to the virtual space 2611A, so that the program of the avatar object 6B in the virtual space 2611A is further enhanced. be able to.
〔実施形態6〕
図56は、ある実施の形態に従うHMDセット110Bにおいて実行される処理の一部を表すシーケンスチャートである。図57は、ある実施の形態に従う仮想空間2611Bおよび視界画像17Bを示す図である。図57の例では、プロセッサ210Bは、ユーザ5Bに関連付けられるアバターオブジェクト6Bと、ユーザ5Bから独立して制御されるアバターオブジェクト5706とを含む仮想空間2611Bを定義している。アバターオブジェクト5706は、アバターオブジェクト6Bと同様に人体を模した外観を有した仮想オブジェクトであり、仮想左手5231Lおよび仮想右手5231Rを有している。仮想空間2611Bにおいて、アバターオブジェクト5706は、その背面をアバターオブジェクト6Bの正面に向ける形で視界領域15B内に配置されている。
[Embodiment 6]
FIG. 56 is a sequence chart representing part of the processing performed in HMD set 110B according to one embodiment. FIG. 57 is a diagram showing virtual space 2611B and view image 17B according to one embodiment. In the example of FIG. 57, processor 210B has defined virtual space 2611B including avatar object 6B associated with user 5B and avatar object 5706 controlled independently from user 5B. Like the avatar object 6B, the avatar object 5706 is a virtual object having an appearance that imitates a human body, and has a virtual left hand 5231L and a virtual right hand 5231R. In the virtual space 2611B, the avatar object 5706 is placed within the field of view 15B with its back facing the front of the avatar object 6B.
図57(A)では、アバターオブジェクト5706は、所定の姿勢を取っている。プロセッサ210Bは、図57(A)に示す仮想空間2611Bに対応する視界画像5317Aを生成し、例えば図53(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像5317Bを視認することによって、仮想空間2611B内に配置されるアバターオブジェクト5706を視認する。
In FIG. 57A, the avatar object 5706 is in a given pose. Processor 210B generates field-of-view image 5317A corresponding to virtual space 2611B shown in FIG. 57(A), and displays it on monitor 130B as shown in FIG. 53(B), for example. User 5B visually recognizes avatar object 5706 arranged in virtual space 2611B by visually recognizing view image 5317B.
図58は、ある実施の形態に従う仮想空間2611Bおよび視界画像5817Bを示す図である。S5601において、プロセッサ210Bは、視界領域15B内にアバターオブジェクト5706が配置されるときに、図58(A)に示すようにアバターオブジェクト5706に見本動作(第1動作)を実行させる。ここでは、見本動作は、仮想左手5231Lをアバターオブジェクト5706の顔の正面近くまでに移動させる動作である。メモリモジュール530Bには、アバターオブジェクト5706による見本動作を表す動作情報が予め格納されており、プロセッサ210Bは、当該動作情報に基づいてアバターオブジェクト5706に見本動作を自動的に実行させる。このように、アバターオブジェクト5706は、ユーザ5Bを含む各ユーザの動きに連動せずに自動的に制御されるオブジェクトである。
FIG. 58 is a diagram showing virtual space 2611B and view image 5817B according to one embodiment. In S5601, processor 210B causes avatar object 5706 to perform a sample action (first action) as shown in FIG. Here, the sample action is the action of moving virtual left hand 5231L to near the front of avatar object 5706's face. Memory module 530B pre-stores motion information representing a sample motion of avatar object 5706, and processor 210B causes avatar object 5706 to automatically perform the sample motion based on the motion information. Thus, the avatar object 5706 is an object that is automatically controlled without interlocking with the movement of each user including the user 5B.
プロセッサ210Bは、図58(A)に示す仮想空間2611Bに対応する視界画像5317Bを生成し、例えば図58(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像5817Bを視認することによって、ユーザ5Bが従うべき見本となる見本動作をアバターオブジェクト5706が実行したことを認識する。ユーザ5Bは、アバターオブジェクト5706による見本動作を視認しながら、当該動作を模倣して自らの左手を動かす。詳細には、ユーザ5Bは、アバターオブジェクト5706と同様に、自身の左手を自身の顔の正面近くにまで移動させる。
Processor 210B generates field-of-view image 5317B corresponding to virtual space 2611B shown in FIG. 58(A), and displays it on monitor 130B as shown in FIG. 58(B), for example. User 5B recognizes that avatar object 5706 performed a sample action that is a sample to be followed by user 5B by visually recognizing view image 5817B. The user 5B moves his/her left hand by mimicking the sample action of the avatar object 5706 while viewing the sample action. Specifically, user 5B moves his left hand closer to the front of his face, similar to avatar object 5706 .
図59は、ある実施の形態に従う仮想空間2611Bおよび視界画像5917Bを示す図である。ステップS5602において、プロセッサ210Bは、アバターオブジェクト5706による見本動作の実行中に、見本動作に倣ったユーザ5Bの動きを検出する。ステップS5603において、プロセッサ210Bは、検出されたユーザ5Bの動きに基づいて、視界領域15内にアバターオブジェクト5706が配置されるときに、アバターオブジェクト6Bに見本動作と同じ動作を実行させる。ここで検出されたユーザ5Bの動きは、見本動作に対応する動きであるため、プロセッサ210Bは、検出されたユーザ5Bの動きに基づいて、アバターオブジェクト6Bに見本動作と同一の動作を実行させることができる。
FIG. 59 is a diagram illustrating virtual space 2611B and view image 5917B according to one embodiment. At step S5602, the processor 210B detects the movement of the user 5B following the sample action while the avatar object 5706 is performing the sample action. At step S5603, the processor 210B causes the avatar object 6B to perform the same action as the sample action when the avatar object 5706 is positioned within the viewing area 15 based on the detected motion of the user 5B. Since the motion of the user 5B detected here is a motion corresponding to the sample motion, the processor 210B causes the avatar object 6B to perform the same motion as the sample motion based on the detected motion of the user 5B. can be done.
プロセッサ210Bは、図59(A)に示す仮想空間2611Bに対応する視界画像5917Bを生成し、例えば図59(B)に示すようにモニタ130Bに表示する。ユーザ5Bは、視界画像5917Bを視認することによって、アバターオブジェクト6Bの仮想左手1831LBが、アバターオブジェクト5706の仮想左手5231Lと同様に動いた結果、アバターオブジェクト6Bの(体感的にはユーザ5Bの)顔の近くにまで移動したことを認識する。
Processor 210B generates field-of-view image 5917B corresponding to virtual space 2611B shown in FIG. 59(A), and displays it on monitor 130B as shown in FIG. 59(B), for example. By visually recognizing the field image 5917B, the user 5B moves the virtual left hand 1831LB of the avatar object 6B in the same way as the virtual left hand 5231L of the avatar object 5706. recognize that it has moved to the vicinity of
図60は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。プロセッサ810Aは、アバターオブジェクト6Bを含む仮想空間2611Aを定義している。プロセッサ210Bは、アバターオブジェクト5706に関する情報をユーザ端末810に送信せず、プロセッサ810Aは、仮想空間2611Aにアバターオブジェクト5706を配置しない。したがって、ユーザ端末810の表示面にアバターオブジェクト5706が表示されることはない。このように、アバターオブジェクト5706は、仮想空間2611Bにおいてユーザ5Bは視認できるが、仮想空間2611Aにおいてユーザ5Aは視認できないオブジェクトである。
FIG. 60 is a diagram showing the display surface of virtual space 2611A and user terminal 800A according to one embodiment. Processor 810A defines virtual space 2611A including avatar object 6B. Processor 210B does not send information about avatar object 5706 to user terminal 810, and processor 810A does not place avatar object 5706 in virtual space 2611A. Therefore, avatar object 5706 is not displayed on the display surface of user terminal 810 . Thus, the avatar object 5706 is an object that is visible to the user 5B in the virtual space 2611B but invisible to the user 5A in the virtual space 2611A.
プロセッサ210Bは、アバターオブジェクト6Bが実行した第1動作を表す動作情報を生成して、サーバ600を介してユーザ端末800Aに送信する。プロセッサ710Aは、送信された動作情報を受信し、当該動作情報に基づいて、図60(A)に示すように、仮想空間2611Aに配置されるアバターオブジェクト6Bに第1動作を実行させる。詳細には、プロセッサ810Aは、仮想空間2611Aにおいて、アバターオブジェクト6Bの仮想左手1831LBをアバターオブジェクト6Bの顔の正面近くまで移動させる。これにより、仮想空間2611Aにおけるアバターオブジェクト6Bの動作が、仮想空間2611Bにおけるアバターオブジェクト6Bの動作に同期される。
The processor 210B generates motion information representing the first motion performed by the avatar object 6B, and transmits the generated motion information to the user terminal 800A via the server 600. FIG. The processor 710A receives the transmitted action information and causes the avatar object 6B placed in the virtual space 2611A to perform the first action based on the action information, as shown in FIG. 60(A). Specifically, the processor 810A moves the virtual left hand 1831LB of the avatar object 6B to near the front of the face of the avatar object 6B in the virtual space 2611A. Thereby, the motion of the avatar object 6B in the virtual space 2611A is synchronized with the motion of the avatar object 6B in the virtual space 2611B.
プロセッサ710Aは、図60(A)に示す仮想空間2611Aに対応する視界画像6017Aを生成し、例えば図60(B)に示すようにタッチスクリーン770Aに表示する。ユーザ5Aは、視界画像6017Aを通じて、アバターオブジェクト6Bの仮想左手1831LBがアバターオブジェクト6Bの顔の近くまで移動したことを認識する。
Processor 710A generates field-of-view image 6017A corresponding to virtual space 2611A shown in FIG. 60(A), and displays it on touch screen 770A, for example, as shown in FIG. 60(B). User 5A recognizes through visual field image 6017A that virtual left hand 1831LB of avatar object 6B has moved close to the face of avatar object 6B.
(主要な作用効果)
本実施形態では、ユーザ5Bは、見本となるアバターオブジェクト5706の動きをリアルタイムで参考にしながら、アバターオブジェクト6Bに所望の動作をさせるための所望の動きを行うことができる。これにより、ユーザ5Bは、アバターオブジェクト6Bの動作がユーザ5Bの動きに合致していないのではないかと不安に思わずに済む。さらには、より安心して番組を進行することができるので、番組をよりスムーズに進めることができる。
(main effects)
In this embodiment, the user 5B can refer to the movement of the sample avatar object 5706 in real time and perform a desired movement for causing the avatar object 6B to perform a desired movement. As a result, the user 5B does not have to worry that the motion of the avatar object 6B does not match the motion of the user 5B. Furthermore, since the program can be proceeded with more peace of mind, the program can proceed more smoothly.
〔実施形態7〕
図61は、ある実施の形態に従うHMDセット110Bにおいて実行される処理の一部を表すシーケンスチャートである。図62は、ある実施の形態に従う仮想空間2611Bおよび視界画像5717Bを示す図である。図62の例では、プロセッサ210Bは、アバターオブジェクト6Bおよびパネルオブジェクト1832を含む仮想空間2611Bを定義している。パネルオブジェクト1832は、アバターオブジェクト6Bの正面から一定距離を置いて、その表示面をアバターオブジェクト6Bの正面に向けるようにして、視界領域15B内に配置されている。図61に示す態様で仮想空間2611Bが定義される際、パネルオブジェクト1832には何も表示されない。
[Embodiment 7]
FIG. 61 is a sequence chart representing part of the processing performed in HMD set 110B according to one embodiment. FIG. 62 is a diagram illustrating virtual space 2611B and view image 5717B according to one embodiment. In the example of FIG. 62, processor 210B defines virtual space 2611B including avatar object 6B and panel object 1832. In the example of FIG. The panel object 1832 is placed within the viewing area 15B at a certain distance from the front of the avatar object 6B, with its display surface facing the front of the avatar object 6B. Nothing is displayed in the panel object 1832 when the virtual space 2611B is defined in the manner shown in FIG.
プロセッサ210Bは、図62(A)に示す仮想空間2611Bに対応する視界画像5717Bを生成し、例えば図62(B)に示すようにモニタ130Bに表示する。視界画像6317Bは、視界画像6317B内の上部領域に配置されるパネルオブジェクト1832を含む。ユーザ5Bは、視界画像5717Bを通じて、表示面に何も表示されないパネルオブジェクト1832を視認する。
Processor 210B generates field-of-view image 5717B corresponding to virtual space 2611B shown in FIG. 62(A), and displays it on monitor 130B as shown in FIG. 62(B), for example. View image 6317B includes panel object 1832 positioned in the upper region within view image 6317B. The user 5B visually recognizes the panel object 1832 on which nothing is displayed on the display surface through the view image 5717B.
図63は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。図63の例では、プロセッサ710Aは、アバターオブジェクト6Bを含むがパネルオブジェクト1832は含まない仮想空間2611Aを定義している。仮想空間2611A内のアバターオブジェクト6Bの挙動は、仮想空間2611B内のアバターオブジェクト6Bの挙動に同期される。プロセッサ210Bはパネルオブジェクト1832に関する情報をユーザ端末800Aに送信せず、プロセッサ710Aは仮想空間2611Aにパネルオブジェクト1832を配置しない。プロセッサ710Aは、仮想視点1951が仮想空間2611A内のいずれの方向を向いていたとしても、ユーザ端末800の表示面にパネルオブジェクト1832を表示することがない。
FIG. 63 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to one embodiment. In the example of FIG. 63, processor 710A defines virtual space 2611A that includes avatar object 6B but does not include panel object 1832. In the example of FIG. The behavior of the avatar object 6B within the virtual space 2611A is synchronized with the behavior of the avatar object 6B within the virtual space 2611B. Processor 210B does not send information about panel object 1832 to user terminal 800A, and processor 710A does not place panel object 1832 in virtual space 2611A. Processor 710A does not display panel object 1832 on the display surface of user terminal 800 regardless of which direction virtual viewpoint 1951 faces in virtual space 2611A.
プロセッサ710Aは、図63(A)に示す仮想空間2611Aに対応する視界画像6317Aを生成し、例えば図63(B)に示すようにタッチスクリーン770Aの表示面に表示する。アバターオブジェクト6Bは、視界画像6317Aにおいて、ユーザ端末800Aの表示面の右端部の方を向くにように表示されている。プロセッサ710Aは、視界画像6317Aを表示する際、タッチスクリーン770Aにおける視界画像6317Aの下部にUI表示欄4054をさらに表示する。プロセッサ710Aは、さらに、アイコン状態の敵オブジェクト6357をUI表示欄4054に表示する。敵オブジェクト6357は、仮想空間2611に配置され得る一種の仮想オブジェクトである。敵オブジェクト6357は、UI表示欄4054に表示される際、ユーザ5Aによる敵オブジェクト6357の選択操作を受け付け可能なUI部品として機能する。敵オブジェクト6357には、ユーザ5Aがアバターオブジェクト6Bにリクエストする行動(第1行動)が関連付けられている。図63では、敵オブジェクト6357に関連付けられる行動は、「アバターオブジェクト6Bが敵オブジェクト6357と戦闘する」という戦闘行動である。
Processor 710A generates field-of-view image 6317A corresponding to virtual space 2611A shown in FIG. 63(A), and displays it on the display surface of touch screen 770A as shown in FIG. 63(B), for example. Avatar object 6B is displayed in view image 6317A so as to face the right end of the display surface of user terminal 800A. When displaying view image 6317A, processor 710A further displays UI display field 4054 below view image 6317A on touch screen 770A. Processor 710A further displays icon-state enemy object 6357 in UI display field 4054 . Enemy object 6357 is a kind of virtual object that can be placed in virtual space 2611 . When the enemy object 6357 is displayed in the UI display field 4054, it functions as a UI component that can accept the selection operation of the enemy object 6357 by the user 5A. The enemy object 6357 is associated with an action (first action) requested by the user 5A to the avatar object 6B. In FIG. 63, the action associated with the enemy object 6357 is a combat action of "avatar object 6B fights enemy object 6357".
図64は、ある実施の形態におけるユーザ端末800Aの表示面を示す図である。ユーザ5Aは、図64に示すように、敵オブジェクト6357をアバターオブジェクト6Bに付与するための操作をタッチスクリーン770Aに対して行う。当該操作は、図64では、敵オブジェクト6357をユーザ5Bがタッチした状態でUI表示欄4054から視界画像6317Aまで移動させるスワイプ操作である。プロセッサ210Bは、当該スワイプ操作を検出すると、図64に示すように、タッチスクリーン770Aの表示面において、敵オブジェクト6357をUI表示欄4054から視界画像6317Aまで移動させる。
FIG. 64 is a diagram showing a display surface of a user terminal 800A in one embodiment. The user 5A, as shown in FIG. 64, performs an operation on the touch screen 770A to attach the enemy object 6357 to the avatar object 6B. This operation is a swipe operation of moving the enemy object 6357 from the UI display field 4054 to the view image 6317A while the user 5B is touching the enemy object 6357 in FIG. When processor 210B detects the swipe operation, processor 210B moves enemy object 6357 from UI display field 4054 to view image 6317A on the display surface of touch screen 770A, as shown in FIG.
図65は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。プロセッサ710Aは、敵オブジェクト6357が視界画像6417A上に移動したことに応答して、図65に示すように、敵オブジェクト6357を仮想空間2611Aに配置する。図65では、敵オブジェクト6357は、仮想空間2611Aにおいてアバターオブジェクト6Bと正対するように、視界領域15A内に配置される。プロセッサ710Aは、図65(A)に示す仮想空間2611Aに対応する視界画像6517Aを生成し、例えば図65(B)に示すようにタッチスクリーン770Aに表示する。ユーザ5Aは、視界画像6517Aを視認することによって、ユーザ5Aのスワイプ操作の結果、敵オブジェクト6357がアバターオブジェクト6Bに正対するように仮想空間2611Aに配置されたことを認識する。
FIG. 65 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to one embodiment. In response to enemy object 6357 moving onto view image 6417A, processor 710A places enemy object 6357 in virtual space 2611A as shown in FIG. In FIG. 65, the enemy object 6357 is placed within the field of view 15A so as to face the avatar object 6B in the virtual space 2611A. Processor 710A generates field-of-view image 6517A corresponding to virtual space 2611A shown in FIG. 65(A), and displays it on touch screen 770A as shown in FIG. 65(B), for example. By visually recognizing the view image 6517A, the user 5A recognizes that as a result of the swipe operation by the user 5A, the enemy object 6357 has been placed in the virtual space 2611A so as to face the avatar object 6B.
図66は、ある実施の形態に従う仮想空間2611Bおよび視界画像6617Bを示す図である。プロセッサ710Aは、敵オブジェクト6357が仮想空間2611Aに配置されたことに応答して、敵オブジェクト6357に関する情報を生成し、サーバ600に送信する。当該情報は、敵オブジェクト6357の位置および向き、ならびに敵オブジェクト6357に関連付けられる戦闘行動を表す各情報を少なくとも含む。サーバ600は、ユーザ端末800Aから受信した情報を、コンピュータ200Bに送信する。プロセッサ210Bは、サーバ600から送信された情報を受信する。
FIG. 66 is a diagram showing virtual space 2611B and view image 6617B according to one embodiment. Processor 710A generates information about enemy object 6357 and transmits it to server 600 in response to enemy object 6357 being placed in virtual space 2611A. The information includes at least information representing the position and orientation of enemy object 6357 and combat behavior associated with enemy object 6357 . Server 600 transmits the information received from user terminal 800A to computer 200B. Processor 210B receives information transmitted from server 600 .
ステップS6101において、プロセッサ200Bは、サーバ600から受信した敵オブジェクト6357に関する情報に基づいて、図66に示すように敵オブジェクト6357を仮想空間2611Bに配置する。図66では、敵オブジェクト6357は、視界領域15B内に配置され、アバターオブジェクト6Bと正対している。プロセッサ210Bは、敵オブジェクト6357を仮想空間2611Bに配置する際、敵オブジェクト6357に関連付けられる戦闘行動を仮想空間2611B内に表示する。図66(A)では、視界領域15B内に配置されるパネルオブジェクト1832の表示面に、戦闘行動をユーザ5Bに説明する態様のテキストとして戦闘行動が表示される。
In step S6101, processor 200B places enemy object 6357 in virtual space 2611B as shown in FIG. 66 based on the information on enemy object 6357 received from server 600. FIG. In FIG. 66, an enemy object 6357 is positioned within the viewing area 15B and faces the avatar object 6B. When the processor 210B places the enemy object 6357 in the virtual space 2611B, the processor 210B displays combat actions associated with the enemy object 6357 in the virtual space 2611B. In FIG. 66A, the combat action is displayed as text explaining the combat action to the user 5B on the display surface of the panel object 1832 placed within the viewing area 15B.
プロセッサ210Bは、図66(A)に示す仮想空間2611Bに対応する視界画像6617Bを生成し、例えば図66(B)に示すようにモニタ130Bに表示する。視界画像6617Bは、敵オブジェクト6357およびパネルオブジェクト1832を含む。視界画像6617Bにおいて、パネルオブジェクト1832に、ユーザ5Aがアバターオブジェクト6Bにリクエストした戦闘行動を説明するテキスト6658が表示される。ユーザ5Bは、視界画像6617Bを通じて、アバターオブジェクト6Bの正面に敵オブジェクト6357が出現したことと、ユーザ5Aからアバターオブジェクト6Bに対して敵オブジェクト6357と戦闘して欲しいことがリクエストされたことと認識する。
Processor 210B generates field-of-view image 6617B corresponding to virtual space 2611B shown in FIG. 66(A), and displays it on monitor 130B as shown in FIG. 66(B), for example. View image 6617B includes enemy object 6357 and panel object 1832 . In view image 6617B, panel object 1832 displays text 6658 describing the combat action requested by user 5A to avatar object 6B. User 5B recognizes through field image 6617B that enemy object 6357 has appeared in front of avatar object 6B and that user 5A has requested avatar object 6B to fight enemy object 6357. .
図67は、ある実施の形態に従う仮想空間2611Bおよび視界画像6717Bを示す図である。ステップS6502において、プロセッサ210Bは、敵オブジェクト6357が配置されたことに応答して、図67に示すように、武器オブジェクト6759をアバターオブジェクト6Bに関連付けて仮想空間2611Bに配置する。武器オブジェクト6759は、アバターオブジェクト6Bが敵オブジェクト6357を攻撃するために使用可能な仮想オブジェクトの一種である。武器オブジェクト6759は、仮想右手1831RBに把持される形でアバターオブジェクト6Bに関連付けられる。
FIG. 67 is a diagram illustrating virtual space 2611B and view image 6717B according to one embodiment. In step S6502, in response to placement of enemy object 6357, processor 210B places weapon object 6759 in virtual space 2611B in association with avatar object 6B, as shown in FIG. Weapon object 6759 is a type of virtual object that can be used by avatar object 6B to attack enemy object 6357 . Weapon object 6759 is associated with avatar object 6B in a form held by virtual right hand 1831RB.
図68は、ある実施の形態に従う仮想空間2611Bおよび視界画像6817Bを示す図である。アバターオブジェクト6Bが仮想右手1831RBに武器オブジェクト6759を把持した後、ユーザ5Bは、ユーザ5Aからのリクエストに応じて、アバターオブジェクト6Bを敵オブジェクト6357と戦闘させるための操作を、HMDセット110Bに入力する。ここでは、ユーザ5Bは、武器オブジェクト6759で敵オブジェクト6357を斬りつけるように、ユーザ5Bの右手を動かす。ステップS6503において、プロセッサ210Bは、ユーザ5Bによる右手の動きを検出する。ステップS6504において、プロセッサ210Bは、当該検出したユーザ5Bの動きに基づいて、図68(A)に示すように、敵オブジェクト6357に対する戦闘行動をアバターオブジェクト6Bに実行させる。図68では、プロセッサ210Bは、武器オブジェクト6759で敵オブジェクト6357を攻撃するという戦闘行動を、アバターオブジェクト6Bに実行させる。
FIG. 68 is a diagram showing virtual space 2611B and view image 6817B according to one embodiment. After the avatar object 6B grips the weapon object 6759 with the virtual right hand 1831RB, the user 5B inputs an operation to the HMD set 110B to make the avatar object 6B fight the enemy object 6357 in response to a request from the user 5A. . Here, user 5B moves the right hand of user 5B so as to slash enemy object 6357 with weapon object 6759 . At step S6503, the processor 210B detects movement of the right hand by the user 5B. In step S6504, the processor 210B causes the avatar object 6B to perform combat action against the enemy object 6357, as shown in FIG. 68(A), based on the detected movement of the user 5B. In FIG. 68, processor 210B causes avatar object 6B to perform a combat action of attacking enemy object 6357 with weapon object 6759. In FIG.
プロセッサ210Bは、図68(A)に示す仮想空間2611Bに対応する視界画像6817Bを生成し、例えば図68(B)に示すようにモニタ130Bに表示する。視界画像6817Bには、武器オブジェクト6759で敵オブジェクト6357に斬りつける様子が表示されている。ユーザ5Bは、視界画像6817Bを通じて、ユーザ5Aのリクエストに応えるようにアバターオブジェクト6Bを制御できたことを認識する。
Processor 210B generates field-of-view image 6817B corresponding to virtual space 2611B shown in FIG. 68(A), and displays it on monitor 130B as shown in FIG. 68(B), for example. A visual field image 6817B shows how the weapon object 6759 slashes at the enemy object 6357 . User 5B recognizes through view image 6817B that avatar object 6B has been controlled to respond to user 5A's request.
図69は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。プロセッサ210Bは、図67に示すようにアバターオブジェクト6Bに武器オブジェクト6759を把持させたことに応答して、武器オブジェクト6759に関する情報を生成し、サーバ600に送信する。サーバ600は、武器オブジェクト6759に関する情報をユーザ端末800Aに転送する。プロセッサ710Aは、当該情報をサーバ600から受信し、当該情報に基づいて、図69(A)に示すように、仮想空間2611Aにおいてアバターオブジェクト6Bの仮想右手1831RBに武器オブジェクト6759を把持させる。プロセッサ710Aは、図69(A)に示す仮想空間2611Aに対応する視界画像6917Aを生成し、例えば図69(B)に示すようにタッチスクリーン770Aに表示する。ユーザ5Aは、視界画像6917Aを通じて、アバターオブジェクト6Bが敵オブジェクト6357と戦闘するために武器オブジェクト6759を把持したと理解する。
FIG. 69 is a diagram showing a display surface of virtual space 2611A and user terminal 800A according to one embodiment. Processor 210B generates information about weapon object 6759 and transmits it to server 600 in response to causing avatar object 6B to grip weapon object 6759 as shown in FIG. Server 600 transfers information regarding weapon object 6759 to user terminal 800A. Processor 710A receives the information from server 600, and based on the information, causes virtual right hand 1831RB of avatar object 6B to grip weapon object 6759 in virtual space 2611A, as shown in FIG. 69(A). Processor 710A generates field-of-view image 6917A corresponding to virtual space 2611A shown in FIG. 69(A), and displays it on touch screen 770A as shown in FIG. 69(B), for example. The user 5A understands through the visual field image 6917A that the avatar object 6B has grasped the weapon object 6759 in order to fight the enemy object 6357. FIG.
図70は、ある実施の形態に従う仮想空間2611Aおよびユーザ端末800Aの表示面を示す図である。プロセッサ210Bは、図68に示すアバターオブジェクト6Bの動作を表す動作情報を生成し、サーバ600を介してユーザ端末800Aに送信する。プロセッサ210Bは、アバターオブジェクト6Bの動作情報を受信し、当該情報に基づいて、図70(A)に示すように仮想空間2611Aにおいて、敵オブジェクト6357に対する戦闘動作をアバターオブジェクト6Bに実行させる。図70では、仮想空間2611A内のアバターオブジェクト6Bは、図68に示す仮想空間2611B内のアバターオブジェクト6Bの動作に連動して、敵オブジェクト6357を攻撃するための戦闘動作を武器オブジェクト6759を用いて実行する。
FIG. 70 is a diagram showing the display surface of virtual space 2611A and user terminal 800A according to one embodiment. Processor 210B generates action information representing the action of avatar object 6B shown in FIG. Processor 210B receives action information of avatar object 6B, and based on the information, causes avatar object 6B to perform a fighting action against enemy object 6357 in virtual space 2611A as shown in FIG. 70(A). In FIG. 70, the avatar object 6B in the virtual space 2611A uses weapon objects 6759 to perform combat motions to attack the enemy object 6357 in conjunction with the motion of the avatar object 6B in the virtual space 2611B shown in FIG. Run.
プロセッサ710Aは、図70(A)に示す仮想空間2611Aに対応する視界画像7017Aを生成し、例えば図70(B)に示すようにタッチスクリーン770Aに表示する。ユーザ5Aは、視界画像7017Aを通じて、アバターオブジェクト6Bはユーザ5Aのリクエストに応えて敵オブジェクト6357と戦闘してくれたのだと理解する。
Processor 710A generates field-of-view image 7017A corresponding to virtual space 2611A shown in FIG. 70(A), and displays it on touch screen 770A as shown in FIG. 70(B), for example. The user 5A understands through the view image 7017A that the avatar object 6B fought against the enemy object 6357 in response to the user's 5A request.
(主要な作用効果)
本実施形態では、ユーザ5Aからリクエストされた動作をアバターオブジェクト6Bに実行させることができるので、仮想空間2611におけるユーザ5Aの興趣性を向上させることができる。
(main effects)
In the present embodiment, the avatar object 6B can be made to perform the action requested by the user 5A, so the interest of the user 5A in the virtual space 2611 can be improved.
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。
Although the embodiments of the present disclosure have been described above, the technical scope of the present invention should not be construed to be limited by the description of the embodiments. It should be understood by those skilled in the art that this embodiment is merely an example, and that various modifications of the embodiment are possible within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and their equivalents.
各実施形態およびその各種変形例については、他の実施形態または他の変形例と矛盾しない限り、他の実施形態または他の変形例に適用可能である。
Each embodiment and its various variations can be applied to other embodiments or other variations unless inconsistent with other embodiments or variations.
各実施形態における「機械学習」は、例えば深層学習であればよい。例えば、プロセッサ210Bは、視聴者からの評価が関連付けられた破顔表情3161を深層学習することによって、破顔表情3161が深層学習された学習済みモデル1429を生成することができる。
"Machine learning" in each embodiment may be, for example, deep learning. For example, the processor 210B can deep learn the broken facial expression 3161 associated with the evaluation from the viewer to generate a trained model 1429 in which the broken facial expression 3161 is deep learned.
HMDセット110は、HMD120、コンピュータ200、HMDセンサ410、およびモーションセンサ420が一体化された構成であってもよい。
HMD set 110 may have a configuration in which HMD 120, computer 200, HMD sensor 410, and motion sensor 420 are integrated.
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
[Additional notes]
The contents of one aspect of the present invention are listed below.
(項目1) プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ(210B)およびメモリ(220B)を備えたコンピュータ(200B)によって実行される。プログラムは、プロセッサに、第1ユーザ(ユーザ5B)に関連付けられるアバター(アバターオブジェクト6B)を含む仮想空間(2611B)を定義するステップ(S2501)と、第1ユーザの動きを検出するステップ(S3701)と、アバターの過去の第1動作を人工知能に基づいて機械学習した学習結果(学習済みモデル1429)に基づいて、アバターが行い得る新たな動作に関する情報を特定するステップ(S3702)と、検出された第1ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定するステップ(S3704)と、特定された制御内容に基づいて、アバターを制御するステップとを実行させる。
(Item 1) Explained the program. According to one aspect of the present disclosure, programs are executed by a computer (200B) comprising a processor (210B) and memory (220B). The program instructs the processor to define (S2501) a virtual space (2611B) containing an avatar (Avatar object 6B) associated with a first user (User 5B) and to detect movement of the first user (S3701). a step of identifying information about a new action that the avatar can perform based on the learning result (learned model 1429) of machine learning of the past first action of the avatar based on artificial intelligence (S3702); identifying control content applicable to the avatar (S3704) based on the movement of the first user and the action information about the identified action; and controlling the avatar based on the identified control content. and
(項目2) (項目1)において、プログラムは、プロセッサに、第1動作に対する評価を特定するステップと、特定された評価が関連付けられる第1動作を機械学習することによって、学習結果を生成するステップとを実行させ、情報を特定するステップでは、複数の動作情報のうち、より多くの評価が関連付けられた動作に関する動作情報を、より優先的に特定する。
(Item 2) In (Item 1), the program causes the processor to specify an evaluation for the first action, and generate a learning result by machine learning the first action associated with the identified evaluation. and in the step of specifying information, among the plurality of pieces of motion information, motion information relating to a motion associated with a larger number of evaluations is specified with higher priority.
(項目3) (項目2)において、評価を特定するステップでは、仮想空間に表示されるボタン(4055)に対して、第1動作に応答して第2ユーザが行った操作に基づいて、評価を特定する、
(項目4) (項目2)において、評価を特定するステップでは、動作に応答して第2ユーザが入力したコメント(3533)を、評価として特定する。
(Item 3) In the step of specifying the evaluation in (Item 2), the evaluation is performed on the button (4055) displayed in the virtual space based on the operation performed by the second user in response to the first action. identify the
(Item 4) In the step of specifying the evaluation in (Item 2), the comment (3533) input by the second user in response to the action is specified as the evaluation.
(項目5) (項目2)において、評価を特定するステップでは、アバターが行った動作に応答して第2ユーザから第1ユーザに付与されたオブジェクト(4156)を、動作に対する評価として特定する。
(Item 5) In (Item 2), in the step of identifying the evaluation, the object (4156) given by the second user to the first user in response to the action performed by the avatar is identified as the evaluation of the action.
(項目6) (項目2)~(項目5)のいずれかにおいて、第1動作は、アバターが顔の表情を作る動作であり、学習結果を生成するステップでは、評価が付与された表情(破顔表情3161)を機械学習し、情報を特定するステップでは、複数の表情の中から、機械学習された表情を特定し、制御内容を特定するステップでは、検出された第1ユーザの動きと、特定された表情とに基づいて、アバターが新たに作る表情を示す制御内容を特定する。
(Item 6) In any one of (Item 2) to (Item 5), the first action is the action of the avatar making a facial expression, and in the step of generating the learning result, the evaluated facial expression (broken face) In the step of machine-learning the facial expression 3161) and identifying information, the machine-learned facial expression is identified from among a plurality of facial expressions, and in the step of identifying control details, the detected movement of the first user and the identification Based on the obtained facial expression, the content of control indicating the facial expression newly created by the avatar is specified.
(項目7) (項目2)~(項目5)のいずれかにおいて、プログラムは、プロセッサに、検出された第1ユーザの動きに対応するアバターの動作に関する第1情報を、第1パラメータを用いて補正することによって、第1情報に関する第2情報を生成するステップと、生成された第2情報に基づいて、アバターに第1動作を行わせるステップと、特定された評価が閾値を下回る場合、第1パラメータを調整するステップとを実行させる。
(Item 7) In any one of (Item 2) to (Item 5), the program causes the processor to transmit first information about the motion of the avatar corresponding to the detected motion of the first user using the first parameter. generating second information about the first information by correcting; causing the avatar to perform the first action based on the generated second information; and adjusting one parameter.
(項目8) (項目1)において、アバターは、操作オブジェクトを有し、プログラムは、プロセッサに、検出された第1ユーザの動きに基づいて、仮想空間において操作オブジェクト(仮想右手1831RB)を動作させるテップと、動作された操作オブジェクトがアバターにめり込んだか否かを判定するステップと、めり込まなかったと判定された場合の操作オブジェクトの動作に関する動作情報を機械学習することによって、学習結果を生成するステップとを実行させ、情報を特定するステップでは、操作オブジェクトの動きに関する複数の動作情報の中から、機械学習された動作情報を特定し、制御内容を特定するステップでは、検出された第1ユーザの動きと、特定された動作情報とに基づいて、操作オブジェクトがアバターにめり込まずに済む制御内容を特定する。
(Item 8) In (Item 1), the avatar has an operation object, and the program causes the processor to operate the operation object (virtual right hand 1831RB) in the virtual space based on the detected movement of the first user. a step of determining whether or not the operated object is embedded in the avatar; and machine learning of motion information regarding the motion of the operated object when it is determined that the operated object is not embedded, thereby generating a learning result. In the step of specifying the information, machine-learned motion information is specified from among a plurality of pieces of motion information regarding the motion of the operation object, and in the step of specifying the control content, the detected first user and the specified motion information, the control content that prevents the operation object from getting into the avatar is specified.
(項目9) (項目1)のいずれかにおいて、第1ユーザの動きを検出するステップでは、第1ユーザが発した第1音声を検出し、プログラムは、プロセッサに、検出された第1音声を、音声変換のための第1パラメータを用いて第2音声に変換するステップと、第2音声が、基準音声と同一の音質を有するか否かを判定するステップと、同一の音質を有すると判定された場合、第1パラメータを機械学習することによって、学習結果を生成するステップとを実行させ、情報を特定するステップでは、機械学習された第1パラメータを、情報として特定し、制御するステップでは、検出された第1ユーザの音声を、特定された第1パラメータを用いて変換することによって、第3音声を生成し、当該第3音声をアバターに発話させる。
(Item 9) In any of (Item 1), in the step of detecting the movement of the first user, a first voice uttered by the first user is detected, and the program transmits the detected first voice to the processor. converting into a second speech using a first parameter for speech conversion; determining whether the second speech has the same quality as the reference speech; determining that the second speech has the same quality; In the step of generating a learning result by machine learning the first parameter, and in the step of identifying the information, in the step of identifying and controlling the machine-learned first parameter as information , transforming the detected first user's voice using the identified first parameter to generate a third voice, and causing the avatar to utter the third voice.
(項目10) (項目2)~(項目9)のいずれかにおいて、学習結果を生成するステップでは、第1動作を深層学習する。
(Item 10) In any one of (Item 2) to (Item 9), in the step of generating the learning result, deep learning is performed on the first action.
(項目11) を実行させる(項目1)~(項目10)のいずれかにおいて、プログラムは、プロセッサに、仮想空間において発生した事象を特定するステップと、特定された事象に応じた情報を仮想空間に出力するステップと。
(Item 11) In any one of (Item 1) to (Item 10), the program instructs the processor to identify an event that occurred in the virtual space, and to transmit information corresponding to the identified event to the virtual space. with a step that outputs to .
(項目12) (項目11)において、通知するステップでは、特定された事象に応じた音声を仮想空間において再生する。
(Item 12) In (Item 11), in the step of notifying, a sound corresponding to the specified event is reproduced in the virtual space.
(項目13) (項目11)において、通知するステップでは、特定された事象に応じたテキストを仮想空間に表示する。
(Item 13) In (Item 11), in the step of notifying, a text corresponding to the identified event is displayed in the virtual space.
(項目14) (項目11)において、通知するステップでは、特定された事象に応じた特殊効果を仮想空間に反映する。
(Item 14) In (Item 11), in the step of notifying, a special effect corresponding to the specified event is reflected in the virtual space.
(項目15) (項目1)~(項目14)のいずれかにおいて、プログラムは、プロセッサに、特定された制御内容を販売するステップを実行させる。
(Item 15) In any one of (Item 1) to (Item 14), the program causes the processor to execute a step of selling the specified control content.
(項目16) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(コンピュータ200B)は、情報処理装置によって実行されるプログラムを記憶する記憶部(ストレージ230B)と、プログラムを実行することにより、情報処理装置の動作を制御する制御部(プロセッサ210B)と、を備えている。制御部は、第1ユーザ(ユーザ5B)に関連付けられるアバター(アバターオブジェクト6B)を含む仮想空間(2611B)を定義し、第1ユーザの動きを検出し、アバターの過去の第1動作を人工知能に基づいて機械学習した学習結果(学習済みモデル1429)に基づいて、アバターが行い得る新たな動作に関する情報を特定し、検出された第1ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定し、特定された制御内容に基づいて、アバターを制御する。
(Item 16) The information processing apparatus has been described. According to one aspect of the present disclosure, the information processing device (computer 200B) includes a storage unit (storage 230B) that stores programs to be executed by the information processing device, and controls operations of the information processing device by executing the programs. and a control unit (processor 210B). The control unit defines a virtual space (2611B) including an avatar (avatar object 6B) associated with a first user (user 5B), detects the movement of the first user, and calculates the past first action of the avatar by artificial intelligence. Based on the learning result (learned model 1429) machine-learned based on, to identify the information about the new motion that the avatar can perform, the detected motion of the first user, and the motion information about the specified motion Based on this, control content applicable to the avatar is identified, and the avatar is controlled based on the identified control content.
(項目17) プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、プロセッサ(210B)およびメモリ(220B)を備えたコンピュータ(200B)によって実行される。方法は、プロセッサが、第1ユーザ(ユーザ5B)に関連付けられるアバター(アバターオブジェクト6B)を含む仮想空間(2611B)を定義するステップ(S2501)と、第1ユーザの動きを検出するステップ(S3701)と、アバターの過去の第1動作を人工知能に基づいて機械学習した学習結果(学習済みモデル1429)に基づいて、アバターが行い得る新たな動作に関する情報を特定するステップ(S3702)と、検出された第1ユーザの動きと、特定された動作に関する動作情報とに基づいて、アバターに適用可能な制御内容を特定するステップ(S3704)と、特定された制御内容に基づいて、アバターを制御するステップとを含む。
(Item 17) I explained how to run the program. According to one aspect of the present disclosure, programs are executed by a computer (200B) comprising a processor (210B) and memory (220B). The method comprises the steps of a processor defining (S2501) a virtual space (2611B) containing an avatar (avatar object 6B) associated with a first user (user 5B) and detecting movement of the first user (S3701). a step of identifying information about a new action that the avatar can perform based on the learning result (learned model 1429) of machine learning of the past first action of the avatar based on artificial intelligence (S3702); identifying control content applicable to the avatar (S3704) based on the movement of the first user and the action information about the identified action; and controlling the avatar based on the identified control content. including.
(項目18) プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ(210B)およびメモリ(220B)を備えたコンピュータ(ユーザ端末200B)によって実行される。プログラムは、プロセッサに、第1ユーザ(ユーザ5B)に関連付けられる第1アバター(アバターオブジェクト6B)と、第2アバター(アバターオブジェクト5706)とを含む仮想空間(仮想空間2611B)を定義するステップと、第1アバターの視界(視界領域15B)内に第2アバターが配置されるときに、第2アバターに第1動作を実行させるステップと、第2アバターによる第1動作の実行中に、第1ユーザの動きを検出するステップと、検出された第1ユーザの動きに基づいて、視界内に第2アバターが配置されるときに、第1アバターに第1動作を実行させるステップとを実行させる。
(Item 18) Explained the program. According to one aspect of the present disclosure, the program is executed by a computer (user terminal 200B) with a processor (210B) and memory (220B). The program instructs the processor to define a virtual space (virtual space 2611B) including a first avatar (avatar object 6B) associated with a first user (user 5B) and a second avatar (avatar object 5706); causing the second avatar to perform a first action when the second avatar is placed within the field of view (viewing area 15B) of the first avatar; and causing the first avatar to perform a first action when the second avatar is positioned within the field of view based on the detected movement of the first user.
(項目19) プログラムを説明した。本開示のある局面によると、プログラムは、プロセッサ(210B)およびメモリ(220B)を備えたコンピュータ(ユーザ端末200B)によって実行される。プログラムは、プロセッサに、第1ユーザ(ユーザ5B)に関連付けられるアバター(アバターオブジェクト6B)を含む仮想空間(仮想空間2611B)を定義するステップと、第2ユーザ(ユーザ5A)が第1アバターにリクエストする行動が関連付けられるオブジェクト(敵オブジェクト6357)を、第2ユーザによる操作に基づいて仮想空間に配置するステップと、第1ユーザの動きを検出するステップと、検出されたユーザの動きに基づいて、オブジェクトに対する行動をアバターに実行させるステップとを実行させる。
(Item 19) Explained the program. According to one aspect of the present disclosure, the program is executed by a computer (user terminal 200B) with a processor (210B) and memory (220B). The program instructs the processor to define a virtual space (virtual space 2611B) containing an avatar (avatar object 6B) associated with a first user (user 5B); a step of arranging an object (enemy object 6357) associated with the action to be performed in the virtual space based on the operation by the second user; a step of detecting the movement of the first user; and based on the detected movement of the user, and causing the avatar to perform an action on the object.
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。
In the above embodiments, the virtual space (VR space) in which the user is immersed by the HMD has been exemplified and explained, but a transmissive HMD may be employed as the HMD. In this case, by outputting a visual field image obtained by synthesizing a part of an image constituting a virtual space with a real space visually recognized by a user through a transmissive HMD, an augmented reality (AR) space or mixed reality ( A virtual experience in MR (Mixed Reality) space may be provided to the user. In this case, an action may be generated on the target object in the virtual space based on the movement of the user's hand instead of the operation object. Specifically, the processor may identify the coordinate information of the position of the user's hand in the real space and define the position of the target object in the virtual space in relation to the coordinate information in the real space. As a result, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and execute processing corresponding to the above-described collision control or the like between the user's hand and the target object. . As a result, it is possible to give an effect to the target object based on the movement of the user's hand.