JP2020156103A - Program, information processing device, and method - Google Patents
Program, information processing device, and method Download PDFInfo
- Publication number
- JP2020156103A JP2020156103A JP2020103113A JP2020103113A JP2020156103A JP 2020156103 A JP2020156103 A JP 2020156103A JP 2020103113 A JP2020103113 A JP 2020103113A JP 2020103113 A JP2020103113 A JP 2020103113A JP 2020156103 A JP2020156103 A JP 2020156103A
- Authority
- JP
- Japan
- Prior art keywords
- area
- hmd
- display
- user
- end portion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明はプログラム、情報処理装置、および方法に関する。 The present invention relates to programs, information processing devices, and methods.
特許文献1に、ライブストリーミング映像の配信中に、視聴者からのコメントを該ライブストリーミング映像に重畳させて表示する技術が開示されている。
従来の技術では、視聴者からのコメントなどの演者宛のメッセージが、演者を撮影するカメラから離れた位置に表示される。このため、演者が該メッセージを読む際、カメラ目線を維持できないという問題がある。 In the conventional technique, a message addressed to the performer, such as a comment from the viewer, is displayed at a position away from the camera that shoots the performer. Therefore, there is a problem that the performer cannot maintain the line of sight of the camera when reading the message.
本発明の一態様は、演者が、演者宛のメッセージを、カメラ目線を維持しながら視認可能とすることを目的とする。 One aspect of the present invention is intended to enable a performer to visually recognize a message addressed to the performer while maintaining the line of sight of the camera.
本発明の一態様によれば、被写体を撮影する撮影装置と、撮影装置により撮影された被写体の映像を第1視聴者に配信する第1コンピュータと、第1視聴者から被写体へ宛てた第1メッセージを表示する表示装置と、を含むシステムにおいて、第1コンピュータによって実行されるプログラムが提供される。撮影装置と表示装置とは、上下方向に配置されている。表示装置の表示領域は、第1端部と、上下方向において第1端部と対向する第2端部と、を有する。第1端部は、第2端部よりも撮影装置に近い側の端部である。プログラムは、第1コンピュータに備えられたプロセッサに、表示領域のうち、第2端部側よりも第1端部側に近い領域を、第1メッセージを表示する第1領域として設定するステップと、第1メッセージを第1領域に表示するステップと、を実行させる。 According to one aspect of the present invention, a photographing device for photographing a subject, a first computer for delivering an image of the subject photographed by the photographing device to a first viewer, and a first computer addressed to the subject from the first viewer. A program executed by a first computer is provided in a system including a display device for displaying a message. The photographing device and the display device are arranged in the vertical direction. The display area of the display device has a first end portion and a second end portion facing the first end portion in the vertical direction. The first end is an end closer to the imaging device than the second end. The program includes a step of setting, in the processor provided in the first computer, an area of the display area closer to the first end side than the second end side as the first area for displaying the first message. The step of displaying the first message in the first area and the step of displaying the first message are executed.
本開示の一態様によれば、演者が、演者宛のメッセージを、カメラ目線を維持しながら視認可能とすることができる。 According to one aspect of the present disclosure, the performer can make the message addressed to the performer visible while maintaining the line of sight of the camera.
以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。 Hereinafter, embodiments of this technical idea will be described in detail with reference to the drawings. In the following description, the same parts are designated by the same reference numerals. Their names and functions are the same. Therefore, the detailed description of them will not be repeated. In one or more embodiments shown in the present disclosure, the elements included in each embodiment can be combined with each other, and the combined result is also a part of the embodiments shown in the present disclosure.
[HMDシステムの構成]
図1を参照して、HMD(Head-Mounted Device)システム100の構成について説明する。図1は、本実施の形態に従うHMDシステム100の構成の概略を表す図である。HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
[HMD system configuration]
The configuration of the HMD (Head-Mounted Device)
HMDシステム100は、サーバ600と、HMDセット110A,110B,110C,110Dと、外部機器700と、ネットワーク2とを含む。HMDセット110A,110B,110C,110Dの各々は、ネットワーク2を介してサーバ600や外部機器700と通信可能に構成される。以下、HMDセット110A,110B,110C,110Dを総称して、HMDセット110とも言う。HMDシステム100を構成するHMDセット110の数は、4つに限られず、3つ以下でも、5つ以上でもよい。HMDセット110は、HMD120と、コンピュータ200と、HMDセンサ410と、ディスプレイ430と、コントローラ300とを備える。HMD120は、モニタ130と、注視センサ140と、第1カメラ150と、第2カメラ160と、マイク170と、スピーカ180とを含む。コントローラ300は、モーションセンサ420を含み得る。
The
ある局面において、コンピュータ200は、インターネットその他のネットワーク2に接続可能であり、ネットワーク2に接続されているサーバ600その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のHMDセット110のコンピュータや外部機器700が挙げられる。別の局面において、HMD120は、HMDセンサ410の代わりに、センサ190を含み得る。
In some aspects, the
HMD120は、ユーザ5の頭部に装着され、動作中に仮想空間をユーザ5に提供し得る。より具体的には、HMD120は、右目用の画像および左目用の画像をモニタ130にそれぞれ表示する。ユーザ5の各目がそれぞれの画像を視認すると、ユーザ5は、両目の視差に基づき当該画像を3次元画像として認識し得る。HMD120は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
The HMD 120 may be worn on the
モニタ130は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ130は、ユーザ5の両目の前方に位置するようにHMD120の本体に配置されている。したがって、ユーザ5は、モニタ130に表示される3次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ5が操作可能なオブジェクト、ユーザ5が選択可能なメニューの画像を含む。ある局面において、モニタ130は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
別の局面において、モニタ130は、透過型の表示装置として実現され得る。この場合、HMD120は、図1に示されるようにユーザ5の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ130は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ130は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ130は、HMD120に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。
In another aspect, the
ある局面において、モニタ130は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ130は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ130は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In some aspects, the
ある局面において、HMD120は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ410は、HMD120の動きを検出するためのポジショントラッキング機能を有する。より具体的には、HMDセンサ410は、HMD120が発する複数の赤外線を読み取り、現実空間内におけるHMD120の位置および傾きを検出する。
In one aspect, the
別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるHMD120の画像情報を用いて、画像解析処理を実行することにより、HMD120の位置および傾きを検出することができる。
In another aspect, the
別の局面において、HMD120は、位置検出器として、HMDセンサ410の代わりに、あるいはHMDセンサ410に加えてセンサ190を備えてもよい。HMD120は、センサ190を用いて、HMD120自身の位置および傾きを検出し得る。例えば、センサ190が角速度センサ、地磁気センサ、あるいは加速度センサである場合、HMD120は、HMDセンサ410の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ190が角速度センサである場合、角速度センサは、現実空間におけるHMD120の3軸周りの角速度を経時的に検出する。HMD120は、各角速度に基づいて、HMD120の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD120の傾きを算出する。
In another aspect, the
注視センサ140は、ユーザ5の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ140は、ユーザ5の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ5の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ5の視線を検知することができる。
The
第1カメラ150は、ユーザ5の顔の下部を撮影する。より具体的には、第1カメラ150は、ユーザ5の鼻および口などを撮影する。第2カメラ160は、ユーザ5の目および眉などを撮影する。HMD120のユーザ5側の筐体をHMD120の内側、HMD120のユーザ5とは逆側の筐体をHMD120の外側と定義する。ある局面において、第1カメラ150は、HMD120の外側に配置され、第2カメラ160は、HMD120の内側に配置され得る。第1カメラ150および第2カメラ160が生成した画像は、コンピュータ200に入力される。別の局面において、第1カメラ150と第2カメラ160とを1台のカメラとして実現し、この1台のカメラでユーザ5の顔を撮影するようにしてもよい。
The
マイク170は、ユーザ5の発話を音声信号(電気信号)に変換してコンピュータ200に出力する。スピーカ180は、音声信号を音声に変換してユーザ5に出力する。別の局面において、HMD120は、スピーカ180に替えてイヤホンを含み得る。
The
コントローラ300は、有線または無線によりコンピュータ200に接続されている。コントローラ300は、ユーザ5からコンピュータ200への命令の入力を受け付ける。ある局面において、コントローラ300は、ユーザ5によって把持可能に構成される。別の局面において、コントローラ300は、ユーザ5の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ300は、コンピュータ200から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ300は、ユーザ5から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。
The
ある局面において、コントローラ300は、複数の光源を含む。各光源は例えば、赤外線を発するLEDにより実現される。HMDセンサ410は、ポジショントラッキング機能を有する。この場合、HMDセンサ410は、コントローラ300が発する複数の赤外線を読み取り、現実空間内におけるコントローラ300の位置および傾きを検出する。別の局面において、HMDセンサ410は、カメラにより実現されてもよい。この場合、HMDセンサ410は、カメラから出力されるコントローラ300の画像情報を用いて、画像解析処理を実行することにより、コントローラ300の位置および傾きを検出することができる。
In one aspect, the
モーションセンサ420は、ある局面において、ユーザ5の手に取り付けられて、ユーザ5の手の動きを検出する。例えば、モーションセンサ420は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ200に送られる。モーションセンサ420は、例えば、コントローラ300に設けられている。ある局面において、モーションセンサ420は、例えば、ユーザ5に把持可能に構成されたコントローラ300に設けられている。別の局面において、現実空間における安全のため、コントローラ300は、手袋型のようにユーザ5の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ5に装着されないセンサがユーザ5の手の動きを検出してもよい。例えば、ユーザ5を撮影するカメラの信号が、ユーザ5の動作を表わす信号として、コンピュータ200に入力されてもよい。モーションセンサ420とコンピュータ200とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
In a certain aspect, the
ディスプレイ430は、モニタ130に表示されている画像と同様の画像を表示する。これにより、HMD120を装着しているユーザ5以外のユーザにも当該ユーザ5と同様の画像を視聴させることができる。ディスプレイ430に表示される画像は、3次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ430としては、例えば、液晶ディスプレイや有機ELモニタなどが挙げられる。
The
サーバ600は、コンピュータ200にプログラムを送信し得る。別の局面において、サーバ600は、他のユーザによって使用されるHMD120に仮想現実を提供するための他のコンピュータ200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介して他のコンピュータ200と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ200は、各ユーザの動作に基づく信号をサーバ600を介さずに他のコンピュータ200と通信するようにしてもよい。
The
外部機器700は、コンピュータ200と通信可能な機器であればどのような機器であってもよい。外部機器700は、例えば、ネットワーク2を介してコンピュータ200と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ200と直接通信可能な機器であってもよい。外部機器700としては、例えば、スマートデバイス、PC(Personal Computer)、及びコンピュータ200の周辺機器などが挙げられるが、これらに限定されるものではない。
The
[コンピュータのハードウェア構成]
図2を参照して、本実施の形態に係るコンピュータ200について説明する。図2は、本実施の形態に従うコンピュータ200のハードウェア構成の一例を表すブロック図である。コンピュータ200は、主たる構成要素として、プロセッサ210と、メモリ220と、ストレージ230と、入出力インターフェイス240と、通信インターフェイス250とを備える。各構成要素は、それぞれ、バス260に接続されている。
[Computer hardware configuration]
The
プロセッサ210は、コンピュータ200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ220またはストレージ230に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ210は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
メモリ220は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ230からロードされる。データは、コンピュータ200に入力されたデータと、プロセッサ210によって生成されたデータとを含む。ある局面において、メモリ220は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The
ストレージ230は、プログラムおよびデータを永続的に保持する。ストレージ230は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ230に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ200との通信を実現するためのプログラムを含む。ストレージ230に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
別の局面において、ストレージ230は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ200に内蔵されたストレージ230の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス240は、HMD120、HMDセンサ410、モーションセンサ420およびディスプレイ430との間で信号を通信する。HMD120に含まれるモニタ130,注視センサ140,第1カメラ150,第2カメラ160,マイク170およびスピーカ180は、HMD120の入出力インターフェイス240を介してコンピュータ200との通信を行ない得る。ある局面において、入出力インターフェイス240は、USB(Universal Serial Bus)、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。入出力インターフェイス240は上述のものに限られない。
The input /
ある局面において、入出力インターフェイス240は、さらに、コントローラ300と通信し得る。例えば、入出力インターフェイス240は、コントローラ300およびモーションセンサ420から出力された信号の入力を受ける。別の局面において、入出力インターフェイス240は、プロセッサ210から出力された命令を、コントローラ300に送る。当該命令は、振動、音声出力、発光等をコントローラ300に指示する。コントローラ300は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In some aspects, the input /
通信インターフェイス250は、ネットワーク2に接続されて、ネットワーク2に接続されている他のコンピュータ(例えば、サーバ600)と通信する。ある局面において、通信インターフェイス250は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。通信インターフェイス250は上述のものに限られない。
The
ある局面において、プロセッサ210は、ストレージ230にアクセスし、ストレージ230に格納されている1つ以上のプログラムをメモリ220にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、コンピュータ200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ210は、入出力インターフェイス240を介して、仮想空間を提供するための信号をHMD120に送る。HMD120は、その信号に基づいてモニタ130に映像を表示する。
In one aspect, the
図2に示される例では、コンピュータ200は、HMD120の外部に設けられる構成が示されているが、別の局面において、コンピュータ200は、HMD120に内蔵されてもよい。一例として、モニタ130を含む携帯型の情報通信端末(例えば、スマートフォン)がコンピュータ200として機能してもよい。
In the example shown in FIG. 2, the
コンピュータ200は、複数のHMD120に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
The
ある実施の形態において、HMDシステム100では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。実座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、実座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In a certain embodiment, in the
ある局面において、HMDセンサ410は、赤外線センサを含む。赤外線センサが、HMD120の各光源から発せられた赤外線をそれぞれ検出すると、HMD120の存在を検出する。HMDセンサ410は、さらに、各点の値(実座標系における各座標値)に基づいて、HMD120を装着したユーザ5の動きに応じた、現実空間内におけるHMD120の位置および傾き(向き)を検出する。より詳しくは、HMDセンサ410は、経時的に検出された各値を用いて、HMD120の位置および傾きの時間的変化を検出できる。
In some aspects, the
HMDセンサ410によって検出されたHMD120の各傾きは、実座標系におけるHMD120の3軸周りの各傾きに相当する。HMDセンサ410は、実座標系におけるHMD120の傾きに基づき、uvw視野座標系をHMD120に設定する。HMD120に設定されるuvw視野座標系は、HMD120を装着したユーザ5が仮想空間において物体を見る際の視点座標系に対応する。
Each inclination of the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD120に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ410は、HMD120の起動時に、実座標系におけるHMD120の位置および傾きを検出する。プロセッサ210は、検出された値に基づいて、uvw視野座標系をHMD120に設定する。
[Uvw field coordinate system]
The uvw field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually representing the uvw field coordinate system set in the
図3に示されるように、HMD120は、HMD120を装着したユーザ5の頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD120は、実座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、実座標系内においてHMD120の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)として設定する。
As shown in FIG. 3, the
ある局面において、HMD120を装着したユーザ5が直立し、かつ、正面を視認している場合、プロセッサ210は、実座標系に平行なuvw視野座標系をHMD120に設定する。この場合、実座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD120におけるuvw視野座標系のピッチ軸(u軸)、ヨー軸(v軸)、およびロール軸(w軸)に一致する。
In a certain aspect, when the
uvw視野座標系がHMD120に設定された後、HMDセンサ410は、HMD120の動きに基づいて、設定されたuvw視野座標系におけるHMD120の傾きを検出できる。この場合、HMDセンサ410は、HMD120の傾きとして、uvw視野座標系におけるHMD120のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ軸周りのHMD120の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー軸周りのHMD120の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール軸周りのHMD120の傾き角度を表す。
After the uvw field coordinate system is set to the
HMDセンサ410は、検出されたHMD120の傾きに基づいて、HMD120が動いた後のHMD120におけるuvw視野座標系を、HMD120に設定する。HMD120と、HMD120のuvw視野座標系との関係は、HMD120の位置および傾きに関わらず、常に一定である。HMD120の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるHMD120のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ410は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD120の現実空間内における位置を、HMDセンサ410に対する相対位置として特定してもよい。プロセッサ210は、特定された相対位置に基づいて、現実空間内(実座標系)におけるHMD120のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間11を表現する一態様を概念的に表す図である。仮想空間11は、中心12の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間11のうちの上半分の天球が例示されている。仮想空間11では各メッシュが規定される。各メッシュの位置は、仮想空間11に規定されるグローバル座標系であるXYZ座標系における座標値として予め規定されている。コンピュータ200は、仮想空間11に展開可能なパノラマ画像13(静止画、動画等)を構成する各部分画像を、仮想空間11において対応する各メッシュにそれぞれ対応付ける。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually representing one aspect of expressing the
ある局面において、仮想空間11では、中心12を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、実座標系に平行である。XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)が実座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)が実座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)が実座標系のz軸と平行である。
In a certain aspect, the
HMD120の起動時、すなわちHMD120の初期状態において、仮想カメラ14が、仮想空間11の中心12に配置される。ある局面において、プロセッサ210は、仮想カメラ14が撮影する画像をHMD120のモニタ130に表示する。仮想カメラ14は、現実空間におけるHMD120の動きに連動して、仮想空間11を同様に移動する。これにより、現実空間におけるHMD120の位置および傾きの変化が、仮想空間11において同様に再現され得る。
At the time of starting the
仮想カメラ14には、HMD120の場合と同様に、uvw視野座標系が規定される。仮想空間11における仮想カメラ14のuvw視野座標系は、現実空間(実座標系)におけるHMD120のuvw視野座標系に連動するように規定されている。したがって、HMD120の傾きが変化すると、それに応じて、仮想カメラ14の傾きも変化する。仮想カメラ14は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において移動することもできる。
As in the case of the
コンピュータ200のプロセッサ210は、仮想カメラ14の位置と傾き(基準視線16)とに基づいて、仮想空間11における視界領域15を規定する。視界領域15は、仮想空間11のうち、HMD120を装着したユーザ5が視認する領域に対応する。つまり、仮想カメラ14の位置は、仮想空間11におけるユーザ5の視点と言える。
The
注視センサ140によって検出されるユーザ5の視線は、ユーザ5が物体を視認する際の視点座標系における方向である。HMD120のuvw視野座標系は、ユーザ5がモニタ130を視認する際の視点座標系に等しい。仮想カメラ14のuvw視野座標系は、HMD120のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ5の視線を、仮想カメラ14のuvw視野座標系におけるユーザ5の視線とみなすことができる。
The line of sight of the
[ユーザの視線]
図5を参照して、ユーザ5の視線の決定について説明する。図5は、ある実施の形態に従うHMD120を装着するユーザ5の頭部を上から表した図である。
[User's line of sight]
The determination of the line of sight of the
ある局面において、注視センサ140は、ユーザ5の右目および左目の各視線を検出する。ある局面において、ユーザ5が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ5が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール軸wに対して視線R2およびL2が成す角度は、ロール軸wに対して視線R1およびL1が成す角度よりも小さい。注視センサ140は、検出結果をコンピュータ200に送信する。
In one aspect, the
コンピュータ200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、コンピュータ200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。コンピュータ200は、特定した注視点N1の位置に基づき、ユーザ5の視線N0を特定する。コンピュータ200は、例えば、ユーザ5の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線N0として検出する。視線N0は、ユーザ5が両目により実際に視線を向けている方向である。視線N0は、視界領域15に対してユーザ5が実際に視線を向けている方向に相当する。
When the
別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間11においてテレビ番組を表示することができる。
In another aspect, the
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In yet another aspect, the
[視界領域]
図6および図7を参照して、視界領域15について説明する。図6は、仮想空間11において視界領域15をX方向から見たYZ断面を表す図である。図7は、仮想空間11において視界領域15をY方向から見たXZ断面を表す図である。
[Visibility area]
The field of
図6に示されるように、YZ断面における視界領域15は、領域18を含む。領域18は、仮想カメラ14の位置と基準視線16と仮想空間11のYZ断面とによって定義される。プロセッサ210は、仮想空間における基準視線16を中心として極角αを含む範囲を、領域18として規定する。
As shown in FIG. 6, the field of
図7に示されるように、XZ断面における視界領域15は、領域19を含む。領域19は、仮想カメラ14の位置と基準視線16と仮想空間11のXZ断面とによって定義される。プロセッサ210は、仮想空間11における基準視線16を中心とした方位角βを含む範囲を、領域19として規定する。極角αおよびβは、仮想カメラ14の位置と仮想カメラ14の傾き(向き)とに応じて定まる。
As shown in FIG. 7, the field of
ある局面において、HMDシステム100は、コンピュータ200からの信号に基づいて、視界画像17をモニタ130に表示させることにより、ユーザ5に仮想空間11における視界を提供する。視界画像17は、パノラマ画像13のうち視界領域15に対応する部分に相当する画像である。ユーザ5が、頭部に装着したHMD120を動かすと、その動きに連動して仮想カメラ14も動く。その結果、仮想空間11における視界領域15の位置が変化する。これにより、モニタ130に表示される視界画像17は、パノラマ画像13のうち、仮想空間11においてユーザ5が向いた方向の視界領域15に重畳する画像に更新される。ユーザ5は、仮想空間11における所望の方向を視認することができる。
In one aspect, the
このように、仮想カメラ14の傾きは仮想空間11におけるユーザ5の視線(基準視線16)に相当し、仮想カメラ14が配置される位置は、仮想空間11におけるユーザ5の視点に相当する。したがって、仮想カメラ14の位置または傾きを変更することにより、モニタ130に表示される画像が更新され、ユーザ5の視界が移動される。
As described above, the inclination of the
ユーザ5は、HMD120を装着している間、現実世界を視認することなく、仮想空間11に展開されるパノラマ画像13のみを視認できる。そのため、HMDシステム100は、仮想空間11への高い没入感覚をユーザ5に与えることができる。
While wearing the
ある局面において、プロセッサ210は、HMD120を装着したユーザ5の現実空間における移動に連動して、仮想空間11において仮想カメラ14を移動し得る。この場合、プロセッサ210は、仮想空間11における仮想カメラ14の位置および傾きに基づいて、HMD120のモニタ130に投影される画像領域(視界領域15)を特定する。
In a certain aspect, the
ある局面において、仮想カメラ14は、2つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ5が3次元の仮想空間11を認識できるように、適切な視差が、2つの仮想カメラに設定される。別の局面において、仮想カメラ14を1つの仮想カメラにより実現してもよい。この場合、1つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ14が2つの仮想カメラを含み、2つの仮想カメラのロール軸が合成されることによって生成されるロール軸(w)がHMD120のロール軸(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
In some aspects, the
[コントローラ]
図8を参照して、コントローラ300の一例について説明する。図8は、ある実施の形態に従うコントローラ300の概略構成を表す図である。
[controller]
An example of the
図8に示されるように、ある局面において、コントローラ300は、右コントローラ300Rと図示せぬ左コントローラとを含み得る。右コントローラ300Rは、ユーザ5の右手で操作される。左コントローラは、ユーザ5の左手で操作される。ある局面において、右コントローラ300Rと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ5は、右コントローラ300Rを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ300は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ300Rについて説明する。
As shown in FIG. 8, in some aspects, the
右コントローラ300Rは、グリップ310と、フレーム320と、天面330とを備える。グリップ310は、ユーザ5の右手によって把持されるように構成されている。たとえば、グリップ310は、ユーザ5の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
The
グリップ310は、ボタン340,350と、モーションセンサ420とを含む。ボタン340は、グリップ310の側面に配置され、右手の中指による操作を受け付ける。ボタン350は、グリップ310の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン340,350は、トリガー式のボタンとして構成される。モーションセンサ420は、グリップ310の筐体に内蔵されている。ユーザ5の動作がカメラその他の装置によってユーザ5の周りから検出可能である場合には、グリップ310は、モーションセンサ420を備えなくてもよい。
The
フレーム320は、その円周方向に沿って配置された複数の赤外線LED360を含む。赤外線LED360は、コントローラ300を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED360から発せられた赤外線は、右コントローラ300Rと左コントローラとの各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED360が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
The
天面330は、ボタン370,380と、アナログスティック390とを備える。ボタン370,380は、プッシュ式ボタンとして構成される。ボタン370,380は、ユーザ5の右手の親指による操作を受け付ける。アナログスティック390は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間11に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ300Rおよび左コントローラは、赤外線LED360その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ300Rと左コントローラは、たとえば、コンピュータ200のUSBインターフェースに接続され得る。この場合、右コントローラ300Rおよび左コントローラは、電池を必要としない。
In one aspect, the
図8の状態(A)および状態(B)に示されるように、例えば、ユーザ5の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ5が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。
As shown in the states (A) and (B) of FIG. 8, for example, the yaw, roll, and pitch directions are defined with respect to the right hand of the
[サーバのハードウェア構成]
図9を参照して、本実施の形態に係るサーバ600について説明する。図9は、ある実施の形態に従うサーバ600のハードウェア構成の一例を表すブロック図である。サーバ600は、主たる構成要素として、プロセッサ610と、メモリ620と、ストレージ630と、入出力インターフェイス640と、通信インターフェイス650とを備える。各構成要素は、それぞれ、バス660に接続されている。
[Server hardware configuration]
The
プロセッサ610は、サーバ600に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ620またはストレージ630に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ610は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
The
メモリ620は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ630からロードされる。データは、サーバ600に入力されたデータと、プロセッサ610によって生成されたデータとを含む。ある局面において、メモリ620は、RAMその他の揮発メモリとして実現される。
ストレージ630は、プログラムおよびデータを永続的に保持する。ストレージ630は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ630に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ200との通信を実現するためのプログラムを含んでもよい。ストレージ630に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。
別の局面において、ストレージ630は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ600に内蔵されたストレージ630の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
入出力インターフェイス640は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス640は、USB、DVI、HDMI(登録商標)その他の端子を用いて実現される。入出力インターフェイス640は上述のものに限られない。
The input /
通信インターフェイス650は、ネットワーク2に接続されて、ネットワーク2に接続されているコンピュータ200と通信する。ある局面において、通信インターフェイス650は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi、Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス650は上述のものに限られない。
The
ある局面において、プロセッサ610は、ストレージ630にアクセスし、ストレージ630に格納されている1つ以上のプログラムをメモリ620にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、サーバ600のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ610は、入出力インターフェイス640を介して、仮想空間を提供するための信号をコンピュータ200に送ってもよい。
In one aspect, the
[HMDの制御装置]
図10を参照して、HMD120の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ200によって実現される。図10は、ある実施の形態に従うコンピュータ200をモジュール構成として表わすブロック図である。
[HMD control device]
The control device of the
図10に示されるように、コンピュータ200は、コントロールモジュール510と、レンダリングモジュール520と、メモリモジュール530と、通信制御モジュール540とを備える。ある局面において、コントロールモジュール510とレンダリングモジュール520とは、プロセッサ210によって実現される。別の局面において、複数のプロセッサ210がコントロールモジュール510とレンダリングモジュール520として作動してもよい。メモリモジュール530は、メモリ220またはストレージ230によって実現される。通信制御モジュール540は、通信インターフェイス250によって実現される。
As shown in FIG. 10, the
コントロールモジュール510は、ユーザ5に提供される仮想空間11を制御する。コントロールモジュール510は、仮想空間11を表す仮想空間データを用いて、HMDシステム100における仮想空間11を規定する。仮想空間データは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、仮想空間データを生成したり、サーバ600などから仮想空間データを取得するようにしたりしてもよい。
The
コントロールモジュール510は、オブジェクトを表すオブジェクトデータを用いて、仮想空間11にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール530に記憶されている。コントロールモジュール510が、オブジェクトデータを生成したり、サーバ600などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ5の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ300によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。
The
コントロールモジュール510は、ネットワーク2を介して接続される他のコンピュータ200のユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5のアバターオブジェクトを仮想空間11に配置する。ある局面において、コントロールモジュール510は、ユーザ5を含む画像に基づいて、ユーザ5を模したアバターオブジェクトを仮想空間11に配置する。別の局面において、コントロールモジュール510は、複数種類のアバターオブジェクト(例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト)の中からユーザ5による選択を受け付けたアバターオブジェクトを仮想空間11に配置する。
The
コントロールモジュール510は、HMDセンサ410の出力に基づいてHMD120の傾きを特定する。別の局面において、コントロールモジュール510は、モーションセンサとして機能するセンサ190の出力に基づいてHMD120の傾きを特定する。コントロールモジュール510は、第1カメラ150および第2カメラ160が生成するユーザ5の顔の画像から、ユーザ5の顔を構成する器官(例えば、口,目,眉)を検出する。コントロールモジュール510は、検出した各器官の動き(形状)を検出する。
The
コントロールモジュール510は、注視センサ140からの信号に基づいて、ユーザ5の仮想空間11における視線を検出する。コントロールモジュール510は、検出したユーザ5の視線と仮想空間11の天球とが交わる視点位置(XYZ座標系における座標値)を検出する。より具体的には、コントロールモジュール510は、uvw座標系で規定されるユーザ5の視線と、仮想カメラ14の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール510は、検出した視点位置をサーバ600に送信する。別の局面において、コントロールモジュール510は、ユーザ5の視線を表す視線情報をサーバ600に送信するように構成されてもよい。係る場合、サーバ600が受信した視線情報に基づいて視点位置を算出し得る。
The
コントロールモジュール510は、HMDセンサ410が検出するHMD120の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール510は、HMD120が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール510は、検出した顔器官の動作を、仮想空間11に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール510は、サーバ600から他のユーザ5の視線情報を受信し、当該他のユーザ5のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール510は、コントローラ300の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ300は、コントローラ300の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子(例えば、赤外線LED)などを備える。
The
コントロールモジュール510は、仮想空間11においてユーザ5の操作を受け付けるための操作オブジェクトを仮想空間11に配置する。ユーザ5は、操作オブジェクトを操作することにより、例えば、仮想空間11に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ5の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール510は、モーションセンサ420の出力に基づいて現実空間におけるユーザ5の手の動きに連動するように仮想空間11において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。
The
コントロールモジュール510は、仮想空間11に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール510は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール510は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール510は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。
When each of the objects arranged in the
ある局面において、コントロールモジュール510は、HMD120のモニタ130における画像表示を制御する。例えば、コントロールモジュール510は、仮想空間11に仮想カメラ14を配置する。コントロールモジュール510は、仮想空間11における仮想カメラ14の位置と、仮想カメラ14の傾き(向き)を制御する。コントロールモジュール510は、HMD120を装着したユーザ5の頭部の傾きと、仮想カメラ14の位置に応じて、視界領域15を規定する。レンダリングモジュール520は、決定された視界領域15に基づいて、モニタ130に表示される視界画像17を生成する。レンダリングモジュール520により生成された視界画像17は、通信制御モジュール540によってHMD120に出力される。
In one aspect, the
コントロールモジュール510は、HMD120から、ユーザ5のマイク170を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ200を特定する。音声データは、コントロールモジュール510によって特定されたコンピュータ200に送信される。コントロールモジュール510は、ネットワーク2を介して他のユーザのコンピュータ200から音声データを受信すると、当該音声データに対応する音声(発話)をスピーカ180から出力する。
When the
メモリモジュール530は、コンピュータ200が仮想空間11をユーザ5に提供するために使用されるデータを保持している。ある局面において、メモリモジュール530は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。
The
空間情報は、仮想空間11を提供するために規定された1つ以上のテンプレートを保持している。
Spatial information holds one or more templates defined to provide the
オブジェクト情報は、仮想空間11を構成する複数のパノラマ画像13、仮想空間11にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像13は、静止画像および動画像を含み得る。パノラマ画像13は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。
The object information includes a plurality of
ユーザ情報は、ユーザ5を識別するユーザIDを保持する。ユーザIDは、例えば、ユーザが使用するコンピュータ200に設定されるIP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスであり得る。別の局面において、ユーザIDはユーザによって設定され得る。ユーザ情報は、HMDシステム100の制御装置としてコンピュータ200を機能させるためのプログラム等を含む。
The user information holds a user ID that identifies the
メモリモジュール530に格納されているデータおよびプログラムは、HMD120のユーザ5によって入力される。あるいは、プロセッサ210が、当該コンテンツを提供する事業者が運営するコンピュータ(例えば、サーバ600)からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール530に格納する。
The data and programs stored in the
通信制御モジュール540は、ネットワーク2を介して、サーバ600その他の情報通信装置と通信し得る。
The
ある局面において、コントロールモジュール510及びレンダリングモジュール520は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、コントロールモジュール510及びレンダリングモジュール520は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In certain aspects, the
コンピュータ200における処理は、ハードウェアと、プロセッサ210により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール530に予め格納されている場合がある。ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール540を介してサーバ600その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ210によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ210は、そのプログラムを実行する。
The processing in the
[HMDシステムの制御構造]
図11を参照して、HMDセット110の制御構造について説明する。図11は、ある実施の形態に従うHMDセット110において実行される処理の一部を表すシーケンスチャートである。
[Control structure of HMD system]
The control structure of the HMD set 110 will be described with reference to FIG. FIG. 11 is a sequence chart showing a part of the processing performed in the HMD set 110 according to an embodiment.
図11に示されるように、ステップS1110において、コンピュータ200のプロセッサ210は、コントロールモジュール510として、仮想空間データを特定し、仮想空間11を定義する。
As shown in FIG. 11, in step S1110, the
ステップS1120において、プロセッサ210は、仮想カメラ14を初期化する。たとえば、プロセッサ210は、メモリのワーク領域において、仮想カメラ14を仮想空間11において予め規定された中心12に配置し、仮想カメラ14の視線をユーザ5が向いている方向に向ける。
In step S1120, the
ステップS1130において、プロセッサ210は、レンダリングモジュール520として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1130, the
ステップS1132において、HMD120のモニタ130は、コンピュータ200から受信した視界画像データに基づいて、視界画像を表示する。HMD120を装着したユーザ5は、視界画像を視認すると仮想空間11を認識し得る。
In step S1132, the
ステップS1134において、HMDセンサ410は、HMD120から発信される複数の赤外線光に基づいて、HMD120の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ200に出力される。
In step S1134, the
ステップS1140において、プロセッサ210は、HMD120の動き検知データに含まれる位置と傾きとに基づいて、HMD120を装着したユーザ5の視界方向を特定する。
In step S1140, the
ステップS1150において、プロセッサ210は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間11にオブジェクトを配置する。
In step S1150, the
ステップS1160において、コントローラ300は、モーションセンサ420から出力される信号に基づいて、ユーザ5の操作を検出し、その検出された操作を表す検出データをコンピュータ200に出力する。別の局面において、ユーザ5によるコントローラ300の操作は、ユーザ5の周囲に配置されたカメラからの画像に基づいて検出されてもよい。
In step S1160, the
ステップS1170において、プロセッサ210は、コントローラ300から取得した検出データに基づいて、ユーザ5によるコントローラ300の操作を検出する。
In step S1170, the
ステップS1180において、プロセッサ210は、ユーザ5によるコントローラ300の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール540によってHMD120に出力される。
In step S1180, the
ステップS1190において、HMD120は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ130に表示する。
In step S1190, the
[アバターオブジェクト]
図12(A)、(B)を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、HMDセット110A,110Bの各ユーザ5のアバターオブジェクトを説明する図である。以下、HMDセット110Aのユーザをユーザ5A、HMDセット110Bのユーザをユーザ5B、HMDセット110Cのユーザをユーザ5C、HMDセット110Dのユーザをユーザ5Dと表す。HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付される。例えば、HMD120Aは、HMDセット110Aに含まれる。
[Avatar Object]
An avatar object according to the present embodiment will be described with reference to FIGS. 12A and 12B. Hereinafter, it is a figure explaining the avatar object of each
図12(A)は、ネットワーク2において、各HMD120がユーザ5に仮想空間11を提供する状況を表す模式図である。コンピュータ200A〜200Dは、HMD120A〜120Dを介して、ユーザ5A〜5Dに、仮想空間11A〜11Dをそれぞれ提供する。図12(A)に示される例において、仮想空間11Aおよび仮想空間11Bは同じデータによって構成されている。換言すれば、コンピュータ200Aとコンピュータ200Bとは同じ仮想空間を共有していることになる。仮想空間11Aおよび仮想空間11Bには、ユーザ5Aのアバターオブジェクト6Aと、ユーザ5Bのアバターオブジェクト6Bとが存在する。仮想空間11Aにおけるアバターオブジェクト6Aおよび仮想空間11Bにおけるアバターオブジェクト6BがそれぞれHMD120を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはHMD120を装着していない。
FIG. 12A is a schematic diagram showing a situation in which each
ある局面において、プロセッサ210Aは、ユーザ5Aの視界画像17Aを撮影する仮想カメラ14Aを、アバターオブジェクト6Aの目の位置に配置し得る。
In one aspect, the processor 210A may place a virtual camera 14A that captures the field of
図12(B)は、図12(A)におけるユーザ5Aの視界画像17Aを示す図である。視界画像17Aは、HMD120Aのモニタ130Aに表示される画像である。この視界画像17Aは、仮想カメラ14Aにより生成された画像である。視界画像17Aには、ユーザ5Bのアバターオブジェクト6Bが表示されている。特に図示はしていないが、ユーザ5Bの視界画像にも同様に、ユーザ5Aのアバターオブジェクト6Aが表示されている。
FIG. 12B is a diagram showing a field of
図12(B)の状態において、ユーザ5Aは仮想空間11Aを介してユーザ5Bと対話による通信(コミュニケーション)を図ることができる。より具体的には、マイク170Aにより取得されたユーザ5Aの音声は、サーバ600を介してユーザ5BのHMD120Bに送信され、HMD120Bに設けられたスピーカ180Bから出力される。ユーザ5Bの音声は、サーバ600を介してユーザ5AのHMD120Aに送信され、HMD120Aに設けられたスピーカ180Aから出力される。
In the state of FIG. 12B, the user 5A can communicate with the user 5B through the
ユーザ5Bの動作(HMD120Bの動作およびコントローラ300Bの動作)は、プロセッサ210Aにより仮想空間11Aに配置されるアバターオブジェクト6Bに反映される。これにより、ユーザ5Aは、ユーザ5Bの動作を、アバターオブジェクト6Bを通じて認識できる。
The operation of the user 5B (the operation of the
図13は、本実施の形態に従うHMDシステム100において実行される処理の一部を表すシーケンスチャートである。図13においては、HMDセット110Dを図示していないが、HMDセット110Dについても、HMDセット110A、110B、110Cと同様に動作する。以下の説明でも、HMDセット110Aに関する各構成要素の参照符号にAが付され、HMDセット110Bに関する各構成要素の参照符号にBが付され、HMDセット110Cに関する各構成要素の参照符号にCが付され、HMDセット110Dに関する各構成要素の参照符号にDが付されるものとする。
FIG. 13 is a sequence chart showing a part of the processing executed in the
ステップS1310Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおけるアバターオブジェクト6Aの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、HMD120Aの位置および傾きの時間的変化を示す情報や、モーションセンサ420A等により検出されたユーザ5Aの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ5Aの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ5Aの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、HMD120Aのマイク170Aによって取得されたユーザ5Aの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト6A、あるいはアバターオブジェクト6Aに関連付けられるユーザ5Aを特定する情報や、アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報等が含まれてもよい。アバターオブジェクト6Aやユーザ5Aを特定する情報としては、ユーザIDが挙げられる。アバターオブジェクト6Aが存在する仮想空間11Aを特定する情報としては、ルームIDが挙げられる。プロセッサ210Aは、上述のように取得されたアバター情報を、ネットワーク2を介してサーバ600に送信する。
In step S1310A, the processor 210A in the HMD set 110A acquires the avatar information for determining the operation of the
ステップS1310Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1310Aにおける処理と同様に、仮想空間11Bにおけるアバターオブジェクト6Bの動作を決定するためのアバター情報を取得し、サーバ600に送信する。同様に、ステップS1310Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるアバターオブジェクト6Cの動作を決定するためのアバター情報を取得し、サーバ600に送信する。
In step S1310B, the processor 210B in the HMD set 110B acquires the avatar information for determining the operation of the
ステップS1320において、サーバ600は、HMDセット110A、HMDセット110B、およびHMDセット110Cのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ600は、各アバター情報に含まれるユーザIDおよびルームID等に基づいて、共通の仮想空間11に関連付けられた全ユーザ(この例では、ユーザ5A〜5C)のアバター情報を統合する。そして、サーバ600は、予め定められたタイミングで、統合したアバター情報を当該仮想空間11に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、HMDセット110A、HMD セット110B、およびHMDセット110Cは、互いのアバター情報をほぼ同じタイミングで共有することができる。
In step S1320, the
続いて、サーバ600から各HMDセット110A〜110Cに送信されたアバター情報に基づいて、各HMDセット110A〜110Cは、ステップS1330A〜S1330Cの処理を実行する。ステップS1330Aの処理は、図11におけるステップS1180の処理に相当する。
Subsequently, each HMD set 110A to 110C executes the process of steps S1330A to S1330C based on the avatar information transmitted from the
ステップS1330Aにおいて、HMDセット110Aにおけるプロセッサ210Aは、仮想空間11Aにおける他のユーザ5B,5Cのアバターオブジェクト6B、アバターオブジェクト6Cの情報を更新する。具体的には、プロセッサ210Aは、HMDセット110Bから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Bの位置および向き等を更新する。例えば、プロセッサ210Aは、メモリモジュール530に格納されたオブジェクト情報に含まれるアバターオブジェクト6Bの情報(位置および向き等)を更新する。同様に、プロセッサ210Aは、HMDセット110Cから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間11におけるアバターオブジェクト6Cの情報(位置および向き等)を更新する。
In step S1330A, the processor 210A in the HMD set 110A updates the information of the
ステップS1330Bにおいて、HMDセット110Bにおけるプロセッサ210Bは、ステップS1330Aにおける処理と同様に、仮想空間11Bにおけるユーザ5A,5Cのアバターオブジェクト6A,6Cの情報を更新する。同様に、ステップS1330Cにおいて、HMDセット110Cにおけるプロセッサ210Cは、仮想空間11Cにおけるユーザ5A,5Bのアバターオブジェクト6A,6Bの情報を更新する。
In step S1330B, the processor 210B in the HMD set 110B updates the information of the avatar objects 6A, 6C of the users 5A, 5C in the
[コンピュータ200のモジュールの詳細構成]
図14を参照して、コンピュータ200のモジュール構成の詳細について説明する。図14は、ある実施の形態に従うコンピュータ200のモジュールの詳細構成を表すブロック図である。図14に示されるように、コントロールモジュール510は、視界制御モジュール1421および動き検出モジュール1422を備えている。
[Detailed configuration of
The details of the module configuration of the
視界制御モジュール1421は、仮想空間11におけるユーザ5の視界領域15を制御する。動き検出モジュール1422は、ユーザ5の動きを検出する。動き検出モジュール1422は、例えば、コントローラ300の出力に応じて、ユーザ5の手の動きを検出する。動き検出モジュール1422は、例えば、ユーザ5の身体に装着されるモーションセンサの出力に応じて、ユーザ5の身体の動きを検出する。動き検出モジュール1422は、ユーザ5の顔器官の動作を検出することもできる。
The field of
[映像配信システムの構成]
図15は、ある実施の形態に従う映像配信システム1500の構成の概略を示す図である。映像配信システム1500は、被写体を撮影した映像をユーザ5(視聴者)のコンピュータ200に配信する。これにより、視聴者は該映像を視聴することができる。なお、ここでの「配信」とは、例えば、映像配信システム1500が、コンピュータ200に対するユーザ5の入力に基づく第1指示を受信して、映像をコンピュータ200へ送信することを指す。映像配信システム1500は、撮影された被写体の映像をリアルタイムにコンピュータ200に配信する。ある局面において、映像配信システム1500は、全天球映像を配信する。全天球映像とは、各フレームが全天球画像である映像である。
[Video distribution system configuration]
FIG. 15 is a diagram showing an outline of the configuration of the
なお、本実施形態に係る被写体は人間である。このため、本実施形態に係る被写体は、「映像の配信者」、または、「演者」と表現することもできる。 The subject according to this embodiment is a human being. Therefore, the subject according to the present embodiment can also be expressed as a "video distributor" or a "performer".
映像配信システム1500は、一例として、図15に示すように、コンピュータ200と、サーバ600と、全天球カメラ1531と、全天球映像生成装置1534と、表示装置1535とを含む。なお、映像配信システム1500は、複数の全天球カメラ1531を含む構成であってもよい。
As an example, the
[全天球カメラ1531]
全天球カメラ1531は、複数の撮像部を備え、被写体1551を撮影する。一例として、全天球カメラ1531は、2つの撮像部を備える。具体的には、全天球カメラ1531は、第1撮像部1532および第2撮像部1533を備える。全天球カメラ1531は、一例として、業務用の全天球カメラである。
[Spherical camera 1531]
The
第1撮像部1532および第2撮像部1533は、動画像を撮像するように構成されており、CCD(Charge-Coupled Device)やCMOS(complementary metal-oxide semiconductor)などの撮像素子、および、レンズによって構成されている。以降、第1撮像部1532および第2撮像部1533が撮像する動画像を「撮影映像」と称する場合がある。
The first
図16は、ある実施の形態に従う全天球カメラ1531の視野を説明するための図である。第1撮像部1532および第2撮像部1533は、一例として、互いに反対方向を撮像するように全天球カメラ1531に配置されている。第1撮像部1532は、一例として、図16に示す視野1661Aを有する。また、第2撮像部1533は、一例として、図16に示す視野1661Bを有する。視野1661Aおよび視野1661Bは、それぞれ、第1撮像部1532および第2撮像部1533の撮像領域と表現することもできる。
FIG. 16 is a diagram for explaining the field of view of the
図16は、全天球カメラ1531の上面図であるため、視野1661Aおよび視野1661Bを、一部が欠けた円形(扇形)で示している。しかしながら、第1撮像部1532および第2撮像部1533は、垂直方向(紙面に垂直な方向)にも視野を有している。つまり、視野1661Aおよび視野1661Bは、実際は、一部が欠けた球形である。よって、全天球カメラ1531の視野は、互いに反対方向であり、かつ、一部が欠けた球形の2つの視野である。これにより、全天球カメラ1531は、全天球カメラ1531の全周囲(360度)の領域を撮影することができる。
Since FIG. 16 is a top view of the
図17は、ある実施の形態に従う全天球カメラ1531のハードウェア構成の一例を表すブロック図である。図17に示すように、全天球カメラ1531は、主たる構成要素として、プロセッサ1771と、メモリ1772と、ストレージ1773と、第1撮像部1532と、第2撮像部1533と、入出力インターフェイス1774と、通信インターフェイス1775とを備える。各構成要素は、それぞれ、バス1776に接続される。
FIG. 17 is a block diagram showing an example of the hardware configuration of the
プロセッサ1771は、全天球カメラ1531に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ1772またはストレージ1773に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ1771は、CPU、GPU、MPU、FPGAその他のデバイスとして実現される。
The
メモリ1772は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ1773からロードされる。データは、全天球カメラ1531に入力されたデータと、プロセッサ1771によって生成されたデータとを含む。ある局面において、メモリ1772は、RAMその他の揮発メモリとして実現される。
ストレージ1773は、プログラムおよびデータを永続的に保持する。ストレージ1773は、例えば、ROM、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ1773に格納されるプログラムは、撮影映像の撮像を実現するためのプログラム、その他の装置との通信を実現するためのプログラムなどを含んでもよい。ストレージ1773に格納されるデータは、撮影映像(撮影映像データ)を含んでもよい。
別の局面において、ストレージ1773は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、全天球カメラ1531に内蔵されたストレージ1773の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。
In another aspect, the
第1撮像部1532および第2撮像部1533は、上述したように、撮影映像を撮像する。
As described above, the
入出力インターフェイス1774は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス1774は、USB、DVI、HDMI(登録商標)その他の端子を用いて実現される。入出力インターフェイス1774は上述のものに限られない。
The input /
通信インターフェイス1775は、ネットワーク2に接続されて、ネットワーク2に接続されている装置と通信する。ある局面において、通信インターフェイス1775は、例えば、LANその他の有線通信インターフェイス、あるいは、WiFi,Bluetooth、NFCその他の無線通信インターフェイスとして実現される。通信インターフェイス1775は上述のものに限られない。
The
なお、プロセッサ1771は、通信インターフェイス1775を用いて、撮影映像をリアルタイムに全天球映像生成装置1534へ送信する。
The
[全天球映像生成装置1534]
全天球映像生成装置1534は、全天球カメラ1531から取得した撮影映像を用いて、全天球映像を生成する。ある局面において、全天球映像生成装置1534は、ネットワーク2を介して全天球カメラ1531から撮影映像を取得する。
[Spherical image generator 1534]
The omnidirectional
全天球映像生成装置1534は、全天球カメラ1531の第1撮像部1532が撮像した撮影映像と、第2撮像部1533が撮像した撮影映像とを取得する。図16に示すように、第1撮像部1532の視野1661Aと、第2撮像部1533の視野1661Bとは、一部が互いに重複している。このため、全天球カメラ1531の第1撮像部1532が撮像した撮影映像と、第2撮像部1533が撮像した撮影映像とは、一部が互いに重複している。全天球映像生成装置1534は、これら2つの撮影映像に含まれる、対応する2つのフレームを歪ませて、当該歪んだ2つのフレームをスティッチング処理する。「対応する2つのフレーム」とは、撮影時刻が一致する2つのフレームである。全天球映像生成装置1534は、対応する2つのフレーム全てに対し、スティッチング処理を行うことにより、全天球映像を生成する。全天球映像生成装置1534は、生成した全天球映像を、ネットワーク2を介して、サーバ600へ送信する。
The
全天球カメラ1531が、全天球映像を生成し、サーバ600へ送信する機能を備えていてもよい。この例の場合、映像配信システム1500は、全天球映像生成装置1534を含まなくてもよい。
The
[表示装置1535]
表示装置1535は、少なくとも、演者へ宛てた第1メッセージを表示する。表示装置1535の詳細については後述する。
[Display device 1535]
The
[サーバ600]
サーバ600は、受信した全天球映像をコンピュータ200へ配信する。ある局面において、サーバ600は、コンピュータ200に対するユーザ5の入力に基づく第1指示を受信した場合、全天球映像をコンピュータ200へ送信する。つまり、第1指示は全天球映像の送信指示である。
[Server 600]
The
[演者の撮影]
図18は、映像配信システム1500を用いた被写体1551の撮影の一例を示す図である。ここでは、撮影空間1800において、全天球カメラ1531を用いて、被写体1551の一例である演者1852を撮影する例を説明する。図示の例では、演者1852は女性であるが、演者は男性であってもよい。
[Shooting the performer]
FIG. 18 is a diagram showing an example of shooting a subject 1551 using the
全天球カメラ1531は、自装置に対して第1方向にいる演者1852を撮影する。図18の例では、第1方向は、第1撮像部1532の正面の方向である。なお、図18では、第1撮像部1532は、表示装置1535によって隠れているため、図示していない。
The
表示装置1535は、演者1852に宛てた第1メッセージを第1方向に表示する。つまり、表示装置1535の表示領域1836は、図18に示すように演者1852側にある。これにより、演者1852は第1メッセージを視認することができる。
The
全天球カメラ1531と表示装置1535とは、一例として、上下方向に配置されている。本実施形態では、表示装置1535は、図18に示すように、全天球カメラ1531の上に配置されている。なお、全天球カメラ1531と表示装置1535との配置関係は、上下方向に限定されない。
The
表示領域1836は、一例として、図18に示すように矩形である。つまり、表示領域1836は、上下方向に互いに対向する2つの辺を有している。具体的には、表示領域1836は、第1端部1837と、上下方向において第1端部1837と対向する第2端部1838とを有している。全天球カメラ1531と表示装置1535とが、上下方向に配置されているため、第1端部1837および第2端部1838は、全天球カメラ1531に対して上下方向に配置される。図18の例では、第1端部1837および第2端部1838は、全天球カメラ1531の上にある。また、第1端部1837は、第2端部1838よりも全天球カメラ1531に近い側の端部である。
As an example, the
[サーバ600のモジュールの詳細構成]
図19を参照して、サーバ600のモジュール構成の詳細について説明する。図19は、ある実施の形態に従うサーバ600のモジュールの詳細構成を表すブロック図である。図19に示されるように、サーバ600は、コントロールモジュール1910と、メモリモジュール1930と、通信制御モジュール1940とを備える。ある局面において、コントロールモジュール1910は、プロセッサ610によって実現される。メモリモジュール1930は、メモリ620またはストレージ630によって実現される。通信制御モジュール1940は、通信インターフェイス650によって実現される。
[Detailed configuration of
The details of the module configuration of the
コントロールモジュール1910は、全天球映像制御モジュール1923と表示装置制御モジュール1924とを備えている。
The
全天球映像制御モジュール1923は、コンピュータ200から第1指示を受信すると、コンピュータ200に全天球映像を送信する。全天球映像制御モジュール1923は、一例として、ライブ方式で全天球映像のストリーミング(ライブストリーミング)を行う。ライブストリーミングとは、データをダウンロードしつつ同時に再生する方式であるストリーミングの一種で、映像や音声をリアルタイムで配信し、リアルタイムでデータの変換(エンコード)を行い、そのままストリーミング再生することである。つまり、全天球映像制御モジュール1923は、全天球映像生成装置1534から受信した全天球映像のストリーミングをリアルタイムに行う。換言すれば、該全天球映像は、ライブストリーミング映像であると表現することもできる。
When the spherical
以上より、映像配信システム1500では、(1)全天球カメラ1531から全天球映像生成装置1534への撮影映像の送信、(2)全天球映像生成装置1534による全天球映像の生成、および、該全天球映像のサーバ600への送信、(3)サーバ600から、第1指示を送信したコンピュータ200への全天球映像の送信がリアルタイムに行われる。これにより、ユーザ5は、現在撮影されている演者1852の映像を視聴することができる。
From the above, in the
表示装置制御モジュール1924は、表示装置1535を制御する。具体的には、表示装置制御モジュール1924は、表示領域1836の一部の領域を、第1メッセージを表示する第1領域として設定する。また、表示装置制御モジュール1924は、第1領域と異なる、表示領域1836の一部の領域を、全天球映像生成装置1534が生成した全天球映像に基づく第1映像をリアルタイムに表示する第2領域として設定する。
The display
また、表示装置制御モジュール1924は、表示装置1535を制御し、第1領域に第1メッセージを表示させ、第2領域に第1映像を表示させる。
Further, the display
通信制御モジュール1940は、ネットワーク2を介して、コンピュータ200その他の情報通信装置と通信し得る。
The
[処理フロー]
図20は、ある実施の形態に従うサーバ600、HMDセット110、および表示装置1535において実行される処理の一部を示すシーケンス図である。本実施形態では、視聴者側の一連の処理が、HMDセット110Aにより実行されるものとして説明する。ただし、当該処理は、他のHMDセット110B、110Cにより実行されてもよいし、当該処理の一部または全部がサーバ600によって実行されてもよい。
[Processing flow]
FIG. 20 is a sequence diagram showing a part of processing executed in the
ステップS2001において、コンピュータ200Aのプロセッサ210Aは、仮想空間11Aを定義する。当該処理は、図11のステップS1110の処理に相当する。具体的には、プロセッサ210Aは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間11Aを定義する。
In step S2001, processor 210A of
ステップS2011において、サーバ600のプロセッサ610は、表示装置制御モジュール1924として、表示装置1535の表示領域1836について、第1メッセージを表示する第1領域と、第1映像を表示する第2領域とを設定する。なお、本実施形態では、第1メッセージは、ユーザ5Aが全天球映像を視聴しながら入力した、演者1852へ宛てたコメントであるものとして説明する。
In step S2011, the
図21は、ある実施の形態に従う表示装置1535に表示される画像を示す図である。プロセッサ610は、図21に示すように、表示領域1836のうち、第2端部1838側よりも第1端部1837側に近い領域2172を第1領域として設定する。なお、以降、領域2172を第1領域2172と記載する場合がある。第1領域2172は、図21に示すように、第1端部1837に接触する領域であってもよい。
FIG. 21 is a diagram showing an image displayed on a
また、プロセッサ610は、表示領域1836のうち、第1領域2172に比べて第1端部1837側から遠い領域2173を第2領域として設定する。なお、以降、領域2173を第2領域2173と記載する場合がある。第2領域2173は、表示領域1836のうち、第1領域2172に比べて第1端部1837から遠い領域の少なくとも一部であればよい。第2領域2173は、一例として、図21に示すように、表示領域1836のうち、第1領域2172に比べて第1端部1837側から遠い領域のすべてであってもよい。これにより、表示装置1535は、第1映像をより大きく表示することができ、演者1852にとって、第1映像がより視認しやすくなる。
Further, the
一例として、プロセッサ610は、予め設定された全天球カメラ1531と表示装置1535との位置関係に基づいて、第1領域2172および第2領域2173を設定する。具体的には、図21の例の場合、表示装置1535が、全天球カメラ1531の上に配置されることを示す情報が、予めストレージ630に記憶されている。プロセッサ610は、該情報に基づいて、第1領域2172および第2領域2173を図21に示すように設定する。ストレージ630は、さらに、第1領域2172および第2領域2173のサイズ(面積)を示す情報を記憶しており、プロセッサ610は、第1領域2172および第2領域2173の設定の際、該情報を用いてもよい。
As an example, the
ステップS2012において、プロセッサ610は、全天球映像生成装置1534から全天球映像を受信する。ステップS2012の処理は、全天球カメラ1531による被写体の撮影が終了するまで継続して実行される。
In step S2012, the
ステップS2002において、HMDセット110Aは、コンテンツの再生操作を受け付ける。該操作は、コントローラ300が受け付けてもよいし、コントローラ300以外の入力装置がHMDセット110Aに含まれる場合、該入力装置が受け付けてもよい。ステップS2003において、プロセッサ210Aは、再生操作が入力されたことに基づき、再生指示をサーバ600へ送信する。
In step S2002, the HMD set 110A accepts the content reproduction operation. The operation may be accepted by the
ステップS2013において、プロセッサ610は、全天球映像制御モジュール1923として、受信した全天球映像をコンピュータ200Aへ送信する。具体的には、プロセッサ610は、再生指示の受信以降に全天球映像生成装置1534から受信した全天球映像をコンピュータ200Aへ送信する。つまり、撮影開始時点より後に再生指示を受信した場合、プロセッサ610は、全天球映像の途中からコンピュータ200Aへ送信することとなる。プロセッサ610は、撮影開始時点より前、換言すれば、全天球映像生成装置1534から全天球映像を受信する前に、再生指示を受信してもよい。この場合、プロセッサ610は、全天球映像生成装置1534から全天球映像を受信するまで待機する。この場合、プロセッサ610は、全天球映像の冒頭からコンピュータ200Aへ送信することができる。
In step S2013, the
ステップS2004において、プロセッサ210Aは、仮想空間11Aに、受信した全天球映像を展開する。具体的には、プロセッサ210Aは、全天球映像を構成する各部分画像を、仮想空間11Aにおいて対応する各メッシュにそれぞれ対応付ける。ステップS2005において、プロセッサ210Aは、全天球映像の再生を開始する。
In step S2004, the processor 210A deploys the received spherical image in the
ステップS2014において、プロセッサ610は、表示装置制御モジュール1924として、全天球映像から第1映像を生成し、表示装置1535へ送信する。プロセッサ610は、一例として、全天球映像のうち、演者1852が中心に配置される一部領域を第1映像とする。該第1映像のサイズは、例えば、第2領域2173のサイズに基づいて決定される。つまり、プロセッサ610は、第2領域2173のサイズに基づき、演者1852が中心に配置される一部領域を特定する。そして、該一部領域を第1映像として、表示装置1535へ送信する。
In step S2014, the
ステップS2021において、表示装置1535は、設定された第2領域2173に、第1映像を表示する。これにより、演者1852は、撮影を行いながら、撮影された映像を視認することができる。
In step S2021, the
ステップS2006において、プロセッサ210Aは、視界制御モジュール1421および動き検出モジュール1422として、HMD120Aの動きに応じて、仮想空間11Aにおけるユーザの視界を決定する。一例として、プロセッサ210Aは仮想視点を設定する。該仮想視点は、仮想空間11Aの中心12Aに設定されてもよい。プロセッサ210Aは、現実空間におけるHMD120Aの動きに連動して、仮想視点を仮想空間11A内で移動させてもよい。
In step S2006, the processor 210A, as the field of
プロセッサ210Aは、HMD120Aの位置と傾きとに基づいて、仮想空間11Aにおける視界領域15Aを規定する。視界領域15Aは、仮想空間11Aのうち、HMD120Aを装着したユーザ5Aが視認する領域に対応する。つまり、仮想視点の位置は、仮想空間11Aにおけるユーザ5Aの視点と言える。
Processor 210A defines the field of view 15A in the
ステップ2007において、プロセッサ210Aは、視界画像17Aをモニタ130Aに表示する。具体的には、プロセッサ210Aは、HMD120Aの動きと、仮想空間11Aを定義する仮想空間データと、全天球映像とに基づいて、視界領域15Aに対応する視界画像17Aを定義する。視界画像17Aを定義することは、視界画像17Aを生成することと同義である。プロセッサ210Aは、さらに、HMD120Aのモニタ130A に視界画像17Aを出力することによって、視界画像17AをHMD120Aに表示させる。ユーザ5Aは、視界画像17Aを視認することにより、演者1852を視認することができる。
In
ステップS2008において、HMDセット110Aは、演者1852宛のコメントを入力するためのコメント入力操作を受け付ける。換言すれば、ユーザ5Aは、全天球映像を視聴しながら、演者1852へ宛てたコメントを入力する。該コメント入力操作は、コントローラ300が受け付けてもよいし、コントローラ300以外の入力装置がHMDセット110Aに含まれる場合、該入力装置が受け付けてもよい。ステップS2009において、プロセッサ210Aは、コメント入力操作に基づいて生成されたコメントを、サーバ600へ送信する。ステップS2009は、プロセッサ610が、コメントを受信するステップであると表現することもできる。
In step S2008, the HMD set 110A accepts a comment input operation for inputting a comment addressed to the
ステップS2015において、プロセッサ610は、受信したコメントをコンピュータ200Aおよび表示装置1535へ送信する。また、図示してはいないが、プロセッサ610は、受信したコメントを、コンピュータ200A以外のコンピュータ200、例えば、コンピュータ200B、200Cなどにも送信する。つまり、プロセッサ610は、ステップS2015において、あるユーザ5が入力したコメントを、演者および全てのユーザ5へ送信する、コメントの同期処理を行う。
In step S2015, the
ステップS2010において、プロセッサ210Aは、受信したコメントをモニタ130Aに表示する。これにより、ユーザ5Aは、自身が入力したコメントを視認することができる。なお、ステップS2010の処理は、コンピュータ200A以外のコンピュータ200でも実行される。これにより、ユーザ5A以外のユーザ5は、ユーザ5Aが入力したコメントを視認することができる。
In step S2010, the processor 210A displays the received comment on the monitor 130A. As a result, the user 5A can visually recognize the comment entered by the user 5A. The process of step S2010 is also executed by the
ステップS2022において、表示装置1535は、設定された第1領域2172に、コメントを表示する。例えば、図21に示すように、第1領域2172にコメント2181(第2コメント)を表示する。これにより、演者1852は、ユーザ5が入力したコメントを視認することができ、該コメントに対する各種対応を取ることができる。例えば、演者1852は、コメントを入力してくれたことに対してお礼を述べたりすることができる。プロセッサ610の同期処理に基づいて、表示装置1535が第1領域2172にコメントを表示するので、ステップS2015は、プロセッサ610が、第1領域にコメントを表示するステップであると表現することもできる。
In step S2022, the
コメント2182(第1コメント)は、コメント2181より早いタイミングで入力されたコメントである。コメント2181を表示する前において、コメント2182は、図21に示すコメント2181が表示されている位置に表示されている。プロセッサ610は、コメント2182が第1領域2172の該位置に表示されている状態で、コメント2181を受信した場合、表示装置1535を制御して、コメント2182を第1領域2172内で第1端部側に移動させる。そして、プロセッサ610は、表示装置1535を制御して、コメント2181を、移動前のコメント2182が表示されていた位置に表示させる。換言すれば、第1領域2172はいわゆるタイムラインである。このように構成することにより、演者1852の視線を自然にカメラ目線とすることができる。
The comment 2182 (first comment) is a comment input at an earlier timing than the
コメント2181およびコメント2182を入力したユーザ5は、同じであってもよいし、図21に示すように異なっていてもよい。例えば、コメント2181を入力したユーザ5がユーザ5Aであり、コメント2182を入力したユーザ5がユーザ5Bであってもよい。
The
つまり、サーバ600は、全天球映像を、ユーザ5Aと異なるユーザ5(例えばユーザ
5B)に配信する。また、表示装置1535は、ユーザ5Bから演者1852へ宛てたコメント2182(第2メッセージ)を表示する。第1領域2172は、ユーザ5Aからのコメント2181と、ユーザ5Aと異なるユーザ5(ユーザ5B)からのコメント2182とを表示する領域である。換言すれば、サーバ600は、ユーザ5Aと異なるユーザ5(ユーザ5B)からのコメント2182を受信した場合、該コメント2182を第1領域2172に表示する。
That is, the
以上のように、コメントは、全天球カメラ1531により近い第1領域2172に表示されるので、演者1852は、カメラ目線を維持したまま、コメントを視認することができる。これにより、演者1852が、常にユーザ5Aの方向を向いているかのような全天球映像を、ユーザ5Aに視聴させることができる。結果として、配信された映像に対するユーザ5Aの没入感をより高めることができる。
As described above, since the comment is displayed in the
また、第1領域2172を、図21に示すように第1端部1837に接触する領域とすることで、演者1852がコメントを視聴する場合における、全天球カメラ1531からの目線のずれを最小化することができる。
Further, by setting the
[変形例]
第1メッセージはユーザ5から演者1852に宛てたメッセージ(例えば、コメント)に限定されない。例えば、第1メッセージは、全天球映像の撮影に関わるスタッフが、コンピュータ(不図示)を用いて入力した、演者1852へ宛てた指示であってもよい。
[Modification example]
The first message is not limited to the message (for example, comment) from the
また、第1領域2172は、第1メッセージおよび第2メッセージを表示する領域に限定されない。例えば、第1領域2172は、第1メッセージおよび第2メッセージに代えて(あるいは、第1メッセージおよび第2メッセージに加え)、演出を表示する領域であってもよい。該演出は、ユーザ5の入力操作に基づくものであってもよい。該演出は、例えば、ユーザ5の入力操作に基づいて、ユーザ5から演者1852へオブジェクト(ギフト)が贈呈されたことを示すアニメーションであってもよい。
Further, the
演者1852を撮影するカメラは、映像を撮影する機能と、撮影した映像を、ネットワーク2を介して、リアルタイムに送信する機能を備えていればよく、全天球カメラ1531に限定されない。図22は、ある実施の形態に従う表示装置に表示される画像を示す図である。一例として、演者1852を撮影するカメラは、図22(A)に示すように、スマートフォン2235に備え付けられたカメラ2231であってもよい。図22(A)の例の場合、スマートフォン2235が表示装置に相当し、表示部2236が表示装置の表示領域に相当する。つまり、図22(A)の例の場合、表示部2236のうち、第2端部2238側よりも第1端部2237側に近い領域2272が、第1領域(以下、第1領域2272)として設定され、コメント2281〜2283が表示される。換言すれば、図22(A)の例の場合、表示部2236内の上側部分が第1領域として設定される。また、図22(A)の例の場合、第1領域2272に比べて第1端部2237側から遠い領域2273が第2領域(以下、第2領域2273)として設定され、第1映像が表示される。なお、図22(A)の例の場合、カメラ2231は、カメラ2231の全周囲の領域を撮影することができないため、コンピュータ200へ配信される映像は、全天球映像ではない普通の映像となる。
The camera that shoots the
また、一例として、演者1852を撮影するカメラは、図22(B)に示すように、スマートフォン2235に接続された全天球カメラ2239であってもよい。全天球カメラ2239は、例えば、スマートフォン2235の下部に設けられたイヤホンジャックに差し込むことで使用可能となる。このため、図22(B)の例では、スマートフォン2235は、図22(A)の例とは上下が反転した状態で、表示装置として使用される。つまり、図22(B)の例の場合、第1端部2237および第2端部2238が、図22(A)の例と逆になる。具体的には、図22(A)の例では、スマートフォン2235に備え付けられたカメラ2231に近い側の辺が第1端部2237であったが、図22(B)の例では、カメラ2231に遠い側の辺が第1端部2237となる。よって、図22(B)に示すように、第1領域2272は、全天球カメラ2239からより近い側の領域、換言すれば、カメラ2231からより遠い側の領域となる。また、第2領域2273は、第1領域2272に比べて、全天球カメラ2239からより遠い側の領域、換言すれば、第1領域2272に比べて、カメラ2231からより近い側の領域となる。
Further, as an example, the camera for photographing the
図22(B)に示すように、演者1852を撮影可能なカメラ(カメラ2231、全天球カメラ2239)が複数ある場合、プロセッサ610は、演者1852の撮影に用いるカメラを特定し、特定結果に基づいて第1領域2272および第2領域2273を設定してもよい。
As shown in FIG. 22 (B), when there are a plurality of cameras (
図22(B)の例では、2つのカメラと表示部2236とは、2つのカメラが表示部2236を挟んで上下方向に配置されている。プロセッサ610は、例えば、2つのカメラのうち全天球カメラ2239を、被写体の撮影に用いるカメラであると特定する。一例として、プロセッサ610は、全天球カメラ2239が接続されたことを示す情報をスマートフォン2235から受信した場合、全天球カメラ2239を被写体の撮影に用いるカメラであると特定してもよい。
In the example of FIG. 22B, the two cameras and the
そして、プロセッサ610は、特定したカメラ、すなわち全天球カメラ2239と、表示部2236との位置関係に基づいて、第1端部2237および第2端部2238を特定する。具体的には、プロセッサ610は、図22(B)に示すように、カメラ2231よりも全天球カメラ2239に近い側の辺を第1端部2237と特定し、カメラ2231よりも全天球カメラ2239から遠い側の辺を第2端部2238と特定する。
Then, the
そして、プロセッサ610は、特定した第1端部2237および第2端部2238に基づいて、第1領域2272および第2領域2273を設定する。具体的には、プロセッサ610は、図22(B)に示すように、第2端部2238側よりも第1端部2237側に近い領域、すなわち全天球カメラ2239に近い側の領域を第1領域2272として設定し、第1領域2272に比べて第1端部2237側から遠い領域を第2領域2273として設定する。
The
なお、プロセッサ610が、カメラ2231を被写体の撮影に用いるカメラであると特定した場合、第1端部および第2端部は、図22(B)の例と逆になる。このため、第1領域2272および第2領域2273とカメラ2231との位置関係も、図22(B)の例と逆になる。換言すれば、該位置関係は、図22(A)に示す関係となる。
When the
サーバ600は、ユーザ5が配信された全天球映像を視聴するための視聴端末における、第1領域および第2領域の設定を行ってもよい。ここでは、該視聴端末が、表示部およびカメラ(撮影部)を備えているスマートフォンである例を説明する。該スマートフォンにおいて、表示部は矩形であり、表示部とカメラとは上下方向に配置されているものとする。このため、該表示部は、上下方向に互いに対向する2つの辺を有している。該2つの辺のうちの一方を第3端部と称し、他方を第4端部と称する。第3端部は、第4端部よりもカメラに近い側の端部であるものとする。
The
プロセッサ610は、表示部の表示領域のうち、第3端部側よりも第4端部側に近い領域を、第1領域として設定する。また、プロセッサ610は、表示部の表示領域のうち、第1領域に比べて第4端部側から遠い領域の少なくとも一部を、第2領域として設定する。つまり、視聴端末としてのスマートフォンが、例えば図22(A)に示すスマートフォン2235と同一である場合、第1領域および第2領域とカメラ(カメラ2231)との位置関係は、図22(A)に示す位置関係とは逆になる。換言すれば、視聴端末としてのスマートフォンでは、第1領域は、カメラから遠い側の領域となり、第2領域は、カメラから近い側の領域となる。
The
上述した例では、第1領域および第2領域の設定を、サーバ600が行うものとして説明したが、第1領域および第2領域の設定を、表示装置1535、スマートフォン2235、および視聴端末としてのスマートフォンが行ってもよい。この例の場合、表示装置1535、スマートフォン2235、および視聴端末は、自装置が行った設定に基づいて、第1領域および第2領域での表示を行う。
In the above example, the setting of the first area and the second area has been described as being performed by the
ユーザ5が視聴する映像(全天球映像)は、演者1852そのものを含む映像に限定されない。例えば、該映像は、演者1852に関連付けられた、演者1852の動きを反映するアバターオブジェクトを含む映像であってもよい。
The video (omnidirectional video) viewed by the
ユーザ5が視聴する映像が、演者1852に関連付けられたアバターオブジェクトを含む映像である場合、撮影空間は仮想空間であってもよい。この例の場合、演者1852を撮影するカメラは、例えば、仮想空間に配置された仮想カメラとなる。また、演者1852に向けて第1メッセージなどを表示する表示装置は、例えば、仮想空間に配置されたタイムラインとなる。この仮想カメラとタイムラインとが、仮想空間において上下方向に配置されることとなる。例えば、タイムラインが、仮想カメラの上に配置される。第1領域は、この仮想カメラとタイムラインとの配置関係に基づいて設定される。なお、この例において、タイムラインにおける第2領域の設定は必須ではない。
When the video viewed by the
以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。 Although the embodiments of the present disclosure have been described above, the technical scope of the present invention should not be construed as being limited by the description of the present embodiments. This embodiment is an example, and it is understood by those skilled in the art that various embodiments can be changed within the scope of the invention described in the claims. The technical scope of the present invention should be determined based on the scope of the invention described in the claims and the equivalent scope thereof.
〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。
[Additional notes]
The contents relating to one aspect of the present invention are listed below.
(項目1) プログラムを説明した。本開示のある局面によると、プログラムは、被写体(演者1852)を撮影する撮影装置(全天球カメラ1531)と、撮影装置により撮影された被写体の映像を第1視聴者(ユーザ5A)に配信する第1コンピュータ(サーバ600)と、第1視聴者から被写体へ宛てた第1メッセージを表示する表示装置(1535)と、を含むシステム(映像配信システム1500)において、第1コンピュータによって実行される。撮影装置と表示装置とは、上下方向に配置されている。表示装置の表示領域(1536)は、第1端部(1537)と、上下方向において第1端部と対向する第2端部(1538)と、を有する。第1端部は、第2端部よりも撮影装置に近い側の端部である。プログラムは、第1コンピュータに備えられたプロセッサ(610)に、表示領域のうち、第2端部側よりも第1端部側に近い領域を、第1メッセージを表示する第1領域(2172)として設定するステップ(S2011)と、第1メッセージを第1領域に表示するステップ(S2015)と、を実行させる。 (Item 1) The program was explained. According to a certain aspect of the present disclosure, the program distributes a photographing device (omnidirectional camera 1531) for photographing a subject (performer 1852) and an image of the subject photographed by the photographing device to a first viewer (user 5A). It is executed by the first computer in the system (video distribution system 1500) including the first computer (server 600) and the display device (1535) for displaying the first message addressed to the subject from the first viewer. .. The photographing device and the display device are arranged in the vertical direction. The display area (1536) of the display device has a first end portion (1537) and a second end portion (1538) facing the first end portion in the vertical direction. The first end is an end closer to the imaging device than the second end. The program displays the first message on the processor (610) provided in the first computer in the first area (2172) of the display area closer to the first end side than the second end side. (S2011) and the step of displaying the first message in the first area (S2015) are executed.
(項目2) (項目1)において、プログラムは、プロセッサに、第1メッセージを受信するステップをさらに実行させる。第1メッセージは、第1視聴者が映像を視聴しながら入力した、被写体へ宛てたコメントである。表示するステップでは、コメントである第1コメントを第1領域に表示した状態で、第1コメントと異なる第2コメントを受信した場合、第1コメントを第1領域内で第1端部側に移動させ、移動前の第1コメントが表示されていた位置に、第2コメントを表示する。 (Item 2) In (Item 1), the program causes the processor to further perform the step of receiving the first message. The first message is a comment addressed to the subject, which is input by the first viewer while watching the video. In the display step, when the first comment, which is a comment, is displayed in the first area and a second comment different from the first comment is received, the first comment is moved to the first end side in the first area. Then, the second comment is displayed at the position where the first comment before the movement was displayed.
(項目3) (項目1)または(項目2)において、第1コンピュータは、被写体の映像を第2視聴者にさらに配信する。表示装置は、第2視聴者から被写体へ宛てた第2メッセージをさらに表示する。第1領域は、第1メッセージおよび第2メッセージを表示する領域である。表示するステップでは、第2メッセージを第1領域にさらに表示する。 (Item 3) In (Item 1) or (Item 2), the first computer further distributes the image of the subject to the second viewer. The display device further displays a second message addressed to the subject from the second viewer. The first area is an area for displaying the first message and the second message. In the display step, the second message is further displayed in the first area.
(項目4) (項目1)から(項目3)のいずれかにおいて、プログラムは、プロセッサに、表示領域のうち、第1領域に比べて第1端部側から遠い領域の少なくとも一部を、映像を表示する第2領域(2173)として設定するステップ(S2011)と、撮影された映像をリアルタイムに第2領域に表示するステップ(S2014)と、をさらに実行させる。 (Item 4) In any of (Item 1) to (Item 3), the program causes the processor to display at least a part of the display area farther from the first end side than the first area. The step (S2011) of setting as the second area (2173) for displaying the image, and the step (S2014) for displaying the captured image in the second area in real time are further executed.
(項目5)(項目4)において、第2領域として設定するステップでは、表示領域のうち、第1領域に比べて第1端部側から遠い領域すべてを第2領域として設定する。 (Item 5) In the step of setting as the second area in (Item 4), all the display areas farther from the first end side than the first area are set as the second area.
(項目6)(項目1)から(項目5)において、第1領域として設定するステップでは、表示領域のうち、第1端部に接触する一部の領域を第1領域として設定する。 (Item 6) In the step of setting as the first area in (Item 1) to (Item 5), a part of the display area in contact with the first end portion is set as the first area.
(項目7) (項目1)から(項目6)において、システムは、被写体を撮影可能な2つの撮影装置(カメラ2231、全天球カメラ2239)を含む。2つの撮影装置と表示装置とは、2つの撮影装置が表示装置を挟んで上下方向に配置されている。プログラムは、プロセッサに、2つの撮影装置のうち、被写体の撮影に用いる撮影装置(全天球カメラ2239)を特定するステップと、特定した撮影装置と表示装置との位置関係に基づいて、第1端部および第2端部を特定するステップと、をさらに実行させる。第1領域として設定するステップでは、特定した第1端部および第2端部に基づいて、第1領域を設定する。
(Item 7) In (Item 1) to (Item 6), the system includes two photographing devices (
(項目8) (項目4)または(項目5)において、システムは、配信された映像を視聴するための視聴端末をさらに含む。視聴端末は、映像を表示する表示部と、撮影部とを備えている。表示部と撮影部とは、上下方向に配置されている。表示部の表示領域は、第3端部と、上下方向において第3端部と対向する第4端部と、を有する。第3端部は、第4端部よりも撮影部に近い側の端部である。プログラムは、プロセッサに、表示部の表示領域のうち、第3端部側よりも第4端部側に近い領域を、第1領域として設定するステップと、表示部の表示領域のうち、第1領域に比べて第4端部側から遠い領域の少なくとも一部を、第2領域として設定するステップと、をさらに実行させる。 (Item 8) In (Item 4) or (Item 5), the system further includes a viewing terminal for viewing the distributed video. The viewing terminal includes a display unit for displaying an image and a shooting unit. The display unit and the photographing unit are arranged in the vertical direction. The display area of the display unit has a third end portion and a fourth end portion facing the third end portion in the vertical direction. The third end portion is an end portion closer to the photographing portion than the fourth end portion. The program sets the processor as the first area in the display area of the display unit closer to the fourth end side than the third end side, and the first of the display areas of the display unit. The step of setting at least a part of the region far from the fourth end side as compared with the region as the second region is further executed.
(項目9) 情報処理装置を説明した。本開示のある局面によると、情報処理装置(サーバ600)は、被写体(演者1852)を撮影する撮影装置(全天球カメラ1531)と、第1視聴者から被写体へ宛てた第1メッセージを表示する表示装置(1535)と、を含むシステム(映像配信システム1500)に含まれる。情報処理装置は、撮影装置により撮影された被写体の映像を第1視聴者(ユーザ5A)に視聴させる。情報処理装置は、情報処理装置によって実行されるプログラムを記憶する記憶部(メモリ620)と、プログラムを実行することにより、情報処理装置の動作を制御する制御部(プロセッサ610)と、を備える。撮影装置と表示装置とは、上下方向に配置されている。表示装置の表示領域(1536)は、第1端部(1537)と、上下方向において第1端部と対向する第2端部(1538)と、を有する。第1端部は、第2端部よりも撮影装置に近い側の端部である。制御部は、表示領域内のうち、第2端部側よりも第1端部側に近い領域を、第1メッセージを表示する第1領域(2172)として設定し、第1メッセージを第1領域に表示する。 (Item 9) The information processing device has been described. According to a certain aspect of the present disclosure, the information processing device (server 600) displays a photographing device (omnidirectional camera 1531) for photographing the subject (performer 1852) and a first message addressed to the subject from the first viewer. The display device (1535) and the system (video distribution system 1500) including the display device (1535). The information processing device causes the first viewer (user 5A) to view the image of the subject photographed by the photographing device. The information processing device includes a storage unit (memory 620) that stores a program executed by the information processing device, and a control unit (processor 610) that controls the operation of the information processing device by executing the program. The photographing device and the display device are arranged in the vertical direction. The display area (1536) of the display device has a first end portion (1537) and a second end portion (1538) facing the first end portion in the vertical direction. The first end is an end closer to the imaging device than the second end. The control unit sets an area of the display area closer to the first end side than the second end side as the first area (2172) for displaying the first message, and sets the first message as the first area. Display on.
(項目10) プログラムを実行する方法を説明した。本開示のある局面によると、プログラムは、被写体(演者1852)を撮影する撮影装置(全天球カメラ1531)と、撮影装置により撮影された被写体の映像を第1視聴者(ユーザ5A)に配信する第1コンピュータ(サーバ600)と、第1視聴者から被写体へ宛てた第1メッセージを表示する表示装置(1535)と、を含むシステム(映像配信システム1500)において、第1コンピュータによって実行される。撮影装置と表示装置とは、上下方向に配置されている。表示装置の表示領域(1536)は、第1端部(1537)と、上下方向において第1端部と対向する第2端部(1538)と、を有する。第1端部は、第2端部よりも撮影装置に近い側の端部である。方法は、第1コンピュータに備えられたプロセッサ(610)が、表示領域のうち、第2端部側よりも第1端部側に近い領域を、第1メッセージを表示する第1領域(2172)として設定するステップ(S2011)と、第1メッセージを第1領域に表示するステップ(S2015)と、を含む。 (Item 10) The method of executing the program has been described. According to a certain aspect of the present disclosure, the program distributes a photographing device (omnidirectional camera 1531) for photographing a subject (performer 1852) and an image of the subject photographed by the photographing device to a first viewer (user 5A). It is executed by the first computer in the system (video distribution system 1500) including the first computer (server 600) and the display device (1535) for displaying the first message addressed to the subject from the first viewer. .. The photographing device and the display device are arranged in the vertical direction. The display area (1536) of the display device has a first end portion (1537) and a second end portion (1538) facing the first end portion in the vertical direction. The first end is an end closer to the imaging device than the second end. In the method, the processor (610) provided in the first computer displays the first message in the area closer to the first end side than the second end side in the display area (2172). (S2011) and a step (S2015) of displaying the first message in the first area are included.
上記実施形態においては、HMDによってユーザが没入する仮想空間(VR空間)を例示して説明したが、HMDとして、透過型のHMDを採用してもよい。この場合、透過型のHMDを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実(AR:Augmented Reality)空間または複合現実(MR:Mixed Reality)空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。 In the above embodiment, the virtual space (VR space) in which the user is immersed by the HMD has been described as an example, but a transmissive HMD may be adopted as the HMD. In this case, augmented reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) space or mixed reality (AR) MR: Mixed Reality) A virtual experience in space may be provided to the user. In this case, instead of the operation object, an action on the target object in the virtual space may be generated based on the movement of the user's hand. Specifically, the processor may specify the coordinate information of the position of the user's hand in the real space, and may define the position of the target object in the virtual space in relation to the coordinate information in the real space. As a result, the processor can grasp the positional relationship between the user's hand in the real space and the target object in the virtual space, and can execute the process corresponding to the collision control described above between the user's hand and the target object. .. As a result, it becomes possible to give an action to the target object based on the movement of the user's hand.
2 ネットワーク、5,5A,5B,5C ユーザ、6,6A,6B,6C アバターオブジェクト、11,11A,11B,11C,11D 仮想空間、12,12A 中心、13 パノラマ画像、14,14A,14B 仮想カメラ、15,15A,15B,15C 視界領域、16 基準視線、17,17A,17B 視界画像、18,19 領域、100 HMDシステム、110,110A,110B,110C,110D HMD セット、120,120A,120B,120C、HMD、130,130A,130B,130C モニタ、140 注視センサ、150 第1カメラ、160 第2カメラ、170,170A,170B マイク、180,180A,180B スピーカ、190 センサ、200,200A,200B,200C コンピュータ、210,210A、210B,210C,210D,610,1771 プロセッサ、220,620,1772 メモリ、230,230A,230B,630,1773 ストレージ、240,640,1774 入出力インターフェイス、250,650,1775 通信インターフェイス、260,660,1776 バス、300,300B コントローラ、300 R 右コントローラ、300L 左コントローラ、310 グリップ、320 フレーム、330 天面、340,340,350,370,380 ボタン、360 赤外線L ED、390 アナログスティック、410 HMDセンサ、420,420A モーションセンサ、430,430A ディスプレイ、510,1910 コントロールモジュール、520 レンダリングモジュール、530,1930 メモリモジュール、540,1940 通信制御モジュール、600 サーバ、700 外部機器、1421 視界制御モジュール、1422 動き検出モジュール、1500 映像配信システム、1531,2239 全天球カメラ、1532 第1撮像部、1533 第2撮像部、1534 全天球映像生成装置、1535 表示装置、1551 被写体、1661A,1661B 視野、1800 撮影空間、1836 表示領域、1837 第1端部、1838 第2端部、1852 演者、1923 全天球映像制御モジュール、1924 表示装置制御モジュール、2172,2272 第1領域、2173,2273 第2領域、2181,2182,2281,2282,2283 コメント、2231 カメラ、2235 スマートフォン、2236 表示部
2 networks, 5,5A, 5B, 5C users, 6,6A, 6B, 6C avatar objects, 11,11A, 11B, 11C, 11D virtual space, 12,12A center, 13 panoramic images, 14,14A, 14B virtual cameras , 15, 15A, 15B, 15C field of view, 16 reference line of sight, 17, 17A, 17B field of view image, 18, 19 area, 100 HMD system, 110, 110A, 110B, 110C, 110D HMD set, 120, 120A, 120B, 120C, HMD, 130, 130A, 130B, 130C monitor, 140 gaze sensor, 150 first camera, 160 second camera, 170, 170A, 170B microphone, 180, 180A, 180B speaker, 190 sensor, 200, 200A, 200B, 200C computer, 210,210A, 210B, 210C, 210D, 610,1771 processor, 220,620,1772 memory, 230,230A,230B,630,1773 storage, 240,640,1774 input / output interface, 250,650,1775 Communication interface, 260, 660, 1776 bus, 300, 300B controller, 300 R right controller, 300L left controller, 310 grip, 320 frame, 330 top surface, 340, 340, 350, 370, 380 buttons, 360 infrared L ED, 390 analog stick, 410 HMD sensor, 420, 420A motion sensor, 430, 430A display, 510, 1910 control module, 520 rendering module, 530, 1930 memory module, 540, 1940 communication control module, 600 server, 700 external device, 1421 Field of view control module, 1422 motion detection module, 1500 image distribution system, 1531,239 spherical camera, 1532 first imaging unit, 1533 second imaging unit, 1534 spherical image generator, 1535 display device, 1551 subject, 1661A , 1661B field of view, 1800 shooting space, 1836 display area, 1837 first area, 1838 second end, 1852 performer, 1923 spherical image control module, 1924 display device control module, 2172, 2272 first area, 2173, 2273 Second area, 2181,182,2281,2282,283 Comments, 2231 Camera, 2235 Smartphone, 2236 Display
Claims (10)
前記撮影装置と前記表示装置とは、上下方向に配置されており、
前記表示装置の表示領域は、第1端部と、上下方向において前記第1端部と対向する第2端部と、を有し、
前記第1端部は、前記第2端部よりも前記撮影装置に近い側の端部であり、前記プログラムは、前記第1コンピュータに備えられたプロセッサに、
前記表示領域のうち、前記第2端部側よりも前記第1端部側に近い領域を、前記第1メッセージを表示する第1領域として設定するステップと、
前記第1メッセージを前記第1領域に表示するステップと、を実行させる、プログラム。 A photographing device for photographing a subject, a first computer for distributing an image of the subject photographed by the photographing device to a first viewer, and a display for displaying a first message addressed to the subject from the first viewer. A program executed by the first computer in a system including a device.
The photographing device and the display device are arranged in the vertical direction.
The display area of the display device has a first end portion and a second end portion facing the first end portion in the vertical direction.
The first end portion is an end portion closer to the photographing device than the second end portion, and the program is applied to a processor provided in the first computer.
Among the display areas, a step of setting an area closer to the first end side than the second end side as a first area for displaying the first message, and
A program for executing a step of displaying the first message in the first area.
前記第1メッセージは、前記第1視聴者が前記映像を視聴しながら入力した、前記被写体へ宛てたコメントであり、
前記表示するステップでは、前記コメントである第1コメントを前記第1領域に表示した状態で、前記第1コメントと異なる第2コメントを受信した場合、前記第1コメントを前記第1領域内で前記第1端部側に移動させ、移動前の前記第1コメントが表示されていた位置に、前記第2コメントを表示する、請求項1に記載のプログラム。 The program causes the processor to further perform the step of receiving the first message.
The first message is a comment addressed to the subject, which is input by the first viewer while viewing the video.
In the display step, when a second comment different from the first comment is received while the first comment, which is the comment, is displayed in the first area, the first comment is displayed in the first area. The program according to claim 1, wherein the program is moved to the first end side and the second comment is displayed at the position where the first comment was displayed before the movement.
前記表示装置は、前記第2視聴者から前記被写体へ宛てた第2メッセージをさらに表示し、
前記第1領域は、前記第1メッセージおよび前記第2メッセージを表示する領域であり、
前記表示するステップでは、前記第2メッセージを前記第1領域にさらに表示する、請求項1または2に記載のプログラム。 The first computer further distributes the image of the subject to a second viewer different from the first viewer.
The display device further displays a second message addressed to the subject from the second viewer.
The first area is an area for displaying the first message and the second message.
The program according to claim 1 or 2, wherein in the display step, the second message is further displayed in the first area.
前記表示領域のうち、前記第1領域に比べて前記第1端部側から遠い領域の少なくとも一部を、前記映像を表示する第2領域として設定するステップと、
撮影された前記映像をリアルタイムに前記第2領域に表示するステップと、をさらに実行させる、請求項1から3のいずれか1項に記載のプログラム。 The program is delivered to the processor.
A step of setting at least a part of the display area farther from the first end side than the first area as a second area for displaying the image.
The program according to any one of claims 1 to 3, further executing a step of displaying the captured image in the second region in real time.
前記2つの撮影装置と前記表示装置とは、前記2つの撮影装置が前記表示装置を挟んで上下方向に配置されており、
前記プログラムは、前記プロセッサに、
前記2つの撮影装置のうち、被写体の撮影に用いる撮影装置を特定するステップと、特定した前記撮影装置と前記表示装置との位置関係に基づいて、前記第1端部および
前記第2端部を特定するステップと、をさらに実行させ、
前記第1領域として設定するステップでは、特定した前記第1端部および前記第2端部に基づいて、前記第1領域を設定する、請求項1から6のいずれか1項に記載のプログラム。 The system includes two imaging devices capable of photographing a subject.
The two photographing devices and the display device are arranged in the vertical direction with the display device interposed therebetween.
The program is delivered to the processor.
Of the two imaging devices, the first end and the second end are set based on the step of specifying the imaging device used for photographing the subject and the positional relationship between the identified imaging device and the display device. To perform further steps to identify,
The program according to any one of claims 1 to 6, wherein in the step of setting the first region, the first region is set based on the specified first end portion and the second end portion.
前記表示部と前記撮影部とは、上下方向に配置されており、
前記表示部の表示領域は、第3端部と、上下方向において前記第3端部と対向する第4端部と、を有し、
前記第3端部は、前記第4端部よりも前記撮影部に近い側の端部であり、前記プログラムは、前記プロセッサに、
前記表示部の前記表示領域のうち、前記第3端部側よりも前記第4端部側に近い領域を、前記第1領域として設定するステップと、
前記表示部の前記表示領域のうち、前記第1領域に比べて前記第4端部側から遠い領域の少なくとも一部を、前記第2領域として設定するステップと、をさらに実行させる、請求項4または5に記載のプログラム。 The system further includes a viewing terminal for viewing the delivered video, and the viewing terminal includes a display unit for displaying the video and a shooting unit.
The display unit and the photographing unit are arranged in the vertical direction.
The display area of the display unit includes a third end portion and a fourth end portion that faces the third end portion in the vertical direction.
The third end is an end closer to the photographing portion than the fourth end, and the program is applied to the processor.
A step of setting a region of the display region of the display unit closer to the fourth end side than the third end side as the first region.
4. The step of setting at least a part of the display area of the display unit farther from the fourth end side than the first area as the second area is further executed. Or the program described in 5.
前記情報処理装置は、
前記情報処理装置によって実行されるプログラムを記憶する記憶部と、
前記プログラムを実行することにより、前記情報処理装置の動作を制御する制御部と、を備え、
前記撮影装置と前記表示装置とは、上下方向に配置されており、
前記表示装置の表示領域は、第1端部と、上下方向において前記第1端部と対向する第2端部と、を有し、
前記第1端部は、前記第2端部よりも前記撮影装置に近い側の端部であり、前記制御部は、
前記表示領域のうち、前記第2端部側よりも前記第1端部側に近い領域を、前記第1メッセージを表示する第1領域として設定し、
前記第1メッセージを前記第1領域に表示する、情報処理装置。 A photographing device for photographing a subject, an information processing device for distributing an image of the subject photographed by the photographing device to a first viewer, and a display for displaying a first message addressed to the subject from the first viewer. The information processing device in the system including the device,
The information processing device
A storage unit that stores a program executed by the information processing device,
A control unit that controls the operation of the information processing apparatus by executing the program is provided.
The photographing device and the display device are arranged in the vertical direction.
The display area of the display device has a first end portion and a second end portion facing the first end portion in the vertical direction.
The first end portion is an end portion closer to the photographing device than the second end portion, and the control unit is a control unit.
Of the display areas, an area closer to the first end side than the second end side is set as the first area for displaying the first message.
An information processing device that displays the first message in the first area.
前記撮影装置と前記表示装置とは、上下方向に配置されており、
前記表示装置の表示領域は、第1端部と、上下方向において前記第1端部と対向する第2端部と、を有し、
前記第1端部は、前記第2端部よりも前記撮影装置に近い側の端部であり、前記方法は、前記第1コンピュータに備えられたプロセッサが、
前記表示領域のうち、前記第2端部側よりも前記第1端部側に近い領域を、前記第1メッセージを表示する第1領域として設定するステップと、
前記第1メッセージを前記第1領域に表示するステップと、を含む、方法。
A photographing device for photographing a subject, a first computer for distributing an image of the subject photographed by the photographing device to a first viewer, and a display for displaying a first message addressed to the subject from the first viewer. A method in which the first computer executes a program in a system including a device.
The photographing device and the display device are arranged in the vertical direction.
The display area of the display device has a first end portion and a second end portion facing the first end portion in the vertical direction.
The first end portion is an end portion closer to the photographing device than the second end portion, and in the method, a processor provided in the first computer is used.
Among the display areas, a step of setting an area closer to the first end side than the second end side as a first area for displaying the first message, and
A method comprising the step of displaying the first message in the first area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103113A JP2020156103A (en) | 2020-06-15 | 2020-06-15 | Program, information processing device, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020103113A JP2020156103A (en) | 2020-06-15 | 2020-06-15 | Program, information processing device, and method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163921A Division JP6718930B2 (en) | 2018-08-31 | 2018-08-31 | Program, information processing apparatus, and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020156103A true JP2020156103A (en) | 2020-09-24 |
JP2020156103A5 JP2020156103A5 (en) | 2021-10-07 |
Family
ID=72560061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020103113A Withdrawn JP2020156103A (en) | 2020-06-15 | 2020-06-15 | Program, information processing device, and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020156103A (en) |
-
2020
- 2020-06-15 JP JP2020103113A patent/JP2020156103A/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10515481B2 (en) | Method for assisting movement in virtual space and system executing the method | |
US20180348987A1 (en) | Method executed on computer for providing virtual space, program and information processing apparatus therefor | |
JP2022087111A (en) | Program executed by computer to provide virtual space via head mount device, method, and information processing device | |
US20180329487A1 (en) | Information processing method, computer and program | |
JP2023099570A (en) | program and system | |
JP2019128721A (en) | Program for reflecting user motion on avatar, information processing device for executing the same and method for distributing image containing avatar | |
JP2018125003A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP7005406B2 (en) | Programs, information processing devices, and information processing methods | |
JP7192151B2 (en) | Program, information processing device, and information processing method | |
US20190019338A1 (en) | Information processing method, program, and computer | |
JP6826082B2 (en) | Programs, information processing equipment, and methods | |
JP2022171742A (en) | Program, information processing method, and information processing device | |
JP6791920B2 (en) | Programs, information processing equipment, and methods | |
KR102538480B1 (en) | Computer readable recording medium on which program is recorded, information processing method, and information processing apparatus | |
JP6718928B2 (en) | Video output system | |
JP6820299B2 (en) | Programs, information processing equipment, and methods | |
JP6718930B2 (en) | Program, information processing apparatus, and method | |
JP2020156103A (en) | Program, information processing device, and method | |
WO2021131935A1 (en) | Program, method, and information processing device | |
JP7386948B2 (en) | Program, method and information processing device | |
JP2021078132A (en) | Program, information processing device, and method | |
JP2020156104A (en) | Video output system | |
WO2021131938A1 (en) | Program, method, and information processing device | |
JP7398222B2 (en) | Program, information processing device, and information processing method | |
JP7111848B2 (en) | Program, Information Processing Apparatus, and Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210830 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210830 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20211004 |