JP2018098697A - Method executed by computer to present content, program for causing computer to execute the method, and information processing device - Google Patents
Method executed by computer to present content, program for causing computer to execute the method, and information processing device Download PDFInfo
- Publication number
- JP2018098697A JP2018098697A JP2016243418A JP2016243418A JP2018098697A JP 2018098697 A JP2018098697 A JP 2018098697A JP 2016243418 A JP2016243418 A JP 2016243418A JP 2016243418 A JP2016243418 A JP 2016243418A JP 2018098697 A JP2018098697 A JP 2018098697A
- Authority
- JP
- Japan
- Prior art keywords
- content
- hmd
- image
- user
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本開示は画像データの配信に関し、より特定的には、ヘッドマウントデバイス(Head Mounted Device:HMD)を介して提供可能な画像データの配信に関する。 The present disclosure relates to distribution of image data, and more particularly to distribution of image data that can be provided via a head mounted device (HMD).
HMDを装着したユーザに画像データを提供し、3次元画像あるいは360度画像を仮想空間において提供する技術が知られている。HMDを装着したユーザは、端末に表示される画像を3次元画像あるいは360度画像として視認できる。一方、HMDを装着していないユーザの場合は、例えば、3次元画像あるいは360度画像を、平面ディスプレイに2次元の態様で表示させ、表示されている画像が3次元画像あるいは360度画像である旨を示す文字またはアイコン等を表示させることにより、これら画像をユーザに対し平面画像として認識させることができる。非特許文献1は、VR(Virtual Reality:仮想現実)において提供される画像をキャプチャしたものを、2次元のデモ動画として表示している。そして、このデモ動画が、もともとは仮想現実(VR(Virtual Reality))に対応することを表わす文言「VR Demo」を当該デモ動画のタイトルに表示している。非特許文献2は、端末のモニター画面において、左目用の画像と、右目用の画像とを共に画面内に配置する技術を開示している。
A technique for providing image data to a user wearing an HMD and providing a three-dimensional image or 360-degree image in a virtual space is known. A user wearing the HMD can visually recognize an image displayed on the terminal as a three-dimensional image or a 360-degree image. On the other hand, in the case of a user not wearing an HMD, for example, a three-dimensional image or 360-degree image is displayed in a two-dimensional manner on a flat display, and the displayed image is a three-dimensional image or 360-degree image. By displaying characters or icons indicating the effect, these images can be recognized as a planar image by the user. Non-Patent
非特許文献1に開示された動画は、2次元のデモ動画としてキャプチャされる前は、HMDを装着したユーザの頭部の動きに連動して視野画像が更新されるものでユーザの没入感が高いものである。しかし、動画配信サイトで2次元のデモ動画を閲覧するユーザは、ディスプレイに表示される動画が、もともとはVRに対応したものをキャプチャしたデモ動画であることを一見して判別しづらい。また、非特許文献2に開示された動画は、一画面に左目用の画像と右目用の画像とが表示されるため、各画像が小さくなる。したがって、HMDを装着していない状態で視認される画像が立体視可能な画像であることが容易に分かる技術が必要とされている。
Before the moving image disclosed in Non-Patent
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、2次元の画像が表示されている状態で当該画像が立体視可能な画像であることをユーザが容易に認識できる技術を提供することである。 The present disclosure has been made in order to solve the above-described problems, and an object in one aspect is that a two-dimensional image is displayed and the image can be stereoscopically viewed. It is to provide a technology that can be easily recognized by a user.
ある実施の形態に従うと、コンテンツを提示するためにコンピュータで実行される方法が提供される。この方法は、ディスプレイにコンテンツを提示可能なコンテンツデータを、コンピュータのメモリにロードするステップと、ヘッドマウントデバイスを装着するユーザに対し2次元表示以外の視聴態様が想定されるコンテンツにマスク画像をオーバーレイする指示を検出するステップと、指示が検出されたことに基づいて、マスク画像がオーバーレイされた状態で、2次元表示以外の視聴態様が想定されるコンテンツ以外のコンテンツをモニタに表示するステップとを含む。 According to an embodiment, a computer-implemented method for presenting content is provided. In this method, content data capable of presenting content on a display is loaded into a memory of a computer, and a mask image is overlaid on content assumed to be viewed other than two-dimensional display for a user wearing a head mounted device. A step of detecting an instruction to perform, and a step of displaying, on the monitor, content other than content assumed to be a viewing mode other than two-dimensional display in a state where the mask image is overlaid based on detection of the instruction. Including.
ある局面において、2次元の画像が表示されている状態で当該画像が立体視可能な画像であることをユーザが容易に認識できる。 In one aspect, the user can easily recognize that the image is a stereoscopically viewable image in a state where the two-dimensional image is displayed.
この開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。 The above and other objects, features, aspects and advantages of this disclosure will become apparent from the following detailed description of this disclosure, which is to be understood in connection with the accompanying drawings.
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[HMDシステムの構成]
図1を参照して、HMD(Head Mounted Device)システム100の構成について説明する。図1は、ある実施の形態に従うHMDシステム100の構成の概略を表す図である。ある局面において、HMDシステム100は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。なお、本実施の形態において、HMDとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートホンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
[Configuration of HMD system]
A configuration of an HMD (Head Mounted Device)
HMDシステム100は、HMD110と、HMDセンサ120と、コントローラ160と、端末200とを備える。HMD110は、モニタ112と、注視センサ140とを含む。コントローラ160は、モーションセンサ130を含み得る。
The
ある局面において、端末200は、インターネットその他のネットワーク19に接続可能であり、ネットワーク19に接続されているサーバ150その他のコンピュータと通信可能である。端末200は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等の情報処理機器であって、少なくとも、プロセッサとモニタと通信インターフェイスとを備える。
In one aspect, the
別の局面において、HMDシステム100がHMDセンサ120を備える代わりに、HMD110がセンサ114を含んでもよい。
In another aspect, instead of the
サーバ150は、プロセッサ151と、メモリ152と、通信インターフェイス153とを含む。サーバ150は、周知の構成を有するコンピュータによって実現される。
The
HMD110は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、HMD110は、右目用の画像および左目用の画像をモニタ112にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を3次元の画像として認識し得る。
The HMD 110 may be worn on the user's head and provide a virtual space to the user during operation. More specifically, the HMD 110 displays a right-eye image and a left-eye image on the
モニタ112は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ112は、ユーザの両目の前方に位置するようにHMD110の本体に配置されている。したがって、ユーザは、モニタ112に表示される3次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ112は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機EL(Electro Luminescence)モニタとして実現され得る。
The
ある局面において、モニタ112は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ112は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ112は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
In one aspect, the
HMDセンサ120は、複数の光源(図示しない)を含む。各光源は例えば、赤外線を発するLED(Light Emitting Diode)により実現される。HMDセンサ120は、HMD110の動きを検出するためのポジショントラッキング機能を有する。HMDセンサ120は、この機能を用いて、現実空間内におけるHMD110の位置および傾きを検出する。
The
なお、別の局面において、HMDセンサ120は、カメラにより実現されてもよい。この場合、HMDセンサ120は、カメラから出力されるHMD110の画像情報を用いて、画像解析処理を実行することにより、HMD110の位置および傾きを検出することができる。
In another aspect,
別の局面において、HMD110は、位置検出器として、HMDセンサ120の代わりに、センサ114を備えてもよい。HMD110は、センサ114を用いて、HMD110自身の位置および傾きを検出し得る。例えば、センサ114が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、HMD110は、HMDセンサ120の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ114が角速度センサである場合、角速度センサは、現実空間におけるHMD110の3軸周りの角速度を経時的に検出する。HMD110は、各角速度に基づいて、HMD110の3軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、HMD110の傾きを算出する。また、HMD110は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、HMD110に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
In another aspect, the
注視センサ140は、ユーザ190の右目および左目の視線が向けられる方向(視線方向)を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ140は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ140は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ140は、例えば、ユーザ190の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ140は、検出した各回転角に基づいて、ユーザ190の視線方向を検知することができる。
The
サーバ150は、端末200にプログラムを送信し得る。別の局面において、サーバ150は、他のユーザによって使用されるHMDに仮想現実を提供するための他の端末200と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各端末200は、各ユーザの動作に基づく信号を他のコンピュータと通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
The
コントローラ160は、ユーザ190から端末200への命令の入力を受け付ける。ある局面において、コントローラ160は、ユーザ190によって把持可能に構成される。別の局面において、コントローラ160は、ユーザ190の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ160は、端末200から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ160は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ190によって与えられる操作を受け付ける。
The
モーションセンサ130は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ130は、手の回転速度、回転数等を検出する。検出された信号は、端末200に送られる。モーションセンサ130は、例えば、手袋型のコントローラ160に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ160は、手袋型のようにユーザ190の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ190に装着されないセンサがユーザ190の手の動きを検出してもよい。例えば、ユーザ190を撮影するカメラの信号が、ユーザ190の動作を表わす信号として、端末200に入力されてもよい。モーションセンサ130と端末200とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Bluetooth(登録商標)その他の公知の通信手法が用いられる。
In one aspect, the
[ハードウェア構成]
図2を参照して、本実施の形態に係る端末200について説明する。図2は、一局面に従う端末200のハードウェア構成の一例を表すブロック図である。端末200は、主たる構成要素として、プロセッサ10と、メモリ11と、ストレージ12と、入出力インターフェイス13と、通信インターフェイス14と、モニタ16とを備える。各構成要素は、それぞれ、バス15に接続されている。
[Hardware configuration]
With reference to FIG. 2, terminal 200 according to the present embodiment will be described. FIG. 2 is a block diagram illustrating an example of a hardware configuration of
プロセッサ10は、端末200に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ11またはストレージ12に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ10は、CPU(Central Processing Unit)、MPU(Micro Processor Unit)、FPGA(Field-Programmable Gate Array)その他のデバイスとして実現される。
The
メモリ11は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ12からロードされる。データは、端末200に入力されたデータと、プロセッサ10によって生成されたデータとを含む。ある局面において、メモリ11は、RAM(Random Access Memory)その他の揮発メモリとして実現される。
The
ストレージ12は、プログラムおよびデータを永続的に保持する。ストレージ12は、例えば、ROM(Read-Only Memory)、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ12に格納されるプログラムは、HMDシステム100において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他の端末200との通信を実現するためのプログラムを含む。ストレージ12に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
The
なお、別の局面において、ストレージ12は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、端末200に内蔵されたストレージ12の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のHMDシステム100が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
In another aspect, the
ある実施の形態において、入出力インターフェイス13は、HMD110、HMDセンサ120またはモーションセンサ130との間で信号を通信する。ある局面において、入出力インターフェイス13は、USB(Universal Serial Bus)インターフェイス、DVI(Digital Visual Interface)、HDMI(登録商標)(High-Definition Multimedia Interface)その他の端子を用いて実現される。なお、入出力インターフェイス13は上述のものに限られない。
In some embodiments, the input /
ある実施の形態において、入出力インターフェイス13は、さらに、コントローラ160と通信し得る。例えば、入出力インターフェイス13は、モーションセンサ130から出力された信号の入力を受ける。別の局面において、入出力インターフェイス13は、プロセッサ10から出力された命令を、コントローラ160に送る。当該命令は、振動、音声出力、発光等をコントローラ160に指示する。コントローラ160は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
In certain embodiments, the input /
通信インターフェイス14は、ネットワーク19に接続されて、ネットワーク19に接続されている他のコンピュータ(例えば、サーバ150)と通信する。ある局面において、通信インターフェイス14は、例えば、LAN(Local Area Network)その他の有線通信インターフェイス、あるいは、WiFi(Wireless Fidelity)、Bluetooth(登録商標)、NFC(Near Field Communication)その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス14は上述のものに限られない。
The
モニタ16は、例えば液晶モニタ、有機ELモニタを含み得る。別の局面において、モニタ16は、端末200に接続可能な外部モニタであってもよい。
The
ある局面において、プロセッサ10は、ストレージ12にアクセスし、ストレージ12に格納されている1つ以上のプログラムをメモリ11にロードし、当該プログラムに含まれる一連の命令を実行する。当該1つ以上のプログラムは、端末200のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ160を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ10は、入出力インターフェイス13を介して、仮想空間を提供するための信号をHMD110に送る。HMD110は、その信号に基づいてモニタ112に映像を表示する。
In one aspect, the
なお、図2に示される例では、端末200は、HMD110の外部に設けられる構成が示されているが、別の局面において、端末200は、HMD110に内蔵されてもよい。一例として、モニタ112を含む携帯型の情報通信端末(例えば、スマートフォン)が端末200として機能してもよい。
In the example illustrated in FIG. 2, the terminal 200 is configured to be provided outside the
また、端末200は、複数のHMD110に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
Further, the terminal 200 may be configured to be used in common for a plurality of
ある実施の形態において、HMDシステム100では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、3つの基準方向(軸)を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれ、x軸、y軸、z軸と規定される。より具体的には、グローバル座標系において、x軸は現実空間の水平方向に平行である。y軸は、現実空間の鉛直方向に平行である。z軸は現実空間の前後方向に平行である。
In an embodiment, in the
ある局面において、HMDセンサ120は、赤外線センサを含む。赤外線センサが、HMD110の各光源から発せられた赤外線をそれぞれ検出すると、HMD110の存在を検出する。HMDセンサ120は、さらに、各点の値(グローバル座標系における各座標値)に基づいて、HMD110を装着したユーザ190の動きに応じた、現実空間内におけるHMD110の位置および傾きを検出する。より詳しくは、HMDセンサ120は、経時的に検出された各値を用いて、HMD110の位置および傾きの時間的変化を検出できる。
In one aspect,
グローバル座標系は現実空間の座標系と平行である。したがって、HMDセンサ120によって検出されたHMD110の各傾きは、グローバル座標系におけるHMD110の3軸周りの各傾きに相当する。HMDセンサ120は、グローバル座標系におけるHMD110の傾きに基づき、uvw視野座標系をHMD110に設定する。HMD110に設定されるuvw視野座標系は、HMD110を装着したユーザ190が仮想空間において物体を見る際の視点座標系に対応する。
The global coordinate system is parallel to the real space coordinate system. Therefore, each inclination of the
[uvw視野座標系]
図3を参照して、uvw視野座標系について説明する。図3は、ある実施の形態に従うHMD110に設定されるuvw視野座標系を概念的に表す図である。HMDセンサ120は、HMD110の起動時に、グローバル座標系におけるHMD110の位置および傾きを検出する。プロセッサ10は、検出された値に基づいて、uvw視野座標系をHMD110に設定する。
[Uvw visual field coordinate system]
The uvw visual field coordinate system will be described with reference to FIG. FIG. 3 is a diagram conceptually showing a uvw visual field coordinate system set in
図3に示されるように、HMD110は、HMD110を装着したユーザの頭部を中心(原点)とした3次元のuvw視野座標系を設定する。より具体的には、HMD110は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向(x軸、y軸、z軸)を、グローバル座標系内においてHMD110の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる3つの方向を、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)として設定する。
As shown in FIG. 3, the
ある局面において、HMD110を装着したユーザ190が直立し、かつ、正面を視認している場合、プロセッサ10は、グローバル座標系に平行なuvw視野座標系をHMD110に設定する。この場合、グローバル座標系における水平方向(x軸)、鉛直方向(y軸)、および前後方向(z軸)は、HMD110におけるuvw視野座標系のピッチ方向(u軸)、ヨー方向(v軸)、およびロール方向(w軸)に一致する。
In a certain situation, when the
uvw視野座標系がHMD110に設定された後、HMDセンサ120は、HMD110の動きに基づいて、設定されたuvw視野座標系におけるHMD110の傾き(傾きの変化量)を検出できる。この場合、HMDセンサ120は、HMD110の傾きとして、uvw視野座標系におけるHMD110のピッチ角(θu)、ヨー角(θv)、およびロール角(θw)をそれぞれ検出する。ピッチ角(θu)は、uvw視野座標系におけるピッチ方向周りのHMD110の傾き角度を表す。ヨー角(θv)は、uvw視野座標系におけるヨー方向周りのHMD110の傾き角度を表す。ロール角(θw)は、uvw視野座標系におけるロール方向周りのHMD110の傾き角度を表す。
After the uvw visual field coordinate system is set to the
HMDセンサ120は、検出されたHMD110の傾き角度に基づいて、HMD110が動いた後のHMD110におけるuvw視野座標系を、HMD110に設定する。HMD110と、HMD110のuvw視野座標系との関係は、HMD110の位置および傾きに関わらず、常に一定である。HMD110の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるHMD110のuvw視野座標系の位置および傾きが変化する。
The
ある局面において、HMDセンサ120は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係(例えば、各点間の距離など)に基づいて、HMD110の現実空間内における位置を、HMDセンサ120に対する相対位置として特定してもよい。また、プロセッサ10は、特定された相対位置に基づいて、現実空間内(グローバル座標系)におけるHMD110のuvw視野座標系の原点を決定してもよい。
In one aspect, the
[仮想空間]
図4を参照して、仮想空間についてさらに説明する。図4は、ある実施の形態に従う仮想空間2を表現する一態様を概念的に表す図である。仮想空間2は、中心21の360度方向の全体を覆う全天球状の構造を有する。図4では、説明を複雑にしないために、仮想空間2のうちの上半分の天球が例示されている。仮想空間2では各メッシュが規定される。各メッシュの位置は、仮想空間2に規定されるXYZ座標系における座標値として予め規定されている。端末200は、仮想空間2に展開可能なコンテンツ(静止画、動画等)を構成する各部分画像を、仮想空間2において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像22が展開される仮想空間2をユーザに提供する。
[Virtual space]
The virtual space will be further described with reference to FIG. FIG. 4 is a diagram conceptually showing one aspect of expressing
ある局面において、仮想空間2では、中心21を原点とするXYZ座標系が規定される。XYZ座標系は、例えば、グローバル座標系に平行である。XYZ座標系は視点座標系の一種であるため、XYZ座標系における水平方向、鉛直方向(上下方向)、および前後方向は、それぞれX軸、Y軸、Z軸として規定される。したがって、XYZ座標系のX軸(水平方向)がグローバル座標系のx軸と平行であり、XYZ座標系のY軸(鉛直方向)がグローバル座標系のy軸と平行であり、XYZ座標系のZ軸(前後方向)がグローバル座標系のz軸と平行である。
In one aspect, the
HMD110の起動時、すなわちHMD110の初期状態において、仮想カメラ1が、仮想空間2の中心21に配置される。仮想カメラ1は、現実空間におけるHMD110の動きに連動して、仮想空間2を同様に移動する。これにより、現実空間におけるHMD110の位置および向きの変化が、仮想空間2において同様に再現される。
When the
仮想カメラ1には、HMD110の場合と同様に、uvw視野座標系が規定される。仮想空間2における仮想カメラのuvw視野座標系は、現実空間(グローバル座標系)におけるHMD110のuvw視野座標系に連動するように規定されている。したがって、HMD110の傾きが変化すると、それに応じて、仮想カメラ1の傾きも変化する。また、仮想カメラ1は、HMD110を装着したユーザの現実空間における移動に連動して、仮想空間2において移動することもできる。
As with the
仮想カメラ1の向きは、仮想カメラ1の位置および傾きに応じて決まるので、ユーザが仮想空間画像22を視認する際に基準となる視線(基準視線5)は、仮想カメラ1の向きに応じて決まる。端末200のプロセッサ10は、基準視線5に基づいて、仮想空間2における視界領域23を規定する。視界領域23は、仮想空間2のうち、HMD110を装着したユーザの視界に対応する。
Since the orientation of the
注視センサ140によって検出されるユーザ190の視線方向は、ユーザ190が物体を視認する際の視点座標系における方向である。HMD110のuvw視野座標系は、ユーザ190がモニタ112を視認する際の視点座標系に等しい。また、仮想カメラ1のuvw視野座標系は、HMD110のuvw視野座標系に連動している。したがって、ある局面に従うHMDシステム100は、注視センサ140によって検出されたユーザ190の視線方向を、仮想カメラ1のuvw視野座標系におけるユーザの視線方向とみなすことができる。
The gaze direction of the
[ユーザの視線]
図5を参照して、ユーザの視線方向の決定について説明する。図5は、ある実施の形態に従うHMD110を装着するユーザ190の頭部を上から表した図である。
[User's line of sight]
With reference to FIG. 5, determination of the user's line-of-sight direction will be described. FIG. 5 is a diagram showing the head of
ある局面において、注視センサ140は、ユーザ190の右目および左目の各視線を検出する。ある局面において、ユーザ190が近くを見ている場合、注視センサ140は、視線R1およびL1を検出する。別の局面において、ユーザ190が遠くを見ている場合、注視センサ140は、視線R2およびL2を検出する。この場合、ロール方向wに対して視線R2およびL2がなす角度は、ロール方向wに対して視線R1およびL1がなす角度よりも小さい。注視センサ140は、検出結果を端末200に送信する。
In one aspect, gaze
端末200が、視線の検出結果として、視線R1およびL1の検出値を注視センサ140から受信した場合には、その検出値に基づいて、視線R1およびL1の交点である注視点N1を特定する。一方、端末200は、視線R2およびL2の検出値を注視センサ140から受信した場合には、視線R2およびL2の交点を注視点として特定する。端末200は、特定した注視点N1の位置に基づき、ユーザ190の視線方向N0を特定する。端末200は、例えば、ユーザ190の右目Rと左目Lとを結ぶ直線の中点と、注視点N1とを通る直線の延びる方向を、視線方向N0として検出する。視線方向N0は、ユーザ190が両目により実際に視線を向けている方向である。また、視線方向N0は、視界領域23に対してユーザ190が実際に視線を向けている方向に相当する。
When the terminal 200 receives the detection values of the lines of sight R1 and L1 from the
別の局面において、HMDシステム100は、HMDシステム100を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間2に対して、音声による指示を与えることができる。
In another aspect, the
また、別の局面において、HMDシステム100は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、HMDシステム100は、仮想空間2においてテレビ番組を表示することができる。
In another aspect,
さらに別の局面において、HMDシステム100は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
In still another aspect, the
[視界領域]
図6および図7を参照して、視界領域23について説明する。図6は、仮想空間2において視界領域23をX方向から見たYZ断面を表す図である。図7は、仮想空間2において視界領域23をY方向から見たXZ断面を表す図である。
[Visibility area]
With reference to FIGS. 6 and 7, the
図6に示されるように、YZ断面における視界領域23は、領域24を含む。領域24は、仮想カメラ1の基準視線5と仮想空間2のYZ断面とによって定義される。プロセッサ10は、仮想空間おける基準視線5を中心として極角αを含む範囲を、領域24として規定する。
As shown in FIG. 6, the
図7に示されるように、XZ断面における視界領域23は、領域25を含む。領域25は、基準視線5と仮想空間2のXZ断面とによって定義される。プロセッサ10は、仮想空間2における基準視線5を中心とした方位角βを含む範囲を、領域25として規定する。
As shown in FIG. 7, the
ある局面において、HMDシステム100は、端末200からの信号に基づいて、視界画像26をモニタ112に表示させることにより、ユーザ190に仮想空間を提供する。視界画像26は、仮想空間画像22のうち視界領域23に重畳する部分に相当する。ユーザ190が、頭に装着したHMD110を動かすと、その動きに連動して仮想カメラ1も動く。その結果、仮想空間2における視界領域23の位置が変化する。これにより、モニタ112に表示される視界画像26は、仮想空間画像22のうち、仮想空間2においてユーザが向いた方向の視界領域23に重畳する画像に更新される。ユーザは、仮想空間2における所望の方向を視認することができる。
In one aspect, the
ユーザ190は、HMD110を装着している間、現実世界を視認することなく、仮想空間2に展開される仮想空間画像22のみを視認できる。そのため、HMDシステム100は、仮想空間2への高い没入感覚をユーザに与えることができる。
While wearing the
ある局面において、プロセッサ10は、HMD110を装着したユーザ190の現実空間における移動に連動して、仮想空間2において仮想カメラ1を移動し得る。この場合、プロセッサ10は、仮想空間2における仮想カメラ1の位置および向きに基づいて、HMD110のモニタ112に投影される画像領域(すなわち、仮想空間2における視界領域23)を特定する。
In one aspect, the
ある実施の形態に従うと、仮想カメラ1は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ190が3次元の仮想空間2を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ1が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向(w)がHMD110のロール方向(w)に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
According to an embodiment, the
[コントローラ]
図8を参照して、コントローラ160の一例について説明する。図8は、ある実施の形態に従うコントローラ160の概略構成を表す図である。
[controller]
An example of the
図8の分図(A)に示されるように、ある局面において、コントローラ160は、右コントローラ800と左コントローラとを含み得る。右コントローラ800は、ユーザ190の右手で操作される。左コントローラは、ユーザ190の左手で操作される。ある局面において、右コントローラ800と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ190は、右コントローラ800を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ160は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ800について説明する。
As shown in the partial diagram (A) of FIG. 8, in one aspect, the
右コントローラ800は、グリップ30と、フレーム31と、天面32とを備える。グリップ30は、ユーザ190の右手によって把持されるように構成されている。例えば、グリップ30は、ユーザ190の右手の掌と3本の指(中指、薬指、小指)とによって保持され得る。
The
グリップ30は、ボタン33,34と、モーションセンサ130とを含む。ボタン33は、グリップ30の側面に配置され、右手の中指による操作を受け付ける。ボタン34は、グリップ30の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン33,34は、トリガー式のボタンとして構成される。モーションセンサ130は、グリップ30の筐体に内蔵されている。なお、ユーザ190の動作がカメラその他の装置によってユーザ190の周りから検出可能である場合には、グリップ30は、モーションセンサ130を備えなくてもよい。
The
フレーム31は、その円周方向に沿って配置された複数の赤外線LED35を含む。赤外線LED35は、コントローラ160を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線LED35から発せられた赤外線は、右コントローラ800と左コントローラ(図示しない)との各位置や姿勢(傾き、向き)を検出するために使用され得る。図8に示される例では、二列に配置された赤外線LED35が示されているが、配列の数は図8に示されるものに限られない。一列あるいは3列以上の配列が使用されてもよい。
The
天面32は、ボタン36,37と、アナログスティック38とを備える。ボタン36,37は、プッシュ式ボタンとして構成される。ボタン36,37は、ユーザ190の右手の親指による操作を受け付ける。アナログスティック38は、ある局面において、初期位置(ニュートラルの位置)から360度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間2に配置されるオブジェクトを移動するための操作を含む。
The
ある局面において、右コントローラ800および左コントローラは、赤外線LED35その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ800と左コントローラは、例えば、端末200のUSBインターフェイスに接続され得る。この場合、右コントローラ800および左コントローラは、電池を必要としない。
In one aspect, the
図8の分図(B)は、右コントローラ800を把持するユーザ190の右手に対応して仮想空間に配置されるハンドオブジェクト810の一例を示す。例えば、ユーザ190の右手に対応するハンドオブジェクト810に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ800のボタン34に対して行なわれると、ハンドオブジェクト810の人差し指を握りこんだ状態とし、入力操作がボタン34に対して行なわれていない場合には、分図(B)に示すように、ハンドオブジェクト810の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト810において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト810に規定される。
FIG. 8B shows an example of a
[HMD110の制御装置]
図9を参照して、HMD110の制御装置について説明する。図9は、ある実施の形態に従う端末200をモジュール構成として表わすブロック図である。ある実施の形態において、制御装置は周知の構成を有するコンピュータによって実現される。例えば、コンピュータの一例が端末200である場合、端末200が制御装置として機能する。
[Control device of HMD110]
The control device of the
図9に示されるように、端末200は、モニタ16と、表示制御モジュール220と、仮想空間制御モジュール230と、メモリモジュール240と、通信制御モジュール250とを備える。表示制御モジュール220は、サブモジュールとして、仮想カメラ制御モジュール221と、視界領域決定モジュール222と、視界画像生成モジュール223と、基準視線特定モジュール224とを含む。仮想空間制御モジュール230は、サブモジュールとして、仮想空間定義モジュール231と、仮想オブジェクト生成モジュール232と、オーバーレイ指示検出モジュール233と、マスクオーバーレイモジュール234とを含む。
As illustrated in FIG. 9, the terminal 200 includes a
ある実施の形態において、表示制御モジュール220と仮想空間制御モジュール230とは、プロセッサ10によって実現される。別の実施の形態において、複数のプロセッサ10が表示制御モジュール220と仮想空間制御モジュール230として作動してもよい。メモリモジュール240は、メモリ11またはストレージ12によって実現される。通信制御モジュール250は、通信インターフェイス14によって実現される。
In an embodiment, the
ある局面において、表示制御モジュール220は、HMD110のモニタ112における画像表示を制御する。仮想カメラ制御モジュール221は、仮想空間2に仮想カメラ1を配置し、仮想カメラ1の挙動、向き等を制御する。視界領域決定モジュール222は、HMD110を装着したユーザの頭の向きに応じて、視界領域23を規定する。視界画像生成モジュール223は、決定された視界領域23に基づいて、モニタ112に表示される視界画像26を生成する。
In one aspect, the
基準視線特定モジュール224は、注視センサ140からの信号に基づいて、ユーザ190の視線を特定する。
The reference line-of-
仮想空間制御モジュール230は、ユーザ190に提供される仮想空間2を制御する。仮想空間定義モジュール231は、仮想空間2を表わす仮想空間データを生成することにより、HMDシステム100における仮想空間2を規定する。
The virtual
仮想オブジェクト生成モジュール232は、仮想空間2に配置される対象物を生成する。ある局面において、仮想オブジェクト生成モジュール232は、360度動画のコンテンツに加えて、例えば、ユーザ190に対応する仮想ユーザのオブジェクトを生成する。
The virtual
オーバーレイ指示検出モジュール233は、サーバ150から受信した画像データに、マスク画像を重ねる指示を検出する。例えば、ある局面において、オーバーレイ指示検出モジュール233は、サーバ150から受信した信号から、当該指示を検出する。別の局面において、オーバーレイ指示検出モジュール233は、コントローラ133に対して与えられる操作に基づいて、あるいは、端末200が備えるキーボードまたはタッチパネル(図示しない)に対する操作に基づいて、当該指示を検出する。
The overlay
マスクオーバーレイモジュール234は、オーバーレイ指示検出モジュール233による指示が検出されたことに基づいて、サーバ150から受信した画像データにマスク画像が重ねられた画像データを生成する。マスク画像は、ある局面において、端末200に予め保存されている。別の局面において、マスク画像は、サーバ150から画像データと共に、あるいは、画像データとは別に受信され得る。マスク画像が重ねられた画像データは、デモ画像として、モニタ112に出力される。さらに別の局面において、マスク画像は、サーバ150から配信される画像データの一部として組み込まれていてもよい。
The
メモリモジュール240は、端末200が仮想空間2をユーザ190に提供するために使用されるデータを保持している。ある局面において、メモリモジュール240は、コンテンツデータ241と、マスク画像データ242と、ユーザ情報243とを保持している。
The
コンテンツデータ241は、画像データを含む。画像データは、例えば、2次元の画像に加えて、3次元表示用の画像データ、360度表示可能な画像データ(仮想空間を定義した、仮想現実をユーザに提供するためのデータを含む)を含む。2次元の画像には、もともと仮想現実を提供するためのシステムにおいて、HMD110などのディスプレイに表示される画像をキャプチャする等により2次元画像として保存したものも含まれる。これらの画像データは、例えば、サーバ150から受信される。
The
マスク画像データ242は、HMD110の輪郭を模したマスクを表わす。マスク画像データ242は、3次元表示用の画像データ、あるいは、360度表示可能な画像データに基づく画像に重ねられる。ユーザ190は、モニタ112が、マスク付きの画像を表示すると、ユーザ190は、その画像がHMD110を使用して視聴するためのコンテンツを2次元で表示したもの(例えば、仮想現実において提供される画像をキャプチャしたデモ画像)であることを認識できる。
ユーザ情報243は、HMD110のユーザ190の識別情報、ユーザ190に関連付けられている権限等を含む。
The
通信制御モジュール250は、ネットワーク19を介して、サーバ150その他の情報通信装置と通信し得る。
The
ある局面において、表示制御モジュール220および仮想空間制御モジュール230は、例えば、ユニティテクノロジーズ社によって提供されるUnity(登録商標)を用いて実現され得る。別の局面において、表示制御モジュール220および仮想空間制御モジュール230は、各処理を実現する回路素子の組み合わせとしても実現され得る。
In an aspect, the
端末200における処理は、ハードウェアと、プロセッサ10により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール240に予め格納されている場合がある。また、ソフトウェアは、CD−ROMその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール250を介してサーバ150その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ10によって記憶モジュールから読み出され、実行可能なプログラムの形式でRAMに格納される。プロセッサ10は、そのプログラムを実行する。
The processing in the terminal 200 is realized by hardware and software executed by the
端末200を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、端末200に格納されたプログラムであるともいえる。なお、端末200のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
The hardware that constitutes the terminal 200 is general. Therefore, it can be said that the most essential part according to the present embodiment is a program stored in
なお、データ記録媒体としては、CD−ROM、FD(Flexible Disk)、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを含む)、光カード、マスクROM、EPROM(Electronically Programmable Read-Only Memory)、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッシュROMなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。 The data recording medium is not limited to a CD-ROM, FD (Flexible Disk), and hard disk, but is a magnetic tape, cassette tape, optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile Disc)). ), IC (Integrated Circuit) card (including memory card), optical card, mask ROM, EPROM (Electronically Programmable Read-Only Memory), EEPROM (Electronically Erasable Programmable Read-Only Memory), flash ROM, etc. It may be a non-volatile data recording medium that carries a fixed program.
ここでいうプログラムとは、プロセッサ10により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
The program here may include not only a program directly executable by the
図10を参照して、HMDシステムの制御構造について説明する。図10は、ある実施の形態に従う端末200とサーバ150とが実行する処理の一部を表わすフローチャートである。図10に示される例は、マスク画像を付加する指示が端末200によって検出され、その指示に基づいてマスク画像が端末200において付加される場合の処理を表わす。
The control structure of the HMD system will be described with reference to FIG. FIG. 10 is a flowchart representing a part of processing executed by
ステップS1010にて、端末200のプロセッサ10は、ユーザ190がコンテンツを選択したことに基づいて、コンテンツの配信要求をサーバ150に送信する。配信要求は、ネットワーク19を介してサーバ150に送られる。
In step S1010,
ステップS1020にて、サーバ150は、通信インターフェイス153を介して、端末200から送信された配信要求を受信する。サーバ150のプロセッサ151は、配信要求により特定されるコンテンツのデータをメモリ152または外部の記憶装置から読み出す。ある局面において、このコンテンツが、もともとは仮想現実を提供するためのデータ(仮想空間を定義したデータなどを含む)に基づき画像のキャプチャ等により2次元画像として生成されたコンテンツデータ、あるいは360度動画のコンテンツである場合、そのことを示す情報がコンテンツの管理情報に含まれる。この情報は、HMD110が使用されない場合には、マスクオーバーレイの指示として使用される。プロセッサ151は、ユーザ190の識別情報と、配信が要求されたコンテンツの識別情報とを関連付けて、メモリ152に保存する。
In step S1020,
ステップS1030にて、プロセッサ151は、通信インターフェイス153を介して、その読み出したコンテンツのデータと、管理情報とを端末200に送信する。
In step S1030,
ステップS1040にて、端末200は、サーバ150から送信されたコンテンツのデータと管理情報とを受信する。
In step S1040, terminal 200 receives content data and management information transmitted from
ステップS1050にて、端末200のプロセッサ10は、マスク画像をオーバーレイする指示を検出したか否かを判断する。ある局面において、この判断は、サーバ150から受信した管理情報に当該指示が含まれているか否かに基づいて行なわれる。別の局面において、この判断は、当該コンテンツが、もともとは仮想現実を提供するためのデータに基づき2次元画像として生成されたコンテンツまたは360度動画コンテンツであるか否か(コンテンツがヘッドマウントデバイスによる視聴にかかわるものであるか否か)に基づいて行なわれる。例えば、もともと仮想現実を提供するためのデータ、あるいは360度動画コンテンツではない場合、コンテンツの制作者は、コンテンツが2次元で視聴されることを念頭に置いている。そのため、コンテンツが、もともと仮想現実を提供するデータであるとか、360度動画コンテンツであることを示唆する必要もないためマスク画像の付加は不要になる。さらに別の局面において、この判断は、ユーザ190によって端末200に与えられた操作が当該指示であるか否かに基づいて行なわれる。プロセッサ10は、当該指示を検出したと判断すると(ステップS1050にてYES)、制御をステップS1060に切り換える。そうでない場合には(ステップS1050にてNO)、プロセッサ10は、制御をステップS1070に切り換える。
In step S1050,
ステップS1060にて、プロセッサ10は、マスク画像がコンテンツにオーバーレイされたデータを生成する。ある局面において、マスク画像を表示するためのデータは、例えば、当該コンテンツを配信するサービスから予め受信したデータとして、端末200に保存されている。別の局面において、マスク画像を表示するためのデータは、サーバ150から受信するデータに含まれていてもよい。
In step S1060,
ステップS1070にて、プロセッサ10は、受信したコンテンツのデータをモニタ16に出力する。ユーザ190が、端末200が組み込まれたHMD110を装着していない場合、モニタ16は、そのデータに基づいて、コンテンツを通常の態様で(マスク画像を付加することなく)表示する。別の局面において、仮に、ユーザ190が端末200が組み込まれたHMD110を装着している場合、あるいは、モニタが内蔵されたHMD110を装着している場合、仮想現実用のコンテンツまたは360度動画を楽しむことができる。
In step S1070,
ステップS1080にて、プロセッサ10は、生成したデータをモニタ16に出力する。モニタ16は、マスク画像が付加されたコンテンツを表示する。コンテンツを視聴するユーザ190が、HMD110を使用しない状態でこのマスク画像を視認しても、当該コンテンツがHMD110を用いて仮想空間2において提示されるコンテンツであることを容易に理解することができる。
In step S1080,
[サーバがマスク画像を付加する指示を検出]
図11を参照して、HMDシステムの制御構造について説明する。図11は、ある実施の形態に従う端末200とサーバ150とが実行する処理の一部を表わすフローチャートである。図11に示される例は、マスク画像を付加する指示がサーバ150から端末200に与えられ、その指示に基づいてマスク画像が端末200において付加される場合を表わす。なお、前述の処理と同一の処理には同一のステップ番号が付してある。したがって、同一の処理の説明は繰り返さない。
[The server detects an instruction to add a mask image]
The control structure of the HMD system will be described with reference to FIG. FIG. 11 is a flowchart representing a part of processing executed by
ステップS1110にて、サーバ150のプロセッサ151は、端末200によって要求されたコンテンツが、2次元表示以外の視聴態様がコンテンツ制作者によって想定されているものであるか否かを判断する。すなわちサーバ150のプロセッサ151は、端末200によって要求されたコンテンツが、もともとは仮想現実を提供するためのデータに基づき2次元画像として生成されたコンテンツまたは360度動画コンテンツであるかを判断する。ある実施の形態において2次元表示以外の視聴態様が想定されているコンテンツとは、例えば、仮想現実用のコンテンツ、360度動画コンテンツ等を含み得る。プロセッサ151は、当該コンテンツが2次元表示以外の視聴態様が想定されているコンテンツ(コンテンツが「2次元表示用以外のコンテンツ」)であると判断すると(ステップS1110にてYES)、制御をステップ1120に切り換える。そうでない場合には(ステップS1110にてNO)、プロセッサ151は、制御をステップS1130に切り換える。
In step S1110,
ステップS1120にて、プロセッサ151は、マスク画像を合成する指示を端末200に送信する。
In step S1120,
ステップS1130にて、プロセッサ151は、要求されたコンテンツのデータを端末200に送信する。端末200はこのデータを受信する(ステップS1040)。
In step S1130,
ステップS1140にて、端末200のプロセッサ10は、サーバ150から受信したデータが、マスク画像を合成する指示を含むか否かを判断する。プロセッサ10は、当該データが当該指示を含むと判断すると(ステップS1140にてYES)、制御をステップS1060に切り換える。端末200は、マスク画像がオーバーレイされたデータを生成し(ステップS1060)、そのデータをモニタ16に出力する(ステップS1080)。ユーザ190は、モニタ16に出力される画像を視認することにより、当該コンテンツが本来は仮想現実用のコンテンツを2次元表示したものあるいは360度動画であることを認識できる。そうでない場合には(ステップS1140にてNO)、プロセッサ10は、制御をステップS1070に切り換える。端末200は、マスク画像が付加されていない画像をモニタ16に表示する(ステップS1070)。ユーザ190は、2次元表示用のコンテンツを通常の態様で視認できる。
In step S1140,
[サーバがマスク画像を付加]
図12を参照して、HMDシステム100の制御構造についてさらに説明する。図12は、ある実施の形態に従う端末200とサーバ150とが実行する処理の一部を表わすフローチャートである。図12に示される例は、マスク画像がサーバ150によってオーバーレイされる場合を表わす。なお、前述の処理と同一の処理には同一のステップ番号が付してある。したがって、同じ処理の説明は、繰り返さない。
[Server adds mask image]
The control structure of the
ステップS1210にて、サーバ150のプロセッサ151は、端末200から、コンテンツの配信要求と属性情報とを受信する。ある局面において、属性情報は、端末200がHMD110に装着されていないことを示す情報、端末200がHMD110であることを示す情報、あるいは、端末200がHMD110に装着されていることを示す情報等を含む。
In step S1210,
ステップS1220にて、プロセッサ151は、端末200がHMD110であるか否かを判断する。この判断は、例えば、属性情報に基づいて行なわれる。プロセッサ151は、端末200がHMD110である又はHMD110に装着されていると判断すると(ステップS1220にてYES)、制御をステップS1230に移される。そうでない場合には、制御はステップS1110に移される。
In step S1220,
ステップS1230にて、プロセッサ151は、メモリ152または外部の記憶装置から配信が要求されたコンテンツを読み出し、マスク用の画像を付加することなく当該コンテンツを端末200に送信する。端末200がこのコンテンツを受信すると(ステップS1040)、HMD110に画像が出力される(ステップS1070)。HMD110を装着したユーザ190は、360度動画などを楽しむことができる。端末200から送信されたデータが2次元用のコンテンツのデータである場合には、ユーザ190は、HMD110を装着した状態で、2次元用のコンテンツを視聴できる。
In step S1230,
ステップS1240にて、プロセッサ151は、マスク画像がオーバーレイされたコンテンツを生成する。このとき、プロセッサ151は、HMD110の仕様に応じてマスク画像を調整する。プロセッサ151は、生成したデータを端末200に送信する。
In step S1240,
ステップS1040にて、端末200は、サーバ150から、マスク画像が付加されていないデータ(ステップS1230)、または、マスク画像が付加されたコンテンツのデータ(ステップS1240)を受信する。
In step S1040, terminal 200 receives, from
ステップS1140にて、端末200のプロセッサ10は、サーバ150から受信したデータが、マスク画像を合成する指示を含むか否かを判断する。プロセッサ10は、当該データが当該指示を含むと判断すると(ステップS1140にてYES)、制御をステップS1060に切り換える。プロセッサ10は、マスク画像がコンテンツにオーバーレイされたデータを生成し(ステップS1060)、生成したデータをモニタ16に出力する(ステップS1080)。ユーザ190は、マスク画像が付された画面を見ると、その画面が仮想現実用または360度動画のコンテンツのデモ画面であることを容易に認識できる。そうでない場合には(ステップS1140にてNO)、プロセッサ10は、制御をステップS1270に切り換える。なお、マスク画像を合成する指示は、コンテンツの制作者がサーバ150にコンテンツをアップロードする際に指定することとしてもよい。すなわちコンテンツ制作者は、サーバ150にアップロードする動画が、もともとは仮想現実を提供するためのデータをキャプチャして動画データとしたものであること等を、当該マスク画像を合成する指示により、ユーザに容易に通知することができる。
In step S1140,
ステップS1270にて、プロセッサ10は、受信したデータをモニタ16又はHMD110に出力する。例えば、端末200がHMD110に装着されている場合において仮想現実用のコンテンツデータまたは360動画用のコンテンツデータを受信したとき、プロセッサ10は、サーバ150から受信したデータをHMD110に出力する。ユーザ190は、HMD110を通じて、仮想空間2に提示されるコンテンツを楽しむことができる。一方、端末200がHMD110に装着されていない場合において、2次元表示用のコンテンツデータ(仮想現実を提供するためのデータを2次元データとしてキャプチャしたものでもないデータ)を受信したとき、端末200は、サーバから受信したデータをモニタ16に出力する。モニタ16は、2次元表示用のコンテンツを通常の態様で表示する。
In step S1270,
図13を参照して、画面の表示態様について説明する。図13は、ある実施の形態に従ってモニタ16に表示される画面の推移を表わす図である。このとき、端末200はHMD110に装着されていない状態とする。
The display mode of the screen will be described with reference to FIG. FIG. 13 is a diagram showing the transition of the screen displayed on
画面(A)に示されるように、ユーザ190が端末200を操作してコンテンツを配信するサービスのサイトにアクセスすると、モニタ16は、コンテンツの選択を促す画面を表示する。端末200は、ユーザ190によって選択されたコンテンツを識別するデータと、当該コンテンツの配信要求をサーバ150に送信する。サーバ150は、その要求に応じて、コンテンツのデータを端末200に送信する。
As shown in the screen (A), when the
画面(B)に示されるように、モニタ16は、当該コンテンツが、もともと仮想現実用のコンテンツであることまたは360度動画コンテンツであることを表示し、マスク画像の使用の要否を問い合わせるメッセージを表示する。
As shown in the screen (B), the
画面(C)に示されるように、上記問合わせに対してユーザ190が「はい」を選択すると、端末200は、マスク画像がコンテンツに付加されたデータを生成する。モニタ16は、そのデータに基づいて、マスク画像1300とコンテンツの画像1310とを表示する。マスク画像1300はHMD110のゴーグルの輪郭を想起させるため、ユーザ190は、マスク画像1300を視認すると、当該コンテンツの画像1310が、もともと仮想現実用のコンテンツであることまたは360動画のコンテンツであることを容易に認識できる。
As shown in the screen (C), when the
画面(D)に示されるように、別の局面において、ユーザ190の指示を待つことなく、モニタ16は、マスク画像付きのコンテンツを表示する旨を示してもよい。
As shown in the screen (D), in another aspect, the
なお、別の局面において、端末200は、画面(B)または画面(D)のようなメッセージを示すことなく、マスク画像が付加されたコンテンツを表示してもよい(画面(C))。 In another aspect, terminal 200 may display the content to which the mask image is added without displaying a message such as screen (B) or screen (D) (screen (C)).
その後、ユーザ190が、端末200をHMD110に装着し、あるいは、仮想現実用のコンテンツまたは360度動画のコンテンツの視聴が可能なデバイスに当該コンテンツを表示させると、画面(E)に示されるように、マスク画像1300は表示されなくなり、当該コンテンツの画像1310が仮想空間2に提示される。
Thereafter, when the
上記の技術的特徴は、例えば、以下のように要約され得る。
(構成1) ある実施の形態に従うと、コンテンツを提示するためにコンピュータ(例えば、端末200、サーバ150)で実行される方法が提供される。この方法は、コンピュータのプロセッサが、コンピュータに接続されるモニタ16にコンテンツを提示するためのコンテンツデータをメモリ(例えば、メモリ11,152等)にロードするステップと、ヘッドマウントデバイスを装着するユーザに対し2次元表示以外の視聴態様が想定されるコンテンツにマスク画像1300をオーバーレイする指示を検出するステップと、指示が検出されたことに基づいて、マスク画像がオーバーレイされた状態で、2次元表示以外の視聴態様が想定されるコンテンツを、モニタ16に表示するステップとを含む。
The above technical features can be summarized as follows, for example.
(Configuration 1) According to an embodiment, there is provided a method executed by a computer (eg, terminal 200, server 150) to present content. In this method, a processor of a computer loads content data for presenting content on a
(構成2) 指示を検出するステップは、モニタ16のユーザによる入力に基づいて、2次元表示以外の視聴態様が想定されるコンテンツにマスク画像オーバーレイする指示を検出することを含む。表示するステップは、2次元表示以外の視聴態様が想定されるコンテンツにマスク画像オーバーレイすることと、マスク画像がオーバーレイされたコンテンツを表示するためのデータをモニタ16に送信することとを含む。
(Configuration 2) The step of detecting an instruction includes detecting an instruction to overlay a mask image on content assumed to be a viewing mode other than a two-dimensional display, based on an input by a user of the
(構成3) 方法は、コンピュータに接続されたサーバ150からコンテンツデータを受信するステップをさらに含む。コンテンツデータはフラグを有している。フラグは、当該コンテンツデータに基づいて提示されるコンテンツが、2次元表示以外の視聴態様が想定されるコンテンツであるか否かを表している。指示を検出するステップは、当該コンテンツは2次元表示以外の視聴態様が想定されるということがフラグによって示されていることを検出するステップを含む。表示するステップは、2次元表示以外の視聴態様が想定されるコンテンツにマスク画像をオーバーレイすることと、マスク画像がオーバーレイされたコンテンツを表示するためのデータをモニタ16に送信することとを含む。
(Configuration 3) The method further includes receiving content data from a
(構成4) 方法は、マスク画像がオーバーレイされたコンテンツのコンテンツデータを、コンピュータに接続されたサーバから受信するステップをさらに含む。表示するステップは、受信されたコンテンツデータをモニタ16に送信することを含む。
(Configuration 4) The method further includes receiving content data of content overlaid with the mask image from a server connected to the computer. The step of displaying includes transmitting the received content data to the
(構成5) 2次元表示以外の視聴態様が想定されるコンテンツデータは、仮想現実コンテンツデータ、または、360度動画コンテンツデータの少なくともいずれかを含む。 (Configuration 5) Content data that is assumed to be a viewing mode other than two-dimensional display includes at least one of virtual reality content data and 360-degree moving image content data.
(構成6) ある実施の形態に従うと、上記のいずれかの方法をコンピュータに実行させるプログラムが提供される。 (Configuration 6) According to an embodiment, there is provided a program that causes a computer to execute any of the above methods.
(構成7) ある実施の形態に従うと、情報処理装置が提供される。この情報処理装置は、上記のプログラムを格納するためのメモリと、メモリに接続され、プログラムを実行するためのプロセッサと、当該プログラムの実行結果に基づく画像を表示するためのメモリとを備える。 (Configuration 7) According to an embodiment, an information processing apparatus is provided. The information processing apparatus includes a memory for storing the program, a processor connected to the memory for executing the program, and a memory for displaying an image based on the execution result of the program.
(構成8) ある実施の形態に従うと、コンテンツを提示するためにコンピュータ(例えば、端末200、サーバ150)で実行される方法を実現するための命令を格納した一時的でないデータ記録媒体が提供される。この方法は、コンピュータのプロセッサが、コンピュータに接続されるモニタ16にコンテンツを提示するためのコンテンツデータをメモリ(例えば、メモリ11,152等)にロードするステップと、ヘッドマウントデバイスを装着するユーザに対し2次元表示以外の視聴態様が想定されているコンテンツにマスク画像1300をオーバーレイする指示を検出するステップと、指示が検出されたことに基づいて、マスク画像がオーバーレイされた状態で、2次元表示以外の視聴態様が想定されているコンテンツを、モニタ16に表示するステップとを含む。
(Configuration 8) According to an embodiment, there is provided a non-temporary data recording medium storing instructions for implementing a method executed by a computer (eg, terminal 200, server 150) to present content. The In this method, a processor of a computer loads content data for presenting content on a
以上詳述したように、本実施の形態によれば、仮想現実空間で提示されるコンテンツや360度動画のコンテンツの画像(例えば、デモ画面)のように2次元表示以外の視聴態様が想定されているコンテンツが、通常の端末200(例えば、スマートフォン、パーソナルコンピュータ等)に表示される場合、マスク画像1300も表示される。そのため、ユーザ190は、これらのコンテンツが、2次元表示以外の視聴態様が想定されているコンテンツ、例えば、HMD110において体験できる仮想現実用のコンテンツあるいは360度動画のコンテンツであることを容易に認識することができる。
As described above in detail, according to the present embodiment, viewing modes other than two-dimensional display are assumed, such as content presented in virtual reality space and 360 degree video content images (for example, demo screens). When the content being displayed is displayed on a normal terminal 200 (for example, a smartphone, a personal computer, or the like), a
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
1 仮想カメラ、2 仮想空間、5 基準視線、10,151 プロセッサ、11,152 メモリ、12 ストレージ、13 入出力インターフェイス、14,153 通信インターフェイス、15 バス、16,112 モニタ、19 ネットワーク、21 中心、22 仮想空間画像、23 視界領域、24,25 領域、26 視界画像、30 グリップ、31 フレーム、32 天面、33,34,36,37 ボタン、38 アナログスティック、100 システム、114,120 センサ、130 モーションセンサ、133,160 コントローラ、140 注視センサ、150 サーバ、190 ユーザ、200 端末、220 表示制御モジュール、221 仮想カメラ制御モジュール、222 視界領域決定モジュール、223 視界画像生成モジュール、224 基準視線特定モジュール、230 仮想空間制御モジュール、231 仮想空間定義モジュール、232 仮想オブジェクト生成モジュール、233 オーバーレイ指示検出モジュール、234 マスクオーバーレイモジュール、240 メモリモジュール、241 コンテンツデータ、242 マスク画像データ、243 ユーザ情報、250 通信制御モジュール、800 右コントローラ、810 ハンドオブジェクト、1300 マスク画像、1310 画像。
1 virtual camera, 2 virtual space, 5 reference line of sight, 10,151 processor, 11,152 memory, 12 storage, 13 input / output interface, 14,153 communication interface, 15 bus, 16,112 monitor, 19 network, 21 center, 22 virtual space image, 23 field of view, 24, 25 region, 26 field of view image, 30 grip, 31 frame, 32 top surface, 33, 34, 36, 37 button, 38 analog stick, 100 system, 114, 120 sensor, 130 Motion sensor, 133, 160 controller, 140 gaze sensor, 150 server, 190 users, 200 terminals, 220 display control module, 221 virtual camera control module, 222 view area determination module, 223 view image Generation module, 224 reference gaze identification module, 230 virtual space control module, 231 virtual space definition module, 232 virtual object generation module, 233 overlay instruction detection module, 234 mask overlay module, 240 memory module, 241 content data, 242
Claims (7)
ディスプレイにコンテンツを提示可能なコンテンツデータを、前記コンピュータのメモリにロードするステップと、
ヘッドマウントデバイスを装着するユーザに対し2次元表示以外の視聴態様が想定されるコンテンツにマスク画像をオーバーレイする指示を検出するステップと、
前記指示が検出されたことに基づいて、前記マスク画像がオーバーレイされた状態で、前記2次元表示以外の視聴態様が想定されるコンテンツをモニタに表示するステップとを含む、方法。 A computer-implemented method for presenting content comprising:
Loading content data capable of presenting content on a display into the memory of the computer;
Detecting an instruction to overlay a mask image on content assumed to be a viewing mode other than two-dimensional display for a user wearing a head-mounted device;
And displaying on the monitor content that is assumed to be a viewing mode other than the two-dimensional display in a state where the mask image is overlaid based on the detection of the instruction.
前記表示するステップは、
前記2次元表示以外の視聴態様が想定されるコンテンツに前記マスク画像オーバーレイすることと、
前記マスク画像がオーバーレイされたコンテンツを表示するためのデータを前記ディスプレイに送信することとを含む、請求項1に記載の方法。 The step of detecting the instruction includes detecting an instruction to overlay the mask image on content that is assumed to be a viewing mode other than the two-dimensional display, based on an input by a user,
The displaying step includes
Overlaying the mask image on content assumed to be a viewing mode other than the two-dimensional display;
The method of claim 1, comprising transmitting data to the display to display content overlaid with the mask image.
前記指示を検出するステップは、当該コンテンツは2次元表示以外の視聴態様が想定されているということが前記フラグによって示されていることを検出するステップを含み、
前記表示するステップは、
前記2次元表示以外の視聴態様が想定されるコンテンツに前記マスク画像をオーバーレイすることと、
前記マスク画像がオーバーレイされたコンテンツを表示するためのデータを前記モニタに送信することとを含む、請求項1に記載の方法。 Receiving the content data from a server connected to the computer, wherein the content data has a flag, and the flag indicates that the content presented based on the content data is the two-dimensional display. Indicates whether the content is supposed to be viewed other than
The step of detecting the instruction includes the step of detecting that the flag indicates that the content is assumed to be a viewing mode other than a two-dimensional display,
The displaying step includes
Overlaying the mask image on content assumed to be a viewing mode other than the two-dimensional display;
The method of claim 1, comprising: transmitting data to the monitor to display content overlaid with the mask image.
前記表示するステップは、前記受信されたコンテンツデータを前記モニタに送信することを含む、請求項1〜3のいずれかに記載の方法。 Receiving content data of content overlaid with the mask image from a server connected to the computer;
The method according to claim 1, wherein the displaying step includes transmitting the received content data to the monitor.
前記メモリに接続され、前記プログラムを実行するためのプロセッサと、
前記プログラムの実行に基づくコンテンツを表示するためのモニタとを備える、情報処理装置。 A memory for storing the program according to claim 6;
A processor connected to the memory for executing the program;
An information processing apparatus comprising: a monitor for displaying content based on execution of the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016243418A JP2018098697A (en) | 2016-12-15 | 2016-12-15 | Method executed by computer to present content, program for causing computer to execute the method, and information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016243418A JP2018098697A (en) | 2016-12-15 | 2016-12-15 | Method executed by computer to present content, program for causing computer to execute the method, and information processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018098697A true JP2018098697A (en) | 2018-06-21 |
Family
ID=62633191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016243418A Pending JP2018098697A (en) | 2016-12-15 | 2016-12-15 | Method executed by computer to present content, program for causing computer to execute the method, and information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018098697A (en) |
-
2016
- 2016-12-15 JP JP2016243418A patent/JP2018098697A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6523233B2 (en) | Information processing method, apparatus, and program for causing a computer to execute the information processing method | |
JP6298523B1 (en) | Method executed by computer to communicate through virtual space, program for causing computer to execute the method, and computer apparatus | |
JP2018072604A (en) | Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device | |
JP6227732B1 (en) | Method and apparatus for supporting input in virtual space, and program causing computer to execute the method | |
JP6495398B2 (en) | Method and program for providing virtual space, and information processing apparatus for executing the program | |
JP2018194889A (en) | Information processing method, computer and program | |
JP6368404B1 (en) | Information processing method, program, and computer | |
JP6457446B2 (en) | Method and apparatus for supporting communication in virtual space, and program for causing computer to execute the method | |
JP2019133309A (en) | Program, information processor and information processing method | |
JP2018049629A (en) | Method and device for supporting input in virtual space and program for causing computer to execute the method | |
JP6278546B1 (en) | Information processing method, apparatus, and program for causing computer to execute information processing method | |
JP6250779B1 (en) | Method executed by computer to communicate via virtual space, program causing computer to execute the method, and information processing apparatus | |
JP6382928B2 (en) | Method executed by computer to control display of image in virtual space, program for causing computer to realize the method, and computer apparatus | |
JP6779840B2 (en) | Methods and devices for assisting input in virtual space and programs that allow computers to execute such methods. | |
JP2018170013A (en) | Method executed by computer to control display of image in virtual space, program for causing computer to achieve the method, and computer device | |
JP2018032384A (en) | Method and device for assisting communication in virtual space and program enabling computer to execute method | |
JP2018101293A (en) | Method executed by computer to provide head-mounted device with virtual space, program causing computer to execute the same and computer device | |
JP6444345B2 (en) | Method and apparatus for supporting input in virtual space, and program for causing computer to execute the method | |
JP2019145120A (en) | Method of providing virtual space, program, and information processing apparatus for executing the program | |
JP2019207714A (en) | Information processing method, computer and program | |
JP2019155115A (en) | Program, information processor and information processing method | |
JP2019015972A (en) | Method for suppressing vr sickness, program for causing computer to execute the method, and information processing device | |
JP2019016358A (en) | Information processing method, program and computer | |
JP2018206353A (en) | Information processing method, apparatus, and program for implementing that information processing method in computer | |
JP2018142251A (en) | Method for providing virtual reality, program for causing computer to execute method, and information processing apparatus for executing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170306 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180201 |