JP2016149002A - Device and method for viewing content, and computer program for causing computer to control content viewing operation - Google Patents

Device and method for viewing content, and computer program for causing computer to control content viewing operation Download PDF

Info

Publication number
JP2016149002A
JP2016149002A JP2015025469A JP2015025469A JP2016149002A JP 2016149002 A JP2016149002 A JP 2016149002A JP 2015025469 A JP2015025469 A JP 2015025469A JP 2015025469 A JP2015025469 A JP 2015025469A JP 2016149002 A JP2016149002 A JP 2016149002A
Authority
JP
Japan
Prior art keywords
content
virtual
display
unit
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015025469A
Other languages
Japanese (ja)
Other versions
JP5961291B1 (en
Inventor
功淳 馬場
Naruatsu Baba
功淳 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2015025469A priority Critical patent/JP5961291B1/en
Priority to CN201680010010.0A priority patent/CN107211195B/en
Priority to PCT/JP2016/053645 priority patent/WO2016129549A1/en
Application granted granted Critical
Publication of JP5961291B1 publication Critical patent/JP5961291B1/en
Publication of JP2016149002A publication Critical patent/JP2016149002A/en
Priority to US15/376,883 priority patent/US9958937B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform zapping by remote control operation by a head operation with a HMD in an application broadcasting a television program in a virtual space.SOLUTION: There is provided a device for viewing contents comprising: a display part that displays a plurality of virtual displays arranged in a virtual space on a head-mounted display; a selection part that selects one of the virtual displays according to a movement detected by a detector included in the head-mounted display; and a reproduction part that reproduces a content associated with the selected virtual display.SELECTED DRAWING: Figure 8

Description

本発明は、コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムに関するものである。より詳細には、ユーザの頭部に装着されるヘッドマウント・ディスプレイ(HMD)を用い、頭部を動かすことによる簡単なユーザ操作を通じて、ユーザが、視界内にある仮想ディスプレイのコンテンツを視聴可能とするための装置、方法およびコンピュータ・プログラムに関するものである。   The present invention relates to an apparatus and method for viewing content, and a computer program that controls a content viewing operation by a computer. More specifically, the user can view the contents of the virtual display in the field of view through a simple user operation by moving the head using a head mounted display (HMD) mounted on the user's head. The present invention relates to an apparatus, a method, and a computer program.

ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示可能なHMDが知られる。特に、特許文献1に開示されるようなHMDでは、仮想空間に360度のパノラマ画像を表示可能である。このようなHMDは通例、各種センサ(例えば、加速度センサや角速度センサ)を備え、HMD本体の姿勢データを計測する。特に、頭部の回転角に関する情報に基づくことで、パノラマ画像の視線方向変更を可能にする。より詳細には、HMDを装着したユーザが頭部を回転させると、それに併せて360度のパノラマ画像の視線方向を変更することにより、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させる(特許文献1の段落〔0003〕,〔0033〕,〔0034〕および〔要約〕参照)。   There is known an HMD that is mounted on a user's head and can present an image in a virtual space to the user by a display or the like disposed in front of the user. In particular, an HMD as disclosed in Patent Document 1 can display a 360-degree panoramic image in a virtual space. Such an HMD typically includes various sensors (for example, an acceleration sensor and an angular velocity sensor) and measures posture data of the HMD main body. In particular, it is possible to change the line-of-sight direction of a panoramic image based on information on the rotation angle of the head. More specifically, when the user wearing the HMD rotates his / her head, the viewing direction of the 360-degree panoramic image is changed accordingly, thereby enhancing the user's sense of immersion in the video world and providing entertainment properties. (See paragraphs [0003], [0033], [0034] and [Summary] of Patent Document 1).

加えて、特許文献1には、頭部の動きによるユーザ・ジェスチャとHMDでの画面の操作(例えば、表示画面切り替え)を予め関連付けておき、頭部の傾きや加速度に基づいてユーザのジェスチャを特定した際に、該ジェスチャに関連する画面操作を実施することが開示される。これにより、ユーザがHMD装着時に手元が見えないことに起因したコントローラ操作の不便性を解消する(同文献の段落〔0080〕〜〔0083〕参照)。   In addition, in Patent Document 1, user gestures based on head movements and screen operations (for example, display screen switching) in the HMD are associated in advance, and user gestures are based on head tilt and acceleration. When identified, performing a screen operation associated with the gesture is disclosed. This eliminates the inconvenience of the controller operation due to the fact that the user cannot see the hand when wearing the HMD (see paragraphs [0080] to [0083] of the same document).

特開2013−258614号公報 しかしながら、特許文献1の上記開示は、センサにより取得される頭部動作の情報について、単に、パノラマ画像の視線方向特定のために、またはユーザ・ジェスチャの特定のために、使用しているに過ぎない。今後、HMDを使用した各種アプリケーションが数多く開発され、HMDがより広範に普及することが見込まれるが、その際に、頭部動作の情報は、上記に限られずアプリケーション起動中の様々な場面で適用されることが期待される。JP, 2013-258614, A However, the above-mentioned indication of patent documents 1 is only for specifying the line-of-sight direction of a panoramic image, or specifying a user gesture about information on head movement acquired by a sensor. , Just use. In the future, various applications using HMD will be developed, and it is expected that HMD will become more widespread. At that time, information on head movements is not limited to the above, and is applied in various situations during application startup. Is expected to be.

その一例として、仮想空間に配置されたマルチ仮想ディスプレイをHMD上に表示するアプリケーションを想定する。特に、当該仮想ディスプレイが仮想テレビであり、仮想空間内でテレビ番組を放送し、HMDを装着したユーザが視聴するようなアプリケーションを想定する。ここでは、HMD本体の頭部動作を、現実世界のテレビ番組交代等のコントローラ(リモコン)操作全般をHMDの動作で代用させることが期待される。   As an example thereof, an application that displays a multi-virtual display arranged in a virtual space on the HMD is assumed. In particular, an application is assumed in which the virtual display is a virtual television, a television program is broadcast in a virtual space, and a user wearing the HMD views the device. Here, it is expected that the operation of the head of the HMD main body is replaced by the operation of the controller (remote controller) such as a real-world television program change in general.

特に、現実世界では、ユーザがテレビ番組を視聴する際、ユーザがリモコンを操作してチャンネルを切り替える所謂ザッピングを実施ことが多々ある一方で、ユーザがHMDを装着して仮想空間に没入している場合は、ユーザは手元を観察することができず、誤ったリモコンボタン操作を生じさせることになる。非透過型のHMDを使用することにより、ユーザが全視界を覆われるような場合には、ユーザは外界を全く観察することができないから尚更である。   In particular, in the real world, when a user views a TV program, the user often performs so-called zapping for switching channels by operating a remote controller, while the user is immersed in a virtual space with an HMD. In this case, the user cannot observe his / her hand, resulting in an erroneous remote control button operation. Even more so, by using a non-transparent HMD, if the user covers the entire field of view, the user cannot observe the outside world at all.

そこで、本発明は、仮想空間に配置されたマルチ仮想ディスプレイをHMD上に表示するアプリケーションにおいて、従来のリモコン操作の代替としてHMDによる頭部動作を適用することを目的とする。特に、仮想空間のマルチ仮想テレビ環境内でテレビ番組を放送するアプリケーションにおいて、従来のリモコン操作によるザッピングをHMDの頭部動作で実施させることを目的とする。   Accordingly, an object of the present invention is to apply head movement by the HMD as an alternative to the conventional remote control operation in an application that displays a multi-virtual display arranged in a virtual space on the HMD. In particular, in an application that broadcasts a TV program in a multi-virtual TV environment in a virtual space, an object is to perform zapping by a conventional remote control operation by the head operation of the HMD.

(1)本発明のコンテンツ視聴のための装置は、仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部、ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、仮想ディスプレイの内1つを選択する選択部、および、該選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部を備えるものである。 (1) An apparatus for viewing content according to the present invention is a display unit that displays a plurality of virtual displays arranged in a virtual space on a head-mounted display, and a motion detected by a detector included in the head-mounted display. Accordingly, a selection unit that selects one of the virtual displays and a playback unit that plays back the content associated with the selected virtual display are provided.

また、本発明の装置は、上記ヘッドマウント・ディスプレイに表示された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを同時に制限付きで再生する制限付き再生部を更に備えることを特徴とする。   In addition, the apparatus of the present invention is further characterized by further comprising a restricted playback unit that simultaneously plays back the content associated with each of the plurality of virtual displays displayed on the head mounted display.

更に、本発明の装置は、上記コンテンツを制限付きで再生することが、オーディオ出力を無効化して動画コンテンツを再生することを含み、上記コンテンツを再生することが、無効化された動画コンテンツのオーディオ出力を有効化することを特徴とする。そして、上記動画コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツであることを特徴とする。   Furthermore, the apparatus of the present invention includes that the playback of the content with restriction includes invalidating the audio output and playing the moving image content, and playing the content is an audio of the invalidated moving image content. It is characterized by enabling the output. The moving image content is a television program content received through a television receiver.

加えて、本発明の装置は、上記再生されたコンテンツが所与の時間継続して再生されたかを判定する判定部、および、所与の時間継続して再生されたと判定された場合に、当該再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるコンテンツ入れ替え部を更に備えることを特徴とする。そして、上記検出器が角速度センサであり、上記検出された動きが傾きを含むことを特徴とする。
(2)本発明のコンテンツ視聴方法は、仮想空間に配置された複数の仮想ディスプレイ上で各々に関連付けられるコンテンツを制限付きで再生するステップ、仮想空間の視界に含まれ、コンテンツが制限付きで再生された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示するステップ、ヘッドマウント・ディスプレイの動きを検出するステップ、上記動きに応じて、仮想ディスプレイの内1つを選択するステップ、および、上記選択された仮想ディスプレイに関連付けられたコンテンツを再生するステップを含むものである。
In addition, the apparatus of the present invention is configured to determine whether the played content has been continuously played for a given time, and when it is determined that the content has been played continuously for a given time, It is further characterized by further comprising a content replacement unit that replaces the content being reproduced with content associated with a virtual display disposed at a predetermined position. The detector is an angular velocity sensor, and the detected movement includes an inclination.
(2) According to the content viewing method of the present invention, the step of reproducing the content associated with each of the plurality of virtual displays arranged in the virtual space with restriction, the content included in the field of view of the virtual space, and reproduction of the content with restriction Displaying the plurality of virtual displays displayed on the head mounted display, detecting the movement of the head mounted display, selecting one of the virtual displays according to the movement, and the selected Playing back the content associated with the virtual display.

また、本発明のコンテンツ視聴方法は、上記コンテンツを再生するステップでコンテンツを所与の時間継続して再生したかを判定するステップ、および、コンテンツが所与の時間継続して再生されたと判定された場合に、当該再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるステップを含み、特に、上記所定の仮想空間位置が視界の中心部であることを特徴とする。
(3)本発明のコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムは、仮想空間に配置された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを制限付きで再生する制限付き再生部、仮想空間の視界に含まれ、コンテンツが制限付きで再生された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部、ヘッドマウント・ディスプレイに具備される検出器で検出される動きに応じて、仮想ディスプレイの内1つを選択する選択部、および、上記選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部としてコンピュータを機能させるものである。
In the content viewing method of the present invention, the step of determining whether the content has been continuously played for a given time in the step of playing back the content, and determining that the content has been continuously played for the given time are determined. The content being reproduced is replaced with content associated with a virtual display arranged at a predetermined position, and in particular, the predetermined virtual space position is the center of the field of view. To do.
(3) A computer program for causing a computer to control a content viewing operation according to the present invention is a limited playback unit that plays back content associated with each of a plurality of virtual displays arranged in a virtual space, A display unit that displays a plurality of virtual displays that are included in the field of view and content is played back with restrictions, and a virtual display unit that displays the virtual display according to movement detected by a detector included in the head mounted display. The computer is caused to function as a selection unit for selecting one of them and a playback unit for playing back the content associated with the selected virtual display.

本発明によれば、HMDを装着したユーザの頭部の簡易な動作により、仮想空間におけるアプリケーションの所定の操作を実施可能とする。特に、マルチ仮想ディスプレイに対し、従来では考えられなかったザッピングの操作態様をユーザに提供することができる。より詳細には、ユーザの頭部の動きによる動作により、仮想空間に配置されたマルチ仮想ディスプレイに対して、何らのリモコン操作を必要とせずにユーザのザッピング操作を実現することができ、実世界とは異なる画面操作性をユーザに提供することができる。   According to the present invention, it is possible to perform a predetermined operation of an application in the virtual space by a simple operation of the head of the user wearing the HMD. In particular, it is possible to provide a user with a zapping operation mode that has not been considered in the past for multi-virtual displays. In more detail, the user's zapping operation can be realized on the multi-virtual display arranged in the virtual space without requiring any remote control operation by the operation by the movement of the user's head. It is possible to provide a user with a screen operability different from that of the screen.

この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。   The above and other features and advantages of the present invention will become apparent from the following more specific description of the embodiments of the invention, the accompanying drawings, and the appended claims.

図1Aは、本発明の一実施例に従った、HMDシステムの概略図である。FIG. 1A is a schematic diagram of an HMD system according to one embodiment of the present invention. 図1Bは、本発明の他の実施例に従った、HMDシステムの概略図である。FIG. 1B is a schematic diagram of an HMD system according to another embodiment of the present invention. 図2は、図1Bで使用される赤外線センサによって検知される、HMD上に仮想的に設けられた複数の検知点の概要図である。FIG. 2 is a schematic diagram of a plurality of detection points virtually provided on the HMD, which are detected by the infrared sensor used in FIG. 1B. 図3は、本発明の実施の態様による、HMDシステムのコンテンツ視聴処理を実装するための機能的構成のブロック図である。FIG. 3 is a block diagram of a functional configuration for implementing content viewing processing of the HMD system according to an embodiment of the present invention. 図4は、本発明の実施の態様による、HMDを装着しているユーザの頭部を中心に規定される3次元空間上の直交座標系を示す。FIG. 4 shows an orthogonal coordinate system in a three-dimensional space defined around the head of the user wearing the HMD according to an embodiment of the present invention. 図5Aは、本発明の実施の態様による、仮想空間におけるユーザと仮想ディスプレイの一配置例を示す立体概要図である。FIG. 5A is a three-dimensional schematic diagram illustrating an arrangement example of a user and a virtual display in a virtual space according to an embodiment of the present invention. 図5Bは、本発明の実施の態様による、仮想空間におけるユーザと仮想ディスプレイの他の配置例を示す立体概要図である。FIG. 5B is a three-dimensional schematic diagram illustrating another arrangement example of the user and the virtual display in the virtual space according to the embodiment of the present invention. 図6は、本発明の実施の態様による、仮想空間における仮想ディスプレイのコンテンツ表示例を示す一例の平面概要図である。FIG. 6 is a schematic plan view of an example showing a content display example of a virtual display in a virtual space according to an embodiment of the present invention. 図7は、本発明の実施の態様による、仮想空間における仮想ディスプレイのコンテンツ表示例を示す他の例の平面概要図である。FIG. 7 is a schematic plan view of another example showing a content display example of the virtual display in the virtual space according to the embodiment of the present invention. 図8は、本発明の実施の態様による、コンテンツ視聴部における機能的構成のブロック図である。FIG. 8 is a block diagram of a functional configuration in the content viewing unit according to the embodiment of the present invention. 図9は、本発明の実施の態様による、コンテンツ視聴に関す処理の流れを示すフロー図である。FIG. 9 is a flowchart showing a flow of processing related to content viewing according to the embodiment of the present invention. 図10は、本発明の実施の態様による、コンテンツ視聴アプリケーションで実装された一例の画面イメージである。FIG. 10 is an example screen image implemented in a content viewing application according to an embodiment of the present invention. 図11は、本発明の実施の態様による、コンテンツ視聴アプリケーションで実装された他の例の画面イメージである。FIG. 11 is a screen image of another example implemented in a content viewing application according to an embodiment of the present invention.

以下、図面を参照して、本発明の実施の形態による、コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。   Hereinafter, an apparatus and method for viewing content and a computer program that causes a computer to control content viewing operations according to embodiments of the present invention will be described with reference to the drawings. In the figure, the same components are denoted by the same reference numerals.

図1Aは、本発明の第1実施例による、ヘッドマウント・ディスプレイ(以下、「HMD」と称する。)を用いたHMDシステム100の概略図である。図示のようにHMDシステム100は、ディスプレイ112およびセンサ114を搭載するHMD110、並びに制御回路部120を備える。HMD110が具備するディスプレイ112は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ112に表示される画面のみを観察することができる。非透過型のHMD110を装着したユーザは、外界の視界を全て失うため、制御回路部120において実行されるアプリケーションにより表示される仮想空間に完全に没入することになる。   FIG. 1A is a schematic diagram of an HMD system 100 using a head mounted display (hereinafter referred to as “HMD”) according to a first embodiment of the present invention. As illustrated, the HMD system 100 includes an HMD 110 on which a display 112 and a sensor 114 are mounted, and a control circuit unit 120. The display 112 included in the HMD 110 is a non-transmissive display device configured to completely cover the user's field of view, and the user can observe only the screen displayed on the display 112. Since the user wearing the non-transmissive HMD 110 loses all of the external field of view, the user is completely immersed in the virtual space displayed by the application executed in the control circuit unit 120.

制御回路部120は、コンテンツ視聴装置として、HMD110内部に搭載してもよく、また、HMD110に搭載せずに別のハードウェア(例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ)として構成してもよい。更に、制御回路部120は、コンテンツ視聴装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をHMD110側、またはネットワークを通じたサーバ・コンピュータ(図示せず)側に実装してもよい。   The control circuit unit 120 may be installed inside the HMD 110 as a content viewing device, or may be configured as another hardware (for example, a known personal computer or a server computer via a network) without being installed in the HMD 110. Also good. Furthermore, the control circuit unit 120 can implement all or part of the functions of the content viewing apparatus. When only a part is mounted, the remaining functions may be mounted on the HMD 110 side or the server computer (not shown) side through the network.

HMD110が具備するセンサ114は、ディスプレイ112近辺に固定される。センサ114は、地磁気センサ、加速度センサ、および/または角速度(ジャイロ)センサを含み、これらの1つ以上を通じて、ユーザの頭部に装着されたHMD110(ディスプレイ112)の各種動きを検出することができる。特に角速度センサの場合には、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検出し、各軸回りの角度(傾き)の時間変化を決定することができる(図4において後述)。   The sensor 114 included in the HMD 110 is fixed near the display 112. The sensor 114 includes a geomagnetic sensor, an acceleration sensor, and / or an angular velocity (gyro) sensor, and can detect various movements of the HMD 110 (display 112) attached to the user's head through one or more of them. . In particular, in the case of an angular velocity sensor, the angular velocity around the three axes of the HMD 110 can be detected over time according to the movement of the HMD 110, and the time change of the angle (tilt) around each axis can be determined (in FIG. 4). Later).

図1Bは、本発明の第2実施例による、HMDシステム100’の概略図である。第1実施例の図1Aと比較すると、本実施例では、制御回路部120に通信可能に接続される赤外線センサ130を備える点で異なる。また、HMD110は図1Aのセンサ114を備えてもよいし、備えなくてもよい。赤外線センサ130はポジショントラッキング機能を有する。   FIG. 1B is a schematic diagram of an HMD system 100 'according to a second embodiment of the present invention. Compared with FIG. 1A of the first embodiment, this embodiment is different in that an infrared sensor 130 connected to the control circuit unit 120 so as to be communicable is provided. Further, the HMD 110 may or may not include the sensor 114 of FIG. 1A. The infrared sensor 130 has a position tracking function.

図2に例示的に示すように、HMD110上に仮想的に設けられ、赤外線を検知する複数の検知点についての実空間内での位置をユーザの動きに対応して経時的に検出する。そして、赤外線センサ130により検出された実空間内での位置の経時的変化に基づいて、HMD110の動きに応じた各軸回りの角度の時間変化を決定することができる。   As exemplarily shown in FIG. 2, positions in a real space of a plurality of detection points that are virtually provided on the HMD 110 and detect infrared rays are detected over time corresponding to the movement of the user. Then, based on the temporal change of the position in the real space detected by the infrared sensor 130, the time change of the angle around each axis according to the movement of the HMD 110 can be determined.

なお、図1Aおよび図1Bには図示していないが、HMD110はヘッドホン116を内蔵することができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100,100’はいずれかの要素にテレビジョン受像機115を具備することができる。また、HMD110のコントローラとして、ユーザにより保持される公知のスマートフォン等の携帯端末を使用できる。コントローラは制御回路部120に通信可能に接続することができる。   Although not shown in FIGS. 1A and 1B, the HMD 110 can incorporate headphones 116. In addition, in order to receive a broadcast of a television program on a virtual television in a virtual space, the HMD system 100, 100 'can include a television receiver 115 in any element. Moreover, as a controller of the HMD 110, a portable terminal such as a known smartphone held by the user can be used. The controller can be communicably connected to the control circuit unit 120.

図3は、本発明の各実施例による、HMDシステム100/100’においてコンテンツ視聴処理を実施するために実装される上記制御回路装置120が有する主要機能のブロック図である。制御回路部120は、視界生成部210、動き検出部220およびコンテンツ視聴部230を備え、空間情報格納部250やコンテンツ情報格納部260等の各種テーブルと相互作用する。   FIG. 3 is a block diagram of the main functions of the control circuit device 120 implemented to perform content viewing processing in the HMD system 100/100 'according to each embodiment of the present invention. The control circuit unit 120 includes a view field generation unit 210, a motion detection unit 220, and a content viewing unit 230, and interacts with various tables such as the spatial information storage unit 250 and the content information storage unit 260.

視界生成部210は、空間情報格納部250に格納された3次元仮想空間情報、およびセンサ114/130から取得した視野方向の検出情報に基づいて、3次元仮想空間に没入したユーザから見える視界を生成する。当該視界は、360度パノラマ画像の一部とすることができる。   The visual field generation unit 210 generates a visual field that can be seen by a user who is immersed in the three-dimensional virtual space based on the three-dimensional virtual space information stored in the spatial information storage unit 250 and the visual field direction detection information acquired from the sensor 114/130. Generate. The field of view can be part of a 360 degree panoramic image.

動き検出部220は、センサ114/130からの動き情報の入力に基づいて、ユーザの頭部に装着されたHMD110の動きデータを測定する。本発明の実施の形態では、特に、角速度(ジャイロ)センサにより経時的に検出された角度情報データを決定する。   The motion detection unit 220 measures motion data of the HMD 110 attached to the user's head based on input of motion information from the sensor 114/130. In the embodiment of the present invention, in particular, angle information data detected over time by an angular velocity (gyro) sensor is determined.

ここで、図4を参照して、角度情報データについて説明する。図示のように、HMDを装着したユーザの頭部を中心として、XYZ座標を規定する。ユーザが直立する垂直方向をY軸とし、Y軸と直交しディスプレイ112の中心とユーザを結ぶ方向をZ軸とし、Y軸およびZ軸と直交する方向の軸をX軸とする。角速度(ジャイロ)センサでは、各軸回りの角度(即ち、Y軸を軸とした回転を示すヨー角、X軸を軸とした回転を示すピッチ角、Z軸を軸とした回転を示すロール角で決定される傾き)を検出し、その経時的な変化により、動き検出部220が視界情報として角度(傾き)情報データを決定する。   Here, the angle information data will be described with reference to FIG. As shown in the figure, XYZ coordinates are defined around the head of the user wearing the HMD. The vertical direction in which the user stands upright is the Y axis, the direction orthogonal to the Y axis and connecting the center of the display 112 and the user is the Z axis, and the Y axis and the axis perpendicular to the Z axis are the X axes. In an angular velocity (gyro) sensor, an angle around each axis (that is, a yaw angle indicating rotation about the Y axis, a pitch angle indicating rotation about the X axis, and a roll angle indicating rotation about the Z axis) Is detected), and the motion detection unit 220 determines angle (tilt) information data as view information based on the change over time.

図3に戻り、コンテンツ視聴部230では、コンテンツ情報格納部260に格納されたコンテンツ情報および動き検出部220で決定した傾きの角度に基づいて、3次元仮想空間に配置した複数の仮想ディスプレイの内1つを特定し、そのコンテンツを再生して、ディスプレイ112およびヘッドホン116に出力する。なお、当該コンテンツは、静止画や動画、音声等、如何なる形式にもすることができる。特に、テレビジョン受像機115で受診したテレビ番組の動画コンテンツとするのがよい。   Returning to FIG. 3, in the content viewing unit 230, among the plurality of virtual displays arranged in the three-dimensional virtual space based on the content information stored in the content information storage unit 260 and the inclination angle determined by the motion detection unit 220. One is specified, the content is reproduced and output to the display 112 and the headphones 116. Note that the content can be in any format such as a still image, a moving image, or audio. In particular, it may be a moving image content of a television program that has been examined by the television receiver 115.

なお図3において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される(後記する図9についても同様である)。   In FIG. 3, each element described as a functional block for performing various processes can be configured by a CPU, a memory, and other integrated circuits in terms of hardware, and loaded into the memory in terms of software. It is realized by various programs. Therefore, it is understood by those skilled in the art that these functional blocks can be realized by hardware, software, or a combination thereof (the same applies to FIG. 9 described later).

これより図5A以降を参照して、上記コンテンツ視聴部230により実施されるコンテンツ視聴処理について説明する。図5Aおよび図5Bは、3次元仮想空間に没入したユーザ1と仮想ディスプレイ2の配置例をそれぞれ示す。点線で囲まれる各仮想ディスプレイ2は、全天球の球面3に設けられ、コンテンツA〜Iを表示している。そして、図6に示すように、ユーザ1の視界はコンテンツA〜Iの各ディスプレイが含まれ、ユーザ1は現在、頭部を回転させてHMDを傾けることにより、コンテンツAの方向を向いている(「×」印)。   The content viewing process performed by the content viewing unit 230 will now be described with reference to FIG. FIGS. 5A and 5B show examples of arrangement of the user 1 and the virtual display 2 immersed in the three-dimensional virtual space, respectively. Each virtual display 2 surrounded by a dotted line is provided on the spherical surface 3 of the omnidirectional sphere, and displays the contents A to I. As shown in FIG. 6, the field of view of the user 1 includes each display of the contents A to I, and the user 1 is currently facing the direction of the content A by rotating the head and tilting the HMD. ("X" sign).

ここで、図5Aと図5Bは、ユーザが球体の中心に位置するか、中心から離れて位置するかの点で異なる。なお、図5Aは、図1Aに示した第1実施例のHMDシステム100を採用した場合、図5Bは、図1Bの第2実施例のHMDシステム100’を採用した場合に相当する。つまり、図1Bの第2実施例のように赤外線センサ130によるポジショントラッキングを実施する場合は、球体の中心にユーザを位置する必要はなく、ユーザは、赤外線センサ130とHMD110の位置関係に基づいて、球体内の平面上を移動可能である。   Here, FIGS. 5A and 5B differ in that the user is located at the center of the sphere or away from the center. 5A corresponds to the case where the HMD system 100 of the first embodiment shown in FIG. 1A is adopted, and FIG. 5B corresponds to the case where the HMD system 100 'of the second embodiment shown in FIG. 1B is adopted. That is, when position tracking by the infrared sensor 130 is performed as in the second embodiment of FIG. 1B, it is not necessary to position the user at the center of the sphere, and the user is based on the positional relationship between the infrared sensor 130 and the HMD 110. It can move on a plane inside the sphere.

図5Aおよび図5Bに示すように、3次元仮想空間の半径Rの全天球の球面3に複数の仮想ディスプレイが配置される。より詳細には、球面に沿うように複数の格子2が設けられ、当該格子上に9つ(3×3)の仮想ディスプレイ(仮想テレビ)が整列して配置されている。そして、ユーザの視野に含まれる全ての仮想ディスプレイに関連付けられたコンテンツ(コンテンツA〜I)が同時に制限付きで再生されている。   As shown in FIGS. 5A and 5B, a plurality of virtual displays are arranged on the spherical surface 3 of the omnidirectional sphere having a radius R in the three-dimensional virtual space. More specifically, a plurality of grids 2 are provided along the spherical surface, and nine (3 × 3) virtual displays (virtual televisions) are arranged in alignment on the grid. Then, the contents (contents A to I) associated with all the virtual displays included in the user's field of view are simultaneously reproduced with restrictions.

制限付きの再生とは、一例として、コンテンツが音声付きの映像である場合に、ビジュアル・コンテンツのみを再生し、オーディオ・コンテンツは無効化(ミュート)するような態様である。図示のように、HMDを装着したユーザには、9つの仮想テレビのコンテンツA〜Iのビジュアル・コンテンツが同時に見えている。   As an example, the limited playback is a mode in which, when the content is a video with audio, only the visual content is played and the audio content is invalidated (muted). As shown in the figure, the user wearing the HMD can simultaneously see the visual contents of the contents A to I of the nine virtual TVs.

次いで、ユーザは、頭部を回転させ、即ちHMDを傾けることにより、上記9つの仮想テレビの内何れかを特定することができる。上記のように、図5Aおよび図5Bでは、左上の格子に配置された仮想テレビの方向にHMDを傾け、特定の方向を指向することにより、図6に示す格子#1(1)に配置された仮想テレビが特定されている。図6に示す「×」印はHMDが指向する上記格子上の点を示すが、実際にHMDに表示しても、非表示としても何れでもよい。   Next, the user can specify any of the nine virtual televisions by rotating the head, that is, tilting the HMD. As described above, in FIGS. 5A and 5B, the HMD is tilted in the direction of the virtual television arranged in the upper left lattice and oriented in a specific direction, thereby being arranged in the lattice # 1 (1) shown in FIG. Virtual TV has been identified. The “x” marks shown in FIG. 6 indicate the points on the grid to which the HMD is directed, but they may be actually displayed on the HMD or not displayed.

図6に示すように格子#1(1)の仮想テレビが特定され、該仮想テレビが太枠と網掛けで活性表示されると、そのコンテンツAが(制限なしで)再生される。即ち、現在、コンテンツAは、ビジュアル・コンテンツのみならず、オーディオ・コンテンツも再生されている状態となる。なお、その間コンテンツB〜Iは、引き続きビジュアル・コンテンツのみが制限付き再生されている。   As shown in FIG. 6, when a virtual television of lattice # 1 (1) is specified and the virtual television is activated and displayed with a thick frame and shading, the content A is reproduced (without restriction). That is, at present, the content A is in a state where not only visual content but also audio content is being reproduced. In the meantime, as for the contents B to I, only the visual contents are continuously reproduced with restrictions.

このように、ユーザは、装着したHMDを傾けて、何れかの仮想テレビを指向して特定することを通じて、オーディオ・コンテンツを逐次切り替えることができる。つまり、仮想空間に配置されたマルチ仮想ディスプレイに対するユーザのザッピング操作を、何らのリモコン操作を必要としない、HMDを傾ける動作のみによって実現可能となる。   In this way, the user can sequentially switch the audio content by tilting the mounted HMD and pointing to any one of the virtual televisions. That is, the user's zapping operation on the multi-virtual display arranged in the virtual space can be realized only by the operation of tilting the HMD without requiring any remote control operation.

本発明の実施の形態によれば、更に、ユーザが図6のコンテンツAを視聴した状態を一定時間継続した場合、図7の状態に移行させることができる。より詳細には、図示のように、コンテンツAを、ユーザの視界の中心部に相当する格子#2(2)での表示に移行する。その代わり、それまで格子#2(2)の仮想ディスプレイで制限付き再生されていたコンテンツEを格子#1(1)の仮想ディスプレイでの表示に移行することにより、コンテンツの入れ替えを行う。当該移行処理は、一定時間視聴状態が継続されると、ユーザはザッピングから視聴動作に状態遷移しているものと想定でき、視界の中心部に視聴コンテンツを表示すべきであるという考察に基づく。   According to the embodiment of the present invention, when the user continues to watch the content A of FIG. 6 for a certain period of time, the state can be shifted to the state of FIG. More specifically, as shown in the figure, the content A is shifted to display on the grid # 2 (2) corresponding to the center of the user's field of view. Instead, the content is replaced by shifting the content E that has been reproduced with restriction on the virtual display of the lattice # 2 (2) to the display on the virtual display of the lattice # 1 (1). The transition processing is based on the consideration that if the viewing state continues for a certain period of time, the user can assume that the state transitions from zapping to viewing operation, and viewing content should be displayed at the center of the field of view.

上記図5A〜図7で説明してきたコンテンツ視聴に関する処理の詳細について、これより図8および図9を参照して説明する。図8は、図3で説明したコンテンツ視聴部230を構成する詳細な機能ブロック図である。一方、図9は、コンテンツ視聴処理に関する詳細なフロー図である。図8に示すように、コンテンツ視聴部230は、ビジュアル・コンテンツ(制限付きコンテンツ)再生部301およびオーディオ・コンテンツ再生部302を含むコンテンツ再生部300、仮想ディスプレイ選択部303、コンテンツ視聴判定部304、並びにコンテンツ入替部305を備える。   Details of the processing related to content viewing described with reference to FIGS. 5A to 7 will be described with reference to FIGS. 8 and 9. FIG. 8 is a detailed functional block diagram of the content viewing unit 230 described with reference to FIG. On the other hand, FIG. 9 is a detailed flowchart regarding content viewing processing. As shown in FIG. 8, the content viewing unit 230 includes a content playback unit 300 including a visual content (restricted content) playback unit 301 and an audio content playback unit 302, a virtual display selection unit 303, a content viewing determination unit 304, In addition, a content replacement unit 305 is provided.

ビジュアル・コンテンツ再生部301は、HMDに表示された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツについて、同時に、ビジュアル・コンテンツのみの制限付き再生を行う。特に、テレビジョン受像機を通じて受信されるテレビ番組の動画コンテンツに対し、オーディオ・コンテンツを無効化(即ち、ミュート)して、ビジュアル・コンテンツのみを再生する。   The visual content playback unit 301 performs limited playback of only the visual content at the same time for the content associated with each of the plurality of virtual displays displayed on the HMD. In particular, the audio content is invalidated (that is, muted) with respect to the moving image content of the television program received through the television receiver, and only the visual content is reproduced.

オーディオ・コンテンツ再生部302は、仮想ディスプレイ選択部303で選択される仮想ディスプレイに関連付けられ、ビジュアル・コンテンツ再生部301で無効化されたオーディオ・コンテンツを有効化することにより、コンテンツ全体を再生する。即ち、コンテンツ再生部300は、ビジュアル・コンテンツ再生部301で再生されている複数のオーディオ・コンテンツ、およびオーディオ・コンテンツ再生部302で再生されている1つのオーディオ・コンテンツを重畳させて、出力部306に出力し、ユーザに視聴させる。   The audio content reproduction unit 302 reproduces the entire content by enabling the audio content associated with the virtual display selected by the virtual display selection unit 303 and invalidated by the visual content reproduction unit 301. That is, the content playback unit 300 superimposes a plurality of audio contents played back by the visual content playback unit 301 and one audio content played back by the audio content playback unit 302, and outputs the output unit 306. And let the user watch.

仮想ディスプレイ選択部303では、HMDが具備するセンサ(114/130)で検出される動きに応じて、仮想ディスプレイの内1つを選択する。より詳細には、上述のように、センサは角速度センサとすることができ、検出されたHMDの動きが傾きを含む。そして、図5A〜図6のように、全天球の球面3上において、HMDの傾きおよび位置に従って、複数の格子2(#1(1)〜#3(3))の中から1つの格子を特定することにより、その格子上の仮想ディスプレイを選択する。   The virtual display selection unit 303 selects one of the virtual displays according to the movement detected by the sensor (114/130) included in the HMD. More specifically, as described above, the sensor can be an angular velocity sensor, and the detected movement of the HMD includes a tilt. Then, as shown in FIGS. 5A to 6, on the spherical surface 3 of the omnidirectional sphere, one lattice is selected from the plurality of lattices 2 (# 1 (1) to # 3 (3)) according to the inclination and position of the HMD. By specifying the virtual display on the grid is selected.

コンテンツ視聴判定部304は、オーディオ・コンテンツ再生部302において、有効化して再生されたオーディオ・コンテンツについて、ユーザが一定時間継続して視聴したかを判定する。即ち、そのコンテンツが所与の時間継続して再生されたかを判定する。コンテンツが所与の時間継続して再生されたということは、ユーザの動作がザッピングから視聴モードに移行ものと判定することを意味する。   The content viewing determination unit 304 determines whether the user has continuously viewed the audio content that has been validated and reproduced by the audio content reproduction unit 302 for a certain period of time. That is, it is determined whether or not the content has been played continuously for a given time. The fact that the content has been continuously played for a given time means that the user's operation is determined to be shifted from the zapping mode to the viewing mode.

その場合、コンテンツ入替部305において、再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替え、そして出力部306に出力する。特に、視界中心部に相当する格子上のディスプレイのコンテンツと入れ替えるとよい。最後に、出力部306では、仮想空間に配置された複数の仮想ディスプレイのビジュアル・コンテンツをHMDのディスプレイ112に、オーディオ・コンテンツはHMDのヘッドホン115に出力する。   In that case, the content replacement unit 305 replaces the content being played back with the content associated with the virtual display arranged at a predetermined position, and outputs it to the output unit 306. In particular, it may be replaced with the content of the display on the lattice corresponding to the center of the field of view. Finally, the output unit 306 outputs the visual contents of a plurality of virtual displays arranged in the virtual space to the HMD display 112 and the audio contents to the HMD headphones 115.

次に図9に示すように、コンテンツ視聴に関する処理は、HMD110およびコンテンツ視聴装置120との間の相互作用によって実施される。最初にステップS201では、アプリケーション上でコンテンツ視聴モードをオンにして、仮想空間の視界を決定する。これにより、HMDを装着したユーザは図5A〜図6の状態となる。ステップS202では、視界内に配置されている(格子#1(1)〜#3(3)の)全ての仮想テレビのビジュアル・コンテンツをビジュアル・コンテンツ再生部301で制限付き再生して、出力部306に出力する。   Next, as shown in FIG. 9, processing related to content viewing is performed by interaction between the HMD 110 and the content viewing device 120. First, in step S201, the content viewing mode is turned on on the application, and the field of view of the virtual space is determined. As a result, the user wearing the HMD is in the state shown in FIGS. In step S202, the visual contents of all virtual televisions (lattice # 1 (1) to # 3 (3)) arranged in the field of view are reproduced with restrictions by the visual contents reproducing unit 301, and the output unit To 306.

ステップS101では、図6に示したように、HMD110は、出力部306に出力された視界内の全ての仮想テレビの再生されたビジュアル・コンテンツを表示する。ビジュアル・コンテンツが表示されている間、HMD110はまた、ステップS102においてセンサ114/130からHMDの動き情報を取得して、コンテンツ視聴装置120に当該情報を供給する。特に、角速度センサ114による頭部の回転(傾き)情報データおよび/または赤外線センサ130による仮想空間内の位置情報データを取得する。   In step S <b> 101, as shown in FIG. 6, the HMD 110 displays the reproduced visual content of all virtual televisions in the field of view output to the output unit 306. While the visual content is displayed, the HMD 110 also acquires HMD motion information from the sensor 114/130 in step S102 and supplies the information to the content viewing apparatus 120. In particular, head rotation (tilt) information data by the angular velocity sensor 114 and / or position information data in the virtual space by the infrared sensor 130 are acquired.

動き情報を取得したコンテンツ視聴装置120では、ステップS203において、仮想ディスプレイ選択部303により、動き情報に基づいて、ターゲットとなる仮想ディスプレイを特定し選択する。   In the content viewing apparatus 120 that acquired the motion information, in step S203, the virtual display selection unit 303 identifies and selects a target virtual display based on the motion information.

より詳細には、一例として、図4に示した角速度センサによる頭部の回転情報に含まれる、ヨー角、ピッチ角、およびロール角から決定されるHMDの傾きデータ、並びに任意で赤外線センサ130による仮想空間内の位置情報データを使用して、HMDの傾き方向(図5A,図5Bの矢印)のベクトルが半径Rの球体表面3と交わる交点の絶対位置座標を計算する。そして、計算した絶対位置座標が球体面のどの格子の領域にあるかを判断することによって、1つの格子が特定され、格子上のディスプレイが特定される。格子とディスプレイの関連付けは、例えば、コンテンツ情報格納部260にテーブルとして格納しておくのがよい。   More specifically, as an example, the HMD inclination data determined from the yaw angle, pitch angle, and roll angle included in the rotation information of the head by the angular velocity sensor shown in FIG. The position information data in the virtual space is used to calculate the absolute position coordinates of the intersection where the vector of the HMD tilt direction (arrow in FIGS. 5A and 5B) intersects the spherical surface 3 having the radius R. Then, by determining which grid area of the spherical surface the calculated absolute position coordinate is, one grid is specified, and the display on the grid is specified. The association between the grid and the display is preferably stored in the content information storage unit 260 as a table, for example.

ステップS203でターゲット仮想ディスプレイが特定されると、次いで、コンテンツ視聴装置120は、コンテンツ再生部300において当該ターゲット仮想ディスプレイのコンテンツを再生する。ここでは、オーディオ・コンテンツ再生部302においてステップS202では無効化されていたターゲット仮想ディスプレイのオーディオ・コンテンツを有効化して再生する。   When the target virtual display is specified in step S <b> 203, the content viewing device 120 then plays back the content of the target virtual display in the content playback unit 300. Here, the audio content reproduction unit 302 validates and reproduces the audio content of the target virtual display that has been invalidated in step S202.

ステップS204以降、HMD110では、ステップS103で継続的にHMDの動き情報を取得しコンテンツ視聴装置に供給する。一方、コンテンツ視聴装置120では、ステップS205で、コンテンツ視聴判定部304においてどれくらいの時間、ターゲット仮想ディスプレイのコンテンツが継続再生されたかをモニタすると共に、所定の時間にわたり継続再生されたかを判定する。所定の時間継続して再生された場合には、ステップS206で、ユーザの動作がザッピングから視聴モードに移行したものと判定して、ターゲット仮想ディスプレイのコンテンツをメイン仮想ディスプレイに表示すべく、ターゲット仮想ディスプレイのコンテンツと、視界の中心に相当する球面3上の格子のメイン仮想ディスプレイのコンテンツとを入れ替える(図7も参照)。   After step S204, the HMD 110 continuously acquires HMD motion information in step S103 and supplies it to the content viewing apparatus. On the other hand, in step S205, the content viewing apparatus 120 monitors how long the content on the target virtual display has been continuously reproduced by the content viewing determination unit 304 and determines whether or not the content has been continuously reproduced for a predetermined time. If it has been played continuously for a predetermined time, it is determined in step S206 that the user's action has shifted from zapping to viewing mode, and the target virtual display content is displayed on the main virtual display in order to display the target virtual display. The contents of the display are replaced with the contents of the main virtual display of the lattice on the spherical surface 3 corresponding to the center of the field of view (see also FIG. 7).

なお、メイン仮想ディスプレイは、図7の例に限定されない。例えば、視界の中心を含む複数の格子(例えば4つ)を用いて、メイン仮想ディスプレイの配置領域として構成してもよい。また、ステップS206の移行処理では、ターゲット仮想ディスプレイとメイン仮想ディスプレイの各コンテンツを入れ替える処理に限定されない。例えば、図6に示す格子#1(1)と#2(2)以外の格子のコンテンツについても入れ替えを行ったり、順にスライドさせたり、回転させたりしてもよい。
画面表示例
上記を踏まえて、図10および図11に、本発明の実施の態様に基づいて実装された、HMDに表示される画面例を示す。図10では、3次元仮想空間上に6つの仮想ディスプレイが「一覧モード」として表示され、そして、各仮想ディスプレイにおいてビジュアル・コンテンツが制限付き再生されている。
The main virtual display is not limited to the example of FIG. For example, a plurality of grids (for example, four) including the center of the field of view may be used to configure the arrangement area of the main virtual display. Further, the migration process in step S206 is not limited to the process of replacing each content of the target virtual display and the main virtual display. For example, the contents of the grids other than the grids # 1 (1) and # 2 (2) shown in FIG. 6 may be interchanged, sequentially slid, or rotated.
Example of Screen Display Based on the above, FIGS. 10 and 11 show examples of screens displayed on the HMD implemented based on the embodiment of the present invention. In FIG. 10, six virtual displays are displayed as “list mode” on the three-dimensional virtual space, and visual contents are reproduced with restrictions on each virtual display.

この状態では、HMDは、下行中心の仮想ディスプレイ方向を指向しており、これをターゲット仮想ディスプレイとして選択している。一定時間、当該ターゲット仮想ディスプレイに対してHMDの傾きを維持すると、図11の「視聴モード」画面への切り替えが実施され、ターゲット仮想ディスプレイが、中央のメイン・ディスプレイ部分に移行され、そのコンテンツが大きく表示されると共に、オーディオ・コンテンツも再生される。「視聴モード」画面では、メイン・ディスプレイ以外のコンテンツは、メイン部の周辺のサブ・ディスプレイ部分に配置され、コンテンツがサブ仮想ディスプレイとして制限付き再生され表示される。ユーザがHMDを更に傾けて、サブ・ディスプレイのいずれかを指向し、一定時間経過した場合には、今度は、指向したサブ・ディスプレイのコンテンツがメイン・ディスプレイのコンテンツと入れ替わることになる。   In this state, the HMD is directed toward the virtual display direction centered on the descending line, and this is selected as the target virtual display. When the inclination of the HMD is maintained with respect to the target virtual display for a certain period of time, switching to the “viewing mode” screen of FIG. 11 is performed, the target virtual display is moved to the central main display portion, and the content is The audio content is played back as well as being displayed larger. In the “viewing mode” screen, content other than the main display is arranged in the sub display portion around the main portion, and the content is reproduced and displayed as a sub virtual display with restriction. If the user further tilts the HMD and points to one of the sub-displays and a certain time elapses, the content of the sub-display that has been pointed is replaced with the content of the main display.

このように、ユーザは、装着したHMDを何れかの仮想ディスプレイを指向するように傾けることで、1つの仮想ディスプレイを特定することにより、オーディオ・コンテンツを逐次切り替えることができる。つまり、仮想空間に配置されたマルチ仮想ディスプレイに対するユーザのザッピングを、何らのリモコン操作を必要とせず、HMDを傾ける動作のみにより実現することができ、実世界とは異なる画面操作性をユーザに提供することができる。   In this way, the user can sequentially switch the audio contents by specifying one virtual display by tilting the attached HMD so as to point to any virtual display. In other words, the user's zapping for the multi-virtual display arranged in the virtual space can be realized only by the operation of tilting the HMD without any remote control operation, providing the user with a screen operability different from the real world. can do.

以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the appended claims.

1 仮想空間没入ユーザ
2 格子
3 球面
100,100’ HMDシステム
110 HMD
112 ディスプレイ
114 センサ
115 テレビジョン受像機
116 ヘッドホン
120 制御回路部
130 赤外線センサ
210 視界生成部
220 動き検出部
230 コンテンツ視聴部
250 空間情報格納部
260 コンテンツ情報格納部
300 コンテンツ再生部
301 ビジュアル・コンテンツ再生部
302 オーディオ・コンテンツ再生部
303 仮想ディスプレイ選択部
304 コンテンツ視聴判定部
305 コンテンツ入替部
306 出力部
1 Virtual space immersive user 2 Grid 3 Spherical surface 100, 100 'HMD system 110 HMD
DESCRIPTION OF SYMBOLS 112 Display 114 Sensor 115 Television receiver 116 Headphone 120 Control circuit part 130 Infrared sensor 210 View field generation part 220 Motion detection part 230 Content viewing part 250 Spatial information storage part 260 Content information storage part 300 Content reproduction part 301 Visual content reproduction part 302 Audio / Content Playback Unit 303 Virtual Display Selection Unit 304 Content Viewing Determination Unit 305 Content Replacement Unit 306 Output Unit

Claims (16)

仮想空間に配置された複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部と、
前記ヘッドマウント・ディスプレイが具備する検出器で検出される動きに応じて、前記仮想ディスプレイの内1つを選択する選択部と、
前記選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部と
を備える、コンテンツ視聴のための装置。
A display unit for displaying a plurality of virtual displays arranged in a virtual space on a head-mounted display;
A selection unit for selecting one of the virtual displays according to a motion detected by a detector included in the head-mounted display;
A device for viewing content, comprising: a playback unit that plays back content associated with the selected virtual display.
前記ヘッドマウント・ディスプレイに表示された前記複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを同時に制限付きで再生する制限付き再生部を更に備える、請求項1記載の装置。   The apparatus according to claim 1, further comprising: a restricted playback unit that simultaneously plays the content associated with each of the plurality of virtual displays displayed on the head mounted display with a restriction. 前記コンテンツを制限付きで再生することが、オーディオ出力を無効化して動画コンテンツを再生することを含み、
前記コンテンツを再生することが、前記無効化された動画コンテンツの前記オーディオ出力を有効化することを含む、請求項2記載の装置。
Playing the content with restrictions includes disabling audio output and playing video content;
The apparatus of claim 2, wherein playing the content comprises enabling the audio output of the disabled video content.
前記動画コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツである、請求項2記載の装置。   The apparatus of claim 2, wherein the moving image content is television program content received through a television receiver. 前記再生されたコンテンツが所与の時間継続して再生されたかを判定する判定部と、
所与の時間継続して再生されたと判定された場合に、前記再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるコンテンツ入れ替え部と
を更に備える、請求項1から4のいずれか一項記載の装置。
A determination unit for determining whether the reproduced content is continuously reproduced for a given time;
The content replacement part which replaces the content currently reproduced | regenerated with the content linked | related with the virtual display arrange | positioned in the predetermined | prescribed position when it determines with having been reproduced | regenerated continuously for the given time. The apparatus of any one of 1-4.
前記複数の仮想ディスプレイが球面に沿うように設けた格子上に整列され、
前記選択部において、球体の球面上で前記検出された動きに従って前記格子の1つを特定することにより、該格子上の1つの仮想ディスプレイを選択する、請求項1から5のいずれか一項記載の装置。
The plurality of virtual displays are aligned on a grid provided along a spherical surface;
The said selection part selects one virtual display on this grid | lattice by specifying one of the said grids according to the said detected motion on the spherical surface of a sphere, The any one of Claim 1 to 5 Equipment.
前記検出器が角速度センサであり、前記検出された動きが傾きを含む、請求項1から6のいずれか一項記載の装置。   The apparatus according to claim 1, wherein the detector is an angular velocity sensor, and the detected movement includes a tilt. 仮想空間に配置された複数の仮想ディスプレイ上で各々に関連付けられるコンテンツを制限付きで再生するステップと、
前記仮想空間の視界に含まれ、前記コンテンツが制限付きで再生された前記複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示するステップと、
前記ヘッドマウント・ディスプレイの動きを検出するステップと、
前記動きに応じて、前記仮想ディスプレイの内1つを選択するステップと、
前記選択された仮想ディスプレイに関連付けられたコンテンツを再生するステップと
を含む、コンテンツ視聴方法。
Replaying content associated with each on a plurality of virtual displays arranged in a virtual space with limitations;
Displaying the plurality of virtual displays that are included in the field of view of the virtual space and the content is played with restrictions on a head-mounted display;
Detecting movement of the head mounted display;
Selecting one of the virtual displays in response to the movement;
Playing back the content associated with the selected virtual display.
請求項8記載の方法であって、更に、
前記コンテンツを再生するステップで前記コンテンツを所与の時間継続して再生したかを判定するステップと、
前記コンテンツが所与の時間継続して再生されたと判定された場合に、前記再生されているコンテンツを所定の位置に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替えるステップと
を含む、方法。
9. The method of claim 8, further comprising:
Determining whether the content has been played continuously for a given time in the step of playing the content;
Replacing the content being played with content associated with a virtual display located at a predetermined location when it is determined that the content has been played continuously for a given time.
前記所定の仮想空間位置が前記視界の中心部である、請求項9記載の方法。   The method of claim 9, wherein the predetermined virtual space position is a center of the field of view. 請求項8から10のいずれか一項記載の方法であって、
前記コンテンツを制限付きで再生するステップが、オーディオ出力を無効化して動画コンテンツを再生することを含み、
前記コンテンツを再生するステップが、前記無効化された動画コンテンツの前記オーディオ出力を有効化することを含む、方法。
A method according to any one of claims 8 to 10, comprising
Playing the content with restriction comprises disabling audio output and playing the video content;
The method of playing the content comprises enabling the audio output of the disabled video content.
前記動画コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツである、請求項11記載の方法。   The method of claim 11, wherein the video content is television program content received through a television receiver. コンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラムであって、
仮想空間に配置された複数の仮想ディスプレイにおいて、各々に関連付けられるコンテンツを制限付きで再生する制限付き再生部と、
前記仮想空間の視界に含まれ、前記コンテンツが制限付きで再生された前記複数の仮想ディスプレイをヘッドマウント・ディスプレイに表示する表示部と、
前記ヘッドマウント・ディスプレイに具備される検出器で検出される動きに応じて、前記仮想ディスプレイの内1つを選択する選択部と、
前記選択された仮想ディスプレイに関連付けられるコンテンツを再生する再生部と
として前記コンピュータを機能させる、コンピュータ・プログラム。
A computer program for causing a computer to control content viewing operation,
In a plurality of virtual displays arranged in a virtual space, a limited playback unit that plays back content associated with each with limited,
A display unit for displaying the plurality of virtual displays, which are included in the field of view of the virtual space and the content is reproduced with restrictions, on a head-mounted display;
A selection unit that selects one of the virtual displays according to a movement detected by a detector included in the head-mounted display;
A computer program that causes the computer to function as a playback unit that plays back content associated with the selected virtual display.
請求項13記載のコンピュータ・プログラムであって、更に、
前記再生部で所与の時間継続して前記コンテンツを再生したかを判定する判定部と、
前記判定部で前記コンテンツが所与の時間継続して再生されたと判定された場合に、前記されているコンテンツを前記視界の中心部に配置された仮想ディスプレイに関連付けられたコンテンツと入れ替える配置部と
を含む、コンピュータ・プログラム。
14. A computer program according to claim 13, further comprising:
A determination unit for determining whether or not the content has been reproduced continuously for a given time in the reproduction unit;
An arrangement unit that replaces the above-described content with content associated with a virtual display arranged in the center of the field of view when it is determined by the determination unit that the content has been continuously played for a given time; Including computer programs.
請求項13または14記載のコンピュータ・プログラムであって、
前記コンテンツを制限付きで再生することが、オーディオ出力を無効化して動画コンテンツを再生することを含み、
前記コンテンツを再生することが、前記無効化された動画コンテンツの前記オーディオ出力を有効化することを含む、コンピュータ・プログラム。
15. A computer program according to claim 13 or 14,
Playing the content with restrictions includes disabling audio output and playing video content;
A computer program, wherein playing the content comprises enabling the audio output of the disabled video content.
前記動画コンテンツが、テレビジョン受像機を通じて受信されるテレビ番組コンテンツである、請求項15記載のコンピュータ・プログラム。   The computer program product according to claim 15, wherein the moving image content is a television program content received through a television receiver.
JP2015025469A 2015-02-12 2015-02-12 Apparatus and method for viewing content, and computer program for controlling content viewing operation by computer Expired - Fee Related JP5961291B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015025469A JP5961291B1 (en) 2015-02-12 2015-02-12 Apparatus and method for viewing content, and computer program for controlling content viewing operation by computer
CN201680010010.0A CN107211195B (en) 2015-02-12 2016-02-08 Apparatus and system for viewing and listening to content using head mounted display
PCT/JP2016/053645 WO2016129549A1 (en) 2015-02-12 2016-02-08 Device and system for viewing content using head-mounted display
US15/376,883 US9958937B2 (en) 2015-02-12 2016-12-13 Device and system for viewing content using head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015025469A JP5961291B1 (en) 2015-02-12 2015-02-12 Apparatus and method for viewing content, and computer program for controlling content viewing operation by computer

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2015092702A Division JP6543079B2 (en) 2015-04-30 2015-04-30 Apparatus and method for content viewing, and computer program for causing a computer to control content viewing operation
JP2016114821A Division JP2016165153A (en) 2016-06-08 2016-06-08 Device and method for viewing content, and computer program for causing computer to control content viewing operation

Publications (2)

Publication Number Publication Date
JP5961291B1 JP5961291B1 (en) 2016-08-02
JP2016149002A true JP2016149002A (en) 2016-08-18

Family

ID=56550549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015025469A Expired - Fee Related JP5961291B1 (en) 2015-02-12 2015-02-12 Apparatus and method for viewing content, and computer program for controlling content viewing operation by computer

Country Status (1)

Country Link
JP (1) JP5961291B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018085125A (en) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program
JP2018521372A (en) * 2015-05-26 2018-08-02 グーグル エルエルシー Multidimensional graphics methods for entering and exiting applications and activities on immersive media
KR20200017151A (en) * 2018-08-08 2020-02-18 (주)한국체스게임 System and method for providing virtual reality contents based on iptv network
US10785472B2 (en) 2016-12-19 2020-09-22 Seiko Epson Corporation Display apparatus and method for controlling display apparatus
WO2023007927A1 (en) * 2021-07-26 2023-02-02 株式会社Nttドコモ Virtual space presentation device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240491A (en) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd Information processor
JPH11259226A (en) * 1998-03-13 1999-09-24 Canon Inc Sight line input intention communication device
JP2002312117A (en) * 2001-04-17 2002-10-25 Japan Aviation Electronics Industry Ltd Cylindrical image spherical image control device
JP2008033891A (en) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd Display apparatus and control method thereof
JP2008227677A (en) * 2007-03-09 2008-09-25 Funai Electric Co Ltd Television broadcast signal receiver
JP2008263524A (en) * 2007-04-13 2008-10-30 Sharp Corp Television receiver
JP2009294372A (en) * 2008-06-04 2009-12-17 Nikon Corp Head-mounted display device
JP2011061280A (en) * 2009-09-07 2011-03-24 Toshiba Corp Video output device and video output method
JP2011182275A (en) * 2010-03-03 2011-09-15 Hitachi Consumer Electronics Co Ltd Recording and reproducing apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10240491A (en) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd Information processor
JPH11259226A (en) * 1998-03-13 1999-09-24 Canon Inc Sight line input intention communication device
JP2002312117A (en) * 2001-04-17 2002-10-25 Japan Aviation Electronics Industry Ltd Cylindrical image spherical image control device
JP2008033891A (en) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd Display apparatus and control method thereof
JP2008227677A (en) * 2007-03-09 2008-09-25 Funai Electric Co Ltd Television broadcast signal receiver
JP2008263524A (en) * 2007-04-13 2008-10-30 Sharp Corp Television receiver
JP2009294372A (en) * 2008-06-04 2009-12-17 Nikon Corp Head-mounted display device
JP2011061280A (en) * 2009-09-07 2011-03-24 Toshiba Corp Video output device and video output method
JP2011182275A (en) * 2010-03-03 2011-09-15 Hitachi Consumer Electronics Co Ltd Recording and reproducing apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018521372A (en) * 2015-05-26 2018-08-02 グーグル エルエルシー Multidimensional graphics methods for entering and exiting applications and activities on immersive media
US10785472B2 (en) 2016-12-19 2020-09-22 Seiko Epson Corporation Display apparatus and method for controlling display apparatus
US11310483B2 (en) 2016-12-19 2022-04-19 Seiko Epson Corporation Display apparatus and method for controlling display apparatus
JP2018085125A (en) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program
KR20200017151A (en) * 2018-08-08 2020-02-18 (주)한국체스게임 System and method for providing virtual reality contents based on iptv network
KR102542070B1 (en) * 2018-08-08 2023-07-11 주식회사 언택아이시티 System and method for providing virtual reality contents based on iptv network
WO2023007927A1 (en) * 2021-07-26 2023-02-02 株式会社Nttドコモ Virtual space presentation device

Also Published As

Publication number Publication date
JP5961291B1 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
WO2016129549A1 (en) Device and system for viewing content using head-mounted display
US10620791B2 (en) Information processing apparatus and operation reception method
EP3396511B1 (en) Information processing device and operation reception method
JP5819965B2 (en) System and apparatus
JP5961291B1 (en) Apparatus and method for viewing content, and computer program for controlling content viewing operation by computer
US9223416B2 (en) Display apparatus, remote controlling apparatus and control method thereof
TWI571130B (en) Volumetric video presentation
WO2012124250A1 (en) Object control device, object control method, object control program, and integrated circuit
JP7005161B2 (en) Electronic devices and their control methods
CN115798384A (en) Enhanced display rotation
JP5882517B1 (en) Content viewing system using head-mounted display
KR20180138014A (en) Image display apparatus
KR101803311B1 (en) Display appratus and Method for providing User interface thereof
KR20190026267A (en) Electronic apparatus, method for controlling thereof and computer program product thereof
KR101339985B1 (en) Display apparatus, remote controlling apparatus and control method thereof
US11474661B2 (en) Methods, systems, and media for presenting media content previews
JP2019197554A (en) Device and method for viewing content, and computer program for causing computer to control content viewing operation
KR20080094200A (en) Method for providing gui including menu item displayed in pointer locating area and video apparatus thereof
JP2016225967A (en) Content viewing system using head mounted display
JP6543079B2 (en) Apparatus and method for content viewing, and computer program for causing a computer to control content viewing operation
JP7005160B2 (en) Electronic devices and their control methods
JP2016165153A (en) Device and method for viewing content, and computer program for causing computer to control content viewing operation
US12001645B2 (en) Methods, systems, and media for presenting media content previews
KR20080064512A (en) Method for providing cubic menu and electronic apparatus using the same

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160624

R150 Certificate of patent or registration of utility model

Ref document number: 5961291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees