JP2013258614A - Image generation device and image generation method - Google Patents

Image generation device and image generation method Download PDF

Info

Publication number
JP2013258614A
JP2013258614A JP2012134264A JP2012134264A JP2013258614A JP 2013258614 A JP2013258614 A JP 2013258614A JP 2012134264 A JP2012134264 A JP 2012134264A JP 2012134264 A JP2012134264 A JP 2012134264A JP 2013258614 A JP2013258614 A JP 2013258614A
Authority
JP
Japan
Prior art keywords
head
image
unit
mounted display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012134264A
Other languages
Japanese (ja)
Inventor
Yoichi Nishimaki
洋一 西牧
Hiroshi Osawa
洋 大澤
Ken Yamagishi
建 山岸
Original Assignee
Sony Computer Entertainment Inc
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc, 株式会社ソニー・コンピュータエンタテインメント filed Critical Sony Computer Entertainment Inc
Priority to JP2012134264A priority Critical patent/JP2013258614A/en
Publication of JP2013258614A publication Critical patent/JP2013258614A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which a user cannot look at his/her hands in a state of wearing a head-mounted display to have difficulty in operation of a controller or the like.SOLUTION: An angle information acquisition unit 730 acquires information on a rotation angle of the head of a user wearing a head-mounted display. A visual line direction changing unit 740 changes a visual line direction in which a panoramic image is viewed on the basis of the information on the rotation angle of the head. A panoramic image processing unit 750 generates a panoramic image viewed from the changed visual line direction. An image providing unit 770 supplies the generated panoramic image data to the head-mounted display 100.

Description

この発明は、ヘッドマウントディスプレイに表示される画像を生成する装置および方法に関する。 This invention relates to an apparatus and method for generating an image to be displayed on the head-mounted display.

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。 The head-mounted display, which is connected to the game machine mounted on the head, while looking at the screen, which is displayed on the head-mounted display, have been made to the game play by operating a controller. ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。 In the connected normal stationary type of display in the game machine, because it spreads out the field of view range of the user on the outside of the display screen of, or could not concentrate on the screen of the display, there is the lack of immersive experience of the game . その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。 That point, when mounting the head-mounted display, for other than the image to be displayed on the head-mounted display is user do not see, increases the immersive experience to the video world, there is a further enhance the effect of entertainment of the game.

また、ヘッドマウントディスプレイにパノラマ画像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、360度のパノラマ画像や仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。 Further, the head-mounted display to display the panoramic image, the user wearing the head-mounted display rotates the head, when the panorama image and the virtual space of 360 degrees to appear, further immersion into video growing, it is also improved application of the operation of such games.

ユーザはヘッドマウントディスプレイを装着した状態でヘッドマウントディスプレイに表示された画像を見ながら、各種の操作をしなければならないため、手元が見えず、コントローラの操作などには困難が伴う。 The user while viewing the image displayed on the head-mounted display while wearing the head-mounted display, since it is necessary to various operations, hand can not be seen, accompanied by difficulty in such as the controller of the operation.

本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザの動きを検出し、ユーザの動きに応じた画像をヘッドマウントディスプレイに表示することのできる画像生成装置および画像生成方法を提供することにある。 The present invention has been made in view of the foregoing problems, and its object is to detect the motion of the user, an image generation apparatus and an image generating method capable of displaying an image corresponding to the motion of the user to the head-mounted display It is to provide.

上記課題を解決するために、本発明のある態様の画像生成装置は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部と、ユーザの動きに応じた画像を生成する画像生成部と、生成された画像を前記ヘッドマウントディスプレイに提供する画像提供部とを含む。 To solve the above problem, an image generating apparatus according to one embodiment of the present invention, the image generation for generating a motion acquisition unit for acquiring information on the movement of the user who wears the head-mounted display, an image corresponding to the motion of the user comprising a part, and an image providing unit for providing the generated image on the head mounted display.

本発明の別の態様は、画像生成方法である。 Another aspect of the present invention is an image generating method. この方法は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得ステップと、ユーザの動きに応じた画像を生成する画像生成ステップと、生成された画像を前記ヘッドマウントディスプレイに提供する画像提供ステップとを含む。 This method provides a motion acquisition step of acquiring information about the motion of the user wearing the head-mounted display, an image generating step of generating an image according to the movement of the user, the generated image on the head mounted display and an image provision step.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Incidentally, any combinations of the foregoing components and expressions changed among a method, apparatus, system, computer program, data structures, even those that have been converted between such a recording medium, is effective as an embodiment of the present invention.

本発明によれば、ヘッドマウントディスプレイを装着したユーザの動きに応じた画像をヘッドマウントディスプレイに表示することができる。 According to the present invention, it is possible to display an image according to the movement of the user who wears the head mount display in the head-mounted display.

ヘッドマウントディスプレイの外観図である。 It is an external view of a head-mounted display. ヘッドマウントディスプレイの機能構成図である。 Is a functional block diagram of the head mounted display. 本実施の形態に係るパノラマ画像生成システムの構成図である。 It is a block diagram of a panoramic image generation system according to this embodiment. 本実施の形態に係るパノラマ画像生成装置の機能構成図である。 It is a functional block diagram of a panoramic image generating apparatus according to this embodiment. 図5(a)および図5(b)は、ユーザの頭部の絶対角度とパノラマ画像のカメラ角度の関係を説明する図である。 5 (a) and 5 (b) is a view for explaining the relationship of the camera angle of the absolute angle and panoramic images of the user's head. 図6(a)〜図6(d)は、ヘッドマウントディスプレイに設けられたマーカを検出して姿勢センサのドリフトを補正する方法を説明する図である。 FIG 6 (a) ~ FIG. 6 (d) is a diagram for explaining a method of correcting the detected and drift of the orientation sensor and markers provided on the head-mounted display. 図4のパノラマ画像生成装置によるパノラマ画像生成手順を説明するフローチャートである。 It is a flowchart illustrating a panoramic image generating procedure by the panoramic image generating apparatus of FIG. ヘッドマウントディスプレイに表示されるパノラマ画像を説明する図である。 Is a diagram illustrating a panoramic image displayed on the head mounted display. ヘッドマウントディスプレイを装着するユーザがもつコントローラに付けられたマーカを説明する図である。 It is a diagram illustrating a marker attached to the controller with the user to mount the head-mounted display. 本実施の形態に係る仮想空間描画処理システムの構成図である。 It is a configuration diagram of a virtual space rendering processing system according to the present embodiment. 本実施の形態に係る仮想空間描画処理装置の機能構成図である。 It is a functional block diagram of a virtual space rendering processing apparatus according to the present embodiment. ヘッドマウントディスプレイを装着したユーザがマーカを動かすことで仮想空間内にオブジェクトを描画している様子を説明する図である。 The user wearing the head-mounted display is a diagram illustrating a state in which drawing objects in the virtual space by moving the marker. 図13(a)は、3次元仮想空間内のオブジェクトとビューアカメラの関係を説明する図であり、図13(b)は、ビューアカメラから見た3次元空間の画像を説明する図である。 13 (a) is a diagram illustrating the object and viewer camera relationships in three-dimensional virtual space, FIG. 13 (b) is a diagram illustrating an image of a three-dimensional space viewed from the viewer camera. 本実施の形態に係るユーザインタフェース処理装置の機能構成図である。 It is a functional block diagram of a user interface processing apparatus according to the present embodiment. 図15(a)〜図15(d)は、ヘッドマウントディスプレイに表示されるメニュー画面の例を説明する図である。 Figure 15 (a) ~ FIG. 15 (d) are diagrams illustrating an example of a menu screen displayed on the head-mounted display.

図1は、ヘッドマウントディスプレイ100の外観図である。 Figure 1 is an external view of a head mounted display 100. ヘッドマウントディスプレイ100は、本体部110、前頭部接触部120、側頭部接触部130、およびカメラ140を含む。 Head-mounted display 100 includes a body portion 110, the forehead contact portion 120, the temporal contact portion 130, and a camera 140.

ヘッドマウントディスプレイ100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。 Head mounted display 100, to watch still images and videos displayed on the display mounted on the head of the user, a display device for listening to voice or music to be output from the headphone.

ヘッドマウントディスプレイ100に内蔵または外付けされたGPS(Global Positioning System)などの位置センサによりユーザの位置情報を計測することができる。 It is possible to measure the positional information of the user by the position sensor, such as a head-mounted internal to the display 100 or externally connected GPS (Global Positioning System). また、ヘッドマウントディスプレイ100に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ100を装着したユーザの頭部の向きや傾きといった姿勢情報を計測することができる。 Further, it is possible to measure the attitude information such the user's head orientation and tilt fitted with a head-mounted display 100 by internal or external posture sensor head mounted display 100.

本体部110には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。 The main body 110, a display position information acquisition sensor, and the like orientation sensor, communication device. 前頭部接触部120および側頭部接触部130には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが含まれる。 The forehead contact portion 120 and the temporal contact portion 130, a body temperature of a user, pulse, blood components, sweating, electroencephalogram includes biometric information acquisition sensor capable of measuring the biological information, such as cerebral blood flow.

ヘッドマウントディスプレイ100には、さらに、ユーザの目を撮影するカメラが設けられてもよい。 The head-mounted display 100 may further camera is provided for capturing the user's eyes. ヘッドマウントディスプレイ100に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。 By a camera mounted on the head mounted display 100, the user's line of sight, the pupil movement, it is possible to detect a blink.

カメラ140は、ヘッドマウントディスプレイ100の前部に搭載されており、ユーザがヘッドマウントディスプレイ100を装着している間、外界を撮影することができる。 The camera 140 is mounted to the front of the head mounted display 100, while the user is wearing the head-mounted display 100, it is possible to shoot outside.

ここでは、ヘッドマウントディスプレイ100に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。 Here is described a method for generating an image to be displayed on the head mounted display 100, image generation method of this embodiment is not limited to the narrow sense of the head-mounted display 100, glasses, glasses-type display, eyeglass-type camera, headphones, headset (microphone with headphones), earphones, can be applied earrings, ear camera, hat, camera with a hat, even when fitted with a hair band.

図2は、ヘッドマウントディスプレイ100の機能構成図である。 Figure 2 is a functional block diagram of the head mounted display 100.

制御部10は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。 Control unit 10, image signals, and signals such as sensor signals, a main processor for processing and outputting instructions and data. 入力インタフェース20は、タッチパネルおよびタッチパネルコントローラから操作信号や設定信号を受け付け、制御部10に供給する。 Input interface 20 receives an operation signal and the setting signal from the touch panel and the touch panel controller, to the control unit 10. 出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。 Output interface 30 receives the image signal from the controller 10 to be displayed on the display. バックライト32は、液晶ディスプレイにバックライトを供給する。 The backlight 32 supplies a backlight in a liquid crystal display.

通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。 The communication control unit 40 via the network adapter 42, or antenna 44, a wired or wireless communication, and transmits the data input from the control unit 10 to the outside. 通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。 The communication control unit 40 also via a network adapter 42, or antenna 44, a wired or wireless communication, and receives data from the outside and outputs to the control unit 10.

記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。 Storage unit 50, the data and parameter control unit 10 processes, temporarily stores the operation signal.

GPSユニット60は、制御部10からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部10に供給する。 GPS unit 60, in accordance with an operation signal from the control unit 10, to the control unit 10 receives the position information from the GPS satellites. 無線ユニット62は、制御部10からの操作信号にしたがって、無線基地局から位置情報を受信して制御部10に供給する。 Radio unit 62 in accordance with an operation signal from the control unit 10, to the control unit 10 receives the position information from the radio base station.

姿勢センサ64は、ヘッドマウントディスプレイ100の本体部110の向きや傾きなどの姿勢情報を検出する。 Orientation sensor 64 detects the attitude information such as the direction and inclination of the main body 110 of the head mounted display 100. 姿勢センサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。 Orientation sensor 64, a gyro sensor, is realized by combining the acceleration sensor, such as an angular acceleration sensor as appropriate.

外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。 External input interface 70 is an interface for connecting peripheral devices such as USB (Universal Serial Bus) controller. 外部メモリ72は、フラッシュメモリなどの外部メモリである。 The external memory 72 is an external memory such as a flash memory.

時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。 Clock unit 80 sets the time information by the setting signal from the control unit 10, and supplies the control unit 10 of the time data.

カメラユニット90は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含む。 The camera unit 90 includes a lens, an image sensor, a configuration required for imaging, such as the distance measuring sensor. 測距センサは、赤外光などを照射して反射光を撮影し、三角測量の原理で被写体までの距離を測定するセンサである。 Distance measuring sensor irradiates the like infrared light photographing the reflected light, a sensor that measures the distance to the object on the principle of triangulation.

制御部10は、画像やテキストデータを出力インタフェース30に供給してディスプレイに表示させたり、通信制御部40に供給して外部に送信させることができる。 Control unit 10 can be displayed on a display by supplying images and text data to the output interface 30, can be transmitted to the outside is supplied to the communication control unit 40.

(第1の実施例) (First Embodiment)
図3は、本実施の形態に係るパノラマ画像生成システムの構成図である。 Figure 3 is a block diagram of a panoramic image generation system according to this embodiment. ヘッドマウントディスプレイ100は、無線通信またはUSBなどの周辺機器を接続するインタフェースでゲーム機200に接続される。 Head mounted display 100 is connected to the game machine 200 at the interface for connecting peripheral devices such as wireless communication or USB. ゲーム機200は、さらにネットワークを介してサーバに接続されてもよい。 Game console 200 may be connected to the server connection via the network. その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機200に提供してもよい。 In that case, the server may provide an online application such as a game in which a plurality of users can participate via the network to the game machine 200. ヘッドマウントディスプレイ100は、ゲーム機200の代わりに、コンピュータや携帯端末に接続されてもよい。 Head-mounted display 100, instead of the game machine 200 may be connected to a computer or a portable terminal.

図4は、本実施の形態に係るパノラマ画像生成装置700の機能構成図である。 Figure 4 is a functional block diagram of a panoramic image generating apparatus 700 according to this embodiment. 同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。 The figure shows a block diagram focusing on the function, these functional blocks hardware only, software only, or may be implemented in various combinations thereof.

パノラマ画像生成装置700は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、パノラマ画像生成装置700の少なくとも一部の機能をヘッドマウントディスプレイ100側の制御部10に実装してもよい。 Panorama image generation apparatus 700 is implemented in the game machine 200 to the head mounted display 100 is connected, be implemented at least some of the functions of the panoramic image generating apparatus 700 to the control unit 10 of the head mounted display 100 side good. あるいは、パノラマ画像生成装置700の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。 Alternatively, at least part of the functions of the panoramic image generating apparatus 700 may be implemented in a server connected to the game machine 200 via the network.

角度情報取得部730と感度調整部720は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部の一例である。 Angle information acquiring section 730 and sensitivity adjustment unit 720 is an example of a motion acquisition unit for acquiring information on the movement of the user who wears the head-mounted display. 視線方向変更部740とパノラマ画像処理部750は、ユーザの動きに応じた画像を生成する画像生成部の一例である。 Line-of-sight direction changing unit 740 and a panoramic image processing unit 750 is an example of an image generating unit that generates an image corresponding to the motion of the user.

ズーム指示取得部710は、ヘッドマウントディスプレイ100の入力インタフェース20を介してユーザが指示するズームの倍率を取得する。 The zoom instruction acquisition unit 710 acquires the zoom magnification designated by the user via the input interface 20 of the head mounted display 100. ズーム指示取得部710が取得したズーム倍率は感度調整部720とパノラマ画像処理部750に供給される。 Zoom magnification zoom instruction acquisition unit 710 has acquired is supplied to the sensitivity adjustment unit 720 and the panorama image processing unit 750.

角度情報取得部730は、ヘッドマウントディスプレイ100の姿勢センサ64により検知される姿勢情報にもとづいてヘッドマウントディスプレイ100を装着したユーザの頭部の回転角を取得する。 Angle information acquisition unit 730 acquires a rotation angle of the head of the user wearing the head-mounted display 100 based on the attitude information detected by the posture sensor 64 of the head mounted display 100.

角度情報取得部730は、感度調整部720から指示された感度にもとづいて、ユーザの頭部の回転角を絶対角度で取得する。 Angle information acquisition unit 730, based on the sensitivity instructed by the sensitivity adjustment unit 720 obtains the rotation angle of the user's head in absolute angle. たとえば、ユーザが首を回すと、姿勢センサ64によりユーザの頭部の角度の変化が検出されるが、感度調整部720は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように角度情報取得部730に指示する。 For example, when the user rotates the neck, but the change in the angle of the head of the user by the posture sensor 64 is detected, the sensitivity adjustment unit 720, the change in angle is detected until it exceeds a predetermined value angular change It instructs the angular information acquisition unit 730 to ignore.

また、感度調整部720は、ズーム指示取得部710から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。 Also, the sensitivity adjustment unit 720 adjusts the sensitivity of the angle detection of the head based on the zoom magnification obtained from the zoom instruction acquisition unit 710. ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。 Zoom magnification increases, reducing the sensitivity of the angle detection of the head. ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。 Zooming, since the angle of view is small, it is possible to suppress the vibration of the display image due to shaking of the head by lowering the angle detection sensitivity of the head.

また、角度情報取得部730は、ヘッドマウントディスプレイ100に搭載されたカメラ140により撮像された視点位置の異なる複数の画像から自己位置推定を行うことにより、ユーザの頭部の絶対角度を取得してもよい。 The angle information acquisition unit 730, by performing the self-location estimation from different images viewpoint position taken by the camera 140 mounted on the head mounted display 100, acquires the absolute angle of the head of the user it may be.

視点位置の異なる複数の視差画像をもとに被写体の3次元位置情報と視点位置とを同時に求める自己位置推定の方法の一つに、SLAM(Simultaneous Localization and Mapping)と呼ばれる技術がある。 A plurality of parallax images with different viewpoint positions to one method of the self-position estimation for determining the three-dimensional position information and the viewpoint position of the original on the subject at the same time, there is a technique called SLAM (Simultaneous Localization and Mapping). SLAMは、センサから取得した情報をもとに、自己位置推定と環境地図作成を同時に行う技術であり、自律移動ロボットなどに応用されている。 SLAM, based on the information obtained from the sensor are simultaneously technique Localization and Mapping, are applications such as autonomous mobile robot. ここでは、一例として、公知のSLAM技術を用いて被写体の特徴点の3次元位置とカメラの3次元位置とを推定するが、他の自己位置推定の技術を用いてもかまわない。 Here, as an example, but to estimate the three-dimensional position of the three-dimensional position and the camera of the feature points of an object using known SLAM technique, it may be used the technique of other self-localization. SLAMは、たとえば次の論文に紹介されている。 SLAM is, for example, have been introduced in the following paper. Andrew J. Davison, "Real-Time Simultaneous Localisation and Mapping with a Single Camera", ICCV 2003. Andrew J. Davison, "Real-Time Simultaneous Localisation and Mapping with a Single Camera", ICCV 2003.

SLAMなどの自己位置推定技術では十分な検出精度が出ないが、モーションセンサによる姿勢検出を組み合わせることで、頭部の動き検出のロバスト性を向上させることができる。 But out sufficient detection accuracy in the self-position estimation technique such as SLAM, by combining the posture detection by the motion sensor, it is possible to improve the robustness of the head of the motion detection. また、自己位置推定技術を組み合わせることで、モーションセンサのドリフトを補正する作用もある。 By combining the self-position estimation technique, also acts to correct the drift of the motion sensor.

また、マーカ検出部780がヘッドマウントディスプレイ100に付けられたマーカの位置を検出し、角度情報取得部730は、マーカ検出部780により検出されたマーカの位置にもとづいて、ユーザの頭部の絶対角度を取得してもよい。 Further, to detect the position of the marker the marker detecting unit 780 is attached to the head-mounted display 100, the angle information acquisition unit 730, based on the positions of the markers detected by the marker detection unit 780, the absolute of the head of the user angle may be acquired. マーカがカメラの死角に入ったときはマーカの位置検出ができなくなるが、その場合は、モーションセンサによる姿勢検出を組み合わせることで対処することができる。 When the marker enters the blind spot of the camera can not detect the position of the marker, in which case can be addressed by combining the posture detection by the motion sensor.

モーションセンサとして、3軸地磁気センサ、3軸加速度センサおよび3軸ジャイロ(角速度)センサの少なくとも1つ以上の組み合わせを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。 As a motion sensor, 3-axis geomagnetic sensor, by using at least one or more combinations of three-axis acceleration sensor and 3-axis gyro (angular velocity) sensor, the front and rear of the user's head, right and left, it may detect vertical movement . また、マーカによる位置取得を組み合わせて頭部の動き検出の精度を向上させてもよい。 It may also be a combination of the position acquisition by the marker increases the accuracy of the motion detection of the head.

視線方向変更部740は、角度情報取得部730により検出されたユーザの頭部の絶対角度にしたがって、ヘッドマウントディスプレイ100に表示されるパノラマ画像のカメラ角度、すなわち視線方向を変更し、変更された視線方向をパノラマ画像処理部750に与える。 Line-of-sight direction changing unit 740, as the absolute angle of the head of the user detected by the angle information acquisition unit 730, the camera angle of the panoramic image displayed on the head mounted display 100, i.e. to change the viewing direction, it was changed give viewing direction in the panoramic image processing unit 750.

図5(a)および図5(b)は、ユーザの頭部の絶対角度とパノラマ画像のカメラ角度の関係を説明する図である。 5 (a) and 5 (b) is a view for explaining the relationship of the camera angle of the absolute angle and panoramic images of the user's head. 図5(a)のように、ヘッドマウントディスプレイ100を装着したユーザが首を回して、角度情報取得部730により取得される頭部の絶対角度が30度から75度に変化したとき、視線方向変更部740は、パノラマ画像のビューアカメラ400の角度を30度から75度に変化させる。 As in FIG. 5 (a), by turning the user neck wearing the head-mounted display 100, when the absolute angle of the head acquired by the angle information acquisition unit 730 is changed to 75 degrees from 30 degrees, the sight line direction changing unit 740 changes the angle of the viewer camera 400 of the panoramic image 75 ° to 30 °.

角度情報取得部730により検出されたユーザの頭部の絶対角度の変化をローパスフィルタによってフィルタリングすることで、首の振動などによるノイズを除去するようにしてもよい。 The absolute change in angle of the head of the user detected by the angle information acquisition unit 730 by filtering by the low-pass filter, may be to remove noise due to the vibration of the neck.

図4に戻り、パノラマ画像処理部750は、パノラマ画像記憶部760からパノラマ画像データを読み出し、視線方向変更部740から指定された視線方向から見たパノラマ画像を、ズーム指示取得部710から指定されたズーム倍率で生成し、画像提供部770に与える。 Returning to FIG. 4, the panorama image processing unit 750 reads the panoramic image data from the panoramic image storage unit 760, the panoramic image taken from the view direction specified by the line-of-sight direction changing portion 740, designated by the zoom instruction acquisition unit 710 generated by the zoom magnification, it gives the image providing unit 770.

画像提供部770は、パノラマ画像処理部750により生成されたパノラマ画像データをヘッドマウントディスプレイ100に供給する。 Image providing unit 770 supplies the panorama image data generated by the panorama image processing unit 750 to the head mounted display 100.

マーカ検出部780は、ゲーム機200に接続されたカメラにより、ヘッドマウントディスプレイ100に付けられたマーカを検出し、検出されたマーカの位置情報を角度情報取得部730とドリフト補正部790に与える。 Marker detection unit 780, a camera connected to the game machine 200 detects a marker attached to the head mounted display 100 gives the position information of the detected marker in the angle information acquisition unit 730 and the drift corrector 790.

ドリフト補正部790は、マーカ検出部780から与えられたマーカの位置の変化にもとづいて、ヘッドマウントディスプレイ100の姿勢センサ64のドリフトを補正するか否かを判定し、ドリフトを補正した場合、補正結果をヘッドマウントディスプレイ100に与える。 Drift compensation unit 790, based on a change in the position of a marker given from the marker detecting unit 780, when determining whether to correct the drift of the orientation sensor 64 of the head mounted display 100, to correct the drift, correction the results are given in the head-mounted display 100. ヘッドマウントディスプレイ100側ではドリフト補正の結果にもとづいて姿勢センサ64の検出値を補正する。 In the head mounted display 100 side to correct the detection value of the orientation sensor 64 based on the result of the drift correction.

ドリフト補正部790は、マーカの位置が変化していないにもかかわらず、姿勢センサ64により頭部の回転角の変化が検出された場合は、姿勢センサ64の原点がドリフトしていると判定し、ドリフト補正を実行する。 Drift correction unit 790, even though the position of the marker is not changed, if the change in the rotation angle of the head is detected by the posture sensor 64, and determines the origin of the orientation sensor 64 are drifted , to perform the drift correction.

図6(a)〜図6(d)は、ヘッドマウントディスプレイ100に設けられたマーカを検出して姿勢センサ64のドリフトを補正する方法を説明する図である。 FIG 6 (a) ~ FIG. 6 (d) is a diagram for explaining a method of correcting the drift of the orientation sensor 64 detects the marker provided in the head mounted display 100.

姿勢センサ64、特にジャイロセンサでは、検出されるヨー角の原点がドリフトする「ヨー・ドリフト」と呼ばれる問題がある。 Attitude sensor 64, especially in gyro sensor, there is a problem of the origin of the yaw angle detected is called "yaw drift" to drift. 図6(a)のように、点線の矢印で示すように検出されるヨー角にドリフトの影響が生じると、実線の矢印で示すようにドリフトを自動的に補正する機能が提供されている。 As shown in FIG. 6 (a), when the influence of the drift in the yaw angle detected as shown by the dotted-line arrow occurs, the ability to automatically correct the drift as shown by the solid line arrow is provided. しかし、図6(a)に示すようにヘッドマウントディスプレイ100の前部に球形のマーカ310が一つだけ設けられている場合、ヘッドマウントディスプレイ100を装着したユーザの頭部が図6(b)のように回転した場合でも、ヨー角のドリフトと誤判定してしまい、実線の矢印で示すようにドリフト補正がなされて、頭部の絶対角度の変化が検出されなくなることがある。 However, if the spherical marker 310 is provided only one in front of the head-mounted display 100 as shown in FIG. 6 (a), the user's head wearing the head mounted display 100 in FIG. 6 (b) even when rotated as, will be misjudged as drift of the yaw angle, is made drift correction as shown by the solid line arrow, changes in the absolute angle of the head is not detected.

そこで、図6(c)のように、ヘッドマウントディスプレイ100の前部に四角形など球形以外のマーカ330aを設けるようにする。 Therefore, as shown in FIG. 6 (c), to provide a marker 330a other than spherical, such as a rectangle on the front of the head mounted display 100. この場合、ヘッドマウントディスプレイ100を装着したユーザの頭部の絶対角度が変化すると、カメラにより検出されるマーカ330bは、変化前のマーカ330aとは向きが異なるものになる。 In this case, when the absolute angle of the user's head wearing the head mounted display 100 is changed, the marker 330b is detected by the camera will those directions are not changed before the marker 330a. そのため、球形のマーカの場合とは違って、頭部の絶対角度の変化をマーカ330a、330bの向きの変化として捉えることができ、頭部の絶対角度の変化がヨー・ドリフトと誤判定されることを防ぐことができる。 Therefore, unlike the case of the spherical marker, the absolute angle change markers 330a of the head can be considered a change in the direction of 330b, the change in the absolute angle of the head is erroneously determined yaw drift it is possible to prevent that.

また、図6(d)のように、ヘッドマウントディスプレイ100の前方に球形のマーカ330を、後方に別の球形のマーカ340aを設けるようにすると、ヘッドマウントディスプレイ100を装着したユーザの頭部の絶対角度が変化すると、ヘッドマウントディスプレイ100の前方のマーカ330と後方の球形のマーカ340a、340bを結ぶ直線の方向が変化するため、頭部の絶対角度の変化がヨー・ドリフトと誤判定されることを防ぐことができる。 Further, as shown in FIG. 6 (d), the spherical marker 330 in front of the head mounted display 100, when so provide another spherical markers 340a backward of the head of the user wearing the head-mounted display 100 When the absolute angle changes, since the head-mounted front of a display 100 of the marker 330 and rear spherical marker 340a, the direction of a straight line connecting 340b changes, the change in the absolute angle of the head is erroneously determined yaw drift it is possible to prevent that.

図7は、パノラマ画像生成装置700によるパノラマ画像生成手順を説明するフローチャートである。 Figure 7 is a flowchart illustrating a panoramic image generating procedure by the panoramic image generating apparatus 700.

ヘッドマウントディスプレイ100の姿勢センサ64によりユーザの頭部の方向が取得される(S10)。 Direction of the head of the user is acquired by the orientation sensor 64 of the head-mounted display 100 (S10). ヘッドマウントディスプレイ100は、頭部の絶対角度の情報をゲーム機200に与える(S12)。 Head-mounted display 100 provides the information of the absolute angle of the head to the game machine 200 (S12).

ゲーム機200の視線方向変更部740は、頭部の絶対角度の情報にもとづいてビューアカメラ400を回転させる(S14)。 Line-of-sight direction changing portion 740 of the game machine 200 rotates the viewer camera 400 based on the absolute angle information of the head (S14). パノラマ画像処理部750は、ビューアカメラ400の方向すなわち視線方向から見たパノラマ画像を画角の範囲で生成して出力する(S16)。 Panorama image processing unit 750 generates and outputs a direction, that the panoramic image viewed from the viewing direction of the viewer camera 400 in the range of the angle of view (S16). 画像提供部770は、パノラマ画像処理部750により生成された映像データを制御部10に与える(S18)。 Image providing unit 770 provides the image data generated by the panorama image processing unit 750 to the control unit 10 (S18).

ヘッドマウントディスプレイ100にパノラマ画像が表示される(S20)。 Panorama image is displayed on the head-mounted display 100 (S20). 終了条件を満たせば(S22のY)、終了し、終了条件を満たさない場合(S22のN)、ステップS10に戻って、それ以降の処理が繰り返される。 It satisfies the termination condition (S22 of Y), the ends, if the end condition is not satisfied (S22 of N), returns to step S10, and the subsequent processing is repeated.

図8は、ヘッドマウントディスプレイ100に表示されるパノラマ画像を説明する図である。 Figure 8 is a diagram illustrating a panoramic image displayed on the head mounted display 100. パノラマ画像に対して、ユーザが左前方を向いている場合、ヘッドマウントディスプレイ100aの方向で画角150aの範囲にある画像510aが表示され、ユーザが首を回して右前方を向いている場合、ヘッドマウントディスプレイ100bの方向で画角150bの範囲にある画像510bが表示される。 Against the panoramic image, if the user is facing the front left, the image 510a which in the direction of the head-mounted display 100a is in the range of the angle of view 150a is displayed, if the user is facing front right by turning the neck, image 510b is displayed in the direction of the head-mounted display 100b is in the range of the angle of view 150b.

このように頭部の動きに応じてヘッドマウントディスプレイ100に表示されるパノラマ画像を見る視線方向も変わるため、パノラマ画像に対する没入感を高めることができる。 Thus for also change viewing direction to view the panoramic image displayed on the head mounted display 100 in response to movement of the head, it is possible to enhance the sense of immersion for panoramic images.

(第2の実施例) (Second embodiment)
図9は、ヘッドマウントディスプレイ100を装着するユーザがもつコントローラ350に付けられたマーカ300を説明する図である。 Figure 9 is a diagram for explaining a marker 300 attached to the controller 350 with the user to mount the head mounted display 100. ユーザはヘッドマウントディスプレイ100を装着した状態でゲーム機200のコントローラ350を操作する。 The user operates the controller 350 of the gaming machine 200 while wearing the head mounted display 100. ゲームアプリケーションによってはコントローラ350をもちながら手を動かしたり、体を移動させたりすることがある。 Depending on the game application may be or moving moving the hand while having the controller 350, the body. コントローラ350にはマーカ300が付けられており、ゲーム機200に接続されたカメラによりマーカ300の位置を検出することができる。 The controller 350 has a marker 300 is attached, the camera connected to the game machine 200 can detect the position of the marker 300. ゲーム機200に接続されたカメラに距離センサが備わっている場合、マーカ300の3次元座標を特定することができる。 If it is provided a distance sensor to the camera connected to the game machine 200 can identify the 3-dimensional coordinates of the markers 300.

図10は、本実施の形態に係る仮想空間描画処理システムの構成図である。 Figure 10 is a block diagram of a virtual space rendering processing system according to the present embodiment. ヘッドマウントディスプレイ100およびマーカ300が付けられたコントローラ350は、無線通信またはUSBなどの周辺機器を接続するインタフェースでゲーム機200に接続される。 Controller 350 of the head mounted display 100 and the marker 300 is attached is connected to the game machine 200 at the interface for connecting peripheral devices such as wireless communication or USB. ゲーム機200は、さらにネットワークを介してサーバに接続されてもよい。 Game console 200 may be connected to the server connection via the network. その場合、サーバは、複数のユーザがネットワークを介して参加できる仮想空間のアプリケーションをゲーム機200に提供してもよい。 In that case, the server may provide the application of a virtual space where a plurality of users can participate via the network to the game machine 200. ヘッドマウントディスプレイ100は、ゲーム機200の代わりに、コンピュータや携帯端末に接続されてもよい。 Head-mounted display 100, instead of the game machine 200 may be connected to a computer or a portable terminal.

図11は、本実施の形態に係る仮想空間描画処理装置800の機能構成図である。 Figure 11 is a functional block diagram of a virtual space drawing processor 800 according to this embodiment. 同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。 The figure shows a block diagram focusing on the function, these functional blocks hardware only, software only, or may be implemented in various combinations thereof.

仮想空間描画処理装置800は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、仮想空間描画処理装置800の少なくとも一部の機能をヘッドマウントディスプレイ100側の制御部10に実装してもよい。 Virtual space drawing processor 800 is implemented in the game machine 200 to the head mounted display 100 is connected, mounted on the head mounted display 100 side controller 10 of at least part of the functionality of the virtual space drawing processor 800 it may be. あるいは、仮想空間描画処理装置800の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。 Alternatively, at least part of the functions of the virtual space drawing processor 800 may be implemented in a server connected to the game machine 200 via the network.

位置・姿勢情報取得部810は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部の一例である。 Position and orientation information acquisition unit 810 is an example of a motion acquisition unit for acquiring information on the movement of the user who wears the head-mounted display. 描画指示取得部820、オブジェクト生成部830、視点位置・視線方向設定部850、および3次元レンダリング部860は、ユーザの動きに応じた画像を生成する画像生成部の一例である。 Drawing instruction acquisition unit 820, the object generator 830, the viewpoint position and the sight line direction setting unit 850 and the 3D rendering unit 860, is an example of an image generating unit that generates an image corresponding to the motion of the user.

位置・姿勢情報取得部810は、ヘッドマウントディスプレイ100のGPSユニット60または無線ユニット62からユーザの位置を取得し、ヘッドマウントディスプレイ100の姿勢センサ64からユーザの姿勢の情報を取得する。 Position and orientation information acquisition unit 810 acquires the position of the user from the GPS unit 60 or the wireless unit 62 of the head mounted display 100, acquires the information of the user of the posture from the posture sensor 64 of the head mounted display 100. 取得されたユーザの位置と姿勢の情報は、オブジェクト生成部830と視点位置・視線方向設定部850に与えられる。 Information of the position and orientation of the acquired user is given to the object generation unit 830 and the viewpoint position and the sight line direction setting unit 850.

描画指示取得部820は、コントローラ350からユーザの描画指示を取得し、オブジェクト生成部830に描画命令を与える。 Drawing instruction acquisition unit 820 acquires the user's drawing instruction from the controller 350, give drawing command to the object generation unit 830.

オブジェクト生成部830は、位置・姿勢情報取得部810により取得されたユーザの位置と姿勢の情報を参照し、ユーザが当該位置で当該姿勢を取ってマーカ300を動かしたときのマーカ300の軌跡に応じたオブジェクトを仮想空間内に生成し、オブジェクト情報記憶部840に保存する。 Object generation unit 830 refers to the information of the position and posture of the user acquired by the position and orientation information acquisition unit 810, the trajectory of the marker 300 when the user moves the marker 300 takes the posture in the position generates a corresponding object in the virtual space, is stored in the object information storage unit 840. マーカ300が描く軌跡は、ゲーム機200のカメラによりマーカ300の位置を追跡することにより取得される。 Locus marker 300 is drawn is obtained by tracking the position of the marker 300 by the camera of the game machine 200.

視点位置・視線方向設定部850は、位置・姿勢情報取得部810により取得されたユーザの位置と姿勢の情報にもとづいて、仮想空間におけるユーザの視点位置と視線方向を設定する。 Viewpoint position and viewing direction setting unit 850, based on the position and orientation information of the user acquired by the position and orientation information acquisition unit 810 sets the viewpoint position and the sight line direction of the user in the virtual space. 3次元レンダリング部860は、設定された視点位置および視線方向にもとづいて、オブジェクト情報記憶部840から仮想空間の情報とユーザが空間内に描画したオブジェクトの情報を読み出して、3次元仮想空間内にオブジェクトをレンダリングする。 3D rendering unit 860, based on the set viewpoint position and viewing direction, reads out the information of the object information and the user of the virtual space from the object information storage unit 840 is drawn into the space, the three-dimensional virtual space to render the object.

ヘッドマウントディスプレイ100を装着したユーザが位置や姿勢を変更すると、ヘッドマウントディスプレイ100に表示される3次元仮想空間を見る方向が変わり、ユーザが空間内に描画したオブジェクトに対する相対的な位置関係や向きも変化する。 When a user wearing the head-mounted display 100 to change the position and posture, change the direction of viewing the three-dimensional virtual space displayed on the head mounted display 100, the relative positional relationship and orientation with respect to an object drawn by the user in the space also it changes. これにより、ヘッドマウントディスプレイ100を装着したユーザが空間内を移動しながら、自分が描いたオブジェクトを立体的に観察することができる。 Thus, while the user who wears the head mounted display 100 is moved in space, it is possible to stereoscopically observe the object that he drew.

画像提供部870は、3次元レンダリング部860により生成された仮想空間の映像データをヘッドマウントディスプレイ100に与える。 Image providing unit 870 provides the image data of the virtual space generated by the three-dimensional rendering unit 860 to the head mounted display 100.

図12は、ヘッドマウントディスプレイ100を装着したユーザがマーカ300を動かすことで仮想空間内にオブジェクト600a、600b、600c、600dを描画している様子を説明する図である。 Figure 12 is a diagram for explaining an object in the virtual space by the user wearing the head-mounted display 100 moves the marker 300 600a, 600b, 600c, a state in which by drawing 600d. ユーザがコントローラ350のボタンを押している間は、マーカ300を用いてオブジェクトを空間内に描画することができ、ユーザは自分の描いたオブジェクトをヘッドマウントディスプレイ100に表示される仮想空間内で観察することができる。 While the user is pressing a button on the controller 350, an object with a marker 300 can be drawn into the space, the user observes in the virtual space displayed objects drawn by their head mounted display 100 be able to. ユーザが位置を変えたり、頭部の向きを変えると、仮想空間内のユーザの視点位置や視点方向が変わり、新しい視点位置において新しい視線方向から見た3次元仮想空間内で自分の描いたオブジェクトを見ることができる。 Object or change the user position, and changing the direction of the head, the viewpoint position and viewing direction of the user in the virtual space changes, which drew myself in a three-dimensional virtual space as seen from the new line-of-sight direction in the new viewpoint position it can be seen. このとき、ユーザの描いたオブジェクトも3次元情報をもつため、オブジェクトの位置と向きは、ユーザの視点位置と視線方向を反映したものに変わる。 At this time, since it has also three-dimensional information object drawn by the user, the position and orientation of the object is changed to reflect the viewpoint position and the sight line direction of the user.

図13(a)は、3次元仮想空間内のオブジェクト610a、610b、610cとビューアカメラ400の関係を説明する図であり、図13(b)は、ビューアカメラ400から見た3次元空間の画像を説明する図である。 13 (a) shows, the object 610a in the three-dimensional virtual space are diagrams for explaining 610b, the relationship between 610c and viewer camera 400, FIG. 13 (b), the image of the three-dimensional space viewed from the viewer camera 400 is a diagram illustrating a.

図13(a)に示すオブジェクト610a、610b、610cはユーザがマーカ300を動かして空間内に描いたオブジェクトである。 Object 610a, 610b, 610c shown in FIG. 13 (a) is an object drawn by a user in a space by moving the marker 300. 視点位置・視線方向設定部850が、仮想空間を見るビューアカメラ400の位置および方向を変える、すなわちユーザの視点位置と視線方向を変えることにより、3次元レンダリング部860により生成される仮想空間の画像が変わる。 Viewpoint position and viewing direction setting unit 850 changes the position and orientation of the viewer camera 400 to see the virtual space, that is, by changing the viewpoint position and the line-of-sight direction of the user, an image of the virtual space generated by the three-dimensional rendering unit 860 changes. 図13(b)は、図13(a)に示すビューアカメラ400の位置および方向で見たときの仮想空間の画像であり、オブジェクト610aと610cの一部がユーザに見える。 FIG. 13 (b) is an image of the virtual space as viewed in the position and orientation of the viewer camera 400 shown in FIG. 13 (a), part of the object 610a and 610c are visible to the user.

(第3の実施例) (Third Embodiment)
図14は、本実施の形態に係るユーザインタフェース処理装置900の機能構成図である。 Figure 14 is a functional block diagram of a user interface processing apparatus 900 according to this embodiment. 同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。 The figure shows a block diagram focusing on the function, these functional blocks hardware only, software only, or may be implemented in various combinations thereof.

ユーザインタフェース処理装置900は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、ユーザインタフェース処理装置900の少なくとも一部の機能をヘッドマウントディスプレイ100側の制御部10に実装してもよい。 The user interface processing apparatus 900 is implemented in the game machine 200 to the head mounted display 100 is connected, even if at least part of the functions of the user interface processing unit 900 is mounted to the control unit 10 of the head mounted display 100 side good. あるいは、ユーザインタフェース処理装置900の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。 Alternatively, at least part of the functions of the user interface processing unit 900 may be implemented in a server connected to the game machine 200 via the network.

傾き・加速度情報取得部910は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部の一例である。 Inclination and acceleration information acquisition unit 910 is an example of a motion acquisition unit for acquiring information on the movement of the user who wears the head-mounted display. ジェスチャ判定部920、イベント特定部930、およびユーザインタフェース部960は、ユーザの動きに応じた画像を生成する画像生成部の一例である。 Gesture judging unit 920, the event identifying unit 930 and a user interface unit 960, is an example of an image generating unit that generates an image corresponding to the motion of the user.

傾き・加速度情報取得部910は、ヘッドマウントディスプレイ100の姿勢センサ64からヘッドマウントディスプレイ100を装着したユーザの頭部の傾きと加速度の情報を取得する。 Inclination, acceleration information acquisition section 910 acquires the inclination and acceleration information of the user's head from the orientation sensor 64 of the head mounted display 100 wearing the head-mounted display 100. ジェスチャ判定部920は、ユーザの頭部の傾きと加速度にもとづいてユーザのジェスチャを判定する。 Gesture determination unit 920 determines the user gesture based on the inclination and acceleration of the user's head. たとえば、頭部を動かしたときの傾きと動きの加速度にもとづいて、うなずく、首を傾げる、首を振るなどのジェスチャを判定する。 For example, it is determined based on the slope and acceleration of movement when you move your head, nod, incline his head, a gesture such as shaking his head.

イベント特定部930は、対応テーブル記憶部940に保持されたジェスチャとイベントを対応づけたテーブルを参照し、ジェスチャ判定部920により判定されたジェスチャから、発生させるべきイベントを特定する。 Event specifying unit 930 refers to associating the retained in the correspondence table storage unit 940 a gesture and event table, from the gesture determined by the gesture determination unit 920 identifies the to be generated event. たとえば、ユーザがうなずいたときは「決定」、首を横に振ったときは「キャンセル」、上下左右のいずれかを向いたときはその方向への「カーソル移動」、首をかしげたときは「メニュー表示」などに対応づけられる。 For example, "determining" when the user has nodded, "cursor movement" of when he shook his head in that direction when facing either "cancel", up, down, left and right, when I puzzled " It is associated to a menu display ".

ユーザインタフェース部960は、メニュー情報記憶部970からメニュー画面の情報を読み出し、イベント特定部930により特定されたイベントにもとづいてメニュー画面を表示させたり、メニュー画面から項目を選択させるイベントを発生させるなど、イベントにもとづいた操作画面をヘッドマウントディスプレイ100に提供する。 User interface unit 960 reads the information of the menu screen from the menu information storage unit 970, or to display a menu screen based on the event identified by the event identifying unit 930, and generates an event to select an item from the menu screen , to provide the operation screen based on the events in the head-mounted display 100.

図15(a)〜図15(d)は、ヘッドマウントディスプレイ100に表示されるメニュー画面の例を説明する図である。 Figure 15 (a) ~ FIG. 15 (d) is a diagram illustrating an example of a menu screen displayed on the head mounted display 100.

図15(a)は、ヘッドマウントディスプレイ100に表示される画面である。 Figure 15 (a) is a screen displayed on the head mounted display 100. 図15(b)は、ユーザが頭を左に傾げたとき表示されるメニュー630を示す。 Figure 15 (b) shows a menu 630 which the user is displayed when tilted her head to the left. 傾き・加速度情報取得部910がユーザの頭部が左に傾いたことを検出すると、ジェスチャ判定部920は、その動作をメニュー630を画面に登場させるイベントに対応づけ、ユーザインタフェース部960は、メニュー630を画面の右端からスライドさせて登場させる(「スライド・イン」動作と呼ぶ)。 The inclination and acceleration information obtaining unit 910 detects that the user's head is tilted to the left, the gesture determination unit 920, correspondence to the event to appear the operation menu 630 on the screen, the user interface unit 960, a menu 630 to appear by sliding from the right edge of the screen (referred to as operation "slide-in").

ユーザが頭を元の位置に戻すと、図15(c)に示すように、画面にメニュー630が表示された状態でメニュー630から項目を選択することができるようになる。 When the user returns to the original position his head, as shown in FIG. 15 (c), it is possible to select an item from the menu 630 in the state in which the menu 630 is displayed on the screen. たとえば、ユーザが上または下を向くと、メニュー630のいずれかの項目を順に選択することができ、ユーザが右を向くと、選択された項目を実行することができる。 For example, when facing up or down user can select one of the items in the menu 630 in sequence, when the user faces the right, it is possible to execute the selected item. ユーザが左を向くと、選択した項目をキャンセルすることができる。 When the user is directed to the left, it is possible to cancel the selected item.

図15(d)は、ユーザが頭を右に傾げたときに表示されるメニュー630を示す。 FIG. 15 (d) shows a menu 630 which the user is displayed when tilted to the right head. 傾き・加速度情報取得部910がユーザの頭部が右に傾いたことを検出すると、ジェスチャ判定部920は、その動作をメニュー630を画面から消すイベントに対応づけ、ユーザインタフェース部960は、メニュー630を画面の右端にスライドさせて消去する(「スライド・アウト」動作と呼ぶ)。 The inclination and acceleration information obtaining unit 910 detects that the user's head is tilted to the right, the gesture determination unit 920, correspondence to the operation in the event that clear the menu 630 from the screen, the user interface unit 960, the menu 630 the erased by sliding to the right edge of the screen (referred to as a "slide-out" operation).

メニュー630をスライド・イン、スライド・アウトさせたり、メニュー630から項目を選択する際、ユーザは頭を傾げたり、振ったりするが、このとき、ヘッドマウントディスプレイ100に表示されたパノラマ画像の視線方向が頭部の動きと連動して変化しないようにロックをかけるようにしてもよい。 Slide-in menu 630, or slide-out, when selecting an item from the menu 630, the user or tilted her head, but or shake, this time, the line-of-sight direction of the displayed panorama image to the head-mounted display 100 There may be locks so as not to be changed in conjunction with the movement of the head. メニュー630の操作中はヘッドマウントディスプレイ100に表示されたパノラマ画像の視線方向を固定することで、メニュー630の操作指示との混同を回避することができる。 During operation of the menu 630 by fixing the sight direction of the panoramic image displayed on the head mounted display 100, it is possible to avoid confusion with the operation instructions of the menu 630. また、コントローラのボタンを押している間だけ、メニュー630の操作ができるようにしてもよい。 Also, only while pressing a button on the controller may be able to operate the menu 630.

以上、本発明を実施の形態をもとに説明した。 The present invention has been described based on the embodiments. 実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The embodiment is illustrative in nature and allows various modifications to the combination of their respective components and processes, also be in the scope of the present invention such modifications are in and it is understood by those skilled in the art . そのような変形例を説明する。 Describing such modifications.

10 制御部、 20 入力インタフェース、 30 出力インタフェース、 32 バックライト、 40 通信制御部、 42 ネットワークアダプタ、 44 アンテナ、 50 記憶部、 60 GPSユニット、 62 無線ユニット、 64 姿勢センサ、 70 外部入出力端子インタフェース、 72 外部メモリ、 80 時計部、 100 ヘッドマウントディスプレイ、 110 本体部、 120 前頭部接触部、 130 側頭部接触部、 200 ゲーム機、 700 パノラマ画像生成装置、 710 ズーム指示取得部、 720 感度調整部、 730 角度情報取得部、 740 視線方向変更部、 750 パノラマ画像処理部、 760 パノラマ画像記憶部、 770 画像提供部、 780 マーカ検出部、 790 ドリフト補正部、 800 仮想空間描画処理装置、 810 10 control unit, 20 an input interface, 30 output interface, 32 backlight, 40 a communication control unit, 42 network adapter, 44 antenna, 50 storage unit, 60 GPS unit, 62 wireless unit, 64 orientation sensor, 70 external input interface , 72 external memory 80 a clock unit, 100 a head-mounted display, 110 main body, 120 forehead contact portion, 130 side head contact portion 200 gaming machines, 700 panoramic image generating apparatus, 710 a zoom instruction acquisition unit 720 sensitivity adjuster, 730 angle information acquisition unit, 740 line-of-sight direction changing unit 750 panorama image processing unit, 760 panorama image storing unit, 770 image providing unit, 780 marker detector 790 drift compensation unit, 800 a virtual space drawing processor, 810 位置・姿勢情報取得部、 820 描画指示取得部、 830 オブジェクト生成部、 840 オブジェクト情報記憶部、 850 視点位置・視線方向設定部、 860 3次元レンダリング部、 870 画像提供部、 900 ユーザインタフェース処理装置、 910 傾き・加速度情報取得部、 920 ジェスチャ判定部、 930 イベント特定部、 940 対応テーブル記憶部、 960 ユーザインタフェース部、 970 メニュー情報記憶部。 Position and orientation information acquisition unit, 820 rendering instruction acquisition unit, 830 object generation unit, 840 object information storage unit, 850 viewpoint position and viewing direction setting unit, 860 a three-dimensional rendering unit, 870 image providing unit, 900 user interface processing apparatus, 910 inclination, acceleration information acquisition section, 920 a gesture determination unit, 930 event specific section, 940 correspondence table storage unit, 960 user interface unit, 970 a menu information storage unit.

Claims (9)

  1. ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部と、 A motion acquisition unit for acquiring information on the movement of the user who wears the head-mounted display,
    前記動き取得部により取得されたユーザの動きに応じた画像を生成する画像生成部と、 An image generator for generating an image according to motion of the user acquired by the motion acquisition unit,
    生成された画像を前記ヘッドマウントディスプレイに提供する画像提供部とを含むことを特徴とする画像生成装置。 Image generating apparatus according to claim the generated image to contain the image providing unit for providing to the head-mounted display.
  2. 前記動き取得部は、ヘッドマウントディスプレイを装着したユーザの頭部の回転角に関する情報を取得する角度情報取得部を含み、 Wherein the motion acquisition unit includes angle information acquisition unit that acquires information related to the rotation angle of the head of the user wearing the head-mounted display,
    前記画像生成部は、 The image generation unit,
    前記頭部の回転角に関する情報にもとづいて、パノラマ画像を見る視線方向を変更する視線方向変更部と、 Based on the information related to the rotation angle of the head, and the line-of-sight direction changing unit for changing the viewing direction to view the panoramic image,
    変更された視線方向から見たパノラマ画像を生成するパノラマ画像処理部とを含むことを特徴とする請求項1に記載の画像生成装置。 The image generating apparatus according to claim 1, characterized in that it comprises a panorama image processing unit for generating a panoramic image viewed from line-of-sight direction changed.
  3. 前記角度情報取得部は、前記ヘッドマウントディスプレイに搭載された姿勢センサにより検知された姿勢情報から前記頭部の回転角に関する情報を取得することを特徴とする請求項2に記載の画像生成装置。 The angle information acquisition unit, an image generating apparatus according to claim 2, characterized in that it is from posture information detected by the attitude sensor mounted on the head mounted display to obtain information related to the rotation angle of the head.
  4. 前記角度情報取得部は、前記ヘッドマウントディスプレイに搭載されたマーカの位置情報から前記頭部の回転角に関する情報を取得することを特徴とする請求項2に記載の画像生成装置。 The angle information acquisition unit, an image generating apparatus according to claim 2, characterized in that to obtain the information related to the rotation angle of the head from the position information of the marker mounted on the head-mounted display.
  5. カメラにより撮影された前記ヘッドマウントディスプレイの画像を用いて前記ヘッドマウントディスプレイに搭載されたマーカの位置情報を検出するマーカ検出部と、 A marker detector for detecting the position information of the markers mounted on the head-mounted display using the image of the head-mounted display that is captured by the camera,
    検出されたマーカの位置情報にもとづいて、前記姿勢センサのドリフトを補正するか否かを判定するドリフト補正部とをさらに含むことを特徴とする請求項3に記載の画像生成装置。 Based on the position information of the detected marker image generating apparatus according to claim 3, further comprising a determining drift correction unit whether to correct the drift in the orientation sensor.
  6. 前記動き取得部は、ヘッドマウントディスプレイを装着したユーザの位置および姿勢に関する情報を取得する位置・姿勢情報取得部を含み、 Wherein the motion acquisition unit includes a position and orientation information acquisition unit for acquiring information on the position and orientation of the user who wears the head-mounted display,
    前記画像生成部は、 The image generation unit,
    カメラにより追跡されたマーカの描く軌跡に応じたオブジェクトを仮想空間内に生成するオブジェクト生成部と、 An object generation unit for generating an object corresponding to the trajectory drawn by the marker that has been tracked by the camera in the virtual space,
    前記位置および姿勢に関する情報にもとづいて、仮想空間を見る視点位置および視線方向を設定する視点位置・視線方向設定部と、 Based on information on the position and orientation, and the viewpoint position and viewing direction setting unit for setting a viewpoint position and viewing direction view a virtual space,
    設定された視点位置および視線方向にもとづいて、前記オブジェクトを含む仮想空間をレンダリングする3次元レンダリング部とを含むことを特徴とする請求項1に記載の画像生成装置。 Based on the set viewpoint position and viewing direction, the image generating apparatus according to claim 1, characterized in that it comprises a three-dimensional rendering unit for rendering the virtual space including the object.
  7. 前記動き取得部は、ヘッドマウントディスプレイを装着したユーザの頭部の傾きに関する情報を取得する傾き情報取得部を含み、 Wherein the motion acquisition unit includes a tilt information acquisition unit that acquires information relating to inclination of the head of the user wearing the head-mounted display,
    前記画像生成部は、 The image generation unit,
    前記頭部の傾きにもとづいてユーザのジェスチャを判定するジェスチャ判定部と、 A gesture determination unit determining a gesture of the user based on the inclination of the head,
    ジェスチャとイベントを対応づけたテーブルを参照し、前記ジェスチャ判定部により判定されたジェスチャから、発生させるべきイベントを特定するイベント特定部と、 It refers to the table that associates the gesture and events from the gesture which is determined by the gesture determination unit, an event identifying unit for identifying a to be generated event,
    前記イベント特定部により特定されたイベントにもとづいた操作画面を前記ヘッドマウントディスプレイに提供するユーザインタフェース部とを含むことを特徴とする請求項1に記載の画像生成装置。 The image generating apparatus according to claim 1, characterized in that it comprises a user interface unit for providing an operation screen based on the event identified by the event identification unit in the head-mounted display.
  8. ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得ステップと、 A motion acquisition step of acquiring information about the motion of the user wearing the head-mounted display,
    ユーザの動きに応じた画像を生成する画像生成ステップと、 An image generation step of generating an image according to the movement of the user,
    生成された画像を前記ヘッドマウントディスプレイに提供する画像提供ステップとを含むことを特徴とする画像生成方法。 Image generation method characterized by including the generated image and an image providing step of providing said head-mounted display.
  9. ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得ステップと、 A motion acquisition step of acquiring information about the motion of the user wearing the head-mounted display,
    ユーザの動きに応じた画像を生成する画像生成ステップと、 An image generation step of generating an image according to the movement of the user,
    生成された画像を前記ヘッドマウントディスプレイに提供する画像提供ステップとをコンピュータに実行させることを特徴とするプログラム。 A program characterized by executing the image providing step of providing the generated image on the head mounted display to the computer.
JP2012134264A 2012-06-13 2012-06-13 Image generation device and image generation method Pending JP2013258614A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012134264A JP2013258614A (en) 2012-06-13 2012-06-13 Image generation device and image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012134264A JP2013258614A (en) 2012-06-13 2012-06-13 Image generation device and image generation method

Publications (1)

Publication Number Publication Date
JP2013258614A true JP2013258614A (en) 2013-12-26

Family

ID=49954686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012134264A Pending JP2013258614A (en) 2012-06-13 2012-06-13 Image generation device and image generation method

Country Status (1)

Country Link
JP (1) JP2013258614A (en)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015103621A1 (en) 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of virtual reality systems
WO2015112361A1 (en) 2014-01-25 2015-07-30 Sony Computer Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP2015231445A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image generating device
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
JP5898756B1 (en) * 2014-11-28 2016-04-06 株式会社コロプラ In conjunction with a plurality of controllers connected via a display and network screen operation to system, program, and method
JP2016092567A (en) * 2014-11-04 2016-05-23 セイコーエプソン株式会社 Head-mounted display device, control method for head-mounted display device, and computer program
JP2016115329A (en) * 2015-05-22 2016-06-23 株式会社コロプラ Head-mounted display system, method of displaying on head-mounted display, and program
WO2016098688A1 (en) * 2014-12-15 2016-06-23 株式会社コロプラ Head mounted display system, method for performing display in head mounted display and program
WO2016099630A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Head mounted display update buffer
JP5944600B1 (en) * 2015-08-28 2016-07-05 株式会社タカラトミー The information processing apparatus having a head mounted display
JP2016127981A (en) * 2016-02-25 2016-07-14 株式会社コロプラ System, program, and method for performing screen operation by interlocking display and plural controllers connected through network
WO2016136794A1 (en) * 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント Display control program, dislay control device, and display control method
JP2016158794A (en) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント Display control program, display control apparatus, and display control method
JP6002286B1 (en) * 2015-07-14 2016-10-05 株式会社コロプラ Head-mounted display control method, and a head mounted display control program
DE102016107202A1 (en) 2015-04-20 2016-10-20 Fanuc Corporation display system
WO2017037962A1 (en) 2015-08-28 2017-03-09 株式会社タカラトミー Information processing device provided with head-mounted display
JP2017055173A (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and image generation method
JP6159455B1 (en) * 2016-09-02 2017-07-05 株式会社コロプラ Method of providing a virtual space, a program, and a recording medium
US9721396B2 (en) 2015-03-17 2017-08-01 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
CN107211195A (en) * 2015-02-12 2017-09-26 日商可乐普拉股份有限公司 Device and system for viewing content using head-mounted display
JP2017211912A (en) * 2016-05-27 2017-11-30 株式会社コロプラ Display control method and program for causing computer to execute the method
JP6242452B1 (en) * 2016-08-22 2017-12-06 株式会社コロプラ Method of providing a virtual space, a method of providing a virtual experience, program, and recording medium
JP2017224003A (en) * 2016-05-17 2017-12-21 株式会社コロプラ Method, program, and storage medium for providing virtual space
US20180028915A1 (en) * 2015-02-27 2018-02-01 Sony Interactive Entertainment Inc. Display control program, dislay control apparatus and display control method
JP6277567B1 (en) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント Terminal, and program
JP2018061667A (en) * 2016-10-12 2018-04-19 株式会社カプコン Game program and a game apparatus
US9986207B2 (en) 2013-03-15 2018-05-29 Sony Interactive Entertainment America Llc Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks
JP2018085125A (en) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal, and program
JP2018094086A (en) * 2016-12-13 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image formation method
US10216738B1 (en) 2013-03-15 2019-02-26 Sony Interactive Entertainment America Llc Virtual reality interaction with 3D printing
US10297062B2 (en) 2014-03-18 2019-05-21 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US10320946B2 (en) 2013-03-15 2019-06-11 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US10356215B1 (en) 2013-03-15 2019-07-16 Sony Interactive Entertainment America Llc Crowd and cloud enabled virtual reality distributed location network

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10356215B1 (en) 2013-03-15 2019-07-16 Sony Interactive Entertainment America Llc Crowd and cloud enabled virtual reality distributed location network
US9986207B2 (en) 2013-03-15 2018-05-29 Sony Interactive Entertainment America Llc Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks
US10216738B1 (en) 2013-03-15 2019-02-26 Sony Interactive Entertainment America Llc Virtual reality interaction with 3D printing
US10320946B2 (en) 2013-03-15 2019-06-11 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US9779540B2 (en) 2014-01-06 2017-10-03 Oculus Vr, Llc Calibration of virtual reality systems
US10001834B2 (en) 2014-01-06 2018-06-19 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
WO2015103621A1 (en) 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of virtual reality systems
JP2017142813A (en) * 2014-01-06 2017-08-17 オキュラス ブイアール,エルエルシー Calibration of virtual reality system
EP3017591A4 (en) * 2014-01-06 2017-09-27 Oculus VR, LLC Calibration of virtual reality systems
US10096167B2 (en) 2014-01-25 2018-10-09 Sony Interactive Entertainment America Llc Method for executing functions in a VR environment
CN106164993A (en) * 2014-01-25 2016-11-23 索尼互动娱乐美国有限责任公司 Environmental interrupt in a head-mounted display and utilization of non field of view real estate
WO2015112361A1 (en) 2014-01-25 2015-07-30 Sony Computer Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
EP3097552A4 (en) * 2014-01-25 2018-01-24 Sony Computer Entertainment America LLC Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9710057B2 (en) 2014-03-14 2017-07-18 Sony Interactive Entertainment Inc. Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP2017516187A (en) * 2014-03-14 2017-06-15 株式会社ソニー・インタラクティブエンタテインメント Head-mounted calibration method and system for tracking and coordination of the headband of hmd Display (hmd)
US10297062B2 (en) 2014-03-18 2019-05-21 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
JP2015231445A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image generating device
JP2016092567A (en) * 2014-11-04 2016-05-23 セイコーエプソン株式会社 Head-mounted display device, control method for head-mounted display device, and computer program
JP5898756B1 (en) * 2014-11-28 2016-04-06 株式会社コロプラ In conjunction with a plurality of controllers connected via a display and network screen operation to system, program, and method
WO2016084941A1 (en) * 2014-11-28 2016-06-02 株式会社コロプラ System, program, and method for operating screen by linking display and plurality of controllers connected via network
US9940754B2 (en) 2014-12-15 2018-04-10 Colopl, Inc. Head-mounted display system and method for presenting display on head-mounted display
WO2016098688A1 (en) * 2014-12-15 2016-06-23 株式会社コロプラ Head mounted display system, method for performing display in head mounted display and program
US9542718B2 (en) 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
WO2016099630A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Head mounted display update buffer
CN107211195A (en) * 2015-02-12 2017-09-26 日商可乐普拉股份有限公司 Device and system for viewing content using head-mounted display
US9958937B2 (en) 2015-02-12 2018-05-01 Colopl, Inc. Device and system for viewing content using head-mounted display
WO2016136794A1 (en) * 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント Display control program, dislay control device, and display control method
US20180028915A1 (en) * 2015-02-27 2018-02-01 Sony Interactive Entertainment Inc. Display control program, dislay control apparatus and display control method
JP2016158794A (en) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント Display control program, display control apparatus, and display control method
US9721396B2 (en) 2015-03-17 2017-08-01 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
US10268433B2 (en) 2015-04-20 2019-04-23 Fanuc Corporation Display system
DE102016107202A1 (en) 2015-04-20 2016-10-20 Fanuc Corporation display system
JP2016115329A (en) * 2015-05-22 2016-06-23 株式会社コロプラ Head-mounted display system, method of displaying on head-mounted display, and program
US10115235B2 (en) 2015-07-14 2018-10-30 Colopl, Inc. Method for controlling head mounted display, and system for implemeting the method
JP6002286B1 (en) * 2015-07-14 2016-10-05 株式会社コロプラ Head-mounted display control method, and a head mounted display control program
US9703102B2 (en) 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
JP5944600B1 (en) * 2015-08-28 2016-07-05 株式会社タカラトミー The information processing apparatus having a head mounted display
WO2017037962A1 (en) 2015-08-28 2017-03-09 株式会社タカラトミー Information processing device provided with head-mounted display
WO2017043398A1 (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image generation method
JP2017055173A (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and image generation method
JP2016127981A (en) * 2016-02-25 2016-07-14 株式会社コロプラ System, program, and method for performing screen operation by interlocking display and plural controllers connected through network
JP2017224003A (en) * 2016-05-17 2017-12-21 株式会社コロプラ Method, program, and storage medium for providing virtual space
JP2017211912A (en) * 2016-05-27 2017-11-30 株式会社コロプラ Display control method and program for causing computer to execute the method
JP6242452B1 (en) * 2016-08-22 2017-12-06 株式会社コロプラ Method of providing a virtual space, a method of providing a virtual experience, program, and recording medium
JP6159455B1 (en) * 2016-09-02 2017-07-05 株式会社コロプラ Method of providing a virtual space, a program, and a recording medium
JP2018061667A (en) * 2016-10-12 2018-04-19 株式会社カプコン Game program and a game apparatus
JP6277567B1 (en) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント Terminal, and program
JP2018094086A (en) * 2016-12-13 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image formation method
JP2018085125A (en) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal, and program

Similar Documents

Publication Publication Date Title
US9122321B2 (en) Collaboration environment using see through displays
US9395543B2 (en) Wearable behavior-based vision system
EP3014338B1 (en) Tracking head movement when wearing mobile device
US7817104B2 (en) Augmented reality apparatus and method
US10268276B2 (en) Autonomous computing and telecommunications head-up displays glasses
JP5580855B2 (en) Obstacle avoidance system and obstacle avoidance method
CN103443746B (en) User control means of the three-dimensional tracking in space
US9442567B2 (en) Gaze swipe selection
US20140152558A1 (en) Direct hologram manipulation using imu
JP3089306B2 (en) Stereoscopic imaging and display device
US20080106517A1 (en) 3D remote control system employing absolute and relative position detection
US9728010B2 (en) Virtual representations of real-world objects
US8350896B2 (en) Terminal apparatus, display control method, and display control program
US10133073B2 (en) Image generation apparatus and image generation method
US9311883B2 (en) Recalibration of a flexible mixed reality device
US9508195B2 (en) Management of content in a 3D holographic environment
JP2010123121A (en) Method and apparatus for marking position of real world object in see-through display
KR20140029901A (en) A head mounted display and a method for controlling a digital device using the same
US10073516B2 (en) Methods and systems for user interaction within virtual reality scene using head mounted display
US20180096536A1 (en) Information processing apparatus, information processing system, and information processing method
CN103180893A (en) Method and system for use in providing three dimensional user interface
KR20110133443A (en) Selecting view orientation in portable device via image analysis
US9602809B2 (en) Storage medium storing display control program for providing stereoscopic display desired by user with simpler operation, display control device, display control method, and display control system
US20110225538A1 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
EP2932358A1 (en) Direct interaction system for mixed reality environments