JP2013258614A - Image generation device and image generation method - Google Patents

Image generation device and image generation method Download PDF

Info

Publication number
JP2013258614A
JP2013258614A JP2012134264A JP2012134264A JP2013258614A JP 2013258614 A JP2013258614 A JP 2013258614A JP 2012134264 A JP2012134264 A JP 2012134264A JP 2012134264 A JP2012134264 A JP 2012134264A JP 2013258614 A JP2013258614 A JP 2013258614A
Authority
JP
Japan
Prior art keywords
head
display
unit
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012134264A
Other languages
Japanese (ja)
Inventor
Yoichi Nishimaki
洋一 西牧
Hiroshi Osawa
洋 大澤
Ken Yamagishi
建 山岸
Original Assignee
Sony Computer Entertainment Inc
株式会社ソニー・コンピュータエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc, 株式会社ソニー・コンピュータエンタテインメント filed Critical Sony Computer Entertainment Inc
Priority to JP2012134264A priority Critical patent/JP2013258614A/en
Publication of JP2013258614A publication Critical patent/JP2013258614A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To solve the problem in which a user cannot look at his/her hands in a state of wearing a head-mounted display to have difficulty in operation of a controller or the like.SOLUTION: An angle information acquisition unit 730 acquires information on a rotation angle of the head of a user wearing a head-mounted display. A visual line direction changing unit 740 changes a visual line direction in which a panoramic image is viewed on the basis of the information on the rotation angle of the head. A panoramic image processing unit 750 generates a panoramic image viewed from the changed visual line direction. An image providing unit 770 supplies the generated panoramic image data to the head-mounted display 100.

Description

この発明は、ヘッドマウントディスプレイに表示される画像を生成する装置および方法に関する。   The present invention relates to an apparatus and a method for generating an image to be displayed on a head mounted display.

ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。   A head-mounted display connected to a game machine is attached to the head, and a game is played by operating a controller or the like while viewing a screen displayed on the head-mounted display. In a normal stationary display connected to a game machine, the user's field of view extends outside the display screen, so it may not be possible to concentrate on the display screen or lack of immersion in the game. . On the other hand, when the head mounted display is mounted, since the user does not see any video other than the video displayed on the head mounted display, the feeling of immersion in the video world is increased and the entertainment property of the game is further enhanced.

また、ヘッドマウントディスプレイにパノラマ画像を表示させ、ヘッドマウントディスプレイを装着したユーザが頭部を回転させると、360度のパノラマ画像や仮想空間が表示されるようにすると、さらに映像への没入感が高まり、ゲームなどのアプリケーションの操作性も向上する。   In addition, when a panoramic image is displayed on the head-mounted display and a user wearing the head-mounted display rotates his / her head, a 360-degree panoramic image and a virtual space are displayed. The operability of applications such as games will be improved.

ユーザはヘッドマウントディスプレイを装着した状態でヘッドマウントディスプレイに表示された画像を見ながら、各種の操作をしなければならないため、手元が見えず、コントローラの操作などには困難が伴う。   Since the user must perform various operations while viewing the image displayed on the head mounted display with the head mounted display attached, the user cannot see the hand and the controller is difficult to operate.

本発明はこうした課題に鑑みてなされたものであり、その目的は、ユーザの動きを検出し、ユーザの動きに応じた画像をヘッドマウントディスプレイに表示することのできる画像生成装置および画像生成方法を提供することにある。   The present invention has been made in view of these problems, and an object of the present invention is to provide an image generation apparatus and an image generation method capable of detecting a user's movement and displaying an image according to the user's movement on a head-mounted display. It is to provide.

上記課題を解決するために、本発明のある態様の画像生成装置は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部と、ユーザの動きに応じた画像を生成する画像生成部と、生成された画像を前記ヘッドマウントディスプレイに提供する画像提供部とを含む。   In order to solve the above-described problem, an image generation apparatus according to an aspect of the present invention includes a motion acquisition unit that acquires information about a motion of a user wearing a head-mounted display, and an image generation that generates an image according to the user's motion. And an image providing unit for providing the generated image to the head mounted display.

本発明の別の態様は、画像生成方法である。この方法は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得ステップと、ユーザの動きに応じた画像を生成する画像生成ステップと、生成された画像を前記ヘッドマウントディスプレイに提供する画像提供ステップとを含む。   Another aspect of the present invention is an image generation method. This method provides a motion acquisition step of acquiring information related to a motion of a user wearing a head mounted display, an image generating step of generating an image according to the user's motion, and the generated image to the head mounted display. Image providing step.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。   It should be noted that any combination of the above-described constituent elements and the expression of the present invention converted between a method, an apparatus, a system, a computer program, a data structure, a recording medium, and the like are also effective as an aspect of the present invention.

本発明によれば、ヘッドマウントディスプレイを装着したユーザの動きに応じた画像をヘッドマウントディスプレイに表示することができる。   ADVANTAGE OF THE INVENTION According to this invention, the image according to the motion of the user with which the head mounted display was mounted | worn can be displayed on a head mounted display.

ヘッドマウントディスプレイの外観図である。It is an external view of a head mounted display. ヘッドマウントディスプレイの機能構成図である。It is a functional lineblock diagram of a head mount display. 本実施の形態に係るパノラマ画像生成システムの構成図である。It is a block diagram of the panoramic image generation system which concerns on this Embodiment. 本実施の形態に係るパノラマ画像生成装置の機能構成図である。It is a functional block diagram of the panoramic image generation apparatus which concerns on this Embodiment. 図5(a)および図5(b)は、ユーザの頭部の絶対角度とパノラマ画像のカメラ角度の関係を説明する図である。FIGS. 5A and 5B are diagrams illustrating the relationship between the absolute angle of the user's head and the camera angle of the panoramic image. 図6(a)〜図6(d)は、ヘッドマウントディスプレイに設けられたマーカを検出して姿勢センサのドリフトを補正する方法を説明する図である。FIG. 6A to FIG. 6D are diagrams for explaining a method of correcting the drift of the posture sensor by detecting the marker provided on the head mounted display. 図4のパノラマ画像生成装置によるパノラマ画像生成手順を説明するフローチャートである。It is a flowchart explaining the panorama image generation procedure by the panorama image generation apparatus of FIG. ヘッドマウントディスプレイに表示されるパノラマ画像を説明する図である。It is a figure explaining the panoramic image displayed on a head mounted display. ヘッドマウントディスプレイを装着するユーザがもつコントローラに付けられたマーカを説明する図である。It is a figure explaining the marker attached to the controller with which the user who mounts a head mounted display has. 本実施の形態に係る仮想空間描画処理システムの構成図である。It is a block diagram of the virtual space drawing processing system which concerns on this Embodiment. 本実施の形態に係る仮想空間描画処理装置の機能構成図である。It is a functional block diagram of the virtual space drawing processing apparatus which concerns on this Embodiment. ヘッドマウントディスプレイを装着したユーザがマーカを動かすことで仮想空間内にオブジェクトを描画している様子を説明する図である。It is a figure explaining a mode that the user who mounted | wore the head mounted display is drawing the object in virtual space by moving a marker. 図13(a)は、3次元仮想空間内のオブジェクトとビューアカメラの関係を説明する図であり、図13(b)は、ビューアカメラから見た3次元空間の画像を説明する図である。FIG. 13A is a diagram for explaining the relationship between an object in the three-dimensional virtual space and the viewer camera, and FIG. 13B is a diagram for explaining an image in the three-dimensional space viewed from the viewer camera. 本実施の形態に係るユーザインタフェース処理装置の機能構成図である。It is a functional block diagram of the user interface processing apparatus which concerns on this Embodiment. 図15(a)〜図15(d)は、ヘッドマウントディスプレイに表示されるメニュー画面の例を説明する図である。Fig.15 (a)-FIG.15 (d) are the figures explaining the example of the menu screen displayed on a head mounted display.

図1は、ヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、前頭部接触部120、側頭部接触部130、およびカメラ140を含む。   FIG. 1 is an external view of the head mounted display 100. The head mounted display 100 includes a main body part 110, a forehead contact part 120, a temporal contact part 130, and a camera 140.

ヘッドマウントディスプレイ100は、ユーザの頭部に装着してディスプレイに表示される静止画や動画などを鑑賞し、ヘッドホンから出力される音声や音楽などを聴くための表示装置である。   The head mounted display 100 is a display device that is worn on the user's head and enjoys still images and moving images displayed on the display, and listens to sound and music output from the headphones.

ヘッドマウントディスプレイ100に内蔵または外付けされたGPS(Global Positioning System)などの位置センサによりユーザの位置情報を計測することができる。また、ヘッドマウントディスプレイ100に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ100を装着したユーザの頭部の向きや傾きといった姿勢情報を計測することができる。   The position information of the user can be measured by a position sensor such as GPS (Global Positioning System) incorporated in or externally attached to the head mounted display 100. Further, posture information such as the orientation and inclination of the head of the user wearing the head mounted display 100 can be measured by a posture sensor built in or externally attached to the head mounted display 100.

本体部110には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。前頭部接触部120および側頭部接触部130には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが含まれる。   The main body 110 includes a display, a position information acquisition sensor, a posture sensor, a communication device, and the like. The forehead contact unit 120 and the temporal contact unit 130 include a biological information acquisition sensor that can measure biological information such as a user's body temperature, pulse, blood component, sweating, brain waves, and cerebral blood flow.

ヘッドマウントディスプレイ100には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ100に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。   The head mounted display 100 may further be provided with a camera that captures the eyes of the user. The camera mounted on the head mounted display 100 can detect the user's line of sight, pupil movement, blinking, and the like.

カメラ140は、ヘッドマウントディスプレイ100の前部に搭載されており、ユーザがヘッドマウントディスプレイ100を装着している間、外界を撮影することができる。   The camera 140 is mounted on the front portion of the head mounted display 100, and can capture the outside world while the user is wearing the head mounted display 100.

ここでは、ヘッドマウントディスプレイ100に表示される画像の生成方法を説明するが、本実施の形態の画像生成方法は、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。   Here, a method for generating an image displayed on the head mounted display 100 will be described. However, the image generating method according to the present embodiment is not limited to the head mounted display 100 in a narrow sense, but a glasses, a glasses type display, a glasses type camera, The present invention can also be applied when headphones, headsets (headphones with microphones), earphones, earrings, ear-mounted cameras, hats, hats with cameras, hair bands, and the like are attached.

図2は、ヘッドマウントディスプレイ100の機能構成図である。   FIG. 2 is a functional configuration diagram of the head mounted display 100.

制御部10は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース20は、タッチパネルおよびタッチパネルコントローラから操作信号や設定信号を受け付け、制御部10に供給する。出力インタフェース30は、制御部10から画像信号を受け取り、ディスプレイに表示させる。バックライト32は、液晶ディスプレイにバックライトを供給する。   The control unit 10 is a main processor that processes and outputs signals such as image signals and sensor signals, commands and data. The input interface 20 receives operation signals and setting signals from the touch panel and the touch panel controller, and supplies them to the control unit 10. The output interface 30 receives the image signal from the control unit 10 and displays it on the display. The backlight 32 supplies a backlight to the liquid crystal display.

通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部10から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部10に出力する。   The communication control unit 40 transmits data input from the control unit 10 to the outside through wired or wireless communication via the network adapter 42 or the antenna 44. The communication control unit 40 also receives data from the outside via wired or wireless communication via the network adapter 42 or the antenna 44 and outputs the data to the control unit 10.

記憶部50は、制御部10が処理するデータやパラメータ、操作信号などを一時的に記憶する。   The storage unit 50 temporarily stores data, parameters, operation signals, and the like processed by the control unit 10.

GPSユニット60は、制御部10からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部10に供給する。無線ユニット62は、制御部10からの操作信号にしたがって、無線基地局から位置情報を受信して制御部10に供給する。   The GPS unit 60 receives position information from a GPS satellite and supplies it to the control unit 10 in accordance with an operation signal from the control unit 10. The radio unit 62 receives position information from the radio base station and supplies it to the control unit 10 in accordance with an operation signal from the control unit 10.

姿勢センサ64は、ヘッドマウントディスプレイ100の本体部110の向きや傾きなどの姿勢情報を検出する。姿勢センサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。   The attitude sensor 64 detects attitude information such as the orientation and inclination of the main body 110 of the head mounted display 100. The posture sensor 64 is realized by appropriately combining a gyro sensor, an acceleration sensor, an angular acceleration sensor, and the like.

外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ72は、フラッシュメモリなどの外部メモリである。   The external input / output terminal interface 70 is an interface for connecting peripheral devices such as a USB (Universal Serial Bus) controller. The external memory 72 is an external memory such as a flash memory.

時計部80は、制御部10からの設定信号によって時間情報を設定し、時間データを制御部10に供給する。   The clock unit 80 sets time information according to a setting signal from the control unit 10 and supplies time data to the control unit 10.

カメラユニット90は、レンズ、イメージセンサ、測距センサなど撮影に必要な構成を含む。測距センサは、赤外光などを照射して反射光を撮影し、三角測量の原理で被写体までの距離を測定するセンサである。   The camera unit 90 includes a configuration necessary for photographing such as a lens, an image sensor, and a distance measuring sensor. The distance measuring sensor is a sensor that irradiates infrared light or the like to photograph reflected light and measures the distance to the subject based on the principle of triangulation.

制御部10は、画像やテキストデータを出力インタフェース30に供給してディスプレイに表示させたり、通信制御部40に供給して外部に送信させることができる。   The control unit 10 can supply the image and text data to the output interface 30 to be displayed on the display, or can supply the image and text data to the communication control unit 40 to be transmitted to the outside.

(第1の実施例)
図3は、本実施の形態に係るパノラマ画像生成システムの構成図である。ヘッドマウントディスプレイ100は、無線通信またはUSBなどの周辺機器を接続するインタフェースでゲーム機200に接続される。ゲーム機200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをゲーム機200に提供してもよい。ヘッドマウントディスプレイ100は、ゲーム機200の代わりに、コンピュータや携帯端末に接続されてもよい。
(First embodiment)
FIG. 3 is a configuration diagram of the panoramic image generation system according to the present embodiment. The head mounted display 100 is connected to the game machine 200 via an interface for connecting peripheral devices such as wireless communication or USB. The game machine 200 may be further connected to a server via a network. In that case, the server may provide the game machine 200 with an online application such as a game that allows a plurality of users to participate via a network. The head mounted display 100 may be connected to a computer or a portable terminal instead of the game machine 200.

図4は、本実施の形態に係るパノラマ画像生成装置700の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。   FIG. 4 is a functional configuration diagram of the panoramic image generation apparatus 700 according to the present embodiment. This figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

パノラマ画像生成装置700は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、パノラマ画像生成装置700の少なくとも一部の機能をヘッドマウントディスプレイ100側の制御部10に実装してもよい。あるいは、パノラマ画像生成装置700の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。   The panorama image generation apparatus 700 is mounted on the game machine 200 to which the head mounted display 100 is connected. However, at least a part of the functions of the panorama image generation apparatus 700 may be mounted on the control unit 10 on the head mounted display 100 side. Good. Alternatively, at least a part of the functions of the panoramic image generation apparatus 700 may be implemented in a server connected to the game machine 200 via a network.

角度情報取得部730と感度調整部720は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部の一例である。視線方向変更部740とパノラマ画像処理部750は、ユーザの動きに応じた画像を生成する画像生成部の一例である。   The angle information acquisition unit 730 and the sensitivity adjustment unit 720 are an example of a movement acquisition unit that acquires information regarding the movement of the user wearing the head mounted display. The line-of-sight direction changing unit 740 and the panoramic image processing unit 750 are an example of an image generation unit that generates an image according to a user's movement.

ズーム指示取得部710は、ヘッドマウントディスプレイ100の入力インタフェース20を介してユーザが指示するズームの倍率を取得する。ズーム指示取得部710が取得したズーム倍率は感度調整部720とパノラマ画像処理部750に供給される。   The zoom instruction acquisition unit 710 acquires the zoom magnification indicated by the user via the input interface 20 of the head mounted display 100. The zoom magnification acquired by the zoom instruction acquisition unit 710 is supplied to the sensitivity adjustment unit 720 and the panorama image processing unit 750.

角度情報取得部730は、ヘッドマウントディスプレイ100の姿勢センサ64により検知される姿勢情報にもとづいてヘッドマウントディスプレイ100を装着したユーザの頭部の回転角を取得する。   The angle information acquisition unit 730 acquires the rotation angle of the head of the user wearing the head mounted display 100 based on the posture information detected by the posture sensor 64 of the head mounted display 100.

角度情報取得部730は、感度調整部720から指示された感度にもとづいて、ユーザの頭部の回転角を絶対角度で取得する。たとえば、ユーザが首を回すと、姿勢センサ64によりユーザの頭部の角度の変化が検出されるが、感度調整部720は、角度の変化が所定の値を超えるまでは検出された角度の変化を無視するように角度情報取得部730に指示する。   The angle information acquisition unit 730 acquires the rotation angle of the user's head as an absolute angle based on the sensitivity instructed from the sensitivity adjustment unit 720. For example, when the user turns his / her neck, the posture sensor 64 detects a change in the angle of the user's head, but the sensitivity adjustment unit 720 changes the detected angle until the change in angle exceeds a predetermined value. Is instructed to ignore the angle information acquisition unit 730.

また、感度調整部720は、ズーム指示取得部710から取得されたズーム倍率にもとづいて頭部の角度検出の感度を調整する。ズーム倍率が大きくなるほど、頭部の角度検出の感度を下げる。ズームすると、画角が小さくなるため、頭部の角度検出感度を下げることで頭部の揺れによる表示画像の振動を抑えることができる。   Further, the sensitivity adjustment unit 720 adjusts the sensitivity of the head angle detection based on the zoom magnification acquired from the zoom instruction acquisition unit 710. As the zoom magnification increases, the sensitivity of head angle detection decreases. When the zoom is performed, the angle of view becomes small. Therefore, the vibration of the display image due to the shaking of the head can be suppressed by reducing the sensitivity of the head angle detection.

また、角度情報取得部730は、ヘッドマウントディスプレイ100に搭載されたカメラ140により撮像された視点位置の異なる複数の画像から自己位置推定を行うことにより、ユーザの頭部の絶対角度を取得してもよい。   In addition, the angle information acquisition unit 730 acquires the absolute angle of the user's head by performing self-position estimation from a plurality of images with different viewpoint positions captured by the camera 140 mounted on the head mounted display 100. Also good.

視点位置の異なる複数の視差画像をもとに被写体の3次元位置情報と視点位置とを同時に求める自己位置推定の方法の一つに、SLAM(Simultaneous Localization and Mapping)と呼ばれる技術がある。SLAMは、センサから取得した情報をもとに、自己位置推定と環境地図作成を同時に行う技術であり、自律移動ロボットなどに応用されている。ここでは、一例として、公知のSLAM技術を用いて被写体の特徴点の3次元位置とカメラの3次元位置とを推定するが、他の自己位置推定の技術を用いてもかまわない。SLAMは、たとえば次の論文に紹介されている。Andrew J. Davison, "Real-Time Simultaneous Localisation and Mapping with a Single Camera", ICCV 2003.   There is a technique called SLAM (Simultaneous Localization and Mapping) as one of self-position estimation methods for simultaneously obtaining the three-dimensional position information of the subject and the viewpoint position based on a plurality of parallax images having different viewpoint positions. SLAM is a technology that simultaneously performs self-position estimation and environmental map creation based on information acquired from sensors, and is applied to autonomous mobile robots and the like. Here, as an example, the three-dimensional position of the feature point of the subject and the three-dimensional position of the camera are estimated using a well-known SLAM technique, but other self-position estimation techniques may be used. SLAM is introduced in the following paper, for example. Andrew J. Davison, "Real-Time Simultaneous Localization and Mapping with a Single Camera", ICCV 2003.

SLAMなどの自己位置推定技術では十分な検出精度が出ないが、モーションセンサによる姿勢検出を組み合わせることで、頭部の動き検出のロバスト性を向上させることができる。また、自己位置推定技術を組み合わせることで、モーションセンサのドリフトを補正する作用もある。   Although self-position estimation techniques such as SLAM do not provide sufficient detection accuracy, the robustness of head movement detection can be improved by combining posture detection with a motion sensor. In addition, there is an effect of correcting the drift of the motion sensor by combining the self-position estimation technology.

また、マーカ検出部780がヘッドマウントディスプレイ100に付けられたマーカの位置を検出し、角度情報取得部730は、マーカ検出部780により検出されたマーカの位置にもとづいて、ユーザの頭部の絶対角度を取得してもよい。マーカがカメラの死角に入ったときはマーカの位置検出ができなくなるが、その場合は、モーションセンサによる姿勢検出を組み合わせることで対処することができる。   Further, the marker detection unit 780 detects the position of the marker attached to the head mounted display 100, and the angle information acquisition unit 730 determines the absolute position of the user's head based on the marker position detected by the marker detection unit 780. An angle may be acquired. When the marker enters the blind spot of the camera, the position of the marker cannot be detected. In that case, it can be dealt with by combining posture detection by a motion sensor.

モーションセンサとして、3軸地磁気センサ、3軸加速度センサおよび3軸ジャイロ(角速度)センサの少なくとも1つ以上の組み合わせを用いて、ユーザの頭部の前後、左右、上下の動きを検出してもよい。また、マーカによる位置取得を組み合わせて頭部の動き検出の精度を向上させてもよい。   As a motion sensor, a back-and-forth, left-right, and up-and-down movement of the user's head may be detected using a combination of at least one of a 3-axis geomagnetic sensor, a 3-axis acceleration sensor, and a 3-axis gyro (angular velocity) sensor. . Further, the accuracy of head movement detection may be improved by combining the position acquisition by the marker.

視線方向変更部740は、角度情報取得部730により検出されたユーザの頭部の絶対角度にしたがって、ヘッドマウントディスプレイ100に表示されるパノラマ画像のカメラ角度、すなわち視線方向を変更し、変更された視線方向をパノラマ画像処理部750に与える。   The line-of-sight direction changing unit 740 changes the camera angle of the panoramic image displayed on the head-mounted display 100, that is, the line-of-sight direction according to the absolute angle of the user's head detected by the angle information acquisition unit 730. The line-of-sight direction is given to the panoramic image processing unit 750.

図5(a)および図5(b)は、ユーザの頭部の絶対角度とパノラマ画像のカメラ角度の関係を説明する図である。図5(a)のように、ヘッドマウントディスプレイ100を装着したユーザが首を回して、角度情報取得部730により取得される頭部の絶対角度が30度から75度に変化したとき、視線方向変更部740は、パノラマ画像のビューアカメラ400の角度を30度から75度に変化させる。   FIGS. 5A and 5B are diagrams illustrating the relationship between the absolute angle of the user's head and the camera angle of the panoramic image. When the user wearing the head mounted display 100 turns his / her neck and the absolute angle of the head acquired by the angle information acquisition unit 730 changes from 30 degrees to 75 degrees as shown in FIG. The changing unit 740 changes the angle of the panoramic image viewer camera 400 from 30 degrees to 75 degrees.

角度情報取得部730により検出されたユーザの頭部の絶対角度の変化をローパスフィルタによってフィルタリングすることで、首の振動などによるノイズを除去するようにしてもよい。   A change in the absolute angle of the user's head detected by the angle information acquisition unit 730 may be filtered by a low-pass filter to remove noise due to neck vibration or the like.

図4に戻り、パノラマ画像処理部750は、パノラマ画像記憶部760からパノラマ画像データを読み出し、視線方向変更部740から指定された視線方向から見たパノラマ画像を、ズーム指示取得部710から指定されたズーム倍率で生成し、画像提供部770に与える。   Returning to FIG. 4, the panorama image processing unit 750 reads panorama image data from the panorama image storage unit 760, and a panorama image viewed from the line-of-sight direction specified by the line-of-sight direction changing unit 740 is specified by the zoom instruction acquisition unit 710. The image is generated at the zoom magnification and given to the image providing unit 770.

画像提供部770は、パノラマ画像処理部750により生成されたパノラマ画像データをヘッドマウントディスプレイ100に供給する。   The image providing unit 770 supplies the panorama image data generated by the panorama image processing unit 750 to the head mounted display 100.

マーカ検出部780は、ゲーム機200に接続されたカメラにより、ヘッドマウントディスプレイ100に付けられたマーカを検出し、検出されたマーカの位置情報を角度情報取得部730とドリフト補正部790に与える。   The marker detection unit 780 detects a marker attached to the head mounted display 100 with a camera connected to the game machine 200 and provides the position information of the detected marker to the angle information acquisition unit 730 and the drift correction unit 790.

ドリフト補正部790は、マーカ検出部780から与えられたマーカの位置の変化にもとづいて、ヘッドマウントディスプレイ100の姿勢センサ64のドリフトを補正するか否かを判定し、ドリフトを補正した場合、補正結果をヘッドマウントディスプレイ100に与える。ヘッドマウントディスプレイ100側ではドリフト補正の結果にもとづいて姿勢センサ64の検出値を補正する。   The drift correction unit 790 determines whether or not to correct the drift of the posture sensor 64 of the head mounted display 100 based on the change in the marker position given from the marker detection unit 780. The result is given to the head mounted display 100. On the head mounted display 100 side, the detection value of the attitude sensor 64 is corrected based on the drift correction result.

ドリフト補正部790は、マーカの位置が変化していないにもかかわらず、姿勢センサ64により頭部の回転角の変化が検出された場合は、姿勢センサ64の原点がドリフトしていると判定し、ドリフト補正を実行する。   The drift correction unit 790 determines that the origin of the posture sensor 64 is drifting when a change in the rotation angle of the head is detected by the posture sensor 64 even though the marker position has not changed. Perform drift correction.

図6(a)〜図6(d)は、ヘッドマウントディスプレイ100に設けられたマーカを検出して姿勢センサ64のドリフトを補正する方法を説明する図である。   FIGS. 6A to 6D are diagrams for explaining a method of correcting a drift of the posture sensor 64 by detecting a marker provided on the head mounted display 100. FIG.

姿勢センサ64、特にジャイロセンサでは、検出されるヨー角の原点がドリフトする「ヨー・ドリフト」と呼ばれる問題がある。図6(a)のように、点線の矢印で示すように検出されるヨー角にドリフトの影響が生じると、実線の矢印で示すようにドリフトを自動的に補正する機能が提供されている。しかし、図6(a)に示すようにヘッドマウントディスプレイ100の前部に球形のマーカ310が一つだけ設けられている場合、ヘッドマウントディスプレイ100を装着したユーザの頭部が図6(b)のように回転した場合でも、ヨー角のドリフトと誤判定してしまい、実線の矢印で示すようにドリフト補正がなされて、頭部の絶対角度の変化が検出されなくなることがある。   The attitude sensor 64, particularly the gyro sensor, has a problem called “yaw drift” in which the origin of the detected yaw angle drifts. As shown in FIG. 6A, a function is provided for automatically correcting the drift as indicated by the solid arrow when the influence of the drift occurs on the detected yaw angle as indicated by the dotted arrow. However, when only one spherical marker 310 is provided at the front of the head mounted display 100 as shown in FIG. 6A, the head of the user wearing the head mounted display 100 is shown in FIG. Even if it rotates like this, it is erroneously determined as a drift of the yaw angle, and drift correction is performed as indicated by a solid line arrow, and a change in the absolute angle of the head may not be detected.

そこで、図6(c)のように、ヘッドマウントディスプレイ100の前部に四角形など球形以外のマーカ330aを設けるようにする。この場合、ヘッドマウントディスプレイ100を装着したユーザの頭部の絶対角度が変化すると、カメラにより検出されるマーカ330bは、変化前のマーカ330aとは向きが異なるものになる。そのため、球形のマーカの場合とは違って、頭部の絶対角度の変化をマーカ330a、330bの向きの変化として捉えることができ、頭部の絶対角度の変化がヨー・ドリフトと誤判定されることを防ぐことができる。   Therefore, as shown in FIG. 6C, a marker 330 a other than a spherical shape such as a square is provided at the front portion of the head mounted display 100. In this case, when the absolute angle of the head of the user wearing the head mounted display 100 changes, the direction of the marker 330b detected by the camera is different from the direction of the marker 330a before the change. Therefore, unlike the case of the spherical marker, the change in the absolute angle of the head can be regarded as the change in the direction of the markers 330a and 330b, and the change in the absolute angle of the head is erroneously determined as yaw drift. Can be prevented.

また、図6(d)のように、ヘッドマウントディスプレイ100の前方に球形のマーカ330を、後方に別の球形のマーカ340aを設けるようにすると、ヘッドマウントディスプレイ100を装着したユーザの頭部の絶対角度が変化すると、ヘッドマウントディスプレイ100の前方のマーカ330と後方の球形のマーカ340a、340bを結ぶ直線の方向が変化するため、頭部の絶対角度の変化がヨー・ドリフトと誤判定されることを防ぐことができる。   Further, as shown in FIG. 6D, when a spherical marker 330 is provided in front of the head mounted display 100 and another spherical marker 340a is provided behind, the head of the user wearing the head mounted display 100 is placed. When the absolute angle changes, the direction of the straight line connecting the front marker 330 and the rear spherical markers 340a and 340b of the head mounted display 100 changes, and thus the change in the absolute angle of the head is erroneously determined as yaw drift. Can be prevented.

図7は、パノラマ画像生成装置700によるパノラマ画像生成手順を説明するフローチャートである。   FIG. 7 is a flowchart for explaining a panorama image generation procedure performed by the panorama image generation apparatus 700.

ヘッドマウントディスプレイ100の姿勢センサ64によりユーザの頭部の方向が取得される(S10)。ヘッドマウントディスプレイ100は、頭部の絶対角度の情報をゲーム機200に与える(S12)。   The orientation of the user's head is acquired by the posture sensor 64 of the head mounted display 100 (S10). The head mounted display 100 gives information on the absolute angle of the head to the game machine 200 (S12).

ゲーム機200の視線方向変更部740は、頭部の絶対角度の情報にもとづいてビューアカメラ400を回転させる(S14)。パノラマ画像処理部750は、ビューアカメラ400の方向すなわち視線方向から見たパノラマ画像を画角の範囲で生成して出力する(S16)。画像提供部770は、パノラマ画像処理部750により生成された映像データを制御部10に与える(S18)。   The line-of-sight direction changing unit 740 of the game machine 200 rotates the viewer camera 400 based on the information on the absolute angle of the head (S14). The panoramic image processing unit 750 generates and outputs a panoramic image viewed from the direction of the viewer camera 400, that is, the line-of-sight direction, within the range of the field angle (S16). The image providing unit 770 gives the video data generated by the panoramic image processing unit 750 to the control unit 10 (S18).

ヘッドマウントディスプレイ100にパノラマ画像が表示される(S20)。終了条件を満たせば(S22のY)、終了し、終了条件を満たさない場合(S22のN)、ステップS10に戻って、それ以降の処理が繰り返される。   A panoramic image is displayed on the head mounted display 100 (S20). If the end condition is satisfied (Y in S22), the process ends. If the end condition is not satisfied (N in S22), the process returns to step S10 and the subsequent processing is repeated.

図8は、ヘッドマウントディスプレイ100に表示されるパノラマ画像を説明する図である。パノラマ画像に対して、ユーザが左前方を向いている場合、ヘッドマウントディスプレイ100aの方向で画角150aの範囲にある画像510aが表示され、ユーザが首を回して右前方を向いている場合、ヘッドマウントディスプレイ100bの方向で画角150bの範囲にある画像510bが表示される。   FIG. 8 is a diagram for explaining a panoramic image displayed on the head mounted display 100. When the user is facing the left front with respect to the panoramic image, the image 510a in the range of the angle of view 150a in the direction of the head mounted display 100a is displayed, and when the user turns the neck and faces the right front, An image 510b in the range of the angle of view 150b in the direction of the head mounted display 100b is displayed.

このように頭部の動きに応じてヘッドマウントディスプレイ100に表示されるパノラマ画像を見る視線方向も変わるため、パノラマ画像に対する没入感を高めることができる。   As described above, the line-of-sight direction for viewing the panoramic image displayed on the head-mounted display 100 changes according to the movement of the head, so that it is possible to enhance the immersion in the panoramic image.

(第2の実施例)
図9は、ヘッドマウントディスプレイ100を装着するユーザがもつコントローラ350に付けられたマーカ300を説明する図である。ユーザはヘッドマウントディスプレイ100を装着した状態でゲーム機200のコントローラ350を操作する。ゲームアプリケーションによってはコントローラ350をもちながら手を動かしたり、体を移動させたりすることがある。コントローラ350にはマーカ300が付けられており、ゲーム機200に接続されたカメラによりマーカ300の位置を検出することができる。ゲーム機200に接続されたカメラに距離センサが備わっている場合、マーカ300の3次元座標を特定することができる。
(Second embodiment)
FIG. 9 is a diagram for explaining the marker 300 attached to the controller 350 of the user wearing the head mounted display 100. The user operates the controller 350 of the game machine 200 with the head mounted display 100 attached. Depending on the game application, the hand may be moved or the body may be moved while holding the controller 350. A marker 300 is attached to the controller 350, and the position of the marker 300 can be detected by a camera connected to the game machine 200. When the camera connected to the game machine 200 is provided with a distance sensor, the three-dimensional coordinates of the marker 300 can be specified.

図10は、本実施の形態に係る仮想空間描画処理システムの構成図である。ヘッドマウントディスプレイ100およびマーカ300が付けられたコントローラ350は、無線通信またはUSBなどの周辺機器を接続するインタフェースでゲーム機200に接続される。ゲーム機200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できる仮想空間のアプリケーションをゲーム機200に提供してもよい。ヘッドマウントディスプレイ100は、ゲーム機200の代わりに、コンピュータや携帯端末に接続されてもよい。   FIG. 10 is a configuration diagram of the virtual space rendering processing system according to the present embodiment. The controller 350 to which the head mounted display 100 and the marker 300 are attached is connected to the game machine 200 through an interface for connecting peripheral devices such as wireless communication or USB. The game machine 200 may be further connected to a server via a network. In that case, the server may provide the game machine 200 with a virtual space application in which a plurality of users can participate via a network. The head mounted display 100 may be connected to a computer or a portable terminal instead of the game machine 200.

図11は、本実施の形態に係る仮想空間描画処理装置800の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。   FIG. 11 is a functional configuration diagram of the virtual space rendering processing apparatus 800 according to the present embodiment. This figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

仮想空間描画処理装置800は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、仮想空間描画処理装置800の少なくとも一部の機能をヘッドマウントディスプレイ100側の制御部10に実装してもよい。あるいは、仮想空間描画処理装置800の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。   The virtual space rendering processing device 800 is mounted on the game machine 200 to which the head mounted display 100 is connected. At least a part of the functions of the virtual space rendering processing device 800 is mounted on the control unit 10 on the head mounted display 100 side. May be. Alternatively, at least a part of the functions of the virtual space rendering processing device 800 may be mounted on a server connected to the game machine 200 via a network.

位置・姿勢情報取得部810は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部の一例である。描画指示取得部820、オブジェクト生成部830、視点位置・視線方向設定部850、および3次元レンダリング部860は、ユーザの動きに応じた画像を生成する画像生成部の一例である。   The position / posture information acquisition unit 810 is an example of a movement acquisition unit that acquires information regarding the movement of the user wearing the head mounted display. The drawing instruction acquisition unit 820, the object generation unit 830, the viewpoint position / gaze direction setting unit 850, and the three-dimensional rendering unit 860 are examples of an image generation unit that generates an image according to a user's movement.

位置・姿勢情報取得部810は、ヘッドマウントディスプレイ100のGPSユニット60または無線ユニット62からユーザの位置を取得し、ヘッドマウントディスプレイ100の姿勢センサ64からユーザの姿勢の情報を取得する。取得されたユーザの位置と姿勢の情報は、オブジェクト生成部830と視点位置・視線方向設定部850に与えられる。   The position / posture information acquisition unit 810 acquires the position of the user from the GPS unit 60 or the wireless unit 62 of the head mounted display 100 and acquires information of the user's posture from the posture sensor 64 of the head mounted display 100. The acquired user position and orientation information is provided to the object generation unit 830 and the viewpoint position / gaze direction setting unit 850.

描画指示取得部820は、コントローラ350からユーザの描画指示を取得し、オブジェクト生成部830に描画命令を与える。   The drawing instruction acquisition unit 820 acquires a user's drawing instruction from the controller 350 and gives a drawing command to the object generation unit 830.

オブジェクト生成部830は、位置・姿勢情報取得部810により取得されたユーザの位置と姿勢の情報を参照し、ユーザが当該位置で当該姿勢を取ってマーカ300を動かしたときのマーカ300の軌跡に応じたオブジェクトを仮想空間内に生成し、オブジェクト情報記憶部840に保存する。マーカ300が描く軌跡は、ゲーム機200のカメラによりマーカ300の位置を追跡することにより取得される。   The object generation unit 830 refers to the position and orientation information of the user acquired by the position / posture information acquisition unit 810, and uses the trajectory of the marker 300 when the user moves the marker 300 by taking the posture at the position. A corresponding object is generated in the virtual space and stored in the object information storage unit 840. The trajectory drawn by the marker 300 is acquired by tracking the position of the marker 300 with the camera of the game machine 200.

視点位置・視線方向設定部850は、位置・姿勢情報取得部810により取得されたユーザの位置と姿勢の情報にもとづいて、仮想空間におけるユーザの視点位置と視線方向を設定する。3次元レンダリング部860は、設定された視点位置および視線方向にもとづいて、オブジェクト情報記憶部840から仮想空間の情報とユーザが空間内に描画したオブジェクトの情報を読み出して、3次元仮想空間内にオブジェクトをレンダリングする。   The viewpoint position / gaze direction setting unit 850 sets the user's viewpoint position and gaze direction in the virtual space based on the user position and orientation information acquired by the position / attitude information acquisition unit 810. Based on the set viewpoint position and line-of-sight direction, the 3D rendering unit 860 reads out information on the virtual space and information on the object drawn by the user in the space from the object information storage unit 840, and stores the information in the 3D virtual space. Render the object.

ヘッドマウントディスプレイ100を装着したユーザが位置や姿勢を変更すると、ヘッドマウントディスプレイ100に表示される3次元仮想空間を見る方向が変わり、ユーザが空間内に描画したオブジェクトに対する相対的な位置関係や向きも変化する。これにより、ヘッドマウントディスプレイ100を装着したユーザが空間内を移動しながら、自分が描いたオブジェクトを立体的に観察することができる。   When the user wearing the head-mounted display 100 changes the position or orientation, the direction in which the three-dimensional virtual space displayed on the head-mounted display 100 is viewed changes, and the relative positional relationship and orientation with respect to the object drawn by the user in the space Also changes. As a result, the user wearing the head mounted display 100 can stereoscopically observe the object drawn by the user while moving in the space.

画像提供部870は、3次元レンダリング部860により生成された仮想空間の映像データをヘッドマウントディスプレイ100に与える。   The image providing unit 870 gives the video data of the virtual space generated by the three-dimensional rendering unit 860 to the head mounted display 100.

図12は、ヘッドマウントディスプレイ100を装着したユーザがマーカ300を動かすことで仮想空間内にオブジェクト600a、600b、600c、600dを描画している様子を説明する図である。ユーザがコントローラ350のボタンを押している間は、マーカ300を用いてオブジェクトを空間内に描画することができ、ユーザは自分の描いたオブジェクトをヘッドマウントディスプレイ100に表示される仮想空間内で観察することができる。ユーザが位置を変えたり、頭部の向きを変えると、仮想空間内のユーザの視点位置や視点方向が変わり、新しい視点位置において新しい視線方向から見た3次元仮想空間内で自分の描いたオブジェクトを見ることができる。このとき、ユーザの描いたオブジェクトも3次元情報をもつため、オブジェクトの位置と向きは、ユーザの視点位置と視線方向を反映したものに変わる。   FIG. 12 is a diagram for explaining a state in which objects 600 a, 600 b, 600 c, and 600 d are drawn in the virtual space by moving the marker 300 by the user wearing the head mounted display 100. While the user presses the button on the controller 350, the object can be drawn in the space using the marker 300, and the user observes the drawn object in the virtual space displayed on the head mounted display 100. be able to. When the user changes the position or the head direction, the user's viewpoint position or viewpoint direction in the virtual space changes, and the object drawn by himself / herself in the three-dimensional virtual space viewed from the new line of sight at the new viewpoint position Can see. At this time, since the object drawn by the user also has three-dimensional information, the position and orientation of the object are changed to reflect the user's viewpoint position and line-of-sight direction.

図13(a)は、3次元仮想空間内のオブジェクト610a、610b、610cとビューアカメラ400の関係を説明する図であり、図13(b)は、ビューアカメラ400から見た3次元空間の画像を説明する図である。   13A is a diagram for explaining the relationship between the objects 610a, 610b, and 610c in the three-dimensional virtual space and the viewer camera 400. FIG. 13B is an image in the three-dimensional space viewed from the viewer camera 400. FIG.

図13(a)に示すオブジェクト610a、610b、610cはユーザがマーカ300を動かして空間内に描いたオブジェクトである。視点位置・視線方向設定部850が、仮想空間を見るビューアカメラ400の位置および方向を変える、すなわちユーザの視点位置と視線方向を変えることにより、3次元レンダリング部860により生成される仮想空間の画像が変わる。図13(b)は、図13(a)に示すビューアカメラ400の位置および方向で見たときの仮想空間の画像であり、オブジェクト610aと610cの一部がユーザに見える。   Objects 610a, 610b, and 610c shown in FIG. 13A are objects drawn by the user moving the marker 300 in the space. The viewpoint position / line-of-sight setting unit 850 changes the position and direction of the viewer camera 400 viewing the virtual space, that is, changes the user's viewpoint position and line-of-sight direction, thereby generating an image of the virtual space generated by the three-dimensional rendering unit 860. Changes. FIG. 13B is an image of the virtual space when viewed from the position and direction of the viewer camera 400 shown in FIG. 13A, and a part of the objects 610a and 610c is visible to the user.

(第3の実施例)
図14は、本実施の形態に係るユーザインタフェース処理装置900の機能構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。
(Third embodiment)
FIG. 14 is a functional configuration diagram of the user interface processing apparatus 900 according to the present embodiment. This figure depicts a block diagram focusing on functions, and these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

ユーザインタフェース処理装置900は、ヘッドマウントディスプレイ100が接続されたゲーム機200に実装されるが、ユーザインタフェース処理装置900の少なくとも一部の機能をヘッドマウントディスプレイ100側の制御部10に実装してもよい。あるいは、ユーザインタフェース処理装置900の少なくとも一部の機能を、ネットワークを介してゲーム機200に接続されたサーバに実装してもよい。   Although the user interface processing device 900 is mounted on the game machine 200 to which the head mounted display 100 is connected, at least a part of the functions of the user interface processing device 900 may be mounted on the control unit 10 on the head mounted display 100 side. Good. Alternatively, at least a part of the functions of the user interface processing device 900 may be mounted on a server connected to the game machine 200 via a network.

傾き・加速度情報取得部910は、ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部の一例である。ジェスチャ判定部920、イベント特定部930、およびユーザインタフェース部960は、ユーザの動きに応じた画像を生成する画像生成部の一例である。   The tilt / acceleration information acquisition unit 910 is an example of a movement acquisition unit that acquires information regarding the movement of the user wearing the head mounted display. The gesture determination unit 920, the event identification unit 930, and the user interface unit 960 are an example of an image generation unit that generates an image according to a user's movement.

傾き・加速度情報取得部910は、ヘッドマウントディスプレイ100の姿勢センサ64からヘッドマウントディスプレイ100を装着したユーザの頭部の傾きと加速度の情報を取得する。ジェスチャ判定部920は、ユーザの頭部の傾きと加速度にもとづいてユーザのジェスチャを判定する。たとえば、頭部を動かしたときの傾きと動きの加速度にもとづいて、うなずく、首を傾げる、首を振るなどのジェスチャを判定する。   The tilt / acceleration information acquisition unit 910 acquires information on the tilt and acceleration of the head of the user wearing the head mounted display 100 from the attitude sensor 64 of the head mounted display 100. The gesture determination unit 920 determines a user gesture based on the tilt and acceleration of the user's head. For example, gestures such as nodding, tilting the head, and shaking the head are determined based on the tilt and acceleration of the movement of the head.

イベント特定部930は、対応テーブル記憶部940に保持されたジェスチャとイベントを対応づけたテーブルを参照し、ジェスチャ判定部920により判定されたジェスチャから、発生させるべきイベントを特定する。たとえば、ユーザがうなずいたときは「決定」、首を横に振ったときは「キャンセル」、上下左右のいずれかを向いたときはその方向への「カーソル移動」、首をかしげたときは「メニュー表示」などに対応づけられる。   The event identification unit 930 refers to a table that associates a gesture with an event held in the correspondence table storage unit 940, and identifies an event to be generated from the gesture determined by the gesture determination unit 920. For example, when the user nods, “decision”, when the head is swayed, “cancel”, when facing up, down, left or right, “cursor movement” in that direction, Corresponding to “menu display”.

ユーザインタフェース部960は、メニュー情報記憶部970からメニュー画面の情報を読み出し、イベント特定部930により特定されたイベントにもとづいてメニュー画面を表示させたり、メニュー画面から項目を選択させるイベントを発生させるなど、イベントにもとづいた操作画面をヘッドマウントディスプレイ100に提供する。   The user interface unit 960 reads information on the menu screen from the menu information storage unit 970, displays the menu screen based on the event specified by the event specifying unit 930, or generates an event for selecting an item from the menu screen. The operation screen based on the event is provided to the head mounted display 100.

図15(a)〜図15(d)は、ヘッドマウントディスプレイ100に表示されるメニュー画面の例を説明する図である。   FIG. 15A to FIG. 15D are diagrams illustrating examples of menu screens displayed on the head mounted display 100.

図15(a)は、ヘッドマウントディスプレイ100に表示される画面である。図15(b)は、ユーザが頭を左に傾げたとき表示されるメニュー630を示す。傾き・加速度情報取得部910がユーザの頭部が左に傾いたことを検出すると、ジェスチャ判定部920は、その動作をメニュー630を画面に登場させるイベントに対応づけ、ユーザインタフェース部960は、メニュー630を画面の右端からスライドさせて登場させる(「スライド・イン」動作と呼ぶ)。   FIG. 15A is a screen displayed on the head mounted display 100. FIG. 15B shows a menu 630 displayed when the user tilts his head to the left. When the tilt / acceleration information acquisition unit 910 detects that the user's head is tilted to the left, the gesture determination unit 920 associates the action with an event that causes the menu 630 to appear on the screen, and the user interface unit 960 630 is made to slide from the right end of the screen (referred to as “slide-in” operation).

ユーザが頭を元の位置に戻すと、図15(c)に示すように、画面にメニュー630が表示された状態でメニュー630から項目を選択することができるようになる。たとえば、ユーザが上または下を向くと、メニュー630のいずれかの項目を順に選択することができ、ユーザが右を向くと、選択された項目を実行することができる。ユーザが左を向くと、選択した項目をキャンセルすることができる。   When the user returns the head to the original position, an item can be selected from the menu 630 with the menu 630 displayed on the screen, as shown in FIG. For example, when the user turns up or down, any item in menu 630 can be selected in turn, and when the user turns to the right, the selected item can be executed. When the user turns to the left, the selected item can be canceled.

図15(d)は、ユーザが頭を右に傾げたときに表示されるメニュー630を示す。傾き・加速度情報取得部910がユーザの頭部が右に傾いたことを検出すると、ジェスチャ判定部920は、その動作をメニュー630を画面から消すイベントに対応づけ、ユーザインタフェース部960は、メニュー630を画面の右端にスライドさせて消去する(「スライド・アウト」動作と呼ぶ)。   FIG. 15D shows a menu 630 displayed when the user tilts his / her head to the right. When the tilt / acceleration information acquisition unit 910 detects that the user's head is tilted to the right, the gesture determination unit 920 associates the action with an event that deletes the menu 630 from the screen, and the user interface unit 960 displays the menu 630. Slide to the right edge of the screen to erase (referred to as “slide out” operation).

メニュー630をスライド・イン、スライド・アウトさせたり、メニュー630から項目を選択する際、ユーザは頭を傾げたり、振ったりするが、このとき、ヘッドマウントディスプレイ100に表示されたパノラマ画像の視線方向が頭部の動きと連動して変化しないようにロックをかけるようにしてもよい。メニュー630の操作中はヘッドマウントディスプレイ100に表示されたパノラマ画像の視線方向を固定することで、メニュー630の操作指示との混同を回避することができる。また、コントローラのボタンを押している間だけ、メニュー630の操作ができるようにしてもよい。   When the menu 630 is slid in, slid out, or an item is selected from the menu 630, the user tilts his head or shakes. At this time, the viewing direction of the panoramic image displayed on the head mounted display 100 A lock may be applied so that does not change in conjunction with the movement of the head. By fixing the line-of-sight direction of the panoramic image displayed on the head mounted display 100 during operation of the menu 630, confusion with the operation instruction of the menu 630 can be avoided. Further, the menu 630 may be operated only while the controller button is pressed.

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。   The present invention has been described based on the embodiments. The embodiments are exemplifications, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. . Such a modification will be described.

10 制御部、 20 入力インタフェース、 30 出力インタフェース、 32 バックライト、 40 通信制御部、 42 ネットワークアダプタ、 44 アンテナ、 50 記憶部、 60 GPSユニット、 62 無線ユニット、 64 姿勢センサ、 70 外部入出力端子インタフェース、 72 外部メモリ、 80 時計部、 100 ヘッドマウントディスプレイ、 110 本体部、 120 前頭部接触部、 130 側頭部接触部、 200 ゲーム機、 700 パノラマ画像生成装置、 710 ズーム指示取得部、 720 感度調整部、 730 角度情報取得部、 740 視線方向変更部、 750 パノラマ画像処理部、 760 パノラマ画像記憶部、 770 画像提供部、 780 マーカ検出部、 790 ドリフト補正部、 800 仮想空間描画処理装置、 810 位置・姿勢情報取得部、 820 描画指示取得部、 830 オブジェクト生成部、 840 オブジェクト情報記憶部、 850 視点位置・視線方向設定部、 860 3次元レンダリング部、 870 画像提供部、 900 ユーザインタフェース処理装置、 910 傾き・加速度情報取得部、 920 ジェスチャ判定部、 930 イベント特定部、 940 対応テーブル記憶部、 960 ユーザインタフェース部、 970 メニュー情報記憶部。   10 control unit, 20 input interface, 30 output interface, 32 backlight, 40 communication control unit, 42 network adapter, 44 antenna, 50 storage unit, 60 GPS unit, 62 wireless unit, 64 attitude sensor, 70 external input / output terminal interface 72 external memory, 80 clock unit, 100 head-mounted display, 110 main body unit, 120 frontal head contact unit, 130 temporal head contact unit, 200 game machine, 700 panoramic image generation device, 710 zoom instruction acquisition unit, 720 sensitivity Adjustment unit, 730 angle information acquisition unit, 740 gaze direction change unit, 750 panorama image processing unit, 760 panorama image storage unit, 770 image providing unit, 780 marker detection unit, 790 drift correction unit 800 virtual space rendering processing device, 810 position / attitude information acquisition unit, 820 drawing instruction acquisition unit, 830 object generation unit, 840 object information storage unit, 850 viewpoint position / gaze direction setting unit, 860 three-dimensional rendering unit, 870 image provision Unit, 900 user interface processing device, 910 tilt / acceleration information acquisition unit, 920 gesture determination unit, 930 event identification unit, 940 correspondence table storage unit, 960 user interface unit, 970 menu information storage unit.

Claims (9)

ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得部と、
前記動き取得部により取得されたユーザの動きに応じた画像を生成する画像生成部と、
生成された画像を前記ヘッドマウントディスプレイに提供する画像提供部とを含むことを特徴とする画像生成装置。
A movement acquisition unit that acquires information on movement of the user wearing the head mounted display;
An image generation unit that generates an image according to the user's movement acquired by the movement acquisition unit;
And an image providing unit that provides the generated image to the head mounted display.
前記動き取得部は、ヘッドマウントディスプレイを装着したユーザの頭部の回転角に関する情報を取得する角度情報取得部を含み、
前記画像生成部は、
前記頭部の回転角に関する情報にもとづいて、パノラマ画像を見る視線方向を変更する視線方向変更部と、
変更された視線方向から見たパノラマ画像を生成するパノラマ画像処理部とを含むことを特徴とする請求項1に記載の画像生成装置。
The movement acquisition unit includes an angle information acquisition unit that acquires information about the rotation angle of the head of the user wearing the head mounted display,
The image generation unit
A line-of-sight direction changing unit that changes a line-of-sight direction for viewing a panoramic image based on the information about the rotation angle of the head;
The image generation apparatus according to claim 1, further comprising: a panorama image processing unit that generates a panorama image viewed from the changed line-of-sight direction.
前記角度情報取得部は、前記ヘッドマウントディスプレイに搭載された姿勢センサにより検知された姿勢情報から前記頭部の回転角に関する情報を取得することを特徴とする請求項2に記載の画像生成装置。   The image generation apparatus according to claim 2, wherein the angle information acquisition unit acquires information related to a rotation angle of the head from posture information detected by a posture sensor mounted on the head mounted display. 前記角度情報取得部は、前記ヘッドマウントディスプレイに搭載されたマーカの位置情報から前記頭部の回転角に関する情報を取得することを特徴とする請求項2に記載の画像生成装置。   The image generation apparatus according to claim 2, wherein the angle information acquisition unit acquires information related to a rotation angle of the head from position information of a marker mounted on the head mounted display. カメラにより撮影された前記ヘッドマウントディスプレイの画像を用いて前記ヘッドマウントディスプレイに搭載されたマーカの位置情報を検出するマーカ検出部と、
検出されたマーカの位置情報にもとづいて、前記姿勢センサのドリフトを補正するか否かを判定するドリフト補正部とをさらに含むことを特徴とする請求項3に記載の画像生成装置。
A marker detection unit for detecting position information of a marker mounted on the head mounted display using an image of the head mounted display captured by a camera;
The image generation apparatus according to claim 3, further comprising a drift correction unit that determines whether or not to correct drift of the posture sensor based on the detected position information of the marker.
前記動き取得部は、ヘッドマウントディスプレイを装着したユーザの位置および姿勢に関する情報を取得する位置・姿勢情報取得部を含み、
前記画像生成部は、
カメラにより追跡されたマーカの描く軌跡に応じたオブジェクトを仮想空間内に生成するオブジェクト生成部と、
前記位置および姿勢に関する情報にもとづいて、仮想空間を見る視点位置および視線方向を設定する視点位置・視線方向設定部と、
設定された視点位置および視線方向にもとづいて、前記オブジェクトを含む仮想空間をレンダリングする3次元レンダリング部とを含むことを特徴とする請求項1に記載の画像生成装置。
The movement acquisition unit includes a position / posture information acquisition unit that acquires information about the position and posture of the user wearing the head mounted display,
The image generation unit
An object generation unit that generates an object in the virtual space according to the trace drawn by the marker tracked by the camera;
A viewpoint position / line-of-sight direction setting unit that sets a viewpoint position and a line-of-sight direction for viewing the virtual space based on the information on the position and orientation;
The image generating apparatus according to claim 1, further comprising: a three-dimensional rendering unit that renders a virtual space including the object based on the set viewpoint position and line-of-sight direction.
前記動き取得部は、ヘッドマウントディスプレイを装着したユーザの頭部の傾きに関する情報を取得する傾き情報取得部を含み、
前記画像生成部は、
前記頭部の傾きにもとづいてユーザのジェスチャを判定するジェスチャ判定部と、
ジェスチャとイベントを対応づけたテーブルを参照し、前記ジェスチャ判定部により判定されたジェスチャから、発生させるべきイベントを特定するイベント特定部と、
前記イベント特定部により特定されたイベントにもとづいた操作画面を前記ヘッドマウントディスプレイに提供するユーザインタフェース部とを含むことを特徴とする請求項1に記載の画像生成装置。
The movement acquisition unit includes an inclination information acquisition unit that acquires information about the inclination of the head of the user wearing the head-mounted display,
The image generation unit
A gesture determination unit for determining a user's gesture based on the inclination of the head;
An event identification unit that identifies an event to be generated from the gesture determined by the gesture determination unit with reference to a table in which gestures and events are associated;
The image generating apparatus according to claim 1, further comprising: a user interface unit that provides an operation screen based on the event specified by the event specifying unit to the head mounted display.
ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得ステップと、
ユーザの動きに応じた画像を生成する画像生成ステップと、
生成された画像を前記ヘッドマウントディスプレイに提供する画像提供ステップとを含むことを特徴とする画像生成方法。
A movement acquisition step of acquiring information about movement of the user wearing the head mounted display;
An image generation step for generating an image according to a user's movement;
And an image providing step of providing the generated image to the head mounted display.
ヘッドマウントディスプレイを装着したユーザの動きに関する情報を取得する動き取得ステップと、
ユーザの動きに応じた画像を生成する画像生成ステップと、
生成された画像を前記ヘッドマウントディスプレイに提供する画像提供ステップとをコンピュータに実行させることを特徴とするプログラム。
A movement acquisition step of acquiring information about movement of the user wearing the head mounted display;
An image generation step for generating an image according to a user's movement;
A program for causing a computer to execute an image providing step of providing a generated image to the head mounted display.
JP2012134264A 2012-06-13 2012-06-13 Image generation device and image generation method Pending JP2013258614A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012134264A JP2013258614A (en) 2012-06-13 2012-06-13 Image generation device and image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012134264A JP2013258614A (en) 2012-06-13 2012-06-13 Image generation device and image generation method

Publications (1)

Publication Number Publication Date
JP2013258614A true JP2013258614A (en) 2013-12-26

Family

ID=49954686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012134264A Pending JP2013258614A (en) 2012-06-13 2012-06-13 Image generation device and image generation method

Country Status (1)

Country Link
JP (1) JP2013258614A (en)

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015103621A1 (en) 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of virtual reality systems
WO2015112361A1 (en) 2014-01-25 2015-07-30 Sony Computer Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
JP2015231445A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image generating device
JP5898756B1 (en) * 2014-11-28 2016-04-06 株式会社コロプラ SYSTEM, PROGRAM, AND METHOD FOR OPERATING SCREEN BY LINKING DISPLAY AND MULTIPLE CONTROLLERS CONNECTED BY NETWORK
JP2016092567A (en) * 2014-11-04 2016-05-23 セイコーエプソン株式会社 Head-mounted display device, control method for head-mounted display device, and computer program
WO2016098688A1 (en) * 2014-12-15 2016-06-23 株式会社コロプラ Head mounted display system, method for performing display in head mounted display and program
JP2016115329A (en) * 2015-05-22 2016-06-23 株式会社コロプラ Head-mounted display system, method of displaying on head-mounted display, and program
WO2016099630A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Head mounted display update buffer
JP5944600B1 (en) * 2015-08-28 2016-07-05 株式会社タカラトミー Information processing device with head-mounted display
JP2016127981A (en) * 2016-02-25 2016-07-14 株式会社コロプラ System, program, and method for performing screen operation by interlocking display and plural controllers connected through network
WO2016136794A1 (en) * 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント Display control program, dislay control device, and display control method
JP2016158794A (en) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント Display control program, display control apparatus, and display control method
JP6002286B1 (en) * 2015-07-14 2016-10-05 株式会社コロプラ Head mounted display control method and head mounted display control program
DE102016107202A1 (en) 2015-04-20 2016-10-20 Fanuc Corporation DISPLAY SYSTEM
JP2016189999A (en) * 2015-03-31 2016-11-10 株式会社バンダイナムコエンターテインメント Program and game system
JP2016214822A (en) * 2015-02-27 2016-12-22 株式会社ソニー・インタラクティブエンタテインメント Display control program, display control device, and display control method
JP2017045443A (en) * 2015-08-28 2017-03-02 株式会社タカラトミー Information processing apparatus with head-mounted display
JP2017055173A (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and image generation method
JP2017055998A (en) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント Program and game device
JP6159455B1 (en) * 2016-09-02 2017-07-05 株式会社コロプラ Method, program, and recording medium for providing virtual space
US9721396B2 (en) 2015-03-17 2017-08-01 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
CN107211195A (en) * 2015-02-12 2017-09-26 日商可乐普拉股份有限公司 Use the device and system of the content audiovisual of head-mounted display
JP2017211912A (en) * 2016-05-27 2017-11-30 株式会社コロプラ Display control method and program for causing computer to execute the method
JP6242452B1 (en) * 2016-08-22 2017-12-06 株式会社コロプラ Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP2017224003A (en) * 2016-05-17 2017-12-21 株式会社コロプラ Method, program, and storage medium for providing virtual space
JP6277567B1 (en) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント Terminal device and program
JP2018061667A (en) * 2016-10-12 2018-04-19 株式会社カプコン Game program and game device
US9986207B2 (en) 2013-03-15 2018-05-29 Sony Interactive Entertainment America Llc Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks
JP2018085125A (en) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program
JP2018094086A (en) * 2016-12-13 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image formation method
JP2018160249A (en) * 2018-05-14 2018-10-11 株式会社ソニー・インタラクティブエンタテインメント Head-mount display system, head-mount display, display control program, and display control method
JP2018165985A (en) * 2018-05-24 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント Information processing device and information processing method
US10216738B1 (en) 2013-03-15 2019-02-26 Sony Interactive Entertainment America Llc Virtual reality interaction with 3D printing
US10297062B2 (en) 2014-03-18 2019-05-21 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US10320946B2 (en) 2013-03-15 2019-06-11 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US10356215B1 (en) 2013-03-15 2019-07-16 Sony Interactive Entertainment America Llc Crowd and cloud enabled virtual reality distributed location network
JP2019136132A (en) * 2018-02-06 2019-08-22 株式会社コーエーテクモゲームス Program, information processing method and information processing device
US10474711B1 (en) 2013-03-15 2019-11-12 Sony Interactive Entertainment America Llc System and methods for effective virtual reality visitor interface
JP2020501263A (en) * 2016-12-09 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント Head mounted display with user head rotation guide
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP2020013589A (en) * 2019-08-19 2020-01-23 株式会社コロプラ Head-mounted display system, method of displaying on head-mounted display, and program
US10565249B1 (en) 2013-03-15 2020-02-18 Sony Interactive Entertainment America Llc Real time unified communications interaction of a predefined location in a virtual reality location
US10579109B2 (en) 2014-09-19 2020-03-03 Sony Corporation Control device and control method
US10587763B2 (en) 2017-12-11 2020-03-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium for combining video contents and user image
US10599707B1 (en) 2013-03-15 2020-03-24 Sony Interactive Entertainment America Llc Virtual reality enhanced through browser connections
WO2020059327A1 (en) * 2018-09-18 2020-03-26 ソニー株式会社 Information processing device, information processing method, and program
US10620699B2 (en) 2014-10-22 2020-04-14 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
US10728401B2 (en) 2017-12-11 2020-07-28 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable medium capable of outputting image
US10809798B2 (en) 2014-01-25 2020-10-20 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
JP2020171721A (en) * 2015-06-14 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント Expanded visual field re-rendering for vr watching
US10832547B2 (en) 2017-12-12 2020-11-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
WO2021079680A1 (en) * 2019-10-25 2021-04-29 株式会社ソニー・インタラクティブエンタテインメント Information processing device, head-mounted display, and image display method
JP2021511585A (en) * 2018-01-19 2021-05-06 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド Viewing angle adjustment methods and devices, storage media, and electronic devices
JP7061674B2 (en) 2018-01-19 2022-04-28 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド Viewing angle adjustment methods and devices, storage media, and electronic devices

Cited By (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565249B1 (en) 2013-03-15 2020-02-18 Sony Interactive Entertainment America Llc Real time unified communications interaction of a predefined location in a virtual reality location
US11272039B2 (en) 2013-03-15 2022-03-08 Sony Interactive Entertainment LLC Real time unified communications interaction of a predefined location in a virtual reality location
US10949054B1 (en) 2013-03-15 2021-03-16 Sony Interactive Entertainment America Llc Personal digital assistance and virtual reality
US11064050B2 (en) 2013-03-15 2021-07-13 Sony Interactive Entertainment LLC Crowd and cloud enabled virtual reality distributed location network
US10938958B2 (en) 2013-03-15 2021-03-02 Sony Interactive Entertainment LLC Virtual reality universe representation changes viewing based upon client side parameters
US10356215B1 (en) 2013-03-15 2019-07-16 Sony Interactive Entertainment America Llc Crowd and cloud enabled virtual reality distributed location network
US10599707B1 (en) 2013-03-15 2020-03-24 Sony Interactive Entertainment America Llc Virtual reality enhanced through browser connections
US9986207B2 (en) 2013-03-15 2018-05-29 Sony Interactive Entertainment America Llc Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks
US10474711B1 (en) 2013-03-15 2019-11-12 Sony Interactive Entertainment America Llc System and methods for effective virtual reality visitor interface
US10216738B1 (en) 2013-03-15 2019-02-26 Sony Interactive Entertainment America Llc Virtual reality interaction with 3D printing
US10320946B2 (en) 2013-03-15 2019-06-11 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US10001834B2 (en) 2014-01-06 2018-06-19 Oculus Vr, Llc Calibration of multiple rigid bodies in a virtual reality system
EP3017591A4 (en) * 2014-01-06 2017-09-27 Oculus VR, LLC Calibration of virtual reality systems
WO2015103621A1 (en) 2014-01-06 2015-07-09 Oculus Vr, Llc Calibration of virtual reality systems
JP2017142813A (en) * 2014-01-06 2017-08-17 オキュラス ブイアール,エルエルシー Calibration of virtual reality system
US9779540B2 (en) 2014-01-06 2017-10-03 Oculus Vr, Llc Calibration of virtual reality systems
US11036292B2 (en) 2014-01-25 2021-06-15 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
WO2015112361A1 (en) 2014-01-25 2015-07-30 Sony Computer Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US10809798B2 (en) 2014-01-25 2020-10-20 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
CN106164993A (en) * 2014-01-25 2016-11-23 索尼互动娱乐美国有限责任公司 Environment in head mounted display interrupts and the praedial utilization in the non-visual field
US10096167B2 (en) 2014-01-25 2018-10-09 Sony Interactive Entertainment America Llc Method for executing functions in a VR environment
CN106164993B (en) * 2014-01-25 2020-10-20 索尼互动娱乐美国有限责任公司 Utilization of environmental disruptions and non-visual real estate in head mounted displays
EP3097552A4 (en) * 2014-01-25 2018-01-24 Sony Computer Entertainment America LLC Environmental interrupt in a head-mounted display and utilization of non field of view real estate
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
JP2017516187A (en) * 2014-03-14 2017-06-15 株式会社ソニー・インタラクティブエンタテインメント Calibration method and system for head mounted display (HMD) tracking and HMD headband adjustment
US10409364B2 (en) 2014-03-14 2019-09-10 Sony Interactive Entertainment Inc. Methods and systems tracking head mounted display (HMD) and calibrations for HMD headband adjustments
US9710057B2 (en) 2014-03-14 2017-07-18 Sony Interactive Entertainment Inc. Methods and systems including tracking a head mounted display (HMD) and calibrations for HMD headband adjustments
US10297062B2 (en) 2014-03-18 2019-05-21 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
JP2015232783A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image creating device
JP2015231445A (en) * 2014-06-09 2015-12-24 株式会社バンダイナムコエンターテインメント Program and image generating device
US10579109B2 (en) 2014-09-19 2020-03-03 Sony Corporation Control device and control method
US10620699B2 (en) 2014-10-22 2020-04-14 Sony Interactive Entertainment Inc. Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
JP2016092567A (en) * 2014-11-04 2016-05-23 セイコーエプソン株式会社 Head-mounted display device, control method for head-mounted display device, and computer program
JP5898756B1 (en) * 2014-11-28 2016-04-06 株式会社コロプラ SYSTEM, PROGRAM, AND METHOD FOR OPERATING SCREEN BY LINKING DISPLAY AND MULTIPLE CONTROLLERS CONNECTED BY NETWORK
JP2016101299A (en) * 2014-11-28 2016-06-02 株式会社コロプラ System, program, and method for operating display screen with plural controllers connected via display and network working in interlocked manner
CN106999772A (en) * 2014-11-28 2017-08-01 日商可乐普拉股份有限公司 Display is set to carry out the system, program and method of screen operation in linkage with multiple controllers via network connection
WO2016084941A1 (en) * 2014-11-28 2016-06-02 株式会社コロプラ System, program, and method for operating screen by linking display and plurality of controllers connected via network
US9940754B2 (en) 2014-12-15 2018-04-10 Colopl, Inc. Head-mounted display system and method for presenting display on head-mounted display
US10553033B2 (en) 2014-12-15 2020-02-04 Colopl, Inc. Head-mounted display system and method for presenting display on head-mounted display
WO2016098688A1 (en) * 2014-12-15 2016-06-23 株式会社コロプラ Head mounted display system, method for performing display in head mounted display and program
WO2016099630A1 (en) * 2014-12-18 2016-06-23 Intel Corporation Head mounted display update buffer
US9542718B2 (en) 2014-12-18 2017-01-10 Intel Corporation Head mounted display update buffer
CN107211195B (en) * 2015-02-12 2020-04-24 日商可乐普拉股份有限公司 Apparatus and system for viewing and listening to content using head mounted display
US9958937B2 (en) 2015-02-12 2018-05-01 Colopl, Inc. Device and system for viewing content using head-mounted display
CN107211195A (en) * 2015-02-12 2017-09-26 日商可乐普拉股份有限公司 Use the device and system of the content audiovisual of head-mounted display
US11154778B2 (en) * 2015-02-27 2021-10-26 Sony Interactive Entertainment Inc. Display control program, display control apparatus and display control method
US10712575B2 (en) 2015-02-27 2020-07-14 Sony Interactive Entertainment Inc. Display control apparatus, display control method, and recording medium for setting viewpoint and sightline in a virtual three- dimensional space
WO2016136794A1 (en) * 2015-02-27 2016-09-01 株式会社ソニー・インタラクティブエンタテインメント Display control program, dislay control device, and display control method
US10596464B2 (en) * 2015-02-27 2020-03-24 Sony Interactive Entertainment Inc. Display control program, display control apparatus and display control method
US20180028915A1 (en) * 2015-02-27 2018-02-01 Sony Interactive Entertainment Inc. Display control program, dislay control apparatus and display control method
JP2016214822A (en) * 2015-02-27 2016-12-22 株式会社ソニー・インタラクティブエンタテインメント Display control program, display control device, and display control method
JP2016158794A (en) * 2015-02-27 2016-09-05 株式会社ソニー・インタラクティブエンタテインメント Display control program, display control apparatus, and display control method
US9721396B2 (en) 2015-03-17 2017-08-01 Colopl, Inc. Computer and computer system for controlling object manipulation in immersive virtual space
JP2016189999A (en) * 2015-03-31 2016-11-10 株式会社バンダイナムコエンターテインメント Program and game system
DE102016107202B4 (en) 2015-04-20 2021-09-23 Fanuc Corporation DISPLAY SYSTEM
DE102016107202A1 (en) 2015-04-20 2016-10-20 Fanuc Corporation DISPLAY SYSTEM
US10268433B2 (en) 2015-04-20 2019-04-23 Fanuc Corporation Display system
JP2016115329A (en) * 2015-05-22 2016-06-23 株式会社コロプラ Head-mounted display system, method of displaying on head-mounted display, and program
JP2020171721A (en) * 2015-06-14 2020-10-22 株式会社ソニー・インタラクティブエンタテインメント Expanded visual field re-rendering for vr watching
JP6002286B1 (en) * 2015-07-14 2016-10-05 株式会社コロプラ Head mounted display control method and head mounted display control program
JP2017021680A (en) * 2015-07-14 2017-01-26 株式会社コロプラ Head-mounted display control method and head-mounted display control program
US10115235B2 (en) 2015-07-14 2018-10-30 Colopl, Inc. Method for controlling head mounted display, and system for implemeting the method
WO2017037962A1 (en) 2015-08-28 2017-03-09 株式会社タカラトミー Information processing device provided with head-mounted display
US9703102B2 (en) 2015-08-28 2017-07-11 Tomy Company Ltd. Information processing device including head mounted display
JP2017045443A (en) * 2015-08-28 2017-03-02 株式会社タカラトミー Information processing apparatus with head-mounted display
JP5944600B1 (en) * 2015-08-28 2016-07-05 株式会社タカラトミー Information processing device with head-mounted display
US10614589B2 (en) 2015-09-07 2020-04-07 Sony Interactive Entertainment Inc. Information processing apparatus and image generating method
US11030771B2 (en) 2015-09-07 2021-06-08 Sony Interactive Entertainment Inc. Information processing apparatus and image generating method
JP2017055173A (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing apparatus and image generation method
WO2017043398A1 (en) * 2015-09-07 2017-03-16 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image generation method
JP2017055998A (en) * 2015-09-16 2017-03-23 株式会社バンダイナムコエンターテインメント Program and game device
JP2016127981A (en) * 2016-02-25 2016-07-14 株式会社コロプラ System, program, and method for performing screen operation by interlocking display and plural controllers connected through network
US10539797B2 (en) 2016-05-06 2020-01-21 Colopl, Inc. Method of providing virtual space, program therefor, and recording medium
JP2017224003A (en) * 2016-05-17 2017-12-21 株式会社コロプラ Method, program, and storage medium for providing virtual space
JP2017211912A (en) * 2016-05-27 2017-11-30 株式会社コロプラ Display control method and program for causing computer to execute the method
JP2018032101A (en) * 2016-08-22 2018-03-01 株式会社コロプラ Method for providing virtual space, method for providing virtual experience, program and recording medium
JP6242452B1 (en) * 2016-08-22 2017-12-06 株式会社コロプラ Method for providing virtual space, method for providing virtual experience, program, and recording medium
JP6159455B1 (en) * 2016-09-02 2017-07-05 株式会社コロプラ Method, program, and recording medium for providing virtual space
JP2018061667A (en) * 2016-10-12 2018-04-19 株式会社カプコン Game program and game device
JP2018084875A (en) * 2016-11-21 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program
JP6277567B1 (en) * 2016-11-21 2018-02-14 株式会社コナミデジタルエンタテインメント Terminal device and program
JP2020501263A (en) * 2016-12-09 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント Head mounted display with user head rotation guide
JP2018094086A (en) * 2016-12-13 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント Information processing device and image formation method
US10369468B2 (en) 2016-12-13 2019-08-06 Sony Interactive Entertainment Inc. Information processing apparatus, image generating method, and program
US10587763B2 (en) 2017-12-11 2020-03-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium for combining video contents and user image
US11019228B2 (en) 2017-12-11 2021-05-25 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium for combining video contents and prestored image
US10728401B2 (en) 2017-12-11 2020-07-28 Fuji Xerox Co., Ltd. Information processing apparatus, information processing method, and non-transitory computer readable medium capable of outputting image
US10832547B2 (en) 2017-12-12 2020-11-10 Fuji Xerox Co., Ltd. Information processing apparatus and non-transitory computer readable medium
JP2018085125A (en) * 2017-12-28 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program
JP2021511585A (en) * 2018-01-19 2021-05-06 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド Viewing angle adjustment methods and devices, storage media, and electronic devices
JP7061674B2 (en) 2018-01-19 2022-04-28 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド Viewing angle adjustment methods and devices, storage media, and electronic devices
JP2019136132A (en) * 2018-02-06 2019-08-22 株式会社コーエーテクモゲームス Program, information processing method and information processing device
JP2018160249A (en) * 2018-05-14 2018-10-11 株式会社ソニー・インタラクティブエンタテインメント Head-mount display system, head-mount display, display control program, and display control method
JP2018165985A (en) * 2018-05-24 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント Information processing device and information processing method
WO2020059327A1 (en) * 2018-09-18 2020-03-26 ソニー株式会社 Information processing device, information processing method, and program
JP2020013589A (en) * 2019-08-19 2020-01-23 株式会社コロプラ Head-mounted display system, method of displaying on head-mounted display, and program
WO2021079680A1 (en) * 2019-10-25 2021-04-29 株式会社ソニー・インタラクティブエンタテインメント Information processing device, head-mounted display, and image display method

Similar Documents

Publication Publication Date Title
JP2013258614A (en) Image generation device and image generation method
US9401050B2 (en) Recalibration of a flexible mixed reality device
US9728010B2 (en) Virtual representations of real-world objects
US10942024B2 (en) Information processing apparatus, information processing method, and recording medium
WO2015068656A1 (en) Image-generating device and method
TWI722280B (en) Controller tracking for multiple degrees of freedom
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
KR20160122702A (en) Information processing device, information processing method and program
WO2016163183A1 (en) Head-mounted display system and computer program for presenting real space surrounding environment of user in immersive virtual space
CN104995583A (en) Direct interaction system for mixed reality environments
EP3321776B1 (en) Operation input device and operation input method
US20160171780A1 (en) Computer device in form of wearable glasses and user interface thereof
JP2006276748A (en) Information presenting device, information presenting method, and computer program
US10771707B2 (en) Information processing device and information processing method
KR20180004112A (en) Eyeglass type terminal and control method thereof
CN110895433A (en) Method and apparatus for user interaction in augmented reality
JP6518645B2 (en) INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD
WO2018146922A1 (en) Information processing device, information processing method, and program
JP6422584B2 (en) Information processing device
JP2021060627A (en) Information processing apparatus, information processing method, and program
JP6549066B2 (en) Computer program and computer system for controlling object operation in immersive virtual space
WO2018205426A1 (en) Desktop spatial stereoscopic interaction system
KR20180055637A (en) Electronic apparatus and method for controlling thereof
WO2020110283A1 (en) Display device
WO2019142560A1 (en) Information processing device for guiding gaze