JP2018160249A - Head-mount display system, head-mount display, display control program, and display control method - Google Patents
Head-mount display system, head-mount display, display control program, and display control method Download PDFInfo
- Publication number
- JP2018160249A JP2018160249A JP2018092931A JP2018092931A JP2018160249A JP 2018160249 A JP2018160249 A JP 2018160249A JP 2018092931 A JP2018092931 A JP 2018092931A JP 2018092931 A JP2018092931 A JP 2018092931A JP 2018160249 A JP2018160249 A JP 2018160249A
- Authority
- JP
- Japan
- Prior art keywords
- display
- head
- input
- user
- mounted display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイ、表示制御プログラム、及び表示制御方法に関する。 The present invention relates to a display control technique, and more particularly to a head mounted display system, a head mounted display, a display control program, and a display control method.
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。 A head-mounted display connected to a game machine is attached to the head, and a game is played by operating a controller or the like while viewing a screen displayed on the head-mounted display. In a normal stationary display connected to a game machine, the user's field of view extends beyond the display screen, so it may not be possible to concentrate on the display screen or lack of immersion in the game. There is. On the other hand, when the head mounted display is mounted, since the user does not see any video other than the video displayed on the head mounted display, the feeling of immersion in the video world is increased and the entertainment property of the game is further enhanced.
本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、よりユーザフレンドリーな入力技術が必要であると認識した。 The present inventor has recognized that more user-friendly input technology is necessary in order to allow more user groups to enjoy a game using a head-mounted display.
上記課題を解決するために、本発明のある態様のヘッドマウントディスプレイは、ユーザの頭部に装着可能なヘッドマウントディスプレイであって、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える。 In order to solve the above problems, a head-mounted display according to an aspect of the present invention is a head-mounted display that can be mounted on a user's head, and the inner side when the head-mounted display is mounted on the user's head. An input capable of detecting that a part of the user's body is in contact with or close to the display device provided on the surface and the surface provided on the outer surface when the head mounted display is mounted on the user's head. Acquire image data generated based on input information indicating that a part of the user's body is in contact with or close to the apparatus and detected by the input device, and display the acquired image data on the display device A display control unit.
本発明の別の態様は、表示制御方法である。この方法は、取得部が、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを取得するステップと、表示制御部が、取得部が取得した画像のデータを、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示するステップと、を備える。 Another aspect of the present invention is a display control method. In this method, the acquisition unit is provided on a surface that is on the outer side when a head mounted display that can be mounted on the user's head is mounted on the user's head. A step of acquiring data of an image generated based on input information detected by an input device capable of detecting that and indicating that a part of the user's body has touched or approached, and the display control unit includes an acquisition unit And displaying the image data acquired on the display device provided on the inner surface when the head mounted display is mounted on the user's head.
本発明のさらに別の態様は、表示システムである。この表示システムは、ユーザの頭部に装着可能なヘッドマウントディスプレイと、ヘッドマウントディスプレイに表示させる画像を生成する画像処理装置と、を備える。ヘッドマウントディスプレイは、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に設けられた、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成される画像のデータを画像処理装置から取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える。画像処理装置は、入力情報を取得し、入力情報に基づいて、画像のデータを生成する画像生成部を備える。 Yet another embodiment of the present invention is a display system. This display system includes a head-mounted display that can be worn on the user's head, and an image processing device that generates an image to be displayed on the head-mounted display. The head mounted display has a display device provided on the inner surface when the head mounted display is mounted on the user's head, and an outer surface when the head mounted display is mounted on the user's head. Based on the provided input device that can detect that a part of the user's body is in contact with or in proximity, and input information that is detected by the input device and indicates that the part of the user's body is in contact or in proximity A display control unit configured to acquire data of the generated image from the image processing apparatus and display the acquired image data on the display device. The image processing apparatus includes an image generation unit that acquires input information and generates image data based on the input information.
本発明のさらに別の態様は、ヘッドマウントディスプレイである。このヘッドマウントディスプレイは、ユーザの頭部に装着可能なヘッドマウントディスプレイであって、ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、ヘッドマウントディスプレイがユーザの頭部に装着されたときに外側となる面に装着される、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報に基づいて生成された画像のデータを取得し、取得した画像のデータを表示装置に表示する表示制御部と、を備える。 Yet another embodiment of the present invention is a head mounted display. The head-mounted display is a head-mounted display that can be mounted on a user's head, and a display device provided on an inner surface when the head-mounted display is mounted on the user's head, and the head-mounted display A part of the user's body that is detected by an input device that can detect that a part of the user's body is in contact with or close to the user's body is attached to the outer surface when the user is attached to the user's head. A display control unit that acquires image data generated based on input information indicating contact or proximity, and displays the acquired image data on a display device.
本発明のさらに別の態様は、携帯情報端末である。この携帯情報端末は、ユーザが携帯可能な携帯情報端末であって、ユーザの体の一部が接触又は近接したことを検知可能な入力装置と、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときにヘッドマウントディスプレイの外側となる面に携帯情報端末が装着されたときに、入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を、入力情報に基づいてヘッドマウントディスプレイに表示する画像を生成する装置に送信する通信部と、を備える。 Yet another embodiment of the present invention is a portable information terminal. This portable information terminal is a portable information terminal that can be carried by the user, and includes an input device that can detect that a part of the user's body is in contact with or close to the portable information terminal, and a head-mounted display that can be worn on the user's head. When the portable information terminal is mounted on the surface that is outside the head-mounted display when it is mounted on the user's head, it indicates that a part of the user's body that is detected by the input device is in contact with or in proximity A communication unit that transmits input information to a device that generates an image to be displayed on a head-mounted display based on the input information.
本発明のさらに別の態様は、画像処理装置である。この装置は、ユーザの頭部に装着可能なヘッドマウントディスプレイがユーザの頭部に装着されたときにヘッドマウントディスプレイの外側となる面に装着された、ユーザの体の一部が接触又は近接したことを検知可能な入力装置により検知された、ユーザの体の一部が接触又は近接したことを示す入力情報を受信する受信部と、受信部により受信された入力情報に基づいて、ヘッドマウントディスプレイがユーザの頭部に装着されたときにヘッドマウントディスプレイの内側となる面に設けられた表示装置に表示すべき画像のデータを生成する生成部と、生成部により生成された画像のデータをヘッドマウントディスプレイに送信する送信部と、を備える。 Yet another embodiment of the present invention is an image processing apparatus. In this apparatus, when a head mounted display that can be mounted on the user's head is mounted on the user's head, a part of the user's body that is mounted on a surface that is outside the head mounted display is in contact with or close to the user's head. A receiving unit that receives input information detected by an input device that can detect that a part of the user's body has touched or approached, and a head-mounted display based on the input information received by the receiving unit Generating the image data to be displayed on the display device provided on the inner surface of the head mounted display when the is mounted on the user's head, and the image data generated by the generating unit A transmission unit for transmitting to the mount display.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a representation of the present invention converted between a method, an apparatus, a system, etc. are also effective as an aspect of the present invention.
本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the convenience of the user of a head mounted display can be improved.
ヘッドマウントディスプレイ(HMD)を用いた表示システムについて説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。 A display system using a head mounted display (HMD) will be described. The head-mounted display is a display device that is worn on the user's head so as to cover both eyes of the user and allows viewing of still images and moving images displayed on a display screen provided in front of the user's eyes. The target displayed on the head-mounted display may be a content such as a movie or a TV program, but in this embodiment, an example in which the head-mounted display is used as a display device for displaying a game image will be described. To do.
図1は、実施の形態に係るゲームシステム1の使用環境を示す。ゲームシステム1は、ゲームプログラムを実行するゲーム装置10と、ユーザの指示をゲーム装置10に入力するための入力デバイス20と、ユーザの周囲の実空間を撮像する撮像装置14と、ゲーム装置10により生成されるゲーム画像を表示するヘッドマウントディスプレイ100とを備える。
FIG. 1 shows a use environment of the
本実施の形態では、ヘッドマウントディスプレイ100を装着したときにユーザの外側となる面に、ユーザによるタッチ入力を受け付けるための入力装置が設けられる。この入力装置に対する入力のみにより操作可能なゲームを実行する場合は、入力デバイス20は用いられなくてもよい。ヘッドマウントディスプレイ100を装着したとき、ユーザは周囲の状況を視認することができなくなるため、ヘッドマウントディスプレイ100を装着した後に入力デバイス20などの入力機器を探すことが困難である。また、入力デバイス20などの入力機器を大きく動かしたりすると周囲の障害物などにぶつかってしまうこともありうる。しかし、本実施の形態では、タッチ入力を受付可能な入力装置のみで入力を受け付けることもできるので、入力デバイス20を探す必要も振り回す必要もない。また、後述するように、タッチ入力を用いた直感的な入力インタフェースにより操作を行うことができるので、ゲームに慣れていないユーザでも使いやすいユーザフレンドリーな入力インタフェースを提供することができる。
In the present embodiment, an input device for receiving a touch input by the user is provided on a surface that is on the outer side of the user when the head mounted
この入力装置と入力デバイス20の双方により操作指示を受け付けるゲームを実行する場合は、例えば図1に示すように、右手で入力デバイス20を把持して操作しつつ、左手でヘッドマウントディスプレイ100の外面に設けられた入力装置に対する入力を行ってもよい。
When executing a game that accepts an operation instruction by both the input device and the
ゲーム装置10は、入力デバイス20又はヘッドマウントディスプレイ100の外面に設けられた入力装置に対する指示入力に基づいてゲームプログラムを実行して、ゲームプログラムの処理結果を示す画像信号を生成し、生成した画像信号をヘッドマウントディスプレイ100に伝送する。
The
ヘッドマウントディスプレイ100は、ゲーム装置10において生成された画像信号を受けて、ゲーム画像を表示する。また、ヘッドマウントディスプレイ100の外面に設けられた入力装置に対するユーザのタッチ入力に関する情報をゲーム装置10へ伝送する。ヘッドマウントディスプレイ100は、ゲーム装置10に有線ケーブルで接続されてもよく、また無線LAN(Local Area Network)などにより無線接続されてもよい。
The head mounted
ゲーム画像は、表示装置12に出力されてもよい。表示装置12は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。
The game image may be output to the
入力デバイス20は、ユーザによる指示入力をゲーム装置10に伝送する機能をもち、本実施例ではゲーム装置10との間で無線通信可能な無線コントローラとして構成される。入力デバイス20とゲーム装置10は、Bluetooth(登録商標)(ブルートゥース)プロトコルを用いて無線接続を確立してもよい。なお入力デバイス20は、無線コントローラに限らず、ゲーム装置10とケーブルを介して接続される有線コントローラであってもよい。
The
入力デバイス20はバッテリにより駆動され、ゲームを進行させる操作指示を行うための複数のボタンを有して構成される。ユーザが入力デバイス20のボタンを操作すると、その操作指示が無線通信によりゲーム装置10に送信される。
The
撮像装置14は、CCD撮像素子またはCMOS撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置14は、USB(Universal Serial Bus)あるいはその他のインタフェースを介してゲーム装置10と接続する。撮像装置14により撮像された画像は、ゲーム装置10において、入力デバイス20及びヘッドマウントディスプレイ100の位置及び姿勢を導出するために用いられる。撮像装置14は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置14により、撮像装置14と入力デバイス20又はヘッドマウントディスプレイ100などとの間の距離を取得することができる。
The imaging device 14 is a video camera composed of a CCD imaging device, a CMOS imaging device, or the like. The imaging device 14 images a real space at a predetermined cycle and generates a frame image for each cycle. The imaging device 14 is connected to the
本実施例のゲームシステム1において、入力デバイス20は複数色で発光可能に構成された発光体を有する。ゲーム中、発光体はゲーム装置10から指示された色で発光し、撮像装置14により撮像される。撮像装置14は入力デバイス20を撮像し、フレーム画像を生成してゲーム装置10に供給する。ゲーム装置10はフレーム画像を取得して、フレーム画像における発光体の画像の位置および大きさから、実空間における発光体の位置情報を導出する。ゲーム装置10は、位置情報をゲームの操作指示として取り扱い、プレイヤーキャラクタの動作を制御するなど、ゲームの処理に反映させる。本実施例のゲーム装置10は、入力デバイス20のボタンなどの操作入力だけでなく、取得した発光体画像の位置情報も用いてゲームアプリケーションを処理する機能をもつ。
In the
また、入力デバイス20は加速度センサおよびジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置10に送信され、ゲーム装置10は、センサの検出値を取得して、実空間における入力デバイス20の姿勢情報を取得する。ゲーム装置10は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。
The
図2は、実施の形態に係るヘッドマウントディスプレイ100の外観図である。ヘッドマウントディスプレイ100は、本体部110、頭部接触部120、タッチパッド140、及び端末装着部150を含む。
FIG. 2 is an external view of the head mounted
ヘッドマウントディスプレイ100に内蔵または外付けされたGPS(Global Positioning System)などの位置センサによりユーザの位置情報を計測することができる。また、ヘッドマウントディスプレイ100に内蔵または外付けされた姿勢センサによりヘッドマウントディスプレイ100を装着したユーザの頭部の向きや傾きといった姿勢情報を計測することができる。
The position information of the user can be measured by a position sensor such as GPS (Global Positioning System) incorporated in or externally attached to the head mounted
本体部110には、ディスプレイ、位置情報取得センサ、姿勢センサ、通信装置などが含まれる。頭部接触部120には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが含まれる。
The
ヘッドマウントディスプレイ100の外面には、ユーザによるタッチ入力を受け付けるための入力装置が設けられる。入力装置は、ヘッドマウントディスプレイ100に予め備え付けられた、表示装置が併設されないタッチパッドであってもよいし、表示装置が併設されたタッチパネルであってもよい。また、入力装置として機能するタッチパッド又はタッチパネルを備えたスマートフォンなどの外部装置がヘッドマウントディスプレイ100に着脱自在に接続されてもよい。本実施の形態においては、本体部110の上面及び側面にタッチパッド140が設けられ、本体部110の前面に設けられた端末装着部150に携帯情報端末200が着脱自在に接続される。
An input device for receiving a touch input by a user is provided on the outer surface of the head mounted
側頭部に設けられたタッチパッド140は、マトリクス・スイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式など、任意の方式のタッチパッドであってもよい。タッチパッド140は、ユーザの指などが表面に接触したときに入力を検知する接触式のタッチパッドであってもよいし、ユーザの指などが表面に近接したときにも入力を検知可能な非接触式のタッチパッドであってもよい。タッチパッド140は、表面に対する押圧の圧力を検知可能な感圧センサを備えてもよいし、入力を検知した領域の面積、電圧値、静電容量などに基づいて入力の強度を算出してもよい。タッチパッド140は、入力を検知した位置の座標を出力する。
The
前頭部には、携帯情報端末200を着脱自在に装着するための端末装着部150が設けられており、ユーザの携帯情報端末200を装着可能である。携帯情報端末200が装着される場合は、携帯情報端末200が入力装置として機能する。また、携帯情報端末200の表示装置にヘッドマウントディスプレイ100が生成した画像又はヘッドマウントディスプレイ100に関する情報などを表示可能である。
A
ヘッドマウントディスプレイ100には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ100に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
The head mounted
本実施の形態においては、ヘッドマウントディスプレイ100について説明するが、本実施の形態の表示制御方法は、狭義のヘッドマウントディスプレイ100に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット(マイクつきヘッドフォン)、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
In the present embodiment, the head-mounted
図3は、ゲーム装置10の機能構成図である。ゲーム装置10は、通信部302、制御部310、及びデータ保持部360を備える。制御部310は、入力情報受信部311、入力位置調整部312、HMD画像データ生成部313、HMD画像データ送信部314、タッチパネル表示情報生成部315、タッチパネル表示情報送信部316、HMD表示情報受信部317、撮像画像解析部318、及びゲーム制御部319を備える。
FIG. 3 is a functional configuration diagram of the
通信部302は、ヘッドマウントディスプレイ100、携帯情報端末200、入力デバイス20、撮像装置14、表示装置12などとの間の通信を制御する。データ保持部360は、ゲーム装置10において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。
The
入力情報受信部311は、ヘッドマウントディスプレイ100及び携帯情報端末200が受け付けたユーザによるタッチ入力の情報をヘッドマウントディスプレイ100及び携帯情報端末200からそれぞれ受信する。入力情報受信部311は、更に、ヘッドマウントディスプレイ100の位置及び姿勢に関する情報をヘッドマウントディスプレイ100から受信する。入力デバイス20が用いられる場合は、入力情報受信部311は、入力デバイス20が受け付けたボタンなどの入力の情報を入力デバイス20から受信する。
The input
入力位置調整部312は、入力情報受信部311が受信した入力情報におけるタッチ入力の位置を、ヘッドマウントディスプレイ100に表示される画像の位置に対応付ける。本実施の形態では、異なる位置に配置された複数のタッチパッド140及び携帯情報端末200のタッチパネルによりユーザのタッチ入力を受け付けるので、それぞれのタッチ領域を表示される画像の領域に対応付ける必要がある。入力位置調整部312の機能の詳細については後述する。
The input
ゲーム制御部319は、ゲームプログラムを実行し、入力情報受信部311が受信したユーザによる指示入力に基づいてゲームを進行させる。
The
HMD画像データ生成部313は、ゲーム制御部319により制御されるゲームの画像を生成する。HMD画像データ送信部314は、HMD画像データ生成部313が生成した画像データをヘッドマウントディスプレイ100に送信する。
The HMD image
タッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームに関する情報で、携帯情報端末200のタッチパネルに表示すべき情報を生成する。携帯情報端末200のタッチパネルは、ゲーム中に、ヘッドマウントディスプレイ100を装着しているユーザは見ることができないが、ユーザの周囲にいる他の人に向けた情報を表示することができる。タッチパネル表示情報送信部316は、タッチパネル表示情報生成部315が生成した表示情報を携帯情報端末200に送信する。
The touch panel display
HMD表示情報受信部317は、携帯情報端末200から、ヘッドマウントディスプレイ100の表示装置に表示すべき情報を受信する。HMD表示情報受信部317が受信した表示情報は、HMD画像データ生成部313により、ヘッドマウントディスプレイ100に表示される画像に含められる。これにより、ゲーム中であっても、携帯情報端末200から送信される表示情報をヘッドマウントディスプレイ100の表示装置に表示し、ユーザに視認させることができる。
The HMD display
撮像画像解析部318は、撮像装置14が撮像した画像を取得し、取得した画像を解析して、ヘッドマウントディスプレイ100及び入力デバイス20の位置及び姿勢を算出する。ゲーム制御部319は、入力デバイス20の位置及び姿勢をユーザによる指示として取得し、ゲームの進行に反映させる。HMD画像データ生成部313は、ヘッドマウントディスプレイ100の位置及び姿勢に基づいて、ゲームの画像を生成するときに使用する視点位置及び視線方向を制御する。
The captured
図4は、ヘッドマウントディスプレイ100の機能構成図である。ヘッドマウントディスプレイ100は、入力インタフェース22、出力インタフェース30、バックライト32、通信制御部40、ネットワークアダプタ42、アンテナ44、記憶部50、GPSユニット60、無線ユニット62、姿勢センサ64、外部入出力端子インタフェース70、外部メモリ72、時計部80、表示装置90、タッチパッド140、及び制御部160を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
FIG. 4 is a functional configuration diagram of the head mounted
制御部160は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース22は、タッチパッド140及びタッチパッドコントローラから操作信号や設定信号を受け付け、制御部160に供給する。出力インタフェース30は、制御部160から画像信号を受け取り、表示装置90に表示させる。バックライト32は、表示装置90を構成する液晶ディスプレイにバックライトを供給する。
The
通信制御部40は、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、制御部160から入力されるデータを外部に送信する。通信制御部40は、また、ネットワークアダプタ42またはアンテナ44を介して、有線または無線通信により、外部からデータを受信し、制御部160に出力する。
The
記憶部50は、制御部160が処理するデータやパラメータ、操作信号などを一時的に記憶する。
The
GPSユニット60は、制御部160からの操作信号にしたがって、GPS衛星から位置情報を受信して制御部160に供給する。無線ユニット62は、制御部160からの操作信号にしたがって、無線基地局から位置情報を受信して制御部160に供給する。
The
姿勢センサ64は、ヘッドマウントディスプレイ100の本体部110の向きや傾きなどの姿勢情報を検出する。姿勢センサ64は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
The
外部入出力端子インタフェース70は、USB(Universal Serial Bus)コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ72は、フラッシュメモリなどの外部メモリである。
The external input /
時計部80は、制御部160からの設定信号によって時間情報を設定し、時間データを制御部160に供給する。
The
図5は、ヘッドマウントディスプレイ100の制御部160の機能構成図である。制御部160は、タッチ入力受付部161、入力位置調整部162、入力情報送信部163、HMD画像データ受信部164、及びHMD表示制御部165を備える。
FIG. 5 is a functional configuration diagram of the
タッチ入力受付部161は、タッチパッド140から入力信号を受け付ける。入力位置調整部162は、タッチ入力受付部161が受け付けた入力の位置を、表示装置90に表示される画像のうちタッチパッド140の入力領域が割り当てられた領域の位置に対応付ける。入力情報送信部163は、入力位置調整部162により調整されたタッチ入力の位置を示す情報をゲーム装置10に送信する。
The touch
HMD画像データ受信部164は、表示装置90に表示すべき画像のデータをゲーム装置10から受信する。HMD表示制御部165は、HMD画像データ受信部164が受信した画像データを表示装置90に表示する。
The HMD image
図6は、携帯情報端末200の機能構成図である。携帯情報端末200は、ボタン261、通信部202、制御部210、データ保持部260、及びタッチパネル262を備える。制御部210は、タッチ入力受付部211、入力位置調整部212、入力情報送信部213、タッチパネル表示情報受信部214、タッチパネル表示制御部215、HMD表示情報生成部216、及びHMD表示情報送信部217を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
FIG. 6 is a functional configuration diagram of the
通信部202は、ゲーム装置10との間の通信を制御する。データ保持部260は、携帯情報端末200において実行されるアプリケーションのプログラムデータやアプリケーションが使用するデータなどを格納する。タッチパネル262は、制御部210により生成された画像を表示するとともに、ユーザによるタッチ入力を検知する。
The
制御部210は、タッチパネル262に対するタッチ入力を、ゲーム装置10により実行され、ヘッドマウントディスプレイ100に画像が表示されるゲームに対する入力として受け付けるための連携アプリケーションを実行する。
The
タッチ入力受付部211は、タッチパネル262から入力信号を受け付ける。入力位置調整部212は、タッチ入力受付部211が受け付けた入力の位置を、ヘッドマウントディスプレイ100の表示装置90に表示される画像のうちタッチパネル262の入力領域が割り当てられた領域の位置に対応付ける。タッチパネル262の入力領域が割り当てられた領域に関する情報は、連携アプリケーションの起動時などに、ヘッドマウントディスプレイ100又はゲーム装置10から予め取得される。入力情報送信部213は、入力位置調整部212により調整されたタッチ入力の位置を示す情報をゲーム装置10に送信する。
Touch
タッチパネル表示情報受信部214は、タッチパネル262に表示すべき情報をゲーム装置10から受信する。タッチパネル表示制御部215は、タッチパネル表示情報受信部214が受信した情報をタッチパネル262に表示する。
The touch panel display
HMD表示情報生成部216は、ヘッドマウントディスプレイ100の表示装置に表示すべき情報を生成する。HMD表示情報生成部216は、携帯情報端末200において実行される他のアプリケーションから各種の通知情報を取得して、所定の条件にしたがって通知情報から表示情報を生成する。例えば、携帯情報端末200のメール送受信アプリケーションがメールを受信したときに、メールのタイトル、本文の冒頭の所定数の文字列、送信者などの情報を抽出し、表示情報を生成してもよい。HMD表示情報送信部217は、HMD表示情報生成部216が生成した表示情報をゲーム装置10に送信する。なお、本実施の形態では、ヘッドマウントディスプレイ100の表示装置に表示すべき情報は、いったんゲーム装置10に送信され、ゲーム装置10により画像データが生成されるが、別の例では、ヘッドマウントディスプレイ100の表示装置に表示すべき情報は、直接ヘッドマウントディスプレイ100に送信され、ヘッドマウントディスプレイ100のHMD表示制御部165により表示装置90に表示されてもよい。
The HMD display
図7は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、ゲーム装置10により制御されるゲームの画像が表示される。
FIG. 7 shows an example of an image displayed on the
図8は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図7に示したゲームの状況において、突然周囲が暗転し、暗闇に包まれてしまったとする。ゲーム装置10のHMD画像データ生成部313は、真っ暗なゲーム画像を生成し、ヘッドマウントディスプレイ100の表示装置90には、真っ暗なゲーム画像が表示される。
FIG. 8 shows an example of an image displayed on the
図9は、携帯情報端末200のタッチパネル262を示す。図9の例では、ゲーム装置10のタッチパネル表示情報生成部315は、ヘッドマウントディスプレイ100の表示装置90に表示する画像と同じ画像をタッチパネル262に表示するための情報を生成し、携帯情報端末200のタッチパネル表示制御部215は、ヘッドマウントディスプレイ100の表示装置90に表示される画像と同じ画像をタッチパネル262に表示する。ここで、タッチパネル262の任意の位置において下方向のフリック入力を行うことにより暗視ゴーグルを装着し、上方向にフリック入力を行うことにより暗視ゴーグルを外す機能が設けられているとする。タッチパネル262においてユーザが下方向にフリック入力を行うと、入力情報送信部213は、下方向にフリック入力が行われたことを示す情報をゲーム装置10に送信する。
FIG. 9 shows the
図10は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図9に示したように、ユーザがタッチパネル262に対して下方向にフリック入力を行ったとき、ゲーム装置10のゲーム制御部319は、タッチパネル262において下方向にフリック入力が行われたことを示す情報を取得すると、暗視ゴーグルが装着されたものとして、HMD画像データ生成部313に暗視画像の生成を指示する。HMD画像データ生成部313は暗視画像を生成し、図10に示すように、ヘッドマウントディスプレイ100の表示装置90には暗視画像が表示される。このように、ユーザが実際にゴーグルを上下に脱着する動きと、タッチパネル262に対して上下にフリック入力を行う動きが対応しているので、直感的に分かりやすいユーザフレンドリーな操作体系を提供することができる。
FIG. 10 shows an example of an image displayed on the
図11は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、視界に曇り402が生じているゲームの画像が表示されている。
FIG. 11 shows an example of an image displayed on the
図12は、携帯情報端末200のタッチパネル262を示す。タッチパネル262の任意の位置において任意の方向にスワイプ入力を行うことにより、スワイプした位置に表示されている曇り402を除去する機能が設けられているとする。タッチパネル262においてユーザがスワイプ入力を行うと、入力情報送信部213は、スワイプされた位置を示す情報をゲーム装置10に送信する。
FIG. 12 shows the
図13は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図12に示したように、ユーザがタッチパネル262に対してスワイプ入力を行ったとき、ゲーム装置10のゲーム制御部319は、スワイプ入力が行われた位置に表示されている曇り402を除去する。HMD画像データ生成部313は、図13に示すように、除去された曇り402をゲーム画像から消去する。なお、図12において、ユーザはタッチパネル262に表示されたゲーム画像の右側の領域においてスワイプ入力を行っているが、ユーザから見ると画面の左側の領域に対応するので、ゲーム制御部319は、ゲーム画像の左側の領域に表示されていた曇り402を消去している。また、ヘッドマウントディスプレイ100に表示されるゲーム画像と同じ画像をタッチパネル262に表示すると、タッチパネル262を見ている人からすれば、ユーザがゲーム画像の右側の領域においてスワイプ入力を行ったのに、ゲーム画像の左側の領域に表示されていた曇り402が消去されることになって違和感を与えてしまうので、タッチパネル262には、ヘッドマウントディスプレイ100に表示されるゲーム画像を左右反転させた鏡像画像を表示している。
FIG. 13 shows an example of an image displayed on the
図14は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、視界にクモ404が張り付いているゲームの画像が表示されている。
FIG. 14 shows an example of an image displayed on the
図15は、携帯情報端末200のタッチパネル262を示す。タッチパネル262の任意の位置において任意の方向に繰り返しスワイプ入力を行うことにより、スワイプした位置に表示されているクモ404を取り払う機能が設けられているとする。タッチパネル262においてユーザが所定回数以上スワイプ入力が行われると、入力情報送信部213は、スワイプされた位置と回数を示す情報をゲーム装置10に送信する。別の例では、入力情報送信部213は、スワイプ入力を受け付けるたびにスワイプされた位置を示す情報をゲーム装置10に送信し、ゲーム装置10のゲーム制御部319が、ユーザが所定回数以上スワイプ入力を行ったか否かを判定してもよい。
FIG. 15 shows the
図16は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図15に示したように、ユーザがタッチパネル262に対して所定回数以上スワイプ入力を行ったとき、ゲーム装置10のゲーム制御部319は、スワイプ入力が所定回数以上行われた位置に表示されているクモ404を除去する。HMD画像データ生成部313は、図16に示すように、除去されたクモ404をゲーム画像から消去する。
FIG. 16 shows an example of an image displayed on the
図17は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ヘッドマウントディスプレイ100の表示装置90には、ゲームフィールドにフラッシュバン(閃光音響手榴弾)406が配置されたゲームの画像が表示されている。
FIG. 17 shows an example of an image displayed on the
図18は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。図17に示したゲームの状況において、フラッシュバン406が爆発するための所定の条件が満たされると、ゲーム制御部319は、フラッシュバン406を爆発させる。HMD画像データ生成部313は、フラッシュバン406の爆発により閃光が発生したゲーム画像を生成し、ヘッドマウントディスプレイ100の表示装置90には、閃光408が表示される。
FIG. 18 shows an example of an image displayed on the
ここで、閃光408が発生したときに、ユーザが両眼を手で覆うようにしてタッチパネル262にタッチすると、閃光408の消失とともに再び周囲のゲームフィールドが表示されるが、ユーザが両眼を手で覆うようにしてタッチパネル262にタッチしないと、閃光408により目がくらんで、閃光408が消失しても所定時間は真っ白なゲーム画像が表示され、周囲のゲームフィールドが表示されないものとする。
Here, when the
図19は、携帯情報端末200のタッチパネル262を示す。タッチパネル262の右半分の領域と左半分の領域のそれぞれにおいて、手の平をタッチパネル262に接触させることにより、両眼を覆い隠して閃光408から守る機能が設けられる。タッチパネル262に対してタッチ入力が行われると、入力情報送信部213は、タッチされた複数の位置を示す情報をゲーム装置10に送信する。ゲーム制御部319は、爆発の瞬間に、タッチパネル262の右半分の領域と左半分の領域のそれぞれにおいて、手の平がタッチされたことを示す所定の条件に合致したタッチ入力が行われたか否かを判定し、行われていた場合は、HMD画像データ生成部313に、閃光408の消失とともに再び周囲のゲームフィールドを表示させ、行われていなかった場合は、閃光408が消失しても所定時間は真っ白なゲーム画像が表示させる。
FIG. 19 shows the
図20は、携帯情報端末200のタッチパネル262を示す。図20に示すように、ユーザが左右のいずれかの目の目元付近において、指でピースサインを作り、人差し指と中指でタッチパネル262にタッチすると、ユーザが操作するプレイヤーズキャラクタ又は一人称視点のゲームにおける仮想的なユーザ自身の目からビームが発射されるものとする。
FIG. 20 shows the
図21は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。タッチパネル262の所定の範囲の領域内において、2点で同時にタッチ入力を行うことにより、ビームを発射する機能が設けられる。タッチパネル262に対してタッチ入力が行われると、入力情報送信部213は、タッチされた複数の位置を示す情報をゲーム装置10に送信する。ゲーム制御部319は、所定の範囲内において同時に2点のタッチ入力が行われたか否かを判定し、行われていた場合は、HMD画像データ生成部313に、ビーム410が発射される様子を表示させ、行われていなかった場合は、ビーム410を発射させない。ビーム410が発射された場合、ゲーム制御部319は、ビーム410の経路を算出し、経路上にオブジェクトが存在する場合は、オブジェクトにビーム410が当たった場合の処理を実行する。
FIG. 21 shows an example of an image displayed on the
図22は、携帯情報端末200のタッチパネル262を示す。図22に示すように、ユーザがタッチパネル262の任意の位置において、指で所定時間以上タッチ入力を行うと、ヘッドマウントディスプレイ100の表示装置90に表示されるゲーム画像の対応する位置に、指の画像が表示されるものとする。
FIG. 22 shows the
図23は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。タッチパネル262の任意の位置において、所定時間以上又は所定値以上の圧力でタッチ入力を行うことにより、ヘッドマウントディスプレイ100の表示装置90に表示される仮想世界の画像にユーザの指が奥から入り込んでくるような映像効果を表示する機能が設けられる。タッチパネル262に対してタッチ入力が行われると、入力情報送信部213は、タッチされた複数の位置と時間又は圧力を示す情報をゲーム装置10に送信する。ゲーム制御部319は、所定時間以上又は所定値以上の圧力でタッチ入力が行われたか否かを判定し、行われていた場合は、HMD画像データ生成部313に、タッチ入力が行われた位置にユーザの指412を表示させ、行われていなかった場合は、指412を表示させない。タッチ入力が行われた時間が長いほど、又は、圧力が大きいほど、指がより手前に入り込んでくる様子を表示してもよい。
FIG. 23 shows an example of an image displayed on the
このように、現実世界においてユーザが頭部付近で手を使って行うアクションに対応する入力をタッチパネル262に対して行ったときに、そのアクションにより現実世界において発生すべき結果を表示に反映させるので、直感的に分かりやすく、操作しやすいユーザインタフェースを提供することができる。
As described above, when an input corresponding to an action performed by the user using the hand near the head in the real world is performed on the
上記の例では、携帯情報端末200のタッチパネル262に、ヘッドマウントディスプレイ100の表示装置90に表示される画像と同じ画像が表示される。これにより、周囲の人もユーザが実行しているゲームを見て楽しむことができる。例えば子が実行しているゲームを親が把握したい場合などにも有効である。また、表示装置12にゲームの画像を表示しなくても周囲の人がゲームの画像を見ることができるので、表示装置12を他の用途に用いることができる。
In the above example, the same image as that displayed on the
タッチパネル262には表示装置90に表示される画像とは異なる画像が表示されてもよい。タッチパネル262に表示される内容は、ヘッドマウントディスプレイ100、携帯情報端末200、又はゲーム装置10を介してユーザによる指示を受け付けることにより決定されてもよいし、ヘッドマウントディスプレイ100、携帯情報端末200、又はゲーム装置10により自動的に決定されてもよい。
An image different from the image displayed on the
図24は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図24の例では、ゲーム制御部319により制御されるゲームの状況を示す情報がタッチパネル262に表示される。ゲーム装置10のタッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル262には、ゲームの状況が「ボスと対戦中」である旨と、ゲームの状況をより詳細に示す敵キャラクタの残りの体力値と、周囲の人に対するユーザからのメッセージとが表示されている。
FIG. 24 shows an example of an image displayed on the
図25は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図25の例でも、ゲーム制御部319により制御されるゲームの状況を示す情報がタッチパネル262に表示される。ゲーム装置10のタッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル262には、ゲームの状況が「ムービー鑑賞中」である旨と、ゲームの状況をより詳細に示すムービーシーンの残りの秒数と、周囲の人に対するユーザからのメッセージとが表示されている。
FIG. 25 shows an example of an image displayed on the
図26は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図25の例でも、ゲーム制御部319により制御されるゲームの状況を示す情報がタッチパネル262に表示される。ゲーム装置10のタッチパネル表示情報生成部315は、ゲーム制御部319により制御されるゲームの状況を示す情報を取得して表示情報を生成する。タッチパネル262には、ゲームのプレイ時間と、次のセーブポイントまでに要する時間の目安とが表示されている。例えば、親が子のゲームのプレイ時間を制限したい場合などにも有効である。
FIG. 26 shows an example of an image displayed on the
このように、ヘッドマウントディスプレイ100のユーザが実行しているゲームや視聴している動画像などの状況を示す情報をタッチパネル262に表示することにより、周囲の人がユーザの状況を把握することができるので、ユーザに話しかける場合などには、話しかけても問題のない状況を選んで話しかけることができる。したがって、ユーザが中断されたくない状況で中断させられる事態を低減することができ、ユーザはより効果的に没入感を得ることができる。
In this manner, by displaying information indicating the situation such as a game being executed by the user of the head mounted
図27は、携帯情報端末200のタッチパネル262に表示される画像の例を示す。図27の例では、撮像画像解析部318がヘッドマウントディスプレイ100の位置及び姿勢を解析するためのマーカとなる画像がタッチパネル262に表示される。これにより、ヘッドマウントディスプレイ100の位置及び姿勢を解析する際の精度を向上させることができる。複数の位置に設けられた複数のタッチパネルに異なるマーカを表示させると更に効果的である。なお、タッチパネル262に表示させるマーカとなる画像は、バーコードなどの任意の図形であってもよいし、キャラクタなどの画像であってもよい。また、人物やキャラクタなどの顔の目の周囲の部分を表示させ、ユーザがキャラクタのお面をかぶっているようにしてもよい。これにより、周囲の人も楽しませることができる。
FIG. 27 shows an example of an image displayed on the
図28は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ゲーム中に、携帯情報端末200のメールアプリケーションがメールを受信したとき、HMD表示情報生成部216は、受信したメールに関する情報を取得して、ヘッドマウントディスプレイ100の表示装置90に表示すべき情報を生成する。ゲーム装置10のHMD表示情報受信部317が、携帯情報端末200からヘッドマウントディスプレイ100の表示装置90に表示すべき情報を受信すると、HMD画像データ生成部313は、受信した情報を含む画像データを生成する。図28の例では、ヘッドマウントディスプレイ100の表示装置90に、携帯情報端末200が受信したメールの送信者と、タイトルと、本文の冒頭の内容とが、画面下部の表示領域502に表示される。
FIG. 28 shows an example of an image displayed on the
ヘッドマウントディスプレイ100の表示装置90に表示すべき情報の設定は、携帯情報端末200のタッチパネル262を介して事前にユーザから受け付けてもよい。これにより、ユーザは、ヘッドマウントディスプレイ100の使用中も、携帯情報端末200に関する必要な情報を見ることができ、必要であればヘッドマウントディスプレイ100の視聴を中断して携帯情報端末200を使用することができる。このとき、携帯情報端末200のタッチパネル262にはヘッドマウントディスプレイ100の表示装置90に表示した情報を表示しなくてもよい。これにより、周囲の人にユーザの情報が見られてしまうことを防ぐことができる。
The setting of information to be displayed on the
携帯情報端末200から受信した情報を表示する表示領域502は、ゲームの状況に応じて位置や大きさなどが決定されてもよいし、ユーザから設定を受け付けてもよい。表示すべき画像の縦横比と表示装置90の表示領域の縦横比が一致していないために、画面の上下又は左右に画像が表示されない領域が残っている場合、その領域を表示領域502としてもよい。
The
ヘッドマウントディスプレイ100の表示装置90を視聴しながら、携帯情報端末200を操作可能としてもよい。入力デバイス20など、ゲーム装置10の入力機能を用いて操作を行う場合、ゲーム装置10は、入力デバイス20などから受け付けた指示入力を携帯情報端末200に送信し、携帯情報端末200の連携アプリケーションが操作対象となるアプリケーション、例えばメールアプリケーションに受信した指示入力を伝達する。タッチパッド140など、ヘッドマウントディスプレイ100の入力機能を用いて操作を行う場合、ヘッドマウントディスプレイ100は、タッチパッド140などから受け付けた指示入力を直接、又はゲーム装置10を介して、携帯情報端末200に送信する。携帯情報端末200のタッチパネル262を用いて操作を行う場合、操作対象となるアプリケーションが直接、又は、連携アプリケーションを介して、指示入力を受け付ける。
The
図29は、ヘッドマウントディスプレイ100の表示装置90の表示領域と、タッチパネル262及びタッチパッド140の入力領域との対応関係を示す。前述したように、本実施の形態では、複数のタッチパネル262及びタッチパッド140が設けられているので、ゲーム装置10の入力位置調整部312は、それぞれのタッチパネル262及びタッチパッド140に対する入力の位置を、ヘッドマウントディスプレイ100の表示装置90に表示される画像における位置に対応付ける。図29の例では、ヘッドマウントディスプレイ100の表示装置90に表示される画像のうち、領域aは携帯情報端末200のタッチパネル262に、領域bはヘッドマウントディスプレイ100の上面に設けられたタッチパッド140に、領域cはヘッドマウントディスプレイ100の左側頭部に設けられたタッチパッド140に、領域dはヘッドマウントディスプレイ100の右側頭部に設けられたタッチパッド140に対応付けられる。このとき、ユーザの視界と実際のタッチパネル262及びタッチパッド140の設置位置とができる限り同じになるようにすることが望ましい。これにより、ユーザが身体感覚と視覚との間の矛盾を感じることなく操作することが可能なユーザインタフェースを提供することができる。
FIG. 29 shows a correspondence relationship between the display area of the
それぞれの表示領域とタッチパネル262又はタッチパッド140の入力領域との大きさや形状などが異なる場合、タッチパネル262の場合は携帯情報端末200の入力位置調整部212が、タッチパッド140の場合はヘッドマウントディスプレイ100の入力位置調整部162が、それぞれ、実際の入力位置を、割り当てられた入力領域における入力位置に対応付ける。
When the display area and the input area of the
図30は、ヘッドマウントディスプレイ100の表示装置90に表示される画像の例を示す。ゲーム装置10の入力位置調整部312は、入力情報受信部311が入力情報を受信したとき、調整した位置に入力位置を示すマーカ504を表示するとともに、入力を受け付けたタッチパネル262又はタッチパッド140に対応する領域の枠506を表示する。これにより、タッチパネル262及びタッチパッド140が複数設けられる場合であっても、ユーザが所望の位置に対して入力するためにはいずれのタッチパネル262又はタッチパッド140をタッチすればよいのかを分かりやすく示すことができる。また、そのタッチパネル262又はタッチパッド140のうちどの辺りをタッチすればよいのかを分かりやすく示すことができる。
FIG. 30 shows an example of an image displayed on the
図31は、実施の形態に係る表示制御方法の手順を示すシーケンス図である。ゲーム装置10のゲーム制御部319がゲームを制御し(S100)、HMD画像データ生成部313がヘッドマウントディスプレイ100に表示させる画像データを生成する(S102)。HMD画像データ送信部314が画像データをヘッドマウントディスプレイ100に送信し(S104)、ヘッドマウントディスプレイ100のHMD表示制御部165が画像データを表示装置90に表示する(S106)。
FIG. 31 is a sequence diagram illustrating a procedure of the display control method according to the embodiment. The
ゲーム装置10のタッチパネル表示情報生成部315は、ゲームの状況などを携帯情報端末200のタッチパネル262に表示させるための情報を生成し(S108)、タッチパネル表示情報送信部316が表示情報を携帯情報端末200に送信する(S110)。携帯情報端末200のタッチパネル表示制御部215は、表示情報をタッチパネル262に表示する(S112)。
The touch panel display
携帯情報端末200のタッチパネル262に対してユーザがタッチ入力を行うと、タッチ入力受付部211が入力を受け付け(S120)、入力位置調整部212がタッチ入力の位置を調整し、入力情報送信部213が入力情報をゲーム装置10に送信する(S124)。ヘッドマウントディスプレイ100のタッチパッド140に対してユーザがタッチ入力を行うと、タッチ入力受付部161が入力を受け付け(S122)、入力位置調整部162がタッチ入力の位置を調整し、入力情報送信部163が入力情報をゲーム装置10に送信する(S126)。ゲーム装置10の入力情報受信部311が携帯情報端末200又はヘッドマウントディスプレイ100から入力情報を受信すると、入力位置調整部312がタッチ入力の位置を調整し、ゲーム制御部319がタッチ入力をゲーム制御に反映させ(S128)、S100に戻る。
When the user performs touch input on the
携帯情報端末200がメールを受信するなどして、HMD表示情報生成部216がヘッドマウントディスプレイ100に表示すべき情報を生成すると(S140)、HMD表示情報送信部217が表示情報をゲーム装置10に送信する(S142)。ゲーム装置10のHMD表示情報受信部317が携帯情報端末200から表示情報を受信すると、HMD画像データ生成部313が表示情報を表示に反映させ(S144)、S102に戻る。
When the HMD display
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 In the above, this invention was demonstrated based on the Example. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to each component and combination of processing processes, and such modifications are within the scope of the present invention.
上記の例では、ヘッドマウントディスプレイ100の表示装置90に単眼視用の画像が表示されたが、別の例では、両眼立体視用の画像が表示されてもよい。この場合、携帯情報端末200のタッチパネル262にも両眼立体視用の画像が表示されてもよいし、タッチパネル262には単眼視用の画像が表示されてもよい。
In the above example, a monocular image is displayed on the
上記の例では、ゲーム装置10がゲームを制御し、ヘッドマウントディスプレイ100の表示装置90に表示する画像データを生成したが、別の例では、ゲームを制御し、画像データを生成するための構成がヘッドマウントディスプレイ100に設けられてもよい。この場合、ゲーム装置10は設けられなくてもよく、携帯情報端末200とヘッドマウントディスプレイ100はゲーム装置10を介さずに直接通信してもよい。
In the above example, the
上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ100が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。ゲームコントローラなどの専用の入力装置を持たない表示システムにおいても、実施の形態に係るヘッドマウントディスプレイ100によれば、タッチパッドや携帯情報端末のタッチパネルなどを介して、容易にユーザの指示を入力することができる。
In the above example, the head mounted
10 ゲーム装置、90 表示装置、100 ヘッドマウントディスプレイ、140 タッチパッド、161 タッチ入力受付部、162 入力位置調整部、163 入力情報送信部、164 HMD画像データ受信部、165 HMD表示制御部、200 携帯情報端末、211 タッチ入力受付部、212 入力位置調整部、213 入力情報送信部、214 タッチパネル表示情報受信部、215 タッチパネル表示制御部、216 HMD表示情報生成部、217 HMD表示情報送信部、262 タッチパネル、311 入力情報受信部、312 入力位置調整部、313 HMD画像データ生成部、314 HMD画像データ送信部、315 タッチパネル表示情報生成部、316 タッチパネル表示情報送信部、317 HMD表示情報受信部、319 ゲーム制御部。
10 game devices, 90 display devices, 100 head-mounted displays, 140 touch pads, 161 touch input reception units, 162 input position adjustment units, 163 input information transmission units, 164 HMD image data reception units, 165 HMD display control units, 200 mobile phones Information terminal, 211 Touch input reception unit, 212 Input position adjustment unit, 213 Input information transmission unit, 214 Touch panel display information reception unit, 215 Touch panel display control unit, 216 HMD display information generation unit, 217 HMD display information transmission unit, 262
Claims (9)
前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
ユーザによって把持される入力デバイスからの操作入力を受け付ける通信部と、
ユーザの操作入力に基づいて生成される画像のデータを取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
を備えることを特徴とするヘッドマウントディスプレイシステム。 A head-mounted display system having a head-mounted display that can be worn on a user's head,
A display device provided on the inner surface when the head mounted display is mounted on the user's head; and
A communication unit that accepts an operation input from an input device held by a user;
A display control unit for acquiring image data generated based on a user operation input, and displaying the acquired image data on the display device;
A head-mounted display system comprising:
携帯情報端末が着脱自在に接続される本体部と、
をさらに備えることを特徴とする請求項1に記載のヘッドマウントディスプレイシステム。 An input device that is provided on the outer surface when the head-mounted display is mounted on the user's head, and that can detect that a part of the user's body is in contact with or close to the head;
A main body to which a portable information terminal is detachably connected;
The head mounted display system according to claim 1, further comprising:
前記第1の入力部は、ユーザからの操作を受け付けるための少なくともボタンとセンサとのいずれかを含むことを特徴とする請求項2に記載のヘッドマウントディスプレイシステム。 A first input unit provided in the main body unit for receiving an operation from a user;
The head-mounted display system according to claim 2, wherein the first input unit includes at least one of a button and a sensor for receiving an operation from a user.
前記第2の入力部は、ユーザからの操作を受け付けるための少なくともボタンとセンサとのいずれかを含むことを特徴とする請求項3に記載のヘッドマウントディスプレイシステム。 The second input unit further comprising a second input unit different from the first input unit, wherein the second input unit includes at least one of a button and a sensor for receiving an operation from a user. The head mounted display system described in 1.
前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置と、
ユーザによって把持される入力デバイスからの操作入力に基づいて生成される画像のデータを取得し、取得した画像のデータを前記表示装置に表示する表示制御部と、
を備えることを特徴とするヘッドマウントディスプレイ。 A head mounted display that can be worn on the user's head,
A display device provided on the inner surface when the head mounted display is mounted on the user's head; and
A display control unit that acquires image data generated based on an operation input from an input device held by a user, and displays the acquired image data on the display device;
A head-mounted display comprising:
ユーザの頭部に装着可能なヘッドマウントディスプレイを装着したユーザによって把持される入力デバイスからの操作入力に基づいて生成される画像のデータを取得する取得部、
前記取得部が取得した画像のデータを、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示する表示制御部、
として機能させるための表示制御プログラム。 Computer
An acquisition unit that acquires data of an image generated based on an operation input from an input device held by a user wearing a head-mounted display that can be mounted on the user's head;
A display control unit for displaying image data acquired by the acquisition unit on a display device provided on an inner surface when the head mounted display is mounted on a user's head;
Display control program to function as.
表示制御部が、前記取得部が取得した画像のデータを、前記ヘッドマウントディスプレイがユーザの頭部に装着されたときに内側となる面に設けられた表示装置に表示するステップと、
を備えることを特徴とする表示制御方法。 An acquisition unit acquiring image data generated based on an operation input from an input device held by a user wearing a head mounted display that can be mounted on the user's head;
The display control unit displaying the image data acquired by the acquisition unit on a display device provided on an inner surface when the head mounted display is mounted on a user's head; and
A display control method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018092931A JP2018160249A (en) | 2018-05-14 | 2018-05-14 | Head-mount display system, head-mount display, display control program, and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018092931A JP2018160249A (en) | 2018-05-14 | 2018-05-14 | Head-mount display system, head-mount display, display control program, and display control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014215565A Division JP6340301B2 (en) | 2014-10-22 | 2014-10-22 | Head mounted display, portable information terminal, image processing apparatus, display control program, display control method, and display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018160249A true JP2018160249A (en) | 2018-10-11 |
Family
ID=63795715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018092931A Pending JP2018160249A (en) | 2018-05-14 | 2018-05-14 | Head-mount display system, head-mount display, display control program, and display control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018160249A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020196559A1 (en) * | 2019-03-26 | 2020-10-01 | 株式会社東海理化電機製作所 | Control device and control system |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003289484A (en) * | 2002-03-28 | 2003-10-10 | Sanyo Electric Co Ltd | Eye mount video display apparatus and operating apparatus |
JP2004085476A (en) * | 2002-08-28 | 2004-03-18 | Sony Corp | Head tracking method and device |
WO2005022236A1 (en) * | 2003-09-03 | 2005-03-10 | Human Sense Tech Co., Ltd. | Hmd apparatus having a memory slot built-in thereof |
JP2008028552A (en) * | 2006-07-19 | 2008-02-07 | Nikon Corp | Display device |
US20100079356A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
WO2013088725A1 (en) * | 2011-12-16 | 2013-06-20 | Sony Corporation | Head-mounted display and information display apparatus |
US20130181888A1 (en) * | 2012-01-18 | 2013-07-18 | Sony Corporation | Head-mounted display |
JP2013190925A (en) * | 2012-03-13 | 2013-09-26 | Nikon Corp | Input device, and display device |
EP2674850A2 (en) * | 2012-06-13 | 2013-12-18 | Sony Corporation | Head-mounted display |
JP2013258614A (en) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | Image generation device and image generation method |
-
2018
- 2018-05-14 JP JP2018092931A patent/JP2018160249A/en active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003289484A (en) * | 2002-03-28 | 2003-10-10 | Sanyo Electric Co Ltd | Eye mount video display apparatus and operating apparatus |
JP2004085476A (en) * | 2002-08-28 | 2004-03-18 | Sony Corp | Head tracking method and device |
US20050256675A1 (en) * | 2002-08-28 | 2005-11-17 | Sony Corporation | Method and device for head tracking |
WO2005022236A1 (en) * | 2003-09-03 | 2005-03-10 | Human Sense Tech Co., Ltd. | Hmd apparatus having a memory slot built-in thereof |
JP2008028552A (en) * | 2006-07-19 | 2008-02-07 | Nikon Corp | Display device |
US20100079356A1 (en) * | 2008-09-30 | 2010-04-01 | Apple Inc. | Head-mounted display apparatus for retaining a portable electronic device with display |
WO2013088725A1 (en) * | 2011-12-16 | 2013-06-20 | Sony Corporation | Head-mounted display and information display apparatus |
JP2013125247A (en) * | 2011-12-16 | 2013-06-24 | Sony Corp | Head-mounted display and information display apparatus |
US20130181888A1 (en) * | 2012-01-18 | 2013-07-18 | Sony Corporation | Head-mounted display |
JP2013150118A (en) * | 2012-01-18 | 2013-08-01 | Sony Corp | Head-mounted display |
JP2013190925A (en) * | 2012-03-13 | 2013-09-26 | Nikon Corp | Input device, and display device |
EP2674850A2 (en) * | 2012-06-13 | 2013-12-18 | Sony Corporation | Head-mounted display |
JP2013258573A (en) * | 2012-06-13 | 2013-12-26 | Sony Corp | Head-mounted video display device |
JP2013258614A (en) * | 2012-06-13 | 2013-12-26 | Sony Computer Entertainment Inc | Image generation device and image generation method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020196559A1 (en) * | 2019-03-26 | 2020-10-01 | 株式会社東海理化電機製作所 | Control device and control system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6340301B2 (en) | Head mounted display, portable information terminal, image processing apparatus, display control program, display control method, and display system | |
US9884248B2 (en) | Display control method for head-mounted display (HMD) and image generation device | |
JP6669069B2 (en) | Detection device, detection method, control device, and control method | |
CN108292490B (en) | Display control device and display control method | |
WO2017094606A1 (en) | Display control device and display control method | |
US20130328928A1 (en) | Obstacle avoidance apparatus and obstacle avoidance method | |
WO2017094608A1 (en) | Display control device and display control method | |
JP2016158795A (en) | Display control program, display control apparatus, and display control method | |
CN109782968B (en) | Interface adjusting method and terminal equipment | |
US20220019084A1 (en) | Display control apparatus, display control method, and display control program | |
JP6580624B2 (en) | Method for providing virtual space, program for causing computer to execute the method, and information processing apparatus for executing the program | |
JP2018160249A (en) | Head-mount display system, head-mount display, display control program, and display control method | |
JP6445499B2 (en) | Display control program, display control apparatus, and display control method | |
JP6683862B2 (en) | Display control device and display control method | |
JP6705929B2 (en) | Display control device and display control method | |
JP6891319B2 (en) | Display control device and display control method | |
JP2018190395A (en) | Method for providing virtual space, program for implementing that method in computer, and information processor for executing that program | |
CN111208903B (en) | Information transmission method, wearable device and medium | |
JP7462591B2 (en) | Display control device and display control method | |
JP6711891B2 (en) | Display control program, display control device, and display control method | |
JP6821461B2 (en) | A method executed by a computer to communicate via virtual space, a program that causes the computer to execute the method, and an information control device. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191210 |