JP2016224632A - Program, system, and method for controlling head mounted display - Google Patents
Program, system, and method for controlling head mounted display Download PDFInfo
- Publication number
- JP2016224632A JP2016224632A JP2015109153A JP2015109153A JP2016224632A JP 2016224632 A JP2016224632 A JP 2016224632A JP 2015109153 A JP2015109153 A JP 2015109153A JP 2015109153 A JP2015109153 A JP 2015109153A JP 2016224632 A JP2016224632 A JP 2016224632A
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- sensor
- mounted display
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ヘッドマウントディスプレイを制御するプログラム、システム、及び方法に関するものである。 The present invention relates to a program, a system, and a method for controlling a head mounted display.
特許文献1には、鉄道シミュレーションゲーム装置が開示されている。この鉄道シミュレーションゲームは、座席と、コントロールパネルと、ディスプレイを備えており、ディスプレイの画面を見ながら操作具を操作することで鉄道車両を所定の運行パターン通りに運転し、その的確さを競う。 Patent Document 1 discloses a railway simulation game device. This railway simulation game includes a seat, a control panel, and a display. By operating an operation tool while looking at the screen of the display, the railway vehicle is driven according to a predetermined operation pattern and competes for its accuracy.
特許文献1に開示の発明は、大掛かりな装置を必要とするので、ユーザが手軽に乗り物を運転しているという臨場感を味わう上で、改善の余地がある。 Since the invention disclosed in Patent Document 1 requires a large-scale device, there is room for improvement in the sense of realism that the user is driving a vehicle easily.
本発明は、乗り物の運転をシミュレーションする際に、高い臨場感を提供することを目的とする。 An object of the present invention is to provide a high sense of realism when simulating driving of a vehicle.
本発明によれば、ディスプレイと、傾きを検出するセンサを備えるヘッドマウントディスプレイに接続されるコンピュータを、ディスプレイに仮想空間を提供し、仮想空間内の乗り物オブジェクトまたは背景オブジェクトを操作するように機能させるプログラムであって、ディスプレイに、操縦部を含む乗り物オブジェクトと、乗り物オブジェクトの外界である背景オブジェクトと、を表示する表示制御部と、センサで検出されるヘッドマウントディスプレイの傾きに基づいて、乗り物オブジェクトまたは背景オブジェクトを操作するオブジェクト制御部と、乗り物オブジェクトまたは背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する判定部と、を備えるプログラムが得られる。 According to the present invention, a computer connected to a display and a head-mounted display that includes a sensor that detects inclination is provided with a virtual space and functions to operate a vehicle object or a background object in the virtual space. A vehicle object based on a display control unit that displays a vehicle object including a control unit and a background object that is the outside of the vehicle object on a display, and a tilt of a head mounted display detected by a sensor. Alternatively, a program including an object control unit that operates the background object and a determination unit that determines whether the vehicle object or the background object is operated so as to satisfy a predetermined condition is obtained.
また、本発明によれば、ディスプレイと、傾きを検出するセンサを備える第1ヘッドマウントディスプレイ及び第2ヘッドマウントディスプレイに接続されるコンピュータを、ディスプレイに仮想空間を提供し、仮想空間内の乗り物オブジェクトまたは背景オブジェクトを操作するように機能させるプログラムであって、ディスプレイに、操縦部を含む乗り物オブジェクトと、乗り物オブジェクトの外界である背景オブジェクトと、を表示する表示制御部と、センサで検出される第1ヘッドマウントディスプレイの傾き、および、第2ヘッドマウントディスプレイからの指令に基づいて、乗り物オブジェクトまたは背景オブジェクトを操作するオブジェクト制御部と、乗り物オブジェクトまたは背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する判定部と、を備え、第1ヘッドマウントディスプレイからの操作による条件と、第2ヘッドマウントディスプレイからの操作による条件とが異なる、プログラムが得られる。 In addition, according to the present invention, a display and a computer connected to the first head mounted display and the second head mounted display having a sensor for detecting inclination are provided with a virtual space on the display, and the vehicle object in the virtual space is provided. Alternatively, a program that functions to operate a background object, a display control unit that displays a vehicle object including a control unit and a background object that is an external world of the vehicle object on a display, and a first detected by a sensor. Based on the tilt of one head-mounted display and the command from the second head-mounted display, the object control unit for operating the vehicle object or the background object, and the vehicle object or the background object so as to satisfy a predetermined condition Includes a determination section for determining whether or not the work, and a condition by the operation from the first head-mounted display, and conditions by the operation of the second head-mounted display are different, the program can be obtained.
また、本発明によれば、ディスプレイと、傾きを検出するセンサと、制御回路部と、を備えるヘッドマウントディスプレイを含むシステムであって、制御回路部は、ディスプレイに、操縦部を含む乗り物オブジェクトと、乗り物オブジェクトの外界である背景オブジェクトと、を含む仮想空間を提供し、センサで検出されるヘッドマウントディスプレイの傾きに基づいて、乗り物オブジェクトまたは背景オブジェクトを操作し、乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する、システムが得られる。 According to another aspect of the present invention, there is provided a system including a head mounted display including a display, a sensor for detecting tilt, and a control circuit unit, the control circuit unit including a vehicle object including a control unit on the display. A virtual space including a background object that is an external environment of the vehicle object, and operating the vehicle object or the background object based on the inclination of the head mounted display detected by the sensor, so that the vehicle object or the background object is predetermined. A system for determining whether or not an operation is performed so as to satisfy the above condition is obtained.
また、本発明によれば、ディスプレイと、傾きを検出するセンサを備えるヘッドマウントディスプレイの制御方法であって、以下を備える方法が得られる。
1)前記ディスプレイに、操縦部を含む乗り物オブジェクトと、前記乗り物オブジェクトの外界である背景オブジェクトと、を含む仮想空間を提供する;
2)前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作し;
3)前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する。
Moreover, according to this invention, it is a control method of a head mounted display provided with the display and the sensor which detects an inclination, Comprising: The method provided with the following is obtained.
1) Providing the display with a virtual space including a vehicle object including a control unit and a background object that is an external world of the vehicle object;
2) Manipulating the vehicle object or the background object based on the tilt of the head mounted display detected by the sensor;
3) It is determined whether or not the vehicle object or the background object has been operated to satisfy a predetermined condition.
本発明によれば、乗り物の運転をシミュレーションする際に、高い臨場感を提供することができる。 According to the present invention, it is possible to provide a high sense of realism when simulating driving of a vehicle.
[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態によるヘッドマウントディスプレイを制御するプログラム、システム、及び方法は、以下のような構成を備える。
(項目1)
ディスプレイと、傾きを検出するセンサを備えるヘッドマウントディスプレイに接続されるコンピュータを、前記ディスプレイに仮想空間を提供し、前記仮想空間内の乗り物オブジェクトまたは背景オブジェクトを操作するように機能させるプログラムであって、
前記ディスプレイに、操縦部を含む前記乗り物オブジェクトと、前記乗り物オブジェクトの外界である前記背景オブジェクトと、を表示する表示制御部と、
前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作するオブジェクト制御部と、
前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する判定部と、を備えるプログラム。
本項目のプログラムによれば、ヘッドマウントディスプレイの傾きに基づいて、乗り物オブジェクトまたは背景オブジェクトを操作し、所定の条件を満たすように操作されたか否かが判定される。従って、例えば車窓の外の信号等に適切に視線を送ったか否かといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。
(項目2)
前記プログラムは、前記センサで検知される傾き情報に基づいて、前記仮想空間内の基準視線を定義する視界決定部をさらに備え、
前記表示制御部は、前記背景オブジェクトに確認オブジェクトをさらに表示し、
前記判定部は、前記基準視線が前記確認オブジェクトと交差したか否かを判定する、項目2のプログラム。
本項目のプログラムによれば、特定のオブジェクトに適切に視線を送ったか否かを、正確に判定できる。従って、乗り物の運転をシミュレーションする際に、高い臨場感を提供することができる。
(項目3)
前記確認オブジェクトは、前記乗り物オブジェクトの移動に応じて、前記乗り物オブジェクトとの相対距離情報が変化し、
前記判定部は、前記相対距離情報が所定の範囲内にある場合に、前記基準視線が前記確認オブジェクトと交差したか否かを判定する、項目2のプログラム。
本項目のプログラムによれば、確認オブジェクトと乗り物オブジェクトとの相対距離が所定の範囲内にある場合に、確認オブジェクトに視線を送ったか否かを判定できる。従って、適切なタイミングに特定のオブジェクトに適切に視線を送ったか否かを判定でき、高い臨場感を提供することができる。
(項目4)
前記コンピュータは外部コントローラと接続され、
前記オブジェクト制御部は、前記外部コントローラに対する入力に基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトをさらに操作する、項目1〜3のいずれかのプログラム。
本項目のプログラムによれば、外部コントローラに対する入力に基づいて、特定のオブジェクトをさらに操作できる。従って、乗り物の運転をシミュレーションする際に、高い臨場感を提供することができる。
(項目5)
前記プログラムは、前記センサで検知される傾き情報に基づいて、前記仮想空間内の基準視線を定義する視界決定部をさらに備え、
前記表示制御部は、前記背景オブジェクトに確認オブジェクトをさらに表示し、
前記判定部は、前記基準視線が前記確認オブジェクトと交差した場合に、前記外部コントローラに対する入力が、前記基準視線が前記確認オブジェクトと交差してから所定の時間内になされたか否かを判定する、項目4のプログラム。
本項目のプログラムによれば、確認オブジェクトに視線を送るアクションの前後に所定のアクションが適切に行われたか否かを、さらに判定できる。従って、例えば車窓の外の信号等に適切に視線を送るとともに、指差確認するといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。
(項目6)
前記ヘッドマウントディスプレイは、音声入力を受け付けるマイクをさらに備え、
前記判定部は、前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たす場合に前記音声入力が受け付けられたか否かを判定する、項目1〜5のいずれかのプログラム。
本項目のプログラムによれば、音声入力に基づいて、乗り物の運転が適切に行われたか否かを判定できる。従って、乗り物の乗客に対して適切なタイミングでアナウンスを行うといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。
(項目7)
ディスプレイと、傾きを検出するセンサを備える第1ヘッドマウントディスプレイ及び第2ヘッドマウントディスプレイに接続されるコンピュータを、前記ディスプレイに仮想空間を提供し、前記仮想空間内の乗り物オブジェクトまたは背景オブジェクトを操作するように機能させるプログラムであって、
前記ディスプレイに、操縦部を含む前記乗り物オブジェクトと、前記乗り物オブジェクトの外界である前記背景オブジェクトと、を表示する表示制御部と、
前記センサで検出される前記第1ヘッドマウントディスプレイの傾き、および、前記第2ヘッドマウントディスプレイからの指令に基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作するオブジェクト制御部と、
前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する判定部と、を備え、
前記第1ヘッドマウントディスプレイからの操作による前記条件と、前記第2ヘッドマウントディスプレイからの操作による前記条件とが異なる、プログラム。
本項目のプログラムによれば、仮想空間内に第1ヘッドマウントディスプレイを装着した第1プレーヤと、当該第1プレーヤと役割の異なる第2ヘッドマウントディスプレイを装着した第2プレーヤを登場させることができる。従って、乗り物の運転をシミュレーションする際に、高い臨場感を提供することができる。
(項目8)
ディスプレイと、傾きを検出するセンサと、制御回路部と、を備えるヘッドマウントディスプレイを含むシステムであって、
前記制御回路部は、
前記ディスプレイに、操縦部を含む乗り物オブジェクトと、前記乗り物オブジェクトの外界である背景オブジェクトと、を含む仮想空間を提供し、
前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作し、
前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する、システム。
本項目のシステムによれば、ヘッドマウントディスプレイの傾きに基づいて、乗り物オブジェクトまたは背景オブジェクトを操作し、所定の条件を満たすように操作されたか否かが判定される。従って、例えば車窓の外の信号等に適切に視線を送ったか否かといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。
(項目9)
ディスプレイと、傾きを検出するセンサを備えるヘッドマウントディスプレイの制御方法であって、以下を備える;
1)前記ディスプレイに、操縦部を含む乗り物オブジェクトと、前記乗り物オブジェクトの外界である背景オブジェクトと、を含む仮想空間を提供する;
2)前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作し;
3)前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する。
本項目の制御方法によれば、ヘッドマウントディスプレイの傾きに基づいて、乗り物オブジェクトまたは背景オブジェクトを操作し、所定の条件を満たすように操作されたか否かが判定される。従って、例えば車窓の外の信号等に適切に視線を送ったか否かといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。
[Description of Embodiment of the Present Invention]
First, the contents of the embodiment of the present invention will be listed and described. A program, system, and method for controlling a head mounted display according to an embodiment of the present invention have the following configurations.
(Item 1)
A program for causing a computer connected to a display and a head-mounted display having a sensor for detecting tilt to provide a virtual space for the display and to function to operate a vehicle object or a background object in the virtual space. ,
A display control unit for displaying the vehicle object including a control unit on the display, and the background object that is the outside of the vehicle object;
An object control unit for operating the vehicle object or the background object based on the inclination of the head-mounted display detected by the sensor;
A determination unit that determines whether or not the vehicle object or the background object is operated so as to satisfy a predetermined condition.
According to the program of this item, based on the inclination of the head mounted display, it is determined whether or not the vehicle object or the background object is operated so as to satisfy a predetermined condition. Therefore, for example, an element such as whether or not the line of sight has been appropriately sent to a signal outside the vehicle window can be newly added to the vehicle driving simulation. Therefore, a high sense of reality can be provided.
(Item 2)
The program further includes a field-of-view determination unit that defines a reference line of sight in the virtual space based on tilt information detected by the sensor,
The display control unit further displays a confirmation object on the background object,
The program according to item 2, wherein the determination unit determines whether or not the reference line of sight intersects the confirmation object.
According to the program of this item, it is possible to accurately determine whether or not the line of sight has been properly sent to a specific object. Therefore, a high sense of realism can be provided when simulating driving of a vehicle.
(Item 3)
The confirmation object changes relative distance information with the vehicle object according to the movement of the vehicle object,
The program according to item 2, wherein the determination unit determines whether the reference line of sight intersects with the confirmation object when the relative distance information is within a predetermined range.
According to the program of this item, when the relative distance between the confirmation object and the vehicle object is within a predetermined range, it can be determined whether or not the line of sight has been sent to the confirmation object. Therefore, it can be determined whether or not the line of sight has been appropriately sent to a specific object at an appropriate timing, and a high sense of presence can be provided.
(Item 4)
The computer is connected to an external controller;
The program according to any one of items 1 to 3, wherein the object control unit further operates the vehicle object or the background object based on an input to the external controller.
According to the program of this item, a specific object can be further operated based on an input to the external controller. Therefore, a high sense of realism can be provided when simulating driving of a vehicle.
(Item 5)
The program further includes a field-of-view determination unit that defines a reference line of sight in the virtual space based on tilt information detected by the sensor,
The display control unit further displays a confirmation object on the background object,
The determination unit determines whether an input to the external controller is made within a predetermined time after the reference line of sight intersects the confirmation object when the reference line of sight intersects the confirmation object. Item 4 program.
According to the program of this item, it can be further determined whether or not a predetermined action has been appropriately performed before and after the action of sending a line of sight to the confirmation object. Therefore, for example, it is possible to add a new element to the vehicle driving simulation such as appropriately sending a line of sight to a signal outside the vehicle window and confirming the pointing. Therefore, a high sense of reality can be provided.
(Item 6)
The head mounted display further includes a microphone for receiving voice input,
The program according to any one of Items 1 to 5, wherein the determination unit determines whether or not the voice input is accepted when the vehicle object or the background object satisfies a predetermined condition.
According to the program of this item, it can be determined whether or not the vehicle has been appropriately driven based on the voice input. Therefore, it is possible to newly add an element such as making an announcement to the passenger of the vehicle at an appropriate timing to the vehicle driving simulation. Therefore, a high sense of reality can be provided.
(Item 7)
A display and a computer connected to a first head mounted display and a second head mounted display having a sensor for detecting tilt provide a virtual space to the display and operate a vehicle object or a background object in the virtual space. A program that functions like
A display control unit for displaying the vehicle object including a control unit on the display, and the background object that is the outside of the vehicle object;
An object control unit for operating the vehicle object or the background object based on an inclination of the first head mounted display detected by the sensor and a command from the second head mounted display;
A determination unit that determines whether or not the vehicle object or the background object is operated to satisfy a predetermined condition,
The program in which the condition by the operation from the first head mounted display is different from the condition by the operation from the second head mounted display.
According to the program of this item, the first player wearing the first head mounted display and the second player wearing the second head mounted display having a different role from the first player can appear in the virtual space. . Therefore, a high sense of realism can be provided when simulating driving of a vehicle.
(Item 8)
A system including a head-mounted display comprising a display, a sensor for detecting tilt, and a control circuit unit,
The control circuit unit is
Providing the display with a virtual space including a vehicle object including a control unit and a background object that is an external world of the vehicle object;
Based on the inclination of the head mounted display detected by the sensor, the vehicle object or the background object is operated,
A system for determining whether the vehicle object or the background object has been operated to satisfy a predetermined condition.
According to the system of this item, based on the inclination of the head mounted display, it is determined whether or not the vehicle object or the background object is operated to satisfy a predetermined condition. Therefore, for example, an element such as whether or not the line of sight has been appropriately sent to a signal outside the vehicle window can be newly added to the vehicle driving simulation. Therefore, a high sense of reality can be provided.
(Item 9)
A method for controlling a head mounted display comprising a display and a sensor for detecting tilt, comprising:
1) Providing the display with a virtual space including a vehicle object including a control unit and a background object that is an external world of the vehicle object;
2) Manipulating the vehicle object or the background object based on the tilt of the head mounted display detected by the sensor;
3) It is determined whether or not the vehicle object or the background object has been operated to satisfy a predetermined condition.
According to the control method of this item, based on the tilt of the head mounted display, it is determined whether or not the vehicle object or the background object is operated so as to satisfy a predetermined condition. Therefore, for example, an element such as whether or not the line of sight has been appropriately sent to a signal outside the vehicle window can be newly added to the vehicle driving simulation. Therefore, a high sense of reality can be provided.
[本発明の実施形態の詳細]
本発明の実施形態に係るヘッドマウントディスプレイを制御するプログラム、システム、及び方法の具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
[Details of the embodiment of the present invention]
Specific examples of a program, a system, and a method for controlling a head mounted display according to an embodiment of the present invention will be described below with reference to the drawings. In addition, this invention is not limited to these illustrations, is shown by the claim, and intends that all the changes within the meaning and range equivalent to the claim are included. In the following description, the same reference numerals are given to the same elements in the description of the drawings, and redundant descriptions are omitted.
図1は、本実施形態にかかるヘッドマウントディスプレイ(以下、「HMD」と称する。)110を備えるHMDシステム100を示す。HMDシステム100は、ユーザの頭部に装着されるHMD110と、制御回路部120と、センサ130と、外部コントローラ140を備える。HMD110は、非透過型の表示装置であるディスプレイ112と、センサ部114を含む。制御回路部120はディスプレイ112に右目用画像と左目用画像を表示することにより、両目の視差を利用した3次元画像を仮想空間として提供する。ディスプレイ112がユーザの眼前に配置されることによって、ユーザは仮想空間に没入できる。仮想空間は、後述するように、背景やユーザが操作可能な各種オブジェクトを含む。
FIG. 1 shows an
ディスプレイ112は、右目用画像を提供する右目用サブディスプレイと、左目用画像を提供する左目用サブディスプレイを含んでもよい。また、右目用画像と左目用画像を提供できれば、1つの表示装置で構成されていても良い。例えば、表示画像が一方の目にしか認識できないようにするシャッターを高速に切り替えることにより、右目用画像と左目用画像を独立して提供し得る。
The
制御回路部120は、HMD110に接続されるコンピュータであり、ディスプレイ112に仮想空間を提供し、当該仮想空間内に表示される各種オブジェクトを操作するように機能させる。制御回路部120はそのような動作を制御するプログラムを格納する。制御回路部120はHMD110に搭載されていなくてもよく、別のハードウェア(例えば公知のパーソナルコンピュータ、ネットワークを通じたサーバ・コンピュータ)として構成してもよい。また、制御回路部120は、一部の機能のみをHMD110に実装し、残りの機能を別のハードウェアに実装してもよい。
The
センサ130は、HMD110の位置や動きに関する情報を検出する。センサ130は、センサ部114と、検知部132を含む。センサ部114は、複数の光源を含んでもよい。光源は、例えば赤外線を発するLEDである。検知部132は例えば赤外線センサであり、光源からの赤外線をHMD110の検知点として検知することで、ユーザの動きに応じたHMD110の実空間内における角度に関する情報を経時的に検出する。そして、検知部132により検出された情報の経時的変化に基づいて、HMD110の角度の時間変化を決定し、HMD110の位置や動きに関する情報を検知することができる。
The
センサ130によって取得される角度に関する情報を、図2を参照して説明する。HMD110を装着したユーザの頭部を中心として、XYZ座標を規定する。ユーザが直立する垂直方向をY軸とし、Y軸と直交しディスプレイ112の中心とユーザを結ぶ前後方向をZ軸とし、Y軸およびZ軸と直交する横方向をX軸とする。そして各軸周りのHMD110の傾き角度θx(いわゆるピッチ角),θy(いわゆるヨー角),θz(いわゆるロール角)を検出し、それらの経時的な変化により、HMD110の位置や動きに関する情報を検知することができる。
Information regarding the angle acquired by the
センサ130は、ディスプレイ112の近くに固定されたセンサ部114と、検知部132の、一方のみから構成されてもよい。センサ部114が、地磁気センサ、加速度センサ、角速度(ジャイロ)センサであってもよく、これらの少なくとも1つを用いて、ユーザの頭部に装着されたHMD110(特に、ディスプレイ112)の傾きを検出する。これにより、HMD110の位置や動きに関する情報を検出することができる。例えば、角速度センサは、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検出し、各軸回りの角度(傾き)の時間変化を決定することができる。この場合には、検知部132は不要である。また、検知部132は光学カメラを含んで構成されても良い。この場合には、画像情報に基づいてHMD110の位置や動きに関する情報を検出することができ、センサ部114は不要である。
The
センサ130を用いてHMDの位置や動きに関する情報を検出する機能をポジション・トラッキングと称する。センサ130によるポジション・トラッキングと、仮想空間2内に配置される仮想カメラ1との関係を図3A,図3Bを参照して説明する。仮想カメラ1とセンサ130の位置関係を説明するために、以下ではセンサ130の位置は、検知部132を有する場合には検知部132の位置とし、検知部132を有しない場合にはセンサ部114の位置とする。図3Aは実空間内のセンサ130と仮想空間2の関係を示す3次元の模式図であり、図3Bは実空間内のセンサ130と仮想空間2の関係をY方向から見た平面図である。仮想空間2の内部に仮想カメラ1が配置され、および仮想空間2の外部(実空間)にセンサ130が仮想的に配置される。
The function of detecting information related to the position and movement of the HMD using the
仮想空間2は、略正方形または略長方形の複数のメッシュ3を有する天球状に形成される。各メッシュは仮想空間2の空間情報が関連付けられており、この空間情報に基づいて後述する視界画像が形成される。本実施形態では、図3Bに示すように、XZ面において、天球の中心点21が仮想カメラ1とセンサ130を結ぶ線上に常に配置されるように調整することが好ましい。例えば、HMDを装着したユーザが移動して仮想カメラ1の位置がX方向に移動した場合には、中心21が仮想カメラ1とセンサ130の線分上に位置するように、仮想空間2の領域が変更される。
The virtual space 2 is formed into a celestial sphere having a plurality of meshes 3 that are substantially square or substantially rectangular. Each mesh is associated with spatial information of the virtual space 2, and a visual field image to be described later is formed based on this spatial information. In the present embodiment, as shown in FIG. 3B, it is preferable to adjust so that the
外部コントローラ140は、制御回路部120に対して各種指令を送ることができるように通信可能なデバイスであり、無線通信が可能な携帯端末で構成されることが好ましい。外部コントローラ140は、互いにバス接続されたCPU、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意の携帯型デバイスとすることができる。例えば、スマートフォン、PDA、タブレット型コンピュータ、ゲーム用コンソール、ノートPCを適用可能であり、タッチパネルを備える携帯端末であることが好ましい。ユーザは、外部コントローラ140のタッチパネルに対し、タップ、スワイプおよびホールドを含む各種タッチ動作を実施することにより、仮想空間に表示されるオブジェクトに対して影響を及ぼすことができる。
The
HMDシステム100はいずれかの要素にマイクを含むヘッドホンを備えていても良い。これにより、ユーザは仮想空間内の所定のオブジェクト(後述するゲームオブジェクト等)に、音声による指示を与えることができる。また、仮想空間内の仮想テレビにテレビ番組の放送を受信するために、HMDシステム100はいずれかの要素にテレビジョン受像機を含んでいても良い。
The
図4は、HMDシステム100における仮想空間2の表示処理や、当該仮想空間2内に表示されるオブジェクトの操作を実現するための、制御回路部120の機能を示す図である。制御回路部120は、主にセンサ130および外部コントローラ140からの入力に基づいて、ディスプレイ112への出力画像を制御する。
FIG. 4 is a diagram illustrating functions of the
制御回路部120は、表示制御部200とオブジェクト制御部300と、判定部400を備える。表示制御部200は、動き検出部210と、視界決定部220と、視界画像生成部230と、空間情報格納部240を含む。オブジェクト制御部300は、オブジェクト情報格納部310と、仮想カメラ情報格納部320を含む。センサ130と、表示制御部200と、オブジェクト制御部300と、ディスプレイ112は互いに通信可能に接続されており、有線または無線の通信インターフェースを介して接続され得る。外部コントローラ140は、オブジェクト制御部300と通信可能に接続されている。空間情報格納部240、オブジェクト情報格納部310、および仮想カメラ情報格納部320は、センサ130や外部コントローラ140からの入力に対応した出力情報をディスプレイ112へ提供するための各種テーブルを含む。判定部400は、センサ130や外部コントローラ140からの入力が所定の条件を満たし、各種オブジェクトが所定の条件を満たすように操作されたか否かを判定する。
The
センサ130は、センサ部114により経時的に検知される角度情報や、検知部132により経時的に検知されるHMD110の角度情報に基づいて、HMD110の位置や動きに関する情報を、表示制御部200およびオブジェクト制御部300に出力する。動き検知部210は、センサ130からの入力情報に基づいて、HMD110の動きを検出する。そして、仮想空間2内におけるHMD110の向きを規定する基準視線となる視野方向を検出する。そして、検出した情報を視界決定部220に出力する。
Based on the angle information detected over time by the
視界決定部220は、空間情報格納部240に格納された仮想空間情報と、センサ130からの入力情報(動き検知部210からの情報)に基づいて、仮想空間2における仮想カメラ1の視界領域に関する情報を決定する。視界画像生成部230は、当該視界情報に基づいて、仮想空間を構成する360度パノラマの一部を、視界画像として生成する。視界画像はディスプレイ112に出力される。視界画像は左目用と右目用の2つの2次元画像を含み、これらがディスプレイ112に重畳されることにより、3次元画像としての仮想空間2がユーザに提供される。
The visual
オブジェクト制御部300では、オブジェクト情報格納部310に格納された仮想空間内のオブジェクト情報と、センサ130および外部コントローラ140からのユーザ指令に基づいて、操作対象オブジェクトを特定する。そして、操作対象オブジェクトへの所定のユーザ操作指令に基づいて、仮想カメラ情報格納部320に格納された仮想カメラ情報を調整する。調整された仮想カメラ情報を表示制御部200に出力し、視界画像が調整される。また、所定のユーザ操作指令に対応する操作を操作対象オブジェクトへ実施し、オブジェクト制御情報をディスプレイ112および表示制御部200に出力する。オブジェクト操作の具体的な処理は後述する。
The object control unit 300 identifies an operation target object based on object information in the virtual space stored in the object information storage unit 310 and user commands from the
なお、制御回路部120の各機能を実現するためのハードウェア要素は、CPU、メモリ、その他の集積回路で構成することができる。そして、メモリにロードされたソフトウェア要素としての各種プログラムによって各機能が実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解される。
Note that hardware elements for realizing each function of the
図5A〜Cを参照して、視界決定部220で決定される、仮想空間2の天球面に沿った視界領域6について説明する。図5Aは、視界領域6を示す3次元の模式図であり、図5Bは視界領域6をX方向から見たYZ面図であり、図5Cは視界領域6をY方向から見たXZ面図である。図5Aに示すように、視界領域6は仮想空間2の一部を構成する。視界領域6は視界方向5に基づいて定められ、視界方向5は仮想カメラ1の位置および方向に基づいて定められる。視界領域6は、仮想空間2と視界方向5との交点におけるX軸まわりの所定範囲である第1領域61と、仮想空間2と視界方向5との交点におけるY軸まわりの所定範囲である第2視界領域62とを有する。第1領域61は、視界方向5を中心として極角αを含む範囲として設定される。第2領域62は、視界方向5を中心として方位角βを含む範囲として設定される。つまり、視界領域6は、仮想カメラ1の位置からの視界方向5に対して、XY平面図における極角θおよびXZ平面図における方位角βを有した球面上の領域とすることができる。
With reference to FIGS. 5A to 5C, the visual field region 6 along the celestial sphere of the virtual space 2 that is determined by the visual
図6、図7を参照して、仮想空間2内でのオブジェクト操作に関する制御回路部120の処理動作を説明する。図6は、図4に示すオブジェクト制御部300の機能を説明するブロック図である。オブジェクト制御部300は、操作対象オブジェクトを特定するためのオブジェクト特定部330と、特定された操作対象オブジェクトを操作するためのオブジェクト操作部340を備える。
With reference to FIGS. 6 and 7, the processing operation of the
オブジェクト特定部330は、基準視線計算部331、オブジェクト判定部332、操作対象オブジェクト選択部333を備える。オブジェクト特定部330は、HMD110の傾き動作によって、仮想空間2において図5A〜Cに示した基準視線である視界方向5上に配置されるオブジェクトを特定する。そのために、基準視線計算部331が視界方向5を設定し、オブジェクト判定部340が視界方向5上にオブジェクトが配置されているかを判定する。さらに、操作対象オブジェクト選択部360は、視界方向5上にオブジェクトが配置される場合に、そのオブジェクトを操作対象オブジェクトとして選択する。
The object specifying unit 330 includes a reference line-of-sight calculation unit 331, an object determination unit 332, and an operation target object selection unit 333. The object specifying unit 330 specifies an object arranged on the
オブジェクト操作部340は、外部コントローラ動作判定部341と、傾き動作判定部342と、仮想カメラ調整部343と、オブジェクト操作特定部344と、オブジェクト操作実施部345と、オブジェクト操作テーブル346を備える。オブジェクト操作部340は、オブジェクト特定部300で特定された操作対象オブジェクトに対し、HMD110の傾き動作に従った操作を実施する。
The object operation unit 340 includes an external controller operation determination unit 341, a tilt operation determination unit 342, a virtual camera adjustment unit 343, an object
外部コントローラ動作判定部341は、外部コントローラ140にユーザのタッチ操作が入力されたかを判定する。傾き動作判定部342は、HMD110に傾き動作(特に、傾け方向)が入力されたかを判定する。仮想カメラ調整部343は、オブジェクト操作の際に仮想カメラ1の位置や方向を調整する。オブジェクト操作特定部344は、操作対象オブジェクトに対する操作を、オブジェクト操作テーブル346に従って特定する。オブジェクト操作実施部345は、オブジェクト操作を実施し、その結果として生じる画像を視界画像として生成する。
The external controller operation determination unit 341 determines whether a user's touch operation is input to the
図7はオブジェクト操作テーブル346の一例を示す。オブジェクト操作テーブル346は、ユーザ動作と操作対象オブジェクトのアクションを関連付ける。即ち、ユーザによるHMD110に対する傾き変更動作や、外部コントローラ140への入力といった動作に対して、操作対象オブジェクトが所定のアクションをとるよう、一対一で対応付けられる。操作対象オブジェクトのアクションは、HMD110または外部コントローラ140単体への入力動作によって関連付けられても良いし、HMD110と外部コントローラ140の連携した操作に関連付けられていても良い。当該入力に対する各アクションの詳細は後述する。
FIG. 7 shows an example of the object operation table 346. The object operation table 346 associates the user action with the action of the operation target object. That is, one-to-one correspondence is made so that the operation target object takes a predetermined action with respect to an operation such as a tilt change operation on the
なお、オブジェクト操作テーブル346がユーザ動作と操作対象オブジェクトの情報を有している場合には、オブジェクト操作部340がオブジェクト特定部330としての機能を有する場合がある。即ち、オブジェクト操作テーブル346が有する操作対象オブジェクト情報は、オブジェクト特定部330において特定されたものであっても良いし、予め設定されたものであっても良い。 Note that when the object operation table 346 includes information on the user action and the operation target object, the object operation unit 340 may have a function as the object specifying unit 330. That is, the operation target object information included in the object operation table 346 may be specified by the object specifying unit 330 or may be set in advance.
次に、図8〜図16を参照して、本実施形態による、仮想空間2内におけるオブジェクト操作のための処理フローを説明する。当該オブジェクト操作処理は、外部コントローラ140、センサ130、HMD100および制御回路部120の相互作用によって実現され得る。
Next, a processing flow for object operation in the virtual space 2 according to the present embodiment will be described with reference to FIGS. The object operation process can be realized by the interaction of the
まず、センサ130によってHMD110の位置が検知される(ステップS130−1)。
センサ130の検知情報は制御回路部120に送信され、動き検出部210により、HMD110の位置情報や傾き情報が決定される(ステップS120−1)。視界決定部220は、HMD110の位置情報および/または傾き情報に基づいて、仮想空間2内での視界情報が決定される。そして、視界画像生成部230が当該視界情報に基づいてHMD110のディスプレイ112に表示するための視界画像を生成する(ステップS120−2)
First, the position of the
The detection information of the
このとき、視界決定部220は基準視線である視界方向5を決定する(ステップS120−3)。視界方向5は、前述のように視界画像の所定位置に対応付けて決定される。当該所定位置は視界画像の中心点とするのがよいが、これに限定されず、視界画像の如何なる設定可能な位置としてよい。また、視界方向は何らかのマーク(例えば、円形や手の平形のアイコン)として上記視界画像に重畳表示してもよい。
At this time, the visual
次に、視界画像がHMD110に表示される(ステップS100−2)。視界画像には、後述するように操作対象になり得る複数のオブジェクトが表示される。そして、視界画像がHMD110に表示された状態で、HMD110を装着したユーザが頭部を傾ける動作をした場合には、仮想空間2内に配置された複数のオブジェクトのうち、少なくとも1つが視界画像の所定位置に対応するよう位置合わせを行う。
Next, a view field image is displayed on HMD110 (step S100-2). As will be described later, a plurality of objects that can be operated are displayed in the view field image. When the user wearing the
HMD110に表示される視界画像の一例を図9に示す。視界画像G1は、乗り物オブジェクトV1(第1オブジェクト)と、背景オブジェクトB1(第2オブジェクト)を含む。乗り物オブジェクトV1は、例えば電車の操縦席に対応するものであり、操縦部Mと、操縦部Mによる操縦結果を表示する表示部Dを含む。操縦部Mは、電車を加速するための操縦バーM1と、電車を減速するためのブレーキバーM2を含む。表示部Dは、操縦バーM1およびブレーキバーM2による電車の速度を反映する速度計D1と、ブレーキバーM2の操作による電車の減速の度合いを反映する圧力計D2を含む。背景オブジェクトB1は、乗り物オブジェクトV1の背景に相当するものであり、本実施形態では電車の運転席から見た外界の風景である。背景オブジェクトB1の中心付近には、視界方向5に相当するマークOが表示される。
An example of a view field image displayed on the
視界画像G1は三次元オブジェクトである仮想空間2として構成され、乗り物オブジェクトV1の速度に応じて背景オブジェクトB1の変化する速度が変更される。これにより、ユーザは電車の運転士としての状況を、高い臨場感をもって体験することができる。なお、乗り物オブジェクトV1は電車に限られず、乗用車、バス・タクシー等の商用自動車、飛行機など、様々な乗り物を採用することができ、様々な乗り物の運転をシミュレーションすることが可能である。 The field-of-view image G1 is configured as a virtual space 2 that is a three-dimensional object, and the speed at which the background object B1 changes is changed according to the speed of the vehicle object V1. Thereby, the user can experience the situation as a train driver with a high sense of reality. Note that the vehicle object V1 is not limited to a train, and various vehicles such as passenger cars, commercial vehicles such as buses and taxis, and airplanes can be used, and driving of various vehicles can be simulated.
次に、センサ130によってさらにHMD110の位置が検知されることにより、HMD110に対するユーザの入力が検知される(ステップS130−2,110−3)。センサ130の検知情報はオブジェクト制御部300に送信され、傾け動作判定部342によりHMD110の位置情報や傾き情報が決定され、HMD110に対するユーザの入力が受け付けられる(ステップS120−4)。オブジェクト操作特定部344は、オブジェクト操作テーブル346を参照して、当該ユーザの入力に関連付けられた操作対象オブジェクトと、操作内容を選択する(ステップS120−5)。
Next, when the position of the
また、外部コントローラ140に対するユーザのタッチ操作が入力された場合には、当該入力情報がオブジェクト制御部300に送信され、外部コントローラ動作判定部341に受け付けられる。オブジェクト操作特定部344は、オブジェクト操作テーブル346を参照して、当該ユーザの入力に関連付けられた操作対象オブジェクトと、操作内容を選択する(ステップS120−5)。
In addition, when a user's touch operation on the
図10〜図15を参照して、HMD110または外部コントローラ140に対するユーザの入力に基づいて、操作対象オブジェクトを制御する態様の一例を示す。
With reference to FIGS. 10 to 15, an example of a mode of controlling the operation target object based on a user input to the
図10,図11は、外部コントローラ140としてのタッチパネルを備えるデバイスに、ユーザのタッチ操作を入力することによって、操作対象オブジェクトとしての乗り物オブジェクトV1を制御する態様を示す。図7に示すように、外部コントローラ140への入力操作と、操作対象オブジェクトおよび操作内容が関連付けられている。従って、外部コントローラ140に所定の操作を入力することによって、乗り物オブジェクトV1を制御できる。
10 and 11 show a mode in which the vehicle object V1 as the operation target object is controlled by inputting a user's touch operation to a device having a touch panel as the
例えば、外部コントローラ140のタッチパネルに上から下へ直線的な軌道をもってスワイプ操作を入力すると、乗り物オブジェクトV1が加速するように制御される。具体的には、図10に示すように、当該スワイプ操作が入力されると、操作対象オブジェクトとして関連付けられた操縦バーM1に、手前に倒すようなアクションが行われる。これに合わせて乗り物オブジェクトV1は加速し、同様に操作対象オブジェクトとして関連付けられた速度計D1のメータが乗り物オブジェクトV1の速度に応じて変動する。そして、乗り物オブジェクトV1の速度に応じて背景オブジェクトB1の変化する速度が変更される。これにより、ユーザは外部コントローラ140を操作することで、操縦部Mを含む乗り物オブジェクトV1を操作できる。
For example, when a swipe operation is input to the touch panel of the
また、外部コントローラ140のタッチパネルに右から左へ円弧状の軌道をもってスワイプ操作を入力すると、乗り物オブジェクトV1が減速するように制御される。具体的には、図11に示すように、当該スワイプ操作が入力されると、操作対象オブジェクトとして関連付けられたブレーキバーM2に、右回りに撚るようなアクションが行われる。これに合わせて乗り物オブジェクトV1は減速し、同様に操作対象オブジェクトとして関連付けられた圧力計D2のメータが、スワイプ量に応じて変動する。圧力計D2はブレーキの強さを反映しており、当該ブレーキアクションに応じて乗り物オブジェクトV1は減速し、速度計D1のメータが変動する。そして、乗り物オブジェクトV1の速度に応じて背景オブジェクトB1の変化する速度が変更される。これにより、ユーザは外部コントローラ140を操作することで、操縦部Mを含む乗り物オブジェクトV1を操作できる。
Further, when a swipe operation is input to the touch panel of the
図12は、HMD110に対するユーザの入力に基づいて、操作対象オブジェクトとしての背景オブジェクトB1を制御する態様を示す。図7に示すように、HMD110への入力操作と、操作対象オブジェクトおよび操作内容が関連付けられている。従って、HMD110に所定の操作を入力することによって、背景オブジェクトB1を制御できる。
FIG. 12 shows a mode in which the background object B1 as the operation target object is controlled based on a user input to the
例えば、ユーザが背景オブジェクトB1に含まれる信号C1(確認オブジェクトの一例)に視線を向けることによって、ユーザの信号確認操作が実行される。これにより、背景オブジェクトB1の制御に基づいて、後述するようにゲームポイントが付与される。具体的には、図12に示すように、ユーザが頭を右方向に向けることで信号C1に視線を向けることにより、HMD110の傾きがセンサ130に検知され、これにより視界方向5に相当するマークOの位置が右方向に変化する。信号C1の外側近傍には、所定の認識領域C2が設定されており、認識領域C2とマークOの少なくとも一部が重複することで、信号C1が操作対象オブジェクトとして判定され、選択される。その結果、ユーザが信号C1に視線を向けたと判定され得る。これにより、HMD110を操作することで、信号C1を含む背景オブジェクトB1を操作できる。なお、認識領域C2はユーザが視認できない仮想領域としておくことが好ましい。
For example, the user's signal confirmation operation is executed when the user turns his / her line of sight toward the signal C1 (an example of the confirmation object) included in the background object B1. Thereby, based on the control of the background object B1, game points are awarded as described later. Specifically, as shown in FIG. 12, when the user turns his / her head in the right direction and directs his / her line of sight to the signal C <b> 1, the inclination of the
また、図13,図14に示すように、HMD110に対するユーザの入力と、外部コントローラ140に対するユーザの入力の両方に基づいて、操作対象オブジェクトとしての背景オブジェクトB1を制御してもよい。図7に示すように、HMD110および外部コントローラ140への入力操作と、操作対象オブジェクトおよび操作内容が関連付けられている。従って、HMD110および外部コントローラ140に所定の操作を入力することによって、背景オブジェクトB1を制御できる。
As illustrated in FIGS. 13 and 14, the background object B <b> 1 as the operation target object may be controlled based on both the user input to the
例えば、図13に示すように、ユーザが右を向いて視線を信号C1に向けた操作に続いて、所定の時間内に外部コントローラ140のタッチパネルをタップするようにし、ユーザが信号C2に対し指差確認するようにしてもよい。また、当該操作に対応する画像O1を、さらに視界画像G1に表示するようにしても良い。これにより、指差確認が完了したことをユーザにフィードバックできる。そして、指差確認に応じたゲームポイントをさらに付与するようにしても良い。
For example, as shown in FIG. 13, the user touches the touch panel of the
また、図14に示すように、ユーザが左を向いて視線を警笛標識C3に向けた操作に続いて、所定の時間内に外部コントローラ140のタッチパネルをダブルタップするようにし、ユーザが警笛を鳴らすようにしてもよい。また、当該操作に対応する画像O2を、さらに視界画像G1に表示するようにしても良い。これにより、警笛を鳴らすことが完了したことをユーザにフィードバックできる。そして、適切なタイミングで警笛を鳴らすことができた場合にはゲームポイントをさらに付与するようにしても良い。
Further, as shown in FIG. 14, following the operation in which the user turns to the left and directs his / her line of sight toward the horn mark C3, the user touches the touch panel of the
そして、オブジェクト操作特定部344は、オブジェクト操作テーブル346を参照して、上記の操作が所定の条件を満たすか否かを判断し、結果を判定部400に出力する。判定部400は、図15に示す入力操作と判定内容を関連付けるテーブルに基づいて、上記の操作が所定の条件を満たすか否かを判定する(ステップS120−6)。即ち、外部コントローラ140のタッチパネルに対して所定のタッチ操作が所定の条件を満たすように行われたか否か、および、HMD110に対して所定の傾き操作が所定の条件を満たすように入力されたか否かが判定される。
Then, the object
ここで、オブジェクト操作特定部344は、HMD110を装着したユーザが操作対象となるオブジェクトに視線を合わせたか否かを、基準視線となる視界方向5が操作対象オブエクと交差したか否かに基づいて判断することが好ましい。また、前述のように、操作対象オブジェクトの近傍に仮想的な認識領域を設けておくことが好ましい。これにより、ユーザが操作対象オブジェクトを視認したにも係わらず、操作入力として受け付けられないといった事態が生じることを防止できる。
Here, the object
また、判定部400は、視界方向5が操作対象オブジェクトと所定のタイミングで交差したか否かを判定することが好ましい。例えば、電車の運転シミュレーションでは、信号を適切なタイミングで視認し、さらに、適切なタイミングで指差確認したか否かを判定することにより、運転士の安全行動をゲームポイントとして付与できる。
The
この場合、信号C1は電車V1の移動に応じて電車V1との相対距離情報が変化するように設定しておくことが好ましい。図16に示すように、仮想カメラ1の位置を電車V1の位置とし、電車V1と信号C1の間の相対距離d1が設定され、電車V1の移動に応じて相対距離d1が変化する。相対距離d1が遠距離d2の範囲にある場合には、視認のタイミングが早すぎるため、信号確認が行われたと判定されない。相対距離d1が近距離d4の範囲にある場合には、視認のタイミングが遅すぎるため、信号確認が行われたと判定されない。相対距離d1が適距離d3の範囲にある場合には、適切なタイミングでの信号確認が行われたと判定される。 In this case, the signal C1 is preferably set so that the relative distance information with respect to the train V1 changes according to the movement of the train V1. As shown in FIG. 16, the virtual camera 1 is set to the position of the train V1, the relative distance d1 between the train V1 and the signal C1 is set, and the relative distance d1 changes according to the movement of the train V1. When the relative distance d1 is in the range of the long distance d2, it is not determined that the signal confirmation has been performed because the visual recognition timing is too early. When the relative distance d1 is in the range of the short distance d4, it is not determined that the signal confirmation has been performed because the visual recognition timing is too late. When the relative distance d1 is in the range of the appropriate distance d3, it is determined that the signal confirmation is performed at an appropriate timing.
さらに、前述のように、信号確認操作に連続して外部コントローラ140のタッチパネルにタップ操作が入力されるまでの時間を計測し、所定の時間内に入力が確認されたと判定された場合には、指差確認が入力されたと判定することが好ましい。
Furthermore, as described above, the time until the tap operation is input to the touch panel of the
このように、入力操作が所定の条件を満たすと判定された場合には、ゲームポイントが付与される(ステップS120−7)。ゲームポイントの大小によって運転士の運転レベルが判定されることにより、車窓の外の信号等に適切に視線を送ったか否かといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。 Thus, when it is determined that the input operation satisfies the predetermined condition, a game point is awarded (step S120-7). By determining the driving level of the driver based on the size of the game point, an element such as whether or not the line of sight has been appropriately sent to a signal outside the vehicle window can be newly added to the vehicle driving simulation. Therefore, a high sense of reality can be provided.
続いて、オブジェクト操作実施部345で操作対象オブジェクトへの操作が実施され、操作結果を含む一連の結果画像が生成される(ステップS120−8)。また、仮想カメラ1の位置や方向が調整され、その結果が仮想カメラ情報格納部320から視界決定部220に送信される。視界画像生成部230は、調整された仮想カメラ情報に基づいて空間情報格納部240から更新された視界画像を取得する。そして、操作対象オブジェクトの操作結果を含む一連の結果画像を視界画像と合成することで操作結果画像を生成し、これをHMD110に出力する(ステップS120−9)。HMD110は、ディスプレイ112に操作結果画像を表示する(ステップS110−4)。
Subsequently, an operation is performed on the operation target object by the object
以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるも
のではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、
様々な実施形態の変更がなされ得ることを当業者は理解するであろう。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. Without departing from the spirit and scope of the invention as set forth in the appended claims
Those skilled in the art will appreciate that various modifications of the embodiments can be made.
例えば、図17に示すように、HMDシステム100は、第1HMD110−1を装着した第1プレーヤP1と、第2HMD110−2を装着した第2プレーヤP2を含み、2人のユーザが同時に1つの仮想空間2を体験可能にしても良い。即ち、第1HMD110−1と、第2HMD110−2には、同一の仮想空間2に対応する画像が表示される。そして、第1プレーヤP1には、上述したように運転士としての役割を付与する一方第2プレーヤP22には第1HMD110−1と異なる役割(例えば、車掌としての役割)を付与しても良い。この場合、乗り物オブジェクトV1または背景オブジェクトB1を制御するための所定の条件が、第1HMD110−1と第2HMD110−2とで異なることが好ましい。これにより、仮想空間内に第1HMDを装着した第1プレーヤP1と、当該第1プレーヤと役割の異なる第2HMDを装着した第2プレーヤP2を登場させることができる。従って、乗り物の運転をシミュレーションする際に、高い臨場感を提供することができる。このような処理は、制御回路部120が同一の視界画像を第1HMD110−1と第2HMD110−2に表示するように制御するとともに、第1HMD110−1と第2HMD110−2それぞれからの操作対象オブジェクトへの操作入力を受付、これらに基づいて操作結果画像を生成し、同一の視界画像としてを第1HMD110−1と第2HMD110−2に表示するように制御すれば良い。
For example, as shown in FIG. 17, the
このとき、第2HMD110−2は、外部コントローラ140として、音声入力を受け付けるマイク142をさらに備えても良い。この場合、ステップS120−6において、乗り物オブジェクトV1または背景オブジェクトB1が所定の条件を満たす場合に音声入力が受け付けられたか否かを判定することが好ましい。例えば、第1HMD110−1に乗り物オブジェクトV1の操縦部Mに減速操作が入力されてから所定時間内に次の駅名をアナウンスする音声入力をすることとすれば、第2プレーヤは適切なタイミングで電車の乗客に対してアナウンスするシミュレーションを行うことができる。また、背景オブジェクトB1が所定の条件を満たす場合(例えば、危険な踏切近くを通過する場合には、アナウンスを行わない。)にアナウンスする音声入力をすることとしても良い。これにより、音声入力に基づいて、乗り物の運転が適切に行われたか否かを判定できる。従って、乗り物の乗客に対して適切なタイミングでアナウンスを行うといった要素を乗り物の運転シミュレーションに新たに付加することができる。従って、高い臨場感を提供することができる。
At this time, the second HMD 110-2 may further include a
また、車掌としての第2プレーヤP2は、他の背景オブジェクトとしての車内オブジェクトを視認可能としてもよい。この場合には、車掌は車内の乗客の様子にも気を配り、適切な指示を運転士である第1プレーヤP1に与えるといった役割も付与され、さらに臨場感が向上され得る。 Further, the second player P2 as a conductor may be able to visually recognize an in-vehicle object as another background object. In this case, the conductor pays attention to the passengers in the vehicle and is given a role of giving an appropriate instruction to the first player P1 who is the driver, so that the sense of reality can be further improved.
100…ヘッドマウントディスプレイ(HMD)システム、110…HMD、112…ディスプレイ、114…センサ部、120…制御回路部、130…センサ、132…検知部、140…外部コントローラ、200…表示制御部、300…オブジェクト制御部、400…判定部、1…仮想カメラ、2…仮想空間、5…視界方向、6…視界領域、G1…視界画像、V1…乗り物オブジェクト、B1…背景オブジェクト、C1…信号(確認オブジェクト)、M…操縦部、D…表示部、O…マーク
DESCRIPTION OF
Claims (9)
前記ディスプレイに、操縦部を含む前記乗り物オブジェクトと、前記乗り物オブジェクトの外界である前記背景オブジェクトと、を表示する表示制御部と、
前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作するオブジェクト制御部と、
前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する判定部と、を備えるプログラム。 A program for causing a computer connected to a display and a head-mounted display having a sensor for detecting tilt to provide a virtual space for the display and to function to operate a vehicle object or a background object in the virtual space. ,
A display control unit for displaying the vehicle object including a control unit on the display, and the background object that is the outside of the vehicle object;
An object control unit for operating the vehicle object or the background object based on the inclination of the head-mounted display detected by the sensor;
A determination unit that determines whether or not the vehicle object or the background object is operated so as to satisfy a predetermined condition.
前記表示制御部は、前記背景オブジェクトに確認オブジェクトをさらに表示し、
前記判定部は、前記基準視線が前記確認オブジェクトと交差したか否かを判定する、請求項1のプログラム。 The program further includes a field-of-view determination unit that defines a reference line of sight in the virtual space based on tilt information detected by the sensor,
The display control unit further displays a confirmation object on the background object,
The program according to claim 1, wherein the determination unit determines whether or not the reference line of sight intersects with the confirmation object.
前記判定部は、前記相対距離情報が所定の範囲内にある場合に、前記基準視線が前記確認オブジェクトと交差したか否かを判定する、請求項2のプログラム。 The confirmation object changes relative distance information with the vehicle object according to the movement of the vehicle object,
The program according to claim 2, wherein the determination unit determines whether or not the reference line of sight intersects with the confirmation object when the relative distance information is within a predetermined range.
前記オブジェクト制御部は、前記外部コントローラに対する入力に基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトをさらに操作する、請求項1〜3のいずれかのプログラム。 The computer is connected to an external controller;
The program according to any one of claims 1 to 3, wherein the object control unit further operates the vehicle object or the background object based on an input to the external controller.
前記表示制御部は、前記背景オブジェクトに確認オブジェクトをさらに表示し、
前記判定部は、前記基準視線が前記確認オブジェクトと交差した場合に、前記外部コントローラに対する入力が、前記基準視線が前記確認オブジェクトと交差してから所定の時間内になされたか否かを判定する、請求項4のプログラム。 The program further includes a field-of-view determination unit that defines a reference line of sight in the virtual space based on tilt information detected by the sensor,
The display control unit further displays a confirmation object on the background object,
The determination unit determines whether an input to the external controller is made within a predetermined time after the reference line of sight intersects the confirmation object when the reference line of sight intersects the confirmation object. The program according to claim 4.
前記判定部は、前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たす場合に前記音声入力が受け付けられたか否かを判定する、請求項1〜5のいずれかのプログラム。 The head mounted display further includes a microphone for receiving voice input,
The program according to any one of claims 1 to 5, wherein the determination unit determines whether or not the voice input is accepted when the vehicle object or the background object satisfies a predetermined condition.
前記ディスプレイに、操縦部を含む前記乗り物オブジェクトと、前記乗り物オブジェクトの外界である前記背景オブジェクトと、を表示する表示制御部と、
前記センサで検出される前記第1ヘッドマウントディスプレイの傾き、および、前記第2ヘッドマウントディスプレイからの指令に基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作するオブジェクト制御部と、
前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する判定部と、を備え、
前記第1ヘッドマウントディスプレイからの操作による前記条件と、前記第2ヘッドマウントディスプレイからの操作による前記条件とが異なる、プログラム。 A display and a computer connected to a first head mounted display and a second head mounted display having a sensor for detecting tilt provide a virtual space to the display and operate a vehicle object or a background object in the virtual space. A program that functions like
A display control unit for displaying the vehicle object including a control unit on the display, and the background object that is the outside of the vehicle object;
An object control unit for operating the vehicle object or the background object based on an inclination of the first head mounted display detected by the sensor and a command from the second head mounted display;
A determination unit that determines whether or not the vehicle object or the background object is operated to satisfy a predetermined condition,
The program in which the condition by the operation from the first head mounted display is different from the condition by the operation from the second head mounted display.
前記制御回路部は、
前記ディスプレイに、操縦部を含む乗り物オブジェクトと、前記乗り物オブジェクトの外界である背景オブジェクトと、を含む仮想空間を提供し、
前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作し、
前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する、システム。 A system including a head-mounted display comprising a display, a sensor for detecting tilt, and a control circuit unit,
The control circuit unit is
Providing the display with a virtual space including a vehicle object including a control unit and a background object that is an external world of the vehicle object;
Based on the inclination of the head mounted display detected by the sensor, the vehicle object or the background object is operated,
A system for determining whether the vehicle object or the background object has been operated to satisfy a predetermined condition.
1)前記ディスプレイに、操縦部を含む乗り物オブジェクトと、前記乗り物オブジェクトの外界である背景オブジェクトと、を含む仮想空間を提供する;
2)前記センサで検出される前記ヘッドマウントディスプレイの傾きに基づいて、前記乗り物オブジェクトまたは前記背景オブジェクトを操作し;
3)前記乗り物オブジェクトまたは前記背景オブジェクトが所定の条件を満たすように操作されたか否かを判定する。
A method for controlling a head mounted display comprising a display and a sensor for detecting tilt, comprising:
1) Providing the display with a virtual space including a vehicle object including a control unit and a background object that is an external world of the vehicle object;
2) Manipulating the vehicle object or the background object based on the tilt of the head mounted display detected by the sensor;
3) It is determined whether or not the vehicle object or the background object has been operated to satisfy a predetermined condition.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015109153A JP6580373B2 (en) | 2015-05-28 | 2015-05-28 | Program, system, and method for controlling head mounted display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015109153A JP6580373B2 (en) | 2015-05-28 | 2015-05-28 | Program, system, and method for controlling head mounted display |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016224632A true JP2016224632A (en) | 2016-12-28 |
JP6580373B2 JP6580373B2 (en) | 2019-09-25 |
Family
ID=57748128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015109153A Active JP6580373B2 (en) | 2015-05-28 | 2015-05-28 | Program, system, and method for controlling head mounted display |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6580373B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11455028B2 (en) | 2019-06-03 | 2022-09-27 | Samsung Electronics Co., Ltd. | Method for processing data and electronic device for supporting same |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236010A (en) * | 2000-02-25 | 2001-08-31 | Kawasaki Heavy Ind Ltd | Four-wheeled vehicle driving simulator |
JP2003316250A (en) * | 2002-04-22 | 2003-11-07 | Mitsubishi Precision Co Ltd | Simulator for training railroad staff |
JP2004252024A (en) * | 2003-02-19 | 2004-09-09 | Komatsu Forklift Co Ltd | Working vehicle driving operation simulation device, and working vehicle driving operation training method using the same |
JP2011128220A (en) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | Information presenting device, information presenting method, and program |
JP2011189010A (en) * | 2010-03-15 | 2011-09-29 | Konami Digital Entertainment Co Ltd | Game system and computer program for the same |
JP2012130562A (en) * | 2010-12-22 | 2012-07-12 | Nintendo Co Ltd | Game system, game device, game program, and game process method |
JP2014071319A (en) * | 2012-09-28 | 2014-04-21 | Mitsubishi Precision Co Ltd | Railroad simulator and method for simulating driving of railroad |
JP2014170330A (en) * | 2013-03-02 | 2014-09-18 | Yasuaki Iwai | Virtual reality presentation system, virtual reality presentation method and virtual reality presentation device |
JP2015011086A (en) * | 2013-06-27 | 2015-01-19 | 三菱電機株式会社 | Driving operation management device |
-
2015
- 2015-05-28 JP JP2015109153A patent/JP6580373B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236010A (en) * | 2000-02-25 | 2001-08-31 | Kawasaki Heavy Ind Ltd | Four-wheeled vehicle driving simulator |
JP2003316250A (en) * | 2002-04-22 | 2003-11-07 | Mitsubishi Precision Co Ltd | Simulator for training railroad staff |
JP2004252024A (en) * | 2003-02-19 | 2004-09-09 | Komatsu Forklift Co Ltd | Working vehicle driving operation simulation device, and working vehicle driving operation training method using the same |
JP2011128220A (en) * | 2009-12-15 | 2011-06-30 | Toshiba Corp | Information presenting device, information presenting method, and program |
JP2011189010A (en) * | 2010-03-15 | 2011-09-29 | Konami Digital Entertainment Co Ltd | Game system and computer program for the same |
JP2012130562A (en) * | 2010-12-22 | 2012-07-12 | Nintendo Co Ltd | Game system, game device, game program, and game process method |
JP2014071319A (en) * | 2012-09-28 | 2014-04-21 | Mitsubishi Precision Co Ltd | Railroad simulator and method for simulating driving of railroad |
JP2014170330A (en) * | 2013-03-02 | 2014-09-18 | Yasuaki Iwai | Virtual reality presentation system, virtual reality presentation method and virtual reality presentation device |
JP2015011086A (en) * | 2013-06-27 | 2015-01-19 | 三菱電機株式会社 | Driving operation management device |
Non-Patent Citations (1)
Title |
---|
恵 知仁, ゲームとは別次元 仮想現実を活用する最新版プロ用電車運転シミュレータ、その実力, JPN6018046101, 29 April 2015 (2015-04-29), JP, ISSN: 0003925332 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11455028B2 (en) | 2019-06-03 | 2022-09-27 | Samsung Electronics Co., Ltd. | Method for processing data and electronic device for supporting same |
Also Published As
Publication number | Publication date |
---|---|
JP6580373B2 (en) | 2019-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6608146B2 (en) | Virtually transparent instrument cluster with live video | |
CN104512336B (en) | 3 dimension navigation | |
US10843686B2 (en) | Augmented reality (AR) visualization of advanced driver-assistance system | |
JP6002286B1 (en) | Head mounted display control method and head mounted display control program | |
WO2015136874A1 (en) | Display control device, display device, display control program, display control method, and recording medium | |
US10453238B2 (en) | Information processing apparatus, information processing method, and program for displaying information on multiple display layers | |
US11410634B2 (en) | Information processing apparatus, information processing method, display system, and mobile object | |
JP2013038622A (en) | Remote control system | |
JP2009295152A (en) | Method and system for operating avionics system based on user gesture | |
WO2017130621A1 (en) | Virtual reality space providing method and virtual reality space providing program | |
JP2017021824A (en) | Head-mounted display control method and head-mounted display control program | |
CN109710077B (en) | Virtual object collision judgment method and device based on VR and locomotive practical training system | |
US11443487B2 (en) | Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality | |
US10831443B2 (en) | Content discovery | |
JP6580373B2 (en) | Program, system, and method for controlling head mounted display | |
JP7214548B2 (en) | Information processing device and information processing method | |
JP2017049738A (en) | Program for controlling head-mounted display system | |
JP2013167732A (en) | Display, screen and image conversion apparatus | |
JP6448478B2 (en) | A program that controls the head-mounted display. | |
JP2017033465A (en) | Method and program | |
JP6275809B1 (en) | Display control method and program for causing a computer to execute the display control method | |
JP2021136584A (en) | Video information output device | |
EP3422150A1 (en) | Methods, apparatus, systems, computer programs for enabling consumption of virtual content for mediated reality | |
JP2020173709A (en) | Control unit and program | |
CN117706780A (en) | Transmitting display content between a presentation of a binding vehicle and a presentation of binding glasses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190122 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6580373 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |