JP2020115274A - Virtual space image display control device, virtual space image display control program - Google Patents
Virtual space image display control device, virtual space image display control program Download PDFInfo
- Publication number
- JP2020115274A JP2020115274A JP2019006325A JP2019006325A JP2020115274A JP 2020115274 A JP2020115274 A JP 2020115274A JP 2019006325 A JP2019006325 A JP 2019006325A JP 2019006325 A JP2019006325 A JP 2019006325A JP 2020115274 A JP2020115274 A JP 2020115274A
- Authority
- JP
- Japan
- Prior art keywords
- movement
- head
- motion information
- user
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、仮想空間画像表示制御装置および仮想空間画像表示制御用プログラムに関し、特に、ヘッドマウントディスプレイに仮想現実として表示するための仮想空間画像の表示制御を行う装置に用いて好適なものである。 The present invention relates to a virtual space image display control device and a virtual space image display control program, and is particularly suitable for use in a device that performs display control of a virtual space image for displaying as virtual reality on a head mounted display. ..
近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲの応用例は様々であるが、ユーザがＨＭＤ（ヘッドマウントディスプレイ）を装着して、コンピュータによりＨＭＤに対して３次元画像（仮想空間画像）として描き出された仮想空間の中で自由に行動することにより、ユーザが仮想的に様々な体験をすることができるようにしたものが一般的である。 In recent years, the use of virtual reality (VR) technology, which makes a virtual world created in a computer experience as if it were real, is becoming widespread. Although there are various application examples of VR, a user wears an HMD (head-mounted display) and freely acts in a virtual space drawn by the computer as a three-dimensional image (virtual space image) on the HMD. As a result, it is general that the user can virtually experience various things.
一般に、仮想空間画像が表示されるＨＭＤには、加速度センサやジャイロセンサが搭載されており、ＨＭＤを装着したユーザの頭の動きを検出することが可能となっている。コンピュータは、ＨＭＤのセンサにより検出されたユーザの頭の動きに応じて、ＨＭＤの表示上に実現される仮想空間画像の視界が動的に変わるように、仮想空間画像の表示を制御する。これにより、ユーザが正面を向けば、正面の一定範囲（仮想空間の中央に設定された視界）の仮想空間が広がるような仮想空間画像がＨＭＤに表示され、ユーザが正面から右側または左側にｘ度の方向を向けば、正面の視界から右側または左側にｘ度だけ変移した視界の仮想空間が広がるような仮想空間画像がＨＭＤに表示される。 Generally, an HMD on which a virtual space image is displayed is equipped with an acceleration sensor and a gyro sensor, and it is possible to detect the movement of the head of a user wearing the HMD. The computer controls the display of the virtual space image such that the visual field of the virtual space image realized on the display of the HMD dynamically changes according to the movement of the head of the user detected by the sensor of the HMD. As a result, when the user faces the front, a virtual space image is displayed on the HMD such that the virtual space within a certain range of the front (the field of view set in the center of the virtual space) expands, and the user can see x from the front to the right or left When the direction of the degree is turned, a virtual space image is displayed on the HMD such that the virtual space of the field of view, which is displaced by x degrees from the front field of view to the right or left, expands.
ところで、ＶＲの利用シーンは様々であり、移動車両の中で利用されることもある。従来、移動車両の中でＶＲを利用することを前提として考案された技術が知られている（例えば、特許文献１参照）。特許文献１に記載のコンテンツ視聴装置は、移動体の移動に起因するＶＲ酔いを抑制することを目的としたものであり、乗員が視聴する視聴コンテンツと併せて、車両の挙動に対応する挙動画像をＨＭＤに表示させるようにしている。具体的には、車両の挙動に伴って発生する加速度に応じて形態または位置が変化する挙動画像をＨＭＤに表示させる。これにより、視聴コンテンツ内の動きにかかわらず、挙動の一致感を乗員に対して潜在的に刷り込ませることが可能となり、車両の移動に起因するＶＲ酔いを抑制することが可能となる。 By the way, VR is used in various scenes and may be used in a moving vehicle. BACKGROUND ART Conventionally, a technique devised on the premise of using VR in a moving vehicle is known (for example, see Patent Document 1). The content viewing device described in Patent Document 1 is intended to suppress VR sickness caused by the movement of a moving body, and together with viewing content viewed by an occupant, a behavior image corresponding to the behavior of the vehicle. Is displayed on the HMD. Specifically, a behavior image in which the form or position changes according to the acceleration generated along with the behavior of the vehicle is displayed on the HMD. As a result, the occupant can be imprinted with a sense of matching behavior regardless of the movement in the viewing content, and VR sickness caused by the movement of the vehicle can be suppressed.
移動する車両に乗車しているユーザがＨＭＤを装着している場合、ＨＭＤに搭載された加速度センサやジャイロセンサは、ＨＭＤを装着したユーザの頭部の動きに基づく加速度や角速度のみならず、車両の移動（例えば、交差点での右折や左折、カーブ道路の走行など）に基づく加速度や角速度も検出する。そのため、ＨＭＤを装着しているユーザが頭を動かしていないにもかかわらず、ＨＭＤに表示される仮想空間画像の視界が車両の移動に応じて勝手に変わってしまうことがあるという問題があった。また、ユーザが頭を動かしているときでも、その動きに合わない仮想空間画像が表示されてしまうことがあるという問題があった。 When a user who is in a moving vehicle wears the HMD, the acceleration sensor and the gyro sensor mounted on the HMD are not limited to the acceleration and the angular velocity based on the movement of the head of the user who wears the HMD. Also, the acceleration and the angular velocity based on the movement of the vehicle (for example, right turn or left turn at the intersection, traveling on a curved road, etc.) are detected. Therefore, there is a problem that the field of view of the virtual space image displayed on the HMD may arbitrarily change according to the movement of the vehicle, even if the user wearing the HMD does not move the head. .. Further, there is a problem that even when the user moves his/her head, a virtual space image that does not match the movement may be displayed.
本発明は、このような問題を解決するために成されたものであり、移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像を表示させることができるようにすることを目的とする。 The present invention has been made to solve such a problem, and when a user riding on a moving body wears an HMD and watches a virtual space image, the movement of the user's head is moved. It is an object of the present invention to display a virtual space image in which the field of view changes properly according to.
上記した課題を解決するために、本発明では、ユーザが頭部に装着したヘッドマウントディスプレイに搭載されたセンサにより検出される第１の動き情報と、ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報とを取得し、第１の動き情報で示される動きから第２の動き情報で示される動きを相殺することによってユーザの頭部の動きを検出した上で、当該ユーザの頭部の動きに応じた仮想空間画像を生成してヘッドマウントディスプレイに表示させるようにしている。 In order to solve the above-mentioned problems, according to the present invention, first motion information detected by a sensor mounted on a head-mounted display worn by a user on the head, and a sensor installed on a moving body on which the user rides. And the second motion information detected by, and by detecting the motion of the user's head by canceling the motion represented by the second motion information from the motion represented by the first motion information, A virtual space image corresponding to the movement of the user's head is generated and displayed on the head mounted display.
上記のように構成した本発明によれば、移動体に乗っているユーザがヘッドマウントディスプレイ（ＨＭＤ）を装着して仮想空間画像を視聴しているときに、ＨＭＤに搭載されたセンサにより検出される第１の動き情報は、ＨＭＤを装着したユーザの頭部の動きだけでなく、移動体の移動に基づく動きも反映されたものとなる。本発明では、この第１の動き情報とは別に、移動体に設置されたセンサにより検出される第２の動き情報が取得され、第１の動き情報で示される動きから第２の動き情報で示される動きが相殺される。第２の動き情報は、移動体の移動に基づく動きのみが反映されたものであるため、上記のような相殺によって、ユーザの頭部の動き成分だけが抽出され、当該ユーザの頭部の動き成分に応じて視界が変化した仮想空間画像がＨＭＤに表示されるようになる。これにより、本発明によれば、移動体に乗っているユーザがＨＭＤを装着して仮想空間画像を視聴しているときに、ユーザの頭部の動きに合わせて正しく視界が変化する仮想空間画像をＨＭＤに表示させることができる。 According to the present invention configured as described above, when a user on a moving body wears a head mounted display (HMD) to view a virtual space image, the sensor mounted on the HMD detects the virtual space image. The first movement information described above reflects not only the movement of the head of the user wearing the HMD but also the movement based on the movement of the moving body. In the present invention, apart from this first motion information, second motion information detected by a sensor installed in the moving body is acquired, and the second motion information is converted from the motion indicated by the first motion information. The movements shown are offset. Since the second motion information reflects only the motion based on the motion of the moving body, only the motion component of the user's head is extracted by the above-described cancellation, and the motion of the user's head is extracted. The virtual space image whose field of view changes according to the component is displayed on the HMD. Thus, according to the present invention, when the user riding on the moving body wears the HMD and views the virtual space image, the virtual field of view changes properly according to the movement of the user's head. Can be displayed on the HMD.
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による仮想空間画像表示制御装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の仮想空間画像表示制御装置は、例えばヘッドマウントディスプレイ（ＨＭＤ）に内蔵されるものであり、その機能構成として、第１の動き情報取得部１１、第２の動き情報取得部１２、最近センサ情報検出部１３、頭部動き検出部１４および画像表示制御部１５を備えている。また、本実施形態の仮想空間画像表示制御装置には、仮想空間画像の生成に用いる画像データを記憶した画像データ記憶部１０が接続されている。 An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an example of the functional arrangement of a virtual space image display control device according to this embodiment. As shown in FIG. 1, the virtual space image display control device of the present embodiment is built in, for example, a head mounted display (HMD), and the functional configuration thereof includes a first motion information acquisition unit 11 and a second motion information acquisition unit 11. A motion information acquisition unit 12, a recent sensor information detection unit 13, a head motion detection unit 14, and an image display control unit 15. Further, the virtual space image display control device of the present embodiment is connected to an image data storage unit 10 that stores image data used for generating a virtual space image.
上記各機能ブロック１１〜１５は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１５は、実際にはＨＭＤが内蔵するコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。 Each of the functional blocks 11 to 15 can be configured by any of hardware, DSP (Digital Signal Processor), and software. For example, when configured by software, each of the functional blocks 11 to 15 is actually configured by including a CPU, RAM, ROM, etc. of a computer incorporated in the HMD, and is stored in a recording medium such as RAM, ROM, hard disk or semiconductor memory. It is realized by operating the stored program.
第１の動き情報取得部１１は、ユーザが頭部に装着したＨＭＤに搭載されたセンサにより検出される第１の動き情報を取得する。ＨＭＤに搭載されるセンサ（以下、ＨＭＤセンサという）は、例えば加速度センサやジャイロセンサである。これらのＨＭＤセンサとＨＭＤ内蔵のコンピュータとが内部バスにより接続されており、当該コンピュータにより実現される第１の動き情報取得部１１は、ＨＭＤセンサから内部バスを介して加速度情報および角速度情報を第１の動き情報として取得する。なお、第１の動き情報取得部１１は、ＨＭＤセンサにおいて加速度情報および角速度情報から検出されるＨＭＤの姿勢角（ロール角、ピッチ角）および方位角を取得するものとしてもよい。 The first motion information acquisition unit 11 acquires the first motion information detected by the sensor mounted on the HMD worn by the user on the head. The sensor mounted on the HMD (hereinafter, referred to as HMD sensor) is, for example, an acceleration sensor or a gyro sensor. The HMD sensor and a computer with a built-in HMD are connected by an internal bus, and the first motion information acquisition unit 11 realized by the computer outputs acceleration information and angular velocity information from the HMD sensor via the internal bus. 1 as motion information. The first motion information acquisition unit 11 may acquire the attitude angle (roll angle, pitch angle) and azimuth angle of the HMD detected by the HMD sensor from the acceleration information and the angular velocity information.
第２の動き情報取得部１２は、ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する。移動体に搭載されるセンサ（以下、移動体センサという）は、例えば加速度センサやジャイロセンサである。これらの移動体センサとＨＭＤとの間はＷｉ−Ｆｉ（登録商標）またはＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信手段により接続され、ＨＭＤの内蔵コンピュータにより実現される第２の動き情報取得部１２は、移動体センサから無線通信手段を介して加速度情報および角速度情報を第２の動き情報として取得する。なお、第２の動き情報取得部１２は、移動体センサにおいて加速度情報および角速度情報から検出される移動体の姿勢角および方位角を取得するものとしてもよい。 The second motion information acquisition unit 12 acquires the second motion information detected by the sensor installed in the moving body on which the user is boarding. The sensor mounted on the moving body (hereinafter referred to as the moving body sensor) is, for example, an acceleration sensor or a gyro sensor. The second motion information acquisition unit 12 realized by a built-in computer of the HMD is connected between these mobile body sensors and the HMD by wireless communication means such as Wi-Fi (registered trademark) or Bluetooth (registered trademark). , And obtains acceleration information and angular velocity information as second motion information from the moving body sensor via the wireless communication means. The second motion information acquisition unit 12 may acquire the posture angle and azimuth angle of the moving body detected by the moving body sensor from the acceleration information and the angular velocity information.
図２は、移動体に設置されるセンサの配置例を示す図である。図２は、移動体の一例として乗合バスを示している。図２に示すように、バスの前方側の左右２箇所と後方側の左右２箇所との合計４箇所に、４つの移動体センサ２０１〜２０４が設置されている。第２の動き情報取得部１２は、バスに設置された複数の移動体センサ２０１〜２０４により検出される複数の第２の動き情報をそれぞれ取得する。ＨＭＤ１００を装着したユーザは、バスの任意の座席に着座することが可能である。ユーザが頭部に装着しているＨＭＤ１００には、ＨＭＤセンサ１０１が搭載されている。 FIG. 2 is a diagram showing an arrangement example of the sensors installed in the moving body. FIG. 2 shows a shared bus as an example of a moving body. As shown in FIG. 2, four moving body sensors 201 to 204 are installed at a total of four places, two on the left and right on the front side of the bus and two on the left and right sides of the bus. The 2nd motion information acquisition part 12 each acquires a plurality of 2nd motion information detected by a plurality of mobile body sensors 201-204 installed in a bus. A user wearing the HMD 100 can sit in any seat of the bus. An HMD sensor 101 is mounted on the HMD 100 worn by the user on the head.
最近センサ情報検出部１３は、第２の動き情報取得部１２により複数の移動体センサ２０１〜２０４から取得される複数の第２の動き情報のうち、移動体（図２のバス）に搭乗したユーザから最も近い位置に設置されている移動体センサから送信された動き情報を検出する。例えば、最近センサ情報検出部１３は、第２の動き情報取得部１２が複数の移動体センサ２０１〜２０４から第２の動き情報を受信する際の電波強度を測定し、受信電波強度が最も強い第２の動き情報を、ユーザから最も近い位置に設置された移動体センサ（以下、最近センサという）から送信された動き情報として検出する。 Recently, the sensor information detection unit 13 has boarded a mobile body (bus in FIG. 2) among the plurality of second motion information acquired from the plurality of mobile body sensors 201 to 204 by the second motion information acquisition unit 12. The motion information transmitted from the mobile sensor installed at the position closest to the user is detected. For example, recently, the sensor information detection unit 13 measures the radio field intensity when the second motion information acquisition unit 12 receives the second motion information from the plurality of mobile body sensors 201 to 204, and the received radio field intensity is the strongest. The second motion information is detected as motion information transmitted from a mobile sensor (hereinafter referred to as a recent sensor) installed at a position closest to the user.
なお、本実施形態では、４つの移動体センサ２０１〜２０４のうちどれがユーザから最も近いかを具体的に特定することまでは必須でなく、４つの移動体センサ２０１〜２０４から送られてくる第２の動き情報のうち、どれが最も近くの移動体センサから送られてきたものかを少なくとも特定すればよい。 In the present embodiment, it is not essential to specifically specify which of the four moving body sensors 201 to 204 is closest to the user, and the four moving body sensors 201 to 204 send the information. Of the second motion information, it is sufficient to at least identify which is the one sent from the nearest moving body sensor.
頭部動き検出部１４は、第１の動き情報で示される動きから第２の動き情報で示される動きを相殺することによってユーザの頭部の動きを検出する。ここで、第２の動き情報で示される動きとは、移動体センサ２０１〜２０４により検出される移動体の動きのことである。一方、第１の動き情報で示される動きとは、ユーザが頭部に装着しているＨＭＤ１００に搭載されたＨＭＤセンサ１０１により検出されるＨＭＤ１００の動きであるが、ＨＭＤセンサ１０１は、ユーザの頭の動きだけでなく移動体の動きも含んだ動き情報をＨＭＤ１００の動き情報として検出している。 The head movement detection unit 14 detects the movement of the user's head by offsetting the movement indicated by the second movement information from the movement indicated by the first movement information. Here, the movement indicated by the second movement information is the movement of the moving body detected by the moving body sensors 201 to 204. On the other hand, the movement indicated by the first movement information is the movement of the HMD 100 detected by the HMD sensor 101 mounted on the HMD 100 worn by the user on the head. The HMD sensor 101 is the head of the user. The motion information including not only the motion of the HMD 100 but also the motion of the moving body is detected as the motion information of the HMD 100.
例えば、ユーザが頭を全く動かしていなくても、移動体が交差点で右左折したりカーブ道路を走行したりすると、その走行に伴う動き情報がＨＭＤセンサ１０１および移動体センサ２０１〜２０４により検出される。この場合、ＨＭＤセンサ１０１により検出される第１の動き情報と、移動体センサ２０１〜２０４により検出される第２の動き情報は、ユーザの着座位置（ＨＭＤセンサ１０１の位置）と移動体センサ２０１〜２０４の設置位置との違いにより多少の違いはあるものの、ほぼ同じ値を示すこととなる。 For example, even if the user does not move his/her head at all, when the mobile body turns left or right at an intersection or travels on a curved road, the motion information associated with the travel is detected by the HMD sensor 101 and the mobile body sensors 201 to 204. It In this case, the first motion information detected by the HMD sensor 101 and the second motion information detected by the mobile body sensors 201 to 204 are the seated position of the user (position of the HMD sensor 101) and the mobile body sensor 201. Although there are some differences due to the difference with the installation positions of ~204, they show almost the same value.
また、ユーザが頭を動かすと、移動体センサ２０１〜２０４では移動体の走行に伴う動き情報だけが検出される一方、ＨＭＤセンサ１０１では、移動体の走行に伴う動きにユーザの頭の動きを加えた動き情報が検出される。この場合、ＨＭＤセンサ１０１により検出される第１の動き情報と、移動体センサ２０１〜２０４により検出される第２の動き情報は、ユーザの頭の動きに応じた値だけ差分を有するものとなる。 Further, when the user moves his/her head, the mobile body sensors 201 to 204 detect only the motion information associated with the traveling of the mobile body, while the HMD sensor 101 detects the motion of the user's head in response to the movement of the mobile body. The added motion information is detected. In this case, the first movement information detected by the HMD sensor 101 and the second movement information detected by the moving body sensors 201 to 204 have a difference by a value according to the movement of the user's head. ..
従って、第１の動き情報で示される動き（ユーザの頭部の動きおよび移動体の動きが反映された動き）から第２の動き情報で示される動き（移動体の動き）を相殺することにより、ユーザの頭部の動き成分だけを抽出することが可能である。ここで、頭部動き検出部１４は、複数の移動体センサ２０１〜２０４により検出される複数の第２の動き情報のうち、最近センサ情報検出部１３により検出された動き情報で示される動きを第１の動き情報で示される動きから相殺することによってユーザの頭部の動きを検出する。 Therefore, by canceling the movement (the movement of the moving body) indicated by the second movement information from the movement (the movement reflecting the movement of the user's head and the movement of the moving body) indicated by the first movement information. It is possible to extract only the motion component of the user's head. Here, the head movement detection unit 14 determines the movement indicated by the movement information most recently detected by the sensor information detection unit 13 among the plurality of second movement information detected by the plurality of moving body sensors 201 to 204. The movement of the user's head is detected by offsetting the movement indicated by the first movement information.
移動体の動きを表す動き情報は、移動体の中のどの位置にあるセンサ（ＨＭＤセンサ１０１または移動体センサ２０１〜２０４）で検出するかによって値に差が生じる可能性がある。従って、ＨＭＤセンサ１０１により検出される第１の動き情報で示される動きから移動体センサ２０１〜２０４により検出される第２の動き情報で示される動きを相殺する際に、ＨＭＤセンサ１０１がある位置（ユーザの着座位置）から最も近い位置にある移動体センサにより検出された第２の動き情報を相殺するのが好ましい。 The value of the motion information indicating the motion of the moving body may vary depending on the position of the sensor (HMD sensor 101 or moving body sensors 201 to 204) in the moving body. Therefore, when offsetting the movement indicated by the second movement information detected by the mobile body sensors 201 to 204 from the movement indicated by the first movement information detected by the HMD sensor 101, the position where the HMD sensor 101 is located It is preferable to cancel the second motion information detected by the moving body sensor located closest to the (user's sitting position).
なお、動きの相殺に関する具体的な処理内容としては、任意の公知技術を適用することが可能である。例えば、第１の動き情報および第２の動き情報をそれぞれ３軸の情報に分解し、それぞれの軸情報ごとに、第１の動き情報から第２の動き情報を減算する方法を用いることが可能である。 Note that any known technique can be applied as the specific processing content relating to the movement cancellation. For example, it is possible to use a method in which the first motion information and the second motion information are each decomposed into three-axis information, and the second motion information is subtracted from the first motion information for each axis information. Is.
画像表示制御部１５は、画像データ記憶部１０に記憶されている画像データを用いて、頭部動き検出部１４により検出されたユーザの頭部の動きに応じた仮想空間画像を生成してＨＭＤ１００のディスプレイ１０２に表示させる。これにより、ＨＭＤセンサ１０１により検出される第１の動き情報の中から、移動体の動き成分を排除して成るユーザの頭部の動き成分だけに応じて、視界が正しく変化する仮想空間画像をＨＭＤ１００のディスプレイ１０２に表示させることができる。 The image display control unit 15 uses the image data stored in the image data storage unit 10 to generate a virtual space image according to the movement of the user's head detected by the head movement detection unit 14 to generate the HMD 100. The display 102 is displayed. As a result, a virtual space image in which the field of view is correctly changed according to only the motion component of the user's head, which is obtained by excluding the motion component of the moving body from the first motion information detected by the HMD sensor 101, is generated. It can be displayed on the display 102 of the HMD 100.
なお、上記実施形態では、バスの前後左右の４箇所に４個の移動体センサ２０１〜２０４を設置する例について説明したが、設置位置はこれに限定されない。例えば、前輪の軸中央、バスの重心中央、後輪の軸中央など、バスの前後方向に沿って縦に３つの移動体センサを設置するようにしてもよい。 In addition, although the said embodiment demonstrated the example which installs four moving body sensors 201-204 in four places of the front-back and left-right of a bus, the installation position is not limited to this. For example, three moving body sensors may be installed vertically along the front-rear direction of the bus, such as the center of the front wheel axis, the center of center of the bus, and the center of the rear wheel.
また、上記実施形態では、４個の移動体センサ２０１〜２０４のうち、ユーザの着座位置から最も近い位置の移動体センサにより検出される第２の動き情報のみを用いて相殺を行う例について説明したが、本発明はこれに限定されない。例えば、４個の移動体センサ２０１〜２０４により検出される４個の第２の動き情報を平均化し、この平均値を用いて相殺を行うようにしてもよい。 Further, in the above-described embodiment, an example in which the offset is performed using only the second motion information detected by the mobile sensor that is the closest to the user's sitting position among the four mobile sensors 201 to 204 will be described. However, the present invention is not limited to this. For example, the four pieces of second motion information detected by the four moving body sensors 201 to 204 may be averaged, and the average value may be used to perform the cancellation.
また、上記実施形態では、移動体の例として乗合バスを挙げて説明したが、本発明の仮想空間画像表示制御装置を適用可能な移動体はこれに限定されない。例えば、電車、タクシー、飛行機、船などにおいて本発明の仮想空間画像表示制御装置を適用することも可能である。 Further, in the above-described embodiment, the shared bus is described as an example of the moving body, but the moving body to which the virtual space image display control device of the present invention is applicable is not limited to this. For example, the virtual space image display control device of the present invention can be applied to a train, a taxi, an airplane, a ship, or the like.
また、上記実施形態では、ＨＭＤ１００が本実施形態の仮想空間画像表示制御装置を内蔵する構成について説明したが、本発明はこれに限定されない。例えば、ＨＭＤ１００とは別体として可搬型のコンピュータを設け、この可搬型のコンピュータが本実施形態の仮想空間画像表示制御装置を備える構成としてもよい。この場合、ＨＭＤ１００と可搬型のコンピュータとの間を有線または無線で接続し、可搬型のコンピュータからＨＭＤ１００に対して仮想空間画像の表示を制御する。 Further, in the above embodiment, the configuration in which the HMD 100 incorporates the virtual space image display control device of this embodiment has been described, but the present invention is not limited to this. For example, a portable computer may be provided separately from the HMD 100, and the portable computer may include the virtual space image display control device of the present embodiment. In this case, the HMD 100 and the portable computer are connected by wire or wirelessly, and the display of the virtual space image is controlled from the portable computer to the HMD 100.
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。 In addition, each of the above-described embodiments is merely an example of the embodiment for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by this. That is, the present invention can be implemented in various forms without departing from the gist or the main features thereof.
１１ 第１の動き情報取得部
１２ 第２の動き情報取得部
１３ 最近センサ情報検出部
１４ 頭部動き検出部
１５ 画像表示制御部
１００ ＨＭＤ
１０１ ＨＭＤセンサ
２０１〜２０４ 移動体センサ
11 1st motion information acquisition part 12 2nd motion information acquisition part 13 Recent sensor information detection part 14 Head motion detection part 15 Image display control part 100 HMD
101 HMD sensor 201-204 Mobile sensor
Claims (3)
上記ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得部と、
上記第１の動き情報で示される動きから上記第２の動き情報で示される動きを相殺することによって上記ユーザの頭部の動きを検出する頭部動き検出部と、
上記頭部動き検出部により検出された上記ユーザの頭部の動きに応じた仮想空間画像を生成して上記ヘッドマウントディスプレイに表示させる画像表示制御部とを備えたことを特徴とする仮想空間画像表示制御装置。 A first motion information acquisition unit that acquires first motion information detected by a sensor mounted on a head mounted display worn by a user on the head;
A second motion information acquisition unit that acquires second motion information detected by a sensor installed in the moving body on which the user is boarding;
A head movement detection unit that detects the movement of the head of the user by canceling the movement indicated by the second movement information from the movement indicated by the first movement information;
An image display control unit for generating a virtual space image according to the movement of the head of the user detected by the head movement detection unit and displaying the virtual space image on the head mounted display. Display controller.
上記複数の第２の動き情報のうち、上記ユーザから最も近い位置に設置されているセンサから送信された動き情報を検出する最近センサ情報検出部を更に備え、
上記頭部動き検出部は、上記複数の第２の動き情報のうち、上記最近センサ情報検出部により検出された動き情報で示される動きを上記第１の動き情報で示される動きから相殺することによって上記ユーザの頭部の動きを検出することを特徴とする請求項１に記載の仮想空間画像表示制御装置。 The second motion information acquisition unit acquires a plurality of second motion information detected by a plurality of sensors installed in the moving body,
Of the plurality of second motion information, further includes a recent sensor information detection unit that detects motion information transmitted from a sensor installed at a position closest to the user,
The head movement detecting unit cancels the movement indicated by the movement information recently detected by the sensor information detecting unit from the movement indicated by the first movement information among the plurality of second movement information. The virtual space image display control device according to claim 1, wherein the movement of the head of the user is detected by.
上記ユーザが搭乗する移動体に設置されたセンサにより検出される第２の動き情報を取得する第２の動き情報取得手段、
上記第１の動き情報で示される動きから上記第２の動き情報で示される動きを相殺することによって上記ユーザの頭部の動きを検出する頭部動き検出手段、および
上記頭部動き検出手段により検出された上記ユーザの頭部の動きに応じた仮想空間画像を生成して上記ヘッドマウントディスプレイに表示させる画像表示制御手段
としてコンピュータを機能させるための仮想空間画像表示制御用プログラム。 First motion information acquisition means for acquiring first motion information detected by a sensor mounted on a head mounted display worn by a user on the head;
Second motion information acquisition means for acquiring second motion information detected by a sensor installed in the moving body on which the user is boarding,
A head movement detecting means for detecting the movement of the head of the user by canceling the movement indicated by the second movement information from the movement indicated by the first movement information; and the head movement detecting means. A virtual space image display control program for causing a computer to function as image display control means for generating a virtual space image according to the detected movement of the user's head and displaying the virtual space image on the head mounted display.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019006325A JP2020115274A (en) | 2019-01-17 | 2019-01-17 | Virtual space image display control device, virtual space image display control program |
| PCT/JP2019/048640 WO2020149062A1 (en) | 2019-01-17 | 2019-12-12 | Virtual space image display control device and virtual space image display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019006325A JP2020115274A (en) | 2019-01-17 | 2019-01-17 | Virtual space image display control device, virtual space image display control program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020115274A true JP2020115274A (en) | 2020-07-30 |
Family
ID=71614342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019006325A Pending JP2020115274A (en) | 2019-01-17 | 2019-01-17 | Virtual space image display control device, virtual space image display control program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2020115274A (en) |
| WO (1) | WO2020149062A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021157733A (en) * | 2020-03-30 | 2021-10-07 | 日産自動車株式会社 | Motion estimation system and motion estimation method |
| TWI757872B (en) * | 2020-09-16 | 2022-03-11 | 宏碁股份有限公司 | Augmented reality system and augmented reality display method integrated with motion sensor |
| CN114253389A (en) * | 2020-09-25 | 2022-03-29 | 宏碁股份有限公司 | Augmented reality system and augmented reality display method integrating motion sensor |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006143159A (en) * | 2004-11-25 | 2006-06-08 | Alpine Electronics Inc | Vehicular motion recognition device |
| US10365481B2 (en) * | 2016-07-27 | 2019-07-30 | Brillio LLC | Method and system for automatically calibrating HMD device |
| EP3594893A4 (en) * | 2017-03-06 | 2020-01-15 | Sony Corporation | Information processing device, information processing method, and program |
-
2019
- 2019-01-17 JP JP2019006325A patent/JP2020115274A/en active Pending
- 2019-12-12 WO PCT/JP2019/048640 patent/WO2020149062A1/en active Application Filing
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021157733A (en) * | 2020-03-30 | 2021-10-07 | 日産自動車株式会社 | Motion estimation system and motion estimation method |
| JP7379253B2 (en) | 2020-03-30 | 2023-11-14 | 日産自動車株式会社 | Behavior estimation system and behavior estimation method |
| TWI757872B (en) * | 2020-09-16 | 2022-03-11 | 宏碁股份有限公司 | Augmented reality system and augmented reality display method integrated with motion sensor |
| CN114253389A (en) * | 2020-09-25 | 2022-03-29 | 宏碁股份有限公司 | Augmented reality system and augmented reality display method integrating motion sensor |
| CN114253389B (en) * | 2020-09-25 | 2023-05-23 | 宏碁股份有限公司 | Augmented reality system integrating motion sensor and augmented reality display method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020149062A1 (en) | 2020-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7197621B2 (en) | Methods and systems for controlling body motion and passenger experience | |
| WO2020149062A1 (en) | Virtual space image display control device and virtual space image display control program | |
| US10710608B2 (en) | Provide specific warnings to vehicle occupants before intense movements | |
| CN106663377B (en) | The driving of driver is unable to condition checkout gear | |
| JP6913765B2 (en) | A display system with a mobile sensor device for a head-mounted visual output device that can be used in a moving body and a method for operating it. | |
| JP6690179B2 (en) | Behavior estimation system and behavior estimation method | |
| JP2004224315A (en) | On-vehicle display device and portable display device | |
| JPWO2007086431A1 (en) | Video display device | |
| US11698258B1 (en) | Relative inertial measurement system with visual correction | |
| JP2023052450A (en) | Method of operating head-mount type electronic display device, and display system for displaying virtual contents | |
| TWM545478U (en) | Helmet with augmented reality and virtual reality | |
| JP2009251687A (en) | Video display device | |
| GB2558361B (en) | Autonomous vehicle having an external movable shock-absorbing energy dissipation padding | |
| JP2018205429A (en) | Display controller | |
| JP2008242251A (en) | Video display device | |
| CN110447244A (en) | For providing the method for the appreciable acoustic signal in space for two wheeler cyclist | |
| TW200940116A (en) | A motion sickness prevention device | |
| JP2009286153A (en) | Occupant attitude assisting device and program | |
| JP2008026265A (en) | Head motion tracker system | |
| JP4175167B2 (en) | In-vehicle information provider | |
| JP7298432B2 (en) | Sightseeing simulation experience system | |
| JP2002296028A (en) | Head tracking device for movable body | |
| JP7095593B2 (en) | Interest estimation system | |
| JP7379253B2 (en) | Behavior estimation system and behavior estimation method | |
| JP2023076069A (en) | image display system |