JP2016192027A - System and method of displaying position tracking area - Google Patents
System and method of displaying position tracking area Download PDFInfo
- Publication number
- JP2016192027A JP2016192027A JP2015071100A JP2015071100A JP2016192027A JP 2016192027 A JP2016192027 A JP 2016192027A JP 2015071100 A JP2015071100 A JP 2015071100A JP 2015071100 A JP2015071100 A JP 2015071100A JP 2016192027 A JP2016192027 A JP 2016192027A
- Authority
- JP
- Japan
- Prior art keywords
- node
- area
- trackable
- image
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、ポジショントラッキングの領域を表示するシステム及び方法に関し、特に、動く非透過型ヘッドマウントディスプレイに設けられた複数のノードより発せられる信号をノードセンサが受信して、ノードセンサに対するノードの位置を算出し、算出されたノード位置に基づいて、ノードセンサのトラッキング領域を、ヘッドマウントディスプレイの表示領域に表示される３次元仮想空間内に重ねて表示するシステムに関する。 The present invention relates to a system and method for displaying a position tracking area, and more particularly, to a node sensor receiving signals emitted from a plurality of nodes provided in a moving non-transmissive head mounted display, and the position of the node relative to the node sensor. And the tracking area of the node sensor is displayed based on the calculated node position so as to be superimposed on the three-dimensional virtual space displayed in the display area of the head mounted display.
ユーザの身体に複数のポイントを設け、該複数のポイントの位置の動きに基づいてユーザの身体の動きを検出するボディトラッキングシステムが知られている。例えば、特許文献１に記載のボディモーションキャプチャ装置は、ユーザの身体に装着された複数のポイントから取得された信号に基づいて、静止ノードに対する複数のポイントの位置を算出し、ユーザの動きを推定する。 There is known a body tracking system in which a plurality of points are provided on a user's body and the movement of the user's body is detected based on the movement of the positions of the plurality of points. For example, the body motion capture device described in Patent Literature 1 calculates the positions of a plurality of points with respect to a stationary node based on signals acquired from a plurality of points worn on the user's body, and estimates the user's motion To do.
また、ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。 In addition, a head mounted display (HMD) is known that is mounted on the user's head and can present an image in a virtual space to the user with a display or the like disposed in front of the eyes.
上記背景技術に係るポジショントラッキングシステムにおいては、ユーザの身体に装着された複数のポイントから送信された信号を感知するセンサを用いて、該センサに対するユーザの身体の動きを推定することができる。ユーザは外界への視野を保っているため、ユーザは実空間におけるセンサとの位置関係を視覚的に認識することができ、ユーザはセンサの感知可能な範囲から外れることなく動くことができる。 In the position tracking system according to the background art described above, the movement of the user's body relative to the sensor can be estimated using a sensor that detects signals transmitted from a plurality of points attached to the user's body. Since the user maintains a field of view to the outside world, the user can visually recognize the positional relationship with the sensor in real space, and the user can move without departing from the perceivable range of the sensor.
しかしながら、ユーザが非透過型のＨＭＤを装着している場合、ユーザはＨＭＤのディスプレイに表示された画像のみを観察することになるため、実空間におけるセンサとのユーザとの位置関係を視覚的に認識することができない。ＨＭＤを装着しているユーザが動作中にセンサのトラッキング領域から外れてしまうと、トラッキング領域から外れた途端にポジショントラッキングが不能となり、ユーザの動きに連動してＨＭＤの表示領域に表示される仮想空間画像が動かなくなるためユーザは不快な体験をする。 However, when the user wears a non-transparent HMD, the user observes only the image displayed on the display of the HMD, so the positional relationship between the sensor and the user in the real space is visually determined. It cannot be recognized. If the user wearing the HMD moves out of the tracking area of the sensor during operation, position tracking becomes impossible as soon as the user moves out of the tracking area and is displayed in the display area of the HMD in conjunction with the user's movement. Since the virtual space image does not move, the user has an unpleasant experience.
本発明は、上記に鑑みてなされたものであり、ＨＭＤに設けられたノードがノードセンサのトラッキング領域から外れる前に、ＨＭＤを装着しているユーザに対しトラッキング可能な領域を知らせるものである。また、本発明は、ＨＭＤに設けられたノードがノードセンサのトラッキング領域から外れた場合にはＨＭＤを装着しているユーザに対し、トラッキング領域から外れたことを警告するものである。
即ち、本発明は、
（１）表示領域と、複数のノードとを備えたヘッドマウントディスプレイ（ＨＭＤ）と、複数のノードからの信号をそれぞれ検出するノードセンサとを備え、仮想空間画像にノードセンサのトラッキング可能領域を重ねた表示領域へ出力される出力画像を生成するシステムで実行される方法であって、
ノードセンサがＨＭＤの複数のノードからの信号をそれぞれ検出するステップと、
検出された複数のノードからの信号に基づいて３次元実空間内における複数のノードの位置を算出するステップと、
算出された位置に基づいて仮想空間画像を生成するステップと、
複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にある場合（例えば図５のｂおよびｄ）に、生成された仮想空間画像に、ノードセンサのトラッキング可能領域を重ねた出力画像を生成するステップと、
を備える方法に関する。
（２）さらに、本発明の他の実施形態によれば、（１）に記載の出力画像を生成するステップが、複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にない場合（例えば図５のａ）に、生成された仮想空間画像に、トラッキング可能領域を重ねない出力画像を生成するステップであることを特徴とする。
（３）さらに、本発明の他の実施形態によれば、検出された複数のノードからの信号がＨＭＤに設けられた全てのノードからの信号であるかを判定するステップを、さらに含み、
全てのノードからの信号ではない場合に、出力画像を生成するステップは、複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にない場合（例えば図５のｃ）に、生成された仮想空間画像に、警告メッセージを重ねた出力画像を生成するステップであることを特徴とする。
（４）さらに、本発明の他の実施形態によれば、（１）に記載のノードからの信号を検出するステップにおいて、ノードからの信号が全く検出されない場合（例えば図５のｅおよびｆ）に、出力画像を生成するステップは、トラッキング可能領域から外れたことを示す出力画像を生成するステップであることを特徴とする。
（５）さらに、本発明の他の実施形態によれば、（１）に記載の仮想空間画像を生成するステップは、前回のノードからの信号の検出タイミングで算出されたノードの位置がメモリに格納されていない場合に、最新の検出タイミングで算出されたノードの位置と、最後の検出タイミングで算出されたノード位置との間のオフセットを算出し、該オフセットと、最新の検出タイミングで算出されたノードの位置とに基づいて仮想空間画像を生成するステップであることを特徴とする。
（６）さらに、本発明の他の実施形態によれば、ノードセンサのトラッキング可能領域はノードセンサに応じてあらかじめ規定されていることを特徴とする。
（７）さらに、本発明の他の実施形態によれば、ノードセンサのトラッキング可能領域は境界領域を含み、該境界領域はトラッキング可能領域よりも狭く、ユーザがトラッキング可能領域外に出てトラッキング不能となる十分前にユーザに通知可能な程度の領域を有していることを特徴とする。
（８）また、本発明の他の実施形態によれば、
表示領域と、複数のノードとを備えたヘッドマウントディスプレイ（ＨＭＤ）と、複数のノードからの信号をそれぞれ検出するノードセンサとを備え、仮想空間画像にノードセンサのトラッキング可能領域を重ねた表示領域へ出力される出力画像を生成するシステムであって、
ノードセンサにより検出されたＨＭＤの複数のノードからの信号のそれぞれに基づいて３次元実空間内における複数のノードの位置を算出するノード位置検出部と、
算出された位置に基づいて仮想空間画像を生成する仮想空間画像生成部と、
複数のノード位置の全て／または一部がトラッキング可能領域の境界領域にある場合（例えば図５のｂおよびｄ）に、生成された仮想空間画像に、ノードセンサのトラッキング可能領域を重ねた出力画像を生成する警告画像生成部と、
を備えるシステムに関する。
The present invention has been made in view of the above, and notifies a user wearing a HMD of a trackable area before a node provided in the HMD is removed from the tracking area of the node sensor. Further, according to the present invention, when a node provided in the HMD is out of the tracking area of the node sensor, the user wearing the HMD is warned that the node is out of the tracking area.
That is, the present invention
(1) A head-mounted display (HMD) having a display area and a plurality of nodes, and a node sensor for detecting signals from the plurality of nodes, respectively, and overlaying the trackable area of the node sensor on the virtual space image A method executed in a system for generating an output image to be output to a display area,
A node sensor respectively detecting signals from a plurality of nodes of the HMD;
Calculating the positions of the plurality of nodes in the three-dimensional real space based on the detected signals from the plurality of nodes;
Generating a virtual space image based on the calculated position;
When all / a part of the plurality of node positions are in the boundary region of the trackable region (for example, b and d in FIG. 5), an output image in which the trackable region of the node sensor is superimposed on the generated virtual space image A step of generating
Relates to a method comprising:
(2) Furthermore, according to another embodiment of the present invention, in the step of generating the output image described in (1), when all / or some of the plurality of node positions are not in the boundary region of the trackable region (For example, a in FIG. 5) is a step of generating an output image in which the trackable region is not superimposed on the generated virtual space image.
(3) Furthermore, according to another embodiment of the present invention, the method further includes the step of determining whether signals from a plurality of detected nodes are signals from all nodes provided in the HMD,
The step of generating an output image when the signal is not from all nodes is generated when all / or a part of the plurality of node positions are not in the boundary region of the trackable region (for example, c in FIG. 5). This is a step of generating an output image in which a warning message is superimposed on the virtual space image.
(4) Furthermore, according to another embodiment of the present invention, in the step of detecting the signal from the node described in (1), when no signal from the node is detected (for example, e and f in FIG. 5). In addition, the step of generating the output image is a step of generating an output image indicating that the region is out of the trackable region.
(5) Furthermore, according to another embodiment of the present invention, in the step of generating the virtual space image described in (1), the position of the node calculated at the detection timing of the signal from the previous node is stored in the memory. If not stored, the offset between the node position calculated at the latest detection timing and the node position calculated at the last detection timing is calculated, and the offset is calculated at the latest detection timing. The virtual space image is generated based on the position of the node.
(6) Furthermore, according to another embodiment of the present invention, the trackable area of the node sensor is defined in advance according to the node sensor.
(7) Further, according to another embodiment of the present invention, the trackable area of the node sensor includes a boundary area, and the boundary area is narrower than the trackable area, so that the user goes out of the trackable area and cannot track. It has the area | region of the grade which can notify a user sufficiently before becoming.
(8) According to another embodiment of the present invention,
A display area comprising a head mounted display (HMD) having a display area and a plurality of nodes, and a node sensor for detecting signals from the plurality of nodes, respectively, and overlaying a trackable area of the node sensor on a virtual space image A system for generating an output image to be output to
A node position detector that calculates the positions of the plurality of nodes in the three-dimensional real space based on the signals from the plurality of nodes of the HMD detected by the node sensor;
A virtual space image generation unit that generates a virtual space image based on the calculated position;
When all / a part of the plurality of node positions are in the boundary region of the trackable region (for example, b and d in FIG. 5), an output image in which the trackable region of the node sensor is superimposed on the generated virtual space image A warning image generation unit for generating
Relates to a system comprising:
この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。 The above and other features and advantages of the present invention will become apparent from the following more specific description of the embodiments of the invention, the accompanying drawings, and the appended claims.
本発明によれば、ＨＭＤを装着しているユーザに対して、トラッキング可能な領域を知らせることができる。 According to the present invention, it is possible to notify a user wearing a HMD of a trackable area.
複数のノードを設けたＨＭＤと、該複数のノードからの信号を検出可能なポジショントラッキングセンサ（ノードセンサ）を用いることにより、ノードセンサを基準として複数のノードの３次元実空間内における位置を算出できる。これによりＨＭＤを装着しているユーザは様々な動作、例えば、ユーザはオブジェクトの下や、オブジェクトの上、オブジェクトの角から向こう側を覗きこむ動作を行うことができ、ユーザは３次元仮想空間内で様々な視点を持つことができる。一方、非透過型ＨＭＤを装着しているユーザは、外界への視界を完全に失い、ノードセンサと、自身（ＨＭＤ）との実空間内における位置関係を把握することができない。従って、このようなユーザが実空間内で移動してしまうと、意図せずにノードセンサが検知できる範囲外に出てしまい、トラッキング不能となることがある。 By using an HMD provided with a plurality of nodes and a position tracking sensor (node sensor) capable of detecting signals from the plurality of nodes, the positions of the plurality of nodes in the three-dimensional real space are calculated based on the node sensor. it can. As a result, the user wearing the HMD can perform various actions, for example, the user can look under the object, over the object, or look into the other side of the object from the corner of the object. You can have various viewpoints. On the other hand, the user wearing the non-transmissive HMD loses the field of view to the outside world completely and cannot grasp the positional relationship between the node sensor and itself (HMD) in the real space. Therefore, if such a user moves in real space, the user may unintentionally go out of the range that can be detected by the node sensor, and tracking may become impossible.
本発明によれば、３次元実空間内で移動するユーザに対して、ノードセンサのトラッキング領域から外れる前に、ＨＭＤを装着しているユーザに対し、トラッキング領域から外れそうであることを感覚的に知らせるものである。 According to the present invention, a user who moves in a three-dimensional real space is sensual that a user wearing an HMD is likely to be out of the tracking area before the node sensor is out of the tracking area. To inform.
図１は、本発明に従って構成されたＨＭＤシステム１００の外観図である。図１に示すようにＨＭＤシステム１００は、ＨＭＤ１１０と、制御部１２０と、ノードセンサ１３０とを含む。ＨＭＤ１１０は、ユーザの視界を完全に覆うよう構成された非透過型表示装置であり、表示領域１１２と、複数のノード１１４を備える。ＨＭＤ１１０に設けられた複数のノード１１４が発する信号を、基準点に固定されたノードセンサ１３０が捉えることで、ＨＭＤのポジショントラッキングを行うことができる。ＨＭＤ１１０はさらにスピーカ（図示せず）や、振動部（図示せず）、加速度センサ（図示せず）、角速度センサ（図示せず）を備えることができる。 FIG. 1 is an external view of an HMD system 100 configured in accordance with the present invention. As shown in FIG. 1, the HMD system 100 includes an HMD 110, a control unit 120, and a node sensor 130. The HMD 110 is a non-transmissive display device configured to completely cover the user's field of view, and includes a display area 112 and a plurality of nodes 114. Position detection of the HMD can be performed by capturing signals generated by a plurality of nodes 114 provided in the HMD 110 by the node sensor 130 fixed to the reference point. The HMD 110 can further include a speaker (not shown), a vibration unit (not shown), an acceleration sensor (not shown), and an angular velocity sensor (not shown).
表示領域１１２は、制御部１２０により生成された仮想空間画像を出力することができる。該ＨＭＤ１１０を装着したユーザは表示領域１１２に表示される画面のみを観察することができ、外界の視界を全て失うため、制御部１２０において実行されるアプリケーション・プログラムにより表示される仮想空間に完全に没入することができる。 The display area 112 can output a virtual space image generated by the control unit 120. Since the user wearing the HMD 110 can observe only the screen displayed in the display area 112 and loses all of the external field of view, the user can completely view the virtual space displayed by the application program executed in the control unit 120. I can immerse myself.
ノード１１４は、ＨＭＤ１１０の前面等に複数設けられており、ノードセンサ１３０に対して信号、例えば赤外線信号を発信することができる。ノード１１４は、ＨＭＤ１１０の上面、下面、背面、横面にも設けることができる。例えばＨＭＤ１１０の背面にノード１１４が設けられている場合、ＨＭＤを装着したユーザがノードセンサ１３０に対して背を向けたとしてもノードセンサ１３０はノード１１４から発信される信号を取得することができる。 A plurality of nodes 114 are provided on the front surface of the HMD 110 and the like, and can transmit a signal, for example, an infrared signal to the node sensor 130. The node 114 can also be provided on the upper surface, the lower surface, the back surface, and the lateral surface of the HMD 110. For example, when the node 114 is provided on the back surface of the HMD 110, the node sensor 130 can acquire a signal transmitted from the node 114 even if the user wearing the HMD turns his back to the node sensor 130.
スピーカはユーザの耳付近に位置するようＨＭＤに設けられており、制御部１２０からの信号に基づいて音を出力する。振動部は、ＨＭＤに設けられており、制御部１２０からの信号に基づいて、ＨＭＤを振動させる。 The speaker is provided in the HMD so as to be located near the user's ear, and outputs a sound based on a signal from the control unit 120. The vibration unit is provided in the HMD, and vibrates the HMD based on a signal from the control unit 120.
加速度センサは表示領域１１２近辺に設けられており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸方向の加速度を経時的に検出することができる。角速度センサは表示領域１１２近辺に設けられており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸回りの角速度を経時的に検出することができる。ＨＭＤ１１０の３次元実空間における位置は、ノードセンサ１３０から得られた情報、または角速度センサ、加速度センサから得られた角速度、加速度情報、またはこれらの組み合わせにより算出することができる。これらの組み合わせにより、３次元実空間におけるＨＭＤの位置をより正確に把握することができる。また、ノードセンサ１３０と、ＨＭＤ１１０との間に障害物があり、ノードセンサ１３０が各ノード１１４からの信号を取得することのできない場合は、角速度センサ、加速度センサから得られた角速度、加速度情報を用いて３次元実空間における位置を取得することもできる。 The acceleration sensor is provided in the vicinity of the display area 112, and detects the acceleration in the X, Y, and Z axis directions of the HMD 110 over time according to the movement of the HMD 110 (display 112) mounted on the user's head. Can do. The angular velocity sensor is provided in the vicinity of the display area 112, and detects angular velocities around the X, Y, and Z axes of the HMD 110 over time according to the movement of the HMD 110 (display 112) worn on the user's head. Can do. The position of the HMD 110 in the three-dimensional real space can be calculated based on information obtained from the node sensor 130, angular velocity sensor, angular velocity obtained from the acceleration sensor, acceleration information, or a combination thereof. With these combinations, the position of the HMD in the three-dimensional real space can be grasped more accurately. Further, when there is an obstacle between the node sensor 130 and the HMD 110 and the node sensor 130 cannot acquire a signal from each node 114, the angular velocity and acceleration information obtained from the angular velocity sensor and the acceleration sensor are obtained. It is also possible to acquire a position in a three-dimensional real space.
ノードセンサ１３０は、例えば赤外線センサ、光学センサであり、３次元実空間内の固定位置にあり、ＨＭＤ１１０及び制御部１２０に通信可能に接続されている。ノードセンサ１３０は、ＨＭＤ１１０に設けられた複数のノード１１４がトラッキング可能領域（図３に示す領域３０２）にある場合に、各ノード１１４から発せられる信号、例えば赤外線信号を経時的に検出し、該検出した信号を制御部１２０へ送信する。ノードセンサ１３０がＨＭＤ１１０に設けられた各ノード１１４から発せられる信号を検出し、制御部１２０が該検出された信号に基づいて各ノードの位置、方向の解析を行うことにより、各ノードのノードセンサに対する位置を算出することができ、ＨＭＤのポジショントラッキングを実現することができる。ノードセンサ１３０の検知できるトラッキング可能領域はあらかじめ規定されている。 The node sensor 130 is, for example, an infrared sensor or an optical sensor, is at a fixed position in the three-dimensional real space, and is communicably connected to the HMD 110 and the control unit 120. When a plurality of nodes 114 provided in the HMD 110 are in a trackable region (region 302 shown in FIG. 3), the node sensor 130 detects a signal emitted from each node 114, for example, an infrared signal over time, The detected signal is transmitted to the control unit 120. The node sensor 130 detects a signal emitted from each node 114 provided in the HMD 110, and the control unit 120 analyzes the position and direction of each node based on the detected signal. Can be calculated, and HMD position tracking can be realized. The trackable area that can be detected by the node sensor 130 is defined in advance.
制御部１２０は、プロセッサ、メモリ、通信部を備えることができ、これらがバスにより相互にデータ通信可能に接続されている。制御部１２０のメモリには、本発明の一実施形態によるアプリケーション・プログラム及びデータが格納されており、これらアプリケーション・プログラムがプロセッサにより実行されて、ユーザは非透過型のＨＭＤを装着して、種々のアプリケーションを楽しむことができる。なお、メモリには、プロセッサがアプリケーション・プログラムに従って動作している間に生成したデータやプロセッサによって利用されるデータや、各ノードの位置、トラッキング可能領域、境界領域、中心領域の３次元実空間内での座標データと、それに対応する仮想空間内での座標データ等を格納することができる。通信部はプロセッサの制御により制御部１２０とノードセンサ１３０、ＨＭＤ１１０との接続を確立する。制御部１２０は、ＨＭＤに設けられた各ノード１１４から発信された赤外線信号をノードセンサ１３０より受信して、受信した信号に基づきノードセンサからの各ノード１１４までの３次元実空間内での位置を算出して、ＨＭＤ１１０の動きを求めることができる。そして、制御部１２０は、実空間におけるＨＭＤ１１０の動きに基づいて、ユーザが観察することのできるＨＭＤ１１０の表示領域１１２に表示される仮想空間画像をフレーム毎に生成し、ＨＭＤの表示領域１１２へ出力することができる。制御部１２０は、ユーザの頭部に装着されるＨＭＤ１１０に搭載することもできるし、ＨＭＤ１１０に搭載せずに別のハードウェア、例えば公知のパーソナルコンピュータ等により構成することができる。 The control unit 120 can include a processor, a memory, and a communication unit, and these are connected to each other via a bus so that data communication is possible. The memory of the control unit 120 stores application programs and data according to an embodiment of the present invention. These application programs are executed by a processor, and a user wears a non-transparent HMD to perform various operations. Can enjoy the application. The memory contains data generated while the processor is operating in accordance with the application program, data used by the processor, and the three-dimensional real space of each node's position, trackable area, boundary area, and central area. And the corresponding coordinate data in the virtual space can be stored. The communication unit establishes a connection between the control unit 120, the node sensor 130, and the HMD 110 under the control of the processor. The control unit 120 receives an infrared signal transmitted from each node 114 provided in the HMD from the node sensor 130, and based on the received signal, the position in the three-dimensional real space from the node sensor to each node 114. To calculate the movement of the HMD 110. Then, the control unit 120 generates, for each frame, a virtual space image displayed in the display area 112 of the HMD 110 that can be observed by the user based on the movement of the HMD 110 in the real space, and outputs the virtual space image to the display area 112 of the HMD. can do. The control unit 120 can be mounted on the HMD 110 mounted on the user's head, or can be configured by another hardware, such as a known personal computer, without being mounted on the HMD 110.
図２は、本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための機能的構成を示す。制御部１２０はノードセンサ１３０とＨＭＤ１１０に通信可能に接続されており、ノード位置検出部２１０、表示制御部２２０、警告信号生成部２３０を備えることができる。 FIG. 2 shows a functional configuration for realizing display processing of the HMD system 100 according to an embodiment of the present invention. The control unit 120 is communicably connected to the node sensor 130 and the HMD 110, and can include a node position detection unit 210, a display control unit 220, and a warning signal generation unit 230.
ノード位置検出部２１０はノードセンサ１３０により取得されたノード１１４より発信された信号に基づいて、各ノードの位置、方向の解析を行うことにより、各ノード１１４のノードセンサ１３０に対する３次元実空間における位置を算出する。 The node position detection unit 210 analyzes the position and direction of each node based on the signal transmitted from the node 114 acquired by the node sensor 130, so that each node 114 in the three-dimensional real space with respect to the node sensor 130 is analyzed. Calculate the position.
表示制御部２２０は、判定部２２２、仮想空間画像生成部２２４、警告画像生成部２２６を備えることができ、仮想空間画像を生成し、生成した仮想空間画像を出力画像としてＨＭＤの表示領域１１２へ出力する。 The display control unit 220 can include a determination unit 222, a virtual space image generation unit 224, and a warning image generation unit 226. The display control unit 220 generates a virtual space image and outputs the generated virtual space image as an output image to the display area 112 of the HMD. Output.
より詳細には、判定部２２２は、３次元実空間における位置の算出されたノードが、ＨＭＤに設けられた全てのノードであるか、一部のノードであるかを判定する。また、位置の算出されたノードが、トラッキング可能領域（図３に例示する領域３０２）内にあるか、境界領域（図３に例示する３０４）内にあるか、中心領域内（図３に例示する領域３０６）にあるかを判定することができる。 More specifically, the determination unit 222 determines whether the nodes whose positions in the three-dimensional real space are calculated are all or some of the nodes provided in the HMD. In addition, the node whose position is calculated is in a trackable area (area 302 illustrated in FIG. 3), a boundary area (304 illustrated in FIG. 3), or a central area (illustrated in FIG. 3). It is possible to determine whether or not it is in the area 306).
仮想空間画像生成部２２４は、算出されたノード１１４のそれぞれの３次元実空間における位置に基づいて、３次元仮想空間画像を出力画像としてフレーム毎に生成する。
警告画像生成部２２６は、検出されたノード１１４の３次元実空間内の位置の一部又は全てが、境界領域３０４にある場合等に、ノード１１４の３次元実空間内の位置に基づいて、生成された３次元仮想空間画像に、ノードセンサのトラッキング可能領域（図３に示す領域３０２）、境界領域（図３に示す領域３０４）、中心領域（図３に示す領域３０６）のうち一部、又は複数を重ねた３次元仮想空間画像を出力画像として生成することができる。境界領域が表示領域に表示されると、ＨＭＤを装着したままの状態でユーザは自身が境界領域内にいることを認識することができる。また、中心領域が表示領域に表示されると、ＨＭＤを装着したままの状態でユーザはどの方向に移動すれば、中心領域に入ることができるかを認識することができる。従って、外界への視野を失った状態でもユーザはノードセンサに対しより良い位置を確保するために移動することができる。
The virtual space image generation unit 224 generates a 3D virtual space image for each frame as an output image based on the calculated position of each node 114 in the 3D real space.
The warning image generation unit 226, based on the position of the node 114 in the three-dimensional real space, when a part or all of the detected position of the node 114 in the three-dimensional real space is in the boundary region 304, etc. Part of the node sensor tracking area (area 302 shown in FIG. 3), the boundary area (area 304 shown in FIG. 3), and the central area (area 306 shown in FIG. 3) is included in the generated three-dimensional virtual space image. Alternatively, a plurality of three-dimensional virtual space images can be generated as an output image. When the boundary area is displayed in the display area, the user can recognize that he / she is in the boundary area while wearing the HMD. When the central area is displayed in the display area, the user can recognize in which direction the user can enter the central area while wearing the HMD. Therefore, the user can move to secure a better position with respect to the node sensor even when the field of view to the outside world is lost.
さらに、警告画像生成部２２６は、全てのノード１１４の位置が検出できない場合に、仮想空間画像を例えば画面全体をフェードアウトした画像や暗転した画像等を出力画像として生成することができる。 Furthermore, when the positions of all the nodes 114 cannot be detected, the warning image generation unit 226 can generate a virtual space image as an output image, for example, an image obtained by fading out the entire screen or a dark image.
さらに、警告画像生成部２２６は、検出されたノード１１４の３次元実空間内の位置の一部又は全てが、境界領域３０４にある場合や、位置が検出できないノード１１４がある場合に、トラッキング可能領域等を重ねた３次元仮想空間画像に警告メッセージを重ねた出力画像を生成することができる。例えば、ノードが境界領域にある場合に「トラッキング領域から外れます」等の警告メッセージを、また、ユーザとノードセンサとの間に障害物が置かれており、信号が検出できない該ノードが或る場合には「障害物があります」等の警告メッセージを３次元仮想空間画像に重ねた出力画像を生成することができる。 Further, the warning image generation unit 226 can track when a part or all of the detected position of the node 114 in the three-dimensional real space is in the boundary region 304 or when there is a node 114 whose position cannot be detected. An output image in which a warning message is superimposed on a three-dimensional virtual space image in which regions and the like are superimposed can be generated. For example, when a node is in the boundary area, a warning message such as “going out of the tracking area” or an obstacle is placed between the user and the node sensor, and there is the node where the signal cannot be detected. In this case, an output image in which a warning message such as “There is an obstacle” is superimposed on the three-dimensional virtual space image can be generated.
警告信号生成部２３０は、検出されたノード１１４の３次元実空間内の位置の一部又は全てが境界領域３０４にある場合や、位置が検出できないノード１１４がある場合に、ＨＭＤに設けられたスピーカ（図示せず）に出力させる警告音を生成することや、ＨＭＤに設けられた振動部（図示せず）を振動させる信号を生成することができる。 The warning signal generation unit 230 is provided in the HMD when a part or all of the detected position of the node 114 in the three-dimensional real space is in the boundary region 304 or when there is a node 114 whose position cannot be detected. A warning sound to be output by a speaker (not shown) can be generated, or a signal for vibrating a vibration unit (not shown) provided in the HMD can be generated.
図３は、本発明の一実施例に従った、実空間におけるノードセンサ１００のトラッキング可能領域３０２、境界領域３０４、中心領域３０６を示す。トラッキング可能領域３０２はノードセンサ１３０によりトラッキング可能な領域であり、トラッキング可能領域３０２の形状、範囲はノードセンサの種類ごとにあらかじめ規定されている。トラッキング可能領域３０２の形状は、図３では円錐系であるが、他の形状、例えば円錘台形、楕円錐台系でもよい。トラッキング可能領域３０２は、網掛けで示される中心領域３０６（円錐形）と、該中心領域３０６の周りを囲む境界領域３０４を含むことができる。本実施例においては、境界領域３０４はトラッキング可能領域３０２を外縁とする中空の円錐形であり、中に中心領域３０６を含むが、外縁をトラッキング可能領域３０２の内側に規定することや、形状を他の形状、例えば円錐台形にしてもよい。中心領域３０６は、トラッキング可能領域３０２のうち、境界領域３０４の中に設けられた領域であり、ユーザの動きに対して安定的に位置をトラッキング可能な領域である。境界領域、中心領域の大きさや形状は図３に示す例に限定されない。 FIG. 3 illustrates a trackable region 302, a boundary region 304, and a central region 306 of the node sensor 100 in real space, according to one embodiment of the present invention. The trackable region 302 is a region that can be tracked by the node sensor 130, and the shape and range of the trackable region 302 are defined in advance for each type of node sensor. The shape of the trackable region 302 is a conical system in FIG. 3, but may be another shape, for example, a frustum trapezoid or an elliptic frustum system. The trackable region 302 can include a central region 306 (conical shape) indicated by shading and a boundary region 304 surrounding the central region 306. In this embodiment, the boundary region 304 has a hollow cone shape with the trackable region 302 as an outer edge and includes a central region 306 therein. However, the outer edge is defined inside the trackable region 302, and the shape is defined. Other shapes such as a truncated cone may be used. The center area 306 is an area provided in the boundary area 304 in the trackable area 302, and is an area where the position can be stably tracked with respect to the user's movement. The size and shape of the boundary region and the center region are not limited to the example shown in FIG.
トラッキング可能領域３０２外に全てのノード１１４が移動すると、ノードセンサ１３０はノードの位置を検出することができなくなる。この場合、ユーザが実空間内で移動してもユーザの移動はトラッキング不能となり、ユーザの移動に応じてユーザの観察している仮想空間内の画像が変化しなくなるため、ユーザは不快を感じる。特に、ユーザが移動する際にトラッキングがなされなくなると、ユーザは仮想空間内で方向感覚を失い、不快な視野を観察することになり、結果として実行中のアプリケーションに対する没入感を損なうことになる。本実施例では、ユーザが意図せずにトラッキング領域から出て不快を感じることのないように、ユーザがトラッキング領域から出てトラッキング不能になる前に、すなわちユーザが境界領域３０４にいる間に、ユーザに対して種々のユーザインタフェース（表示領域、スピーカ等）を介して警告を通知することができる。トラッキング可能領域３０２に規定される境界領域３０４が狭いと、ユーザが境界領域３０４に到達した途端に警告がなされないままトラッキング可能領域３０２の外に出てしまう可能性がある。従って、境界領域３０４は、ユーザがトラッキング可能領域外に出てトラッキング不能となる十分前にユーザに対して警告できるよう、トラッキング可能領域３０２に対して十分に広い領域を確保するよう規定される。 When all the nodes 114 move out of the trackable area 302, the node sensor 130 cannot detect the position of the node. In this case, even if the user moves in the real space, the user's movement cannot be tracked, and the image in the virtual space that the user observes does not change according to the user's movement, so the user feels uncomfortable. In particular, if tracking is not performed when the user moves, the user loses a sense of direction in the virtual space and observes an unpleasant field of view, resulting in a loss of immersion in the application being executed. In this embodiment, before the user leaves the tracking area and becomes untrackable, that is, while the user is in the boundary area 304, so that the user does not unintentionally leave the tracking area and feel uncomfortable. A warning can be notified to the user via various user interfaces (display area, speaker, etc.). If the boundary area 304 defined in the trackable area 302 is narrow, the user may go out of the trackable area 302 without being warned as soon as the user reaches the boundary area 304. Therefore, the boundary area 304 is defined to ensure a sufficiently wide area with respect to the trackable area 302 so that the user can be warned sufficiently before the user goes out of the trackable area and becomes untrackable.
なお、図１においてノード１１４はＨＭＤ１１０の前面（ユーザの向いている方向）及び横面に設けられているが、ＨＭＤの後面に設けることもできる。ＨＭＤの後面にノード１１４が設けられている場合、ユーザがノードセンサ１３０に対して頭だけ後ろを向けた場合や背を向けて移動する場合にも、ノードセンサ１３０はノード１１４の位置がトラッキング可能領域内にある限り、トラッキングすることができる。 In FIG. 1, the node 114 is provided on the front surface (the direction in which the user is facing) and the lateral surface of the HMD 110, but may be provided on the rear surface of the HMD. When the node 114 is provided on the rear surface of the HMD, the node sensor 130 can track the position of the node 114 even when the user moves the head behind the node sensor 130 or moves back. You can track as long as you are in the area.
図４は、本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための処理フローを示す。なお、図４に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理の順序を入れ替えても良い。 FIG. 4 shows a processing flow for realizing the display processing of the HMD system 100 according to one embodiment of the present invention. Note that the processing at each step in the flowchart shown in FIG. 4 is merely an example, and the order of processing at each step may be changed as long as the same result is obtained.
まず、ステップＳ４０２において表示制御部２２０は、本体装置１２０においてアプリケーション・プログラムを起動し、各種パラメータの初期値を設定、例えばトラッキング可能領域の設定、中心領域の設定、境界領域の設定等をする。 First, in step S <b> 402, the display control unit 220 activates an application program in the main body device 120 and sets initial values of various parameters, for example, setting a trackable area, setting a center area, setting a boundary area, and the like.
次に、ステップＳ４０４においてノードセンサ１３０は、各ノード１１４からの信号を検出する。ノード位置検出部２１０は該検出された信号に基づいて、ノードセンサに対する各ノードの位置、方向を分析し、各ノード１１４の３次元実空間における位置を算出する。なお、ステップＳ４０４において、ノード位置検出部２１０は、ＨＭＤに設けられた加速度センサからの加速度の値、角速度センサからの角速度の値を取得することもできる。ノードセンサ１３０から得られた情報に加えて、加速度や角速度の値を用いてＨＭＤ１１０の３次元実空間における位置を算出することにより、ＨＭＤのより正確な位置を算出することができる。 Next, in step S <b> 404, the node sensor 130 detects a signal from each node 114. The node position detection unit 210 analyzes the position and direction of each node with respect to the node sensor based on the detected signal, and calculates the position of each node 114 in the three-dimensional real space. In step S404, the node position detection unit 210 can also acquire the acceleration value from the acceleration sensor provided in the HMD and the angular velocity value from the angular velocity sensor. By calculating the position of the HMD 110 in the three-dimensional real space using the acceleration and angular velocity values in addition to the information obtained from the node sensor 130, the more accurate position of the HMD can be calculated.
次に、ステップＳ４０６において、判定部２２２は、ステップＳ４０４において信号が検出されたノードがＨＭＤ上に設けられた全てのノードであるか否かを判定する。全てのノードからの信号が検出された場合（例えば図５のａ、ｂ）には、ステップＳ４０８に進む。 Next, in step S406, the determination unit 222 determines whether or not the nodes from which signals are detected in step S404 are all nodes provided on the HMD. When signals from all nodes are detected (for example, a and b in FIG. 5), the process proceeds to step S408.
ステップＳ４０８において、前回検出され、算出されたノード位置がメモリに記憶されているか否かを判定する。ノードセンサ１３０はノード１１４からの信号を逐次検出している。前回検出され算出されたノード位置とは、前回の検出タイミングで検出され算出されたノード位置のことである。 In step S408, it is determined whether or not the previously detected and calculated node position is stored in the memory. The node sensor 130 sequentially detects signals from the node 114. The node position detected and calculated last time is a node position detected and calculated at the previous detection timing.
ステップＳ４０８において前回検出され算出されたノード位置がメモリに記憶されている場合、すなわち一部又は全てのノードからの信号が前回の検出タイミングで検出され、それらの位置が算出されていた場合はステップＳ４１０へ進む。 If the previously detected and calculated node positions in step S408 are stored in the memory, that is, if signals from some or all nodes are detected at the previous detection timing and their positions are calculated, step S408 is performed. Proceed to S410.
ステップＳ４１０において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の検出タイミングで検出された信号に基づいて算出された位置に基づいて、３次元仮想空間画像を生成する。ここで、各ノード１１４の最新の位置とは、直前のステップＳ４０４により算出されたノード位置である。なお、ステップＳ４１０において、オフセットがメモリに格納されている場合には、各ノード１１４から検出された信号に基づいて算出された最新の各ノード１１４の３次元実空間における位置から、メモリに格納された各軸のオフセットを減算した実空間における位置に基づいて、３次元仮想空間画像を生成する。オフセットとは、最新の（すなわち直前のステップＳ４０４で算出された）３次元実空間における各ノード１１４のＸ、Ｙ、Ｚ軸の位置と、後述する最後に算出された３次元実空間における各ノード１１４のＸ、Ｙ、Ｚ軸の位置との間の差分値である。 In step S410, the virtual space image generation unit 224 generates a three-dimensional virtual space image based on the position calculated based on the signal detected at the latest detection timing of each node 114 in the three-dimensional real space. Here, the latest position of each node 114 is the node position calculated in the immediately preceding step S404. In step S410, if the offset is stored in the memory, the latest position of each node 114 calculated based on the signal detected from each node 114 is stored in the memory from the position in the three-dimensional real space. A three-dimensional virtual space image is generated based on the position in the real space obtained by subtracting the offset of each axis. The offset refers to the latest X-, Y-, and Z-axis positions of each node 114 in the three-dimensional real space (that is, calculated in the immediately preceding step S404) and each node in the three-dimensional real space that is calculated last. 114 is a difference value between the X, Y, and Z axis positions.
一方、ステップＳ４０８において前回の検出タイミングで検出され算出されたノード位置がメモリに格納されていない場合、すなわち全てのノードからの信号が前回の検出タイミングで検出できなかった場合はステップＳ４１２へ進む。前回の検出タイミングで検出され算出された全てのノード位置がメモリに記憶されていない場合とは、例えば障害物が存在したこと（図５のｆ）、トラッキング可能領域外に移動したこと（図５のｅ）などにより、前回の検出タイミングで全てのノード１１４からの信号が検出されなかった場合を指す。算出されたノードの位置は逐次メモリへ格納されており、メモリに格納されている最新のノード位置が、最後に算出された３次元実空間における各ノード１１４の位置、すなわちノード位置が検出されなかった期間の直前に検出されたノードの位置となる。なお、最後に算出されたノード位置は、初期設定においては、ノードの初期位置である。 On the other hand, if the node positions detected and calculated at the previous detection timing in step S408 are not stored in the memory, that is, if the signals from all the nodes cannot be detected at the previous detection timing, the process proceeds to step S412. The case where all the node positions detected and calculated at the previous detection timing are not stored in the memory means, for example, that an obstacle exists (f in FIG. 5) and moves out of the trackable area (FIG. 5). E), etc., indicate a case where signals from all the nodes 114 are not detected at the previous detection timing. The calculated node positions are sequentially stored in the memory, and the latest node position stored in the memory is the last calculated position of each node 114 in the three-dimensional real space, that is, the node position is not detected. The position of the node detected immediately before the period. Note that the node position calculated last is the initial position of the node in the initial setting.
そして、ステップＳ４１２において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の位置ではなく、最後に算出された３次元実空間における各ノード１１４の位置に基づいて、３次元仮想空間画像を生成する。ノードセンサ１３０は、トラッキング可能領域３０２内に各ノード１１４が存在する場合であっても、ノードセンサ１３０と各ノード１１４との間に障害物がある場合や、各ノードがトラッキング可能領域３０２外にある場合には、ノード１１４からの信号を検出することができない。このため、本実施例においては、全てのノード１１４からの信号を検出することができなかった場合でも、最後にノードからの信号が検出された３次元仮想空間内の位置にユーザが戻れるように、３次元仮想空間内の位置に対応づけて、実空間において算出されたノード位置を逐次メモリへ格納することができる。また、ステップＳ４１２において、最新の３次元実空間における各ノード位置１１４と、最後に算出された３次元実空間における各ノード１１４との間の差分値を算出し、オフセットとしてメモリへ格納することができる。 In step S412, the virtual space image generation unit 224 determines the three-dimensional based on the position of each node 114 in the last calculated three-dimensional real space, not the latest position of each node 114 in the three-dimensional real space. Generate a virtual space image. Even if each node 114 exists in the trackable area 302, the node sensor 130 has an obstacle between the node sensor 130 and each node 114, or each node is outside the trackable area 302. In some cases, the signal from node 114 cannot be detected. For this reason, in the present embodiment, even when signals from all the nodes 114 cannot be detected, the user can return to the position in the three-dimensional virtual space where the signal from the node was detected last. The node position calculated in the real space can be sequentially stored in the memory in association with the position in the three-dimensional virtual space. In step S412, a difference value between each node position 114 in the latest three-dimensional real space and each node 114 in the last calculated three-dimensional real space can be calculated and stored in the memory as an offset. it can.
次に、ステップＳ４１４において、判定部２２２は、ステップＳ４０４において位置が算出されたノードの一部又は全ての位置が境界領域３０４内にあるか否かを判定する。ステップＳ４１４において、算出されたノードの一部又は全ての位置が境界領域３０４内にあると判定された場合（例えば図５のｂ）に、ステップＳ４１６へ進む。 Next, in step S414, the determination unit 222 determines whether a part or all of the nodes whose positions are calculated in step S404 are within the boundary region 304. If it is determined in step S414 that some or all of the calculated nodes are within the boundary region 304 (eg, b in FIG. 5), the process proceeds to step S416.
次に、ステップＳ４１６において、警告画像生成部２２６は、算出されたノード１１４の３次元実空間内の位置に基づいて、ステップＳ４０８において生成された３次元仮想空間画像に、トラッキング可能領域３０２，境界領域３０４、中心領域３０６のうちいずれか又は複数を重ねた出力画像を生成する。表示制御部２２０は生成された出力画像を、表示領域１１２へ出力し、表示制御部２２０はステップＳ４０４にて算出された各ノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納する。そして、ステップＳ４０４へ戻る。また、ステップ４１６において、警告信号生成部２３０は、警告音を生成し、スピーカに出力させたり、ＨＭＤを振動させたりすることにより、ユーザに対して警告を通知することができる。 Next, in step S416, the warning image generation unit 226 adds the trackable region 302, the boundary to the 3D virtual space image generated in step S408 based on the calculated position of the node 114 in the 3D real space. An output image in which one or more of the region 304 and the center region 306 are overlapped is generated. The display control unit 220 outputs the generated output image to the display area 112, and the display control unit 220 stores the position of each node 114 calculated in step S404 in the memory in association with the coordinates in the virtual space. . Then, the process returns to step S404. In step 416, the warning signal generation unit 230 can generate a warning sound and output the warning sound to the speaker or vibrate the HMD to notify the user of the warning.
本実施例では、ノードがトラッキング可能領域３０２から外れそうになった時に、すなわち、ノードの一部又は全てが境界領域３０４にある場合にトラッキング可能領域３０２等を重ねた画像を表示領域１１２へ出力して、ユーザにトラッキング可能領域３０２等から外れそうである旨の警告することができる（図８）。すなわち、トラッキング可能領域３０２を表示出力することで、ユーザに対してトラッキング不能になることを避けるためにどうすべきかをユーザに通知することができる。また、生成された３次元仮想空間画像に、中心領域３０６を重ねた画像を表示出力することで、ユーザに対してどの方向に中心領域があるかをユーザに通知することができ、ユーザに対してより良い位置を確保するためのフィードバックを提供することができる。 In the present embodiment, when a node is about to deviate from the trackable area 302, that is, when a part or all of the node is in the boundary area 304, an image in which the trackable area 302 is overlaid is output to the display area 112. Then, the user can be warned that the area is likely to be out of the trackable area 302 or the like (FIG. 8). That is, by displaying and outputting the trackable area 302, it is possible to notify the user what to do to avoid being unable to track. In addition, by displaying and outputting an image in which the center region 306 is superimposed on the generated three-dimensional virtual space image, it is possible to notify the user in which direction the center region is located. Feedback can be provided to ensure a better position.
なお、本実施例においては、ノードの一部又は全てが境界領域３０４にある場合にトラッキング可能領域を重ねた画像を表示領域１１２へ出力しているが、図６Ａ、図７に示すようにノードが中心領域にある場合であってもこのような画像を表示領域１１２へ出力することができる。 In this embodiment, when some or all of the nodes are in the boundary area 304, an image in which the trackable area is overlaid is output to the display area 112. However, as shown in FIGS. Such an image can be output to the display area 112 even when is in the central area.
一方、ステップＳ４１４において算出されたノードの一部又は全ての位置が境界領域３０４内にないと判定された場合（すなわち全てのノード位置が中心領域にある場合、例えば図５のａ）に、ステップＳ４１８へ進む。 On the other hand, if it is determined that some or all of the nodes calculated in step S414 are not within the boundary area 304 (that is, if all the node positions are in the central area, for example, a in FIG. 5), The process proceeds to S418.
ステップＳ４１８において、表示制御部２２０は、ステップＳ４１２、４１０にて生成された仮想空間画像（すなわちトラッキング可能領域が重なっていない仮想空間画像）を表示領域１１２へ出力し、ステップＳ４０４で算出された各ノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納し、ステップＳ４０４へ戻る。トラッキング可能領域は、全てのノードが中心領域に或る場合も仮想空間画像に表示することが可能であるが、仮想空間画像にトラッキング可能領域が重ねて表示されると画面が見づらい可能性がある。従って、全てのノード１１４が中心領域にある場合にはトラッキング可能領域を表示せず、一部のノード１１４／又は全てのノードが境界領域内にある場合に、トラッキング可能領域を重ねて表示することができる。 In step S418, the display control unit 220 outputs the virtual space image generated in steps S412 and 410 (that is, the virtual space image in which the trackable regions do not overlap) to the display region 112, and each of the values calculated in step S404. The position of the node 114 is stored in the memory in association with the coordinates in the virtual space, and the process returns to step S404. The trackable area can be displayed in the virtual space image even when all the nodes are in the central area, but if the trackable area is displayed over the virtual space image, the screen may be difficult to see. . Therefore, when all the nodes 114 are in the central area, the trackable area is not displayed, and when some of the nodes 114 / or all the nodes are within the boundary area, the trackable areas are displayed in an overlapping manner. Can do.
また、ステップＳ４０６において、判定部２２２が、ステップＳ４０４において信号が検出されたノードがＨＭＤ上に設けられた全てのノードでないと判定した場合（例えば、図５のｃ、ｄ、ｅ、ｆ）に、ステップＳ４２０に進む。 In step S406, when the determination unit 222 determines that the nodes from which signals are detected in step S404 are not all the nodes provided on the HMD (for example, c, d, e, and f in FIG. 5). The process proceeds to step S420.
ステップＳ４２０において、判定部２２２は、信号が検出されたノード１１４があるか否かを判定する。ステップＳ４２０において信号が取得されたノードがある場合（例えば、図５のｃ、ｄ）には、ステップＳ４２２に進む。 In step S420, the determination unit 222 determines whether there is a node 114 from which a signal is detected. When there is a node from which a signal is acquired in step S420 (for example, c and d in FIG. 5), the process proceeds to step S422.
ステップＳ４２２において、前回検出され、算出されたノード位置がメモリに記憶されているか否かを判定する。ステップＳ４２２において前回の検出タイミングで検出され算出されたノード位置がメモリに記憶されている場合、すなわち一部又は全てのノードからの信号が前回の検出タイミングで検出され、それらの位置が算出されていた場合はステップＳ４２４へ進む。 In step S422, it is determined whether the previously detected and calculated node position is stored in the memory. If the node positions detected and calculated at the previous detection timing in step S422 are stored in the memory, that is, signals from some or all nodes are detected at the previous detection timing, and their positions are calculated. If YES, the process proceeds to step S424.
ステップＳ４２４において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の位置に基づいて、３次元仮想空間画像を生成する。なお、ステップＳ４２４において、オフセットがメモリに格納されている場合には、各ノード１１４から検出された信号に基づいて算出された最新の各ノード１１４の３次元実空間における位置から、メモリに格納された各軸のオフセットを減算した実空間における位置に基づいて、３次元仮想空間画像を生成する。 In step S424, the virtual space image generation unit 224 generates a three-dimensional virtual space image based on the latest position of each node 114 in the three-dimensional real space. In step S424, when the offset is stored in the memory, it is stored in the memory from the latest position of each node 114 calculated based on the signal detected from each node 114 in the three-dimensional real space. A three-dimensional virtual space image is generated based on the position in the real space obtained by subtracting the offset of each axis.
一方、ステップＳ４２２において前回の検出タイミングで検出され算出されたノード位置がメモリに格納されていない場合、すなわち全てのノードからの信号が前回の検出タイミングで検出できなかった場合はステップＳ４２６へ進む。 On the other hand, if the node positions detected and calculated at the previous detection timing in step S422 are not stored in the memory, that is, if the signals from all the nodes cannot be detected at the previous detection timing, the process proceeds to step S426.
そして、ステップＳ４２６において、仮想空間画像生成部２２４は、３次元実空間における各ノード１１４の最新の位置ではなく、最後に算出された３次元実空間における各ノード１１４の位置に基づいて、３次元仮想空間画像を生成する。また、ステップＳ４２６において、最新の３次元実空間における各ノード位置１１４と、最後に算出された３次元実空間における各ノード１１４との間の差分値を算出し、オフセットとしてメモリへ格納する。 In step S426, the virtual space image generation unit 224 determines the three-dimensional based on the position of each node 114 in the last calculated three-dimensional real space, not the latest position of each node 114 in the three-dimensional real space. Generate a virtual space image. In step S426, a difference value between each node position 114 in the latest three-dimensional real space and each node 114 calculated last is calculated and stored in the memory as an offset.
次に、ステップＳ４２８において、判定部２２２は、ステップＳ４０４において位置が算出されたノードの一部又は全ての位置が境界領域３０４内にあるか否かを判定する。ステップＳ４２８において、算出されたノードの一部又は全ての位置が境界領域３０４内にあると判定された場合（例えば図５のｄ）に、ステップＳ４３０へ進む。 Next, in step S428, the determination unit 222 determines whether a part or all of the nodes whose positions are calculated in step S404 are within the boundary region 304. If it is determined in step S428 that some or all of the calculated nodes are within the boundary region 304 (for example, d in FIG. 5), the process proceeds to step S430.
ステップＳ４３０において、警告画像生成部２２６は、算出されたノード１１４の３次元実空間内の位置に基づいて、ステップＳ４０８において生成された３次元仮想空間画像に、トラッキング可能領域３０２、境界領域３０４、中心領域３０６のうちいずれか又は複数を重ねた出力画像を生成する。表示制御部２２０は生成された出力画像を表示領域１１２へ出力し、表示制御部２２０はステップＳ４０４にて算出された各ノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納する。そして、ステップＳ４０４へ戻る。また、ステップ４３０において、警告信号生成部２３０は、警告音を生成し、スピーカに出力させたり、ＨＭＤを振動させたりすることにより、ユーザに対して警告を通知することができる。 In step S430, the warning image generation unit 226 adds the trackable region 302, the boundary region 304, the boundary region 304 to the three-dimensional virtual space image generated in step S408 based on the calculated position of the node 114 in the three-dimensional real space. An output image in which one or more of the central regions 306 are superimposed is generated. The display control unit 220 outputs the generated output image to the display area 112, and the display control unit 220 stores the position of each node 114 calculated in step S404 in the memory in association with the coordinates in the virtual space. Then, the process returns to step S404. In step 430, the warning signal generation unit 230 can notify the user of a warning by generating a warning sound and outputting the warning sound to the speaker or vibrating the HMD.
一方、ステップＳ４２８において、算出されたノードの一部又は全ての位置が境界領域３０４内にないと判定された場合、すなわち信号の検出された全てのノードの位置が中心領域に或る場合（例えば、図５のｃ）に、ステップＳ４３２へ進む。ステップＳ４３２は、信号の検出された全てのノードの位置は中心領域にあるが、ＨＭＤに設けられた全てのノードからの信号は検出されていない場合であり、例えばノードとノードセンサとの間に障害物がある場合を指す。 On the other hand, if it is determined in step S428 that some or all of the calculated nodes are not in the boundary region 304, that is, if the positions of all the nodes where the signal is detected are in the central region (for example, 5c), the process proceeds to step S432. Step S432 is a case where the positions of all the nodes where the signal is detected are in the central region, but signals from all the nodes provided in the HMD are not detected. For example, between the node and the node sensor, When there is an obstacle.
次に、ステップＳ４３２において、警告画像生成部２２６は、算出されたノード１１４の３次元実空間内の位置に基づいて、ステップＳ４２６又はステップS４２８において生成された３次元仮想空間画像（すなわちトラッキング可能領域が重なっていない仮想空間画像）に、警告メッセージ、例えば障害物があることを示す警告メッセージを表示した出力画像を生成し、表示領域１１２へ出力し、ステップＳ４０４へ戻る。このとき、ステップＳ４０４にて算出されたノード１１４の位置を仮想空間における座標と対応付けて各々メモリへ格納する。 Next, in step S432, the warning image generation unit 226, based on the calculated position of the node 114 in the three-dimensional real space, the three-dimensional virtual space image generated in step S426 or step S428 (that is, the trackable region). Output image displaying a warning message, for example, a warning message indicating that there is an obstacle, is output to the display area 112 and the process returns to step S404. At this time, the position of the node 114 calculated in step S404 is stored in the memory in association with the coordinates in the virtual space.
一方、ステップＳ４２０において信号が検出されたノードが全くない場合、ステップＳ４３４に進む。ステップ４３４は、全てのノードがトラッキング可能領域３０２にある場合でも、障害物などによってノードからの信号を検出できない場合（図５のｆ）や、全てのノードがトラッキング可能領域内にない場合（図５のｅ）に対応する。ステップ４３４において、出力画像生成部２２４はトラッキング可能領域外にあることを示す画像、例えば暗転した画像、画像全体をフェードアウトした画像を生成し、表示領域１１２へ出力する。 On the other hand, if there is no node where a signal is detected in step S420, the process proceeds to step S434. In step 434, even when all the nodes are in the trackable area 302, when a signal from the node cannot be detected due to an obstacle or the like (f in FIG. 5), or when all the nodes are not within the trackable area (FIG. 5). This corresponds to 5) e). In step 434, the output image generation unit 224 generates an image indicating that it is outside the trackable area, for example, a darkened image, an image in which the entire image is faded out, and outputs it to the display area 112.
なお、ステップＳ４３４において、信号が検出されたノード１１４が全くない場合に、全てのノードがトラッキング可能領域３０２内にあるか、トラッキング可能領域３０２外にあるか否か、さらにはトラッキング可能領域３０２からどのくらいの距離離れているかは、ノードからの信号のみでは検出することができない。この場合、加速度センサ、角速度センサから取得された加速度及び／又は角速度の値を用いることにより、ノード（ＨＭＤ）がトラッキング可能領域内にあるか否か、トラッキング可能領域３０２からどのくらいの距離離れているかを検出することができる。 In step S434, when there is no node 114 in which a signal is detected, whether all the nodes are in the trackable region 302, whether they are outside the trackable region 302, or from the trackable region 302. It is not possible to detect how far away it is from the signal from the node alone. In this case, by using the acceleration and / or angular velocity values acquired from the angular velocity sensor, whether or not the node (HMD) is in the trackable region and how far away from the trackable region 302 is. Can be detected.
例えば、直前の検出タイミングでは、各ノードがトラッキング可能領域３０２にあるが、直後の検出タイミングでは全てのノードの信号が検出できなかった場合に、加速度センサから取得された加速度の値を取得して、該加速度値を２回積分することにより、３次元実空間における現在のＨＭＤの位置を求めることができる。求められたＨＭＤの位置が、トラッキング可能領域内にある場合は、ノードセンサと各ノードとの間に例えば障害物が存在していることがわかる。この場合、例えば、画像全体をフェードアウトした画像等ではなく、障害物がある旨の警告メッセージを仮想空間画像に重ねた出力画像を生成して表示領域へ出力しても良い。また、求められたＨＭＤの位置が、トラッキング可能領域外にある場合は、ＨＭＤの位置とトラッキング可能領域との位置関係を算出し、図９に示すように、該位置関係に基づいて表示領域に警告メッセージ、例えば「右に移動してください」を表示するとともに、トラッキング可能領域までの距離と向きを示すアイコン、例えば矢印を表示領域に表示することができる。ＨＭＤの位置からトラッキング可能領域までの位置に応じて矢印の長さや向きを変更することができる。ユーザがトラッキング可能範囲外に移動してしまった場合でも、表示領域に表示される警告メッセージとアイコンにより示される情報に基づいて移動することで、ユーザはトラッキング可能範囲に再び戻ることができる。トラッキング可能範囲に再び戻ると、本実施例においては最後に観察していた仮想空間画像をユーザは観察することができる。なお、加速度センサ、角速度センサから取得された加速度及び／又は角速度の値を用いることにより、トラッキング可能領域を外れてもＨＭＤの正確な位置が検出される場合、トラッキング可能領域の内外に関わらず、３次元実空間におけるＨＭＤの位置に連動して常に仮想空間画像を表示することも可能である。 For example, if the nodes are in the trackable region 302 at the immediately preceding detection timing, but the signals of all the nodes cannot be detected at the immediately following detection timing, the acceleration value obtained from the acceleration sensor is acquired. The current position of the HMD in the three-dimensional real space can be obtained by integrating the acceleration value twice. When the obtained position of the HMD is within the trackable area, it can be seen that, for example, an obstacle exists between the node sensor and each node. In this case, for example, an output image in which a warning message indicating that there is an obstacle is superimposed on the virtual space image may be generated and output to the display area instead of an image obtained by fading out the entire image. Further, when the obtained HMD position is outside the trackable area, the positional relationship between the HMD position and the trackable area is calculated, and the display area is displayed based on the positional relation as shown in FIG. A warning message, such as “Please move to the right”, is displayed, and an icon indicating the distance and direction to the trackable area, such as an arrow, can be displayed in the display area. The length and direction of the arrow can be changed according to the position from the position of the HMD to the trackable area. Even when the user has moved out of the trackable range, the user can return to the trackable range again by moving based on the warning message and information indicated by the icon displayed in the display area. When returning to the trackable range again, the user can observe the virtual space image observed last in this embodiment. If the accurate position of the HMD is detected by using the acceleration and / or angular velocity values acquired from the acceleration sensor and the angular velocity sensor, even if the HMD is detected outside the trackable region, regardless of the inside or outside of the trackable region, It is also possible to always display a virtual space image in conjunction with the position of the HMD in the three-dimensional real space.
図５は、図３及び図４に関連しており、図３に示す円錐形を線Ａで切断したときに現れる断面におけるトラッキング可能領域３０２、境界領域３０４、中心領域３０６と、ＨＭＤとの関係を示す断面図である。図５のａからｆは、ＨＭＤ１１０とＨＭＤに設けられている複数のノード１１４（図５においては８つのノード）を概略的に示しており、図４に示すアルファベットａからｆにそれぞれ対応する。ノード１１４から発信された信号がノードセンサにより検出される場合は白又はグレーの丸で示し、検出されない場合は黒の丸で示す。例えばａは、ＨＭＤ１１０のノード１１４の全てが中心領域に存在し、かつ全てのノードからの信号が検出可能であることを示す。ｂはＨＭＤ１１０のノード１１４の一部が中心領域に、一部が境界領域に存在し、かつ全てのノードからの信号が検出可能であることを示す。ｃは、ノード１１４の全てが中心領域に存在するが、障害物などにより、一部のノードからの信号は検出できないことを示す。ｄは、ＨＭＤのノード１１４の一部が境界領域３０４内にあり、一部がトラッキング可能領域３０２外にあるために、トラッキング可能領域外にあるノードからの信号は検出できないことを示す。ｅは、ＨＭＤのノードの全てがトラッキング可能領域３０２外にあるために、信号が全く検出できないことを示す。ｆは、ＨＭＤのノード１１４の全てが中心領域３０６にあるものの、障害物などにより、全てのノード１１４からの信号が検出できないことを示す。 FIG. 5 is related to FIGS. 3 and 4, and the relationship between the trackable region 302, the boundary region 304, the central region 306, and the HMD in the cross section that appears when the cone shown in FIG. 3 is cut along the line A. FIG. 5A to 5F schematically show a plurality of nodes 114 (eight nodes in FIG. 5) provided in the HMD 110 and the HMD, and correspond to alphabets a to f shown in FIG. 4, respectively. When the signal transmitted from the node 114 is detected by the node sensor, it is indicated by a white or gray circle, and when it is not detected, it is indicated by a black circle. For example, a indicates that all of the nodes 114 of the HMD 110 are present in the central region, and signals from all the nodes can be detected. b indicates that a part of the node 114 of the HMD 110 exists in the central area, a part thereof exists in the boundary area, and signals from all nodes can be detected. c indicates that all of the nodes 114 exist in the central region, but signals from some nodes cannot be detected due to obstacles or the like. d indicates that a signal from a node outside the trackable area cannot be detected because a part of the node 114 of the HMD is inside the boundary area 304 and a part is outside the trackable area 302. e indicates that no signal can be detected because all of the HMD nodes are outside the trackable area 302. f indicates that although all the HMD nodes 114 are in the central region 306, signals from all the nodes 114 cannot be detected due to an obstacle or the like.
図６Ａ、Ｂは、本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。
図６Ａは、ノード１１４の位置が３次元実空間における中心領域３０６の中心にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。図６Ａにおいては、ノード１１４の位置が中心領域３０６にある場合であってもトラッキング可能領域３０２を複数の円で表示しているが、上述したように中心領域３０６にある場合はトラッキング可能領域３０２を仮想空間画像に重ねなくてもよい。図３に示すトラッキング可能領域３０２を示す円錐は、図６Ａにおいて複数の円６０２を用いて表されており遠近感を表すために、１つの円内の色を連続的に変化させて、グラデーション表示している。
6A and 6B show screenshots shown in the display area of the HMD, according to one embodiment of the present invention.
FIG. 6A is a virtual space image output to the display area 112 of the HMD 110 when the position of the node 114 is at the center of the center area 306 in the three-dimensional real space. In FIG. 6A, even if the position of the node 114 is in the central region 306, the trackable region 302 is displayed with a plurality of circles. However, as described above, when the node 114 is in the central region 306, the trackable region 302 is displayed. May not be superimposed on the virtual space image. The cone indicating the trackable region 302 shown in FIG. 3 is represented by using a plurality of circles 602 in FIG. 6A. In order to express the perspective, the color in one circle is continuously changed to display a gradation. doing.
図６Ｂは、ノード１１４の位置が３次元実空間におけるトラッキング領域３０２外にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。図３に示すトラッキング可能領域３０２を示す円錐は、画面右に表示されており、全てのノード位置がトラッキング領域３０２外にあることを示している。トラッキング領域外にある場合に、ＨＭＤ１１０を装着したユーザが実空間内で移動しても、ノードセンサ１３０はノード１１４からの信号を取得できないため、ユーザの移動に応じて仮想空間画像は変化しない。このためユーザは、仮想空間内で方向感覚を失い不快な視野を有することになる。図６Ｂにおいては、トラッキング可能領域３０２は画面右に表示されているが、ユーザの移動方向、移動距離によっては、仮想空間内に示されるトラッキング可能領域３０２の位置が実空間における位置に対応するとは限らず、場合によっては実空間ではユーザの左側にトラッキング可能領域３０２が存在することもあり得る。従って、このような場合に、トラッキング可能領域３０２を表示するとユーザに混乱を生じさせるため、仮想空間画像を完全に暗転（画面全体を真っ暗に）することもできる。 FIG. 6B is a virtual space image output to the display area 112 of the HMD 110 when the position of the node 114 is outside the tracking area 302 in the three-dimensional real space. The cone indicating the trackable area 302 shown in FIG. 3 is displayed on the right side of the screen, indicating that all the node positions are outside the tracking area 302. Even if the user wearing the HMD 110 moves in the real space when the user is outside the tracking area, the node sensor 130 cannot acquire a signal from the node 114, and therefore the virtual space image does not change according to the user's movement. For this reason, the user loses a sense of direction in the virtual space and has an unpleasant visual field. In FIG. 6B, the trackable area 302 is displayed on the right side of the screen. However, depending on the moving direction and moving distance of the user, the position of the trackable area 302 shown in the virtual space corresponds to the position in the real space. In some cases, the trackable area 302 may exist on the left side of the user in real space. Therefore, in such a case, displaying the trackable area 302 causes confusion for the user, and thus the virtual space image can be completely darkened (the entire screen is completely dark).
図７〜９は、本発明の一実施例に従った、ＨＭＤの表示領域に示されるスクリーンショットを示す。
図７は、ノード１１４の位置が３次元実空間における中心領域３０６の中心にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。図７においては、ノード１１４の位置が中心領域３０６にある場合であってもトラッキング可能領域３０２を表示しているが、上述したように中心領域３０６にある場合はトラッキング可能領域３０２を仮想空間画像に重ねなくてもよい。
7-9 show screenshots shown in the display area of the HMD, according to one embodiment of the present invention.
FIG. 7 is a virtual space image output to the display area 112 of the HMD 110 when the position of the node 114 is at the center of the center area 306 in the three-dimensional real space. In FIG. 7, the trackable region 302 is displayed even when the position of the node 114 is in the central region 306, but when the node 114 is in the central region 306 as described above, the trackable region 302 is displayed in the virtual space image. It is not necessary to overlap.
図８は、ノード１１４の位置が３次元実空間における境界領域３０４にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。
図９は、ノード１１４の位置が３次元実空間におけるトラッキング領域３０２外にある場合に、ＨＭＤ１１０の表示領域１１２へ出力される仮想空間画像である。
FIG. 8 is a virtual space image output to the display area 112 of the HMD 110 when the position of the node 114 is in the boundary area 304 in the three-dimensional real space.
FIG. 9 is a virtual space image output to the display area 112 of the HMD 110 when the position of the node 114 is outside the tracking area 302 in the three-dimensional real space.
以上、本発明の一実施形態につき説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施態様の変更がなされうることを当業者は理解するであろう。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment. Those skilled in the art will appreciate that various modifications of the embodiments can be made without departing from the spirit and scope of the invention as set forth in the appended claims.
Claims (14)
前記ノードセンサがＨＭＤの前記複数のノードからの信号をそれぞれ検出するステップと、
前記検出された前記複数のノードからの信号に基づいて３次元実空間内における前記複数のノードの位置を算出するステップと、
前記算出された位置に基づいて仮想空間画像を生成するステップと、
前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にある場合に、前記生成された前記仮想空間画像に、前記ノードセンサのトラッキング可能領域を重ねた出力画像を生成するステップと、
を備える方法。 A head-mounted display (HMD) having a display area and a plurality of nodes, and a node sensor for detecting signals from the plurality of nodes, respectively, and a trackable area of the node sensor superimposed on a virtual space image A method executed in a system for generating an output image to be output to the display area,
The node sensor respectively detecting signals from the plurality of nodes of the HMD;
Calculating positions of the plurality of nodes in a three-dimensional real space based on the detected signals from the plurality of nodes;
Generating a virtual space image based on the calculated position;
A step of generating an output image in which the trackable region of the node sensor is superimposed on the generated virtual space image when all / a part of the plurality of node positions are in a boundary region of the trackable region; When,
A method comprising:
全てのノードからの信号ではない場合に、前記出力画像を生成するステップは、前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にない場合に、前記生成された仮想空間画像に、警告メッセージを重ねた出力画像を生成するステップであることを特徴とする請求項１に記載の方法。 Determining whether the detected signals from the plurality of nodes are signals from all the nodes provided in the HMD;
The step of generating the output image when the signals are not from all the nodes includes the step of generating the output virtual space when all / a part of the plurality of node positions are not in the boundary region of the trackable region. The method according to claim 1, comprising generating an output image in which a warning message is superimposed on the image.
前記ノードセンサにより検出されたＨＭＤの前記複数のノードからの信号のそれぞれに基づいて３次元実空間内における前記複数のノードの位置を算出するノード位置検出部と、
前記算出された位置に基づいて仮想空間画像を生成する仮想空間画像生成部と、
前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にある場合に、前記生成された前記仮想空間画像に、前記ノードセンサのトラッキング可能領域を重ねた出力画像を生成する警告画像生成部と、
を備えるシステム。 A head-mounted display (HMD) having a display area and a plurality of nodes, and a node sensor for detecting signals from the plurality of nodes, respectively, and a trackable area of the node sensor superimposed on a virtual space image A system for generating an output image to be output to the display area,
A node position detection unit that calculates positions of the plurality of nodes in a three-dimensional real space based on signals from the plurality of nodes of the HMD detected by the node sensor;
A virtual space image generation unit that generates a virtual space image based on the calculated position;
A warning for generating an output image in which the trackable area of the node sensor is superimposed on the generated virtual space image when all / a part of the plurality of node positions are in the boundary area of the trackable area An image generator;
A system comprising:
全てのノードからの信号ではない場合に、前記出力画像を生成する警告画像生成部は、前記複数のノード位置の全て／または一部が前記トラッキング可能領域の境界領域にない場合に、前記生成された仮想空間画像に、警告メッセージを重ねた出力画像を生成することを特徴とする請求項８に記載のシステム。 A determination unit for determining whether the detected signals from the plurality of nodes are signals from all nodes provided in the HMD;
The warning image generation unit that generates the output image when not the signal from all the nodes is generated when all / a part of the plurality of node positions are not in the boundary region of the trackable region. The system according to claim 8, wherein an output image in which a warning message is superimposed on the virtual space image is generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015071100A JP6122459B2 (en) | 2015-03-31 | 2015-03-31 | Position tracking area display system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015071100A JP6122459B2 (en) | 2015-03-31 | 2015-03-31 | Position tracking area display system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016192027A true JP2016192027A (en) | 2016-11-10 |
| JP6122459B2 JP6122459B2 (en) | 2017-04-26 |
Family
ID=57246710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015071100A Active JP6122459B2 (en) | 2015-03-31 | 2015-03-31 | Position tracking area display system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6122459B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6401841B1 (en) * | 2017-09-13 | 2018-10-10 | 株式会社コロプラ | Information processing method, computer, and program |
| JP2019051300A (en) * | 2018-08-23 | 2019-04-04 | 株式会社コロプラ | Information processing method, computer and program |
| JP2019085576A (en) * | 2015-09-29 | 2019-06-06 | 積水化学工業株式会社 | Polyolefin resin foamed sheet and adhesive tape |
| CN110603573A (en) * | 2017-04-11 | 2019-12-20 | 株式会社马斯科图 | Virtual reality providing system, three-dimensional display data providing device, virtual space providing system, and program |
| JP2020501263A (en) * | 2016-12-09 | 2020-01-16 | 株式会社ソニー・インタラクティブエンタテインメント | Head mounted display with user head rotation guide |
| US10565724B2 (en) | 2017-07-07 | 2020-02-18 | Samsung Electronics Co., Ltd. | System and methods for device tracking |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165848A (en) * | 2003-12-04 | 2005-06-23 | Canon Inc | Method and device for presenting augmented reality |
-
2015
- 2015-03-31 JP JP2015071100A patent/JP6122459B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005165848A (en) * | 2003-12-04 | 2005-06-23 | Canon Inc | Method and device for presenting augmented reality |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019085576A (en) * | 2015-09-29 | 2019-06-06 | 積水化学工業株式会社 | Polyolefin resin foamed sheet and adhesive tape |
| JP2020501263A (en) * | 2016-12-09 | 2020-01-16 | 株式会社ソニー・インタラクティブエンタテインメント | Head mounted display with user head rotation guide |
| JP7177054B2 (en) | 2016-12-09 | 2022-11-22 | 株式会社ソニー・インタラクティブエンタテインメント | Head-mounted display with user head rotation guide |
| US11507201B2 (en) | 2016-12-09 | 2022-11-22 | Sony Interactive Entertainment Inc. | Virtual reality |
| CN110603573A (en) * | 2017-04-11 | 2019-12-20 | 株式会社马斯科图 | Virtual reality providing system, three-dimensional display data providing device, virtual space providing system, and program |
| CN110603573B (en) * | 2017-04-11 | 2022-12-09 | 株式会社马斯科图 | Virtual reality providing system, three-dimensional display data providing device, virtual space providing system, and program |
| US10565724B2 (en) | 2017-07-07 | 2020-02-18 | Samsung Electronics Co., Ltd. | System and methods for device tracking |
| JP6401841B1 (en) * | 2017-09-13 | 2018-10-10 | 株式会社コロプラ | Information processing method, computer, and program |
| JP2019053392A (en) * | 2017-09-13 | 2019-04-04 | 株式会社コロプラ | Information processing method, computer and program |
| JP2019051300A (en) * | 2018-08-23 | 2019-04-04 | 株式会社コロプラ | Information processing method, computer and program |
| JP7073228B2 (en) | 2018-08-23 | 2022-05-23 | 株式会社コロプラ | Information processing methods, computers, and programs |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6122459B2 (en) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6122459B2 (en) | Position tracking area display system and method | |
| CN110536665B (en) | Emulating spatial perception using virtual echo location | |
| JP6747504B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6344380B2 (en) | Image processing apparatus and method, and program | |
| JP2019070909A (en) | Information processing apparatus, information processing method, and program | |
| CN105378625A (en) | Indicating out-of-view augmented reality images | |
| JP6499384B2 (en) | Image display apparatus, image display method, and image display program | |
| JP6675209B2 (en) | Information processing apparatus and user guide presentation method | |
| JP6332652B1 (en) | Display control apparatus and program | |
| WO2019142560A1 (en) | Information processing device for guiding gaze | |
| US11288869B2 (en) | Information processing device, and information processing method | |
| JP2009169622A (en) | Image processor, and image processing method | |
| JP2017062598A (en) | Information processing device, information processing method, and program | |
| US10573083B2 (en) | Non-transitory computer-readable storage medium, computer-implemented method, and virtual reality system | |
| JPWO2019131143A1 (en) | Information processing equipment, information processing methods, and programs | |
| WO2014003099A1 (en) | Video production device | |
| JP2020115353A (en) | Information processor, user guide presentation method, and head mount display | |
| JP2019067323A (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2016110177A (en) | Three-dimensional input device and input system | |
| JP2021135776A (en) | Information processor, information processing method, and program | |
| US20070200847A1 (en) | Method And Device For Controlling A Virtual Reality Graphic System Using Interactive Techniques | |
| JP2018022349A (en) | Information presentation device | |
| JP4689344B2 (en) | Information processing method and information processing apparatus | |
| JP2016218916A (en) | Information processing device, information processing method, and program | |
| JP6467039B2 (en) | Information processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161227 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170303 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170331 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6122459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |