JP3372926B2 - Head mounted display device and head mounted display system - Google Patents
Head mounted display device and head mounted display systemInfo
- Publication number
- JP3372926B2 JP3372926B2 JP2000085030A JP2000085030A JP3372926B2 JP 3372926 B2 JP3372926 B2 JP 3372926B2 JP 2000085030 A JP2000085030 A JP 2000085030A JP 2000085030 A JP2000085030 A JP 2000085030A JP 3372926 B2 JP3372926 B2 JP 3372926B2
- Authority
- JP
- Japan
- Prior art keywords
- mounted display
- marker
- head mounted
- infrared light
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、マーカ検出がより
容易にできるように構成されたヘッドマウントディスプ
レイ装置、並びに、このディスプレイ装置を利用したヘ
ッドマウントディスプレイシステムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a head mounted display device configured to make marker detection easier and a head mounted display system using this display device.
【０００２】[0002]
【従来の技術】複合現実感（以下、MR(Mixed Reality)
またはAR(Augmented Reality)）を提示するシステムで
は、対象空間に配置したマーカをいかに精度よく且つ安
定的に画像上で抽出するかは、現実空間と仮想空間との
位置合わせを行うために、即ち、観察者の視点位置姿勢
を求めるために、マーカを用いることが実質的に不可避
であるから、極めて重要となっている。2. Description of the Related Art Mixed reality (hereinafter MR (Mixed Reality)
Or, in a system that presents AR (Augmented Reality), how accurately and stably the markers placed in the target space are extracted on the image is for aligning the real space and the virtual space, that is, It is extremely important to use a marker in order to obtain the observer's viewpoint position and orientation, which is extremely important.
【０００３】[0003]
【発明が解決しようとする課題】マーカは、精度よく検
出するためには、特徴的な色もしくは形状を有して目立
たなくてはならない。例えば、MRやAR技術に用いられる
マーカは、そのシステムが、マーカ自身をもっとも認識
し易く、マーカ以外のものと確実に区別できるような色
（黄色や赤）や形状（三角形や四角形）を付されるのが
通常である。In order to detect a marker with high accuracy, the marker must have a characteristic color or shape and be conspicuous. For example, markers used in MR and AR technologies are given a color (yellow or red) or shape (triangle or quadrangle) that makes it easy for the system to recognize the marker itself and reliably distinguish it from anything other than the marker. It is usually done.
【０００４】しかし、このような特徴的なマーカは、マ
ーカの認識手段（通常はカメラからの画像に基づいてマ
ーカ認識を行う画像処理装置）にとっても目立つばかり
でなく、複合現実感を体験しているユーザ（観察者）に
も目立つものであり、違和感を与える。However, such a characteristic marker is not only conspicuous to a marker recognizing means (usually an image processing apparatus which recognizes a marker based on an image from a camera), but also experiences a mixed reality. It is also noticeable to users (observers) who are present and gives a sense of discomfort.
【０００５】特に、特定の用途では、目立ちすぎるマー
カは好ましくなく、例えばインテリアシュミレーション
の分野では、識別性のある色を利用したマーカを用いる
と、空間に配置する実際の物体の色に制約を与えなくて
はならないという問題がある。In particular, in a specific application, an overly conspicuous marker is not preferable, and in the field of interior simulation, for example, a marker using a distinguishable color limits the color of an actual object placed in space. There is a problem that it must be.
【０００６】公知のマーカは、そのために、マーカ自身
が赤外光を発光するようにして，ユーザ自身にマーカが
見えないようにしている。しかし、この公知のマーカは
マーカ自身が赤外光を発光するようにしているために、
マーカの設置位置に制約が課せられることとなって不便
であった。[0006] For the known marker, therefore, the marker itself emits infrared light so that the user cannot see the marker. However, since this known marker makes the marker itself emit infrared light,
This is inconvenient because the placement position of the marker is restricted.
【０００７】また、マーカは、ユーザの移動範囲の大き
さもしくは広がりに応じて、通常複数（もしくは多数）
設けるものであるから、個々のマーカに赤外光の発光装
置を設けることはあまり現実的ではない。[0007] Further, a plurality of markers are usually provided (or a large number of) according to the size or spread of the moving range of the user.
Since it is provided, it is not very practical to provide an infrared light emitting device for each marker.
【０００８】[0008]
【課題を解決するための手段】本発明は、上記従来技術
の問題点を解決するために提案されたもので、その目的
は、簡単な構成で精度よく且つ確実にマーカを検出する
ことができるヘッドマウントディスプレイ装置、ヘッド
マウントディスプレイシステムを提案することにある。The present invention has been proposed in order to solve the above-mentioned problems of the prior art, and its purpose is to detect a marker accurately and surely with a simple structure. It is to propose a head mounted display device and a head mounted display system.
【０００９】この課題を達成するための、本発明にかか
る、観察者の頭部に装着されるヘッドマウントディスプ
レイ装置は、ヘッドマウントディスプレイユニットと、
所定の照明方向を有する赤外光照明装置と、所定の撮影
方向を有する赤外光カメラとを具備することを特徴とす
る。In order to achieve this object, a head mount display device according to the present invention, which is mounted on the head of an observer, comprises a head mount display unit,
An infrared light illuminating device having a predetermined illumination direction and an infrared light camera having a predetermined photographing direction are provided.
【００１０】赤外光カメラにより得られた赤外光画像は
ユーザが注視している位置と方向でのマーカを含むこと
となり、また、赤外光画像は可視光によるノイズに強い
ので、簡単な構成で精度よく且つ確実にマーカを検出す
ることができる。The infrared light image obtained by the infrared light camera includes markers at the position and direction in which the user is gazing, and since the infrared light image is resistant to visible light noise, it is simple. With the configuration, the marker can be detected accurately and surely.
【００１１】赤外光カメラの選択性を向上させるため
に、本発明の好適な一態様である請求項２に拠れば、前
記赤外光照明装置は前記赤外光カメラの近傍に取り付け
られたことを特徴とする。In order to improve the selectivity of the infrared light camera, according to claim 2, which is a preferable aspect of the present invention, the infrared light illumination device is mounted in the vicinity of the infrared light camera. It is characterized by
【００１２】赤外光カメラの選択性をさらに向上させる
ために、本発明の好適な一態様である請求項３に拠れ
ば、前記赤外光照明装置は複数の赤外光発光器を有し、
これらの発光器が前記赤外光カメラの対物レンズの周囲
に取り付けられていることを特徴とする。In order to further improve the selectivity of the infrared camera, according to claim 3, which is a preferable aspect of the present invention, the infrared lighting device has a plurality of infrared light emitters. ,
These light emitters are mounted around the objective lens of the infrared camera.
【００１３】本発明の好適な一態様である請求項４に拠
れば、前記ヘッドマウントディスプレイユニットは、遮
蔽式であって、観察者に提示する映像を撮影するための
カラーカメラを更に有する。According to a fourth aspect of the present invention, which is a preferred aspect of the present invention, the head-mounted display unit further includes a shield type color camera for capturing an image presented to an observer.
【００１４】本発明の好適な一態様である請求項５に拠
れば、前記ヘッドマウントディスプレイユニットは透過
式であることを特徴とする。According to a fifth aspect of the present invention, which is a preferable aspect of the present invention, the head mounted display unit is a transmissive type.
【００１５】本発明のディスプレイ装置は、マーカとの
システム化により顕著な効果を発揮する。そこで、本発
明の好適な一態様である請求項６にかかるヘッドマウン
トディスプレイシステムは、上記のヘッドマウントディ
スプレイ装置と、各々が反射面を有する複数のマーカ
と、前記赤外光カメラによる赤外光画像を処理して前記
マーカの位置を検出する検出手段とを具備する。The display device of the present invention exerts a remarkable effect by systematization with a marker. Therefore, a head mounted display system according to claim 6, which is a preferable aspect of the present invention, includes the above head mounted display device, a plurality of markers each having a reflecting surface, and infrared light from the infrared light camera. Detecting means for processing the image to detect the position of the marker.
【００１６】このディスプレイ装置は本来は観察者の視
点位置姿勢に応じて生成した映像を提示するために用い
られる。そこで、視点位置姿勢を検出するために、本発
明の好適な一態様である請求項７のヘッドマウントディ
スプレイシステムは、前記検出手段によって得られる前
記マーカ位置に基づいて前記観察者の視点位置姿勢を推
定する推定手段をさらに具備する。This display device is originally used for presenting an image generated according to the viewpoint position and orientation of the observer. Therefore, in order to detect the viewpoint position / orientation, the head mounted display system according to claim 7, which is a preferable aspect of the present invention, determines the viewpoint position / orientation of the observer based on the marker position obtained by the detection means. It further comprises an estimating means for estimating.
【００１７】観察者の視点位置姿勢は所定のセンサを援
用することにより更に精度よく検出可能になる。そこ
で、本発明の好適な一態様である請求項８のヘッドマウ
ントディスプレイ装置は３次元位置姿勢センサをさらに
有する。The viewpoint position and orientation of the observer can be detected more accurately by using a predetermined sensor. Therefore, the head mounted display device according to claim 8 which is a preferable aspect of the present invention further includes a three-dimensional position and orientation sensor.
【００１８】また、本発明の好適な一態様である請求項
９のヘッドマウントディスプレイシステムは、各々が反
射面を有する複数のマーカと、前記赤外光カメラによる
赤外光画像を処理して前記マーカの位置を検出する検出
手段と、前記検出手段によつて得られる前記マーカ位置
と、前記３次元位置姿勢センサによって得られる前記観
察者の大まかな視点位置姿勢情報に基づいて、前記観察
者の視点位置姿勢を推定する推定手段をさらに具備する
ことを特徴とする。A head mounted display system according to a ninth aspect of the present invention, which is a preferred aspect of the present invention, processes a plurality of markers each having a reflecting surface and an infrared light image by the infrared light camera to process the infrared light image. Based on detection means for detecting the position of the marker, the marker position obtained by the detection means, and the rough viewpoint position and orientation information of the observer obtained by the three-dimensional position and orientation sensor, It is characterized by further comprising an estimating means for estimating the viewpoint position and orientation.
【００１９】本発明の好適な一態様である請求項１０に
拠れば、前記推定手段は、前記マーカ位置に基づいて前
記観察者の視点位置姿勢の補正を行なうことを特徴とす
る。According to claim 10 which is a preferred aspect of the present invention, the estimating means corrects the viewpoint position and orientation of the observer based on the marker position.
【００２０】また、本発明の好適な一態様である請求項
１１に拠るヘッドマウントディスプレイ装置は、さらに
３次元位置姿勢センサ、加速度センサ、角度センサのい
ずれか１つ以上をさらに有することを特徴とする。A head mounted display device according to claim 11 which is a preferred aspect of the present invention further comprises at least one of a three-dimensional position / orientation sensor, an acceleration sensor and an angle sensor. To do.
【００２１】さらに、本発明の好適な一態様である請求
項１２に拠るヘッドマウントディスプレイシステムは、
請求項１１に記載のヘッドマウントディスプレイ装置を
具備し、各々が反射面を有する複数のマーカと、前記赤
外光カメラによる赤外光画像を処理して前記マーカの位
置を検出する検出手段と、前記検出手段によつて得られ
る前記マーカ位置と、前記３次元位置姿勢センサ、加速
度センサ、角度センサのいずれか１つ以上の出力に基づ
いて、前記観測者の視点位置姿勢を推定する推定手段を
さらに具備することを特徴とする。Furthermore, a head mounted display system according to claim 12 which is a preferred aspect of the present invention,
The head mounted display device according to claim 11, comprising a plurality of markers each having a reflecting surface, and a detection unit for processing an infrared light image by the infrared light camera to detect the position of the marker. Estimating means for estimating the viewpoint position and orientation of the observer based on the marker position obtained by the detecting means and the output of one or more of the three-dimensional position and orientation sensor, the acceleration sensor, and the angle sensor. It is characterized by further comprising.
【００２２】マーカの選択性を高めるために、本発明の
好適な一態様である請求項１３に拠れば、前記マーカは
再帰性反射材料によって表面処理されていることを特徴
とする。In order to improve the selectivity of the marker, according to claim 13 which is a preferable aspect of the present invention, the marker is surface-treated with a retroreflective material.
【００２３】[0023]
【発明の実施の形態】以下、添付図面を参照しながら、
本発明を適用した好適な実施形態に係るところの、ビデ
オシースルー(Video See-Through)型のヘッドマウント
ディスプレイを用いた複合現実感提示システムを説明す
る。DETAILED DESCRIPTION OF THE INVENTION Referring to the accompanying drawings,
A mixed reality presentation system using a video see-through type head mounted display according to a preferred embodiment to which the present invention is applied will be described.
【００２４】第１図はこの複合現実感提示システムの全
体構成を示す。本システムは、対象の現実世界の所定位
置に前もって配置された複数のマーカ４００と、ヘッド
マウントディスプレイユニット（以後、ＨＭＤ(Head Mo
untedDisplay）３００と、画像処理装置５００とからな
る。FIG. 1 shows the overall configuration of this mixed reality presentation system. This system includes a plurality of markers 400 that are arranged in advance in predetermined positions in the real world of an object and a head mounted display unit (hereinafter, HMD (Head Mo
(untedDisplay) 300 and an image processing device 500.
【００２５】ＨＭＤ３００には、三次元位置姿勢センサ
３５０と、赤外発光装置２１０と、赤外光カメラ２２０
と、カラーカメラ１００とが装着されている。マーカ４
００は、再帰性反射素材により作成され、赤外発光装置
２１０からの赤外光を反射して、発光装置２１０の方向
に返す。赤外光カメラ２２０は、第１図のように、発光
装置２１０の近傍に設置され、あるいは後述するよう
に、発光装置２１０の複数の発光体が、カメラ２２０の
レンズの周囲にレンズを囲むように配置されているの
で、マーカ４００からの反射光は効率よくカメラ２２０
によって検出される。The HMD 300 includes a three-dimensional position and orientation sensor 350, an infrared light emitting device 210, and an infrared light camera 220.
And the color camera 100 are attached. Marker 4
00 is made of a retroreflective material, reflects infrared light from the infrared light emitting device 210, and returns it toward the light emitting device 210. The infrared light camera 220 is installed in the vicinity of the light emitting device 210 as shown in FIG. 1, or as will be described later, a plurality of light emitters of the light emitting device 210 surrounds the lens of the camera 220. Since it is arranged in the camera 220, the reflected light from the marker 400 can be efficiently reflected by the camera 220.
Detected by.
【００２６】本システムは、ビデオシースルー方式を採
用しているので、カラーカメラ１００によって撮像され
た前方世界の画像は画像処理装置に取り込まれて、周知
の手法により、コンピュータグラフイックスが重畳され
た複合現実感画像（AR画像またはMR画像）としてＨＭＤ
３００に送られて、ＨＭＤ３００を装着しているユーザ
はＨＭＤ３００が映示するその映像を見ることになる。Since the present system employs the video see-through method, the image of the front world captured by the color camera 100 is taken into the image processing apparatus and is combined with the computer graphics by a known method. HMD as a realistic image (AR image or MR image)
300, the user wearing the HMD 300 will see the image displayed by the HMD 300.
【００２７】ＨＭＤ３００の内部における光学系の構成
は第３図に示す通りであり、このＨＭＤ３００の上部に
は，赤外光発光器／カメラの組体２００と、カラーカメ
ラ１００が設けられている。The structure of the optical system inside the HMD 300 is as shown in FIG. 3, and an infrared light emitter / camera assembly 200 and a color camera 100 are provided on the top of the HMD 300.
【００２８】赤外光発光器／カメラ組体２００の構成は
第４図に示されている。この組体２００は、発光器から
の赤外光が効率よく赤外光カメラに戻るように、赤外光
カメラ２２０のレンズの周囲に、複数の小型の赤外ＬＥ
Ｄ（２１０-1〜２１０-n）がそのレンズを囲うように配
置されている。The configuration of the infrared light emitter / camera assembly 200 is shown in FIG. This assembly 200 includes a plurality of small infrared LEs around the lens of the infrared camera 220 so that the infrared light from the light emitter can be efficiently returned to the infrared camera.
D (210-1 to 210-n) are arranged so as to surround the lens.
【００２９】第３図は、ＨＭＤ３００がビデオシースル
ー(See-Through)型のＨＭＤである場合におけるその内
部の光学系の構成を示す。このＨＭＤ３００の内部の光
学系の詳細な説明は、例えば特開平７−３３３５５１号
に示されている如くであるが、３０１はＬＣＤ表示パネ
ルである。ＬＣＤ表示パネル３０１からの光は、光学部
材３０２に入射し、全反射面３０４にて反射して、凹面
ミラー３０３の全反射面にて反射して、全反射面３０４
を透過して観察者の目に届く。FIG. 3 shows the configuration of an optical system inside the HMD 300 when it is a video see-through type HMD. A detailed description of the optical system inside the HMD 300 is as shown in, for example, Japanese Patent Laid-Open No. 7-333551, and 301 is an LCD display panel. The light from the LCD display panel 301 enters the optical member 302, is reflected by the total reflection surface 304, is reflected by the total reflection surface of the concave mirror 303, and is reflected by the total reflection surface 304.
Penetrates through and reaches the eyes of the observer.
【００３０】第１図に示すように、画像処理装置５００
は、マーカ４００画像座標を検出するマーカ検出モジュ
ール５１０と、ユーザ（観察者）の視点位置姿勢（視点
の三次元位置座標と視線の方向）を検出する視点位置姿
勢推定モジュール５２０と、複合現実感画像生成モジュ
ール５３０とを有する。As shown in FIG. 1, the image processing apparatus 500.
Is a marker detection module 510 that detects the image coordinates of the marker 400, a viewpoint position / posture estimation module 520 that detects the viewpoint position / posture of the user (observer) (three-dimensional position coordinates of the viewpoint and the direction of the line of sight), and mixed reality. And an image generation module 530.
【００３１】観察者が装着するＨＭＤがビデオシースル
方式の場合、観察者は、自分自身の視点位置姿勢ではな
く、ＨＭＤに設けられたカラーカメラ１００の視点位置
姿勢で撮影された現実世界のカラー画像と、それに対し
て重畳された仮想画像を観察する。したがって、本実施
形態において視点位置姿勢推定モジュール５２０が求め
るべき視点位置姿勢は、厳密には観察者自身の視点位置
姿勢ではなく、カラーカメラ１００の視点位置姿勢であ
る。以後、本実施形態における「観察者の視点」あるい
は「視点」とは、特に断りのない限りカラーカメラ１０
０の視点を示すものとする。When the HMD worn by the observer is of the video sheath type, the observer does not have a viewpoint position / orientation of his / her own, but a color image of the real world taken by the viewpoint position / orientation of the color camera 100 provided on the HMD. And observe the virtual image superimposed on it. Therefore, in the present embodiment, the viewpoint position / posture to be obtained by the viewpoint position / posture estimation module 520 is not the observer's own viewpoint position / posture, but the viewpoint position / posture of the color camera 100. Hereinafter, the “observer's viewpoint” or “viewpoint” in this embodiment is the color camera 10 unless otherwise specified.
We shall show a viewpoint of 0.
【００３２】本実施形態では、マーカは、三次元位置姿
勢センサ３５０が検出した視点の位置姿勢を、この位置
姿勢は精度の低いものであるので、精度の高い位置姿勢
情報に補正するために用いられる。In the present embodiment, the marker is used to correct the position / orientation of the viewpoint detected by the three-dimensional position / orientation sensor 350 into highly accurate position / orientation information because this position / orientation has low accuracy. To be
【００３３】第５図は、マーカ４００の１つ（あるいは
全て）に用いられた再帰性反射部材の性質を説明する。
即ち、この部材は、細かい球状のガラスを多く含むこと
によって、入射光を入射してきた方向に反射して返す性
質がある。このために、第６図のように、マーカ４００
が複数配置されていた場合に、発光器／カメラ組体２０
０は、その光軸がユーザの視点位置姿勢の変動によって
いずれの方向に向いても、発光器２１０からの赤外光は
マーカによって反射されてカメラ２２０によって捕捉さ
れる。即ち、マーカの分布にもよるが、いずれかのマー
カの画像がカメラ２２０によって取得されることとな
る。FIG. 5 illustrates the nature of the retroreflective member used in one (or all) of markers 400.
That is, this member has a property of reflecting incident light in the incident direction and returning it by including a large amount of fine spherical glass. For this purpose, as shown in FIG.
When a plurality of light sources are arranged, the light emitter / camera assembly 20
In the case of 0, the infrared light from the light emitting device 210 is reflected by the marker and is captured by the camera 220 regardless of the direction of the optical axis of the user's viewpoint position / orientation. That is, depending on the distribution of the markers, the image of any of the markers will be acquired by the camera 220.
【００３４】特に、本システムのカメラ２２０には不図
示の赤外透過フィルタが設けられ、また、マーカ４００
は発光器２１０の方向に反射光を返す性質があるので、
カメラ２２０がとらえた赤外光画像には、マーカの画像
が他の物体から際立って検出されることになる。即ち、
本実施形態では、マーカを、確実に、精度よく検出する
ことができる。In particular, the camera 220 of this system is provided with an infrared transmission filter (not shown), and the marker 400 is used.
Has the property of returning reflected light in the direction of the light emitter 210,
In the infrared light image captured by the camera 220, the marker image is prominently detected from other objects. That is,
In this embodiment, the marker can be detected reliably and accurately.
【００３５】第７図は、マーカ検出モジュール５１０の
制御手順である。ステップＳ１０では、赤外光カメラ２
２０が取得した赤外光画像Ｉをモジュール５１０のメモ
リ（不図示）に取り込む。ステップＳ１２では、赤外光
画像Ｉを所定の閾値VTHで二値化して二値画像ITHを生成
する。ステップＳ１４では、二値画像ITHにラベリング
処理を施す。この処理の結果、マーカに対応する（であ
ろう）複数のクラスタCiが識別される。ステップＳ１６
では各クラスタの重心座標（xwi, ywi）と面積aiを計算
し、ステップＳ１８では、各クラスタの重心座標（xwi,
ywi）と面積aiを視点位置姿勢推定モジュール５２０に
出力する。FIG. 7 shows the control procedure of the marker detection module 510. In step S10, the infrared camera 2
The infrared light image I acquired by 20 is loaded into the memory (not shown) of the module 510. In step S12, by binarizing the infrared image I at a predetermined threshold value V TH to generate a binary image I TH. In step S14, the binary image I TH is labeled. As a result of this processing, a plurality of clusters C i corresponding to (and possibly corresponding to) the marker are identified. Step S16
In the center coordinates (x wi, y wi) of each cluster and the area a i is calculated, in step S18, the center coordinates (x wi of each cluster,
y wi ) and the area a i are output to the viewpoint position / posture estimation module 520.
【００３６】第８図は、視点位置姿勢推定モジュール５
２０における視点位置姿勢の推定処理の制御手順の全体
を示す。三次元位置姿勢センサ３５０の出力は誤差を伴
うものであり、視点位置姿勢推定モジュール５２０は、
そのような出力に基づいて演算した視点位置データと姿
勢データを、赤外光カメラ２２０から得られた画像中の
マーカ位置に基づいて補正する処理を行なう。FIG. 8 shows a viewpoint position / posture estimation module 5.
20 shows an overall control procedure of viewpoint position / orientation estimation processing in 20. The output of the three-dimensional position and orientation sensor 350 involves an error, and the viewpoint position and orientation estimation module 520
The viewpoint position data and orientation data calculated based on such output are corrected based on the marker position in the image obtained from the infrared camera 220.
【００３７】即ち、この補正処理は、赤外光カメラ２２
０が取得した画像中のマーカ位置から、赤外光カメラ２
２０の位置姿勢（視点の位置姿勢に密接に関連するもの
でもある）の補正値を求め、その補正値を用いて、視点
のビューイング変換行列を変更する。変更されたビュー
イング変換行列は補正された視点の位置及び姿勢データ
を表すものであり、換言すれば、この補正されたビュー
イング変換行列は補正された視点位置での仮想画像を与
える。That is, this correction process is performed by the infrared camera 22.
0 from the marker position in the image acquired by the infrared camera 2
A correction value of the position and orientation of 20 (which is also closely related to the position and orientation of the viewpoint) is obtained, and the viewing conversion matrix of the viewpoint is changed using the correction value. The modified viewing transform matrix represents the corrected viewpoint position and orientation data, in other words, the corrected viewing transform matrix provides a virtual image at the corrected viewpoint position.
【００３８】第９図は、本実施形態における観察者の視
点位置姿勢の補正の原理を説明する。ここで、実施形態
における観察者の視点位置姿勢の補正とは、補正された
ビューイング変換行列を求めることと等値である。FIG. 9 illustrates the principle of correcting the viewpoint position and orientation of the observer in this embodiment. Here, the correction of the viewpoint position and orientation of the observer in the embodiment is equivalent to obtaining the corrected viewing transformation matrix.
【００３９】第９図において、赤外光カメラ２２０がマ
ーカ４０３を画像６００に捉えているとする。マーカ４
０３の位置はこの赤外光画像６００内では画像座標系で
例えば（ｘ０，ｙ０）と表される。一方、赤外光画像６
００が捉えているマーカが１６０３であることが分かれ
ば、そのマーカ４０３の世界座標系での座標（Ｘ０，Ｙ
０，Ｚ０）は既知である。（ｘ０，ｙ０）は画像座標値
であり（Ｘ０，Ｙ０，Ｚ０）は世界座標であるから、こ
れらの座標同士を比較することはできない。In FIG. 9, it is assumed that the infrared light camera 220 captures the marker 403 in the image 600. Marker 4
In the infrared light image 600, the position of 03 is represented as (x 0 , y 0 ) in the image coordinate system. On the other hand, infrared light image 6
If it is known that the marker captured by 00 is 1603, the coordinates (X 0 , Y of the marker 403 in the world coordinate system
0 , Z 0 ) is known. Since (x 0 , y 0 ) are image coordinate values and (X 0 , Y 0 , Z 0 ) are world coordinates, these coordinates cannot be compared with each other.
【００４０】本実施形態では、三次元位置姿勢センサ３
５０の出力から赤外光カメラ２２０のビューイング変換
行列ＭＣを求め、世界座標系での座標（Ｘ０，Ｙ０，Ｚ
０）をこのビューイング変換行列ＭＣを用いて画像座標
系の座標（ｘ’ ０，ｙ’ ０）に変換する。そして、（ｘ
０，ｙ０）と（ｘ’ ０，ｙ’ ０）との誤差が三次元位置
姿勢センサ３５０の出力の誤差を表現するものであるか
ら、これを補正する補正行列ΔＭＣを求める。In the present embodiment, the three-dimensional position and orientation sensor 3
The viewing transformation matrix M C of the infrared camera 220 is obtained from the output of 50, and the coordinates (X 0 , Y 0 , Z in the world coordinate system are obtained.
0 ) is converted into coordinates (x ′ 0 , y ′ 0 ) in the image coordinate system using this viewing conversion matrix M C. And (x
Since the error between 0 , y 0 ) and (x ′ 0 , y ′ 0 ) expresses the error in the output of the three-dimensional position / orientation sensor 350, a correction matrix ΔM C for correcting this is obtained.
【００４１】尚、第９図から明らかなように、赤外光画
像６００内に捉えられたマーカがマーカ４０３であるこ
とを特定する必要があるが、本実施形態では、後述する
ように、全てのマーカの世界座標系での三次元位置を上
記ビューイング変換行列ＭＣにより画像座標系に変換し
て、変換後のカメラ座標値が上記（ｘ０，ｙ０）に最も
近いマーカを赤外光画像６００内に捉えられたマーカと
特定する。As is clear from FIG. 9, it is necessary to specify that the marker captured in the infrared light image 600 is the marker 403. However, in this embodiment, as will be described later, all Of the marker in the world coordinate system is converted into the image coordinate system by the viewing conversion matrix M C , and the marker whose converted camera coordinate value is closest to (x 0 , y 0 ) is infrared. It is specified as the marker captured in the optical image 600.
【００４２】第８図に従って視点位置姿勢推定モジュー
ル５２０の処理手順を詳細に説明する。即ち、ステップ
Ｓ４００では、三次元位置姿勢センサ３５０の出力に基
づいて、赤外光カメラ２２０のビューイング変換行列
（４×４）を計算する。ステップＳ４１０では、ステッ
プＳ４００で求めたビューイング変換行列と、赤外光カ
メラ２２０の理想的透視変換行列（既知）と、各マーカ
の三次元位置（既知）とに基づいて、各マーカが観測さ
れるべき位置座標（画像座標系での）を予測する。The processing procedure of the viewpoint position / posture estimation module 520 will be described in detail with reference to FIG. That is, in step S400, the viewing transformation matrix (4 × 4) of the infrared camera 220 is calculated based on the output of the three-dimensional position / orientation sensor 350. In step S410, each marker is observed based on the viewing transformation matrix obtained in step S400, the ideal perspective transformation matrix of the infrared camera 220 (known), and the three-dimensional position (known) of each marker. Predict the position coordinates (in the image coordinate system) to be used.
【００４３】一方、マーカ検出モジュール５１０は、第
７図の制御手順に従って、赤外光カメラ２２０から得た
画像中でマーカを検出している。マーカ検出モジュール
５１０は、検出したマーカ位置を、視点位置姿勢推定モ
ジュール５２０（ステップＳ４２０において）に渡す。
視点位置姿勢推定モジュール５２０は、ステップＳ４２
０において、渡されたマーカ位置情報に基づいて、現在
観測しているマーカ、即ち補正の基準となるマーカを判
別する。ステップＳ４３０では、ステップＳ４１０で演
算されたマーカの予測座標値とマーカ検出モジュール５
１０が検出したマーカの観測座標値との差異に基づい
て、三次元位置姿勢センサ３５０が検出した赤外光カメ
ラ２２０の位置姿勢を補正するための補正行列ΔＭｃを
求める。On the other hand, the marker detection module 510 detects the marker in the image obtained from the infrared camera 220 according to the control procedure of FIG. The marker detection module 510 passes the detected marker position to the viewpoint position / posture estimation module 520 (in step S420).
The viewpoint position / posture estimation module 520 executes the step S42.
At 0, the currently observed marker, that is, the marker serving as a reference for correction is determined based on the passed marker position information. In step S430, the predicted coordinate value of the marker calculated in step S410 and the marker detection module 5
A correction matrix ΔMc for correcting the position and orientation of the infrared light camera 220 detected by the three-dimensional position and orientation sensor 350 is obtained based on the difference between the observed coordinate value of the marker detected by 10 and the observation coordinate value.
【００４４】赤外光カメラ２２０の位置姿勢の補正がで
きるのは、マーカ検出モジュール５１０が観測したマー
カ（第９図の例ではマーカ４０３）の座標値と三次元位
置姿勢センサ３５０が検出した赤外光カメラ２２０の姿
勢位置に基づくマーカ座標とは、センサ出力が正確であ
れば一致している筈であるから、ステップＳ４３０で演
算する上記の差異は三次元位置姿勢センサ３５０の誤差
を反映するからである。赤外光カメラ２２０の位置姿勢
と視点の位置姿勢との相対関係は既知であり、その関係
は三次元座標変換で表される。従って、このカメラの位
置姿勢の補正行列ΔＭｃに基づいて、ステップＳ４４０
で、ステップＳ４３２で演算した視点のビューイング変
換行列Ｍｖを補正し、この補正された変換行列Ｍｖ’を
複合現実感画像生成モジュール５３０に渡す。The position and orientation of the infrared camera 220 can be corrected by the coordinate value of the marker (marker 403 in the example of FIG. 9) observed by the marker detection module 510 and the red value detected by the three-dimensional position and orientation sensor 350. Since the marker coordinates based on the posture position of the external light camera 220 should match if the sensor output is correct, the above difference calculated in step S430 reflects the error of the three-dimensional position and posture sensor 350. Because. The relative relationship between the position and orientation of the infrared camera 220 and the position and orientation of the viewpoint is known, and the relationship is represented by three-dimensional coordinate conversion. Therefore, based on the correction matrix ΔMc of the position and orientation of this camera, step S440
Then, the viewpoint viewing transformation matrix M v calculated in step S 432 is corrected, and the corrected transformation matrix M v ′ is passed to the mixed reality image generation module 530.
【００４５】ステップＳ４２０では、検出されたマーカ
に対して「マーカ判別」の処理を行う。検出されたマー
カの画像座標(x0、y0)と各マーカｉ（ｉ＝０〜Ｎ）の観
測予測座標(xi、yi)との距離eiが最小値を示すマーカを
探索し、そのマーカの識別子ｉを出力すればよい。In step S420, the "marker discrimination" processing is performed on the detected marker. A marker for which the distance e i between the detected image coordinate (x 0 , y 0 ) of the marker and the observation predicted coordinate (x i , y i ) of each marker i (i = 0 to N) has the minimum value is searched for. , The identifier i of the marker may be output.
【００４６】［数１］ [Equation 1]
【００４７】次ぎに、ステップＳ４３０では、判別され
たマーカiの観測予測座標(xi、yi)と、検出されたマー
カの画像座標(x0、y0)に基づいて、この誤差を打ち消す
ように赤外カメラ２２０の位置姿勢に補正を加える変換
行列ΔＭｃを求める。Next, in step S430, this error is canceled based on the observed predicted coordinates (x i , y i ) of the determined marker i and the image coordinates (x 0 , y 0 ) of the detected marker. Thus, the conversion matrix ΔMc for correcting the position and orientation of the infrared camera 220 is obtained.
【００４８】一方、ステップＳ４３２では、三次元位置
姿勢センサ３５０出力に基づいて、プレーヤの視点位置
でのビューイング変換行列ＭＶを求める。また、Ｍｖｃ
をカメラ座標系から視点座標系への変換行列（既知であ
る）とすると、ステップＳ４４０では、このＭｖｃを用
いて、次式によって補正後の視点のビューイング変換行
列Ｍｖ’を導出する。On the other hand, in step S432, the viewing transformation matrix M V at the player's viewpoint position is obtained based on the output of the three-dimensional position and orientation sensor 350. Also, M vc
Is a transformation matrix (known) from the camera coordinate system to the viewpoint coordinate system, in step S440, the viewing transformation matrix M v ′ of the corrected viewpoint is derived by the following equation using this M vc .
【００４９】［数２］ [Equation 2]
【００５０】この補正後の視点のビューイング変換行列
Ｍｖ’により、仮想画像を生成して、更に、カラーカメ
ラが撮影した現実世界のカラー画像との融合を行ってＨ
ＭＤ３００上に表示すれば、精度の高い複合現実感が体
験できる。A virtual image is generated by the viewing transformation matrix M v 'of the viewpoint after the correction, and further, a virtual image is fused with the color image of the real world photographed by the color camera to obtain H.
When displayed on the MD 300, you can experience highly accurate mixed reality.
【００５１】本発明は赤外光画像を用いる点によって特
徴づけられる。赤外光画像を用いれば、マーカ自身はユ
ーザ（観察者）には目立たないので、違和感を与えるこ
とはない。更に、可視光は排除されるので、赤外光を反
射するマーカが顕著に現れる赤外光を処理することで、
マーカ検出を精度よく行うことができるからである。The present invention is characterized by the use of infrared light images. When the infrared light image is used, the marker itself is inconspicuous to the user (observer), and thus does not give a sense of discomfort. Furthermore, since visible light is excluded, by processing infrared light in which a marker that reflects infrared light appears prominently,
This is because marker detection can be performed accurately.
【００５２】また赤外光画像を処理することによって、
処理速度を向上させることができるという副次的な効果
も上げることができる。第１０図は、従来のカラー画像
によるマーカ検出処理の手順である。第７図のステップ
Ｓ１２と第１０図のステップＳ２２とを比較しても分か
るように、従来例では、３軸の色空間で処理を行ってい
たために、処理に時間を費やしたからである。この実施
形態では、単色の画像を処理するから短時間処理が可能
になる。Also by processing the infrared image,
The secondary effect that the processing speed can be improved can also be enhanced. FIG. 10 is a procedure of a conventional marker detection process using a color image. This is because, as can be seen by comparing step S12 of FIG. 7 and step S22 of FIG. 10, time is spent in the processing because the processing is performed in the triaxial color space in the conventional example. In this embodiment, since a monochromatic image is processed, short-time processing is possible.
【００５３】本発明は上記実施形態に限られず種々変形
できる。
変形例１： 上記実施形態は、マーカ検出を三次元位置
姿勢センサ３５０により得られた観察者の視点位置姿勢
情報を補正する目的に使用したが、本発明のマーカ検出
は、この目的以外にも使用することができる。例えば、
本発明はマーカを精度よく検出することを可能にするか
ら、画像上の複数（一般には３点から６点以上）のマー
カ座標に基づいて観察者の視点位置姿勢推定を行なう周
知の視点位置姿勢推定手法と組み合わせることで、画像
情報のみから観察者の視点位置姿勢情報を得ることも可
能である。The present invention is not limited to the above embodiment and can be variously modified. Modified Example 1 In the above embodiment, the marker detection is used for the purpose of correcting the viewpoint position / orientation information of the observer obtained by the three-dimensional position / orientation sensor 350, but the marker detection of the present invention is not limited to this purpose. Can be used. For example,
Since the present invention makes it possible to detect a marker with high accuracy, a known viewpoint position / orientation for estimating the viewpoint position / orientation of an observer based on a plurality (generally 3 to 6 or more) of marker coordinates on an image. By combining with the estimation method, it is possible to obtain the viewpoint position / orientation information of the observer only from the image information.
【００５４】また、画像情報と任意のセンサ（加速度セ
ンサ、ジャイロセンサ、地磁気センサ等）の併用により
観察者の視点位置姿勢推定を行なう周知の視点位置姿勢
推定手法と組み合わせて用いることも可能である。即
ち、三次元位置姿勢センサ３５０は視点位置姿勢を推定
するために必ずしも必要ではない。It is also possible to use it in combination with a known viewpoint position / orientation estimation method for estimating the viewpoint position / orientation of an observer by using image information and an arbitrary sensor (acceleration sensor, gyro sensor, geomagnetic sensor, etc.) in combination. . That is, the three-dimensional position and orientation sensor 350 is not always necessary to estimate the viewpoint position and orientation.
【００５５】変形例２： 上記実施形態は、複合現実感
画像の提示に本発明のＨＭＤを利用した。本発明のＨＭ
Ｄの利用目的はこれに限られず、およそがＨＭＤを装着
し、ＨＭＤ上のカメラとにより、外部のマーカを検出す
ることが必要となるアプリケーションであればいかなる
ものにも適用可能である。Modified Example 2 In the above embodiment, the HMD of the present invention was used to present the mixed reality image. HM of the present invention
The purpose of use of D is not limited to this, and it can be applied to any application as long as it is necessary to wear an HMD and detect an external marker with a camera on the HMD.
【００５６】変形例３： 上記実施形態では、単眼の複
合現実感画像の提示に本発明を利用したが、観察者に立
体感を与えるために観察者の両眼にステレオの複合現実
感画像を提示するためのＨＭＤであっても、本発明は適
用可能である。この場合、ＨＭＤ３００の上部には、第
２図に示すように、赤外光発光器／カメラの組体２００
と、一対のステレオカラーカメラ１００Ｒと１００Ｌと
が設けられている。一対のステレオカメラ１００Ｒ，１
００Ｌは赤外光発光器／カメラの組体２００を挟んでＨ
ＭＤ３００の左右対称位置に配置されている。Modified Example 3 In the above embodiment, the present invention is used to present a monocular mixed reality image, but in order to give a stereoscopic effect to the observer, a stereo mixed reality image is displayed on both eyes of the observer. The present invention can be applied even to an HMD for presentation. In this case, the infrared light emitter / camera assembly 200 is provided on the HMD 300 as shown in FIG.
And a pair of stereo color cameras 100R and 100L. A pair of stereo cameras 100R, 1
00L is H with the infrared light emitter / camera assembly 200 interposed therebetween.
It is arranged at the symmetrical position of MD300.
【００５７】また、視点位置姿勢推定モジュール５２０
は左右のカラーカメラ１００Ｌ、１００Ｒの視点の位置
姿勢をそれぞれ推定し、複合現実感画像生成モジュール
５３０に出力する。視点位置姿勢の推定は、ＭＬＲをカ
ラーカメラ１００Ｌと１００Ｒの相対的な位置姿勢の関
係を表わす座標変換行列（既知である）とすると、たと
えば、上記実施形態の手法により右カラーカメラ１００
Ｒの視点位置姿勢（ビューイング変換行列）Ｍｖ’Ｒを
求めた後に、これに行列ＭＬＲを乗じることで左カラー
カメラ１００Ｌの視点位置姿勢（ビューイング変換行
列）Ｍｖ’Ｌを導出するといった方法で実現できる。The viewpoint position / orientation estimation module 520
Respectively estimates the position and orientation of the viewpoints of the left and right color cameras 100L and 100R and outputs them to the mixed reality image generation module 530. In the estimation of the viewpoint position / orientation, assuming that M LR is a coordinate conversion matrix (known) that represents the relative position / orientation relationship between the color cameras 100L and 100R, for example, the right color camera 100 according to the method of the above embodiment.
After obtaining the viewpoint position / posture (viewing transformation matrix) M v ′ R of R , this is multiplied by the matrix M LR to derive the viewpoint position / posture (viewing transformation matrix) M v ′ L of the left color camera 100L. It can be realized by such a method.
【００５８】また、複合現実感画像生成モジュール５３
０は、左右の視点の位置姿勢それぞれに基づいて左右の
仮想画像を生成して、更に、カラーカメラ１００Ｌ、１
００Ｒより入力される左右のカラー画像にそれぞれ重畳
して、ＨＭＤ３００の左右の表示面へと出力する。Further, the mixed reality image generation module 53
0 generates the left and right virtual images based on the position and orientation of the left and right viewpoints, and further, the color cameras 100L, 1
It is superimposed on the left and right color images input from 00R and is output to the left and right display surfaces of the HMD 300.
【００５９】変形例４： 上記実施形態では、ビデオシ
ースルー方式のＨＭＤであったが、光学式シースルー方
式のＨＭＤであっても本発明は適用可能である。この場
合、観察者は自分自身の目で見ている現実世界に対して
光学的に重畳された仮想画像を観察する。したがって、
本変形例では、ＨＭＤ３００にカラーカメラ１００は配
置されておらず、複合現実感画像生成モジュール５３０
は、仮想画像のみを生成しＨＭＤ３００上へ表示する。Modified Example 4 In the above embodiment, the video see-through HMD is used, but the present invention can be applied to an optical see-through HMD. In this case, the observer observes the virtual image optically superimposed on the real world seen by his / her own eyes. Therefore,
In this modification, the color camera 100 is not arranged in the HMD 300, and the mixed reality image generation module 530
Generates only a virtual image and displays it on the HMD 300.
【００６０】また、光学シースルー方式の場合、視点位
置姿勢推定モジュール５２０が求める視点位置姿勢は、
上記実施形態のようにカラーカメラ１００の視点位置姿
勢ではなく、観察者自身の視点位置姿勢となる。すなわ
ち、上記カメラ座標系から視点座標系への変換行列Ｍｖ
ｃは、赤外光カメラの位置姿勢と観察者自身の視点位置
姿勢とのオフセットを考慮して設定すればよい。また、
光学シースルー方式のＨＭＤでの立体視は、観察者の左
右の視点位置姿勢のオフセットを考慮することで、変形
例３と同様に実現できる。In the case of the optical see-through method, the viewpoint position and orientation estimated by the viewpoint position and orientation estimation module 520 is
Instead of the viewpoint position and orientation of the color camera 100 as in the above embodiment, the viewpoint position and orientation of the observer himself / herself are used. That is, the transformation matrix Mv from the camera coordinate system to the viewpoint coordinate system
c may be set in consideration of the offset between the position and orientation of the infrared light camera and the observer's own viewpoint position and orientation. Also,
Stereoscopic vision with the optical see-through HMD can be realized in the same manner as in Modification 3 by considering the offset of the left and right viewpoint positions and orientations of the observer.
【００６１】変形例５： 上記実施形態では、マーカと
して、再帰性反射材を用いたが、例えばミラーボール
（多数の小さな例えば三角形もしくは矩形のミラーを球
体表面に張り付けたもの）であってもよい。Modification 5: In the above embodiment, the retroreflective material is used as the marker, but it may be, for example, a mirror ball (a large number of small, for example, triangular or rectangular mirrors attached to the surface of a sphere). .
【００６２】変形例６： 本発明のＨＭＤは、複合現実
感提示システム以外の、所謂仮想現実感提示システムに
も用いることができる。Modified Example 6 The HMD of the present invention can be used in so-called virtual reality presentation systems other than mixed reality presentation systems.
【００６３】変形例７： また、上記実施形態では、マ
ーカ画像を取得する赤外光カメラは単眼であったが二眼
であってもよい。Modification 7: In the above embodiment, the infrared light camera for acquiring the marker image is a single eye, but may be a double eye.
【００６４】変形例８： 上記実施形態におけるマーカ
検出モジュールの処理は任意の方法を用いることが出来
る。例えば、前フレームで検出されたマーカを現フレー
ムで追跡するような処理を用いても良いし、マーカの特
定をマーカ検出モジュールで行なってもよい。Modification 8: The marker detection module according to the above-described embodiment can use any method. For example, a process of tracking the marker detected in the previous frame in the current frame may be used, or the marker may be specified in the marker detection module.
【００６５】変形例９： 視点位置姿勢推定モジュール
の処理は上述の実施形態における処理内容に限定される
ものではなく、他のいかなる方法で三次元位置姿勢セン
サの誤差を補正してもよい。Modification 9: The processing of the viewpoint position / orientation estimation module is not limited to the processing contents in the above embodiment, and the error of the three-dimensional position / orientation sensor may be corrected by any other method.
【００６６】[0066]
【発明の効果】以上説明したように本発明によれば、マ
ーカを精度よく確実に検出することができるヘッドマウ
ントディスプレイ装置及びその装置を用いたヘッドマウ
ントディスプレイシステムを提供できる。As described above, according to the present invention, it is possible to provide a head mounted display device capable of detecting a marker with high accuracy and certainty, and a head mounted display system using the device.
【図１】 本発明を適用した実施形態に係る複合現実感
提示システムのブロック図。FIG. 1 is a block diagram of a mixed reality presentation system according to an embodiment to which the present invention is applied.
【図２】 図１のシステムに用いられるＨＭＤ装置の外
観を示す図。FIG. 2 is a diagram showing an appearance of an HMD device used in the system of FIG.
【図３】 図２のＨＭＤ装置の内部光学系の構成を示す
図。FIG. 3 is a diagram showing a configuration of an internal optical system of the HMD device of FIG.
【図４】 図２のＨＭＤ装置に装着された赤外光発光器
／赤外光カメラ組体２００の構成を示す図。4 is a diagram showing a configuration of an infrared light emitter / infrared camera assembly 200 mounted on the HMD device of FIG.
【図５】 実施形態に用いられるマーカの構成を示す
図。FIG. 5 is a diagram showing a configuration of a marker used in the embodiment.
【図６】 実施形態において、観察者の視点位置姿勢の
変化に伴って、マーカ検出が追随される様子を説明する
図。FIG. 6 is a diagram for explaining how marker detection is followed in accordance with a change in the viewpoint position and orientation of an observer in the embodiment.
【図７】 実施形態のマーカ検出モジュールの制御手順
を示すフローチャート。FIG. 7 is a flowchart showing a control procedure of the marker detection module of the embodiment.
【図８】 実施形態の視点位置姿勢推定モジュールの制
御手順を示すフローチャート。FIG. 8 is a flowchart showing a control procedure of the viewpoint position and orientation estimation module according to the embodiment.
【図９】 実施形態における、マーカ検出によりセンサ
３５０の出力が補正できる原理を説明する図。FIG. 9 is a diagram for explaining the principle that the output of the sensor 350 can be corrected by detecting a marker in the embodiment.
【図１０】 従来のマーカ検出モジュールの制御手順を
示すフローチャート。FIG. 10 is a flowchart showing a control procedure of a conventional marker detection module.
Claims (13)
トディスプレイ装置であって、 ヘッドマウントディスプレイユニットと、 所定の照明方向を有する赤外光照明装置と、 所定の撮影方向を有する赤外光カメラとを具備すること
を特徴とするヘッドマウントディスプレイ装置。1. A head mounted display device mounted on the head of an observer, the head mounted display unit, an infrared light illuminating device having a predetermined illumination direction, and infrared light having a predetermined photographing direction. A head mounted display device comprising a camera.
の近傍に取り付けられたことを特徴とする請求項１に記
載のヘッドマウントディスプレイ装置。2. The head mounted display device according to claim 1, wherein the infrared light illuminating device is attached near the infrared light camera.
器を有し、これらの発光器が前記赤外光カメラの対物レ
ンズの周囲に取り付けられていることを特徴とする請求
項１または２に記載のヘッドマウントディスプレイ装
置。3. The infrared light illuminator has a plurality of infrared light emitters, which are mounted around an objective lens of the infrared light camera. The head mounted display device according to 1 or 2.
トは、遮蔽式であって、観察者に提示する映像を撮影す
るためのカラーカメラを更に有することを特徴とする、
請求項１乃至３のいずれかに記載のヘッドマウントディ
スプレイ装置。4. The head mounted display unit is a shield type and further includes a color camera for capturing an image presented to an observer.
The head mounted display device according to claim 1.
トは透過式であることを特徴とする、請求項１乃至３の
いずれかに記載のヘッドマウントディスプレイ装置。5. The head mounted display device according to claim 1, wherein the head mounted display unit is a transmissive type.
ドマウントディスプレイ装置と、 各々が反射面を有する複数のマーカと、 前記赤外光カメラによる赤外光画像を処理して前記マー
カの位置を検出する検出手段とを具備することを特徴と
するヘッドマウントディスプレイシステム。6. The head mounted display device according to claim 1, a plurality of markers each having a reflecting surface, and an infrared light image processed by the infrared light camera to process the infrared light image. A head mount display system, comprising: a detection unit that detects a position.
カ位置に基づいて前記観察者の視点位置姿勢を推定する
推定手段をさらに具備することを特徴とする請求項６記
載のヘッドマウントディスプレイシステム。7. The head mounted display system according to claim 6, further comprising an estimation unit that estimates the viewpoint position and orientation of the observer based on the marker position obtained by the detection unit.
求項１乃至５のいずれかに記載のヘッドマウントディス
プレイ装置。8. The head mounted display device according to claim 1, further comprising a three-dimensional position and orientation sensor.
プレイ装置を具備するヘッドマウントディスプレイシス
テムであって、 各々が反射面を有する複数のマーカと、 前記赤外光カメラによる赤外光画像を処理して前記マー
カの位置を検出する検出手段と、 前記検出手段によつて得られる前記マーカ位置と、前記
３次元位置姿勢センサによって得られる前記観察者の大
まかな視点位置姿勢情報に基づいて、前記観察者の視点
位置姿勢を推定する推定手段をさらに具備することを特
徴とするヘッドマウントディスプレイシステム。9. A head mounted display system comprising the head mounted display device according to claim 8, wherein a plurality of markers each having a reflecting surface, and an infrared light image processed by the infrared light camera are processed. Detecting means for detecting the position of the marker, the marker position obtained by the detecting means, and the rough viewpoint position and orientation information of the observer obtained by the three-dimensional position and orientation sensor. A head mounted display system, further comprising: an estimation unit that estimates a viewpoint position and orientation of a person.
づいて前記観察者の視点位置姿勢の補正を行なうことを
特徴とする、請求項９に記載のヘッドマウントディスプ
レイシステム。10. The head mounted display system according to claim 9, wherein the estimating means corrects the viewpoint position and orientation of the observer based on the marker position.
サ、角度センサのいずれか１つ以上をさらに有すること
を特徴とする請求項１乃至請求項５のいずれか１項に記
載のヘッドマウントディスプレイ装置。11. The head mount display device according to claim 1, further comprising one or more of a three-dimensional position / orientation sensor, an acceleration sensor, and an angle sensor.
ィスプレイ装置を具備するヘッドマウントディスプレイ
システムであって、 各々が反射面を有する複数のマーカと、 前記赤外光カメラによる赤外光画像を処理して前記マー
カの位置を検出する検出手段と、 前記検出手段によつて得られる前記マーカ位置と、前記
３次元位置姿勢センサ、加速度センサ、角度センサのい
ずれか１つ以上の出力に基づいて、前記観測者の視点位
置姿勢を推定する推定手段をさらに具備することを特徴
とするヘッドマウントディスプレイシステム。12. A head-mounted display system comprising the head-mounted display device according to claim 11, wherein a plurality of markers each having a reflecting surface, and an infrared light image by the infrared light camera are processed. Based on the output of at least one of the three-dimensional position / orientation sensor, the acceleration sensor, and the angle sensor, and the detection unit that detects the position of the marker by the detection unit, and the marker position obtained by the detection unit. A head mounted display system, further comprising: an estimation means for estimating a viewpoint position and orientation of an observer.
表面処理されていることを特徴とする請求項６乃至請求
項１２のいずれか１項に記載のヘッドマウントディスプ
レイシステム。13. The head mounted display system according to claim 6, wherein the marker is surface-treated with a retroreflective material.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000085030A JP3372926B2 (en) | 1999-03-26 | 2000-03-24 | Head mounted display device and head mounted display system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8465999 | 1999-03-26 | ||
| JP11-84659 | 1999-03-26 | ||
| JP2000085030A JP3372926B2 (en) | 1999-03-26 | 2000-03-24 | Head mounted display device and head mounted display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000347128A JP2000347128A (en) | 2000-12-15 |
| JP3372926B2 true JP3372926B2 (en) | 2003-02-04 |
Family
ID=26425653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000085030A Expired - Fee Related JP3372926B2 (en) | 1999-03-26 | 2000-03-24 | Head mounted display device and head mounted display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3372926B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929533A (en) * | 2015-02-18 | 2016-09-07 | Lg电子株式会社 | Head mounted display |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4743818B2 (en) * | 2003-04-04 | 2011-08-10 | キヤノン株式会社 | Image processing apparatus, image processing method, and computer program |
| JP4532856B2 (en) | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | Position and orientation measurement method and apparatus |
| EP1521213A3 (en) | 2003-09-30 | 2006-08-30 | Canon Kabushiki Kaisha | Index identification method and apparatus |
| JP4566786B2 (en) * | 2004-05-14 | 2010-10-20 | キヤノン株式会社 | Position and orientation measurement method and information processing apparatus |
| JP4751084B2 (en) * | 2005-01-11 | 2011-08-17 | 三菱プレシジョン株式会社 | Mapping function generation method and apparatus, and composite video generation method and apparatus |
| JP4769079B2 (en) * | 2005-12-15 | 2011-09-07 | 日本放送協会 | Camera information analyzer |
| JP4989417B2 (en) * | 2007-10-26 | 2012-08-01 | キヤノン株式会社 | Image display system, image display apparatus, control method therefor, and computer program |
| JP4982715B2 (en) * | 2008-08-21 | 2012-07-25 | 学校法人関西学院 | Information providing method and information providing system |
| JP5691631B2 (en) * | 2011-02-24 | 2015-04-01 | 株式会社大林組 | Image composition method |
| JP5711104B2 (en) * | 2011-12-14 | 2015-04-30 | 株式会社東芝 | Image display apparatus, method, program, and image processing apparatus |
| JP5928228B2 (en) * | 2012-07-31 | 2016-06-01 | カシオ計算機株式会社 | Subject detection apparatus, subject detection method, and program |
| CN105247861B (en) * | 2013-03-22 | 2017-11-10 | 精工爱普生株式会社 | Infrared video shows glasses |
| KR101658096B1 (en) * | 2015-02-18 | 2016-09-21 | 엘지전자 주식회사 | Head mounted display |
| JP2015144457A (en) * | 2015-03-03 | 2015-08-06 | 株式会社東芝 | image display device, method, and program |
| US20160378204A1 (en) * | 2015-06-24 | 2016-12-29 | Google Inc. | System for tracking a handheld device in an augmented and/or virtual reality environment |
| KR20170004608A (en) * | 2015-07-03 | 2017-01-11 | 엘지전자 주식회사 | Smart device and method for contolling the same |
| JP2019113794A (en) * | 2017-12-26 | 2019-07-11 | ソニーセミコンダクタソリューションズ株式会社 | Image display unit and display unit |
| JP7334521B2 (en) * | 2019-07-23 | 2023-08-29 | 株式会社島津製作所 | Head motion tracker device |
-
2000
- 2000-03-24 JP JP2000085030A patent/JP3372926B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105929533A (en) * | 2015-02-18 | 2016-09-07 | Lg电子株式会社 | Head mounted display |
| CN105929533B (en) * | 2015-02-18 | 2018-11-20 | Lg电子株式会社 | Head-mounted display |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000347128A (en) | 2000-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3372926B2 (en) | Head mounted display device and head mounted display system | |
| CN110647237B (en) | Gesture-based content sharing in an artificial reality environment | |
| CN114895471B (en) | Head mounted display for virtual reality and mixed reality with in-out position tracking, user body tracking and environmental tracking | |
| JP5965410B2 (en) | Optimal focus area for augmented reality display | |
| USRE45031E1 (en) | Vision-based augmented reality system using invisible marker | |
| US6433760B1 (en) | Head mounted display with eyetracking capability | |
| US7369101B2 (en) | Calibrating real and virtual views | |
| US9891435B2 (en) | Apparatus, systems and methods for providing motion tracking using a personal viewing device | |
| US11854171B2 (en) | Compensation for deformation in head mounted display systems | |
| JP2018511098A (en) | Mixed reality system | |
| KR20150093831A (en) | Direct interaction system for mixed reality environments | |
| JPWO2013179427A1 (en) | Display device, head mounted display, calibration method, calibration program, and recording medium | |
| US10634918B2 (en) | Internal edge verification | |
| JPH10327433A (en) | Display device for composted image | |
| US11024040B2 (en) | Dynamic object tracking | |
| US10748344B2 (en) | Methods and devices for user interaction in augmented reality | |
| US11694345B2 (en) | Moving object tracking using object and scene trackers | |
| JP2021018729A (en) | Personal identification apparatus, head-mounted display, content distribution server, and personal identification method | |
| WO2024047990A1 (en) | Information processing device | |
| TWI823740B (en) | Active interactive navigation system and active interactive navigation method | |
| US20230290081A1 (en) | Virtual reality sharing method and system | |
| EP4322114A1 (en) | Projective bisector mirror | |
| WO2023195995A1 (en) | Systems and methods for performing a motor skills neurological test using augmented or virtual reality | |
| JP2024008006A (en) | Image processing device, display device, image processing method, and program | |
| JP2024022726A (en) | Electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021025 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3372926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |