JP2000102036A - Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method - Google Patents

Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method

Info

Publication number
JP2000102036A
JP2000102036A JP26863898A JP26863898A JP2000102036A JP 2000102036 A JP2000102036 A JP 2000102036A JP 26863898 A JP26863898 A JP 26863898A JP 26863898 A JP26863898 A JP 26863898A JP 2000102036 A JP2000102036 A JP 2000102036A
Authority
JP
Japan
Prior art keywords
position
observer
mixed reality
presentation
presentation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP26863898A
Other languages
Japanese (ja)
Inventor
Toshiichi Oshima
Kiyohide Sato
清秀 佐藤
登志一 大島
Original Assignee
Mr System Kenkyusho:Kk
株式会社エム・アール・システム研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mr System Kenkyusho:Kk, 株式会社エム・アール・システム研究所 filed Critical Mr System Kenkyusho:Kk
Priority to JP26863898A priority Critical patent/JP2000102036A/en
Publication of JP2000102036A publication Critical patent/JP2000102036A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a composite actual feeling presentation system with less calibration and less position deviation. SOLUTION: The three-dimensional position of a marker provided on an indicator 30 held by a user is measured corresponding to the coordinate system of a camera by using left and right stereo cameras 21R and 21L provided near the view point position of an observer, that is a head part, and a virtual image is outputted and displayed to an HMD (head mounted display) 22 provided on the head part of the observer so as to view the virtual image at the three- dimensional position.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、例えばコンピュータグラフィックスによる仮想画像を現実の空間に融合させて観察者に提示する複合現実感提示システム、その方法、複合現実感提示に用いるマン・マシーンインタフェース装置、その方法、さらには、コンピュータ可読の記録媒体に関する。 The present invention relates to, for example computer graphics mixed reality presentation system for presenting to an observer by fusing virtual image in the real space by a method thereof, man-machine interface used in a mixed reality presentation device, the method further relates to a recording medium from which a computer can read.

【0002】 [0002]

【従来の技術】近年、現実空間と仮想空間の繋ぎ目のない(seemless)結合を目的とした複合現実感(以下、「M In recent years, there is no joint of real space and virtual space (seemless) mixed reality for the purpose of the bond (hereinafter referred to as "M
R」(Mixed Reality)と称す)に関する研究が盛んになっている。 Research on R "(Mixed Reality) and referred to) has become popular. MRは、従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ(以下V MR is, conventional, virtual reality was only possible experience in the situation that has been separated from the real space (less than V
Rと略す)の世界と現実空間との共存を目的とし、VR For the purpose of co-existence of the world and the real space of abbreviated as R), VR
を増強する技術として注目されている。 It has been attracting attention as a technology to enhance.

【0003】MRは、現実空間にコンピュータが組み立てた仮想空間を融合するものである。 [0003] MR is intended to fuse the virtual space of the computer is assembled in real space. 融合は、通常、光学See-Through式HMD(Head Mount Display)あるいはビデオSee-Through式HMDを介して行われる。 Fusion is usually done via an optical See-Through type HMD (Head Mount Display) or a video See-Through type HMD. 即ち、 In other words,
光学式See-Through HMDを用いた場合は、直接見通した外界世界とHMD内で眼前に設けられたLCD等に表示されたCGとを透視することにより、現実世界と仮想世界とが融合される。 In the case of using an optical See-Through HMD, by fluoroscopy and CG displayed on the LCD or the like provided in front of the eyes at the prospect and the outside world in the world and HMD directly, and virtual world are fused with the real world . 一方、ビデオSee-Through式HMDを用いる場合は、HMDでも受けられたビデオカメラが撮影した画像にCG画像を重ね合わせて観察者に提示することにより、現実世界と仮想世界とが融合される。 On the other hand, in the case of using the video See-Through type HMD, by a video camera that is received even HMD is presented to the observer by superimposing a CG image on the image taken, the real world and the virtual world are fused.

【0004】MRの応用に、観察者等が指示した位置を仮想世界の座標系に同定することが必要となる場合がある。 [0004] Applications of MR, it may be necessary to identify the viewer or the like has pointed position on the coordinate system of the virtual world. 例えば、把持した指示器により観察者が指示した位置に例えばCG画像を表示させるためには、その指示位置を基準の座標系で検出する必要がある。 For example, in order to display to the viewer instructs position, for example a CG image by the grasped indicator, it is necessary to detect the indication position in the reference coordinate system. 実際に指示した位置がシステムが認識した位置と異なっていては、提示されるCG画像の表示位置が現実世界と一致しないために、観察者に違和感を与える。 Is different from the actual indication position has been recognized by the system position, the display position of the CG image to be presented will give in because it does not match the real world, a sense of discomfort to the observer.

【0005】このために、指示器の位置を精度良く測定することはMR技術において大きな課題である。 [0005] For this, it is a major challenge in MR technique to accurately measure the position of the indicator. 図1 Figure 1
は、複合現実感提示システムにおいて、HMD10を装着したユーザ13が、手に指示器12を把持している様子を示している。 , In mixed reality presentation system, the user 13 wearing the HMD10 have shown a state in which holding the indicator 12 in the hand. この例では、ユーザの頭部位置(即ち、視点位置)はHMD10に設けられた磁気センサ1 In this example, the head position of the user (i.e., the viewpoint position) of the magnetic sensor 1 provided HMD10
1により測定され、測定された視点位置に基づいて仮想現実感を与えるためのCG画像を生成してHMDに与える。 As measured by 1, giving the HMD to generate a CG image for providing a virtual reality on the basis of the measured viewpoint position. ユーザとMRシステムとのユーザインタフェースは指示器12により行われる。 User interface with the user and the MR system is performed by the indicator 12.

【0006】図2は磁気センサの測定原理を説明するもので、トランスミッタから電磁界を放射し、頭部に装着された磁気センサ11が電磁界を検出して、頭部(またはHMD)の三次元位置を測定する。 [0006] Figure 2 is intended to explain the measuring principle of the magnetic sensor, emits an electromagnetic field from the transmitter, the magnetic sensor 11 mounted on the head detects the electromagnetic field, tertiary head (or HMD) to measure the original position. 磁気センサ11の出力に基づいて三次元位置を測定する場合には、その測定位置は常に世界座標系を基準としたものとなる。 When measuring the three-dimensional position based on the output of the magnetic sensor 11, it becomes the measurement position was always based on the world coordinate system. 一方、指示器12は、図3に示されるように、複数(例えば6つ)のLEDが装着され、この6カ所のLEDから光が発せられる。 On the other hand, the indicator 12, as shown in FIG. 3, the LED plurality (e.g., six) is mounted, the light is emitted from the LED of the six locations. ユーザは、指示器を把持した状態で、 While the user is gripping the indicator,
カメラにより撮像されるように位置しながら、所望の位置に指示器の先端を向ける。 While the position as taken by the camera, directing the tip of the indicator at a desired position. 指示器の三次元位置はカメラにより撮像された画像に基づいて6つのLEDの位置を測定し、測定された6つのLEDが形成する図形の変形に基づいて、指示器先端の世界座標系による三次元座標位置が測定される。 Three-dimensional position of the indicator to measure the position of the six LED based on the image captured by the camera, based on the deformation of the figure six LED measured forms a three by the world coordinate system of the indicator tip order original coordinate position is measured. この三次元位置が、ユーザが指示した三次元位置としてMRシステムは認識する。 The three-dimensional position, MR system as a three-dimensional position designated by the user is recognized.

【0007】 [0007]

【発明が解決しようとする課題】複合現実感提示システムでは、CGをユーザの視野に提示する視点位置は、上述したように、磁気センサ11からの出力信号に基づいて測定したユーザの頭部位置をユーザの目の位置に変換することにより得ている。 The mixed reality presentation system [0005], viewpoint position to present the CG to the user's field of view, as described above, the head position of the user measured based on the output signal from the magnetic sensor 11 It is obtained by converting the position of the user's eyes. この得られた視点位置は世界座標系で表される。 The resulting viewpoint position is represented by the world coordinate system.

【0008】一方、指示器12の三次元姿勢位置により得られたユーザの指示位置の三次元座標も世界座標系で表される。 On the other hand, three-dimensional coordinates of the designated position of the user obtained by the three-dimensional posture position of the indicator 12 is also expressed in the world coordinate system. ここで、磁気センサ11により観測されたユーザの視点位置を基準とするHMDの視界に、指示器1 Here, the field of view of the HMD relative to the viewpoint position of the user observed by the magnetic sensor 11, indicator 1
2により得られたユーザ指示位置にCG図形(例えば、 CG graphical user instruction position obtained by 2 (e.g.,
CGのボタン)を提示する場合を想定すると、そのCG Assuming a case that presents the CG button of), the CG
図形は現実と大きくずれた位置に表示あるいは提示されることがある。 Graphic may be displayed or presented to reality greatly deviated position.

【0009】図4及び図5は、頭部磁気センサにより視点位置を認識し、指示器をユーザインタフェースとするMRシステムにおいて、所謂「位置ずれ」が発生する理由を説明する。 [0009] Figures 4 and 5, to recognize the point of view by the head magnetic sensor, in an MR system for the indicator with the user interface, explaining why the so-called "positional deviation" occurs. 図4において、前述したように、磁気センサにより認識されるユーザの視点位置(頭部位置)は世界座標系に対して誤差δ 1を有する。 4, as described above, the user of the viewpoint position recognized by the magnetic sensor (head position) has an error [delta] 1 to the world coordinate system. 誤差δ 1自体は“0”とすることはできず、小さくするためにはキャリブレーションが必要となる。 Can not be error [delta] 1 itself "0", calibration is required to reduce. 尚、ユーザの視点位置は頭部位置に比して更に誤差δ 3を有するが、この誤差δ 3自体も補正可能なものである。 Incidentally, the viewpoint position of the user is further have an error [delta] 3 relative to the head position, the error [delta] 3 itself is capable correction.

【0010】また、同じように、指示器12により測定された三次元の指示位置も世界座標系に対して誤差δ 2 [0010] Similarly, the error [delta] 2 with respect to the three-dimensional position indicated also world coordinate system measured by the indicator 12
を有するはずである。 It should have. このために、磁気センサ11により観測されたユーザの視点位置を基準とするHMDの視界に、指示器12により得られたユーザ指示位置にCG For this, the field of view of the HMD relative to the viewpoint position of the user observed by the magnetic sensor 11, CG a user instruction position obtained by indicators 12
図形(例えば、CGのボタン)を提示すると、提示されたCG図形の位置は、ユーザの視点位置に対しては、 δ=δ 1 + δ 2 …(1) という累積誤差を持つものとして提示されることになる。 Graphic (e.g., CG button) When presenting the position of the presented CG graphic, for a user of the viewpoint position are presented as having a cumulative error of δ = δ 1 + δ 2 ... (1) It becomes Rukoto. この誤差の累積が、CG図形の現実世界に対する大きな「位置ずれ」となって現れるのである。 This accumulation of error, is to appear as large "position deviation" for the real world of CG graphics.

【0011】この問題は、頭部位置の検出に磁気センサを用い、指示位置の測定に画像処理を用いていることによって発生することではなく、逆にして、頭部位置の測定に画像処理を用い、指示位置の測定に磁気センサを用いても、センサ自体に誤差があり、夫々のセンサからの出力に基づく測定結果が異なる座標系に基づく限り、同じように発生することに変わりはない。 [0011] This problem is a magnetic sensor to detect the head position, not to occur by that using image processing to the measurement of the position indicated, and conversely, the image processing to the measurement of the head position used, even if a magnetic sensor for measuring the indicated position, there is an error in the sensor itself as long as it is based on the output from the sensor of each measurement result is based on different coordinate systems, the fact remains that occur in the same way.

【0012】 [0012]

【課題を解決するための手段】本発明はこのような事態に鑑みてなされたもので、その目的は、キャリブレーションが少なく、且つ位置ずれも少ない複合現実感提示システムを提案するものである。 The present invention SUMMARY OF] has been made in view of such a situation, the purpose is to calibrate less, and positional displacement also proposes a small mixed reality presentation system. 上記課題を達成するための、本発明の請求項1にかかる、仮想空間と現実空間を融合して観察者に提示する複合現実感提示システムは、 To achieve the above object, according to claim 1 of the present invention, a mixed reality presentation system for presenting to the observer by fusing virtual space and physical space,
観察者の視点位置の近傍に設けられ、仮想画像を提示すべき提示位置の三次元座標値を、この視点位置に関連した座標系に従って検出する第1のセンサ手段と、前記観察者の視点位置を基準にして前記センサ手段によって検出された提示位置に、仮想画像を前記観察者に提示する仮想画像提示手段とを具備することを特徴とする。 Provided in the vicinity of the observer's viewpoint position, the three-dimensional coordinate values ​​of the presentation position to present the virtual image, a first sensor means for detecting according to the coordinate system associated with this viewpoint position, the viewpoint position of the observer the detected presentation position by said sensor means with respect to the, characterized by comprising a virtual image presenting means for presenting a virtual image to the observer.

【0013】このシステムによれば、センサ手段は、観察者の視点位置の近傍に設けられているので、仮想画像を提示すべき提示位置の三次元座標値が、この視点位置に関連した座標系に従って検出されると、その三次元座標値は観察者の視点位置の座標系に略一致したものとなる。 According to this system, sensor means, so disposed in the vicinity of the observer's viewpoint position, the three-dimensional coordinate values ​​of the presentation position to present the virtual image, the coordinate system associated with the viewpoint position When detected accordingly the three-dimensional coordinate value is obtained by substantially matching the coordinate system of the observer's viewpoint position. このために、仮想画像提示手段が、そのような提示位置に仮想画像を提示しても、換言すれば、世界座標系とのキャリブレーションを行わなくとも、現実空間との位置ずれは実質的に問題とならない程度に抑えられる。 For this, the virtual image presentation means may present the virtual image in such presentation position, in other words, without performing calibration between the world coordinate system, the displacement between the real space are substantially It is suppressed to such an extent that not a problem.

【0014】使用を考慮すれば、前記第1のセンサ手段は前記観察者の頭部位置に設けられることが好ましい。 [0014] In view of the use, the first sensor means is preferably provided on the head position of the observer.
そこで、本発明の好適な一態様である請求項2に拠れば、前記第1のセンサ手段は前記観察者の頭部位置に設けられた撮像手段を有し、前記仮想画像提示手段は、前記観察者の頭部に装着されるヘッドマウントデイスプレイを有することを特徴とする。 Therefore, according to claim 2 as a preferred embodiment of the present invention, the first sensor means includes an imaging means provided on the head position of the observer, the virtual image presentation means, the It characterized in that it has a head mount Deisupurei mounted on the observer's head.

【0015】本発明の好適な一態様である請求項3に拠れば、前記ヘッドマウントデイスプレイはビデオ・シー・スルー型である。 According to claim 3 a preferred aspect of the invention, the head-mounted Deisupurei is a video Sea through type. ビデオ・シー・スルー型ヘッドマウントデイスプレイは、カメラが撮影した現実世界の映像を画像として観察者に提示するものであるから、光学的シー・スルー型に比して位置ずれが、原理的に少なく、 Video Sea through type head mounted Deisupurei, since the camera is intended to be presented to the viewer an image of the real world captured as an image, the positional deviation in comparison with the optically Sea-through, in principle, less ,
世界座標系とのキャリブレーションを行わなくとも、実質的に問題とはならない程度に抑えられる。 Without performing the calibration of the world coordinate system, it is suppressed to such an extent that substantially does not become a problem.

【0016】本発明の好適な一態様である請求項4に拠れば、前記第1のセンサ手段は、頭部に装着され左右に離間したステレオカメラと、前記ステレオカメラが出力したステレオ画像データに基づいて、ステレオ視の手法により、前記提示位置の前記ステレオカメラの画像面上での三次元座標値を検出する手段とを具備することを特徴とする。 [0016] According to claim 4 a preferred aspect of the present invention, the first sensor means includes a stereo camera spaced horizontally mounted on the head, the stereo image data to which the stereo camera has output based on, by techniques stereo vision, characterized by comprising a means for detecting the three-dimensional coordinates on the image plane of the stereo camera of the presentation position.

【0017】位置ずれを極小化するために、請求項5の複合現実感提示システムのように、更に、前記観察者の視点位置を世界座標系に従って検出する第2のセンサ手段を更に具備することも好ましい。 [0017] In order to minimize the positional deviation, as in the mixed reality presentation system of claim 5, further second sensor means further be provided with a detected according world coordinate system the point of view of the observer It is also preferred. 仮想画像の提示位置は操作具によって指示される。 Presentation position of the virtual image is indicated by the operation tool. そこで、本発明の好適な一態様である請求項6に拠れば、その操作具は前記センサ手段のセンス範囲内におかれ観察者により操作される。 Therefore, according to claim 6 as a preferred embodiment of the present invention, the operation member is operated by an observer placed in the sense range of the sensor means.

【0018】操作具を用いて提示位置を指示するには、 [0018] To instruct the presentation position by using the operation device is,
観察者が、その位置が所望の位置であることをシステムに知らせることが必要である。 Observer, it is necessary to inform the system that the position is the desired position. そこで、本発明の好適な一態様である請求項7に拠れば、前記操作具には、前記観察者により操作され、観察者により所定のイベントタイミング信号を出力するスイッチが設けられたことを特徴とする。 Therefore, according to claim 7 a preferred aspect of the present invention, wherein the operation device is operated by the observer, characterized in that the switch for outputting a predetermined event timing signals by the observer is provided to.

【0019】本発明の好適な一態様である請求項8に拠れば、前記操作具は、その端部に設けられた少なくとも1つのマーカを有する。 According to claim 8 a preferred aspect of the invention, the operating member has at least one marker provided in the end portion. マーカの位置を前記センサ手段が検出することをもって提示位置とする。 It said sensor means the position of the marker is a presentation position with a detecting. 本発明の好適な一態様である請求項9に拠れば、前記マーカは1つ設けられ、前記センサ手段は前記提示位置の三次元座標位置を出力する。 According to claim 9 a preferred aspect of the present invention, the marker is provided one said sensor means outputs a three-dimensional coordinate position of the presentation position.

【0020】本発明の好適な一態様である請求項10に拠れば、前記マーカは2つ設けられ、前記センサ手段は前記提示位置の三次元座標位置と方向とを出力する。 According to claim 10 a preferred aspect of the invention, the marker is provided two, said sensor means outputs a three-dimensional coordinate position and direction of the presentation position. 本発明の好適な一態様である請求項11に拠れば、前記マーカは3つ設けられ、前記センサ手段は前記提示位置を通る平面座標を出力する。 According to claim 11 as a preferred embodiment of the present invention, the markers are provided three, said sensor means outputs a plane coordinates through the presentation position. 本発明の好適な一態様である請求項12に拠れば、前記マーカは、異なる色を付された複数のマーカを有することを特徴とする。 According to claim 12, which is a preferred aspect of the present invention, the marker is characterized by having a plurality of markers attached to different colors. 異なるマーカには異なる色を与えることにより、マーカ間の識別性が向上する。 By giving different colors to the different markers, discrimination between the markers can be improved.

【0021】本発明の好適な一態様である請求項13に拠れば、前記マーカは、異なる色を付された複数のマーカと同じ色を付された少なくとも1つのマーカとを有する。 According to claim 13 a preferred aspect of the invention, the marker comprises at least one marker attached to the same color as the plurality of markers attached to different colors. この場合には、観察者の動作に拘束条件が課せられる。 In this case, the constraints are imposed on the viewer's behavior. 本発明の好適な一態様である請求項14に拠れば、 According to claim 14 as a preferred embodiment of the present invention,
前記マーカは異なる色を発光する発光手段を有する。 The marker comprises a light emitting means for emitting different colors.

【0022】提示位置を指示する操作具は複数あっても良い。 [0022] The operation member to instruct the presentation position may be a plurality. 提示位置を同時に複数、さらには、階層的にあるいは互いに関連させ合って指示できるからである。 A plurality of presentation position simultaneously, and further, because it instructed each other hierarchically or in conjunction with each other. そこで、本発明の好適な一態様である請求項15に拠れば、 Therefore, according to claim 15 which is a preferred aspect of the present invention,
前記センサ手段のセンス範囲内におかれ観察者により操作される複数の操作具を有する。 Having a plurality of operating tool to be operated by placed observer within the sense range of the sensor means. 例えば、1つの操作具により指示した提示位置に複数のグラフィック・ユーザ・インタフェースの仮想画像を提示し、その内の1つの仮想のグラフィック・ユーザ・インタフェースをもう1 For example, presents a virtual image of a plurality of graphical user interface instructed by the presentation position by a single operation member, one virtual graphical user interface of its other
つの操作具により指示することができる。 It can be indicated by One of the operating tool.

【0023】マーカは常にセンサ手段によって計測可能な状態にあるとは限らない。 [0023] The marker is not necessarily to be in a state capable of measurement by always sensor means. 観察者は自由に動くからである。 Observer is because the move freely. そこで、本発明の好適な一態様である請求項16 Therefore, according to claim 16 as a preferred embodiment of the present invention
に拠れば、前記操作具に更に位置センサとしての磁気センサが設けられている。 According to the magnetic sensor as a further position sensor to said operating member is provided. これにより、磁気センサ出力に基づいた世界座標系に従った位置情報が得られ、マーカ情報を利用できない場合でも補完することができる。 Thus, the position information in accordance with the world coordinate system based on the magnetic sensor output is obtained can be supplemented even if no available marker information.

【0024】上記課題は請求項17のような複合現実感提示方法を提供することによっても達成できる。 [0024] The above object can also be achieved by providing a mixed reality presentation method as claimed in claim 17. また、 Also,
上記課題は、仮想空間と現実空間を融合して観察者に提示するプログラムを記憶するコンピュータ可読記憶媒体によっても達成できる。 The above object can also be achieved by a computer readable storage medium storing a program to be presented to the viewer by fusing virtual space and the real space. そのようなコンピュータ可読記憶媒体は、請求項18のように、観察者の視点位置の近傍に設けられたセンサを用いて、仮想画像を提示すべき提示位置の三次元座標値を、この視点位置に関連した座標系に従って検出するプログラムコードと、前記観察者の視点位置を基準にして前記センサによって検出された提示位置に、仮想画像を前記観察者に提示するプログラムコードとを記憶する。 Such computer-readable storage medium as in claim 18, using a sensor provided in the vicinity of the observer's viewpoint position, the three-dimensional coordinate values ​​of the presentation position to present a virtual image, the viewpoint position a program code for detecting according to the coordinate system associated with, the detected presentation position by said sensor based on the viewpoint position of the observer, and stores a program code for presenting a virtual image to the observer.

【0025】本発明の他の目的は、複合現実感の提示の他に、マン・マシンインタフェースを提供することでもある。 [0025] It is another object of the present invention is in addition to the presentation of a complex reality, also to provide a man-machine interface. そこで、請求項19の、ユーザにより操作される操作具を介して仮想画像を提示すべき提示位置を複合現実感提示システムに入力するマン・マシンインタフェースは、観察者の視点位置の近傍に設けられ、前記操作具を撮像視野内に含む撮像手段と、前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換する変換手段と、変換された前記所定部位の三次元座標値を、観察者の指示した仮想画像提示位置として、前記複合現実感提示システムに出力する出力手段とを具備することを特徴とする。 Therefore, man-machine interface for inputting of claim 19, the presentation position to present a virtual image through the operation device to be operated by a user a mixed reality presentation system is provided in the vicinity of the observer's viewpoint position an imaging means including the operating member in the imaging field, on the basis of the image data by the imaging means to obtain the 3D coordinates of the predetermined portion of the operation member, the coordinate system associated with the viewpoint position of the observer conversion means for converting the three-dimensional coordinate values ​​in accordance with the converted three-dimensional coordinates of the predetermined portion, as indicated virtual image presentation position of the observer, and output means for outputting the mixed reality presentation system characterized by including the.

【0026】このユーザインタフェースは、操作具の所定部位を観察者所望の指示位置に向ければ、この指示位置が仮想画像の提示位置となるように複合現実感提示システムに指示する。 [0026] The user interface may be Mukere a predetermined portion of the operation tool on the viewer desired indication position, instructs the mixed reality presentation system to the indication position is the presentation position of the virtual image. 本発明のユーザインタフェースは、 The user interface of the present invention,
また、ユーザ指示入力を複合現実感提示システムに入力する道具として有用である。 It is also useful as a tool for inputting a user instruction input to the mixed reality presentation system.

【0027】この目的のために、請求項21のように、 [0027] For this purpose, as claimed in claim 21,
ユーザにより操作される操作具を介して複合現実感提示システムにユーザ指示を入力するマン・マシンインタフェースであって、観察者の視点位置の近傍に設けられ、 A man-machine interface for inputting user instructions to the mixed reality presentation system via the operating part operated by a user, is provided in the vicinity of the observer's viewpoint position,
前記操作具を撮像視野内に含む撮像手段と、前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換する変換手段と、変換された前記所定部位の三次元座標値をユーザ指示入力として、前記複合現実感提示システムに出力する出力手段とを具備することを特徴とするマン・マシンインタフェース装置が提供される。 An imaging unit including the operating member in the imaging field, on the basis of the image data by the imaging means to obtain the 3D coordinates of the predetermined portion of the operating member, the coordinate system associated with the viewpoint position of the observer conversion means for converting the three-dimensional coordinate values ​​in accordance, the converted three-dimensional coordinates of the predetermined portion as a user input instruction, characterized by comprising an output means for outputting the mixed reality presentation system man-machine interface device is provided.

【0028】ユーザ指示としては、仮想画像として表示されるアイコン等のうち、ユーザが選択したアイコンなどを複合現実感提示システムに入力する場合が考えられる。 [0028] The user instruction, of such icons to be displayed as a virtual image can be considered when entering an icon selected by the user to the mixed reality presentation system. 本発明のユーザインタフェースはマン・マシンインタフェース装置のみならず、マン・マシンインタフェース方法(請求項20,請求項22)によっても、あるいはコンピュータ可読の記録媒体(請求項23,24)によっても達成できる。 The user interface of the present invention is not man-machine interface device only, man-machine interface method (claim 20, claim 22) can be achieved by by or computer readable recording medium, (Claim 23, 24).

【0029】 [0029]

【発明の実施の形態】以下、本発明を適用した複合現実感提示システムの実施形態を図面を参照しながら詳細に説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an embodiment of a mixed reality presentation system according to the present invention with reference to the drawings will be described in detail. 〈構成〉図6は本実施形態の原理的構成を説明する。 <Configuration> FIG. 6 illustrates the principle configuration of the present embodiment.

【0030】20は、頭部位置を検出するための磁気センサであって、従来の磁気センサと同じく例えばPolhem [0030] 20 is a magnetic sensor for detecting the head position, like for example Polhem the conventional magnetic sensor
us社製のFastrakを用いている。 It is used us manufactured by Fastrak. 21R,21Lは一対のビデオカメラであり、HMD22に装着されている。 21R, 21L is a pair of video cameras are mounted on HMD22.
カメラ21Rは観察者の右側から観察者の前方外界を撮影し、カメラ21Lは観察者の左側から観察者の前方外界を撮影する。 The camera 21R is taken forward outside of the observer from the right side of the observer, the camera 21L is to shoot the front outside of the observer from the left side of the observer.

【0031】30は指示器であり、図8のように、ユーザが把持する。 [0031] 30 is a pointing device, as shown in FIG. 8, the user grips. 指示器30はユーザが把持しやすいように棒状の形状を有し、その両端に夫々マーカとして機能させるためのLED30a,30bが設けられている。 Indicator 30 has a rod-like shape so that the user can easily grasp, LEDs 30a to function as each marker, 30b are provided at both ends thereof.
LED30a,30bは位置計測装置40により制御され、計測を行っている間は点灯している。 LEDs 30a, 30b is controlled by the position measuring device 40, during a measurement is on. 尚、LED3 It should be noted, LED3
0a,30bの発光色は画像処理により識別可能となるように互いに異なる色の光を発する。 0a, emission color of 30b emit light of different colors so as to be identified by image processing.

【0032】磁気センサ20の出力は位置計測装置40 The output of the magnetic sensor 20 is the position measuring device 40
に入力され、装置40がこの出力信号に基づいて観察者の頭部の三次元座標位置を計測する。 Is inputted, the device 40 measures the three-dimensional coordinate position of the observer's head on the basis of the output signal. 観察者は、指示器30で所望の指示位置を指し示す。 Observer, indicates the desired position indicated by the indicator 30. このとき、観察者はその指示位置をイベントとしてシステムに知らせる必要がある場合には、指示器30の設けられたスイッチ31 At this time, if the viewer is necessary to inform the system the instruction position as an event, the switch 31 provided with the indicator 30
(図8)を押す。 Press the (Fig. 8). スイッチ31の出力はイベント信号として計算機50(図10)に入力される。 The output of the switch 31 is input to the computer 50 (FIG. 10) as an event signal.

【0033】図10は、実施形態のMRシステムのデータ処理系統を説明する図である。 [0033] FIG. 10 is a diagram illustrating a data processing system of the MR system embodiment. 図10において、ユーザの頭部に装着されたビデオカメラ21R,21Lはユーザの前方外界の一対の左右画像を取得する。 10, a video camera 21R mounted on the head of the user, 21L obtains a pair of left and right images of the front outside of the user. この左右画像の夫々には、指示器30の画像が含まれている。 The respective right and left images, includes an image of indicator 30. 左右画像の夫々は、画像処理装置60R,60Lに入力され、ここで、指示器30の両端のLED30a,30b Husband left and right images people, the image processing apparatus 60R, is input to 60L, where the two ends of the indicator 30 LEDs 30a, 30b
の画像が抽出される。 Image of is extracted.

【0034】ビデオカメラ21R,21Lで観察された画像データは、それぞれ画像処理装置60R,60Lに送られる。 The video camera 21R, the image data that has been observed in 21L, respectively an image processing apparatus 60R, is transmitted to 60L. 画像処理装置60R,60Lでは、色成分の特性を利用しLED30a,30bの画像上の位置を検出する。 The image processing apparatus 60R, the 60L, utilizing the characteristics of the color components LEDs 30a, detects a position on 30b of the image. この位置座標は計算機(例えば、SiliconGraphics社製の02システム)50に入力される。 The position coordinates calculator (e.g., 02 system SiliconGraphics Inc.) is input to 50. 計算機50は、ステレオ視の方法により、LED30a,30bの三次元位置を計算する。 Computer 50, by the method of stereo vision, calculates LEDs 30a, the three-dimensional position of 30b.

【0035】一方、頭部位置センサの出力は位置姿勢計測装置40に入力されて、前述したように、頭部の三次元位置と姿勢とが計測されて、その出力は同じく計算機50に入力される。 On the other hand, the output of the head position sensor is input to a position and orientation measuring apparatus 40, as described above, is measured and a three-dimensional position and orientation of the head, the output is also input to the computer 50 that. 計算機50は、位置姿勢計測装置4 Computer 50, the position and orientation measuring apparatus 4
0が計測した頭部位置を右目視点位置に変換し、この位置でのビューイング変換行列を演算する。 0 converts the head position measured in the right eye viewpoint position, calculates the viewing transformation matrix at this position. この行列は画像生成装置70に送られる。 This matrix is ​​sent to the image generating apparatus 70. 画像生成装置は、このビューイング変換行列を用いて、右視点位置からのCG画像を生成する。 Image generating apparatus, by using the viewing transformation matrix to generate a CG image from the right viewpoint position. また、このビューイング変換行列に、右視点位置を基準にした左視点位置の相対的移動変換を適用し、左視点に対応するビューイング変換行列を求め、これを用いて、左視点位置からのCG画像を生成する。 Further, in the viewing transformation matrix by applying a relative movement conversion left viewpoint position relative to the right viewpoint positions, we obtain the viewing transformation matrix corresponding to the left viewpoint, with this, from the left viewpoint position to generate a CG image. このように生成した左右のCG画像をHMD22に表示してユーザに立体的な仮想画像を提示する。 Thus the generated left and right CG image displayed on HMD22 presenting a stereoscopic virtual image to the user.

【0036】図7の例では、計算機50は、計測された指示器の先端位置の3次元座標に基づき、カーソルもしくはアイコンの立体画像を生成し、HMD22に表示する。 In the example of FIG. 7, the computer 50, based on the three-dimensional coordinates of the tip position of the measured indicator, to generate a three-dimensional image of a cursor or icon displayed on HMD22. HMD22を見るユーザには、図7に示すように、立体のカーソルもしくはアイコンが61のように、指示器の先端位置に重畳して観察されることになる。 The user viewing the HMD22, as shown in FIG. 7, the three-dimensional cursor or icon as 61, will be observed by superimposing the tip position of the indicator. 〈原理〉図11は、図6〜図10に示された実施形態のMRシステムが、キャリブレーションを行わなくとも位置ずれを発生させない理由を説明する。 <Principle> 11, MR system of the embodiment shown in FIGS. 6 to 10, explain why not generate a positional deviation without performing calibration.

【0037】図中、δ 1は磁気センサ20の出力により測定されたユーザの頭部三次元位置の世界座標系に対する測定誤差を表す。 [0037] In the figure, [delta] 1 represents a measurement error to the world coordinate system of the head three-dimensional position of the user measured by the output of the magnetic sensor 20. Δδは、頭部位置に対するビデオカメラ位置の偏差を表す。 Δδ represents the deviation of the video camera position with respect to the head position. また、δ 2は指示器30により測定された指示位置の測定誤差である。 Also, [delta] 2 is the measurement error of the measured by indicator 30 indicated position. 本実施形態の特徴は、図10のシステムで、計算機50は、位置センサ(磁気センサ20)の計測した位置を基準にして、CG This embodiment is characterized, in the system of FIG. 10, computer 50, based on the measured position of the position sensor (magnetic sensor 20), CG
図形を画像生成装置に発生せしめる点に特徴がある。 It is characterized in that allowed to generate a graphic in the image generating apparatus. すると、図11で、位置センサ出力が基準となるので、位置センサ出力と世界座標系との間の誤差δ 1は指示器が生成した指示位置に影響することが無い。 Then, in FIG. 11, the position sensor output becomes the reference, the error [delta] 1 between the position sensor output and the world coordinate system is not able to affect the indicator is generated indication position. 換言すれば、 In other words,
指示位置の誤差はδは、図11から明なように、 δ=Δδ + δ 2 …(2) となり、δ 1の関与はない。 Error in indication position is [delta], Ming from FIG 11, δ = Δδ + δ 2 ... (2) next, [delta] 1 involvement not. CG画像の提示は、画像面が基準となるので、従来のように、世界座標系を基準とする必要はなく、そのために、位置センサ20が計測した頭部位置(これがたとえ誤差δ 2を持とうとも)を基準にした指示位置の三次元座標によるCG画像を発生させても、従来のように位置ずれを起こさないのである。 Presentation of the CG image, since the image plane is the reference, as in the prior art, it is not necessary relative to the world coordinate system, for which the head position the position sensor 20 is measured (this is even lifting the error [delta] 2 be generated CG images by the three-dimensional coordinates of the designated position relative to the Toutomo), it is no cause positional deviation as in the prior art.

【0038】尚、カメラ位置と頭部位置との偏差Δδ [0038] In addition, the difference between the camera position and the head position Δδ
は、頭部位置と、頭部装着のカメラ位置とが固定関係にあるので、予めキャリブレーションすることができ、本MRシステムを稼働する度にリアルタイムでキャリブレーションが必要とされることはない。 It includes a head position, since the camera position of the head-mounted in a fixed relationship, pre-calibration can calibrate never calibration is required in real time every running this MR system. しかし、指示位置はリアルタイムで変化するので、δ 2については、カメラパラメータの調整(後述)によりキャリブレーションを行うこととする。 However, the indicated position because changes in real time, for [delta] 2 is the carrying out the calibration by adjusting the camera parameters (described later). 換言すれば、本実施形態に依れば、 In other words, according to this embodiment,
従来では2工程のリアルタイムのキャリブレーションが必要であったのに対して、1工程だけですみ、システムの起動が簡潔となった。 The related art has been required for real-time calibration of 2 steps, requires only one step, activation of the system it becomes concise.

【0039】また、本実施形態の手法を、ビデオSee-Th [0039] In addition, the method according to one embodiment of the invention, the video See-Th
rough式のHMDに適用すれば、δ 2のキャリブレーションも不要となる。 By applying the rough type HMD, calibration [delta] 2 is also unnecessary. 〈指示位置の測定処理〉…実施形態 図12は、図10の計算機50における指示位置測定のための処理手順を示すフローチャートである。 <Measurement processing of the indication position> ... Embodiment FIG. 12 is a flowchart showing a processing procedure for the indicated position measurement in the computer 50 of FIG. 10.

【0040】ステップS10では、画像処理装置60を介してビデオカメラ21に対して、左右の画像を取得せしめる(図9のステップS1を併せて参照)。 In step S10, the video camera 21 via the image processing apparatus 60, allowed to obtain the left and right images (see also step S1 in FIG. 9). ステップS12では、画像処理装置60に、左右の画像の夫々において、左右のLED(以下、LEDをマーカと呼ぶ) In step S12, the image processing apparatus 60, in each of the left and right images, left and right LED (hereinafter, referred to as LED and markers)
の画像面での座標位置を抽出させる(図9のステップS To extract the coordinate position in the image plane of the (step S in FIG. 9
2を併せて参照)。 See also 2). ステップS14では、左右画像中に認識された4つのマーカを互いに対応づける。 In step S14, associating four markers recognized in the right and left images from each other. この対応付けの結果、図13の実線で示されるような対応付け、 The result of this correspondence, the correspondence as indicated by the solid line in FIG. 13,
あるいは破線で示されるような対応付けが得られるであろう。 Alternatively correspondence as indicated by the broken line will be obtained.

【0041】ステップS16では4つのマーカの各々のベクトルを算出する。 [0041] calculating a respective vector of step in S16 4 one marker. ステップS18では、ステレオ写真測量の手法(公知)により、1つのマーカの一対の対応点のベクトルの延長線の交点を求める。 At step S18, the stereo photogrammetric approach (known), determining an intersection of an extended line of the vector of the pair of corresponding points of one marker. 交点は、図1 Intersection, as shown in FIG. 1
4に示すように、左右のビデオカメラの夫々の投影中心から1つのマーカの左右画像面上での夫々の座標位置間での延長線の交点であり、その視点位置を基準にしたマーカの三次元位置を表す。 As shown in 4, a point of intersection of an extension line between the coordinate position of each of the left and right image planes of the left and right respectively from the projection center of the video camera one marker, tertiary markers relative to the its viewpoint position It represents the original position.

【0042】尚、ステップS18でステレオ写真測量の手法により得られたマーカの三次元位置はビデオカメラ21の視点位置を基準としているために、図11で説明したように、マーカの三次元位置は測定誤差δ 1を内包することになる。 [0042] Incidentally, the three-dimensional positions of the markers obtained by the method of stereo photogrammetry in step S18 in order to have a reference viewpoint position of the video camera 21, as described with reference to FIG. 11, the three-dimensional position of the marker thereby enclosing the measurement error [delta] 1. 尚、また、一般に、2つのベクトルは必ずしも一点で交叉するとは限らない。 Incidentally, also, in general, two vectors are not necessarily intersect at one point. その場合は、図15に示すように、そのベクトル上の2つの線分が最も近接する2点(図15の例では100と101)を結ぶ線分の中点(図15の例では点102)を「交点」とする。 In that case, as shown in FIG. 15, the point 102 in the example of the line segment at the midpoint (Figure 15 connecting two points where two lines are closest on the vector (100 and 101 in the example of FIG. 15) ) it is referred to as "intersection".

【0043】ステップS18の処理を左右のマーカについて行い、各マーカのカメラ視点位置を基準にした三次元位置P 1 ,P 2を求める。 [0043] performs the processing of the left and right markers step S18, obtains the three-dimensional position P 1, P 2 relative to the camera viewpoint of the respective markers. 即ち、 P 1 =(x C 1 ,y C 1 ,z C 1 ) P 2 =(x C 2 ,y C 2 ,z C 2 ) であり、添え字のCはカメラ視点位置を基準にしたことを意味する。 That, P 1 = (x C 1 , y C 1, z C 1) P 2 = a (x C 2, y C 2 , z C 2), C subscript that relative to the camera viewpoint It means.

【0044】ステップS20では、マーカの三次元位置P 1 ,P 2から、指示器30の位置姿勢を同定する。 [0044] At step S20, the three-dimensional positions of the markers P 1, P 2, to identify the position and orientation of the indicator 30. 指示器30の位置姿勢を同定する手法(ステップS20)について、3種類の異なるマーカを用いた場合の夫々の原理を説明する。 The method for identifying the position and orientation of the indicator 30 (step S20), and explain the principles of each of the case of using three different markers. 2マーカの指示器図16は、2つのマーカが設けられた指示器の例である。 2 marker indicator 16 is an example of indicator two markers is provided. 便宜上、ユーザが指示器30を筆記具のように把持した場合に、下側に位置するマーカを「先端マーカ」と呼び、位置をベクトルp 0で示し、上側に位置するマーカを「後端マーカ」と呼び、位置をベクトルp 1で示す。 For convenience, when the user holds the indicator 30 as a writing instrument, the markers positioned on the lower side is referred to as "tip marker" indicates the position of the vector p 0, a marker that is located on the upper side "rear end marker" a call, indicating the position of the vector p 1. 「先端マーカ」により目的位置を指示する。 An indication of the purpose position by the "tip marker".

【0045】「先端マーカ」と「後端マーカ」とが前述したように異なる色を付されて互いに識別できる場合には、目的の指示位置は、図17にも示すように、 位置座標:p 0方向ベクトル:p 0 −p 1として求めることができる。 [0045] When the can identify each other "tip marker" and the "rear end marker" is assigned a different color as described above, the indicated position of the object, as shown in FIG. 17, the position coordinates: p 0 direction vector: may be obtained as p 0 -p 1.

【0046】尚、マーカの色を広義にとらえ、赤外領域の光を使用しても良い。 [0046] In addition, capture the color of the marker in a broad sense, it may be used light in the infrared region. また、両マーカの色が同じ場合には、ユーザに、後端マーカp 1の位置を常に、先端マーカp 0に比して、観察者により近い位置に置くように拘束する。 Further, when the color of both markers are the same, the user is always the position of the rear end marker p 1, as compared with the distal marker p 0, is constrained to put closer to the observer. このような拘束条件では、2つのマーカの識別墓のであるので、目的の指示位置は、色で識別できる場合と同じように、 位置座標:p 0方向ベクトル:p 0 −p 1として求めることができる。 In such a constraint, since it is the identification grave two markers, indicated position of interest, as if be identified by color, coordinates: be determined as p 0 -p 1: p 0 direction vector it can.

【0047】 3マーカの指示器マーカの数が3点の指示器を使う場合について説明する。 [0047] 3 will be described a case where the number of indicator marker of the marker uses a three-point indicator. このような指示器の例として、図18の指示器20 Examples of such indicator, indicator 20 in FIG. 18
0がある。 0 there is. 3つのマーカの位置を、p 0 ,p 1 ,p 2と表す。 The positions of the three markers, expressed as p 0, p 1, p 2 . 3つのマーカの色が全て異なる色である場合には、 When the color of the three markers are all different colors,
ユーザが指示器40を用いて指示した指示位置の位置は、次の式により定義される直交座標系uvw(併せて図20を参照) w=p 1 −p 0 u=(p 0 −p 1 )×w …(3) v=w×u の、原点位置(世界座標系xyzにおけるベクトルp 0 Position of the indication position indicated by the user using the pointing device 40, an orthogonal coordinate system uvw, which is defined by the following formula (collectively referring to FIG. 20) w = p 1 -p 0 u = (p 0 -p 1 ) × w ... (3) v = of w × u, the origin position (vector p 0 in the world coordinate system xyz
の位置) により、また、姿勢は、 ベクトルp 0 −p 1により示される。 The position), also pose is represented by the vector p 0 -p 1.

【0048】尚、3つのマーカが全て同じ色である場合には、次のような拘束条件、 ・先端マーカp 0は常に観察者から最も遠いマーカであるとする、且つ、 ・上端マーカp 2は後端マーカp 1より常に上にあるとする、 を課すこととすれば、3つのマーカの色が全て異なる場合についての上記位置p [0048] Incidentally, when the three markers are all the same color, constraints such as: a-tip marker p 0 is always the furthest marker from the viewer, and, - the upper end marker p 2 if imposing, and is above all times from the rear end marker p 1 is the position for the case where all different colors of three markers p 0と姿勢p 0 −p 1と、同じように得ることができる。 0 and posture p 0 -p 1, can be obtained in the same way.

【0049】また、3つのマーカの内の2つのマーカが同じ色(例えば色A)で他のマーカがこの2つのマーカと異なる色(例えば色B)である場合には、次のような拘束条件、 ・ 先端マーカp 0の色がBの場合には、上端マーカp 2 [0049] When three other markers two markers in the same color (e.g., color A) of the marker is a color different from that of the two markers (e.g., color B), such as the following constraints conditions, when the color of the-tip marker p 0 is B, the upper end marker p 2
は後端マーカp 1より常に上にあるとする、または、 ・ 後端マーカp 1の色がBの場合には、先端マーカp 0 Always there above the rear end marker p 1 is or, when the color of the-rear marker p 1 is B, the tip marker p 0
は上端マーカp 2より常に前方または下方にあるとする、または、 ・ 上端マーカp 2の色がBの場合には、先端マーカp 0 And is always in front of or below the upper end marker p 2 is or, when the color of the-upper end marker p 2 is B, the tip marker p 0
は後端マーカp 1より常に前方にあるとする、 を課すこととすれば、3つのマーカの色が全て異なる場合についての上記位置p If imposing, always to be in front of the rear end marker p 1 is the position for the case where all different colors of three markers p 0と姿勢p 0 −p 1と、同じように得ることができる。 0 and posture p 0 -p 1, can be obtained in the same way.

【0050】 タブレット型指示器図21は指示器がタブレット型指示器300である場合を示す。 The tablet indicator diagram 21 shows a case indicator is a tablet-type indicator 300. このタブレット型指示器300には、原点マーカ(ベクトルp 0 )、右上マーカ(ベクトルp 1 )、左上マーカ(ベクトルp 2 )の3つのマーカが設けられている。 The tablet-type indicator 300, an origin marker (vector p 0), the upper right marker (vector p 1), 3 one marker of the top left marker (vector p 2) is provided. これらのマーカ位置は世界座標系では図22のようになる。 These marker position is as shown in FIG. 22 in the world coordinate system.

【0051】原点マーカ、右上マーカ、左上マーカの色が全て異なる色である場合には、ユーザが指示器300 The origin marker, the upper right marker, in the case where the color of the upper left marker are all different colors, user indicator 300
を用いて指示した指示位置の位置は、次の式により定義される直交座標系uvw(併せて図23を参照) w=p 0 −p 2 u=w×(p 1 −p 0 ) …(4) u=v×w の、 原点位置(世界座標系xyzにおけるベクトルp 0の位置) により、また、姿勢は、 ベクトルp 0 −p 2により示される。 Position indicated by the indication position using the the orthogonal coordinate system uvw, which is defined by the following formula (collectively see Figure 23) w = p 0 -p 2 u = w × (p 1 -p 0) ... ( 4) u = v × w, the origin position (position of the vector p 0 in the world coordinate system xyz), also pose is represented by the vector p 0 -p 2.

【0052】尚、3つのマーカが全て同じ色である場合には、次のような拘束条件、 ・先端マーカp 0は常に観察者から最も近いマーカであるとする、且つ、 ・左上マーカp 2は右上マーカp 1より常に左にあるとする、 を課すこととすれば、3つのマーカの色が全て異なる場合についての上記位置p [0052] Incidentally, when the three markers are all the same color, constraints such as: a-tip marker p 0 is always the closest marker from the viewer, and, - the upper left marker p 2 if imposing, and always to the left of the upper right marker p 1 is the position for the case where the color of the three markers are all different from p 0と姿勢p 0 −p 2と、同じように得ることができる。 0 and posture p 0 -p 2, can be obtained in the same way.

【0053】 [0053]

【実施例】以下に、本発明の実施例について説明する [実施例1]実施例1のMRシステムは、光学的See-Th EXAMPLES Hereinafter, MR system Example 1 Example 1 will be described embodiments of the present invention, optically See-Th
rough型HMDを装着したユーザによる頭部CT(Comput rough-type HMD head by the user wearing the CT (Comput
er Tomography)の切断面の指示に本発明を適用したものである。 It is an application of the present invention to the instruction of the cut surface of the er Tomography).

【0054】図24は、実施例1のCTの対象となる頭部模型を示す。 [0054] Figure 24 illustrates a head model to be CT of Example 1. この頭部模型は外形が人体頭部に似ており、人体頭部のCTデータは不図示のコンピュータ装置に前もって格納されている。 The mannequin head is outer shape similar to a human head, CT data of the human head is previously stored in the computer device (not shown). ユーザは、図25に示した3点マーカ型指示器200を用いて、CT切断位置と切断面を指示する。 The user uses a three-point marker type indicator 200 shown in FIG. 25, and instructs the CT cutting position and the cutting surface. 即ち、切断位置は指示器200の先端マーカ位置により、また切断面は、3つのマーカが形成する平面である。 That is, the cutting position tip marker position of the indicator 200, also cut surface is a plane in which three markers form. 実際には、図26に示すように、所望の切断位置と切断面となるように指示器200を頭部模型に近づけ、所望位置に達した時点で、イベントスイッチ201をオンする。 In fact, as shown in FIG. 26, the indicator 200 such that the cut surface and the desired cutting position close to the head model, when it reaches the desired position, turning on the event switch 201.

【0055】実施例1のMRシステムは、イベントスイッチ201が押された時点の先端マーカ位置が指示する切断位置において、3つのマーカが形成する平面に平行な平面を切断面とするCTデータをディスクから検索して、例えば実施形態の画像生成装置70にCT表示画像を生成させ、光学的See-Thorugh型HMDに表示する。 [0055] MR system according to the first embodiment, in the cutting position the tip marker position at the time the event switch 201 is pressed to instruct the disk the CT data to cutting plane parallel to the plane in which three markers form retrieved from, for example, to generate a CT display image to the image generating apparatus 70 of the embodiment, to display the optical See-thorugh type HMD.
こうすると、ユーザには、人体模型の光学像に重ねられて、CT画像が重畳表示される。 In this way, the user is superimposed on the optical image of the mannequin, CT images are superimposed.

【0056】図27に、実施例1の計算機に実施形態の計算機50を用いた場合に、計算機50の制御手順を示す。 [0056] Figure 27, in the case of using the computer 50 of the embodiment of the computer Example 1 shows a control procedure of the computer 50. [実施例2]実施例2は2つの指示器を用いた例である。 [Example 2] Example 2 is an example using two indicators. 図28において、ユーザは、タブレット型指示器3 In Figure 28, the user, tablet indicator 3
00を左手で持ち、3マーカ・スタイラス型指示器20 It has a 00 in the left hand, 3 marker stylus-type indicator 20
0を右手に持っている。 It has a 0 on the right. タブレット型指示器300はマーカ405,406,407を有し、3マーカ・スタイラス型指示器200はマーカ210,211,212を有する。 Tablet indicator 300 has a marker 405, 406, 407, 3 marker stylus type indicator 200 has a marker 210, 211 and 212. 2つの指示器は近接して使われるので、指示器間のマーカが混同されないように、これらのマーカは全て異なる色を有している。 Since the two indicators are used in close proximity, as a marker between the indicator is not confused, these markers have all different colors.

【0057】実施例2のMR提示システムのアプリケーションプログラムは、タブレット型指示器300の面上に画像401,402,403,404が表示されているかのように、ユーザが装着する光学的See-Through型HMDに仮想のCG画像を送る。 [0057] application program of the MR presentation system of the second embodiment, as if the image 401, 402, 403, 404 on the surface of the tablet pointer 300 is displayed, the optical See-Through the user wears Send a CG image of a virtual to type HMD. ユーザは、HMD内で投射されたこのCGを見ることにより、あたかも、タブレット面上において画像401,402,403,40 The user can see this CG projected in HMD, as if the image on the tablet surface 401,402,403,40
4が表示されているかのように知覚する。 4 is perceived as if it is displayed. これは、マーカ405,406,407により計算機50が指示器3 This computer 50 is indicator 3 by the marker 405, 406, 407
00の面の三次元位置及び姿勢を検出することができ、 Three-dimensional position and orientation of the 00 surface can be detected,
その位置に仮想画像が表示されているかのような立体感を持つように、左右の視差画像をHMDに出力するわけである。 To have a three-dimensional effect as if the virtual image is displayed in that position, it is not to output the left and right parallax images in HMD.

【0058】タブレット型指示器300の面上では、仮想画像401は頭部の断層像を表し,仮想画像402, [0058] on the surface of the tablet pointer 300, the virtual image 401 shows a tomographic image of the head, the virtual image 402,
403,404は夫々仮想アイコンである。 403 and 404 are respectively virtual icon. スタイラス型指示器200と計算機50のアプリケーションプログラムは、ユーザに仮想アイコンの選択のためのユーザインタフェースを提供する。 The application program of the stylus-type indicator 200 and the computer 50 provides a user interface for selecting the virtual icon to the user. 即ち、ユーザがスタイラス型指示器200の先端を仮想アイコン404に近接させて、スイッチ201を押せば、プリント指令が選択されたと判断する。 That is, the user is brought close to the tip of the stylus-type indicator 200 to the virtual icon 404, pressing the switch 201, it is determined that the print command has been selected.

【0059】次に、スタイラス型指示器200をCT断層像の仮想画像401上の任意の点408に近接させてスイッチ201を押せば、その位置408が拡大/縮小の対象としてユーザが選択したとアプリケーションプログラムは判断する。 Next, by pressing the switch 201 is brought close to the stylus-type indicator 200 to an arbitrary point 408 on the virtual image 401 of CT tomographic images, the user has selected the position 408 as the target of the zoom in / out application program determines. 次に、ユーザが、スタイラス型指示器200を仮想アイコン402に近接させてスイッチ2 Next, the user, to close the stylus-type indicator 200 to the virtual icon 402 switches 2
01を押せば、領域408の拡大表示をユーザが選択したと判断し、CTデータをディスクなどから検索して取り出し、そのCT画像の左右視差画像を生成してHMD Pressing 01, it is determined that the enlargement display area 408 the user has selected, taken out by searching the CT data from such a disk, by generating left and right parallax images of the CT image HMD
に出力する。 And outputs it to. 尚、仮想アイコン403を選択すれば縮小機能が選択される。 Incidentally, the reduction function is selected by selecting the virtual icon 403.

【0060】本発明の大きな効果として、キャリブレーションが1工程減ることが上げられる。 [0060] A major advantage of the present invention, calibration is raised that one less step. 実施例2のように2つの光学的指示器を用いると、1つの光学的指示器によりキャリブレーションが1工程減るのであるから、 With two optical indicator as in Example 2, since the calibration by one optical indicator is the reduced one step,
2つの磁気センサを用いる従来例の手法に比して都合2 Compared with the conventional example of technique of using two magnetic sensors convenience 2
工程減ることとなり、その効果は大きい。 Will be reduced process, the effect is large. 〈変形例〉本発明は上記実施形態及び実施例に限定されない。 <Modification> The present invention is not limited to the above embodiments and examples. 以下に変形例を提案する。 To propose a modification to the following.

【0061】この変形例は、上記実施形態の手法と従来の手法とが併用されているMR提示システムである。 [0061] This modification is MR presentation system and method and the conventional method of the above embodiments are used together. この変形例では、従来例の手法(世界座標系を基準とする位置合わせを行う)を場合によっては用いるために、図29に示すように、磁気センサなどの位置センサ401 In this modification, for use in some cases conventional techniques (the aligning relative to the world coordinate system), as shown in FIG. 29, a position sensor 401 such as a magnetic sensor
を設けた指示器400を用いる。 The indicator 400 provided is used. この指示器400は本実施形態の手法にも適用するために、両端にマーカ40 The indicator 400 is to be applied to the technique of the present embodiment, the markers 40 at both ends
2,403が設けられている。 2,403 is provided.

【0062】ユーザが指示器400を用いて指示位置を示すために移動すると、常にマーカがカメラ22によって捉えられるとは限らない。 [0062] When the user moves to indicate the pointed position by using the indicator 400, not always marker is captured by the camera 22. このような場合に備えて、 In preparation for such a case,
指示器400に位置センサ401を設け、このセンサの出力信号を用いて従来の手法に従って指示器400の位置と姿勢を測定するのである。 The position sensor 401 in the indicator 400 is provided, it is to measure the position and orientation of the indicator 400 in accordance with conventional practice by using the output signal of the sensor. 前述したように、マーカが隠れてしまったときにのみ、位置センサ401の出力を用いて世界座標系に対する指示器400の位置姿勢を測定することにより、図30に示すように、従来手法のパスを介した測定が行われる。 As described above, only when the marker had hidden, by measuring the position and orientation of the indicator 400 relative to the world coordinate system using the output of the position sensor 401, as shown in FIG. 30, the path of the conventional method It is measured through the takes place. 換言すれば、この変形例に依れば、ユーザの行動範囲は格段に広がり、拘束条件が緩和される。 In other words, according to this modification, an action range of the user is spread much, constraints are relaxed.

【0063】〈その他の変形例〉 変形例1: マーカの数は2個と3個に限定されない。 [0063] <Other Modifications> Modification 1: The number of markers is not limited to two and three.
測定される自由度が位置だけで良ければ、マーカは1つだけでも原理的には指示器の位置を測定することができる。 If the degree of freedom to be measured is well that only the position, the marker can measure the position of the indicator in principle just one. 変形例2: マーカはLED等の発光タイプに限られない。 Modification 2: marker is not limited to light emitting type LED and the like. 例えば、蛍光テープや色の異なるテープでも良い。 For example, it may be a different tape fluorescent tape or color. 変形例3: スタイラス型の指示器は、マーカをスタイラスの先端に設けることは好ましくない。 Modification 3: stylus-type indicator, it is not preferable to provide a marker at the tip of the stylus. 指示器に、例えばペンや医師用のメスを用いることがあるからである。 The indicator, for example there is a the use of a female pen and doctors. この場合には、指示位置はスタイラスの先端でなされるので、その先端位置はマーカ位置と異なる。 In this case, the indicated position is made at the tip of the stylus, the tip position is different from the marker position. そこで、図31に示すように、先端位置座標を、 Therefore, as shown in FIG. 31, the tip position coordinates,

【0064】 [0064]

【数1】 [Number 1]

【0065】に従って補正する。 [0065] The correction in accordance with.

【0066】 [0066]

【発明の効果】以上説明したように本発明によれば、発生する位置ずれは少なくして、キャリブレーションの回数を減らすことができる。 According to the present invention as described above, according to the present invention, positional deviation occurs with less, it is possible to reduce the number of calibration.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】 従来技術において、観察者が操作具(指示器)を介して指示位置を入力する様子を説明する図。 [1] In the prior art, diagram for explaining a state where the viewer inputs an instruction position via the operating member (indicator).

【図2】 従来技術において用いられ、本発明の一部実施例において用いられる磁気位置センサの動作原理を説明する図。 [2] used in the prior art, illustrates the operation principle of the magnetic position sensor used in some embodiments of the present invention.

【図3】 従来技術において用いられ、本発明の一部実施例において用いられる指示器の構成ならびに動作原理を説明する図。 [3] used in the prior art, it illustrates a structure and operation principle of the indicator used in some embodiments of the present invention.

【図4】 従来技術において欠点(位置ずれ)の発生する原理を説明する図。 Figure 4 illustrates a principle of occurrence of the drawbacks in the prior art (positional shift).

【図5】 従来技術において欠点(位置ずれ)の発生する原理を説明する図。 5 is a diagram explaining the principle of occurrence of drawbacks in the prior art (positional shift).

【図6】 実施形態の複合現実感提示システムの構成を説明する図。 6 is a diagram illustrating a configuration of a mixed reality presentation system embodiment.

【図7】 実施形態の複合現実感提示システムにおいて指示器がマン・マシーンインタフェース装置として機能することを説明する図。 7 is a diagram indicator in mixed reality presentation system will be described to function as a man-machine interface device of the embodiment.

【図8】 実施形態に用いられる指示器の操作方法を説明する図。 FIG. 8 illustrates how the operation of the indicator used in the embodiment.

【図9】 実施形態システムにおいて、指示器に設けられたマーカの位置を検出する手順を説明するフローチャート。 In Figure 9 embodiment system flow chart illustrating a procedure for detecting the position of markers provided indicator.

【図10】 実施形態のシステムの、データ処理系を説明するブロック図。 [10] The system of embodiment, the block diagram illustrating a data processing system.

【図11】 実施形態のシステムにおいて位置ずれの発生しない理由を説明する図。 11 is a diagram for explaining the reason for not generating the positional deviation in the system embodiment.

【図12】 実施形態のシステムに用いられる制御手順のフローチャート。 FIG. 12 is a flowchart of a control procedure used in the system of the embodiment.

【図13】 左右の2つの画像間におけるマーカの対応を説明する図。 FIG. 13 illustrates the corresponding marker between the left and right of the two images.

【図14】 実施形態において、マーカの三次元位置を検出する原理を説明する図。 In Figure 14 embodiment, diagram for explaining the principle of detecting three-dimensional positions of the markers.

【図15】 マーカの三次元位置を検出する際に、直線が交叉しない場合におけるマーカ三次元位置決定の手法を説明する図。 [Figure 15] when detecting the three-dimensional position of the marker, drawing for explaining a method of marker three-dimensional position determination in the case where the straight line do not cross.

【図16】 実施形態のシステムに用いられる2マーカ型指示器(スタイラス型)の構造を説明する図。 Figure 16 illustrates a structure of a second marker type indicator used in the system of the embodiment (stylus type).

【図17】 図16の指示器を用いたときの指示位置及び姿勢を決定する原理を説明する図。 Figure 17 is a diagram illustrating the principle of determining the indication position and orientation when using indicator of Figure 16.

【図18】 実施形態のシステムに用いられる3マーカ型指示器(スタイラス型)の構造を説明する図。 Figure 18 is a diagram illustrating a structure of 3 marker type indicator used in the system of the embodiment (stylus type).

【図19】 図18の指示器を用いたときの指示位置及び姿勢を決定する原理を説明する図。 FIG. 19 illustrates a principle for determining the pointing position and orientation when using indicator of Figure 18.

【図20】 図18の指示器を用いたときの指示位置及び姿勢を決定する原理を説明する図。 Figure 20 illustrates a principle for determining the pointing position and orientation when using indicator of Figure 18.

【図21】 実施形態のシステムに用いられるタブレット型指示器の構造を説明する図。 FIG. 21 illustrates the structure of the tablet-type indicator used in the system of the embodiment.

【図22】 図21の指示器を用いたときの指示位置及び姿勢を決定する原理を説明する図。 Figure 22 is a diagram illustrating the principle of determining the indication position and orientation when using indicator of Figure 21.

【図23】 図21の指示器を用いたときの指示位置及び姿勢を決定する原理を説明する図。 FIG. 23 illustrates a principle for determining the pointing position and orientation when using indicator of Figure 21.

【図24】 本発明の具体的な適用携帯である実施例1 FIG. 24 is a specific application mobile Invention Example 1
に用いられる頭部模型を説明する図。 Diagram for explaining a head model for use in.

【図25】 実施例1に用いられるスタイラス型指示器の構造を説明する図。 Diagram for explaining the structure of the stylus-type indicator used in the FIG. 25 example 1.

【図26】 図25の指示器を図24の頭部模型の指示位置の決定に利用するときの様子を示す図。 It shows a state in which FIG. 26 the indicator 25 is used to determine the indicated position of the head model of Figure 24.

【図27】 実施例1の制御手順を説明するフローチャート。 Figure 27 is a flowchart illustrating a control procedure of Example 1.

【図28】 実施例2に用いられる2つの指示器(30 [Figure 28] Two indicators used in Example 2 (30
0,200)の操作方法を説明する図。 Diagram for explaining how the operation of 0, 200).

【図29】 本発明の他の実施形態に係る提示システムの構成を説明する図。 Figure 29 illustrates a structure of a presentation system according to another embodiment of the present invention.

【図30】 他の実施形態の原理を説明する図。 Figure 30 is a diagram explaining the principle of another embodiment.

【図31】 更に他の変形例において、指示器の先端位置の位置座標の補正原理を説明する図。 In Figure 31 yet another variation, diagram for explaining the principle of correcting the position coordinates of the tip position of the indicator.

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B050 BA04 BA11 CA07 DA04 EA07 EA19 EA27 EA28 FA02 FA06 FA08 FA09 5B087 AA07 AE00 BC05 BC12 BC13 BC16 BC17 BC32 BC34 DD03 DH04 DJ03 5C061 AA01 AA29 AB11 AB12 AB16 AB18 AB24 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 5B050 BA04 BA11 CA07 DA04 EA07 EA19 EA27 EA28 FA02 FA06 FA08 FA09 5B087 AA07 AE00 BC05 BC12 BC13 BC16 BC17 BC32 BC34 DD03 DH04 DJ03 5C061 AA01 AA29 AB11 AB12 AB16 AB18 AB24

Claims (24)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 仮想空間と現実空間を融合して観察者に提示する複合現実感提示システムであって、 観察者の視点位置の近傍に設けられ、仮想画像を提示すべき提示位置の三次元座標値を、この視点位置に関連した座標系に従って検出する第1のセンサ手段と、 前記観察者の視点位置を基準にして前記センサ手段によって検出された提示位置に、仮想画像を前記観察者に提示する仮想画像提示手段とを具備することを特徴とする複合現実感提示システム。 1. A mixed reality presentation system for presenting to the observer by fusing virtual space and physical space, provided in the vicinity of the observer's viewpoint position, three-dimensional presentation position to present the virtual image coordinate value, a first sensor means for detecting according to the coordinate system associated with this viewpoint position, the detected presentation position by said sensor means based on the viewpoint position of the observer, the virtual image to the observer MR presentation system characterized by comprising a virtual image presentation means presenting.
  2. 【請求項2】 前記第1のセンサ手段は前記観察者の頭部位置に設けられた撮像手段を有し、 前記仮想画像提示手段は、前記観察者の頭部に装着されるヘッドマウントデイスプレイを有することを特徴とする請求項1に記載の複合現実感提示システム。 Wherein said first sensor means includes an imaging means provided on the head position of the observer, the virtual image presentation means, the head mount Deisupurei which is mounted on the head of the observer MR presentation system according to claim 1, characterized in that it has.
  3. 【請求項3】 前記ヘッドマウントデイスプレイはビデオ・シー・スルー型であることを特徴とする請求項2に記載の複合現実感提示システム。 Wherein the head mount Deisupurei mixed reality presentation system according to claim 2, characterized in that the video Sea-through.
  4. 【請求項4】 前記第1のセンサ手段は、 頭部に装着され左右に離間したステレオカメラと、 前記ステレオカメラが出力したステレオ画像データに基づいて、ステレオ視の手法により、前記提示位置の前記ステレオカメラの画像面上での三次元座標値を検出する手段とを具備することを特徴とする請求項1乃至3のいずれかに記載の複合現実感提示システム。 Wherein said first sensor means includes a stereo camera spaced horizontally mounted on the head, on the basis of stereo image data to which the stereo camera is output, by a technique stereo vision, the said presentation position MR presentation system according to any one of claims 1 to 3, characterized in that it comprises a means for detecting the three-dimensional coordinates on the image plane of a stereo camera.
  5. 【請求項5】 更に、前記観察者の視点位置を世界座標系に従って検出する第2のセンサ手段を更に具備することを特徴とする請求項1乃至4のいずれかに記載の複合現実感提示システム。 5. Furthermore, the mixed reality presentation system according to any one of claims 1 to 4, characterized by further comprising a second sensor means for detecting the viewpoint position of the observer in accordance with the world coordinate system .
  6. 【請求項6】 前記センサ手段のセンス範囲内におかれ観察者により操作される操作具を有することを特徴とする請求項1乃至5のいずれかに記載の複合現実感提示システム。 6. MR presentation system according to any one of claims 1 to 5, characterized in that it has an operating part operated by an observer placed in the sense range of the sensor means.
  7. 【請求項7】 前記操作具には、前記観察者により操作され、観察者により所定のイベントタイミング信号を出力するスイッチが設けられたことを特徴とする請求項6 The method according to claim 7, wherein said operation member, claim the observer is operated by the switch that outputs a predetermined event timing signals by the observer, characterized in that the provided 6
    に記載の複合現実感提示システム。 Mixed reality presentation system according to.
  8. 【請求項8】 前記操作具は、その端部に設けられた少なくとも1つのマーカを有することを特徴とする請求項6に記載の複合現実感提示システム。 Wherein said operation member is a mixed reality presentation system according to claim 6, characterized in that it comprises at least one marker provided in the end portion.
  9. 【請求項9】 前記マーカは1つ設けられ、前記センサ手段は前記提示位置の三次元座標位置を出力することを特徴とする請求項8に記載の複合現実感提示システム。 Wherein said marker is provided one, the mixed reality presentation system of claim 8 wherein the sensor means, characterized in that the output three-dimensional coordinate position of the presentation position.
  10. 【請求項10】 前記マーカは2つ設けられ、前記センサ手段は前記提示位置の三次元座標位置と方向とを出力することを特徴とする請求項8に記載の複合現実感提示システム。 Wherein said marker is provided two, said sensor means MR presentation system according to claim 8, wherein the outputting the direction and three-dimensional coordinate position of the presentation position.
  11. 【請求項11】 前記マーカは3つ設けられ、前記センサ手段は前記提示位置を通る平面座標を出力することを特徴とする請求項8に記載の複合現実感提示システム。 Wherein said markers are provided three, the mixed reality presentation system of claim 8 wherein the sensor means, characterized in that the output plane coordinates through the presentation position.
  12. 【請求項12】 前記マーカは、異なる色を付された複数のマーカを有することを特徴とする請求項8乃至11 12. The marker of claim 8 to 11, characterized in that it has a plurality of markers attached to different colors
    のいずれかに記載の複合現実感提示システム。 Mixed reality presentation system according to any one of the.
  13. 【請求項13】 前記マーカは、異なる色を付された複数のマーカと同じ色を付された少なくとも1つのマーカとを有することを特徴とする請求項8乃至11のいずれかに記載の複合現実感提示システム。 Wherein said marker is mixed reality according to any one of claims 8 to 11, characterized in that it comprises at least one marker attached to the same color as the plurality of markers attached to different colors sensitive presentation system.
  14. 【請求項14】 前記マーカは異なる色を発光する発光手段を有することを特徴とする請求項1乃至13のいずれかに記載の複合現実感提示システム。 14. The marker mixed reality presentation system according to any one of claims 1 to 13, characterized in that it has a light emitting means for emitting different colors.
  15. 【請求項15】 前記センサ手段のセンス範囲内におかれ観察者により操作される複数の操作具を有することを特徴とする請求項1乃至5のいずれかに記載の複合現実感提示システム。 15. MR presentation system according to any one of claims 1 to 5, characterized in that it has a plurality of operating tool to be operated by placed observer within the sense range of the sensor means.
  16. 【請求項16】 前記操作具に、更に位置センサとしての磁気センサが設けられていることを特徴とする請求項6乃至14のいずれかに記載の複合現実感提示システム。 16. The in operation member, the mixed reality presentation system according to any one of claims 6 to 14, characterized in that is provided with a magnetic sensor as a further position sensor.
  17. 【請求項17】 仮想空間と現実空間を融合して観察者に提示する複合現実感提示方法であって、 観察者の視点位置の近傍に設けられたセンサを用いて、 17. A mixed reality presentation method for presenting to the observer by fusing virtual space and the real space, by using a sensor provided in the vicinity of the observer's viewpoint position,
    仮想画像を提示すべき提示位置の三次元座標値を、この視点位置に関連した座標系に従って検出し、 前記観察者の視点位置を基準にして前記センサによって検出された提示位置に、仮想画像を前記観察者に提示することを特徴とする複合現実感提示方法。 The three-dimensional coordinate values ​​of the presentation position to present a virtual image, in this perspective is detected according to the coordinate system associated with the position, the detected presentation position by said sensor based on the viewpoint position of the observer, the virtual image mixed reality presentation method characterized by presenting to the observer.
  18. 【請求項18】 仮想空間と現実空間を融合して観察者に提示するプログラムを記憶するコンピュータ可読記憶媒体であって、 観察者の視点位置の近傍に設けられたセンサを用いて、 18. A computer-readable storage medium storing a program to be presented to the viewer by fusing virtual space and the real space, by using a sensor provided in the vicinity of the observer's viewpoint position,
    仮想画像を提示すべき提示位置の三次元座標値を、この視点位置に関連した座標系に従って検出するプログラムコードと、 前記観察者の視点位置を基準にして前記センサによって検出された提示位置に、仮想画像を前記観察者に提示するプログラムコードとを記憶するコンピュータ可読記憶媒体。 The three-dimensional coordinate values ​​of the presentation position to present the virtual image, a program code for detecting according to the coordinate system associated with this viewpoint position, the have been proposed position detected by the sensor based on the viewpoint position of the observer, computer readable storage medium storing a program code for presenting a virtual image to the observer.
  19. 【請求項19】 ユーザにより操作される操作具を介して仮想画像を提示すべき提示位置を複合現実感提示システムに入力するマン・マシンインタフェースであって、 観察者の視点位置の近傍に設けられ、前記操作具を撮像視野内に含む撮像手段と、 前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換する変換手段と、 変換された前記所定部位の三次元座標値を、観察者の指示した仮想画像提示位置として、前記複合現実感提示システムに出力する出力手段とを具備することを特徴とするマン・マシンインタフェース装置。 19. The man-machine interface for inputting presentation position to present the virtual image to the mixed reality presentation system via the operating part operated by a user, is provided in the vicinity of the observer's viewpoint position an imaging means including the operating member in the imaging field, on the basis of the image data by the imaging means to obtain the 3D coordinates of the predetermined portion of the operation member, the coordinate system associated with the viewpoint position of the observer conversion means for converting the three-dimensional coordinate values ​​in accordance with the converted three-dimensional coordinates of the predetermined portion, as indicated virtual image presentation position of the observer, and output means for outputting the mixed reality presentation system man-machine interface device, characterized in that it comprises a.
  20. 【請求項20】 ユーザにより操作される操作具を介して仮想画像を提示すべき提示位置を複合現実感提示システムに入力するマン・マシンインタフェース方法であって、 観察者の視点位置の近傍に、前記操作具を撮像視野内に含むように撮像手段を配置し、 前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換し、 変換された前記所定部位の三次元座標値を、観察者の指示した仮想画像提示位置として、前記複合現実感提示システムに出力することを特徴とするマン・マシンインタフェース方法。 20. A man-machine interface method for a presentation position to present a virtual image through the operation device operated by a user to input to the mixed reality presentation system, in the vicinity of the observer's viewpoint position, said operating member is arranged an imaging unit to include in the imaging field, on the basis of the image data to which the imaging means to obtain the 3D coordinates of the predetermined portion of the operating member, associated with the viewpoint position of the observer features and was converted into a three-dimensional coordinate values ​​in accordance with the coordinate system, the converted three-dimensional coordinates of the predetermined portion, as indicated virtual image presentation position of the observer, to output the mixed reality presentation system man-machine interface method to be.
  21. 【請求項21】 ユーザにより操作される操作具を介して複合現実感提示システムにユーザ指示を入力するマン・マシンインタフェースであって、 観察者の視点位置の近傍に設けられ、前記操作具を撮像視野内に含む撮像手段と、 前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換する変換手段と、 変換された前記所定部位の三次元座標値をユーザ指示入力として、前記複合現実感提示システムに出力する出力手段とを具備することを特徴とするマン・マシンインタフェース装置。 21. The mixed reality presentation system via the operating part which is operated by a user to a man-machine interface for inputting user instructions, is provided in the vicinity of the observer's viewpoint position, imaging the operating member an imaging means including within the field of view, on the basis of the image data by the imaging means to obtain the 3D coordinates of the predetermined portion of the operation member, the three-dimensional coordinates according to the coordinate system associated with the viewpoint position of the observer conversion means for converting a value, converted the three-dimensional coordinates of the predetermined portion as a user instruction input, the mixed reality the man-machine interface apparatus characterized by comprising an output means for outputting the presentation system .
  22. 【請求項22】 ユーザにより操作される操作具を介してユーザ指示を複合現実感提示システムに入力するマン・マシンインタフェース方法であって、 観察者の視点位置の近傍に、前記操作具を撮像視野内に含むように撮像手段を配置し、 前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換し、 変換された前記所定部位の三次元座標値を、ユーザ指示入力として、前記複合現実感提示システムに出力することを特徴とするマン・マシンインタフェース方法。 22. A man-machine interface method via an operation member operated by a user inputs a user instruction to the mixed reality presentation system, in the vicinity of the observer's viewpoint position, the imaging field of the operating member place the imaging means so as to include within the imaging means based on image data obtained, the three-dimensional coordinates of the predetermined portion of the operation tool, in accordance with the coordinate system associated with the viewpoint position of the observer into a three-dimensional coordinate values, the converted three-dimensional coordinates of the predetermined portion, as a user instruction input, man-machine interface method and outputting the mixed reality presentation system.
  23. 【請求項23】 観察者の視点位置の近傍に、前記操作具を撮像視野内に含むように撮像手段を配置し、ユーザにより操作される操作具を介して仮想画像を提示すべき提示位置を複合現実感提示システムに入力するマン・マシンインタフェースプログラムを記憶するコンピュータ可読の記録媒体であって、 前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換するプログラムコードと、 変換された前記所定部位の三次元座標値を、観察者の指示した仮想画像提示位置として、前記複合現実感提示システムに出力するプログラムコードとを記憶することを特徴とするコンピュータ可読の記録媒体。 In the vicinity of 23. observer's viewpoint position, the operating member is arranged an imaging unit to include in the imaging field of view, the presentation position to present a virtual image through the operation device operated by a user a computer-readable recording medium that stores man-machine interface program for inputting the mixed reality presentation system, based on the image data to which the imaging means to obtain the 3D coordinates of the predetermined portion of the operating member, program code for converting the three-dimensional coordinate values ​​in accordance with the coordinate system associated with the viewpoint position of the observer, the converted three-dimensional coordinates of the predetermined portion, as indicated virtual image presentation position of the observer, the computer readable recording medium characterized by storing a program code for outputting the mixed reality presentation system.
  24. 【請求項24】 観察者の視点位置の近傍に、前記操作具を撮像視野内に含むように撮像手段を配置し、ユーザにより操作される操作具を介してユーザ指示を複合現実感提示システムに入力するマン・マシンインタフェースプログラムを記憶するコンピュータ可読の記録媒体であって、 前記撮像手段が得た画像データに基づいて、前記操作具の所定部位の三次元座標値を、前記観察者の視点位置に関連した座標系に従った三次元座標値に変換するプログラムコードと、 変換された前記所定部位の三次元座標値を、ユーザ指示入力として、前記複合現実感提示システムに出力するプログラムコードとを記憶することを特徴とするコンピュータ可読の記録媒体。 In the vicinity of 24. observer's viewpoint position, the operating member is arranged an imaging unit to include in the imaging field of view, the mixed reality presentation system user instruction through the operating part which is operated by the user a computer-readable recording medium for storing the input to the man-machine interface program, on the basis of the image data by the imaging means to obtain the 3D coordinates of the predetermined portion of the operation member, the viewpoint position of the observer program code for converting the three-dimensional coordinate values ​​in accordance with the coordinate system associated with the converted three-dimensional coordinates of the predetermined portion, as a user instruction input, and program code to be output to the mixed reality presentation system computer readable recording medium characterized by storing.
JP26863898A 1998-09-22 1998-09-22 Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method Pending JP2000102036A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26863898A JP2000102036A (en) 1998-09-22 1998-09-22 Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26863898A JP2000102036A (en) 1998-09-22 1998-09-22 Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method

Publications (1)

Publication Number Publication Date
JP2000102036A true JP2000102036A (en) 2000-04-07

Family

ID=17461341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26863898A Pending JP2000102036A (en) 1998-09-22 1998-09-22 Composite actual feeling presentation system, composite actual feeling presentation method, man-machine interface device and man-machine interface method

Country Status (1)

Country Link
JP (1) JP2000102036A (en)

Cited By (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003014421A (en) * 2001-07-04 2003-01-15 Minolta Co Ltd Measuring apparatus and measuring method
WO2003083526A1 (en) * 2002-03-28 2003-10-09 Linus Ab A method and a device for co-ordinated displaying of a direct image and an electro-optical image
US6853935B2 (en) 2000-11-30 2005-02-08 Canon Kabushiki Kaisha Information processing apparatus, mixed reality presentation apparatus, method thereof, and storage medium
JP2006048639A (en) * 2004-06-29 2006-02-16 Canon Inc Method and apparatus for processing information
WO2006025137A1 (en) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. Image processor, game machine, and image processing method
JP2006127158A (en) * 2004-10-28 2006-05-18 Canon Inc Image processing method and image processor
US7123214B2 (en) 2002-03-29 2006-10-17 Canon Kabushiki Kaisha Information processing method and apparatus
JP2006293604A (en) * 2005-04-08 2006-10-26 Canon Inc Information processing method, information processor, and remote mixed reality sharing device
WO2006125423A2 (en) * 2005-05-23 2006-11-30 Martin Altmeyer Method and device for generating optical effects on a two-dimensional object
JP2007066080A (en) * 2005-08-31 2007-03-15 Casio Comput Co Ltd Pointing device
WO2007053116A1 (en) * 2005-10-31 2007-05-10 National University Of Singapore Virtual interface system
JP2007265061A (en) * 2006-03-29 2007-10-11 Gifu Univ Section visualization device
JP2008500624A (en) * 2004-05-24 2008-01-10 3ディー フォー オール シャミタステクニカイ フェリャズト ケーエフティー System for selecting operations through the system and method and visualization system operating in a virtual three-dimensional space
JP2008040556A (en) * 2006-08-01 2008-02-21 Canon Inc Compound sense of reality presenting device and its control method and program
JP2008117083A (en) * 2006-11-01 2008-05-22 Sharp Corp Coordinate indicating device, electronic equipment, coordinate indicating method, coordinate indicating program, and recording medium with the program recorded thereon
JP2009036517A (en) * 2007-07-31 2009-02-19 Shimadzu Corp Head motion tracker device
JP2009147480A (en) * 2007-12-12 2009-07-02 Gifu Univ Calibration apparatus of projection system
JP2009538487A (en) * 2006-05-26 2009-11-05 アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド System and method for displaying the maintenance instructions and operation instructions of the device using the augmented reality
JP2010515189A (en) * 2007-01-05 2010-05-06 トタル イメルシオン Using data from the actual scene being represented by an image, a method for inserting a virtual object in real-time image stream and apparatus
JP2010146481A (en) * 2008-12-22 2010-07-01 Brother Ind Ltd Head-mounted display
JP2010152570A (en) * 2008-12-25 2010-07-08 Yamaha Corp Pointing system
US7808524B2 (en) 2004-07-30 2010-10-05 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
JP2011015831A (en) * 2009-07-09 2011-01-27 Shimadzu Corp Head motion tracker
JP2011180867A (en) * 2010-03-02 2011-09-15 Brother Industries Ltd Head-mounted display
JP2011237987A (en) * 2010-05-10 2011-11-24 Olympus Corp Operation input device and manipulator system
JP2012014690A (en) * 2010-06-30 2012-01-19 Pantech Co Ltd Apparatus and method for providing three-dimensional augmented reality
JP2012174219A (en) * 2011-02-24 2012-09-10 Ohbayashi Corp Image composition method
WO2012088285A3 (en) * 2010-12-22 2012-10-26 Infinite Z, Inc. Three-dimensional tracking of a user control device in a volume
WO2013035758A1 (en) * 2011-09-06 2013-03-14 Necビッグローブ株式会社 Information display system, information display method, and storage medium
KR101279869B1 (en) 2012-03-23 2013-06-28 국방과학연구소 Apparatus and method for displaying flight simulator image using head mounted display
JP2013214285A (en) * 2012-04-03 2013-10-17 Boeing Co:The System and method for virtual engineering
JP2013222280A (en) * 2012-04-16 2013-10-28 Seiko Epson Corp Projector, control method for the same, program and projection system
US20140125579A1 (en) * 2012-11-06 2014-05-08 Sony Computer Entertainment Inc. Head mounted display, motion detector, motion detection method, image presentation system and program
JP2014093704A (en) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc Head mount display and movement detection method
JP2014132719A (en) * 2013-01-07 2014-07-17 Seiko Epson Corp Display device and control method for display device
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
WO2015195444A1 (en) * 2014-06-17 2015-12-23 Osterhout Group, Inc. External user interface for head worn computing
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9324229B2 (en) 2007-03-08 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
CN105607255A (en) * 2014-11-17 2016-05-25 精工爱普生株式会社 Head-mounted display device, method of controlling head-mounted display device, and computer program
EP3029547A1 (en) * 2014-12-02 2016-06-08 Kabushiki Kaisha Topcon Three-dimensional input device and input system
US9377625B2 (en) 2014-01-21 2016-06-28 Osterhout Group, Inc. Optical configurations for head worn computing
JP2016520225A (en) * 2013-05-07 2016-07-11 コミサリア ア レネルジ アトミク エ オウ エネルジ アルタナティヴ Method of controlling a graphical interface for displaying an image of the three-dimensional object
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9423612B2 (en) 2014-03-28 2016-08-23 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9436006B2 (en) 2014-01-21 2016-09-06 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9529192B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9547465B2 (en) 2014-02-14 2017-01-17 Osterhout Group, Inc. Object shadowing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
WO2017057107A1 (en) * 2015-09-28 2017-04-06 日本電気株式会社 Input device, input method, and program
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
JP6142462B1 (en) * 2016-02-17 2017-06-07 株式会社菊池製作所 Superimposed image display system
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
KR101757930B1 (en) * 2010-02-12 2017-07-13 삼성전자주식회사 Data Transfer Method and System
WO2017122274A1 (en) * 2016-01-12 2017-07-20 サン電子株式会社 Image display device
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9720234B2 (en) 2014-01-21 2017-08-01 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9784973B2 (en) 2014-02-11 2017-10-10 Osterhout Group, Inc. Micro doppler presentations in head worn computing
US9811152B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9939646B2 (en) 2014-01-24 2018-04-10 Osterhout Group, Inc. Stray light suppression for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US10062182B2 (en) 2015-02-17 2018-08-28 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing

Cited By (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6853935B2 (en) 2000-11-30 2005-02-08 Canon Kabushiki Kaisha Information processing apparatus, mixed reality presentation apparatus, method thereof, and storage medium
JP2003014421A (en) * 2001-07-04 2003-01-15 Minolta Co Ltd Measuring apparatus and measuring method
WO2003083526A1 (en) * 2002-03-28 2003-10-09 Linus Ab A method and a device for co-ordinated displaying of a direct image and an electro-optical image
US7123214B2 (en) 2002-03-29 2006-10-17 Canon Kabushiki Kaisha Information processing method and apparatus
US8094120B2 (en) 2004-05-24 2012-01-10 3D For All Szamitastechnikai Fejlezto KFT System and method for operating in virtual 3D space and system for selecting an operation via a visualizing system
JP2008500624A (en) * 2004-05-24 2008-01-10 3ディー フォー オール シャミタステクニカイ フェリャズト ケーエフティー System for selecting operations through the system and method and visualization system operating in a virtual three-dimensional space
JP4677273B2 (en) * 2004-06-29 2011-04-27 キヤノン株式会社 Information processing method and information processing apparatus
JP2006048639A (en) * 2004-06-29 2006-02-16 Canon Inc Method and apparatus for processing information
USRE45031E1 (en) 2004-07-30 2014-07-22 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
US7808524B2 (en) 2004-07-30 2010-10-05 Industry-University Cooperation Foundation Hanyang University Vision-based augmented reality system using invisible marker
US7991220B2 (en) 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
WO2006025137A1 (en) * 2004-09-01 2006-03-09 Sony Computer Entertainment Inc. Image processor, game machine, and image processing method
JP2006127158A (en) * 2004-10-28 2006-05-18 Canon Inc Image processing method and image processor
JP4533087B2 (en) * 2004-10-28 2010-08-25 キヤノン株式会社 Image processing method, image processing apparatus
JP2006293604A (en) * 2005-04-08 2006-10-26 Canon Inc Information processing method, information processor, and remote mixed reality sharing device
JP4738870B2 (en) * 2005-04-08 2011-08-03 キヤノン株式会社 An information processing method, information processing apparatus and a remote mixed reality sharing system
WO2006125423A2 (en) * 2005-05-23 2006-11-30 Martin Altmeyer Method and device for generating optical effects on a two-dimensional object
WO2006125423A3 (en) * 2005-05-23 2007-01-04 Martin Altmeyer Method and device for generating optical effects on a two-dimensional object
JP2007066080A (en) * 2005-08-31 2007-03-15 Casio Comput Co Ltd Pointing device
WO2007053116A1 (en) * 2005-10-31 2007-05-10 National University Of Singapore Virtual interface system
JP2007265061A (en) * 2006-03-29 2007-10-11 Gifu Univ Section visualization device
JP2009538487A (en) * 2006-05-26 2009-11-05 アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド System and method for displaying the maintenance instructions and operation instructions of the device using the augmented reality
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP2008040556A (en) * 2006-08-01 2008-02-21 Canon Inc Compound sense of reality presenting device and its control method and program
JP2008117083A (en) * 2006-11-01 2008-05-22 Sharp Corp Coordinate indicating device, electronic equipment, coordinate indicating method, coordinate indicating program, and recording medium with the program recorded thereon
JP2013061978A (en) * 2007-01-05 2013-04-04 Total Immersion Method and devices for real time insertion of virtual objects in image stream using data from real scene represented by the images
JP2010515189A (en) * 2007-01-05 2010-05-06 トタル イメルシオン Using data from the actual scene being represented by an image, a method for inserting a virtual object in real-time image stream and apparatus
US9324229B2 (en) 2007-03-08 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP2009036517A (en) * 2007-07-31 2009-02-19 Shimadzu Corp Head motion tracker device
JP2009147480A (en) * 2007-12-12 2009-07-02 Gifu Univ Calibration apparatus of projection system
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
JP2010146481A (en) * 2008-12-22 2010-07-01 Brother Ind Ltd Head-mounted display
JP2010152570A (en) * 2008-12-25 2010-07-08 Yamaha Corp Pointing system
JP2011015831A (en) * 2009-07-09 2011-01-27 Shimadzu Corp Head motion tracker
KR101757930B1 (en) * 2010-02-12 2017-07-13 삼성전자주식회사 Data Transfer Method and System
JP2011180867A (en) * 2010-03-02 2011-09-15 Brother Industries Ltd Head-mounted display
EP2570890A4 (en) * 2010-05-10 2016-12-07 Olympus Corp Operation input device and manipulator system
US9361818B2 (en) 2010-05-10 2016-06-07 Olympus Corporation Operation input device and manipulator system
JP2011237987A (en) * 2010-05-10 2011-11-24 Olympus Corp Operation input device and manipulator system
JP2012014690A (en) * 2010-06-30 2012-01-19 Pantech Co Ltd Apparatus and method for providing three-dimensional augmented reality
US9201568B2 (en) 2010-12-22 2015-12-01 Zspace, Inc. Three-dimensional tracking of a user control device in a volume
WO2012088285A3 (en) * 2010-12-22 2012-10-26 Infinite Z, Inc. Three-dimensional tracking of a user control device in a volume
US8970625B2 (en) 2010-12-22 2015-03-03 Zspace, Inc. Three-dimensional tracking of a user control device in a volume
JP2012174219A (en) * 2011-02-24 2012-09-10 Ohbayashi Corp Image composition method
WO2013035758A1 (en) * 2011-09-06 2013-03-14 Necビッグローブ株式会社 Information display system, information display method, and storage medium
US9459706B2 (en) 2011-09-06 2016-10-04 Biglobe, Inc. Information display system, information display method, and recording medium
JP2013054661A (en) * 2011-09-06 2013-03-21 Nec Biglobe Ltd Information display system, information display method and program for information display
KR101279869B1 (en) 2012-03-23 2013-06-28 국방과학연구소 Apparatus and method for displaying flight simulator image using head mounted display
JP2013214285A (en) * 2012-04-03 2013-10-17 Boeing Co:The System and method for virtual engineering
JP2013222280A (en) * 2012-04-16 2013-10-28 Seiko Epson Corp Projector, control method for the same, program and projection system
CN103809687B (en) * 2012-11-06 2017-10-13 索尼电脑娱乐公司 The head-mounted display, a motion detector and a method, program and image rendering system
US9448405B2 (en) * 2012-11-06 2016-09-20 Sony Corporation Head mounted display, motion detector, motion detection method, image presentation system and program
JP2014093703A (en) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc Head mount display, movement detection device, movement detection method and video presentation system
US10241331B2 (en) 2012-11-06 2019-03-26 Sony Interactive Entertainment Inc. Head mounted display, motion detector, motion detection method, image presentation system and program
US20140125579A1 (en) * 2012-11-06 2014-05-08 Sony Computer Entertainment Inc. Head mounted display, motion detector, motion detection method, image presentation system and program
CN103809687A (en) * 2012-11-06 2014-05-21 索尼电脑娱乐公司 Head mounted display, motion detector, motion detection method, image presentation system and program
JP2014093704A (en) * 2012-11-06 2014-05-19 Sony Computer Entertainment Inc Head mount display and movement detection method
JP2014132719A (en) * 2013-01-07 2014-07-17 Seiko Epson Corp Display device and control method for display device
JP2016520225A (en) * 2013-05-07 2016-07-11 コミサリア ア レネルジ アトミク エ オウ エネルジ アルタナティヴ Method of controlling a graphical interface for displaying an image of the three-dimensional object
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10001644B2 (en) 2014-01-21 2018-06-19 Osterhout Group, Inc. See-through computer display systems
US9885868B2 (en) 2014-01-21 2018-02-06 Osterhout Group, Inc. Eye imaging in head worn computing
US9927612B2 (en) 2014-01-21 2018-03-27 Osterhout Group, Inc. See-through computer display systems
US9436006B2 (en) 2014-01-21 2016-09-06 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9377625B2 (en) 2014-01-21 2016-06-28 Osterhout Group, Inc. Optical configurations for head worn computing
US9933622B2 (en) 2014-01-21 2018-04-03 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9958674B2 (en) 2014-01-21 2018-05-01 Osterhout Group, Inc. Eye imaging in head worn computing
US9529192B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9532715B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9538915B2 (en) 2014-01-21 2017-01-10 Osterhout Group, Inc. Eye imaging in head worn computing
US9829703B2 (en) 2014-01-21 2017-11-28 Osterhout Group, Inc. Eye imaging in head worn computing
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9811152B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9615742B2 (en) 2014-01-21 2017-04-11 Osterhout Group, Inc. Eye imaging in head worn computing
US9651789B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-Through computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US10139632B2 (en) 2014-01-21 2018-11-27 Osterhout Group, Inc. See-through computer display systems
US9651783B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9658458B2 (en) 2014-01-21 2017-05-23 Osterhout Group, Inc. See-through computer display systems
US9658457B2 (en) 2014-01-21 2017-05-23 Osterhout Group, Inc. See-through computer display systems
US9772492B2 (en) 2014-01-21 2017-09-26 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9746676B2 (en) 2014-01-21 2017-08-29 Osterhout Group, Inc. See-through computer display systems
US9740012B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. See-through computer display systems
US9684171B2 (en) 2014-01-21 2017-06-20 Osterhout Group, Inc. See-through computer display systems
US9684165B2 (en) 2014-01-21 2017-06-20 Osterhout Group, Inc. Eye imaging in head worn computing
US9720235B2 (en) 2014-01-21 2017-08-01 Osterhout Group, Inc. See-through computer display systems
US9720227B2 (en) 2014-01-21 2017-08-01 Osterhout Group, Inc. See-through computer display systems
US9720234B2 (en) 2014-01-21 2017-08-01 Osterhout Group, Inc. See-through computer display systems
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9523856B2 (en) 2014-01-21 2016-12-20 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9939646B2 (en) 2014-01-24 2018-04-10 Osterhout Group, Inc. Stray light suppression for head worn computing
US9784973B2 (en) 2014-02-11 2017-10-10 Osterhout Group, Inc. Micro doppler presentations in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9841602B2 (en) 2014-02-11 2017-12-12 Osterhout Group, Inc. Location indicating avatar in head worn computing
US9843093B2 (en) 2014-02-11 2017-12-12 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9547465B2 (en) 2014-02-14 2017-01-17 Osterhout Group, Inc. Object shadowing in head worn computing
US9928019B2 (en) 2014-02-14 2018-03-27 Osterhout Group, Inc. Object shadowing in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9423612B2 (en) 2014-03-28 2016-08-23 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9720241B2 (en) 2014-06-09 2017-08-01 Osterhout Group, Inc. Content presentation in head worn computing
US10139635B2 (en) 2014-06-09 2018-11-27 Osterhout Group, Inc. Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
WO2015195444A1 (en) * 2014-06-17 2015-12-23 Osterhout Group, Inc. External user interface for head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
JP2016095779A (en) * 2014-11-17 2016-05-26 セイコーエプソン株式会社 Head-mounted type display device, method of controlling head-mounted type display device, and computer program
CN105607255A (en) * 2014-11-17 2016-05-25 精工爱普生株式会社 Head-mounted display device, method of controlling head-mounted display device, and computer program
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
JP2016110177A (en) * 2014-12-02 2016-06-20 株式会社トプコン Three-dimensional input device and input system
EP3029547A1 (en) * 2014-12-02 2016-06-08 Kabushiki Kaisha Topcon Three-dimensional input device and input system
US9658685B2 (en) 2014-12-02 2017-05-23 Kabushiki Kaisha Topcon Three-dimensional input device and input system
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD792400S1 (en) 2014-12-31 2017-07-18 Osterhout Group, Inc. Computer glasses
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD794637S1 (en) 2015-01-05 2017-08-15 Osterhout Group, Inc. Air mouse
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10062182B2 (en) 2015-02-17 2018-08-28 Osterhout Group, Inc. See-through computer display systems
WO2017057107A1 (en) * 2015-09-28 2017-04-06 日本電気株式会社 Input device, input method, and program
US10234955B2 (en) 2015-09-28 2019-03-19 Nec Corporation Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
WO2017122274A1 (en) * 2016-01-12 2017-07-20 サン電子株式会社 Image display device
JP6142462B1 (en) * 2016-02-17 2017-06-07 株式会社菊池製作所 Superimposed image display system
JP2017146759A (en) * 2016-02-17 2017-08-24 株式会社菊池製作所 Overlapping image display system

Similar Documents

Publication Publication Date Title
JP5055352B2 (en) A system for three-dimensional tracking surgical instruments in relation to the patient&#39;s body
US8933965B2 (en) Method for calculating light source information and generating images combining real and virtual images
US8055061B2 (en) Method and apparatus for generating three-dimensional model information
CN102193625B (en) The image processing apparatus, image processing method, a program and an image processing system
US7330197B2 (en) Mixed reality exhibiting method and apparatus
JP4701424B2 (en) Image recognition apparatus and the operation determination method, and program
US7830334B2 (en) Image displaying method and apparatus
US6891518B2 (en) Augmented reality visualization device
US7301648B2 (en) Self-referenced tracking
US7493153B2 (en) Augmented reality system controlled by probe position
EP1708139A2 (en) Calibration method and apparatus
US20090190003A1 (en) Vision-based augmented reality system using invisible marker
US20120262558A1 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20140152558A1 (en) Direct hologram manipulation using imu
Tuceryan et al. Single-point active alignment method (spaam) for optical see-through hmd calibration for augmented reality
JP4401727B2 (en) An image display device and method
CN100489833C (en) Position posture measuring method, position posture measuring device
JP3944019B2 (en) Information processing apparatus and method
US20060050070A1 (en) Information processing apparatus and method for presenting image combined with virtual image
CN102665589B (en) Patient-side surgeon interface minimally invasive surgical instrument for remote operation
US20130154913A1 (en) Systems and methods for a gaze and gesture interface
US7808450B2 (en) Image processing method and image processing apparatus
JP6074494B2 (en) Shape recognition apparatus, the shape recognition program, and a shape recognition method
EP2112547A2 (en) Image processing apparatus, image processing method, program, and recording medium
JP4933164B2 (en) The information processing apparatus, information processing method, program, and storage medium