JP2000350859A - Marker arranging method and composite reality really feeling device - Google Patents

Marker arranging method and composite reality really feeling device

Info

Publication number
JP2000350859A
JP2000350859A JP16471699A JP16471699A JP2000350859A JP 2000350859 A JP2000350859 A JP 2000350859A JP 16471699 A JP16471699 A JP 16471699A JP 16471699 A JP16471699 A JP 16471699A JP 2000350859 A JP2000350859 A JP 2000350859A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
marker
player
position
space
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP16471699A
Other languages
Japanese (ja)
Inventor
Toshiichi Oshima
Kiyohide Sato
清秀 佐藤
登志一 大島
Original Assignee
Mr System Kenkyusho:Kk
株式会社エム・アール・システム研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To reliably detect a marker by arranging a marker as a position index at the time of generating a composite reality space in such a positional relation where another player cannot observe a marker to be used when plural players observe the composite reality space in the case of arranging the marker in a real space. SOLUTION: A head mounting type picture display (HMD) 105 provided with a small video camera 103 and a head position posture sensor 1011, etc., is provided in player processing parts 100 to 300 provided at each player respectively connected to a control part 400. Then a photographed video by the eyes of the player is superimposed with a virtual space picture and displayed on the HMD 105. In addition, a head position posture measuring part 101 detects a marker for position correction through the use of an inputted picture, and corrects a signal from the sensor 1011 to estimate the posture, etc., of the player. In this case, the marker can precisely be detected by arranging each marker in such a positional relation where another player cannot observe the marker to be used.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、複合現実空間を提示する際に位置指標として用いられるマーカを配置する方法に関し、特に複合現実空間を複数のプレーヤが共有する場合でもマーカの検出が容易なマーカ配置方法及びそれを用いた複合現実感装置に関する。 The present invention relates to relates to a method for arranging the marker to be used as a position indicator in presenting a mixed reality space, a particularly easy detection of the marker even when the mixed reality space are multiple players to share marker placement method and a mixed reality apparatus using the same.

【0002】 [0002]

【従来の技術】近年、現実空間と仮想空間の継ぎ目のない結合を目的とした複合現実感(Mixed Reallity、M In recent years, mixed reality for the purpose of seamless coupling of real space and virtual space (Mixed Reallity, M
R)に関する研究が盛んになっている。 A Study on the R) has become popular. MRは従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ(VR)の世界と現実空間との共存を目的とし、VRを増強する技術として注目されている。 MR is conventional, the coexistence of the world and the real space of only experience possible was the virtual reality in the situation that has been separated from the real space (VR) for the purpose, it has been attracting attention as a technology to enhance the VR.

【0003】複合現実感を実現する装置として代表的なものは、ヘッドマウントディスプレイ(HMD)である。 [0003] The typical as a device to achieve a complex reality is a head-mounted display (HMD). すなわち、現実空間と仮想空間をHMDに合成して表示することにより、複合現実感を実現するものである。 That is, by displaying the real space and virtual space by combining the HMD, realizes the mixed reality. また、HMDを用いたMRの方式としては、半透過型(シースルー型)のヘッドマウントディスプレイ(H As the MR method with HMD, head mounted display (H transflective (see-through)
MD)にCG等の画像を重畳する光学シースルー方式と、HMDに装着したビデオカメラで撮影した画像データにCG等の画像を合成した後、HMDに表示するビデオシースルー方式がある。 An optical see-through method of superimposing an image of the CG, etc. MD), was synthesized image of CG such as image data captured by a video camera attached to the HMD, there is a video see-through method for displaying a HMD.

【0004】MRの用途としては、患者の体内の様子を透過しているように医師に提示する医療補助の用途や、 [0004] Examples of applications of MR, and medical assistance to be presented to the physician as through the state of the patient's body applications,
工場において製品の組み立て手順を実物に重ねて表示する作業補助の用途など、今までのVRとは質的に全く異なった新たな分野が期待されている。 Such as work assistance applications to be displayed over the products of the assembly procedure to the real at the factory, qualitatively quite different new areas is expected to VR of until now.

【0005】これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の”ずれ”をいかにして取り除くかという技術である。 [0005] The required in common for these applications is a technique of how to get rid of "deviation" between real space and virtual space. ”ずれ”は位置ずれ、時間ずれ、質的ずれに分類可能であり、この中でももっとも基本的な要求といえる位置ずれの解消については、従来から多くの取り組みが行われてきた。 "Shift" in the shift position, the shift time, it can be classified in qualitative shift, for the elimination of misalignment it can be said that the most basic request Among this, many efforts have been conventionally done.

【0006】特にビデオシースルー方式MRの場合、位置ずれを補正する方法として画像処理の手法が比較的容易に適用できるため、画像処理を利用した位置合わせについて従来提案がなされている。 [0006] Particularly in the case of a video see-through method MR, since it image technique is relatively easily applied treatment as a way of correcting the positional deviation, proposals have been conventionally made on the registration using image processing.

【0007】具体的には、現実空間の所定位置に、画像処理によって検出しやすい色で印付けされたマーカを配置し、プレーヤが装着したカメラで撮影した画像から検出したマーカ位置によって視点位置を計算する方法や、 [0007] Specifically, at a predetermined position in the real space, a marked by markers in readily detected color by the image processing arrangement, the viewpoint position by the marker position player detected from an image captured by a camera mounted calculations and how to,
画像中のマーカ位置によって位置姿勢センサの出力信号を補正する方法などである。 It is a method for correcting the output signal of the position and orientation sensor by the marker position in the image.

【0008】 [0008]

【発明が解決しようとする課題】画像データ中のマーカを検出し、その結果によってプレーヤの位置姿勢を推定する場合には、マーカは、画像中に適度な大きさかつほぼ均一な間隔で現れる必要がある。 Detecting the marker in the image data [0005], in the case of estimating the position and orientation of the player by the results, the marker is required to appear in an appropriate size and substantially uniform spacing in the image there is. また、視点位置の計算には十分な個数のマーカが同時に画像中で検出される必要があるため、画像中である程度狭い間隔で観測されるようにマーカを配置する必要がある。 Further, since the calculation of the viewpoint position need sufficient number of markers are detected in the image at the same time, it is necessary to place the marker as observed at a certain small distance in the image.

【0009】一方、マーカの追跡精度や識別精度を上げるためには,画像中である程度広い間隔で観測されるようにマーカを配置する必要がある。 On the other hand, in order to increase the tracking accuracy and identification accuracy of the marker, it is necessary to place the marker as in the image is observed at a certain wide intervals.

【0010】プレーヤが一人の場合であれば、このような条件を満たすようにマーカを配置することは困難ではないが、複数のプレーヤが共通の複合現実空間を共有するようなアプリケーションにおいては、あるプレーヤからは等間隔で観測可能に配置されたマーカが、他のプレーヤからは等間隔に観測されないことが起こりうる。 [0010] In the case the player is alone, but is not difficult to arrange the marker so as to satisfy such conditions, in applications where multiple players to share a common mixed reality space, there markers that are observable arranged at equal intervals from the player, the other players can occur not be observed at regular intervals.

【0011】そのため、特開平11−84307号公報では、2人のプレーヤが現実物体であるテーブル上で仮想のパックを打ち合うエアホッケーゲームにおいて、プレーヤごとに異なる色のマーカを設けることによって、 [0011] Therefore, in Japanese Patent 11-84307 discloses that by the two players is air hockey game Uchiau packs virtual on a physical object table, providing different colors of the markers for each player,
各プレーヤからマーカが好適な配置と大きさで観測できるように構成している。 Marker from each player is configured to be observed in a suitable arrangement and size.

【0012】しかしながら、同一複合現実空間を共有するプレーヤが増えると、色分けによるマーカ配置が困難になってくる。 [0012] However, when the player increase that share the same mixed reality space, the marker placement becomes difficult due to color-coded. すなわち、画像処理によって色を検出するためには、マーカと背景物体の色および異なるユーザ間のマーカの色はそれぞれ画像処理によって容易に検出、分離が可能な色である必要があるが、使用する色が増加するとこの条件をみたすことが困難になり、抽出誤りやマーカ相互の識別誤りの発生原因となる。 That is, in order to detect the color by the image processing is readily detected by the respective image processing marker color between the markers and the color of the background objects and different users, it must be a color separable can be used the color increases it is difficult to satisfy this condition, the cause of the extraction errors or markers mutual identification error.

【0013】図10は、複数色のマーカを用いた際の誤認識原因について説明する図である。 [0013] Figure 10 is a diagram for explaining erroneous recognition caused at the time of using a plurality of color markers. 図10において、 10,
横軸は赤、縦軸は緑を示し、説明を簡略化するために青色の軸を省略して記載してある。 The horizontal axis red, the vertical axis represents the green, are described by omitting the blue axis in order to simplify the description. 図において、領域AはマーカtypeA(赤色マーカ)の色分布を定義する領域、領域BはマーカtypeB(橙色マーカ)の色分布を定義する領域をそれぞれ示している。 In the figure, region A shows a region that defines the color distribution of the marker typeA (red markers), region B is a region that defines the color distribution of the marker typeB (orange marker), respectively. このように、プレーヤが増加し、似た色をマーカとして使用した場合、 Thus, when the player increases, using similar color as the marker,
光源の位置や撮影の角度によって例えば赤色マーカを観測したにもかかわらず,領域Bの(即ち橙色マーカの) Despite the observed red marker, for example by position or shooting angle of the light source, the region B (i.e. orange marker)
色として検出されてしまう可能性があり、誤検出のもととなってしまう。 There is a possibility that is detected as a color, it becomes the basis of false detection.

【0014】また、各プレーヤごとに異なる色のマーカを複数配置することによって現実空間に非常に多くのマーカが存在することになり、プレーヤの視界が煩雑になる上、複合現実空間を体感する上で臨場感などを損なう原因となる。 Further, results in a vast number of markers present in the real space by arranging a plurality of different colors of the markers for each player, on the field of view of the player becomes complicated, the felt a mixed reality space in cause prejudice to such realism.

【0015】本発明の目的は、上述の課題を解決し、複数プレーヤにより共通の複合現実空間を共有する場合でも、プレーヤごとのマーカが確実に検出可能な複合現実空間におけるマーカの配置方法を提供することにある。 An object of the present invention is to solve the problems described above, provides a common mixed reality even when space sharing arrangement method of the marker the marker for each player in reliably detectable MR space by multiplayer It is to.

【0016】また、本発明の別の目的は、プレーヤが増加してもマーカの数が単純に増加しない複合現実空間におけるマーカの配置方法を提供することにある。 [0016] Another object of the present invention is that a player to provide the alignment of the marker in the mixed reality space where the number of markers does not increase simply be increased.

【0017】また、本発明の別の目的は本発明による複合現実空間におけるマーカ配置方法を利用した複合現実感装置を提供することにある。 Further, another object of the present invention is to provide a mixed reality apparatus using the marker arrangement method in mixed reality space according to the present invention.

【0018】 [0018]

【課題を解決するための手段】すなわち、本発明の要旨は、複合現実空間を生成する際の位置指標として、現実空間に配置するマーカの配置方法であって、複合現実空間を互いに異なる移動可能範囲内で観察する複数のプレーヤが、複合現実空間を観察した際、他のプレーヤのみが使用すべきマーカが観察されない様な位置関係でマーカを配置することを特徴とするマーカ配置方法に存する。 Means for Solving the Problems That is, the gist of the present invention, as the position indicator at the time of generating a mixed reality space, a method of arranging the marker to place the real space, can be moved to different mixed reality space from each other a plurality of players to be observed in the range, when observing the mixed reality space, it consists in the marker arrangement wherein the placement of the markers only a marker positional relationship, such as is observed to be used other players.

【0019】また、本発明の別の要旨は、本発明のマーカ配置方法によって配置されたマーカを用いてプレーヤの位置情報の算出及び/または補正を行うことを特徴とする複合現実感装置に存する。 Further, another aspect of the present invention, there is provided a mixed reality apparatus, characterized in that for calculating and / or correction of the positional information of the player using the markers arranged by the marker arrangement method of the present invention .

【0020】また、本発明の別の要旨は、本発明による複合現実空間におけるマーカ配置方法方法をコンピュータ装置が実行可能なプログラムとして格納した記憶媒体に存する。 Further, another aspect of the present invention, there is provided a storage medium which stores a marker arrangement method method in a mixed reality space according to the present invention as a computer system executable program.

【0021】 [0021]

【発明の実施の形態】以下、図面を参照して本発明のマーカ配置方法の好ましい実施形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter will be described a preferred embodiment of the marker arrangement method of the present invention with reference to the drawings. 本実施形態は、3人のプレーヤーが同一仮想空間を共有して行う複合現実感ゲームであるが、本発明による複合現実空間におけるマーカ配置方法は、その他任意の用途に適用することができる。 This embodiment has three players are mixed reality game performed by sharing the same virtual space, the marker arrangement method in mixed reality space according to the present invention can be applied to any other applications.

【0022】図1は、本発明によるマーカ配置方法を適用した複合現実感ゲームを実施するための複合現実感装置の構成を示す図である。 FIG. 1 is a diagram showing the configuration of a mixed reality apparatus for carrying out the mixed reality game to which the marker arrangement method according to the invention. 図1は、プレーヤが3人の場合の構成を示している。 Figure 1 is a player shows a configuration of the three. 複合現実感装置は、各プレーヤごとに設けられたプレーヤ処理部100〜300と、各プレーヤ処理部に接続された制御部400とから構成されており、プレーヤの増減によって制御部400に接続されるプレーヤ処理部も増減する。 Mixed reality apparatus, the player unit 100 to 300 provided for each player, which is composed of a connected control unit 400. Each player processing unit is connected to the control unit 400 by the increase or decrease of the player also increase or decrease the player unit.

【0023】プレーヤ処理部100〜300はそれぞれ同一の構成を有しており、プレーヤの体に装着されたセンサや表示装置などの入出力部分(102、103、1 The player unit 100 to 300 input and output portions such as the respective same configuration has a sensor and a display device mounted to the body of the player (102,103,1
05、1011、1021、1022)と、センサから収集した信号処理及びこの信号処理結果と制御部から供給される他プレーヤの情報を元にして表示装置に表示すべき画像を生成する回路部分(101、104、10 And 05,1011,1021,1022), the circuit portion (101 generates an image to be displayed on the display device based on the information of the other players supplied from the collected signal processing and the signal processing result to the control unit from the sensor , 104,10
6、107)とから構成される。 Composed from the 6,107).

【0024】以下、図1と本実施形態において各プレーヤが装着する入出力機器の種類と装着場所を示す図2を参照して、プレーヤ処理部の構成を説明する。 [0024] Hereinafter, with reference to FIG. 2 showing the type and mounting location of the input and output devices each player wears in the present embodiment and FIG. 1, the configuration of the player unit. 図2に示すように、本実施形態において各プレーヤは、頭部に現実空間と仮想空間とを合成して表示するための表示装置である頭部装着型画像表示装置(以下HMDと言う)1 As shown in FIG. 2, each player in the present embodiment, (hereinafter referred to as HMD) head-mounted image display device is a display device for displaying by synthesizing the real space and virtual space in the head 1
05を装着する。 05 is mounted. 本発明においてHMDはビデオシースルー型でも光学シースルー型でもよいが、以下の説明ではビデオシースルー型HMDを用いた場合を例にして説明する。 HMD in the present invention may be an optical see-through in the video see-through type, the following description will be given as an example a case of using the video see-through HMD.

【0025】HMD105の目に近い部分には、2つの小型ビデオカメラ103が設けられている。 [0025] The portion near the eye HMD105, 2 two small video camera 103 is provided. このビデオカメラ103で撮影された、プレーヤの視点とほぼ同一の視点による映像は、画像入力部104を介して後述する画像合成部106に供給され、仮想空間画像と重畳されてプレーヤのHMD105に表示される。 The captured by the video camera 103, video by approximately the same viewpoint as the viewpoint of the player is supplied to the image synthesizing unit 106 to be described later via the image input unit 104, display on HMD105 player is superimposed with the virtual space image It is. また、画像入力部104は画像合成部106の他に、入力画像を頭部位置検出部101へ供給する。 The image input unit 104 in addition to the image combining unit 106 supplies the input image to the head position detecting unit 101.

【0026】また、プレーヤの頭部にはさらに、例えば磁気センサからなる頭部位置姿勢センサ1011が装着されている。 Further, more to the head of the player, for example, the head position and orientation sensor 1011 comprising a magnetic sensor is mounted. 頭部位置姿勢センサ1011は、例えばH Head position and orientation sensor 1011, for example H
MD105を利用して装着することができる。 It can be mounted using the MD105. 頭部位置姿勢センサ1011の出力信号は頭部位置姿勢計測部1 The output signal of the head position and orientation sensor 1011 is a head position and orientation measurement unit 1
01に入力される。 01 is input to. 頭部位置姿勢計測部101は、画像入力部104から供給される画像を用いて位置補正用のマーカを検出し、頭部位置姿勢センサ1011より供給される信号を補正することで、プレーヤの視点位置、姿勢を推定する。 Head position and orientation measurement unit 101 detects a marker for position correction by using the image supplied from the image input unit 104, by correcting the signal supplied from the head position and orientation sensor 1011, the perspective of the player position, to estimate the attitude.

【0027】一方、プレーヤの腕には、対話操作入力装置102が装着されている。 On the other hand, the arm of the player, interactive operation input device 102 is mounted. 対話操作入力装置102 Interactive operation input device 102
は、装着された部位の位置、姿勢を検出する位置姿勢センサ1021と、装着部位の動きに応じてオン・オフするスイッチ(トリガ)1022とを有し、プレーヤが所定の動作を行うことによってコマンド入力を行うための装置である。 The command by making the position of the mounted portion, the position and orientation sensor 1021 for detecting a posture, and a switch (trigger) 1022 to turn on and off in accordance with the movement of the installation position, the player a predetermined operation input is an apparatus for performing.

【0028】以下の説明においては、複数のプレーヤ(本実施形態では3人)が同一の複合現実空間を共有し、複合現実空間上に出現する敵からの攻撃を避けながら、敵を撃破し、時間あるいは敵の攻撃によるダメージが所定量に達するまでに撃破した敵の数あるいは点数を競うゲームであって、対話操作入力装置102を用いて以下のようなコマンド入力が可能な場合を例にして説明する。 [0028] In the following description, a plurality of players (three in this embodiment) share the same mixed reality space while avoiding attacks from the enemy appearing on the mixed reality space, defeating the enemy, time or damage due to enemy attack a game to compete how many or number of enemies defeated to reach a predetermined amount, the case using the interactive operation input device 102 into the command input, such as the following by way of example explain.

【0029】・コマンド1(照準コマンド) 照準位置を仮想空間上で指し示す照準線を表示するコマンド。 [0029] command 1 (aiming command) command to display a line-of-sight pointing to the aiming position on the virtual space. 手の甲を上にした状態で、肘よりも手首を上方に位置させることにより入力する。 While the back of the hand up to input by positioning the wrist above the elbow. ・コマンド2(射撃コマンド) 照準線が示す照準位置を射撃するコマンド。 Command 2 (shooting command) command to fire the aiming position where line of sight is shown. 照準コマンドにより照準線が表示された状態で、一定の加速度以上で腕(肘から手のひらにかけて)を前後に往復移動させることにより入力する。 In a state in which the line-of-sight is displayed by aiming command inputs by reciprocating back and forth arm (toward the palm from the elbow) or more constant acceleration. ・コマンド3(防御コマンド) 相手方の攻撃を防御するコマンド。 Command 3 (defense command) command to defend the other party of the attack. 手の甲を相手方に向けた状態で、指先を上方に向けることにより入力する。 In a state with its back of the hand to the other party, inputs by directing finger upwards. ・コマンド4(リセットコマンド) 射撃コマンドを入力した後、再度照準コマンドを入力する際に入力するコマンド。 Commands 4 after entering the (reset command) shooting command, commands that you enter when you enter again aiming command. 腕を下に垂らした状態にすることで入力する。 To enter by a state in which the arm was hanging down.

【0030】すなわち、本実施形態のゲームにおけるプレーヤの動作としては通常、照準コマンド→射撃コマンド→リセットコマンド→照準コマンドというサイクルでコマンドの入力を繰り返し、このサイクルの中で必要に応じて防御コマンドを入力することになる。 [0030] That is, the normal as the operation of the player in the game of the present embodiment repeats the input command in the cycle of sight commands → shooting command → reset command → aiming command, defense commands as required in this cycle It will be input.

【0031】対話操作入力装置102によって入力されたコマンドは、画像生成部107に供給される。 The commands entered by the interactive operation input device 102 is supplied to the image generating unit 107.

【0032】画像生成部107は、頭部位置姿勢計測部101から供給されるプレーヤの頭部位置及び姿勢情報と対話操作入力装置102から供給されるコマンド情報を制御部400へ転送する。 The image generating unit 107 transfers the command information supplied from the head position and orientation measurement unit 101 head position and orientation information and interactive operation input device 102 of the player which is supplied from the control unit 400. また、プレーヤの頭部位置・姿勢情報及びコマンド情報と、制御部400から受信した他プレーヤの頭部位置・姿勢情報並びにコマンド情報とモデル情報、敵キャラクタの位置、移動方向、状態情報、空間内に配置された障害物の位置、形状などの情報を用いて、対応するプレーヤのHMD105に表示すべき仮想空間画像を作成し、画像合成部106へ出力する。 Further, the head position of the player and orientation information and command information, the head position of the other players and orientation information as well as command information and the model information received from the control unit 400, the position of the enemy character, the moving direction, the state information, the space position of the arranged obstacle, by using information such as shapes, to create a virtual space image to be displayed on HMD105 corresponding player, and outputs it to the image combining unit 106.

【0033】画像合成部106は、プレーヤの視点に近い位置に取り付けられたビデオカメラ103の画像(実空間画像)と、画像生成部107が作成した仮想空間画像とを合成し、プレーヤのHMD105に供給する。 The image combining unit 106 includes an image of the video camera 103 mounted at a position closer to the player's perspective (real space image), by synthesizing the virtual space image by the image generating unit 107 creates, for player HMD105 supplies.

【0034】制御部400は、上述のようなプレーヤ処理部100〜300が接続された複合現実空間管理部1 The control unit 400, the MR space management unit 1 the player unit 100 to 300 as described above is connected
と、現実物体位置計測部2とから構成されている。 When, and a physical object position measurement unit 2. 複合現実空間管理部1は、各プレーヤ処理部100〜300 MR space management unit 1, each player unit 100 to 300
から受信したプレーヤの頭部位置、姿勢に関する情報と、対話操作入力装置102の位置、姿勢及びコマンド情報とを配信するとともに、仮想空間上に表示する敵キャラクタの生成、消滅、制御及び射撃コマンドによる射撃の当たり判定等のゲーム処理を行う。 Head position of the player received from the information on the attitude, the position of the interactive operation input device 102, thereby distributing the position and command information, generates the enemy character to be displayed on the virtual space, extinguished, by the control and shooting commands It performs a game process of judgment, such as per shooting. 敵キャラクタのモデルや位置、移動方向及び、状態(撃破されたか等) Model and the position of the enemy character, the moving direction and the state (or being destroyed, etc.)
の情報も各プレーヤの情報とともに接続される全てのユーザに配信される。 Information is also distributed to all users that are connected with information of each player.

【0035】また、図3に示すように、ゲームの難易度を調整するために射撃の障害となるような現実物体31 Further, as shown in FIG. 3, the physical object 31 such that failure of shooting in order to adjust the difficulty of the game
〜33を配置する様な場合には、この現実物体31〜3 In the case to 33, such as to place, the real object 31-3
3の形状及び位置に関する情報も複合現実空間管理部1 Even composite information about third shape and position real space manager 1
が管理する。 But to manage.

【0036】図3(a)はあるプレーヤから見たゲームフィールド(複合現実空間)の斜視図、図3(b)はその上面図をそれぞれ示す。 [0036] Figure 3 a perspective view of (a) the game field as seen from a certain player (mixed reality space), FIG. 3 (b) shows a top view thereof, respectively. 図3においては、(現実空間の)テーブル30の上に、3つの現実空間物体31〜3 In Figure 3, (in real space) on the table 30, three physical space object 31-3
3を障害物として配置した場合を示す。 3 shows the case of arranging as an obstacle. 本実施形態においては、上述のように対話操作入力装置102を用いた照準コマンドの入力動作が、肘より手首を高くする動作であるため、一般的な体型において腰の高さ程度の高さを有するテーブル30の上に現実空間物体を配置しているが、対話操作入力装置によるコマンド入力動作によってはテーブルが不要であることは言うまでもない。 In this embodiment, the input operation of the aiming commands using an interactive operation input device 102 as described above, since an operation to increase the wrist than elbow, in the general type of about waist height Height While placing the physical space object on the table 30 having, of course by a command input operation by the interactive operation input device table is not necessary.

【0037】図3において、現実空間物体31、32は固定、33は可動とされている。 [0037] In FIG. 3, the physical space object 31 is fixed, 33 is movable. 可動の現実空間物体があると、ゲームの難易度を動的に変化させることができる。 If there is physical space object movable, it is possible to dynamically change the difficulty of the game. 例えば、可動現実物体33がランダムなスピードで左右に移動すれば、標的である敵キャラクタの射撃は静的な現実物体31、32のみが配置されている場合よりも更に難しくなる。 For example, movable physical object 33 if moved to the left and right in a random speed, shooting the enemy character is the target becomes more difficult than if only static physical object 31 and 32 are arranged. 可動現実物体の移動制御は、複合現実空間管理部1が行っても、他の制御回路によって行ってもよい。 Movement control of the movable physical object can be performed by the mixed reality space management unit 1 may be performed by other control circuitry. この場合、可動物体のモデルは複合現実空間管理部1が管理し、またその位置は可動物体33に設けた物体位置センサ331を現実物体位置計測部2によって計測することになる。 In this case, the model of the movable object is managed by the mixed reality space management unit 1 and its position is to measure the object position sensor 331 provided on the movable object 33 by real object position measurement unit 2.

【0038】以上説明したような複合現実感装置は、制御部400をサーバー、プレーヤ処理部100〜300 The mixed reality apparatus as described above, the control unit 400 server, the player unit 100 to 300
(の回路部分)をクライアントとするクライアント=サーバーシステムによって実現することができる。 The (circuit portion) can be achieved by the client = server system to the client. 個々のプレーヤに関する処理をクライアントで分散して処理することにより、プレーヤの増減に柔軟に対処可能である。 By processing in a distributed processing for individual players at the client, it is flexibly cope with increase or decrease of the player. より具体的に述べれば、プレーヤ処理部はビデオ入出力機能及び各種センサからの信号受信機能を有する汎用コンピュータ装置により、制御部400も各プレーヤ処理部と通信可能なインタフェースと、物体位置計測部2からの計測信号受信機能を有する汎用コンピュータ装置により実現できる。 Stated more specifically, the player unit by a general purpose computer system having a signal receiving function from the video input and output functions and the various sensors, the control unit 400 also the possible communication interface with each player unit, the object position measurement unit 2 It can be realized by a general-purpose computer system with a measurement signal receiving function from.

【0039】ただし、3次元の画像表示に関する演算を実時間で行う必要があるため、この様な演算に特化したアクセラレータ(いわゆる3Dアクセラレータ)等を有する比較的高速なコンピュータ装置を用いることが好ましい。 [0039] However, since it is necessary to perform operations on an image display of three-dimensional real time, it is preferable to use a relatively fast computer system having an accelerator specialized for such operation (so-called 3D accelerator), etc. . また、制御部400とプレーヤ処理部100〜3 The control unit 400 and the player unit 100-3
00との通信も100BASE−Tなど容量の大きな回線による接続が好ましい。 00 and communication is also preferably connected by a large line capacity, such as 100BASE-T. 通信回線の容量が小さいとプレーヤ数の増加に伴い処理速度の低下が大きくなる。 Decrease in processing speed with an increase in the number of players and the capacity of the communication line is small becomes large.

【0040】(マーカ配置方法)図4は、本実施形態におけるマーカ配置の一例を示す斜視図である。 [0040] (a marker arrangement method) FIG. 4 is a perspective view showing an example of a marker arranged in the present embodiment. 本実施形態のゲームにおいては、現実物体による障害物を配置するが、その障害物を利用してマーカを配置することにより、各プレーヤの移動範囲内において視野に入るマーカを制限しつつ、前述の条件を満たすことが可能となる。 In the game of this embodiment, placing the obstacle by the physical object, by placing a marker by utilizing the obstacle, while limiting the marker into the field of view within the range of movement of each player, the aforementioned it is possible to satisfy the condition.

【0041】図5(a)〜(c)はそれぞれ、図4におけるプレーヤA,B,Cからみることのできるマーカを抽出して示した図である。 FIG. 5 (a) ~ (c) are respectively diagrams showing by extracting a player A in FIG. 4, B, a marker that can be C Karamiru. このように、各プレーヤから見えるマーカはそれぞれほぼ均等の間隔かつ視点位置の計算に必要な数観察されるが、他プレーヤ用のマーカは視認されないため、色を変える必要がない。 Thus, although the number observed required to calculate the substantially interval and the viewpoint position of the equivalent each marker visible from the player, since the marker for other players not visible, there is no need to change the color. また、図4 In addition, FIG. 4
に示すように複数のプレーヤ間で同じマーカを共有することも可能となる。 Sharing the same markers between multiple players as shown in also becomes possible.

【0042】図6(a)〜(c)は、障害物を利用しない場合に各プレーヤから観察されるマーカを図5(a) [0042] FIG. 6 (a) ~ (c) is 5 markers observed from each player when not using obstacle (a)
〜(c)に対応して示した図である。 It illustrates corresponding to ~ (c). 本発明によるマーカ配置方法によって、各プレーヤが観察するマーカの数が非常に少なくなり、かつ前述の条件を満たすようになることが図5と図6との対比から明快に理解される。 By the marker arrangement method according to the present invention, the number of markers each player to observe is very low, and to become the above-described condition is satisfied is clearly understood from the comparison with FIG. 5 and FIG. 6.

【0043】プレーヤが増加した場合にはマーカを設ける現実物体の形状(断面形状や高低等)を変化させたり、色を追加するなどの方法で対処することができる。 [0043] When the player is increased may be addressed by a method such as adding or changing the shape of the physical object to provide a marker (cross-sectional shape and height, etc.), color.
色を増やす場合も従来の様に1プレーヤに1色を割り当てるわけではないので、少ない色で多数のプレーヤに対するマーカを配置することが可能となる。 Since also not assigning one color to a conventional 1 player as in the case of increasing the color, it is possible to place the marker for a number of players in fewer colors.

【0044】マーカの配置位置の決定は、人手に頼っても良いが、あらかじめ現実物体のモデルと各プレーヤの視点位置移動可能範囲のモデルを生成しておき、対象となるプレーヤから見える範囲でかつ他のプレーヤの視線が遮られる範囲を求めることによって決定することができる。 The determination of the positions of the markers, may be resorted to manually advance to generate the model and the model of the viewpoint position movable range of each player in advance real object, and in the visible range of the player in question it can be determined by determining the extent to which the line of sight of the other players is blocked. さらに、設けたいマーカの数と配置規則を用いて位置を算出するようにしても良い。 Furthermore, it is also possible to calculate the position by using the number and arrangement rule of the marker to be provided. 逆に、このような条件を満たすような障害物形状及び/または配置を算出するように構成しても良い。 Conversely, it may be configured to calculate the obstacle shape and / or arrangement that satisfies such conditions.

【0045】また、障害物などマーカの配置に利用できる物体がない場合であっても、アプリケーション上問題にならない位置に現実物体を配置し、現実物体の存在を仮想空間画像で隠すことにより、プレーヤはマーカ用の現実物体を意識することなく複合現実空間を体験することが可能となる。 Further, even if there is no object available for placement of the markers obstacles, by a physical object disposed at a position not to application problems, mask the presence of the physical object in a virtual space image, player it becomes possible to experience a mixed reality space without being aware of the real object of the marker. 仮想空間画像によるマーカ等の隠蔽については後で詳述する。 It will be described in detail later concealment of the marker or the like by the virtual space image.

【0046】(マーカの検出)次にマーカの検出方法について説明する。 [0046] (Detection of the marker) and then the detection method of the marker will be described. 図8は、図7に示す領域Aに含まれる色を有するtypeAのマーカ(赤色マーカ)を検出する処理の流れを示すフローチャートである。 Figure 8 is a flow chart showing the flow of processing for detecting a marker (red markers) of typeA having a color included in the region A shown in FIG. マーカ検出処理及び検出したマーカの情報の利用はいずれも頭部位置姿勢計測部101が行う。 Any marker detection processing and use of the detection information of the marker is performed by the head position and orientation measurement unit 101.

【0047】まず、ビデオカメラ103で撮影された画像を、画像入力部104を介して取得する(ステップS Firstly, an image captured by the video camera 103, to get through the image input unit 104 (step S
701)。 701). そして、2値化処理を行う(ステップS70 Then, the binarization process is performed (step S70
2)。 2). 具体的には、図7(青の軸は省略して記載)に示される領域Aに含まれる画素を1、それ以外を0とする。 Specifically, (the axes of blue are abbreviated) 7 1 a pixel included in a region A shown in, the otherwise zero. すなわち、 Ii: 入力カラー画像Iを構成するi番目の画素 Ri,Gi,Bi: Iiを構成するR、G、B各色の値 ITHi: 2値画像のi番目の画素値 RminA、GminA,BminA: 領域Aを定義するR、G、Bそれぞれの最小値 RmaxA、GmaxA,BmaxA: 領域Aを定義するR、G、Bそれぞれの最大値 とすると、各Iiごとに、RminA<Ri<Rmax That, Ii: i-th pixel Ri constituting the input color image I, Gi, Bi: Ii constituting the R, G, B colors values ​​ITHi: 2 binary image of the i-th pixel value RminA, GminA, BminA: R that defines the area a, G, B respectively of the minimum value RmaxA, GmaxA, BmaxA: R that defines the area a, G, when the maximum value of each B, and each Ii, RminA <Ri <Rmax
AかつGminA<Gi<GmaxAかつBminA< A and GminA <Gi <GmaxA and BminA <
Bi<BmaxAを満たすIiに対応するITHiに1、それ以外のIiに対応するITHiを0として、二値画像ITHを形成する。 1 ITHi corresponding to Ii that satisfies Bi <BmaxA, as 0 a ITHi corresponding to other Ii, to form a binary image ITH.

【0048】ついで、二値画像ITHにラベリング処理を行い、マーカ領域(クラスタ)を抽出する(ステップS703)。 [0048] Then, performed labeling processing to the binary image ITH, it extracts the marker region (cluster) (step S703). そして、各クラスタの重心(Xn,Yn) And, of each cluster center of gravity (Xn, Yn)
と面積anを算出して(ステップS704)、頭部位置姿勢計測部101内部の、視点位置姿勢推定モジュール(図示せず)へ出力する(ステップS705)。 It calculates the area an (step S704), the internal head position and orientation measurement unit 101, and outputs it to the viewpoint position and orientation estimation module (not shown) (step S705). 視点位置姿勢推定モジュールにおいては、あらかじめ登録されているマーカの絶対座標と、画像から検出されたマーカ位置(クラスタ重心)とから、頭部位置姿勢センサ10 In viewpoint position and orientation estimation module, since the absolute coordinates of the markers that have been previously registered, is detected from the image the marker position (cluster centroid), the head position and orientation sensor 10
11の出力信号の補正を行い、プレーヤの視点位置及び姿勢を算出する。 It corrects the 11 output signals of, calculates the viewpoint position and orientation of the player.

【0049】図8においては、ある1色(赤色)のマーカを検出する場合の処理について説明したが、プレーヤ数が増加し、複数色のマーカが存在する場合には、2値化画像を生成する際の閾値を変えて各色ごとの検出処理を繰り返し行う。 [0049] In FIG. 8, when has been described processing for detecting a marker of a certain color (red), the number of players increases, there are multiple colors of markers, generates a binary image by changing the threshold value at the time of repeating the detection process for each color.

【0050】(マーカの消去)前述の通り、マーカは本来頭部位置姿勢センサ1011の出力が正確であれば不要なものである。 [0050] (marker of erasing) As described above, the marker is the output of the original head position and orientation sensor 1011 is unnecessary if it is accurate. さらに、マーカをプレーヤが認識することにより臨場感を損なうおそれがあるなど、複合現実空間においてマーカの存在は認識されないことが望ましい。 Further, such may impair realism by the marker player to recognize, it is desirable that the presence of the marker is not recognized in the mixed reality space.

【0051】そのため、本発明においては、プレーヤにマーカの存在を意識させないように見かけ上マーカを消去することを特徴とする。 [0051] Therefore, in the present invention, characterized by erasing the apparently marker so as not aware of the presence of the marker to the player. マーカを見かけ上消去する方法としては、種々の方法が考えられるが、マーカに仮想画像を重畳してプレーヤに表示する方法が処理の負荷や違和感が小さいことから好ましい。 As a method for erasing apparently markers, various methods can be considered preferable because the method of displaying the player by superimposing a virtual image to the marker is smaller load and discomfort of treatment.

【0052】図9は、マーカの消去方法を説明する図である。 [0052] Figure 9 is a diagram illustrating an erase method of the marker. 図9(a)は、本実施形態におけるマーカ配置方法で配置した、プレーヤAに対するマーカを表したもので、図5(a)に対応する。 9 (a) is placed in a marker arrangement method in this embodiment, a representation of the markers for the player A, corresponds in Figure 5 (a). このようにテーブル及び障害物といった現実物体に配置されたマーカを消去するには、まずマーカを配置する前に配置の予定される場所をビデオやデジタルカメラ、スチルカメラ等で撮影し、画像データをテクスチャとして取得しておく。 To clear the placed markers real object such Thus table and obstacle, first place video and digital cameras that are scheduled for deployment before placing the marker captured by a still camera or the like, the image data It obtains as a texture. そして、マーカの配置後、プレーヤのHMDに表示する画像データのうち、マーカ部分に相当する画像データをあらかじめ取得しておいたテクスチャ画像で置き換えるか、重畳して画像データを表示する(図9(b))。 After placement of the markers, among the image data to be displayed on the HMD of the player, or replaced with texture image which has been acquired image data corresponding to the marker portion in advance, and displays the image data by superimposing (Fig. 9 ( b)).

【0053】このように画像データを置き換え/重畳することにより、プレーヤはマーカの存在を認識することなく、ゲームに集中することが可能となる。 [0053] By thus replacing / superimposes the image data, the player becomes possible without recognizing the presence of the marker, to concentrate on the game. テクスチャとして用意する画像データは、実際に使用される条件(光源位置や明るさ)の元で取得することが、視覚上の違和感を低減する上で好ましいが、同じ材質の現実物体に配置されるマーカを消去するテクスチャ画像を1つの共通テクスチャとしてもよい。 Image data to be prepared as a texture, to get under the conditions that are actually used (light source position and brightness) is, although preferable in terms of reducing the visual sense of discomfort, are arranged in the real object of the same material a texture image to erase markers may be one common texture.

【0054】また、障害物を使用しないアプリケーションにおいて、マーカ配置のためのみに現実物体を配置したような場合や、個々のマーカに対して画像データを置き換え/重畳するのが困難な場合などは、図9(c)のように、現実物体をすべて覆うような画像91を用いることもできる。 [0054] Furthermore, in not using obstacles applications, and if only for the marker arrangement as arranged physical object, such as when it is difficult to replace / superimposed image data for each marker, as shown in FIG. 9 (c), the can also be used image 91 so as to cover all the physical object. この場合、どのような画像データを用いるかは、アプリケーションによって適宜定めればよい。 In this case, either use any image data may be determined as appropriate depending on the application.
たとえば、ゲームアプリケーションにおいては、逆にこの画像91を利用して、仮想空間におけるステージの様なものを形成しても良いし、現実空間との差を感じさせたくないアプリケーションであれば現実空間で撮影した物体のデータにすればよい。 For example, in a game application, contrary to using this image 91, it may be formed something like a stage in a virtual space, in the real space as long as I do not want to feel the difference between the real space applications it may be the data of the photographed object. もちろん、2次元画像データでなく、3次元物体のデータとすることも可能である。 Of course, instead of two-dimensional image data, it is possible to data of a three-dimensional object.

【0055】 [0055]

【他の実施形態】上述の実施形態では、マーカから得られる情報は頭部位置姿勢センサ1011の誤差補正のために用いていたが、頭部位置姿勢センサ1011を用いることなく、マーカから得られる情報のみからプレーヤの視点位置姿勢を求める事も可能であり、そのような用途にも本発明を適用することが可能である。 In [other embodiments] The foregoing embodiments, the information obtained from the markers had used for error correction of head position and orientation sensor 1011, without using the head position and orientation sensor 1011, obtained from the marker can only be also seeking player's viewpoint position and orientation from the information, it is possible to apply the present invention is also applicable to such an application. また、上述の実施形態はビデオシースルー方式の複合現実感装置であったが、本発明は光学シースルー方式の複合現実感装置にも同様に適用可能であることは言うまでもない。 Further, the above-described embodiments was the mixed reality apparatus of the video see-through method, the present invention is of course similarly applicable to mixed reality apparatus of the optical see-through method.

【0056】また、上述の実施形態においては、トリガ1022を使用せず、対話操作入力装置の動きを検出してコマンドを入力したが、プレーヤがトリガ1022を用いて各種コマンドを入力するようにしても、動作検出とトリガのオン・オフとを組み合わせても良い。 [0056] In the embodiment described above, without using the trigger 1022 has been entered by detecting a command movement of the interactive operation input device, the player so as to input various commands with a trigger 1022 also it may be combined with the motion detection and trigger on or off. さらに、対話操作入力装置に、プレーヤの動作に応じてオン・オフするようなスイッチを組み込んでトリガとして用いることもできる。 Furthermore, the interactive operation input device can be used as a trigger incorporating a switch as to turn on and off according to the operation of the player.

【0057】本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。 [0057] An object of the present invention, a storage medium storing software program codes for realizing the functions of the above-described embodiments (or recording medium) is supplied to a system or an apparatus and a computer (or CPU or an MPU) may read and execute the program code stored in the storage medium, it is needless to say that is achieved. この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the embodiments and the storage medium storing the program code constitutes the present invention. また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the read program by computer, as well as functions of the above embodiments are realized on the basis of the instructions of the program code, such as an operating system (OS) running on the computer It performs a part or entire process but also to a case where the functions of the above-described embodiments are realized by those processes.

【0058】さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 [0058] Furthermore, the program code read from the storage medium are written in a memory of a function expansion unit connected to the function expansion card inserted into the computer or on the basis of the instructions of the program code , the function expansion card or function expansion unit performs a part or all of actual processing CPU provided in but also to a case where the functions of the above embodiments are realized by those processes.

【0059】 [0059]

【発明の効果】以上説明したように、本発明によれば、 As described in the foregoing, according to the present invention,
複合現実感装置において位置あわせのために用いられるマーカを、複数のプレーヤで同一の複合現実空間を共有するような場合であっても、必要な位置的、数的条件を満たしながら配置することが可能となる。 The marker used for alignment in the mixed reality apparatus, even when a plurality of players so as to share the same mixed reality space, be positioned while meeting positional necessary, several conditions It can become. また、プレーヤ毎にマーカの色を変える必要がないため、プレーヤの数が増加した場合でも、誤検出の確率を抑制することができる。 Since it is not necessary to change the color of the marker for each player, even if the number of players increases, it is possible to suppress the probability of false detection.

【0060】さらに、もともと配置された現実空間物体を利用することができるため、アプリケーションによってはマーカを配置するための物体を設ける必要がないという効果も有する。 [0060] Further, it is possible to utilize the originally placed real space objects, depending on the application has the effect that there is no need to provide an object for placing the marker.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明によるマーカ配置方法を適用可能な複合現実感装置の構成例を示すブロック図である。 Is a block diagram showing a configuration example of applicable mixed reality apparatus a marker arrangement method according to the invention, FIG.

【図2】プレーヤが装着する装置の種類と装着部位を説明する図である。 [Figure 2] player is a diagram illustrating the mounting site and the type of equipment to be mounted.

【図3】本発明の実施形態におけるゲームを説明する図である。 3 is a diagram illustrating a game in the embodiment of the present invention.

【図4】本発明によるマーカ配置方法を説明する図である。 Is a diagram illustrating a marker arrangement method according to the invention; FIG.

【図5】図4の配置により各プレーヤから観察されるマーカを示す図である。 The arrangement of FIG. 5 FIG. 4 is a diagram illustrating a marker observed from each player.

【図6】障害物を利用せずに図4と同様のマーカを配置した場合に各プレーヤから観察されるマーカを示す図である。 [6] in the case of arranging the same markers as Figure 4 without using the obstacle is a diagram illustrating a marker observed from each player.

【図7】本発明の実施形態における、赤色マーカの色領域を示す図である。 In the embodiment of Figure 7 the present invention, showing the color range of the red marker.

【図8】カラー画像データから図7に示す色領域のマーカを検出する処理の手順を示すフローチャートである。 8 is a flowchart showing a procedure of processing for detecting a marker color area shown in FIG. 7 from the color image data.

【図9】マーカの消去方法を説明する図である。 FIG. 9 is a diagram illustrating a method of erasing a marker.

【図10】マーカの色数を増やした際の誤検出について説明する図である。 10 is a diagram for explaining erroneous detection at the time of increasing the number of colors of the markers.

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2C001 AA00 AA07 AA17 BA00 BA06 BB00 BB06 BC00 BC06 CA00 CA09 CC00 CC01 5C061 AA29 AB11 AB12 AB14 AB18 9A001 DD12 HH23 HH29 JJ76 KK62 ────────────────────────────────────────────────── ─── front page of continued F-term (reference) 2C001 AA00 AA07 AA17 BA00 BA06 BB00 BB06 BC00 BC06 CA00 CA09 CC00 CC01 5C061 AA29 AB11 AB12 AB14 AB18 9A001 DD12 HH23 HH29 JJ76 KK62

Claims (8)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 複合現実空間を提示する際の位置指標として、現実空間に配置するマーカの配置方法であって、 前記複合現実空間を互いに異なる移動可能範囲内で観察する複数のプレーヤが、前記複合現実空間を観察した際、他のプレーヤのみが使用すべきマーカが観察されない様な位置関係でマーカを配置することを特徴とするマーカ配置方法。 As the position index for presenting 1. A mixed reality space, a method of arranging the marker to place the physical space, a plurality of players to be observed in the mixed reality space different moveable with respect to each other ranges, the when observing the mixed reality space, the marker arrangement wherein placing a marker at the other players only marker observed without such a positional relationship to be used.
  2. 【請求項2】 前記他のプレーヤのみが使用すべきマーカは、当該プレーヤが使用するマーカと色、形状及び大きさが類似のマーカであることを特徴とする請求項1記載のマーカ配置方法。 2. A marker should only said other players use the marker color, marker placement method according to claim 1, wherein the shape and size are similar marker the player uses.
  3. 【請求項3】 あるプレーヤのみが使用するマーカは、 3. A marker only certain player uses,
    他のプレーヤからは現実物体によって隠れる位置に配置することを特徴とする請求項1または請求項2に記載のマーカ配置方法。 Marker placement method according to claim 1 or claim 2, characterized in that arranged at a position hidden by the physical object from the other players.
  4. 【請求項4】 前記現実物体が、前記複合現実空間を利用したアプリケーションのために配置されたものであることを特徴とする請求項3記載のマーカ配置方法。 Wherein said physical object is a marker arrangement method according to claim 3, characterized in that arranged for applications using the mixed reality space.
  5. 【請求項5】 配置するマーカは複数のプレーヤで共有するマーカを含むことを特徴とする請求項1乃至請求項4のいずれかに記載のマーカ配置方法。 5. The arrangement for marker marker placement method according to any one of claims 1 to 4, characterized in that it comprises a marker shared by multiple players.
  6. 【請求項6】 前記マーカの色が共通であることを特徴とする請求項1乃至請求項5のいずれかに記載のマーカ配置方法。 6. A marker placement method according to any one of claims 1 to 5, characterized in that the color of the marker is common.
  7. 【請求項7】 請求項1乃至請求項6のいずれかに記載のマーカ配置方法によって配置されたマーカを用いてプレーヤの位置姿勢情報の算出及び/または補正を行うことを特徴とする複合現実感装置。 7. A mixed reality and performing calculation and / or correction of the position and orientation information of the player using the markers arranged by the marker arrangement method according to any one of claims 1 to 6 apparatus.
  8. 【請求項8】 請求項1乃至請求項6のいずれかに記載のマーカ配置方法をコンピュータ装置が実行可能なプログラムとして格納した記憶媒体。 8. A storage medium storing a marker arrangement method described as a computer apparatus program executable in any one of claims 1 to 6.
JP16471699A 1999-06-11 1999-06-11 Marker arranging method and composite reality really feeling device Pending JP2000350859A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16471699A JP2000350859A (en) 1999-06-11 1999-06-11 Marker arranging method and composite reality really feeling device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP16471699A JP2000350859A (en) 1999-06-11 1999-06-11 Marker arranging method and composite reality really feeling device
US09506382 US7084887B1 (en) 1999-06-11 2000-02-18 Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US11087500 US7408561B2 (en) 1999-06-11 2005-03-24 Marker layout method, mixed reality apparatus, and mixed reality space image generation method

Publications (1)

Publication Number Publication Date
JP2000350859A true true JP2000350859A (en) 2000-12-19

Family

ID=15798540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16471699A Pending JP2000350859A (en) 1999-06-11 1999-06-11 Marker arranging method and composite reality really feeling device

Country Status (1)

Country Link
JP (1) JP2000350859A (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006023268A3 (en) * 2004-08-19 2007-07-12 Sony Computer Entertainment Inc Portable augmented reality device and method
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
JP2014219822A (en) * 2013-05-08 2014-11-20 大日本印刷株式会社 Content display device, content display method, program, and content display system
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8976265B2 (en) 2002-07-27 2015-03-10 Sony Computer Entertainment Inc. Apparatus for image and sound capture in a game environment
JP2015060071A (en) * 2013-09-18 2015-03-30 コニカミノルタ株式会社 Image display device, image display method, and image display program
US9381424B2 (en) 2002-07-27 2016-07-05 Sony Interactive Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US8976265B2 (en) 2002-07-27 2015-03-10 Sony Computer Entertainment Inc. Apparatus for image and sound capture in a game environment
US9381424B2 (en) 2002-07-27 2016-07-05 Sony Interactive Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US8251820B2 (en) 2003-09-15 2012-08-28 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8303411B2 (en) 2003-09-15 2012-11-06 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8758132B2 (en) 2003-09-15 2014-06-24 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
WO2006023268A3 (en) * 2004-08-19 2007-07-12 Sony Computer Entertainment Inc Portable augmented reality device and method
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8840470B2 (en) 2008-02-27 2014-09-23 Sony Computer Entertainment America Llc Methods for capturing depth data of a scene and applying computer actions
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
JP2014219822A (en) * 2013-05-08 2014-11-20 大日本印刷株式会社 Content display device, content display method, program, and content display system
JP2015060071A (en) * 2013-09-18 2015-03-30 コニカミノルタ株式会社 Image display device, image display method, and image display program

Similar Documents

Publication Publication Date Title
US7295697B1 (en) Depth information measurement apparatus and mixed reality presentation system
US7445549B1 (en) Networked portable and console game systems
US6890262B2 (en) Video game apparatus, method and recording medium storing program for controlling viewpoint movement of simulated camera in video game
US7809160B2 (en) Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20040087366A1 (en) Interactive gaming apparel for interactive gaming
US7126607B2 (en) Electronic game and method for effecting game features
US20040063481A1 (en) Apparatus and a method for more realistic interactive video games on computers or similar devices using visible or invisible light and an input computing device
US20090069096A1 (en) Program, information storage medium, game system, and input instruction device
US20080267450A1 (en) Position Tracking Device, Position Tracking Method, Position Tracking Program and Mixed Reality Providing System
US20110292036A1 (en) Depth sensor with application interface
US20100302145A1 (en) Virtual desktop coordinate transformation
US20050059489A1 (en) Motion sensing applications
US20120270653A1 (en) Method and system to create three-dimensional mapping in a two-dimensional game
US6522312B2 (en) Apparatus for presenting mixed reality shared among operators
US20080225041A1 (en) Method and System for Vision-Based Interaction in a Virtual Environment
US20130328928A1 (en) Obstacle avoidance apparatus and obstacle avoidance method
US7961909B2 (en) Computer interface employing a manipulated object with absolute pose detection component and a display
US20090247250A1 (en) Program, game system, and movement control method
US20090181736A1 (en) System and method for lock on target tracking with free targeting capability
US20130041648A1 (en) Sound localization for user in motion
US7874917B2 (en) Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7657079B2 (en) Single constraint at a time (SCAAT) tracking of a virtual reality (VR) display
US20060160616A1 (en) Measuring device using image and measurement method using image
Vallino et al. Interactive augmented reality
US20120320033A1 (en) Mobile platform for augmented reality

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030516