JP2002233665A - Game system, game method, and variable recording medium - Google Patents

Game system, game method, and variable recording medium

Info

Publication number
JP2002233665A
JP2002233665A JP2001372183A JP2001372183A JP2002233665A JP 2002233665 A JP2002233665 A JP 2002233665A JP 2001372183 A JP2001372183 A JP 2001372183A JP 2001372183 A JP2001372183 A JP 2001372183A JP 2002233665 A JP2002233665 A JP 2002233665A
Authority
JP
Japan
Prior art keywords
position
means
imaging
target
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001372183A
Other languages
Japanese (ja)
Other versions
JP3686919B2 (en
JP2002233665A5 (en
Inventor
Yukinobu Ishino
行宣 石野
Original Assignee
Nikon Corp
Nikon Gijutsu Kobo:Kk
株式会社ニコン
株式会社ニコン技術工房
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2000371019 priority Critical
Priority to JP2000-371019 priority
Application filed by Nikon Corp, Nikon Gijutsu Kobo:Kk, 株式会社ニコン, 株式会社ニコン技術工房 filed Critical Nikon Corp
Priority to JP2001372183A priority patent/JP3686919B2/en
Publication of JP2002233665A5 publication Critical patent/JP2002233665A5/ja
Publication of JP2002233665A publication Critical patent/JP2002233665A/en
Application granted granted Critical
Publication of JP3686919B2 publication Critical patent/JP3686919B2/en
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a game system, a game method, and a variable recording medium which can enable an operator to directly input to an object image on a display screen from an arbitrary inputting position and simultaneously give position direction information of the inputting operator to the object image to provide a diversity of game development. SOLUTION: This game system is equipped with an imaging means 101 to image the target including at least four feature points on a plane and a posture calculating means 521 to calculate a posture parameter of an imaging plane facing the plane based on taken image data obtained by the imaging means. The target is varied based on posture parameter obtained by the posture calculating means.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、入力操作者の操作位置に応じて表示画像を変化させるゲーム装置、ゲーム方法及びゲームを実行させるプログラムが記録された可読記憶媒体に関する。 The present invention relates to a game device for varying the displayed image in accordance with the operation position of the input operator, relates readable storage medium having a program for executing the game method and the game is recorded.

【0002】 [0002]

【従来の技術】従来から、テレビやパソコンのCRT等の表示装置を利用した家庭用ゲームや業務用ゲームが知られている。 Heretofore, a home game and an arcade game has been known to use a display device such as a CRT or the like of the TV or PC. 特に、シューティングゲームはガン型コントローラを用いて直接的に表示画面のターゲットとなるオブジェクト画像に向けて狙い、ショットし、ヒットしたか否かを競うゲームであり、直接コントローラを表示画面に向けて操作する代表的なゲームである。 In particular, shooters aim towards the object image that is the target of direct the display screen by using the gun-type controller, was shot, is a game to compete for whether or not a hit, operation toward the controller directly on the display screen which is a typical game.

【0003】一般的なシューティングゲーム装置の位置検出方法は、CRT表示画面上を走査する電子走査線の光をガン型コントローラに設けられた受光素子により光検出する方法である。 [0003] The position detection method of a general shooting game apparatus, a method of light detected by the light receiving element provided with light electronic scanning lines for scanning the CRT display screen to the gun-type controller. 例えば、特開昭60−17907 For example, JP-A-60-17907
9号公報、特開平4−51987号公報、特開平5−3 9 JP, Hei 4-51987, JP-A No. 5-3
22487号公報などが知られている。 Such as 22487 JP are known. また、ガン型コントローラをスクリーン上に投影された投影画像に向けて行うシューティングゲーム装置の従来例として、特開昭62−32987号公報、特開平5−322487号公報などが知られている。 Further, as a conventional example of a shooting game apparatus for performing toward the projection image projected to the gun-type controller on the screen, JP 62-32987, JP-like Hei 5-322487 JP are known.

【0004】最近、ゲーム機の画像処理の高速化により、リアリティ溢れるCG映像で作られた3次元シューティングゲームを楽しめるようになってきている。 [0004] Recently, high-speed image processing of the game machine, has come to enjoy the 3-D shooting game made in reality full of CG video. 例えば、特開平6−213595号公報、特開平11−86 For example, JP-A-6-213595, JP-A No. 11-86
038号公報、国際出願WO97/21194号公報などがあげられる。 038 JP, such as the international application WO97 / 21194 discloses the like.

【0005】このゲームはディスプレイ上の仮想的な3 [0005] The virtual 3 of this game on the display
次元空間内に出現する標的オブジェクトをガン型コントローラにてショットすることにより、得点を競うものである。 By shot target object appearing in dimensional space at the gun-type controller, it is intended to compete for scores. 仮想3次元空間内に配置されたオブジェクトは、 Object placed in virtual three-dimensional space,
複数のポリゴンデータで構成されている3次元オブジェクトであり、仮想カメラ視点(画像視点とも呼ぶ)によって定まる視野座標系に座標変換され表示されている。 A three-dimensional object is composed of a plurality of polygon data is displayed is coordinate converted into the visual field coordinate system determined by the virtual camera viewpoint (also referred to as image viewpoint).
3次元空間内に投影された画像に向けシューティングを行うゲーム装置の代表例として特開平6−213595 JP Representative examples of a game device performs shooting toward the image projected on the three-dimensional space 6-213595
号公報について説明する。 It will be described in JP. 3次元ゲーム空間に見立てた宇宙空間を所定のゲームストーリに従って銃装置が取り付けられた宇宙船にプレーヤーが乗り標的に狙いを定めて射撃しながら飛行するゲームである。 The space likened to a three-dimensional game space is a game to fly while shooting to aim the player targeted ride within spacecraft gun device is attached in accordance with a predetermined game story. プレーヤーが乗っている宇宙船の視点は各フレーム毎の情報として予め記憶されてあり、宇宙空間の景色はこの視点情報に応じて投影するというものである。 Viewpoint spacecraft player is riding Yes stored in advance as information for each frame, views of outer space is that projects according to the viewpoint information.

【0006】3次元の対象オブジェクトの画像視点は、 [0006] The image point of view of the three-dimensional object is,
どの方向を向き、いかなる空間座標を占めるかを任意に設定され、この仮想視点から見た映像を2次元座標平面である表示画面に透視射影演算して表示するようにしている。 Which direction orientation is arbitrarily set whether occupy any space coordinates, the operator displays the perspective projection operation to the image viewed from the virtual viewpoint on the display screen is a two-dimensional coordinate plane.

【0007】 [0007]

【発明が解決しようとする課題】しかしながら、従来のシューティングゲーム装置、例えば、特開平4−519 [SUMMARY OF THE INVENTION However, the conventional shooting game apparatus, for example, JP-A-4-519
87号公報などの座標検出方法は、CRT画面の電子線走査に基づいた光検出方法であるため、液晶表示画面や壁面投影表示面などには用いることができないという問題があった。 Coordinate detection method such as 87 JP are the light detection method based on the electron beam scanning of the CRT screen, the liquid crystal display screen or wall projection display surface there is a problem that can not be used.

【0008】また、特開平8−71252号公報の位置算出方法ではスクリーン面に対して入力操作者はほぼ正位置にて入力操作する場合のみしか適用できず、算出される傾きや位置などは定性的な量でしかなく、リアリティあふれるゲームを楽しむことはできない。 Further, the input operator against the screen surface at the position calculating method of JP-A 8-71252 discloses can only apply only when an input operation at about the normal position, qualitative etc. inclination and position calculated not only in quantity, it is not possible to enjoy the reality full of game.

【0009】特開平6−213595号公報、特開平7 [0009] JP-A 6-213595, JP-A No. 7
−116343号公報などの用いられている操作手段は、表示画面外で3次元オブジェクト空間の視点変更を行うことが出来るものの、いずれもその操作視点座標は予め記憶され、定められている。 Operating means which are used, such as -116343 discloses, although it is possible to perform the viewpoint changes three-dimensional object space outside a display screen, both the operation viewpoint coordinates stored in advance, are determined. シューティングゲームの例では、操作手段からオブジェクトへの視線方向や傾きなどは、ガン型コントローラが取り付けられている支点が撮像視点とし、それを中心として回転角を検出するセンサーが設けられいる。 In the example of shooting games, etc. viewing direction and inclination from the operating means to the object, the fulcrum of the gun-type controller is attached to the imaging viewpoint, a sensor for detection is provided a rotation angle around it. このようにプレーヤーの入力操作空間に制限が生じ、操作自由度は低く、表示画面や対象オブジェクトの視点の移動が画一的となってしまう。 Thus occurs a limit to the input operation space of the player, the operation flexibility is low, the movement of the viewpoint of the display screen and the target object becomes uniform. そのためにゲーム展開が単調で面白みや迫力感が欠けたものとなっていた。 Game development has been a thing that was missing is monotonous and interesting and powerful feeling for that. さらに、このような従来の装置は大型化し、手軽に家庭用ゲームとして用いることは出来ないという問題点があった。 In addition, such prior art devices is large in size, easily there is a problem that can be used as a home-use game can not.

【0010】本発明の目的は、表示画面上のオブジェクト画像に対し操作者が任意の入力操作位置から直接入力操作を可能とすると同時に入力操作者の位置方向情報をオブジェクト画像に与えることができ、多様なゲーム展開を行えるゲーム装置、ゲーム方法及びゲームを実行させるプログラムが記録された可読記憶媒体を提供することにある。 An object of the present invention can provide a position-direction information of possible to simultaneously enter the operator inputs operation directly from the operator any input operation position with respect to the object image on the display screen in the object image, game apparatus capable of performing various game development is to provide a readable storage medium on which the program for executing the game method and the game is recorded.

【0011】 [0011]

【課題を解決するための手段】上記課題を解決するために、本発明の請求項1に記載のゲーム装置は、前記標的を平面上にある少なくとも4個の特徴点を含んで撮像する撮像手段と、前記撮像手段より得られた撮像画像データに基づいて前記平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段とを備え、前記姿勢演算手段により得られた姿勢パラメータに基づいて前記標的を変化させることを特徴とする。 In order to solve the above problems SUMMARY OF THE INVENTION The game apparatus of claim 1 of the present invention, imaging means for imaging at least four feature points is the target on a plane When, a posture calculating means for calculating a posture parameter of the imaging surface with respect to the plane based on the captured image data obtained from the imaging means, the target on the basis of the obtained pose parameters by the posture calculation means changes characterized in that to.

【0012】また、本発明の請求項7に記載の表示画面上に少なくとも4個の特徴点とともに標的オブジェクト画像を表示してプレイするゲーム装置は、前記オブジェクト画像を前記特徴点を含んで撮像する撮像手段と、前記撮像手段の撮像面上の画像データに基づいて前記表示画面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、前記姿勢演算手段により得られた姿勢パラメータに基づいて表示画面のオブジェクト画像を変化させることを特徴とする。 [0012] The game apparatus to play to display the target object image with at least four feature points on the display screen according to claim 7 of the present invention, captures the object image containing the feature point imaging means, a position calculating means for calculating a posture parameter of the imaging surface with respect to the display screen based on image data on the imaging surface of the imaging means, the display screen based on the obtained attitude parameters by the posture calculation means and wherein the changing the object image.

【0013】さらに、本発明の請求項12に記載の表示画面上に複数の特徴点を含む標的オブジェクト画像を表示してプレイするゲーム装置は、前記表示画面に表示された標的オブジェクト画像を少なくとも4個の特徴点を含んで撮像する撮像手段と、前記撮像手段からの撮像画像データ上の前記特徴点座標に基づいて被検出位置を演算する位置演算手段と、前記位置演算手段により演算された被検出位置の演算結果と予め定められた標的オブジェトの部位座標を比較判断するオブジェクト部位判断手段と、 前記部位判断手段の結果に基づき表示手段の標的オブジェクト画像を変化させることを特徴とする。 Furthermore, gaming device, the target object image displayed on the display screen at least 4 to play to display the target object image including a plurality of feature points on the display screen according to claim 12 of the present invention imaging means for imaging include feature points, and the position calculating means for calculating the detected position based on the feature point coordinates on the captured image data from the imaging unit, the calculated by said position calculating means an object region determination means for comparing determining the site coordinates of a predetermined arithmetic result of the position detection target Obujeto, characterized in that changing the target object image display means based on a result of the site determination means.

【0014】また、本発明の請求項19に記載の標的を操作者の姿勢情報に基づいて変化させるゲームを実行させるゲーム方法は、平面上にある少なくとも4個の特徴点を含む標的を撮像する撮像ステップと、前記撮像ステップより得られた撮像面上の画像データに基づいて前記平面に対する撮像面の姿勢パラメータを演算する姿勢演算ステップとを含み、前記姿勢演算ステップにより得られた姿勢パラメータに基づいて標的を変化させることを特徴とする。 [0014] The game method of executing a game that changes based on the posture information of the operator targets of claim 19 of the present invention captures a target containing at least four feature points in a plane an imaging step, and a position calculation step of calculating the attitude parameters of the imaging surface with respect to the plane based on the image data on the imaging plane obtained from the image pickup step, based on the attitude parameters obtained by said position computing step characterized in that changing the target Te.

【0015】さらに、本発明の請求項20に記載の記憶媒体は、標的を平面上にある少なくとも4個の特徴点を含んで撮像された画像データに基づいて特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップより抽出された特徴点の座標に基づいて前記所定平面に対する撮像面の姿勢演算するステップと、前記姿勢演算ステップにより演算された姿勢パラメータに基づき前記標的を変化させるステップとを実行させるプログラムが記億されたことを特徴とする。 Furthermore, the storage medium according to claim 20 of the present invention, the feature point extraction step of extracting feature points on the basis of the image data captured at least four feature points in the target on a plane When the steps of the posture calculation of the imaging surface with respect to the predetermined plane based on the coordinates of the extracted feature point from the feature point extracting step, a step of changing the target based on the attitude parameters calculated by the posture calculation step program for the execution is characterized in that it is Kioku.

【0016】 [0016]

【発明の実施の形態】以下、図面を用いて本発明の実施の形態について説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention are described with reference to the drawings. 図1は、本発明の実施の形態に係わるゲーム装置の全体構成を説明するブロック構成図である。 Figure 1 is a block diagram illustrating the overall configuration of a game device according to an embodiment of the present invention.

【0017】ゲーム装置は入力操作手段100と入力操作手段からの出力信号に応じて画像処理や座標演算を実行するゲーム装置本体120とそれらの処理結果を表示する表示手段110とを備えている。 The game apparatus and a display unit 110 for displaying the executing image processing and coordinate computing game apparatus body 120 with the result thereof treated in accordance with the output signal from the input operating means and the input operation unit 100. [第1の実施の形態]図2は本実施の形態に係わるゲーム装置を説明する概念構成図である。 [First Embodiment] FIG. 2 is a conceptual diagram illustrating a game apparatus according to the present embodiment.

【0018】操作者は入力操作手段であるガン型コントローラ100を用いて、スクリーン上に表示されている標的オブジェクト画像の特定部位(被検出位置ともいう)Psに向けてシューティングゲームを行っている。 [0018] operator using gun-type controller 100 is an input operation unit, (also referred to as a detected position) specific site of the target object image displayed on a screen is performed shooter toward the Ps.
111はプロジェクタ130によりスクリーン上に投影されている画像である。 111 is an image projected on the screen by the projector 130. 100はX−Y−Z座標系(画像座標系と呼ぶ)を有し、X−Y−Z座標系の原点Om 100 has an X-Y-Z coordinate system (referred to as the image coordinate system), X-Y-Z coordinate system origin Om of
としてX−Y面上に撮像面がある。 There is an imaging surface on an X-Y plane as. このX−Y−Z座標系の3次元空間内にX *ーY *座標系(スクリーン座標系と呼ぶ)を有するスクリーン平面110が置かれている。 Screen plane 110 with X * over Y * coordinate system (referred to as a screen coordinate system) is placed in three-dimensional space of the X-Y-Z coordinate system.

【0019】まず最初に、本実施の形態に係わるゲーム装置の各構成について説明する。 [0019] First, a description will be given of each configuration of the game apparatus according to the present embodiment. 入力操作手段100 Input operation means 100
は、撮像手段としてCCDカメラ101、照準手段10 Is, CCD camera 101 as an imaging device, sighting means 10
2、距離測定手段103、それにオブジェクトを動作させる各種制御ボタン14とを備えている。 2, the distance measuring means 103, it has a variety of control buttons 14 to operate the object. 図3は入力操作手段であるガン型コントローラの構成概略図である。 Figure 3 is a structural schematic view of the gun-type controller is an input operation unit.

【0020】撮像手段101は表示画面上の被検出位置を検出するCCD撮像面を有するカメラを用いている。 The imaging unit 101 uses a camera having a CCD imaging surface for detecting the detected position on the display screen.
距離測定手段103は表示画面から撮像手段に設けられている撮像面までの距離測定する。 Distance measuring means 103 for distance measurement to the imaging surface which is provided in the imaging unit from the display screen. 距離測定は公知技術によって行われる。 The distance measurements are made by known techniques. 例えば、CCDカメラレンズにオートフォーカシング機構が設けてあれば、そのフォーカス量を用いることができる。 For example, if the auto focusing mechanism provided in the CCD camera lens, it is possible to use the focus amount. また、レーザー測距装置を設けてもよい。 It is also possible to provide a laser distance measuring device.

【0021】照準手段102は操作者が表示画面上の被検出位置を定めるためのものであり、例えば、十字線が刻まれたファインダー、視認性のレーザーなどが設けられている。 The sighting means 102 is for the operator defines the detected position on the display screen, for example, the finder crosshairs carved, etc. visibility of the laser is provided. 図4及び図5は図3の入力操作手段の光学系配置図であり、図4は照準装置としてファインダー1 4 and 5 is an optical system layout of the input operation unit of FIG. 3, FIG. 4 finder 1 as an aiming device
02Aを用いた例であり、図5は視認性レーザー120 An example using 02A, FIG. 5 visibility laser 120
Bを用いた例である。 An example using B. いずれの図においても照準位置は、CCDカメラレンズの光軸(撮像面の中心)にほぼ一致させてある。 Aiming position in any of the figures are substantially coincide with the optical axis of the CCD camera lens (center of the imaging plane). 本実施例では照準位置とレンズの光軸とは一致させたが必ずしも一致させる必要はない。 In the present embodiment it was coincident with the optical axis of the aiming position and the lens is not always necessary to match. 図4及び図5の詳細な説明は省略する。 Detailed description of FIGS. 4 and 5 will be omitted.

【0022】操作者が照準位置を表示画面上の所望の被検出位置に合わせて、入力操作手段に設けられた撮像手段101のスイッチをオンすることによって撮像画像データを取込まれ、その画像データに基づいて被検出位置の座標を検出するようになっている。 The operator for the desired detection target position on the display screen the aim position, captured the captured image data by turning on the switch of the imaging device 101 which is provided to the input operation unit, the image data and it detects the coordinates of the detected position based on. すなわち、操作者は表示画面上に向かって投影されたオブジェクト画像を直接制御することができる。 That is, the operator can control the object image projected toward the display screen directly.

【0023】さらに、入力操作手段100には、ゲーム進行に必要なオブジェクト画像を上下左右に移動させたり、ジャンプさせたりする各種オブジェクト動作制御ボタン14,15が設けられている。 Furthermore, the input operation unit 100, or move an object image necessary for game progress vertically and horizontally, various object motion control buttons 14 and 15 or to jump are provided. 図1に戻って、入出力インターフェイス3は、入力操作手段からの出力信号をA/D変換し、一時的に記憶できるフレームメモリを持っている。 Returning to FIG. 1, the input-output interface 3, the output signal from the input operating means converts A / D, and has a frame memory capable of temporarily storing. また、入力操作手段から各種オブジェクトを動作させる制御信号をゲーム装置本体120へ出力する。 Also outputs a control signal for operating the various objects from the input operation unit to the game apparatus body 120. また、画像処理結果に伴う音声信号や操作手段を把持している手に振動を与える制御信号などは、この入出力インターフェイスを介して信号をやり取りが行われる。 Further, a control signal for vibrating the hand holding the audio signal and operating means associated with the image processing results, exchanging signals is performed through the input-output interface.

【0024】CPU4はROMを備えており、オペレーションシステム(OS)や各種制御プログラムが格納されている。 [0024] CPU4 includes a ROM, an operating system (OS) and various control programs are stored. 外部記憶媒体20は、ゲームのための各種プログラムが記憶されており、例えばCD−ROM、DV The external storage medium 20, various programs are stored for a game, for example, CD-ROM, DV
Dなどがある。 D, and the like. 記憶媒体20には、本実施の形態に係わるゲームを実行させるための方法が記録され、ゲーム装置本体120やコンピュータなどにより読みとり可能となっている。 The storage medium 20, a method for executing the game according to this embodiment is recorded, and can read due game apparatus body 120 or a computer.

【0025】特徴点抽出手段51は、矩形形状を特徴付けるマーク画像を抽出するために輝度または色が異なる2つの撮像画像に基づいて、その差分画像を得るための差分処理手段511、二値化処理手段512等のマークを抽出するための一連の処理を行う。 The feature point extraction unit 51, based on two captured images brightness or color is different in order to extract the mark image characterizing a rectangular shape, the difference processing unit 511 for obtaining the difference image, binarization performing a series of processes for extracting the mark means 512 or the like.

【0026】特徴点特定手段513は、得られた2枚の撮像画像データからマーカが抽出処理され、撮像面(画像座標系)上の少なくとも4個のマークの重心座標を特定する。 The feature point specifying means 513, two marker from the captured image data obtained is extracted process, identifying at least four barycentric coordinates of the marks on the imaging plane (image coordinate system). 撮像されたマーク画像が4個以上ある場合には、次の姿勢演算に用いる4個のマークの特定も行う。 If the captured mark image is more than 4, also performs certain four marks used in the next position calculation.

【0027】位置演算手段52は、平面姿勢演算手段5 The position calculating means 52, the plane orientation calculation unit 5
21と被検出位置を演算する座標演算手段522とから構成され、入力操作手段により得られた画像データに基づき、視野画面における被検出位置の座標を演算する。 21 and is composed of coordinate calculating means 522 for calculating the detected position, based on the image data obtained by the input operation unit, calculates the coordinates of the detected position in the field of view screen.
姿勢演算手段521は、特定された4個のマーカ座標位置に基づいて、入力操作手段の撮像面の撮像視点を原点とするX−Y−Z座標系におけるスクリーン平面の位置姿勢、撮像面の回転角、仰角、水平角などのパラメータβ、γ、ψを演算する。 Posture calculating means 521, based on the identified four marker coordinate position, the position and orientation of the screen plane in an X-Y-Z coordinate system with the origin of imaging perspective of the imaging plane of the input operation unit, rotation of the imaging surface angle, elevation angle, parameters such as the horizontal angle beta, gamma, calculates the [psi.

【0028】被検出位置座標演算手段522は、平面姿勢演算手段結果得られた姿勢パラメータγまたはψのいずれか1つを用いて、狙った表示画面中の標的オブジェクトの特定部位(被検出位置)の座標Psを演算する。 [0028] the detected position coordinate calculating means 522, using any one of the planar orientation calculation unit resulting pose parameters γ or [psi, specific site of the target object in the display screen aimed (the detected position) and calculates the coordinates Ps.
スクリーン平面の姿勢パラメータ及び被検出位置の座標演算処理については、後で詳細に説明する。 The coordinate calculation process of the posture parameter and the detected position of the screen plane, will be described in detail later.

【0029】入力操作位置特定手段7は、スクリーン平面の姿勢演算手段521から算出された撮像視点に対する表示平面の姿勢パラメータとして回転α、仰角γ及び水平角ψと被検出位置座標演算手段62から算出されたスクリーン上の被検出位置の座標値Psと入力手段に設けられている距離測定手段102から算出されたスクリーン上の被検出位置から入力操作位置までの距離Lなどの入力操作パラメータに基づいて、スクリーンに対する入力操作手段の位置を演算し、特定する処理を行う。 The input position identification means 7, calculates the rotation alpha, elevation γ and horizontal angle ψ and the detected position coordinate calculating unit 62 as a posture parameter of the display plane relative to the image pickup visual point calculated from the screen plane of the posture computing unit 521 based on the input operation parameters such as the distance L from the detected position on the screen that is calculated from the distance measuring means 102 provided to the coordinate value Ps and the input means of the detected position to the input operation position on to screen calculates the position of the input operation means with respect to the screen, performs processing of identifying.

【0030】対象オブジェクト部位判断手段8は、位置演算処理結果に基づいて複数の種々のオブジェクトの中から対象オブジェクトを特定すると共に対象オブジェクトのどの部位に位置しているかを判断処理する。 The object region determination unit 8 determines processing whether the located at any site of the object as well as specifying the target object from a plurality of various objects based on the position calculation result. 画像合成手段9ではゲーム空間内の各種オブジェクトの座標位置が決定された後、対象オブジェクト画像と背景オブジェクト画像とを合成し、表示手段に表示する。 After the image synthesizing unit 9 coordinate position of various objects in the game space are determined, synthesizing the object image and the background object image on the display unit.

【0031】画像合成手段9はヒットした標的オブジェクトの特定部位に対応したオブジェクト動作モードが記憶されているオブジェクト画像記憶手段91とオブジェクト画像記憶手段から選択されたオブジェクト動作モード画像を入力操作パラメータに応じた画像視点(仮想カメラ視点)に基づいて3次元透視変換演算を行う座標演算手段92と変換されたスクリーン座標系のデータに背景データを貼り付けフレームバッファに出力する描画手段93とから構成される。 The image synthesizing unit 9 according to the object operation mode images the object operation mode corresponding to a specific site selected from the object image storage means 91 and the object image storage means having stored therein the hit target object to the input operation parameter composed of drawing means 93 for outputting the pasting frame buffer background data in the image viewpoint of a screen coordinate system converted the coordinate calculating unit 92 for performing 3-dimensional perspective transform operation on the basis of the (virtual camera viewpoint) data .

【0032】ここで、画像視点とは仮想カメラ視点ともいい、コンピュータグラフィックを描くときに表示画面に表示する画像の視野方向を決める仮想的な視点である。 [0032] In this case, referred to as the virtual camera viewpoint from the image point of view, is a virtual point of view to determine the field of view direction of the image to be displayed on the display screen when you draw a computer graphics. この視点の設定は、位置光軸方向(視野方向)、画角、光軸回りの回転などにより決められる。 Setting this view, the position in the optical axis direction (viewing direction), the angle of view is determined by such an optical axis rotation.

【0033】オブジェクト画像記憶手段92は、オブジェクト動作モードデータが記憶されている。 The object image storing section 92, an object operation mode data is stored. オブジェクト動作モードデータは、予め画面に対するいくつかの視軸方向に大別して記憶されている。 Object operation mode data is stored in classified into several visual axis direction with respect to pre-screen. 例えば、画面サイズに対する仰角γ、水平角のψ設定領域に応じ動作モードを9つに分類しておくようにする。 For example, the elevation angle gamma, so as keep classified into nine operating modes depending on ψ setting area horizontal angle relative to the screen size.

【0034】F1(γ2,ψ2)、F2(γ2,ψ1)、F3 [0034] F1 (γ2, ψ2), F2 (γ2, ψ1), F3
(γ2,ψ3)F4(γ1,ψ2)、F5(γ1,ψ1)、F6 (Γ2, ψ3) F4 (γ1, ψ2), F5 (γ1, ψ1), F6
(γ1,ψ3)、F7(γ3,ψ1)、F8(γ3,ψ2)、F (Γ1, ψ3), F7 (γ3, ψ1), F8 (γ3, ψ2), F
9(γ3,ψ3) ここで、γ1、γ2、γ3、ψ2、ψ1 、ψ2 、ψ3の値は、次の範囲にあるとした。 9 ([gamma] 3, .psi.3) where, γ1, γ2, γ3, ψ2, ψ1, ψ2, the value of .psi.3 was to be in the following ranges.

【0035】 仰角:γ2<−5度、−5度≦γ1≦5度、5度<γ3 水平角:ψ2<−20度、−20度≦ψ1≦20度、20 The elevation: .gamma.2 <-5 °, -5 ° ≦ .gamma.1 ≦ 5 degrees, 5 degrees <[gamma] 3 horizontal angle: .psi.2 <-20 °, -20 ° ≦ .psi.1 ≦ 20 °, 20
度<ψ3 描画手段9は対象オブジェクト、背景オブジェクトなどのオブジェクトをオブジェクト空間に設定する処理を行う。 Degrees <.psi.3 drawing unit 9 performs the process of setting target object, an object such as a background object in the object space. 例えば、ゲーム進行に伴い対象オブジェクトを入力操作者の視野内に出現させたり、移動させたりする描画処理を行う。 For example, or to the appearance of the target object to the input operator in the field of view due to the progress of the game, the drawing process or to move perform.

【0036】フレームメモリ94に一時的に記憶された対象オブジェクト及び背景オブジェクトなどの画面とスクロール画面とが合成され、最終的なフレーム画像データとして生成され、プロジェクタ130によりスクリーン110に表示される。 [0036] and the screen and scroll screens such as frame memory 94 temporarily stored object and the background object are combined is generated as the final frame image data is displayed on the screen 110 by the projector 130. 次に、本実施の形態に係わるゲーム装置の動作の説明を、具体的なシューティングゲームに適用した例に基づいて説明する。 Next, a description of the operation of the game apparatus of the present embodiment will be described with reference to the examples applied to specific shooter.

【0037】図6は本発明の実施の形態であるシューティングゲームの基本動作のフローチャートである。 [0037] FIG. 6 is a flow chart of the basic operation of a shooting game which is an embodiment of the present invention. ステップS101は入力操作手段であるガン型コントローラによりスクリーン上の標的オブジェクト画像の特定部位を狙い、引き金を引く操作である。 Step S101 is aimed at specific site of the target object image on the screen by the gun-type controller is an input operation unit is an operation of pulling the trigger. これはトリガスイッチをオンすることにより撮像手段のシャッターオン動作である。 This is a shutter ON operation of the imaging means by turning on the trigger switch. S102はスイッチがオンされたらば、撮像手段の撮像画像を取り込む動作処理である。 S102 is if When the switch is turned on, an operation process takes an image captured by the imaging means. オンされた後はステップS103に進み、オンされなければシューティング動作は初期状態に戻る。 Proceeds to step S103 after it is turned on, to be turned on shooting operation returns to the initial state.

【0038】ステップS103は撮像画像データに基づいて、表示画面上の特徴点であるマーク画像を少なくとも4個抽出し、撮像画像上の特徴点の座標を特定する処理である。 [0038] Based on the step S103 is captured image data, the mark image is feature points on the display screen at least four extraction is the process of identifying the coordinates of the feature points in the captured image. スクリーンに表示された予め決められた位置に設けられた4個のマーカ画像を撮像する。 Imaging the four marker images provided at a predetermined position displayed on the screen. 差分画像処理を行うためスクリーンに表示された表示色の異なる2フレームのマーカ画像が時系列的に取り込まれるようになっている。 Marker images of two frames with different colors as displayed on the screen for performing the difference image processing is adapted to be incorporated in a time-series manner.

【0039】また、本実施の形態の別法として、全体の輝度の異なる2枚の画像の差分画像をとるようにしてもよい。 Further, as another method of the present embodiment may be to take the difference image of the whole of the two images of different brightness. この場合、矩形形状を特徴付ける特徴点として表示画像中全表示画像の4隅または4辺となり、ゲーム装置本体に輝度変更手段を設け、スクリーン上に輝度の異なる2種類の表示画像を供給するようにする。 In this case, the four corners or four sides of the display image in the entire display image as feature points characterizing a rectangular shape, provided the luminance changing unit to the game apparatus main body, so as to provide two types of display images having different luminance on the screen to. 例えば、 For example,
撮像手段のシャッターと同期させ、1度シャッターをオンした時(トリガ信号オン時)所定の時間間隔にて2回撮像する。 Synchronized with the shutter of the imaging means, when turned once shutter (when the trigger signal on) imaging twice at a predetermined time interval. 2回撮像したうちの1回はコンピュータからの投影された原画像を撮像し、2回目の撮像画像では原画像の輝度に対して±40%位輝度を変えた表示画像を撮像シャッターと同期させて撮像する。 One of which was captured twice by imaging the projected original images from a computer, it is synchronized with the imaging shutter a display image is changed 40% position brightness ± the luminance of the original image in the second captured image imaging Te. この1回目に撮像した画像と2回目に撮像した画像との差分画像をとることになる。 It will take the difference image between an image captured in the image and a second time captured in the first.

【0040】ステップS104は、ステップS103で画像座標系において特定された複数の特徴点の座標、すなわちマーカ座標の値に基づいて、撮像面に対するスクリーン平面の姿勢演算処理を行う。 [0040] Step S104 includes a plurality of feature coordinates identified in the image coordinate system at step S103, that is, based on the value of the marker coordinates, provide attitude calculation process of screen plane with respect to the imaging surface. 演算される3つの姿勢パラメータは、X軸回りのψ、Y軸回りのγ、Z軸回りのα又はβである。 Three orientation parameters are calculated, the X-axis [psi, the Y-axis gamma, which is the Z axis α or beta. 本実施の形態では撮像面上でのX X on the imaging surface in this embodiment
−Y−Z座標系を用いて表現している。 It is expressed using the -Y-Z coordinate system.

【0041】ステップS105は、ステップS104で得られた姿勢パラメータα、ψ、γに基づいて、スクリーン上の被検出位置の座標Psを演算処理する。 [0041] Step S105 is the attitude parameters obtained in step S104 alpha, [psi, based on the gamma, to processing the coordinates Ps of the detected position on the screen. なお、 It should be noted that,
ステップS104〜ステップS105についての処理動作の詳細な説明は後述する。 Detailed description of the processing operations of the steps S104~ step S105 will be described later.

【0042】ステップS106はステップS105にて被検出位置が、標的オブジェクトのどの部位にヒットしたか否かを判断する処理である。 [0042] Step S106 is to be detected position in step S105 is a process of determining whether or not a hit in any site of the target object. ヒットしたと判断されれば次のステップに進み、ヒットしなければゲームストーリーに従って進行する。 If it is determined that the hit proceed to the next step, to proceed according to the game story to be hit. ステップS107は、ヒットした標的オブジェクトの特定部位または標的オブジェクトに関連づけられた対象オブジェクトのオブジェクト動作モードデータを予め記憶されていたオブジェクト動作記憶手段から選択する処理である。 Step S107 is a process of selecting from the hit object operation storage means for the object operation mode data previously stored in the target object associated with a specific site or target objects of the target object. 予め記憶されているオブジェクトが複数のポリゴンデータから構成されている3次元オブジェクトである場合には、オブジェクトの仮想カメラ視点を操作者の位置や姿勢に応じて任意の位置に切り替えるようにすることができる。 If the object that is previously stored is three-dimensional objects that are composed of a plurality of polygon data may be to switch to any position in accordance with the virtual camera view point of the object to the position and posture of the operator it can.

【0043】次のステップS108は、距離測定手段からのスクリーンから入力操作手段の撮像面まで距離データLが得るステップである。 [0043] The next step S108 is a step distance data L is obtained to the imaging plane of the input operation means from the screen from the distance measuring means. ステップS109では、姿勢パラメータ及び距離データに基づいてスクリーン面に対する操作者の方向・位置を演算するステップである。 In step S109, a step of calculating the direction and position of the operator with respect to the screen surface based on the attitude parameters and distance data.

【0044】具体的には姿勢情報は、操作位置でのカメラ視点(撮像視点)を原点とし、カメラの視軸方向(レンズ光軸)をZ軸とした画像座標系とした時の画像座標面内の回転角度α、Y軸回りの角度ψ、X軸回りの角度γの3つの姿勢パラメータである。 [0044] Specifically posture information, the camera viewpoint (imaging viewpoint) in the operating position as the origin, the image coordinate plane when the visual axis direction (lens optical axis) and the image coordinate system with the Z axis of the camera rotation angle of the inner alpha, the angle of Y-axis [psi, a three position parameters X axis angle gamma. 距離情報はスクリーン上の被検出位置から操作者が把持している撮像面までの距離である。 Distance information is the distance to the imaging surface by the operator from the detection position on the screen is grasping. 姿勢情報と距離情報とから正確に操作者の位置を決めることができるが、姿勢情報だけであっても視軸方向は特定できるのでステップS108の処理はなくてもよい。 Although it is possible to determine the position of precisely the operator from the attitude information and the distance information may not be processed in step S108 because even the visual axis direction be only orientation information can be specified.

【0045】操作者の位置は、操作者が対象オブジェクトを視準方向に合わせ撮像画像取込動作した時にのみ、 The position of the operator only when the operator has picked-up-image capturing operation combined object in collimation direction,
演算され得られた姿勢パラメータから入力操作手段の操作位置にある撮像面の光軸方向、すなわち視軸方向を特定することができる。 Optical axis direction of the imaging surface from the computed resultant attitude parameters to the operation position of the input operation unit, that is, to identify the visual axis direction. この視軸方向は図1の狙った方向101(破線図示)である。 The visual axis direction is the direction 101 (dashed line illustrated) aimed the FIG.

【0046】ステップS110は、これら処理された結果に基づいて、対象オブジェクトをスクリーン上に表示処理するステップである。 [0046] Step S110, based on these treated result, a step of displaying processing target object on the screen. 例えば、ステップS107で選択されたオブジェクト動作モードを入力操作位置に応じて選択し、オブジェクト動作モードのオブジェクトの画像視点G0を撮像視点(操作視点)P1に一致させて透視射影演算処理して表示することができる。 For example, selected according to the input operation position the selected object operating mode at step S107, and displays the perspective projection processing to match the image viewpoint G0 of objects in the object operation mode to the imaging view (Operation viewpoint) P1 be able to. また、距離情報を得ることが出来るればこの情報を用いて操作者がプレーに伴ってオブジェクト画像を遠近感を増大させて表示画面に表示させることができるので、姿勢情報と複合させてオブジェクト画像を様々な変化させ表示させることによりゲーム演出効果の増大が図ることができる。 Also, if Rure can obtain distance information so the operator using the information can be displayed on the display screen increases the perspective of the object image with the play and complexed with attitude information object image it is possible to achieve an increase in game presentation effect by displaying to various changes. 、図7及び図8は、スクリーンに表示されている3 , 7 and 8, 3 displayed on the screen
次元オブジェクト画像に対して操作位置P1から被検出位置Psにショットしたときの画像視点G0と操作位置(撮像視点)P1との関係を説明する図である。 Is a diagram illustrating the relationship between the image view point G0 and operating positions (imaging viewpoint) P1 when the shot from the operating position P1 to the detection position Ps relative dimension object image. 図7及び図8ともに上図は対象オブジェクトを仮想3次元空間の平面図である。 7 and 8 both upper figure is a plan view of a virtual three-dimensional space objects. 下図はスクリーン面に表示された画像をその法線方向から眺めた図である。 The figure below shows a diagram viewing the image displayed on the screen surface from the normal direction. 図7は、スクリーン平面に対してオブジェクト画像が操作者とは関連なく表示された図である。 7, the object image by the operator to the screen plane is a diagram which is displayed without associated. 図8は3次元オブジェクト画像の画像視点G0を操作位置P1の位置と一致させた場合である。 Figure 8 shows a case where match the position of the operation position P1 to the image viewpoint G0 of the three-dimensional object image. この図では撮像視点を透視点として仮想3次元空間内のオブジェクト画像を透視射影表示させた図を示した。 This figure shows a graph obtained by perspective projection display an object image in the virtual three-dimensional space captured viewpoint as perspective point.

【0047】ここでは図はわかりやすく説明するために仮想3次元空間におかれた対象オブジェクトは静的画像としたが、一般的には対象オブジェクトはショット動作後に動作する動的画像である。 The object placed in the virtual three-dimensional space to describe here the figure clarity was a static image, generally the target object is a dynamic image operation after the shot operation. 以上の処理により、従来にはないリアリティ溢れるゲーム演出効果が得られる。 By the above process, reality full of game presentation effect not in the conventional can be obtained.

【0048】次に、ステップS104の表示平面の姿勢演算処理、ステップS105の被検出位置となる標的オブジェクト特定部位の座標演算処理の動作について説明する。 Next, the posture calculation process of the display plane of the step S104, the operation of the coordinate calculation process of the target object a specific site to be the detection position of the step S105 will be described. 特徴点抽出手段51により表示画像中の4個のマーカ画像を抽出し、各マーカの座標位置を特定された後、この座標位置に基づいてスクリーンに対する入力操作手段に設けられた撮像面の姿勢パラメータを演算し、 Extract the four marker images in the displayed image by the feature point extraction unit 51, after being identified coordinate position of each marker, the attitude parameters of the imaging surface, which is provided to the input operation means with respect to the screen based on the coordinate position It calculates the,
被検出位置の座標を演算する。 It calculates the coordinates of the detected position.

【0049】図9は抽出された4個の特徴点の座標値から被検出位置を演算処理するフローチャートである。 [0049] FIG. 9 is a flowchart for processing the detected position from the coordinate values ​​of the four feature points that are extracted. (a1)姿勢演算処理 図10は、入力操作者が任意の位置から撮像手段をスクリーンに向けて表示画像を撮像した撮像画像qである。 (A1) orientation processing Figure 10, the input operator is captured image q of the captured display image toward the image pickup means on a screen from an arbitrary position.
その時、撮像された表示画像は平面上の座標位置である被検出位置Psに撮像面に設定された基準位置(撮像面の原点Om)に合わせて撮像したときの撮像画像qである。 Then, the imaged display image is an image pickup image q when imaged in accordance with the reference position set in the imaging surface to the detected position Ps which is a coordinate position on the plane (the origin of the imaging surface Om).

【0050】ステップS201では、特定されたq1, [0050] In step S201, the identified q1,
q2,q3,q4の座標に基づいて、スクリーンの撮像画像qの相隣接する幾何学的特徴点間の直線I1. q2, q3, based on the coordinates of the q4, straight line between the mutually adjacent geometric feature points of the captured image q screens I1. I2,I I2, I
3,I4を算出する。 3, to calculate the I4. ステップS203ではこれら直線式を用いて撮像画像データの消失点T0、S0を求める。 In step S203 using these linear equation obtaining the vanishing point T0, S0 of the captured image data.

【0051】矩形形状平面を撮像すると撮像画像には必ず消失点が存在する。 [0051] always vanishing point is present in the captured image when imaging a rectangular plane. 消失点とは平行群が収束する点である。 The vanishing point is that parallel group converge. 例えば、Q1Q2(g1)に対応する撮像面上の線 For example, a line on the imaging surface corresponding to Q1Q2 (g1)
q1q2 q1q2 とQ3Q4(g2)に対応する線q3q4、q1q When Q3Q4 (g2) corresponding to the line q3q4, q1q
4、また右辺Q1Q4 4, also the right-hand side Q1Q4 とq2q3とが完全に平行であれば消失点は無限遠に存在することになる。 When q2q3 and the vanishing point if perfectly parallel will be present at infinity. 無限遠に存在するとき、その方向には透視射影されても透視効果は現れない。 When present at infinity, perspective effect does not appear be perspective projection in that direction. すなわち、X−Y画像座標系(X−Y座標系)のX That, X-Y image coordinate system (X-Y coordinate system) X
軸方向に消失点が無限遠に存在する場合、消失軸はX軸そのものとなる。 If the vanishing point in the axial direction is present at infinity, disappearance axis is the X-axis itself.

【0052】画像データを処理する際には、3次元空間内に置かれた物体の形状は既知であることから行われることが多い。 [0052] In processing the image data, the shape of the placed objects in three-dimensional space is often performed because it is known. 本実施の形態では物体座標系の2組の平行をもつスクリーン上には4隅(幾何学的特徴点に相当) Two sets of on the screen with parallel four corners of the object coordinate system in this embodiment (corresponding to the geometrical feature points)
を有しているので、撮像画像面上にはX軸側、Y軸側のそれぞれに消失点が1つ存在することになる。 Since they have, in the captured image plane on the X-axis side, vanishing point in each of the Y-axis side will be present one.

【0053】図10は任意の位置で撮像したときの撮像データ上で消失点の位置を示したものである。 [0053] FIG. 10 shows the position of the vanishing point on the imaging data when captured at an arbitrary position. X軸側に生じる消失点をS0、Y軸側に生じる消失点をT0とする。 The vanishing point occurring in the X-axis side S0, Y-axis side vanishing point occurring is referred to as T0. q1q2 と q3q4との延長した直線の交点が消失点の位置である。 Intersection of extended straight lines of the q1q2 and q3q4 is the position of the vanishing point. X軸側またはY軸側の一方の消失点が無限遠にあると判断された場合X軸上またはY軸上に1つ存在していると判断された場合には消失直線は、X軸又はY軸そのものとなる。 Disappearance straight line when one of the vanishing point of the X-axis side or Y-axis side is determined to be present one on the X-axis or Y-axis when it is determined that the infinity, X-axis or the Y-axis itself.

【0054】さらにステップS202では消失点S0, [0054] Furthermore, in step S202 vanishing point S0,
T0を求めた後、被検出位置である画像座標系の原点O After obtaining the T0, the origin O of the image coordinate system to be detected position
mとこれら消失点とを結んだ直線消失軸S1S2、T1T2 m and the line disappeared axis connecting the these vanishing point S1S2, T1T2
を求める処理を行う。 Carry out the process of determining the. ステップS203では消失点S Step S203, vanishing point S
0、T0と撮像データ中心Omとを結んだ直線S、Tが、 0, T0 and the straight line S that connects the imaging data center Om, T is
直線q1q2、q3q4、及びq2q3、q1q4と交わる点T Straight q1q2, q3q4, and q2q3, q1q4 and intersecting point T
1(X t1 ,Y t1 )、T2(X t2 ,X t2 )、S1(X s1 ,Y s1 )、 1 (X t1, Y t1) , T2 (X t2, X t2), S1 (X s1, Y s1),
S1(X s2 ,Y s2 )を求める(これらの交点を消失特徴点と呼ぶ)。 S1 (X s2, Y s2) Request (referred to as a vanishing point, wherein the intersections). 撮像画像上のT1T2、S1S2を消失軸と呼ぶことにする。 It is referred to as erasure axis T1T2, S1S2 in the captured image. これら消失軸は、スクリーン上で被検出位置Psを基準とする各々互いに直交した直線であり、被検出位置算出するための基準軸である。 These lost axis is a straight line, each orthogonal to each other relative to the object to be detected position Ps on the screen, which is the reference axis for calculating the detected position. この消失直線は、図2のスクリーン上の直線S1S2、T1T2に相当する。 The disappearance straight line corresponds to the linear S1S2, T1T2 on the screen of FIG. 次に、ステップS204に進む。 Then, the process proceeds to step S204.

【0055】ステップS204では、画像座標系X−Y [0055] In step S204, the image coordinate system X-Y
座標系をX軸側の消失直線SをOmを中心に角度α回転させX軸に一致させ、X'−Y'座標系とする処理を行う。 Coordinate system Om center is aligned with the X-axis is rotated an angle α to the disappearance line S of the X-axis side, it performs processing for the X'-Y 'coordinate system. このとき、Y軸側の消失直線Tを点Omを中心に角度β回転させY軸に一致させ、X''−Y''座標系とする処理でも良い。 At this time, by rotating the angle β disappearance linear T of the Y-axis side around the point Om to match the Y-axis, X '' - Y '' may be in the process of the coordinate system. 本実施の形態で用いる解析ではいずれか一方で十分である。 The analysis used in this embodiment is sufficient either.

【0056】図11は、画像座標系X−Y座標系をα度回転、またはβ度回転させ、X'−Y'座標系、X'' [0056] Figure 11 is an image coordinate system X-Y coordinate system α degree rotation, or rotate β degrees, X'-Y 'coordinate system, X' '
−Y''座標系にそれぞれ座標変換を説明する図である。 Each -Y '' coordinate system is a diagram for explaining the coordinate transformation. これらの回転入力操作は3次元空間ではZ軸回りの回転に相当し、3次元空間内におかれたスクリーン形状の姿勢位置を表す1パラメータである。 These rotational input operation is a three-dimensional space corresponds to a rotation about the Z axis, a first parameter representing the attitude position of the placed a screen pattern in a three-dimensional space.

【0057】例えば、スクリーン上の直線Q1Q2(g [0057] For example, a straight line on the screen Q1Q2 (g
1),Q3Q4(g2)は消失直線SをX軸上に一致させることによりX軸と平行な位置関係となる。 1), Q3Q4 (g2) is a parallel positional relationship with the X-axis by matching the disappearance line S on the X axis. 図12は3 12 3
次元空間における撮像面上のX−Y−Z座標系(画像座標系と呼ぶ)と所定平面上のX*−Y*座標系(平面座標系と呼ぶ)との姿勢の位置関係を示したものである。 Shows the positional relationship between the orientation of the X-Y-Z coordinate system on an imaging surface (referred to as an image coordinate system) and on a predetermined plane X * -Y * coordinate system (referred to as a plane coordinate system) in dimensional space it is. 画像座標系の中心から垂直に延びる光軸(撮像レンズの光軸)をZ軸とする。 An optical axis extending perpendicularly from the center of the image coordinate system (the optical axis of the imaging lens) and Z-axis. Z軸上の視点Oは、画像座標系の原点Omから焦点距離fの位置にある。 Viewpoint O on the Z-axis is the origin Om of the image coordinate system to the position of the focal length f. X−Y−Z座標系のX軸回りの角度ψ、Y軸回りの角度γ、Z軸回りの角度αまたはβとする。 Angle around the X-axis of the X-Y-Z coordinate system [psi, the angle of the Y-axis gamma, and the angle α or β of the Z axis. これらの角度回りはいずれも時計回りを正としている。 Both of these angles around has the clockwise positive.

【0058】次のステップS205は、スクリーン平面に対する撮像面の姿勢を演算する。 [0058] The next step S205 calculates the posture of the imaging surface with respect to the screen plane. このステップにおいて、得られた撮像画像の撮像面上のX−Y座標変換後のX'−Y'座標系における位置座標を基に、画像座標系X'−Y'系の特徴点q1,q2,q3,q4に対する物体座標系のスクリーンQ1,Q2,Q3,Q4の各点の対応づけを行う。 In this step, 'based on the position coordinate in a coordinate system, the image coordinate system X'-Y' resulting X'-Y after X-Y coordinate transformation on the imaging surface of the image image-based feature points q1, q2 , q3, performs correspondence of each point of the screen Q1, Q2, Q3, Q4 of the object coordinate system with respect to q4. この対応付けは、スクリーンと撮像面とを画像座標系(X−Y−Z座標系)を有する3次元空間内に置き、撮像面の焦点距離fを原点とした透視射影変換処理を行うことによりなされる。 This association, puts the screen and the imaging surface in image coordinate system (X-Y-Z coordinate system) three-dimensional space having, by performing perspective projection conversion processing as the origin the focal length f of the imaging plane It is made.

【0059】図13は、3次元空間内に置かれたスクリーンの位置姿勢を説明する斜視図である。 [0059] Figure 13 is a perspective view for explaining the position and orientation of the screen placed in a three-dimensional space. 図では矩形の1/4を示してあり、撮像面上のスクリーン上の位置座標Q1(X * 1 ,Y * 1 )、Q2(X * 2 ,Y * 2 )に対応する座標点をq1(X 1 、Y 1 )、q2(X 2 ,Y 2 )が示されている。 In the Figure is shown a quarter of a rectangle, the position coordinates Q1 on the screen on the imaging plane (X * 1, Y * 1 ), Q2 (X * 2, Y * 2) The coordinate points corresponding to q1 ( X 1, Y 1), q2 (X 2, Y 2) are shown. 解析する各特徴点としてはT1、T2それにS2の3 3 of T1, T2 it S2, as the feature points to be analyzed
点の位置座標が示されている。 Position coordinates of the point are shown.

【0060】Q3(X * 3 ,Y * 3 )、Q4(X * 4 ,Y * 4 )に対応する座標点q3(X 3 ,Y 3 )、q4(X 4 ,Y 4 )については省略してある。 [0060] Q3 (X * 3, Y * 3), Q4 (X * 4, Y * 4) coordinate point q3 corresponding to (X 3, Y 3), omitted for q4 (X 4, Y 4) and Aru. さらに指示された被検出位置は、図の原点Om(0,0,f)に相当する。 The detected position is further instructed corresponds to the origin Om of FIG (0,0, f). 透視点O(0,0,0)は3次元空間X−YーZ座標系の原点であり、fは焦点距離である。 Perspective point O (0,0,0) is the origin of the three-dimensional space X-Y over Z coordinate system, f is the focal length. ここでは2次元スクリーンは理想的な形とし、横軸に平行なスクリーン上辺の長さをg1、下辺の長さをg2とし、縦軸に平行なスクリーン右辺の長さをh1、 2 dimensional screen here is an ideal shape, the length of the parallel screen upper side on the horizontal axis g1, the length of the lower side and g2, parallel screen right side to the vertical axis the length h1,
左辺の長さをh2とする。 The left-hand side of the length and h2. スクリーンの撮像面に対する位置関係は、X軸回りを撮像面の原点Omを中心としてX軸回りに角度+ψ、Y軸回りに角度+γである。 Positional relationship with respect to the imaging surface of the screen, the X-axis of the X axis about the origin Om of the imaging surface angle + [psi, an angle + gamma in the Y-axis. これらいずれも時計回りを正としてある。 Any of these is a clockwise positive. この図ではZ軸回りの回転入力操作(X−Y座標系をβ度回転)した結果を示してある。 In this figure are shown the results of Z-axis of the rotational input operation (X-Y coordinate system β degree rotation).

【0061】本実施例では解析的に容易となるこれら4 [0061] In the present embodiment be analyzed with ease these 4
点を選択したが、スクリーンの姿勢位置を決める4点の特徴点であればいずれでも良い。 Was chosen point may be any feature point of four points for determining the orientation position of the screen. 本実施の形態では、撮像面に設けられた矩形形状上の被検出位置をX−Y座標系の原点とし、原点の他にT1、S2とQ1の3点について透視射影変換処理を行った。 In this embodiment, the detected position on the rectangular shape provided on the imaging surface as the origin of the X-Y coordinate system, was perspective projection transformation process at three in addition to T1, S2 and Q1 origin.

【0062】図14は図13に示した3次元空間内に置かれたスクリーンをY'=0であるXZ平面上に正投影した図である。 [0062] FIG. 14 is a diagram of a screen placed in three-dimensional space are orthogonally projected on the XZ plane is Y '= 0 as shown in FIG. 13. ここでXZ平面内には辺OmS2のみが存在し、残りの辺は投影されたものである。 Here the XZ plane exists only sides OmS2 is, the remaining sides are those projected. 焦点距離f The focal length f
の位置に撮像面を配置して透視射影変換を行い、各点のX'−Y'座標系における位置座標を算出する。 By placing the imaging surface to position performs perspective projection transformation, to calculate the position coordinates in the X'-Y 'coordinate system of each point. その結果が数1、数2で示される。 As a result the number 1, indicated by the number 2.

【0063】 [0063]

【数1】 [Number 1]

【0064】また、図15は図13のスクリーンをX= [0064] FIG. 15 is a screen of FIG. 13 X =
OのYZ平面上に正投影した図である。 On O the YZ plane is positive projected FIG. 図中にはT1及びQ1に関する記載のみであり、Q2、Q3、Q4に関する記載は略してある。 In the figure is only described for T1 and Q1, Q2, Q3, description of Q4 is are short. XZ平面上で行った処理と同様にYZ平面における透視射影変換処理を行い、T1、Q1の座標位置を算出する。 Similar to the processing performed on the XZ plane performs perspective projection conversion process in the YZ plane, and calculates the coordinate position of T1, Q1.

【0065】 [0065]

【数2】 [Number 2]

【0066】スクリーンの特徴点T1及びQ1に着目する。 [0066] Focusing on the feature points T1 and Q1 of the screen. これらがXZ面とYZ面のこれら2つの面に投影し透視射影変換した結果、T1及びQ1の座標値として、図14からはT1(X * t1 ,Z * t1 |x)とQ1(X * 1 ,Z * 1 Results which they are projected perspective projection transformation of these two surfaces in the XZ plane and YZ plane, as coordinate values of T1 and Q1, from FIG. 14 T1 (X * t1, Z * t1 | x) and Q1 (X * 1, Z * 1
|x)、図15からはT1(Y * | X), from FIG. 15 T1 (Y * t1 ,Z * t1 |y)とQ1 t1, Z * t1 | y) and Q1
(Y * 1 ,Z * 1 |y)がそれぞれ得られる。 (Y * 1, Z * 1 | y) are obtained, respectively.

【0067】図14及び図15のXZ平面、YZ平面への正投影面において、Z軸に関する座標値は同じ値をとり、次の関係にある。 [0067] XZ plane of FIG. 14 and FIG. 15, the orthogonal projection plane to the YZ plane, the coordinate values ​​for Z-axis takes the same value, in the following relationship. * 1 |x=Z * 1 |y Z * t1 |x=Z * t1 |y 上式の条件式から次の2つの関係式(数3)を得ることができる。 Z * 1 | x = Z * 1 | y Z * t1 | x = Z * t1 | y above equation conditions following two relations from equation (Equation 3) can be obtained.

【0068】 [0068]

【数3】 [Number 3]

【0069】数3は3次元空間内に置かれたスクリーンの姿勢パラメータ間の関係式である。 [0069] Equation 3 is the relationship between the posture of the screen placed in a three-dimensional spatial parameters. これらの式は矩形位置姿勢を表す1つの角度と画像を特徴付ける撮像面上の複数の座標値との簡単な関係式となっている。 These equations has a simple relationship between the plurality of coordinate values ​​on the imaging surface characterizing one angle and the image representing a rectangular position and orientation. さらに、この式を数に代入するともう1つの姿勢パラメータθを得ることができる。 Furthermore, it is possible Substituting this equation into several obtain another posture parameter theta.

【0070】(b2)座標演算処理 次に、図9のステップS207に進み、撮像面に設定された基準位置に平面上の被検出位置を合わせることにより平面上の被検出位置を算出する処理を行う。 [0070] (b2) coordinate calculation process then proceeds to step S207 in FIG. 9, the process of calculating the detected positions in a plane by combining the detected positions in a plane to the set reference position on the imaging surface do. X−Y座標系をβ度回転しX'−Y'座標系に変換した時、3次元空間内におけるスクリーン上の座標位置の算出式は数4で表される。 When converting the X-Y coordinate system to β degrees rotation X'-Y 'coordinate system, the calculation formula of the coordinate position on the screen in a three-dimensional space can be expressed by the number 4.

【0071】 [0071]

【数4】 [Number 4]

【0072】スクリーン上の座標系を(X * i,Y * i)とする。 [0072] to the coordinate system on the screen and the (X * i, Y * i ). また、スクリーン上の被検出位置を横軸比m、縦軸比nで表すと、座標変換演算は次式(数5及び数6) Also, when representing the detected position on the screen horizontal axis ratio m, the vertical axis ratio n, the coordinate conversion calculation by the following equation (5 and 6)
により行われる。 It is carried out by.

【0073】 [0073]

【数5】 [Number 5]

【0074】 [0074]

【数6】 [6]

【0075】数6で用いたUmax、Vmaxは、予め定められた特徴点間Q2Q3、Q3Q4の長さである。 [0075] Umax used in several 6, Vmax is the length between a predetermined feature point Q2Q3, Q3Q4. 図16 Figure 16
(a)、(b)は、それぞれ予め形成した矩形形状を形成する4個の特徴点Q1,Q2,Q3,Q4の座標系とそれに対応するスクリーン上に投影された座標系との関係を示した図である。 (A), (b) shows the relationship between the four feature points Q1, Q2, Q3, Q4 coordinate system and the coordinate system projected on the screen corresponding to that of forming the preformed rectangular respectively It was a diagram.

【0076】このように本実施の形態において、撮像面の基準位置を中心位置に設けたので3次元空間内の撮像面の位置に対するスクリーンの姿勢位置を表す角度は簡単な関係式となっている。 [0076] Thus, in the present embodiment, the angle representing the orientation position of the screen relative to the position of the imaging surface in the three-dimensional space so provided on the center position of the reference position of the imaging surface has a simple relationship . なお、スクリーンの画像データにおいて2点の消失点を生じるが、3次元空間内の所定平面の姿勢位置や所定平面の被検出位置の検出には、 Incidentally, the detection of it results in the vanishing point of two points in the image data of the screen, the detected position of the orientation position and a predetermined plane in a predetermined plane in the three-dimensional space,
得られた所定平面の画像データにおいて少なくても1点の消失点を求めることができれば可能である。 Less in the image data of the obtained predetermined plane is also possible if it is possible to obtain the vanishing point of 1 point. すなわち、少なくとも一対の平行線を有する形状であればよいのである。 That is, the may be any shape having at least a pair of parallel lines. [第2の実施の形態]図17(a),(b)は、本発明の第2の実施の形態を説明する図である。 [Second Embodiment] FIG. 17 (a), (b) are diagrams for explaining the second embodiment of the present invention.

【0077】ガン型コントローラを用いてスクリーン上に表示された標的オブジェクト画像をシューティングする第1の実施の形態とは異なり、第2の実施の形態では用いるガン型コントローラは同じであるが標的オブジェクトとして実空間での3次元オブジェクトをシューティングしようとするゲームである。 [0077] Unlike the first embodiment in which shooting the target object image displayed on a screen using a gun-type controller, as gun-type controller to be used in the second embodiment is the same but the target object a three-dimensional object in the real space, which is a game in which you try to shooting.

【0078】図17(a)の上図はコントローラ802 [0078] Figure 17 upper diagram of (a) the controller 802
を把持している操作者が、実空間内にキュービックベース804の上に標的3次元オブジェクト801を狙っている図である。 Operator gripping the is a diagram aiming the target three-dimensional object 801 on the cubic base 804 in the real space. キュービックベース804内にはモーターがあり、回転軸805の回りで回転することができるようになっている。 The in cubic base 804 has a motor, and is capable of rotating about an axis of rotation 805. またベース804の一面804aには特徴点として4個の発光素子(LED)806a、8 The four light emitting elements as a characteristic point on one surface 804a of the base 804 (LED) 806a, 8
06b、806c、806dが設けられている。 06b, 806c, 806d is provided. 図1 Figure 1
7(a)の下図はその時のコントローラの撮像面上の標的オブジェクト画像である。 Shown below. 7 (a) is a target object image on the imaging surface of the controller at that time. 撮像面には4個のLEDに対応したLED像806a、806b、806c、80 Imaging surface LED image 806a corresponding to the four LED's in, 806b, 806c, 80
6dが特徴点として示されている。 6d is shown as characteristic points. 被検出位置Psは撮像面の中心803aである。 The detected position Ps is the center 803a of the imaging surface.

【0079】図17(a)において、実空間内のオブジェクト801は操作者に向いていない。 [0079] In FIG. 17 (a), the object 801 in the real space is not suitable for the operator. 操作者が標的オブジェクトの手801aに向けてショットし、ヒットするとモーターが駆動し、実空間内のオブジェクトが操作者の姿勢や位置に応じて動くようにしてある。 Operator is shot toward the hand 801a of the target object, the motor is driven when hit, are as objects in the real space is moved in accordance with the operator's posture and position.

【0080】今、ショットし、ヒットした時の処理動作について説明する。 [0080] Now, shot, and the processing operation at the time of the hit will be explained. ショット動作により、撮像画像80 By shot operation, the captured image 80
3が取り込まれ、4点の特徴点を抽出する。 3 is captured and extracts feature points of the four points. これら特徴点の座標に基づき撮像面に対するキュービックベースのLED面804aの姿勢演算を行い、姿勢パラメータψ、γ、βを算出する。 Performs posture calculation cubic based LED surface 804a with respect to the imaging surface on the basis of these feature point coordinates, attitude parameters [psi, gamma, calculates the beta. 姿勢パラメータの1つを用いて被検出位置を演算する。 It calculates the detected position using one of the orientation parameters. その被検出位置の座標とと予め定められた位置に設けられたオブジェクトの座標とを比較し、ヒットしたと判断されるとモーターが駆動し。 Comparing the coordinates of the object disposed in a predetermined position and its detection target position coordinates, it is determined that a hit motor drives. キュービックベース面804aが操作者の方向に回転駆動する。 Cubic base surface 804a is rotated in the direction of the operator.

【0081】図17(b)は、キュービックベース面が操作者方向に向くように回転軸805を中心に角度ψ回転した後の状態の図である。 [0081] FIG. 17 (b) is a diagram of a state after the cubic base surface is rotated angle ψ around the rotation shaft 805 so as to face the operator direction. 図では1軸の回転で説明したが、駆動法については限定されるものではない。 In the Figure it has been described by the rotation of one axis, but is not intended to be limited for driving method. このように本実施の形態に係わるゲーム装置は、操作者の意図するオブジェクト画像の特定部位を表示画面に対してどの位置からも直接指示することができ、その都度、スクリーンに対する撮像面の姿勢、位置などの各種パラメータが算出され操作者の位置を特定することができるので、より迫力感のある、リアリティ溢れる新規なゲーム効果が可能となった。 Thus game apparatus according to this embodiment, can also be directly instructed from which position the specific portion of the intended object image of the operator with respect to the display screen, each time, the posture of the imaging surface with respect to the screen, it is possible to various parameters such as the position is calculated to identify the position of the operator's more an impressive, reality full new game effects became possible. 例えば、対象オブジェクトの右手を狙ったのにかかわらず、左足に当たってしまった場合、対象オブジェクトは撃たれた状況に応じて所定の動作モード処理を行い、ガン入力操作によりプレイヤーの入力操作位置方向、すなわち視軸方向に向けて撃ち返す動作を行うというインタラクティブなゲームストーリー展開も考えられる。 For example, regardless of targeting right hand object, if hit the left foot, performs a predetermined operation mode process in accordance with the objects was shot situation, the input operation position direction of the player by cancer input operation, namely interactive game storyline that performs an operation to return to shoot toward the visual axis direction is also conceivable.

【0082】また、本実施の形態に係わるゲーム装置は操作位置情報を得ることが出来るため、操作位置が定点位置であってもスクリーンに対し狙った方向を検出できるため、奥行き感のある表示画像に対しオブジェクト動作が現実感溢れる動作としてゲームを行うことが出来る。 [0082] In addition, the display image is a game apparatus according to this embodiment since it is possible to obtain the operation position information, since the operation position can be detected in a direction aimed to screen even fixed point position, the sense of depth object operation on the game can be carried out as the operation full of reality. 例えば、3次元シューティングゲーム装置において、表示画像上標的オブジェクトに向けてショットしたとき、その弾丸が標的オブジェクトにヒットするまでの時間感覚をオブジェクトの遠近感により到達速度が異なるようにすることができる。 For example, in a three-dimensional shooting game apparatus, when the shots towards the display image on a target object, it is possible that the bullet is so reach speed depends on the perspective of the sense of time the object to hit the target object. すなわちスクリーン上のオブジェクト画像の特定部位は、同じ座標位置であっても狙った方向によりオブジェクト動作表現を異なるようにすることができ、バラエティ溢れるゲームを作成することが出来る。 That particular portion of the object image on the screen is the same with a direction aimed even coordinate position can be made to different object operation expression, it is possible to create a variety full game.

【0083】本実施の形態に係わるゲーム装置の入力操作パラメータは、入力操作手段からスクリーンまでの距離データが得られなくとも、少なくとも1つの姿勢パラメータだけであってもよい。 [0083] Input operating parameters of the game apparatus according to this embodiment, without the distance data from the input operating means and the screen can be obtained, may be by at least one orientation parameter.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】 本実施の形態に係わるゲーム装置を説明するブロック構成図。 Block diagram illustrating a game apparatus according to the disclosed exemplary embodiment.

【図2】 第1の実施の形態に係わるゲーム装置の全体構成斜視図。 [Figure 2] a perspective view showing the entire configuration of a game device according to the first embodiment.

【図3】 本実施の形態に係わるガン型コントローラの構成斜視図。 [3] Configuration perspective view of the gun-type controller according to this embodiment.

【図4】 本実施の形態に係わる照準手段の第1の光学系。 [4] The first optical system of the sighting means according to the present embodiment.

【図5】 本実施の形態に係わる照準手段の第2の光学系。 [5] The second optical system of the sighting means according to the present embodiment.

【図6】 本実施の形態に係わる基本動作を説明するフローチャート。 FIG. 6 is a flowchart illustrating the basic operation according to this embodiment.

【図7】 固定された画像視点と操作視点との関係を説明する図。 Figure 7 illustrates a relationship between a fixed image viewpoint and operation viewpoint.

【図8】 第1の実施の形態に係わる画像視点と操作(撮像)視点との関係を説明する図。 8 is a diagram illustrating the relationship between image viewpoints and the operation (imaging) viewpoint according to the first embodiment.

【図9】 本実施の形態に係わる位置演算処理部の詳細フローチャート。 [9] detailed flowchart of the position arithmetic processing section according to the present embodiment.

【図10】 撮像されたスクリーンの画像。 [10] captured screen image.

【図11】 撮像された画像面上の各座標系。 [11] Each coordinate system on the captured image plane.

【図12】3次元透視射影変換の座標系を説明する斜視図。 Figure 12 is a perspective view illustrating a coordinate system of the three-dimensional perspective projection transformation.

【図13】3次元透視射影変換を説明する斜視図。 Figure 13 is a perspective view illustrating a 3-dimensional perspective projection transformation.

【図14】図13におけるスクリーンのX'−Z'座標面上への正投影図。 [14] orthographic view of the screen of the X'-Z 'coordinate plane in Fig.

【図15】図13におけるスクリーンのY'−Z'座標面上への正投影図。 [15] orthographic view of the screen of the Y'-Z 'coordinate plane in Fig.

【図16】予め定められた座標系とスクリーン座標系との関係を説明する図。 Figure 16 illustrates a relationship between a predetermined coordinate system and the screen coordinate system.

【図17】第2の実施の形態に係わる3次元実空間におけるシューティングゲームを説明する図。 Figure 17 is a diagram illustrating a shooting game in three-dimensional real space according to the second embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

100 入力操作手段 101 撮像手段 102 照準手段 103 距離測定手段 110 スクリーン 111 スクリーン上に投影されている画像 120 ゲーム装置本体 130 プロジェクタ 20 外部記憶媒体 4 CPU 51 特徴点抽出手段 52 位置演算手段 521 平面姿勢演算手段 522 被検出位置(ターゲット)座標演算手段 7 入力操作位置特定手段 8 オブジェクト部位判断手段 9 画像合成手段 100 an input operation section 101 imaging unit 102 sight unit 103 distance measuring unit 110 screen 111 image 120 game device is projected onto the screen body 130 projector 20 external storage medium 4 CPU 51 feature point extraction unit 52 position calculating means 521 plane orientation calculation means 522 to be detected position (target) coordinate computing means 7 input position specifying means 8 object region determination unit 9 image synthesizing means

Claims (26)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 標的を操作者の姿勢情報に基づいて変化させるゲーム装置であって、前記標的を平面上にある少なくとも4個の特徴点を含んで撮像する撮像手段と、前記撮像手段より得られた撮像画像データに基づいて前記平面に対する撮像面の姿勢パラメータを演算する姿勢演算手段とを備え、前記姿勢演算手段により得られた姿勢パラメータに基づいて前記標的を変化させることを特徴とするゲーム装置。 1. A game device for varying based targets the operator of the orientation information, imaging means for imaging at least four feature points is the target on the plane, obtained from the image pickup means was a posture calculating means for calculating a posture parameter of the imaging surface with respect to the plane based on the captured image data, a game, characterized in that changing the target based on the attitude parameters obtained by said position calculating means apparatus.
  2. 【請求項2】 前記標的は実空間内のオブジェクトであって、前記姿勢パラメータにより前記オブジェクトを駆動することを特徴とする請求項1記載のゲーム装置。 Wherein said target is a object in the real space, a game apparatus according to claim 1, wherein the driving the object by the attitude parameters.
  3. 【請求項3】 前記標的は仮想3次元空間内のオブジェクトであって、前記姿勢パラメータにより前記オブジェクトを動かすことを特徴とする請求項1記載のゲーム装置。 Wherein the target is a object in a virtual three-dimensional space, the game apparatus according to claim 1, wherein the by the pose parameters move the object.
  4. 【請求項4】 前記標的面から撮像面までの距離を測定する距離測定手段を備え、前記距離情報を加味して前記オブジェクトを動かすことを特徴とする請求項1記載のゲーム装置。 4. A comprising a distance measuring means for measuring the distance to the imaging surface from the target surface, the game apparatus according to claim 1, wherein in consideration of the distance information, characterized in that moving the object.
  5. 【請求項5】 前記姿勢演算手段により算出された少なくとも1つの姿勢パラメータを用いてオブジェクト上の標的位置座標を演算する被検出位置座標演算手段を備えていることを特徴とする請求項1記載のゲーム装置。 5. A according to claim 1, characterized in that it comprises a detection target position coordinate calculating means for calculating a target location coordinates on the object using at least one orientation parameter calculated by the posture calculation means game device.
  6. 【請求項6】 前記姿勢演算手段は撮像画像上の消失点を用いて演算することを特徴とする請求項1又は5記載のゲーム装置。 Wherein said position calculating means game apparatus according to claim 1 or 5, wherein the calculating with the vanishing point on the captured image.
  7. 【請求項7】 表示画面上に少なくとも4個の特徴点とともに標的オブジェクト画像を表示してプレイするゲーム装置であって、前記オブジェクト画像を前記特徴点を含んで撮像する撮像手段と、前記撮像手段の撮像面上の画像データに基づいて前記表示画面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と、前記姿勢演算手段により得られた姿勢パラメータに基づいて表示画面のオブジェクト画像を変化させることを特徴とするゲーム装置。 7. A game device for playing by displaying a target object image with at least four feature points on the display screen, an imaging means for imaging the object image containing the feature point, the image pickup means an attitude calculating means for calculating a posture parameter of the imaging surface with respect to the display screen based on image data on the imaging surface of, altering the object image on the display screen based on the obtained attitude parameters by the posture calculation means game device according to claim.
  8. 【請求項8】 前記表示画面はプロジェクタから投影される投影画像であることを特徴とする請求項7記載のゲーム装置。 Wherein said display screen is the game device according to claim 7, characterized in that the projection image projected from the projector.
  9. 【請求項9】 前記表示画面と撮像面との距離を測定する距離測定手段を備え、前記距離測定手段からの出力信号をも加味してオブジェクト画像を変化させることを特徴とする請求項7記載のゲーム装置。 9. comprises a distance measuring means for measuring the distance between the display screen and the imaging surface, according to claim 7, wherein the changing the object image in consideration also the output signal from said distance measuring means game device.
  10. 【請求項10】 前記姿勢演算手段により算出された少なくとも1つの姿勢パラメータを用いて前記表示画面上の被検出位置の座標を演算する被検出位置座標演算手段を備えていることを特徴とする請求項7記載のゲーム装置。 10. A claims, characterized in that it comprises a detection target position coordinate calculating means for calculating the coordinates of the detected position on said display screen using at least one orientation parameter calculated by the posture calculation means game apparatus of claim 7, wherein the.
  11. 【請求項11】 前記姿勢演算手段は撮像画像上の消失点を用いて演算することを特徴とする請求項7又は10 11. The method of claim 7 or 10 wherein the position calculating means is characterized by calculating using a vanishing point in the captured image
    記載のゲーム装置。 The game device according.
  12. 【請求項12】 表示画面上に複数の特徴点を含む標的オブジェクト画像を表示してプレイするゲーム装置であって、前記表示画面に表示された標的オブジェクト画像を少なくとも4個の特徴点を含んで撮像する撮像手段と、前記撮像手段からの撮像画像データ上の前記特徴点座標に基づいて被検出位置を演算する位置演算手段と、 12. A game device for playing by displaying a target object image including a plurality of feature points on the display screen, the target object image displayed on the display screen comprises at least four feature points imaging means for imaging, a position calculating means for calculating the detected position based on the feature point coordinates on the captured image data from said image pickup means,
    前記位置演算手段により演算された被検出位置の演算結果と予め定められた標的オブジェト部位の座標とを比較判断するオブジェクト部位判断手段と、 前記部位判断手段の結果に基づき表示手段の標的オブジェクト画像を変化させることを特徴とするゲーム装置。 An object region determination means for comparing determines the operation result and pre-defined target Obujeto site coordinates of the detected position calculated by said position calculating means, the target object image display means based on a result of the site determination means game and wherein the changing.
  13. 【請求項13】 前記位置演算手段は表示画面に対する撮像面の姿勢パラメータを演算する姿勢演算手段と前記姿勢演算手段から演算された少なくとも1つの姿勢パラメータを用いて前記被検出位置の座標を演算する被検出位置座標演算手段とを備えていることを特徴とする請求項12記載のゲーム装置。 Wherein said position calculating means for calculating at least one of coordinates of the target detection position using the attitude parameters are computed with position calculating means for calculating a posture parameter of the imaging surface from the position calculating unit on the display screen game device according to claim 12, characterized in that and a detection target position coordinate calculating means.
  14. 【請求項14】 前記姿勢演算手段は撮像画像上の消失点を用いて演算することを特徴とする請求項13記載のゲーム装置。 14. the posture computing unit game device according to claim 13, characterized in that the calculation using the vanishing point in the captured image.
  15. 【請求項15】 前記位置演算手段は撮像面の中心位置を被検出位置と一致させて演算することを特徴とする請求項12記載のゲーム装置。 15. The method of claim 14, wherein the position calculating means game apparatus according to claim 12, wherein the calculating the center position of the imaging surface to match with the detected position.
  16. 【請求項16】 前記位置演算手段から得られた値が予め定められた座標値に近ければ標的オブジェクト画像を変化させることを特徴とする請求項12記載のゲーム装置。 16. A game apparatus according to claim 12, wherein varying the closer if the target object image in the coordinates values ​​obtained predetermined from the position calculating means.
  17. 【請求項17】 前記撮像手段に設けられた撮像面上の指標として標的を定める照準手段を備えたことを特徴とする請求項12記載のゲーム装置。 17. A game device according to claim 12, characterized in that it comprises a sighting means for determining a target as an indicator on the imaging surface provided on said imaging unit.
  18. 【請求項18】 前記撮像手段の撮像面上の位置とは関係なく標的オブジェクトを定める照準手段を備えたことを特徴とする請求項12記載のゲーム装置。 18. The gaming apparatus of claim 12, wherein further comprising a sighting means for determining a target object regardless of the position on the imaging surface of the imaging means.
  19. 【請求項19】 標的を操作者の姿勢情報に基づいて変化させるゲームを実行させるゲーム方法であって、平面上にある少なくとも4個の特徴点を含む標的を撮像する撮像ステップと、前記撮像ステップより得られた撮像面上の画像データに基づいて前記平面に対する撮像面の姿勢パラメータを演算する姿勢演算ステップとを含み、前記姿勢演算ステップにより得られた姿勢パラメータに基づいて標的を変化させることを特徴とするゲーム方法。 19. A game method for executing a game vary based targets the operator of the orientation information, and an imaging step of imaging a target comprising at least four feature points in the plane, said imaging step and a posture calculation step of calculating the attitude parameters of the imaging surface with respect to the plane based on the image data on the imaging surface more obtained, varying the target based on the attitude parameters obtained by the posture calculation step game wherein.
  20. 【請求項20】 標的を平面上にある少なくとも4個の特徴点を含んで撮像された画像データに基づいて特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップより抽出された特徴点の座標に基づいて前記所定平面に対する撮像面の姿勢演算するステップと、前記姿勢演算ステップにより演算された姿勢パラメータに基づき前記標的を変化させるステップとを実行させるプログラムが記億されたことを特徴とする可読記憶媒体。 20. a feature point extracting step of extracting, based on the image data captured at least four feature points in the plane of the feature points of the target, the characteristic points extracted from the feature point extraction step a step of orientation calculation of the imaging surface with respect to the predetermined plane, based on the coordinates, and characterized in that program for executing the step of changing the target based on the position and orientation parameter calculated by the calculating step is Kioku readable storage medium.
  21. 【請求項21】 前記姿勢演算ステップにて演算された姿勢パラメータの少なくとも1つを用いて前記標的の座標位置を演算する座標演算ステップを実行させるプログラムが記録されたことを特徴とする請求項20記載の記憶媒体。 21. The method of claim wherein the program for executing the coordinate calculation step of calculating the coordinate position of the target using at least one of the orientation parameters calculated by the posture calculation step is recorded 20 storage medium according.
  22. 【請求項22】 表示画面上に少なくとも4個の特徴点とともにオブジェクト画像を表示してプレイするゲーム方法であって、前記オブジェクト画像を前記特徴点を含んで撮像する撮像ステップと、前記撮像手段からの撮像画像データに基づいて前記表示画面に対する撮像面の姿勢パラメータを演算する姿勢演算ステップとを含み、前記姿勢演算手段により得られた姿勢パラメータに基づいて表示画面のオブジェクト画像を変化させることを特徴とするゲーム方法。 22. A game method of play to display the object image together with at least four feature points on the display screen, an imaging step of imaging the object image includes the feature points, from said image pickup means and a posture calculation step of calculating the attitude parameters of the imaging surface with respect to the display screen based on the captured image data, characterized by changing the object image on the display screen based on the attitude parameters obtained by said position calculating means game how to.
  23. 【請求項23】 表示画面上のオブジェクト画像を少なくとも4個の特徴点を含んで撮像された画像データに基づいて特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップより抽出された特徴点の座標に基づいて前記オブジェクト画像の表示画面に対する撮像面の姿勢演算するステップと、前記姿勢演算ステップにより演算された姿勢パラメータに基づき前記オブジェクト画像を変化させるステップとを実行させるプログラムが記億されたことを特徴とする可読記憶媒体。 23. a feature point extracting step of extracting feature points on the basis of the object image on the image data captured at least four feature points on the display screen, which is extracted from the feature point extracting step, wherein a step of orientation calculation of the imaging surface with respect to the display screen of said object image based on the coordinates of the point, the program for executing the step of changing the object image based on the position and orientation parameter calculated by the calculating step is Kioku readable storage medium characterized by the.
  24. 【請求項24】 前記姿勢演算ステップにて演算された姿勢パラメータの少なくとも1つを用いて前記標的の座標位置を演算する座標演算ステップを実行させるプログラムが記録されたことを特徴とする請求項23記載の記憶媒体。 24. The method of claim 23, characterized in that program for executing at least coordinate calculation step of calculating the coordinate position of the target with one of the attitude parameters calculated by the posture calculation step is recorded storage medium according.
  25. 【請求項25】 前記座標演算ステップは撮像画像上の消失点を用いて演算するステップを実行させるプログラムが記録されたことを特徴とする請求項24記載の記憶媒体。 25. The coordinate calculation step storage medium of claim 24, wherein a program for executing the step of calculating using the vanishing point on the captured image is recorded.
  26. 【請求項26】 表示画面上に少なくとも4個の特徴点とともに標的オブジェクト画像を表示してプレイするゲーム方法であって、前記表示画面に表示された標的オブジェクト画像を少なくとも4個の特徴点を含んで撮像する撮像ステップと、前記撮像ステップから得られた撮像面上の前記特徴点の座標に基づいて表示画面上の被検出位置を演算する座標演算ステップと、前記座標演算ステップにより演算された前記被検出位置の演算結果と予め定められた標的オブジェト画像部位の座標とを比較判断するオブジェクト部位判断ステップとを含み、 前記部位判断ステップの結果に基づき表示画面上の標的オブジェクト画像を変化させることを特徴とするゲーム方法。 26. A game method of play to display the target object image with at least four feature points on a display screen, comprising at least four characteristic points of the target object image displayed on the display screen an imaging step of imaging in the coordinate calculation step of calculating the detected position on the display screen based on coordinates of the feature points on the imaging plane obtained from the imaging step, which is calculated by the coordinate calculation step wherein and a object region determination step of comparing determines a predetermined target Obujeto image portion and the operation result of the detected position coordinates, altering the target object image on the display screen based on a result of the site determination step game wherein.
JP2001372183A 2000-12-06 2001-12-06 Game device, game processing method, and readable storage medium Expired - Fee Related JP3686919B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000371019 2000-12-06
JP2000-371019 2000-12-06
JP2001372183A JP3686919B2 (en) 2000-12-06 2001-12-06 Game device, game processing method, and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001372183A JP3686919B2 (en) 2000-12-06 2001-12-06 Game device, game processing method, and readable storage medium

Publications (3)

Publication Number Publication Date
JP2002233665A5 JP2002233665A5 (en) 2002-08-20
JP2002233665A true JP2002233665A (en) 2002-08-20
JP3686919B2 JP3686919B2 (en) 2005-08-24

Family

ID=26605312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001372183A Expired - Fee Related JP3686919B2 (en) 2000-12-06 2001-12-06 Game device, game processing method, and readable storage medium

Country Status (1)

Country Link
JP (1) JP3686919B2 (en)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006314777A (en) * 2005-05-10 2006-11-24 Pixart Imaging Inc Orientation device and method for coordinate generation used therefor
JP2007061489A (en) * 2005-09-01 2007-03-15 Nintendo Co Ltd Information processing system and program
JP2007075354A (en) * 2005-09-14 2007-03-29 Nintendo Co Ltd Game program
JP2007075213A (en) * 2005-09-12 2007-03-29 Nintendo Co Ltd Information processing program
JP2007236697A (en) * 2006-03-09 2007-09-20 Nintendo Co Ltd Image processor and image processing program
JP2007252915A (en) * 2006-03-21 2007-10-04 Avago Technologies General Ip (Singapore) Private Ltd Active referencing method with interleaved crosshair navigation frames
EP1854518A2 (en) 2005-08-22 2007-11-14 Nintendo Co., Limited Game operating device
JP2008123090A (en) * 2006-11-09 2008-05-29 Casio Comput Co Ltd Camera pointer device, labeling method and program
US7637817B2 (en) 2003-12-26 2009-12-29 Sega Corporation Information processing device, game device, image generation method, and game image generation method
JP2010518354A (en) * 2007-02-13 2010-05-27 パルロ Method for recognizing a target in the shooting game of the remote control toys
KR100972907B1 (en) * 2005-08-22 2010-07-28 닌텐도가부시키가이샤 Game operating device
JP2010259589A (en) * 2009-05-01 2010-11-18 Taito Corp Shooting game apparatus
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
JP2011177579A (en) * 2011-06-20 2011-09-15 Nintendo Co Ltd Information processing system and program
JP2011177596A (en) * 2011-06-24 2011-09-15 Nintendo Co Ltd Information processing program
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
US9039533B2 (en) 2003-03-25 2015-05-26 Creative Kingdoms, Llc Wireless interactive game having both physical and virtual elements
US9044671B2 (en) 2005-08-24 2015-06-02 Nintendo Co., Ltd. Game controller and game system
US9149717B2 (en) 2000-02-22 2015-10-06 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9186585B2 (en) 1999-02-26 2015-11-17 Mq Gaming, Llc Multi-platform gaming systems and methods
US9320976B2 (en) 2000-10-20 2016-04-26 Mq Gaming, Llc Wireless toy systems and methods for interactive entertainment
US9393491B2 (en) 2001-02-22 2016-07-19 Mq Gaming, Llc Wireless entertainment device, system, and method
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US9463380B2 (en) 2002-04-05 2016-10-11 Mq Gaming, Llc System and method for playing an interactive game
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US9720556B2 (en) 2007-10-01 2017-08-01 Nintendo Co., Ltd. Storage medium storing image processing program and image processing apparatus

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7927216B2 (en) 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10300374B2 (en) 1999-02-26 2019-05-28 Mq Gaming, Llc Multi-platform gaming systems and methods
US9731194B2 (en) 1999-02-26 2017-08-15 Mq Gaming, Llc Multi-platform gaming systems and methods
US9861887B1 (en) 1999-02-26 2018-01-09 Mq Gaming, Llc Multi-platform gaming systems and methods
US9468854B2 (en) 1999-02-26 2016-10-18 Mq Gaming, Llc Multi-platform gaming systems and methods
US9186585B2 (en) 1999-02-26 2015-11-17 Mq Gaming, Llc Multi-platform gaming systems and methods
US10188953B2 (en) 2000-02-22 2019-01-29 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9149717B2 (en) 2000-02-22 2015-10-06 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9814973B2 (en) 2000-02-22 2017-11-14 Mq Gaming, Llc Interactive entertainment system
US9474962B2 (en) 2000-02-22 2016-10-25 Mq Gaming, Llc Interactive entertainment system
US9579568B2 (en) 2000-02-22 2017-02-28 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9713766B2 (en) 2000-02-22 2017-07-25 Mq Gaming, Llc Dual-range wireless interactive entertainment device
US9480929B2 (en) 2000-10-20 2016-11-01 Mq Gaming, Llc Toy incorporating RFID tag
US9931578B2 (en) 2000-10-20 2018-04-03 Mq Gaming, Llc Toy incorporating RFID tag
US9320976B2 (en) 2000-10-20 2016-04-26 Mq Gaming, Llc Wireless toy systems and methods for interactive entertainment
US9737797B2 (en) 2001-02-22 2017-08-22 Mq Gaming, Llc Wireless entertainment device, system, and method
US9393491B2 (en) 2001-02-22 2016-07-19 Mq Gaming, Llc Wireless entertainment device, system, and method
US10179283B2 (en) 2001-02-22 2019-01-15 Mq Gaming, Llc Wireless entertainment device, system, and method
US9463380B2 (en) 2002-04-05 2016-10-11 Mq Gaming, Llc System and method for playing an interactive game
US9616334B2 (en) 2002-04-05 2017-04-11 Mq Gaming, Llc Multi-platform gaming system using RFID-tagged toys
US10010790B2 (en) 2002-04-05 2018-07-03 Mq Gaming, Llc System and method for playing an interactive game
US9707478B2 (en) 2003-03-25 2017-07-18 Mq Gaming, Llc Motion-sensitive controller and associated gaming applications
US9446319B2 (en) 2003-03-25 2016-09-20 Mq Gaming, Llc Interactive gaming toy
US9770652B2 (en) 2003-03-25 2017-09-26 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9393500B2 (en) 2003-03-25 2016-07-19 Mq Gaming, Llc Wireless interactive game having both physical and virtual elements
US9039533B2 (en) 2003-03-25 2015-05-26 Creative Kingdoms, Llc Wireless interactive game having both physical and virtual elements
US9993724B2 (en) 2003-03-25 2018-06-12 Mq Gaming, Llc Interactive gaming toy
US7637817B2 (en) 2003-12-26 2009-12-29 Sega Corporation Information processing device, game device, image generation method, and game image generation method
US9675878B2 (en) 2004-09-29 2017-06-13 Mq Gaming, Llc System and method for playing a virtual game by sensing physical movements
US8907889B2 (en) 2005-01-12 2014-12-09 Thinkoptics, Inc. Handheld vision based absolute pointing system
JP4602281B2 (en) * 2005-05-10 2010-12-22 ユアン シアン コー チー クー フェン ユー シェン コン シー Coordinate generation method for use in orientation device
JP2006314777A (en) * 2005-05-10 2006-11-24 Pixart Imaging Inc Orientation device and method for coordinate generation used therefor
US7942745B2 (en) 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US10155170B2 (en) 2005-08-22 2018-12-18 Nintendo Co., Ltd. Game operating device with holding portion detachably holding an electronic device
EP1854518A2 (en) 2005-08-22 2007-11-14 Nintendo Co., Limited Game operating device
DE202006020818U1 (en) 2005-08-22 2010-04-22 Nintendo Co., Ltd. Operating device for games
DE202006020819U1 (en) 2005-08-22 2010-04-22 Nintendo Co., Ltd. Operating device for games
US10238978B2 (en) 2005-08-22 2019-03-26 Nintendo Co., Ltd. Game operating device
US9700806B2 (en) 2005-08-22 2017-07-11 Nintendo Co., Ltd. Game operating device
EP2263765A1 (en) 2005-08-22 2010-12-22 Nintendo Co., Ltd. Game operating device
KR100972907B1 (en) * 2005-08-22 2010-07-28 닌텐도가부시키가이샤 Game operating device
US10137365B2 (en) 2005-08-24 2018-11-27 Nintendo Co., Ltd. Game controller and game system
US9044671B2 (en) 2005-08-24 2015-06-02 Nintendo Co., Ltd. Game controller and game system
US9498709B2 (en) 2005-08-24 2016-11-22 Nintendo Co., Ltd. Game controller and game system
US8870655B2 (en) 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
JP2007061489A (en) * 2005-09-01 2007-03-15 Nintendo Co Ltd Information processing system and program
KR101212350B1 (en) 2005-09-01 2012-12-13 닌텐도가부시키가이샤 Information processing systems and programs
US8708822B2 (en) 2005-09-01 2014-04-29 Nintendo Co., Ltd. Information processing system and program
JP2007075213A (en) * 2005-09-12 2007-03-29 Nintendo Co Ltd Information processing program
JP2007075354A (en) * 2005-09-14 2007-03-29 Nintendo Co Ltd Game program
US9561441B2 (en) 2005-09-14 2017-02-07 Nintendo Co., Ltd. Storage medium storing video game program for calculating a distance between a game controller and a reference
JP2007236697A (en) * 2006-03-09 2007-09-20 Nintendo Co Ltd Image processor and image processing program
US8797264B2 (en) 2006-03-09 2014-08-05 Nintendo Co., Ltd. Image processing apparatus and storage medium storing image processing program
JP2007252915A (en) * 2006-03-21 2007-10-04 Avago Technologies General Ip (Singapore) Private Ltd Active referencing method with interleaved crosshair navigation frames
JP2008123090A (en) * 2006-11-09 2008-05-29 Casio Comput Co Ltd Camera pointer device, labeling method and program
JP2010518354A (en) * 2007-02-13 2010-05-27 パルロ Method for recognizing a target in the shooting game of the remote control toys
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9720556B2 (en) 2007-10-01 2017-08-01 Nintendo Co., Ltd. Storage medium storing image processing program and image processing apparatus
JP2010259589A (en) * 2009-05-01 2010-11-18 Taito Corp Shooting game apparatus
JP2011177579A (en) * 2011-06-20 2011-09-15 Nintendo Co Ltd Information processing system and program
JP2011177596A (en) * 2011-06-24 2011-09-15 Nintendo Co Ltd Information processing program

Also Published As

Publication number Publication date
JP3686919B2 (en) 2005-08-24

Similar Documents

Publication Publication Date Title
CN1236743C (en) Video game apparatus, image processing method and program
US9046927B2 (en) Control device for communicating visual information
JP3690672B2 (en) Game system and a game program
KR101489236B1 (en) tracking system calibration with minimal user input
EP2435784B1 (en) Tracking system calibration using object position and orientation
US6328650B1 (en) Game controller and information storage medium
US6198485B1 (en) Method and apparatus for three-dimensional input entry
JP3422383B2 (en) Method and apparatus for detecting the relative position of the video screen and the gun in a shooting game device
US8970487B2 (en) Human tracking system
US6852032B2 (en) Game machine, method of performing game and computer-readable medium
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US6556204B1 (en) Image processing devices and methods
US20030032484A1 (en) Game apparatus for mixed reality space, image processing method thereof, and program storage medium
US8791901B2 (en) Object tracking with projected reference patterns
US9682319B2 (en) Combiner method for altering game gearing
US7113193B2 (en) Method for color transition detection
EP0773515A1 (en) Image processor, image processing method, game apparatus using them, and memory medium
CN102681661B (en) Using a three-dimensional environment model in gameplay
US20060063574A1 (en) Sports simulation system
US7874917B2 (en) Methods and systems for enabling depth and direction detection when interfacing with a computer program
CN103249461B (en) For enabling the handheld device capable of capturing video interactive applications system
EP2039402A2 (en) Input instruction device, input instruction method, and dancing simultation system using the input instruction device and method
US6377277B1 (en) Virtual image generation apparatus and method
CN1093299C (en) Image processing apapratus and method
KR101320134B1 (en) Method and device for the real time imbedding of virtual objects in an image stream using data from a real scene represented by said images

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040721

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040721

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040721

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20040817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050208

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees