JP2002247602A - 画像生成装置及びその制御方法並びにそのコンピュータプログラム - Google Patents
画像生成装置及びその制御方法並びにそのコンピュータプログラムInfo
- Publication number
- JP2002247602A JP2002247602A JP2001039092A JP2001039092A JP2002247602A JP 2002247602 A JP2002247602 A JP 2002247602A JP 2001039092 A JP2001039092 A JP 2001039092A JP 2001039092 A JP2001039092 A JP 2001039092A JP 2002247602 A JP2002247602 A JP 2002247602A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual object
- player
- space
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000004590 computer program Methods 0.000 title 1
- 238000012545 processing Methods 0.000 claims description 15
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 abstract description 11
- 239000002131 composite material Substances 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 239000003086 colorant Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 241000333074 Eucalyptus occidentalis Species 0.000 description 1
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6653—Methods for processing data by generating or executing the game program for rendering three dimensional images for altering the visibility of an object, e.g. preventing the occlusion of an object, partially hiding an object
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 複合現実空間を視認できないギャラリーが複
合現実空間に関与可能な画像生成装置を提供すること。 【解決手段】 複合現実空間を反映した２次元投射画像
を２次元投射画像生成部３１２により生成し、プロジェ
クタ２０６によって現実空間に投影する。ギャラリー２
０１がこの２次元投射画像の所定位置にカード等を配置
すると、カメラ２０３で撮影された画像をゲームフィー
ルド解析部３００で解析することによりギャラリー２０
１の操作が検出される。検出された操作に応じ、仮想物
体の形状や表示方法を変化させ、プレーヤ１０１のＭＨ
Ｄ１０７に表示する。
合現実空間に関与可能な画像生成装置を提供すること。 【解決手段】 複合現実空間を反映した２次元投射画像
を２次元投射画像生成部３１２により生成し、プロジェ
クタ２０６によって現実空間に投影する。ギャラリー２
０１がこの２次元投射画像の所定位置にカード等を配置
すると、カメラ２０３で撮影された画像をゲームフィー
ルド解析部３００で解析することによりギャラリー２０
１の操作が検出される。検出された操作に応じ、仮想物
体の形状や表示方法を変化させ、プレーヤ１０１のＭＨ
Ｄ１０７に表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、仮想物体を現実空
間に位置合わせして重畳表示することにより、観察者に
複合現実感を提示する画像生成装置及びその制御方法に
関する。
間に位置合わせして重畳表示することにより、観察者に
複合現実感を提示する画像生成装置及びその制御方法に
関する。
【０００２】
【従来の技術】近年、現実空間と仮想空間の継ぎ目のな
い結合を目的とした複合現実感（Mixed Reallity、Ｍ
Ｒ）に関する研究が盛んになっている。ＭＲは従来、現
実空間と切り離された状況でのみ体験可能であったバー
チャルリアリティ（ＶＲ）の世界と現実空間との共存を
目的とし、ＶＲを増強する技術として注目されている。
い結合を目的とした複合現実感（Mixed Reallity、Ｍ
Ｒ）に関する研究が盛んになっている。ＭＲは従来、現
実空間と切り離された状況でのみ体験可能であったバー
チャルリアリティ（ＶＲ）の世界と現実空間との共存を
目的とし、ＶＲを増強する技術として注目されている。
【０００３】複合現実感を提示する装置として代表的な
ものは、ヘッドマウントディスプレイ（ＨＭＤ）であ
る。すなわち、現実空間と仮想空間をＨＭＤに合成して
表示することにより、複合現実感を実現するものであ
る。また、ＨＭＤを用いたＭＲの方式としては、半透過
型（シースルー型）のヘッドマウントディスプレイ（Ｈ
ＭＤ）にＣＧ等の画像を重畳する光学シースルー方式
と、ＨＭＤに装着したビデオカメラで撮影した画像デー
タにＣＧ等の画像を合成した後、ＨＭＤに表示するビデ
オシースルー方式がある。
ものは、ヘッドマウントディスプレイ（ＨＭＤ）であ
る。すなわち、現実空間と仮想空間をＨＭＤに合成して
表示することにより、複合現実感を実現するものであ
る。また、ＨＭＤを用いたＭＲの方式としては、半透過
型（シースルー型）のヘッドマウントディスプレイ（Ｈ
ＭＤ）にＣＧ等の画像を重畳する光学シースルー方式
と、ＨＭＤに装着したビデオカメラで撮影した画像デー
タにＣＧ等の画像を合成した後、ＨＭＤに表示するビデ
オシースルー方式がある。
【０００４】ＭＲを用いて複数人が同じ空間を共有し、
協調して動作を行う例として、例えば特開平１１−８４
３０７号公報に示されるようなゲームがある。特開平１
１−８４３０７号公報には、ＭＲを利用したゲーム装置
として、図８に示すようなエアホッケーゲーム装置が開
示されている。
協調して動作を行う例として、例えば特開平１１−８４
３０７号公報に示されるようなゲームがある。特開平１
１−８４３０７号公報には、ＭＲを利用したゲーム装置
として、図８に示すようなエアホッケーゲーム装置が開
示されている。
【０００５】エアホッケーゲームはテーブルを挟んで通
常二人が対峙し、テーブル盤面に設けられた微細な穴か
ら供給される圧縮空気によって浮上した円形平板状のパ
ックを、プレーヤが手で操作するラケット（マレット）
で打ち返し、相手のゴールにパックを入れあうゲームで
ある。
常二人が対峙し、テーブル盤面に設けられた微細な穴か
ら供給される圧縮空気によって浮上した円形平板状のパ
ックを、プレーヤが手で操作するラケット（マレット）
で打ち返し、相手のゴールにパックを入れあうゲームで
ある。
【０００６】ＭＲを適用したエアホッケーゲームは、パ
ックを仮想物体として現実環境に重畳してプレーヤのＨ
ＭＤに表示して、エアホッケーゲームを行うものであ
る。
ックを仮想物体として現実環境に重畳してプレーヤのＨ
ＭＤに表示して、エアホッケーゲームを行うものであ
る。
【０００７】（ゲーム装置の構成）図８は、ＭＲエアホ
ッケーゲーム装置を側面から見た図である。複合現実感
のエアホッケーゲームは、テーブル１０００を挟んで、
二人の対戦者２０００，３０００が手にマレットとして
用いるコントロールボックス（２６０Ｌ，２６０Ｒ）を
持って向かい合う。二人の対戦者２０００，３０００は
頭部にヘッドマウントデイスプレイ（以下ＨＭＤと略
す）２１０Ｌ，２１０Ｒを装着する。
ッケーゲーム装置を側面から見た図である。複合現実感
のエアホッケーゲームは、テーブル１０００を挟んで、
二人の対戦者２０００，３０００が手にマレットとして
用いるコントロールボックス（２６０Ｌ，２６０Ｒ）を
持って向かい合う。二人の対戦者２０００，３０００は
頭部にヘッドマウントデイスプレイ（以下ＨＭＤと略
す）２１０Ｌ，２１０Ｒを装着する。
【０００８】コントロールボックス（２６０Ｌ、２６０
Ｒ）はその先端に赤外線発光器を有しており、テーブル
上部に設けられた赤外線を検出するＣＣＤカメラ２３０
によって取得した画像を処理することにより、その二次
元平面位置を知ることができる。コントロールボックス
の形状や色に特徴があるのであれば、それらの特徴を用
いたパターン認識による検出も可能である。
Ｒ）はその先端に赤外線発光器を有しており、テーブル
上部に設けられた赤外線を検出するＣＣＤカメラ２３０
によって取得した画像を処理することにより、その二次
元平面位置を知ることができる。コントロールボックス
の形状や色に特徴があるのであれば、それらの特徴を用
いたパターン認識による検出も可能である。
【０００９】ＨＭＤ２１０は、例えばシースルー型であ
る。両対戦者２０００，３０００は、ＨＭＤ２１０Ｌ，
２１０Ｒを装着していても、テーブル１０００の表面を
直接観察することができる。ＨＭＤ２１０には図示しな
い画像処理システムから二次元仮想画像が入力される。
従って、対戦者２０００，３０００は、ＨＭＤ２１０の
光学系（図８には不図示）を通して観察される現実空間
に重ねて、ＨＭＤ２１０の表示画面に表示された二次元
画像を見ることとなる。
る。両対戦者２０００，３０００は、ＨＭＤ２１０Ｌ，
２１０Ｒを装着していても、テーブル１０００の表面を
直接観察することができる。ＨＭＤ２１０には図示しな
い画像処理システムから二次元仮想画像が入力される。
従って、対戦者２０００，３０００は、ＨＭＤ２１０の
光学系（図８には不図示）を通して観察される現実空間
に重ねて、ＨＭＤ２１０の表示画面に表示された二次元
画像を見ることとなる。
【００１０】図９は、左側プレーヤ２０００が自身のＨ
ＭＤ２１０Ｌを通して観察する複合現実空間を示す。図
９において、現実空間として認識されるのは対戦するプ
レーヤ３０００及びテーブル１０００と、視野に入る自
分の体、特にコントロールボックスを持った手である。
一方、相手ゴール１２００Ｒ、パック１５００は仮想空
間に表示される。
ＭＤ２１０Ｌを通して観察する複合現実空間を示す。図
９において、現実空間として認識されるのは対戦するプ
レーヤ３０００及びテーブル１０００と、視野に入る自
分の体、特にコントロールボックスを持った手である。
一方、相手ゴール１２００Ｒ、パック１５００は仮想空
間に表示される。
【００１１】そして、二人のプレーヤは、各自が手に持
った現実のコントロールボックスを、画像処理システム
が表示する仮想のパック１５００に当たるように移動
し、仮想のパックを打ち合う。仮想のパックの位置は画
像処理システムが演算し、両プレーヤのＨＭＤにおいて
テーブル上でパックがマレット及び周囲の壁面にはじか
れて移動するように観察されるよう表示を行う。
った現実のコントロールボックスを、画像処理システム
が表示する仮想のパック１５００に当たるように移動
し、仮想のパックを打ち合う。仮想のパックの位置は画
像処理システムが演算し、両プレーヤのＨＭＤにおいて
テーブル上でパックがマレット及び周囲の壁面にはじか
れて移動するように観察されるよう表示を行う。
【００１２】プレーヤが装着するＨＭＤ２１０は、例え
ば特開平７−３３３５５１号に開示されるＨＭＤの本体
に、磁気センサ２２０を支柱２２１を介して取り付けた
ものである。ＨＭＤに磁気センサ及び（又は）カメラを
取り付ける構成は、ビデオシースルー方式のＨＭＤに限
られず、光学シースルー方式のＨＭＤであっても、頭部
位置及び姿勢を正確に検出する目的で採用することがで
きる。
ば特開平７−３３３５５１号に開示されるＨＭＤの本体
に、磁気センサ２２０を支柱２２１を介して取り付けた
ものである。ＨＭＤに磁気センサ及び（又は）カメラを
取り付ける構成は、ビデオシースルー方式のＨＭＤに限
られず、光学シースルー方式のＨＭＤであっても、頭部
位置及び姿勢を正確に検出する目的で採用することがで
きる。
【００１３】夫々のＨＭＤ２１０はバンド（不図示）に
よってプレーヤの頭部に固定される。プレーヤの夫々の
頭部には、磁気センサ（２２０Ｌ，２２０Ｒ）及びＣＣ
Ｄカメラ２４０（２４０Ｌ，２４０Ｒ）が、それぞれ固
定されている。カメラ２４０の視界はプレーヤの前方に
設定されている。エアホッケーゲームの場合には、それ
ぞれテーブル１０００の上面を見ることとなるので、カ
メラ２４０もテーブル１０００の表面の画像を撮像す
る。磁気センサ２２０（２２０Ｌ， ２２０Ｒ）は、交
流磁界発生源２５０が発する交流磁界の変化を検出す
る。
よってプレーヤの頭部に固定される。プレーヤの夫々の
頭部には、磁気センサ（２２０Ｌ，２２０Ｒ）及びＣＣ
Ｄカメラ２４０（２４０Ｌ，２４０Ｒ）が、それぞれ固
定されている。カメラ２４０の視界はプレーヤの前方に
設定されている。エアホッケーゲームの場合には、それ
ぞれテーブル１０００の上面を見ることとなるので、カ
メラ２４０もテーブル１０００の表面の画像を撮像す
る。磁気センサ２２０（２２０Ｌ， ２２０Ｒ）は、交
流磁界発生源２５０が発する交流磁界の変化を検出す
る。
【００１４】プレーヤがテーブル１０００の表面を見る
ために斜め下方を向くと、ＨＭＤ２１０を通した視界に
は、テーブル１０００の表面と、前述の仮想のパック１
５００、現実のマレット（コントロールボックス２６
０）、仮想のゴール１２００（１２００Ｌ，１２００
Ｒ）が見える。また、プレーヤが、頭部を、水平二次元
平面内において水平移動させ、あるいはティルティング
運動、ヨー運動、ローリング運動を行わせると、その変
化は先ず磁気センサ２２０によって検出され、併せて、
頭部の姿勢変化に伴ってＣＣＤカメラ２４０が撮像する
画像の変化として観測される。そして、検出された頭部
の姿勢変化を用いて、ＨＭＤに表示する仮想空間の画像
データの表示位置を変化させる。
ために斜め下方を向くと、ＨＭＤ２１０を通した視界に
は、テーブル１０００の表面と、前述の仮想のパック１
５００、現実のマレット（コントロールボックス２６
０）、仮想のゴール１２００（１２００Ｌ，１２００
Ｒ）が見える。また、プレーヤが、頭部を、水平二次元
平面内において水平移動させ、あるいはティルティング
運動、ヨー運動、ローリング運動を行わせると、その変
化は先ず磁気センサ２２０によって検出され、併せて、
頭部の姿勢変化に伴ってＣＣＤカメラ２４０が撮像する
画像の変化として観測される。そして、検出された頭部
の姿勢変化を用いて、ＨＭＤに表示する仮想空間の画像
データの表示位置を変化させる。
【００１５】このようなＭＲゲーム装置においては、Ｈ
ＭＤを装着しない第３者には仮想物体（エアホッケーゲ
ームではマレット及びパック）が見えないため、ギャラ
リーにとっては面白みが無いものとなってしまう。した
がって、例えばT.Ohshima,K.Satoh,H.Yamamoto,H.Tamur
a,"ＭＲ2HockeySystem,"SIGGRAPH98,ConferenceAbstrac
tsandApplications,p.110(1998).などでは、固定視点か
ら見たＭＲ空間画像（仮想物体画像と現実空間画像を合
成した画像）をギャラリーに提示するディスプレイを設
け、ギャラリーもゲーム進行が理解できるようにしたＭ
Ｒゲーム装置が提案されている。
ＭＤを装着しない第３者には仮想物体（エアホッケーゲ
ームではマレット及びパック）が見えないため、ギャラ
リーにとっては面白みが無いものとなってしまう。した
がって、例えばT.Ohshima,K.Satoh,H.Yamamoto,H.Tamur
a,"ＭＲ2HockeySystem,"SIGGRAPH98,ConferenceAbstrac
tsandApplications,p.110(1998).などでは、固定視点か
ら見たＭＲ空間画像（仮想物体画像と現実空間画像を合
成した画像）をギャラリーに提示するディスプレイを設
け、ギャラリーもゲーム進行が理解できるようにしたＭ
Ｒゲーム装置が提案されている。
【００１６】
【発明が解決しようとする課題】このように、従来のＭ
Ｒゲーム装置では、ＨＭＤを装着していない第３者（ギ
ャラリー）はせいぜい用意されたディスプレイに表示さ
れているＭＲ空間画像を客観的に視聴するに止まってお
り、臨場感を体験することはできないものであった。
Ｒゲーム装置では、ＨＭＤを装着していない第３者（ギ
ャラリー）はせいぜい用意されたディスプレイに表示さ
れているＭＲ空間画像を客観的に視聴するに止まってお
り、臨場感を体験することはできないものであった。
【００１７】本発明はこのような従来技術の問題点に鑑
みなされたものであり、その目的は、ＭＲ空間を直接観
察できない第３者と、ＭＲ空間を視認する観察者とが互
いにＭＲ空間を共用可能な複合現実感提示装置およびそ
の制御方法を提供することにある。
みなされたものであり、その目的は、ＭＲ空間を直接観
察できない第３者と、ＭＲ空間を視認する観察者とが互
いにＭＲ空間を共用可能な複合現実感提示装置およびそ
の制御方法を提供することにある。
【００１８】
【課題を解決するための手段】すなわち、本発明の要旨
は、プレーヤに現実空間もしくはその映像に仮想物体の
画像が重畳されてなる複合現実空間を視認させる画像生
成装置であって、プレーヤの視点位置情報を取得する視
点位置情報取得手段と、プレーヤの視点位置及び、仮想
物体の描画データ及び描画条件に基づいて仮想物体の画
像を生成する仮想物体画像生成手段と、複合現実空間を
反映した２次元画像を生成する２次元画像生成手段と、
２次元画像を、複合現実空間を視認しない第３者に提示
する２次元画像表示手段と、第３者によって行われた操
作を検出する操作検出手段と、検出された操作に応じ
て、仮想物体の描画状態に変化を与える変更手段と、仮
想物体画像もしくは仮想物体画像が重畳された現実空間
の映像をプレーヤが装着する表示装置に出力する出力手
段とを有することを特徴とする画像生成装置に存する。
は、プレーヤに現実空間もしくはその映像に仮想物体の
画像が重畳されてなる複合現実空間を視認させる画像生
成装置であって、プレーヤの視点位置情報を取得する視
点位置情報取得手段と、プレーヤの視点位置及び、仮想
物体の描画データ及び描画条件に基づいて仮想物体の画
像を生成する仮想物体画像生成手段と、複合現実空間を
反映した２次元画像を生成する２次元画像生成手段と、
２次元画像を、複合現実空間を視認しない第３者に提示
する２次元画像表示手段と、第３者によって行われた操
作を検出する操作検出手段と、検出された操作に応じ
て、仮想物体の描画状態に変化を与える変更手段と、仮
想物体画像もしくは仮想物体画像が重畳された現実空間
の映像をプレーヤが装着する表示装置に出力する出力手
段とを有することを特徴とする画像生成装置に存する。
【００１９】また、本発明の別の要旨は、プレーヤに現
実空間もしくはその映像に仮想物体の画像が重畳されて
なる複合現実空間を視認させる画像生成装置の制御方法
であって、プレーヤの視点位置情報を取得する視点位置
情報取得ステップと、プレーヤの視点位置及び、仮想物
体の描画データ及び描画条件に基づいて仮想物体の画像
を生成する仮想物体画像生成ステップと、複合現実空間
を反映した２次元画像を生成する２次元画像生成ステッ
プと、２次元画像を、複合現実空間を視認しない第３者
に提示する２次元画像表示ステップと、第３者によって
行われた操作を検出する第３者操作検出ステップと、検
出された操作に応じて、仮想物体の描画状態に変化を与
える変更ステップと、仮想物体画像もしくは仮想物体画
像が重畳された現実空間の映像をプレーヤが装着する表
示装置に出力する出力ステップとを有することを特徴と
する画像生成装置の制御方法に存する。
実空間もしくはその映像に仮想物体の画像が重畳されて
なる複合現実空間を視認させる画像生成装置の制御方法
であって、プレーヤの視点位置情報を取得する視点位置
情報取得ステップと、プレーヤの視点位置及び、仮想物
体の描画データ及び描画条件に基づいて仮想物体の画像
を生成する仮想物体画像生成ステップと、複合現実空間
を反映した２次元画像を生成する２次元画像生成ステッ
プと、２次元画像を、複合現実空間を視認しない第３者
に提示する２次元画像表示ステップと、第３者によって
行われた操作を検出する第３者操作検出ステップと、検
出された操作に応じて、仮想物体の描画状態に変化を与
える変更ステップと、仮想物体画像もしくは仮想物体画
像が重畳された現実空間の映像をプレーヤが装着する表
示装置に出力する出力ステップとを有することを特徴と
する画像生成装置の制御方法に存する。
【００２０】すなわち、本発明の要旨は、現実空間の画
像に仮想物体の画像を合成表示する画像生成装置であっ
て、プレーヤの視点位置情報を検出する視点位置検出手
段と、プレーヤの視点位置情報、仮想物体の描画データ
及び描画条件に基づいて仮想物体の画像を生成する仮想
物体画像生成手段と、現実空間の画像と仮想物体画像生
成手段によって生成された仮想物体の画像を合成してプ
レーヤの視野の画像空間に生成して表示する第１の画像
生成手段と、現実空間の画像と仮想物体の画像とを合成
した画像をプレーヤの視野の空間とは異なる空間に生成
して表示する第２の画像生成手段と、第２の画像生成手
段によって生成される画像空間において行った操作に従
って、仮想物体画像生成手段による仮想物体の描画状態
を変化させる変更手段と、変更手段によって描画状態を
変化された仮想物体画像もしくは仮想物体画像が重畳さ
れた現実空間の画像をプレーヤの視野の画像空間に反映
させる出力手段とを有することを特徴とする画像生成装
置に存する。
像に仮想物体の画像を合成表示する画像生成装置であっ
て、プレーヤの視点位置情報を検出する視点位置検出手
段と、プレーヤの視点位置情報、仮想物体の描画データ
及び描画条件に基づいて仮想物体の画像を生成する仮想
物体画像生成手段と、現実空間の画像と仮想物体画像生
成手段によって生成された仮想物体の画像を合成してプ
レーヤの視野の画像空間に生成して表示する第１の画像
生成手段と、現実空間の画像と仮想物体の画像とを合成
した画像をプレーヤの視野の空間とは異なる空間に生成
して表示する第２の画像生成手段と、第２の画像生成手
段によって生成される画像空間において行った操作に従
って、仮想物体画像生成手段による仮想物体の描画状態
を変化させる変更手段と、変更手段によって描画状態を
変化された仮想物体画像もしくは仮想物体画像が重畳さ
れた現実空間の画像をプレーヤの視野の画像空間に反映
させる出力手段とを有することを特徴とする画像生成装
置に存する。
【００２１】また、本発明の別の要旨は、現実空間の画
像に仮想物体の画像を合成表示する画像生成装置の制御
方法であって、プレーヤの視点位置情報を検出する視点
位置検出ステップと、プレーヤの視点位置情報、仮想物
体の描画データ及び描画条件に基づいて仮想物体の画像
を生成する仮想物体画像生成ステップと、現実空間の画
像と仮想物体画像生成ステップによって生成された仮想
物体の画像を合成してプレーヤの視野の画像空間に生成
して表示する第１の画像生成ステップと、現実空間の画
像と仮想物体の画像とを合成した画像をプレーヤの視野
の空間とは異なる空間に生成して表示する第２の画像生
成ステップと、第２の画像生成ステップによって生成さ
れる画像空間において行った操作に従って、仮想物体画
像生成ステップによる仮想物体の描画状態を変化させる
変更ステップと、変更ステップによって描画状態を変化
された仮想物体画像もしくは仮想物体画像が重畳された
現実空間の画像をプレーヤの視野の画像空間に反映させ
る出力ステップとを有することを特徴とする画像生成装
置の制御方法に存する。
像に仮想物体の画像を合成表示する画像生成装置の制御
方法であって、プレーヤの視点位置情報を検出する視点
位置検出ステップと、プレーヤの視点位置情報、仮想物
体の描画データ及び描画条件に基づいて仮想物体の画像
を生成する仮想物体画像生成ステップと、現実空間の画
像と仮想物体画像生成ステップによって生成された仮想
物体の画像を合成してプレーヤの視野の画像空間に生成
して表示する第１の画像生成ステップと、現実空間の画
像と仮想物体の画像とを合成した画像をプレーヤの視野
の空間とは異なる空間に生成して表示する第２の画像生
成ステップと、第２の画像生成ステップによって生成さ
れる画像空間において行った操作に従って、仮想物体画
像生成ステップによる仮想物体の描画状態を変化させる
変更ステップと、変更ステップによって描画状態を変化
された仮想物体画像もしくは仮想物体画像が重畳された
現実空間の画像をプレーヤの視野の画像空間に反映させ
る出力ステップとを有することを特徴とする画像生成装
置の制御方法に存する。
【００２２】また、本発明の別の要旨は、本発明による
画像生成装置の制御方法をコンピュータに実現させるた
めのプログラムに存する。
画像生成装置の制御方法をコンピュータに実現させるた
めのプログラムに存する。
【００２３】
【発明の実施の形態】以下、添付図面を参照して、本発
明をその好適な実施形態に基づき詳細に説明する。 （第１の実施形態）図１及び図２は、本発明の好適な実
施形態にかかる複合現実感提示装置を用いたＭＲゲーム
システムにおいて、ＨＭＤを装着し、複合現実空間を直
接観察するプレーヤ１０１と、ＨＭＤを装着せず、現実
空間に投影された複合現実空間を観察するギャラリー２
０１が、どのように複合現実空間を共有するかを説明す
る図である。本実施形態においては、プレーヤ及びギャ
ラリーが現実空間における同一領域で複合現実空間を共
有する場合を説明する。
明をその好適な実施形態に基づき詳細に説明する。 （第１の実施形態）図１及び図２は、本発明の好適な実
施形態にかかる複合現実感提示装置を用いたＭＲゲーム
システムにおいて、ＨＭＤを装着し、複合現実空間を直
接観察するプレーヤ１０１と、ＨＭＤを装着せず、現実
空間に投影された複合現実空間を観察するギャラリー２
０１が、どのように複合現実空間を共有するかを説明す
る図である。本実施形態においては、プレーヤ及びギャ
ラリーが現実空間における同一領域で複合現実空間を共
有する場合を説明する。
【００２４】本実施形態にかかるＭＲゲームシステム
は、ＨＭＤを装着したプレーヤが視認する複合現実空間
画像を生成するとともに、ＨＭＤを装着しないギャラリ
ーが複合現実空間の概要を認識できるような可視画像を
作成し、ギャラリーに提示する機能を有する。また、現
実空間においてギャラリーが行った動作に応じて、プレ
ーヤ及びギャラリーに提示する画像を変化させることに
よって、ギャラリーが複合現実空間に関与することが可
能となるとともに、ギャラリーが直接自らの操作により
複合現実空間に変化を与えていることを認識できる。
は、ＨＭＤを装着したプレーヤが視認する複合現実空間
画像を生成するとともに、ＨＭＤを装着しないギャラリ
ーが複合現実空間の概要を認識できるような可視画像を
作成し、ギャラリーに提示する機能を有する。また、現
実空間においてギャラリーが行った動作に応じて、プレ
ーヤ及びギャラリーに提示する画像を変化させることに
よって、ギャラリーが複合現実空間に関与することが可
能となるとともに、ギャラリーが直接自らの操作により
複合現実空間に変化を与えていることを認識できる。
【００２５】すなわち、ＨＭＤを装着するプレーヤは、
図１に示すように、ギャラリー２０１が複合現実空間を
共有するために用いる現実物体をプレーヤ１０１から見
えないように隠蔽するための仮想物体１０５と、実際の
ゲームに用いられる仮想物体１０２で構成されるゲーム
フィールドとを、ＨＭＤ１０７上で視認する。
図１に示すように、ギャラリー２０１が複合現実空間を
共有するために用いる現実物体をプレーヤ１０１から見
えないように隠蔽するための仮想物体１０５と、実際の
ゲームに用いられる仮想物体１０２で構成されるゲーム
フィールドとを、ＨＭＤ１０７上で視認する。
【００２６】ここで、仮想物体１０５を合成する場合、
空間を共有しているギャラリー２０１の姿が仮想物体１
０５で隠蔽されることが問題となる場合がある。その
際、仮想物体１０５および、３次元仮想物体を２次元化
してギャラリーに提示する画像（以下、２次元投射画
像）の色を限定できる場合は、それらのカラーを限定
し、クロマキーなどを利用して仮想物体１０５上のギャ
ラリーの領域を判断することにより、ギャラリーが存在
する領域に仮想物体１０５を生成しないことなどにより
解決できる。また、レンジファインダなどを利用して、
ギャラリーの位置を計測し、仮想物体１０５の生成を制
御することも利用できる。
空間を共有しているギャラリー２０１の姿が仮想物体１
０５で隠蔽されることが問題となる場合がある。その
際、仮想物体１０５および、３次元仮想物体を２次元化
してギャラリーに提示する画像（以下、２次元投射画
像）の色を限定できる場合は、それらのカラーを限定
し、クロマキーなどを利用して仮想物体１０５上のギャ
ラリーの領域を判断することにより、ギャラリーが存在
する領域に仮想物体１０５を生成しないことなどにより
解決できる。また、レンジファインダなどを利用して、
ギャラリーの位置を計測し、仮想物体１０５の生成を制
御することも利用できる。
【００２７】プレーヤ１０１が装着するＨＭＤ１０７
は、ビデオシースルータイプであっても光学シースルー
タイプであってもよいが、以下の説明においてはビデオ
シースルータイプのＨＭＤが用いられているものとして
説明する。
は、ビデオシースルータイプであっても光学シースルー
タイプであってもよいが、以下の説明においてはビデオ
シースルータイプのＨＭＤが用いられているものとして
説明する。
【００２８】一方、ＨＭＤを装着しないギャラリー２０
１は、図２に示すように、現実物体２０５及び、現実物
体上に投影された、プレーヤ１０１が視認するゲームフ
ィールドの２次元映像を視認する。本実施形態において
現実物体２０５は平板上の天板を有する箱もしくはテー
ブル状の物体であり、プレーヤ１０１には現実物体２０
５の存在を隠すように、少なくとも現実物体が隠れる大
きさを有する仮想物体１０２が重畳表示される。
１は、図２に示すように、現実物体２０５及び、現実物
体上に投影された、プレーヤ１０１が視認するゲームフ
ィールドの２次元映像を視認する。本実施形態において
現実物体２０５は平板上の天板を有する箱もしくはテー
ブル状の物体であり、プレーヤ１０１には現実物体２０
５の存在を隠すように、少なくとも現実物体が隠れる大
きさを有する仮想物体１０２が重畳表示される。
【００２９】プレーヤ１０１がＨＭＤを通して視認する
複合現実空間画像は、ＭＲゲーム装置１０４が、プレー
ヤ１０１の視点近傍に設けられたカメラから取得した現
実空間画像に、プレーヤ１０１の視点位置、姿勢に応じ
て描画された仮想画像を重畳することによって生成し、
各プレーヤのＨＭＤ１０７に表示すべき画像を出力す
る。
複合現実空間画像は、ＭＲゲーム装置１０４が、プレー
ヤ１０１の視点近傍に設けられたカメラから取得した現
実空間画像に、プレーヤ１０１の視点位置、姿勢に応じ
て描画された仮想画像を重畳することによって生成し、
各プレーヤのＨＭＤ１０７に表示すべき画像を出力す
る。
【００３０】仮想物体１０２で構成されるゲームフィー
ルドはゲームによって任意に設定可能であるが、本実施
形態においては、トラックボール等の入力機器を用い
て、重力が存在する凹凸（起伏）のあるゲームフィール
ドでプレーヤ１０１が互いに自分の持ち玉を転がして、
ゲームフィールドの相手プレーヤ側の端まで早く到達さ
せた方が勝つというゲームであるとする。そして、ギャ
ラリー２０１はそれぞれ一方のプレーヤと組になり、ゲ
ームフィールドの凹凸を変化させることで相手側プレー
ヤを妨害する役目を担う。
ルドはゲームによって任意に設定可能であるが、本実施
形態においては、トラックボール等の入力機器を用い
て、重力が存在する凹凸（起伏）のあるゲームフィール
ドでプレーヤ１０１が互いに自分の持ち玉を転がして、
ゲームフィールドの相手プレーヤ側の端まで早く到達さ
せた方が勝つというゲームであるとする。そして、ギャ
ラリー２０１はそれぞれ一方のプレーヤと組になり、ゲ
ームフィールドの凹凸を変化させることで相手側プレー
ヤを妨害する役目を担う。
【００３１】この場合、ＭＲゲーム装置１０４が生成す
る仮想物体画像は、上述した現実物体隠蔽用の仮想物体
１０５と、凹凸のある地形のような形状を有する仮想物
体１０２と、その上を転がる各プレーヤの持ち玉、さら
にギャラリーの操作をプレーヤに認識させるための画像
（後述）になる。もちろん、このほかにも、相手側プレ
ーヤが装着するＨＭＤを隠蔽するための画像や、その他
の画像を生成することも可能である。
る仮想物体画像は、上述した現実物体隠蔽用の仮想物体
１０５と、凹凸のある地形のような形状を有する仮想物
体１０２と、その上を転がる各プレーヤの持ち玉、さら
にギャラリーの操作をプレーヤに認識させるための画像
（後述）になる。もちろん、このほかにも、相手側プレ
ーヤが装着するＨＭＤを隠蔽するための画像や、その他
の画像を生成することも可能である。
【００３２】仮想物体は３次元物体であり、コンピュー
タグラフィックス技術によって形成、描画されるが、そ
の方法は任意である。たとえば、ポリゴンを用いて形成
してもよいし、例えば、電子情報通信学会論文誌「CGモ
デルと光線空間データとの融合による仮想環境の実現」
(D-11, Vol. J80-D-11 No. 11, pp3048-3057, 1997年11
月)、または、「３次元統合画像通信を目指したホログ
ラムと光線空間の相互変換」(3D Image Conference)な
どに記載されるような光線空間データにより形成しても
よい。
タグラフィックス技術によって形成、描画されるが、そ
の方法は任意である。たとえば、ポリゴンを用いて形成
してもよいし、例えば、電子情報通信学会論文誌「CGモ
デルと光線空間データとの融合による仮想環境の実現」
(D-11, Vol. J80-D-11 No. 11, pp3048-3057, 1997年11
月)、または、「３次元統合画像通信を目指したホログ
ラムと光線空間の相互変換」(3D Image Conference)な
どに記載されるような光線空間データにより形成しても
よい。
【００３３】次に、本実施形態において、ＨＭＤを装着
しないギャラリー２０１が、どのようにしてプレーヤ１
０１が視認する複合現実空間を共有するか、すなわち仮
想物体を認識するかについて具体例を説明する。
しないギャラリー２０１が、どのようにしてプレーヤ１
０１が視認する複合現実空間を共有するか、すなわち仮
想物体を認識するかについて具体例を説明する。
【００３４】もっとも単純な方法としては、３次元仮想
物体を２次元的に表現して表示する方法を挙げることが
できる。この場合、３次元仮想物体と位置あわせして表
示すれば、同一の複合現実空間を同位置で共有すること
が可能となる。
物体を２次元的に表現して表示する方法を挙げることが
できる。この場合、３次元仮想物体と位置あわせして表
示すれば、同一の複合現実空間を同位置で共有すること
が可能となる。
【００３５】図２には、３次元仮想物体を２次元化した
画像（２次元投射画像）を位置あわせして表示した場合
の例を示されている。図２では、凹凸のあるゲームフィ
ールドを等高線と色分けにより地図状に表現し、持ち玉
を円形画像で表現した２次元投射画像２０２を、情報か
らプロジェクタ２０６により現実物体２０５天板に投射
している。ギャラリー２０１はこの２次元投射画像２０
２を視認することで、プレーヤ１０１が視認するゲーム
フィールドの凹凸と、各プレーヤの持ち玉の位置を認識
することができる。
画像（２次元投射画像）を位置あわせして表示した場合
の例を示されている。図２では、凹凸のあるゲームフィ
ールドを等高線と色分けにより地図状に表現し、持ち玉
を円形画像で表現した２次元投射画像２０２を、情報か
らプロジェクタ２０６により現実物体２０５天板に投射
している。ギャラリー２０１はこの２次元投射画像２０
２を視認することで、プレーヤ１０１が視認するゲーム
フィールドの凹凸と、各プレーヤの持ち玉の位置を認識
することができる。
【００３６】特に、図２の場合、仮想物体１０２と２次
元投射画像２０２との位置あわせを行って投射している
ため、プレーヤ１０１とギャラリー２０１とが互いに同
じ空間を共有してゲームを行っているように体感でき
る。
元投射画像２０２との位置あわせを行って投射している
ため、プレーヤ１０１とギャラリー２０１とが互いに同
じ空間を共有してゲームを行っているように体感でき
る。
【００３７】また、上述した方法以外にも、仮想物体の
形状や特性に応じて任意の方法で２次元投射画像を生成
することができる。特に、本実施形態のようにゲーム装
置である場合には、２次元投射画像が３次元仮想物体を
正確に表すことよりも、２次元投射画像を視認するギャ
ラリーがゲームに参加する上で必要な情報を明確に認識
できることを優先して２次元投射画像を生成することが
好ましい。
形状や特性に応じて任意の方法で２次元投射画像を生成
することができる。特に、本実施形態のようにゲーム装
置である場合には、２次元投射画像が３次元仮想物体を
正確に表すことよりも、２次元投射画像を視認するギャ
ラリーがゲームに参加する上で必要な情報を明確に認識
できることを優先して２次元投射画像を生成することが
好ましい。
【００３８】ギャラリー２０１がゲームに関与する方法
についても任意の方法を採用することができるが、本実
施形態では、ギャラリーが現実物体２０５の天板上に所
定形状のマークが書かれたカードを置くと、そのマーク
形状に従って３次元仮想物体であるゲームフィールドの
形状が変化するものとする。
についても任意の方法を採用することができるが、本実
施形態では、ギャラリーが現実物体２０５の天板上に所
定形状のマークが書かれたカードを置くと、そのマーク
形状に従って３次元仮想物体であるゲームフィールドの
形状が変化するものとする。
【００３９】具体的には、現実物体２０５の天板に投射
されている２次元投射画像上に「＋」もしくは「ー」が
書かれた正方形のカードが置かれると、３次元仮想物体
で構成されるゲームフィールドの、対応する領域が所定
高さ隆起もしくは陥没する。ギャラリー２０１は２次元
投射画像により、相手プレーヤの持ち玉の位置その地形
を把握することが可能であるため、たとえば相手プレー
ヤの持ち玉が高い位置から転がりながらスピードを上げ
ている場合には、その進路に当たる位置に「＋」の書か
れたカード（以下、「＋」カード）を置き、その領域を
隆起させることにより、持ち玉のスピードを減速させた
り、あるいは進路を変更させて、相手プレーヤの妨害を
行う。
されている２次元投射画像上に「＋」もしくは「ー」が
書かれた正方形のカードが置かれると、３次元仮想物体
で構成されるゲームフィールドの、対応する領域が所定
高さ隆起もしくは陥没する。ギャラリー２０１は２次元
投射画像により、相手プレーヤの持ち玉の位置その地形
を把握することが可能であるため、たとえば相手プレー
ヤの持ち玉が高い位置から転がりながらスピードを上げ
ている場合には、その進路に当たる位置に「＋」の書か
れたカード（以下、「＋」カード）を置き、その領域を
隆起させることにより、持ち玉のスピードを減速させた
り、あるいは進路を変更させて、相手プレーヤの妨害を
行う。
【００４０】また、自分と組んだプレーヤの持ち玉がス
ムーズに相手プレーヤ方向へ移動するように、持ち玉の
進路に「−」が書かれたカード（以下「−」カード）を
置くことにより、進路を平滑化もしくは陥没させる。
ムーズに相手プレーヤ方向へ移動するように、持ち玉の
進路に「−」が書かれたカード（以下「−」カード）を
置くことにより、進路を平滑化もしくは陥没させる。
【００４１】ギャラリーは、カードを置いた位置に投影
される２次元投射画像の変化により自分が仮想空間に関
与した結果を確認できる。すなわち、「＋」カードを配
置した場合には２次元投射画像の対応する領域の等高線
及び／または色が以前より高い位置を表すように変化
し、「−」カードを配置した場合には２次元投射画像の
対応する領域の等高線及び／または色が以前より低い位
置を表すように変化することを認識して、自分の動作に
より仮想物体の形状が変化したことを確認することがで
きる。
される２次元投射画像の変化により自分が仮想空間に関
与した結果を確認できる。すなわち、「＋」カードを配
置した場合には２次元投射画像の対応する領域の等高線
及び／または色が以前より高い位置を表すように変化
し、「−」カードを配置した場合には２次元投射画像の
対応する領域の等高線及び／または色が以前より低い位
置を表すように変化することを認識して、自分の動作に
より仮想物体の形状が変化したことを確認することがで
きる。
【００４２】ギャラリー２０１が配置したカードの位置
及び種別の判定は、２次元投射画像を投射するプロジェ
クタ２０６に隣接して設けられた現実空間画像撮影用カ
メラ２０３により現実物体２０５の天板を撮影し、撮影
した画像からカードの色、形状を検出してカードの配置
位置を、カード内部の画像を解析することによりカード
の巣別を判定する。この場合、ギャラリー２０１が配置
するカードの色は組むプレーヤ組毎に変化させればよ
い。
及び種別の判定は、２次元投射画像を投射するプロジェ
クタ２０６に隣接して設けられた現実空間画像撮影用カ
メラ２０３により現実物体２０５の天板を撮影し、撮影
した画像からカードの色、形状を検出してカードの配置
位置を、カード内部の画像を解析することによりカード
の巣別を判定する。この場合、ギャラリー２０１が配置
するカードの色は組むプレーヤ組毎に変化させればよ
い。
【００４３】本実施形態においては現実空間画像を元に
ギャラリーの動作を判定するため、現実空間撮影用カメ
ラ２０３を用いているが、それ以外の方法でギャラリー
の動作を検知できる場合には、現実空間撮影用カメラ２
０３は不要である。画像解析以外の方法でギャラリーの
動作（操作）を検知する方法に制限はないが、たとえば
座標入力装置を用いることができる。
ギャラリーの動作を判定するため、現実空間撮影用カメ
ラ２０３を用いているが、それ以外の方法でギャラリー
の動作を検知できる場合には、現実空間撮影用カメラ２
０３は不要である。画像解析以外の方法でギャラリーの
動作（操作）を検知する方法に制限はないが、たとえば
座標入力装置を用いることができる。
【００４４】（ＭＲゲーム装置の構成例）次に、本実施
形態におけるＭＲゲーム装置１０４の構成例を、図３に
示すブロック図を参照して説明する。
形態におけるＭＲゲーム装置１０４の構成例を、図３に
示すブロック図を参照して説明する。
【００４５】フィールド解析部３００は、現実空間撮影
用カメラ２０３で撮影された現実空間の映像から、ギャ
ラリーが現実空間に配置したカードに関する情報（カー
ドの種類・位置など）と、ゲームフィールド上でギャラ
リーの存在する領域を解析する。カードの種類と位置に
関する情報をＭＲゲーム装置１０４内のゲーム状態管理
部３０１に、ギャラリーの存在領域に関する情報を主観
視点映像生成部３０２にそれぞれ出力する。
用カメラ２０３で撮影された現実空間の映像から、ギャ
ラリーが現実空間に配置したカードに関する情報（カー
ドの種類・位置など）と、ゲームフィールド上でギャラ
リーの存在する領域を解析する。カードの種類と位置に
関する情報をＭＲゲーム装置１０４内のゲーム状態管理
部３０１に、ギャラリーの存在領域に関する情報を主観
視点映像生成部３０２にそれぞれ出力する。
【００４６】ゲーム状態管理部３０１は、ゲームフィー
ルド解析部３００からのカード情報及び、ジョイスティ
ック、トラックボール等のプレーヤ１０１が操作する入
力装置（図示せず）の状態に関する情報に基づき、ＭＲ
ゲームの状態（カードの配置情報、仮想物体１０２（プ
レーヤの持ち玉含む）の描画に関する情報、２次元投射
画像２０２の生成に関する情報等）を管理する。
ルド解析部３００からのカード情報及び、ジョイスティ
ック、トラックボール等のプレーヤ１０１が操作する入
力装置（図示せず）の状態に関する情報に基づき、ＭＲ
ゲームの状態（カードの配置情報、仮想物体１０２（プ
レーヤの持ち玉含む）の描画に関する情報、２次元投射
画像２０２の生成に関する情報等）を管理する。
【００４７】ここで、仮想物体１０２の描画に関する情
報は、仮想物体１０２の外観（形状）の情報と、世界座
標系における仮想物体１０２の位置姿勢の情報、プレー
ヤの持ち玉に関する情報により構成されている。また、
２次元投射画像２０２の生成に関する情報は、仮想物体
１０２を２次元に投射する方法と、世界座標系における
仮想物体１０２の位置姿勢の情報により構成されてい
る。
報は、仮想物体１０２の外観（形状）の情報と、世界座
標系における仮想物体１０２の位置姿勢の情報、プレー
ヤの持ち玉に関する情報により構成されている。また、
２次元投射画像２０２の生成に関する情報は、仮想物体
１０２を２次元に投射する方法と、世界座標系における
仮想物体１０２の位置姿勢の情報により構成されてい
る。
【００４８】また、ゲームフィールド解析部３００にお
いて、ギャラリーが配置したカードが検出された場合に
は、その種類、位置によって仮想物体１０２の形状情報
を変化させる。すなわち、上述のように、「＋」／
「−］カードが配置された場所を中心とした所定範囲を
所定量隆起／陥没させる。
いて、ギャラリーが配置したカードが検出された場合に
は、その種類、位置によって仮想物体１０２の形状情報
を変化させる。すなわち、上述のように、「＋」／
「−］カードが配置された場所を中心とした所定範囲を
所定量隆起／陥没させる。
【００４９】ゲーム状態管理部３０１は仮想物体１０２
の描画に関する情報を主観視点映像生成部に、仮想物体
の２次元投射画像生成に関する情報を仮想視点投影画像
生成部３１２にそれぞれ出力する。
の描画に関する情報を主観視点映像生成部に、仮想物体
の２次元投射画像生成に関する情報を仮想視点投影画像
生成部３１２にそれぞれ出力する。
【００５０】仮想物体１０２の形状情報は、例えば仮想
物体１０２を構成するポリゴンに関する情報であり、ポ
リゴンの数、各ポリゴンの座標値、各ポリゴンのカラー
等である。仮想物体１０２にテクスチャマッピングが施
されている場合には、テクスチャの大きさ、テクスチャ
のフィル名なども、この情報に含まれる。
物体１０２を構成するポリゴンに関する情報であり、ポ
リゴンの数、各ポリゴンの座標値、各ポリゴンのカラー
等である。仮想物体１０２にテクスチャマッピングが施
されている場合には、テクスチャの大きさ、テクスチャ
のフィル名なども、この情報に含まれる。
【００５１】仮想物体１０２から２次元投射画像２０２
を生成するための投影方法は、ＭＲゲーム装置で実行す
るゲームアプリケーションの内容によって任意に決定す
ることができる。これは、ゲームの内容によっては３次
元仮想物体の形状をギャラリーが正確に認識する必要が
ない（むしろ積極的に異なる形状等にする方が良い場合
もある）こと、ギャラリーが２次元投射画像によって３
次元仮想物体を正しく認識することが好ましい場合であ
って、ギャラリーが認識しやすい投射画像の形式は、ゲ
ームの内容によって変化することによる。
を生成するための投影方法は、ＭＲゲーム装置で実行す
るゲームアプリケーションの内容によって任意に決定す
ることができる。これは、ゲームの内容によっては３次
元仮想物体の形状をギャラリーが正確に認識する必要が
ない（むしろ積極的に異なる形状等にする方が良い場合
もある）こと、ギャラリーが２次元投射画像によって３
次元仮想物体を正しく認識することが好ましい場合であ
って、ギャラリーが認識しやすい投射画像の形式は、ゲ
ームの内容によって変化することによる。
【００５２】すでに説明したように、本実施形態におけ
るＭＲゲームは、ギャラリーが仮想物体１０２の形状を
正確に認識可能な方が好ましい内容であり、また仮想物
体１０２が山地のような凹凸のある形状を有するため、
地図のようにその等高線を用いて２次元表示するものと
する。また、等高線は色分け表示してもよい。さらに、
等高線の間を塗りつぶすようにしても良い。
るＭＲゲームは、ギャラリーが仮想物体１０２の形状を
正確に認識可能な方が好ましい内容であり、また仮想物
体１０２が山地のような凹凸のある形状を有するため、
地図のようにその等高線を用いて２次元表示するものと
する。また、等高線は色分け表示してもよい。さらに、
等高線の間を塗りつぶすようにしても良い。
【００５３】２次元投射画像２０２の表示に用いる色
は、ギャラリーが仮想空間とインタラクションを行うた
めに用いるカードや、絶対位置指標として用いるマーカ
など、現実空間撮影用カメラ２０３で撮影した画像から
正しく認識する必要のある他の要素と誤認識されないよ
うな色に設定することが好ましい。
は、ギャラリーが仮想空間とインタラクションを行うた
めに用いるカードや、絶対位置指標として用いるマーカ
など、現実空間撮影用カメラ２０３で撮影した画像から
正しく認識する必要のある他の要素と誤認識されないよ
うな色に設定することが好ましい。
【００５４】３０４はカメラパラメータ計測管理部で、
ＨＭＤ１０７の近傍に設けられた、プレーヤ視点（主観
視点）現実空間撮影用カメラのパラメータであるカメラ
パラメータの計測／管理を行っている。カメラパラメー
タ計測管理部３０４が管理するカメラパラメータには、
外部パラメータである視点の位置と姿勢の情報と、内部
パラメータである視点の位置と姿勢の情報と、内部パラ
メータである画角や焦点距離、ひずみ等の情報が含まれ
る。
ＨＭＤ１０７の近傍に設けられた、プレーヤ視点（主観
視点）現実空間撮影用カメラのパラメータであるカメラ
パラメータの計測／管理を行っている。カメラパラメー
タ計測管理部３０４が管理するカメラパラメータには、
外部パラメータである視点の位置と姿勢の情報と、内部
パラメータである視点の位置と姿勢の情報と、内部パラ
メータである画角や焦点距離、ひずみ等の情報が含まれ
る。
【００５５】カメラパラメータ計測管理部３０４は、既
知の情報としてＨＭＤ１０７の内部パラメータを保持す
ると同時に、ＨＭＤ１０７に設けた図不示の位置姿勢セ
ンサを用いてＨＭＤ１０７の外部パラメータ（プレーヤ
の視点位置及び姿勢情報）を計測し、ＨＭＤ１０７のカ
メラパラメータを管理している。プレーヤが複数人いる
場合には、各プレーヤが装着するＨＭＤ毎にパラメータ
を計測、管理する。またカメラパラメータ計測管理部３
０４は、既知の情報として、カメラ２０３のカメラパラ
メータを管理している。
知の情報としてＨＭＤ１０７の内部パラメータを保持す
ると同時に、ＨＭＤ１０７に設けた図不示の位置姿勢セ
ンサを用いてＨＭＤ１０７の外部パラメータ（プレーヤ
の視点位置及び姿勢情報）を計測し、ＨＭＤ１０７のカ
メラパラメータを管理している。プレーヤが複数人いる
場合には、各プレーヤが装着するＨＭＤ毎にパラメータ
を計測、管理する。またカメラパラメータ計測管理部３
０４は、既知の情報として、カメラ２０３のカメラパラ
メータを管理している。
【００５６】主観視点映像生成部３０２は、ゲーム状態
管理部３０１から入力される仮想物体１０２の描画に関
する情報と、カメラパラメータ計測管理部３０４から入
力されるＨＭＤ１０７のカメラパラメータと、ゲームフ
ィールド解析部３００から入力されるギャラリーの位置
情報とに基づいて、仮想物体１０２の映像を生成する。
生成された主観視点仮想映像は主観視点映像合成部３０
３に出力される。
管理部３０１から入力される仮想物体１０２の描画に関
する情報と、カメラパラメータ計測管理部３０４から入
力されるＨＭＤ１０７のカメラパラメータと、ゲームフ
ィールド解析部３００から入力されるギャラリーの位置
情報とに基づいて、仮想物体１０２の映像を生成する。
生成された主観視点仮想映像は主観視点映像合成部３０
３に出力される。
【００５７】主観視点映像合成部３０３には、ＨＭＤ１
０７に設けたカメラを通じて、プレーヤ１０１の主観視
点実写映像が入力される。そして、主観視点映像合成部
３０３はこの主観視点実写映像と主観視点映像生成部３
０２から入力した主観視点仮想映像との合成映像である
主観視点ＭＲ映像を生成する。
０７に設けたカメラを通じて、プレーヤ１０１の主観視
点実写映像が入力される。そして、主観視点映像合成部
３０３はこの主観視点実写映像と主観視点映像生成部３
０２から入力した主観視点仮想映像との合成映像である
主観視点ＭＲ映像を生成する。
【００５８】２次元投射画像生成部３１２は、ゲーム状
態管理部３０１から入力される仮想物体１０２の描画に
関する情報と、カメラパラメータ計測管理部３０４から
入力されるカメラ２０３のカメラパラメータ及び、予め
定めた仮想物体１０２の投影方法に基づき、２次元投射
画像２０２を生成する。生成された２次元投射画像２０
２はプロジェクター２０６に送られ、現実物体２０５の
天板に表示される。
態管理部３０１から入力される仮想物体１０２の描画に
関する情報と、カメラパラメータ計測管理部３０４から
入力されるカメラ２０３のカメラパラメータ及び、予め
定めた仮想物体１０２の投影方法に基づき、２次元投射
画像２０２を生成する。生成された２次元投射画像２０
２はプロジェクター２０６に送られ、現実物体２０５の
天板に表示される。
【００５９】このようなＭＲゲーム装置は、ビデオ映像
の入出力インタフェース、各プレーヤ１０１が装着する
ＨＭＤ１０７の情報を取得するための通信インタフェー
ス等を有するコンピュータ装置において、各機能ブロッ
ク３００〜３１２を実現するソフトウェアを実行するこ
とによって実現可能である。具体的にはビデオキャプチ
ャボード、グラフィックアクセラレータボード、ネット
ワークインタフェース等を有するパーソナルコンピュー
タ、ワークステーション等によってＭＲゲーム装置１０
４を構成することができる。また、画像解析等に必要な
処理についても、市販のライブラリソフトウェア等を利
用して実現することが可能である。
の入出力インタフェース、各プレーヤ１０１が装着する
ＨＭＤ１０７の情報を取得するための通信インタフェー
ス等を有するコンピュータ装置において、各機能ブロッ
ク３００〜３１２を実現するソフトウェアを実行するこ
とによって実現可能である。具体的にはビデオキャプチ
ャボード、グラフィックアクセラレータボード、ネット
ワークインタフェース等を有するパーソナルコンピュー
タ、ワークステーション等によってＭＲゲーム装置１０
４を構成することができる。また、画像解析等に必要な
処理についても、市販のライブラリソフトウェア等を利
用して実現することが可能である。
【００６０】以上の構成に基づいて、ＭＲゲーム装置１
０４がＨＭＤ１０７と現実物体２０５とにそれぞれ主観
視点ＭＲ映像、２次元投射画像を表示する処理を、図４
に示すフローチャートを用いてさらに説明する。
０４がＨＭＤ１０７と現実物体２０５とにそれぞれ主観
視点ＭＲ映像、２次元投射画像を表示する処理を、図４
に示すフローチャートを用いてさらに説明する。
【００６１】ステップＳ４０１において、ゲームフィー
ルド解析部３００がカメラ２０３で撮影された画像を取
得する。ステップＳ４０２において、ゲームフィールド
解析部３００は、入力された画像を解析し、現実物体２
０５上に存在するギャラリーの領域検出及び、ギャラリ
ーの配置したカード検出を行う。検出結果はゲーム状態
管理部３０１に入力する。
ルド解析部３００がカメラ２０３で撮影された画像を取
得する。ステップＳ４０２において、ゲームフィールド
解析部３００は、入力された画像を解析し、現実物体２
０５上に存在するギャラリーの領域検出及び、ギャラリ
ーの配置したカード検出を行う。検出結果はゲーム状態
管理部３０１に入力する。
【００６２】ステップＳ４０３において、新規カードの
検出有無を判定する。ここで、新規カードとは、ステッ
プＳ４０２において新たに検出されたカードを意味す
る。すなわち、プレーヤの動きに応じてリアルタイムに
映像を表示するには、図４に示す処理を数十回／秒以上
のスピードで処理を行う必要があるが、一方でギャラリ
ーがカードを配置し、その結果が反映されたことを確認
してカードを戻すまでには少なくとも数秒が必要となる
であろうから、図４の処理においてカードが検出される
たびに仮想物体１０２の形状変化を行うと、形状変化に
よって影響を受ける持ち玉の移動位置計算が煩雑になる
だけでなく、短時間に膨大な形状変化が起こることにな
り、ゲーム性を損なうことになる。
検出有無を判定する。ここで、新規カードとは、ステッ
プＳ４０２において新たに検出されたカードを意味す
る。すなわち、プレーヤの動きに応じてリアルタイムに
映像を表示するには、図４に示す処理を数十回／秒以上
のスピードで処理を行う必要があるが、一方でギャラリ
ーがカードを配置し、その結果が反映されたことを確認
してカードを戻すまでには少なくとも数秒が必要となる
であろうから、図４の処理においてカードが検出される
たびに仮想物体１０２の形状変化を行うと、形状変化に
よって影響を受ける持ち玉の移動位置計算が煩雑になる
だけでなく、短時間に膨大な形状変化が起こることにな
り、ゲーム性を損なうことになる。
【００６３】従って、本実施形態においては、ステップ
Ｓ４０２における画像解析の結果、カードが検出がされ
た場合、そのカードが新たに置かれたものである場合の
み、仮想物体１０２の形状を変化させるように構成す
る。カードが新規に置かれたものか、以前から置かれて
いるものなのかの判別は、例えば解析処理において検出
されたカードについて位置及び種類を記憶しておき、ス
テップＳ４０２でカードが検出された場合にはその位
置、種類を前回検出されたカードの位置、種類と比較す
ることにより実現できる。
Ｓ４０２における画像解析の結果、カードが検出がされ
た場合、そのカードが新たに置かれたものである場合の
み、仮想物体１０２の形状を変化させるように構成す
る。カードが新規に置かれたものか、以前から置かれて
いるものなのかの判別は、例えば解析処理において検出
されたカードについて位置及び種類を記憶しておき、ス
テップＳ４０２でカードが検出された場合にはその位
置、種類を前回検出されたカードの位置、種類と比較す
ることにより実現できる。
【００６４】もちろん、この他にも、カードの検出によ
ってなされる仮想物体１０２の形状変化量をごく小さい
値に設定しておき、数秒間継続してカードが検出されて
も変化量が大きくならないように構成することや、所定
時間（または回数）連続して検出された場合に１回の形
状変化を起こさせるように構成するなど、処理負荷及び
ゲーム性を考慮して任意に設定することが可能である。
ってなされる仮想物体１０２の形状変化量をごく小さい
値に設定しておき、数秒間継続してカードが検出されて
も変化量が大きくならないように構成することや、所定
時間（または回数）連続して検出された場合に１回の形
状変化を起こさせるように構成するなど、処理負荷及び
ゲーム性を考慮して任意に設定することが可能である。
【００６５】ステップＳ４０３において、新規カードの
配置が検出された場合には、ステップＳ４０４におい
て、仮想物体１０２の対応する所定領域を変形させる。
すなわち、仮想物体１０２の形状情報に関し、「＋」カ
ードの対応領域が隆起、「−」カードの対応領域が陥没
するように変更を加える。
配置が検出された場合には、ステップＳ４０４におい
て、仮想物体１０２の対応する所定領域を変形させる。
すなわち、仮想物体１０２の形状情報に関し、「＋」カ
ードの対応領域が隆起、「−」カードの対応領域が陥没
するように変更を加える。
【００６６】ステップＳ４０５では、ゲーム状態管理部
３０１が、プレーヤ１０１が持ち玉の移動に関して入力
した操作、例えばトラックボールの回転方向及び量など
の操作内容を、プレーヤ毎の入力装置から取得する。そ
して、取得した操作内容及び仮想物体１０２の形状を考
慮してプレーヤの持ち玉位置を更新する（ステップＳ４
０６）。
３０１が、プレーヤ１０１が持ち玉の移動に関して入力
した操作、例えばトラックボールの回転方向及び量など
の操作内容を、プレーヤ毎の入力装置から取得する。そ
して、取得した操作内容及び仮想物体１０２の形状を考
慮してプレーヤの持ち玉位置を更新する（ステップＳ４
０６）。
【００６７】ステップＳ４０７において、カメラパラメ
ータ計測管理部３０４が更新した、各プレーヤ１０１が
装着するＨＭＤ１０７の視点位置姿勢情報、ステップＳ
Ｓ４０６で更新した持ち玉の位置、（必要によりステッ
プＳ４０４で変更された）仮想物体１０２の描画情報及
びステップＳ４０２で検出したギャラリー領域に基づい
て、主観視点映像生成部３０２が、仮想物体１０２（プ
レーヤの持ち玉含む）及び１０５の画像を生成する。
ータ計測管理部３０４が更新した、各プレーヤ１０１が
装着するＨＭＤ１０７の視点位置姿勢情報、ステップＳ
Ｓ４０６で更新した持ち玉の位置、（必要によりステッ
プＳ４０４で変更された）仮想物体１０２の描画情報及
びステップＳ４０２で検出したギャラリー領域に基づい
て、主観視点映像生成部３０２が、仮想物体１０２（プ
レーヤの持ち玉含む）及び１０５の画像を生成する。
【００６８】そして、ステップＳ４０８において、各プ
レーヤのＨＭＤ１０７に設けた現実空間撮影用カメラで
撮影した主観視点実写映像に、ステップＳ４０７で生成
した仮想物体画像を合成し、主観視点ＭＲ映像を生成す
る。
レーヤのＨＭＤ１０７に設けた現実空間撮影用カメラで
撮影した主観視点実写映像に、ステップＳ４０７で生成
した仮想物体画像を合成し、主観視点ＭＲ映像を生成す
る。
【００６９】ステップＳ４０９において、２次元投射画
像生成部３１２は、（必要によりステップＳ４０４で変
更された）仮想物体１０２の描画情報、ステップＳ４０
６で更新したプレーヤの持ち玉位置に基づいて、２次元
投射画像を生成する。ステップＳ４０９における処理
は、ステップＳ４０６以降であれば任意のタイミングで
実行可能であり、並列処理が可能であればステップＳ４
０７での仮想物体画像精製処理と並行して実施しても良
い。
像生成部３１２は、（必要によりステップＳ４０４で変
更された）仮想物体１０２の描画情報、ステップＳ４０
６で更新したプレーヤの持ち玉位置に基づいて、２次元
投射画像を生成する。ステップＳ４０９における処理
は、ステップＳ４０６以降であれば任意のタイミングで
実行可能であり、並列処理が可能であればステップＳ４
０７での仮想物体画像精製処理と並行して実施しても良
い。
【００７０】ステップＳ４１０において、主観視点映像
合成部３０３からは各プレーヤが装着するＨＭＤ１０７
に対して、各プレーヤ（ＨＭＤ１０７）の視点位置姿勢
に対応した主観視点映像を出力するとともに、２次元投
射画像生成部３１２からはプロジェクタ２０６へ２次元
投射画像が出力される。以上の処理はＭＲゲームが終了
するまで繰り返し実行される。このように、本実施形態
によれば、ＨＭＤを装着しないギャラリーがＨＭＤを装
着するプレーヤとともにＭＲ空間を共有することが可能
になる
合成部３０３からは各プレーヤが装着するＨＭＤ１０７
に対して、各プレーヤ（ＨＭＤ１０７）の視点位置姿勢
に対応した主観視点映像を出力するとともに、２次元投
射画像生成部３１２からはプロジェクタ２０６へ２次元
投射画像が出力される。以上の処理はＭＲゲームが終了
するまで繰り返し実行される。このように、本実施形態
によれば、ＨＭＤを装着しないギャラリーがＨＭＤを装
着するプレーヤとともにＭＲ空間を共有することが可能
になる
【００７１】（第２の実施形態）第１の実施形態におい
ては、ゲームに参加するギャラリーはプレーヤと同一現
実空間を共有していた。この場合、ゲームに参加できる
ギャラリーはプレーヤと同じ場所にいるギャラリーに限
られることになる。そのため、本実施形態においては、
別の場所にギャラリー用のゲームフィールドを設け、異
なる場所にいるギャラリーがゲームに参加可能としたも
のである。
ては、ゲームに参加するギャラリーはプレーヤと同一現
実空間を共有していた。この場合、ゲームに参加できる
ギャラリーはプレーヤと同じ場所にいるギャラリーに限
られることになる。そのため、本実施形態においては、
別の場所にギャラリー用のゲームフィールドを設け、異
なる場所にいるギャラリーがゲームに参加可能としたも
のである。
【００７２】すなわち、本実施形態におけるＭＲゲーム
システムを示す図５と、第１の実施形態におけるＭＲゲ
ームシステムと示す図３との比較から明らかなように、
本実施形態におけるＭＲゲームシステムは、第１の実施
形態におけるＭＲゲームシステムに、ギャラリーに２次
元投射画像を提示するプロジェクタ２０６’と、ギャラ
リーの操作を検出するためのカメラ２０３’並びに、カ
メラ２０３’で撮影した映像を解析し、ギャラリーの操
作を検出するゲームフィールド解析部５００を新たに追
加した構成を有する。
システムを示す図５と、第１の実施形態におけるＭＲゲ
ームシステムと示す図３との比較から明らかなように、
本実施形態におけるＭＲゲームシステムは、第１の実施
形態におけるＭＲゲームシステムに、ギャラリーに２次
元投射画像を提示するプロジェクタ２０６’と、ギャラ
リーの操作を検出するためのカメラ２０３’並びに、カ
メラ２０３’で撮影した映像を解析し、ギャラリーの操
作を検出するゲームフィールド解析部５００を新たに追
加した構成を有する。
【００７３】図５において、図３と同じ構成要素には同
じ参照数字を付し、重複する説明は省略する。また、カ
メラ２０３’、プロジェクタ２０６’についてはカメラ
２０３、２０６と同一構成でよい。
じ参照数字を付し、重複する説明は省略する。また、カ
メラ２０３’、プロジェクタ２０６’についてはカメラ
２０３、２０６と同一構成でよい。
【００７４】本実施形態において、ゲームフィールド解
析部５００、カメラ２０３’、プロジェクタ２０６’は
例えばネットワーク回線（有線、無線を問わず）によっ
てＭＲゲーム装置１０４’に接続され、現実物体１０５
に対応する現実物体５０５とともにリモートフィールド
（プレーヤが視認するゲームフィールド（メインフィー
ルド）と別の位置にあるゲームフィールド）を構成す
る。
析部５００、カメラ２０３’、プロジェクタ２０６’は
例えばネットワーク回線（有線、無線を問わず）によっ
てＭＲゲーム装置１０４’に接続され、現実物体１０５
に対応する現実物体５０５とともにリモートフィールド
（プレーヤが視認するゲームフィールド（メインフィー
ルド）と別の位置にあるゲームフィールド）を構成す
る。
【００７５】ゲームフィールド解析部５００は、ＭＲゲ
ーム装置１０４’に含まれるゲームフィールド解析部３
００と同一構成であって良いが、リモートフィールドを
プレーヤが視認することはないので、現実物体５０５の
天板（ゲームフィールド）上に存在するギャラリーの領
域を検出する必要はない。従って、ゲームフィールド解
析部５００の出力は、リモートフィールドにおいて配置
された新規カードの位置と種類に関する情報のみでよ
い。
ーム装置１０４’に含まれるゲームフィールド解析部３
００と同一構成であって良いが、リモートフィールドを
プレーヤが視認することはないので、現実物体５０５の
天板（ゲームフィールド）上に存在するギャラリーの領
域を検出する必要はない。従って、ゲームフィールド解
析部５００の出力は、リモートフィールドにおいて配置
された新規カードの位置と種類に関する情報のみでよ
い。
【００７６】ゲーム状態管理部３０１’は、２つのゲー
ムフィールド解析部３００、５００からの情報に基づ
き、仮想物体１０２の描画情報を変更する。メインフィ
ールドにいるギャラリー２０１と、リモートフィールド
にいるギャラリー２０１’とが組んでゲームを進める場
合、異なるフィールドにいるギャラリーは独立して操作
が可能であるため、複数のフィールドにおいて同一位置
にカードが配置されることが考えられる。この場合、カ
ード種別が同一であれば変形量を２倍（もしくは他の任
意の倍数）としたり、カード種別が異なる場合にはその
効果を相殺する等の条件を付加することが可能である。
ムフィールド解析部３００、５００からの情報に基づ
き、仮想物体１０２の描画情報を変更する。メインフィ
ールドにいるギャラリー２０１と、リモートフィールド
にいるギャラリー２０１’とが組んでゲームを進める場
合、異なるフィールドにいるギャラリーは独立して操作
が可能であるため、複数のフィールドにおいて同一位置
にカードが配置されることが考えられる。この場合、カ
ード種別が同一であれば変形量を２倍（もしくは他の任
意の倍数）としたり、カード種別が異なる場合にはその
効果を相殺する等の条件を付加することが可能である。
【００７７】また、２次元投射画像生成部３１２は、同
一の２次元投射画像を各フィールドのプロジェクタ２０
６、２０６’に送信することができるが、その際、仮想
物体１０２の形状に変更が生じた場合に、その変更がど
のフィールドのどのプレーヤの操作によるものかをギャ
ラリー毎に異なる図形及び／又は色を用いたり、文字メ
ッセージによって表示するようにしても良い。
一の２次元投射画像を各フィールドのプロジェクタ２０
６、２０６’に送信することができるが、その際、仮想
物体１０２の形状に変更が生じた場合に、その変更がど
のフィールドのどのプレーヤの操作によるものかをギャ
ラリー毎に異なる図形及び／又は色を用いたり、文字メ
ッセージによって表示するようにしても良い。
【００７８】リモートフィールドは任意の数設けること
が可能であり、その場合にはカメラ２０３’、プロジェ
クタ２０６’、ゲームフィールド解析部５００及び現実
物体１０５をフィールド毎に設ければよい。
が可能であり、その場合にはカメラ２０３’、プロジェ
クタ２０６’、ゲームフィールド解析部５００及び現実
物体１０５をフィールド毎に設ければよい。
【００７９】ただし、ＭＲゲーム装置１０４’内のゲー
ムフィールド解析部３００がリモートフィールドのカメ
ラ２０３’から直接映像を取得し、解析処理を行うこと
が可能な場合、ゲームフィールド解析部５００は不要で
ある。
ムフィールド解析部３００がリモートフィールドのカメ
ラ２０３’から直接映像を取得し、解析処理を行うこと
が可能な場合、ゲームフィールド解析部５００は不要で
ある。
【００８０】リモートフィールドとＭＲゲーム装置１０
４’とを接続するネットワーク回線に、インターネット
や公衆電話網など、伝送速度の遅い回線が含まれる場
合、２次元投射画像生成部３１２に相当する機能を各リ
モートフィールドに設け、リモートフィールド側で２次
元投射画像を生成するようにすることもできる。
４’とを接続するネットワーク回線に、インターネット
や公衆電話網など、伝送速度の遅い回線が含まれる場
合、２次元投射画像生成部３１２に相当する機能を各リ
モートフィールドに設け、リモートフィールド側で２次
元投射画像を生成するようにすることもできる。
【００８１】このように、本実施形態においては、リモ
ートフィールドを設けることにより、プレーヤとは異な
る位置にいるギャラリーもＭＲゲームに参加することが
可能になる。また、リモートフィールド全体を撮影する
カメラを設け、プレーヤのＨＭＤに遠隔地のギャラリー
をピクチャインピクチャ等によって表示するように構成
することもできる。
ートフィールドを設けることにより、プレーヤとは異な
る位置にいるギャラリーもＭＲゲームに参加することが
可能になる。また、リモートフィールド全体を撮影する
カメラを設け、プレーヤのＨＭＤに遠隔地のギャラリー
をピクチャインピクチャ等によって表示するように構成
することもできる。
【００８２】（第３の実施形態）第２の実施形態におい
ては、プレーヤと同一現実空間を共有しないリモートフ
ィールドにおいても、メインフィールドと同一の現実物
体５０５を用いてゲームフィールドを構成していた。し
かしながら、リモートフィールドにおいて２次元投射画
像を投影する現実物体の形状はメインフィールドで用い
る現実物体と同じである必要はない。
ては、プレーヤと同一現実空間を共有しないリモートフ
ィールドにおいても、メインフィールドと同一の現実物
体５０５を用いてゲームフィールドを構成していた。し
かしながら、リモートフィールドにおいて２次元投射画
像を投影する現実物体の形状はメインフィールドで用い
る現実物体と同じである必要はない。
【００８３】すなわち、リモートフィールドにおいて必
要な昨日は、２次元投射画像をギャラリーに提示可能で
あること、ギャラリーの操作が検出可能であることの２
点であり、この条件を満たす限りどのような構成を用い
ても良い。
要な昨日は、２次元投射画像をギャラリーに提示可能で
あること、ギャラリーの操作が検出可能であることの２
点であり、この条件を満たす限りどのような構成を用い
ても良い。
【００８４】例えば、図６に示すように、２次元投射画
像を壁やスクリーン等に表示するとともに、カメラ２０
３’を表示画面撮影可能な位置に配置することも可能で
ある。この場合、ギャラリーは２次元投射画像が投影さ
れる壁などに粘着性を有するカードを張り付けることに
よってＭＲゲームに参加することができる。
像を壁やスクリーン等に表示するとともに、カメラ２０
３’を表示画面撮影可能な位置に配置することも可能で
ある。この場合、ギャラリーは２次元投射画像が投影さ
れる壁などに粘着性を有するカードを張り付けることに
よってＭＲゲームに参加することができる。
【００８５】（第４の実施形態）上述の第２、第３の実
施形態においては、リモートフィールドにおいてもプロ
ジェクタ２０６’及びカメラ２０３’を用いていた。し
かしながら、リモートフィールドにおいて必ずしもこれ
らの機器を用いる必要はない。
施形態においては、リモートフィールドにおいてもプロ
ジェクタ２０６’及びカメラ２０３’を用いていた。し
かしながら、リモートフィールドにおいて必ずしもこれ
らの機器を用いる必要はない。
【００８６】例えば、図７に示すように、リモートフィ
ールドにいるギャラリー毎にＭＲゲーム装置１０４’と
通信可能なコンピュータ端末を割り当て、その表示画面
に２次元投射画像を表示するとともに、ギャラリーがポ
インティングデバイス等を用いて表示画面の所定位置へ
配置したカードアイコンを検出して、その位置をメイン
フィールドにおける位置へ変換し、種別とともにＭＲゲ
ーム装置１０４’へ送信するようにしても同等の効果を
得ることが可能である。
ールドにいるギャラリー毎にＭＲゲーム装置１０４’と
通信可能なコンピュータ端末を割り当て、その表示画面
に２次元投射画像を表示するとともに、ギャラリーがポ
インティングデバイス等を用いて表示画面の所定位置へ
配置したカードアイコンを検出して、その位置をメイン
フィールドにおける位置へ変換し、種別とともにＭＲゲ
ーム装置１０４’へ送信するようにしても同等の効果を
得ることが可能である。
【００８７】
【他の実施形態】上述した実施形態においては、本発明
による複合現実感提示装置として、ＭＲゲームの提供シ
ステムのみを説明したが、複合現実空間を提示する任意
のアプリケーションに対して本発明を適用可能である。
による複合現実感提示装置として、ＭＲゲームの提供シ
ステムのみを説明したが、複合現実空間を提示する任意
のアプリケーションに対して本発明を適用可能である。
【００８８】また、上述の実施形態においてはギャラリ
ーがカードやアイコンを２次元投射画像上の位置に配置
し、それを検出して仮想物体へ形状変化を行う場合のみ
説明したが、ギャラリーが複合現実空間へ関与する方法
及び、ギャラリーの関与を複合現実空間へ反映させる方
法についてはいずれも任意に定めることが可能である。
ーがカードやアイコンを２次元投射画像上の位置に配置
し、それを検出して仮想物体へ形状変化を行う場合のみ
説明したが、ギャラリーが複合現実空間へ関与する方法
及び、ギャラリーの関与を複合現実空間へ反映させる方
法についてはいずれも任意に定めることが可能である。
【００８９】例えば、ギャラリーがスイッチ等任意の入
力装置を用い、そのＯＮ／ＯＦＦやＯＮ／ＯＦＦの周期
や回数等によって複合現実空間に何らかの変化、例えば
仮想物体の表示を切り替える、表示色を変化させる、明
るさを変化させる、プレーヤのＨＭＤに音やメッセージ
を出力させる様に構成することも可能である。
力装置を用い、そのＯＮ／ＯＦＦやＯＮ／ＯＦＦの周期
や回数等によって複合現実空間に何らかの変化、例えば
仮想物体の表示を切り替える、表示色を変化させる、明
るさを変化させる、プレーヤのＨＭＤに音やメッセージ
を出力させる様に構成することも可能である。
【００９０】さらに、上述の実施形態においては、プレ
ーヤが視認する複合現実空間をギャラリーが理解できる
ような２次元投射画像を用いる場合のみを説明したが、
必ずしもギャラリーが複合現実空間を理解できるような
２次元投射画像を用いる必要はない。
ーヤが視認する複合現実空間をギャラリーが理解できる
ような２次元投射画像を用いる場合のみを説明したが、
必ずしもギャラリーが複合現実空間を理解できるような
２次元投射画像を用いる必要はない。
【００９１】具体的には、上述の実施形態における２次
元投射画像として、仮想物体１０２とは全く異なる映像
を２次元投射画像として用いても良い。この場合、ギャ
ラリーの関与による複合現実空間への影響を予測するこ
とが困難になるため、逆に何が起こるかわからず、アプ
リケーションによってはよりエンターテインメント性を
高めることが可能である。もちろん、この場合も２次元
投射画像は複合現実空間の情報を反映することが必要で
あることは言うまでもない。
元投射画像として、仮想物体１０２とは全く異なる映像
を２次元投射画像として用いても良い。この場合、ギャ
ラリーの関与による複合現実空間への影響を予測するこ
とが困難になるため、逆に何が起こるかわからず、アプ
リケーションによってはよりエンターテインメント性を
高めることが可能である。もちろん、この場合も２次元
投射画像は複合現実空間の情報を反映することが必要で
あることは言うまでもない。
【００９２】尚、以上の実施形態では、本発明をゲーム
等に適用した場合について説明したが、これに限定され
ることはなく、現実の実写画像とＣＧ等の仮想画像とと
合成するシステムであれば、各種シミュレーション等、
分野を問わず適用することが可能である。
等に適用した場合について説明したが、これに限定され
ることはなく、現実の実写画像とＣＧ等の仮想画像とと
合成するシステムであれば、各種シミュレーション等、
分野を問わず適用することが可能である。
【００９３】
【発明の効果】以上説明したように、本発明の画像生成
装置によれば、ＨＭＤを装着するプレーヤが視認する複
合現実空間に基づく表示をＨＭＤを装着しないギャラリ
ーに行うとともに、ギャラリーの操作を検出し、その検
出結果を複合現実空間にに反映させることにより、ギャ
ラリーもプレーヤとともに複合現実空間を共有すること
が可能になる。
装置によれば、ＨＭＤを装着するプレーヤが視認する複
合現実空間に基づく表示をＨＭＤを装着しないギャラリ
ーに行うとともに、ギャラリーの操作を検出し、その検
出結果を複合現実空間にに反映させることにより、ギャ
ラリーもプレーヤとともに複合現実空間を共有すること
が可能になる。
【図１】本発明の画像生成装置の一実施形態としてのＭ
Ｒゲームシステムにおいてプレーヤが体験する複合現実
空間を説明する図である。
Ｒゲームシステムにおいてプレーヤが体験する複合現実
空間を説明する図である。
【図２】本発明の画像生成装置の一実施形態としてのＭ
Ｒゲームシステムにおいてギャラリーが体験する現実空
間を説明する図である。
Ｒゲームシステムにおいてギャラリーが体験する現実空
間を説明する図である。
【図３】本発明の画像生成装置の第１の実施形態として
のＭＲゲームシステムの構成例を示す図である。
のＭＲゲームシステムの構成例を示す図である。
【図４】図３におけるＭＲゲーム装置の処理を説明する
フローチャートである。
フローチャートである。
【図５】本発明の画像生成装置の第２の実施形態として
のＭＲゲームシステムの構成例を示す図である。
のＭＲゲームシステムの構成例を示す図である。
【図６】本発明の画像生成装置の第３の実施形態として
のＭＲゲームシステムの構成例を示す図である。
のＭＲゲームシステムの構成例を示す図である。
【図７】本発明の画像生成装置の第４の実施形態として
のＭＲゲームシステムの構成例を示す図である。
のＭＲゲームシステムの構成例を示す図である。
【図８】従来の、複合現実感を利用したホッケーゲーム
を説明する図である。
を説明する図である。
【図９】従来の、複合現実感を利用したホッケーゲーム
を説明する図である。
を説明する図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/64 ５１１ Ｈ０４Ｎ 5/64 ５１１Ａ 7/18 7/18 Ｖ (72)発明者 秋山 由希子 横浜市西区花咲町６丁目145番地 横浜花 咲ビル 株式会社エム・アール・システム 研究所内 Ｆターム(参考） 2C001 AA17 BA02 BA03 BB08 BC00 BC05 BC08 CA09 CB08 CC00 CC01 CC03 5B050 AA08 BA08 BA09 DA04 EA19 EA24 EA27 FA02 FA08 5C054 AA01 DA08 EA01 EA05 FC12 FD02 FE12 HA15 5C061 AA06 AA21 AB08 AB18 5C082 AA06 AA21 AA34 BA27 CA56 DA87 MM05
Claims (33)
- 【請求項１】 プレーヤに現実空間もしくはその映像に
仮想物体の画像が重畳されてなる複合現実空間を視認さ
せる画像生成装置であって、 前記プレーヤの視点位置情報を取得する視点位置情報取
得手段と、 前記プレーヤの視点位置及び、前記仮想物体の描画デー
タ及び描画条件に基づいて前記仮想物体の画像を生成す
る仮想物体画像生成手段と、 前記複合現実空間を反映した２次元画像を生成する２次
元画像生成手段と、 前記２次元画像を、前記複合現実空間を視認しない第３
者に提示する２次元画像表示手段と、 前記第３者によって行われた操作を検出する操作検出手
段と、 前記検出された操作に応じて、前記仮想物体の描画状態
に変化を与える変更手段と、 前記仮想物体画像もしくは前記仮想物体画像が重畳され
た前記現実空間の映像を前記プレーヤが装着する表示装
置に出力する出力手段とを有することを特徴とする画像
生成装置。 - 【請求項２】 前記２次元画像表示手段が前記２次元画
像を現実物体上に投影することを特徴とする請求項１記
載の画像生成装置。 - 【請求項３】 前記２次元画像表示手段が、前記２次元
画像を前記複合現実空間と重複する現実空間に表示する
ことを特徴とする請求項１又は請求項２記載の画像生成
装置。 - 【請求項４】 前記操作検出手段が、前記２次元画像表
示手段によって表示された２次元画像上に前記第３者が
配置した物体の有無及びその種類を検出することを特徴
とする請求項２又は請求項３記載の画像生成装置。 - 【請求項５】 前記２次元画像表示手段が、前記２次元
画像を前記複合現実空間と重複しない現実空間に表示す
ることを特徴とする請求項１又は請求項２記載の画像生
成装置。 - 【請求項６】 前記２次元画像表示手段が前記２次元画
像を前記第３者が視認可能な表示装置に表示することを
特徴とする請求項１記載の画像生成装置。 - 【請求項７】 前記操作検出手段が、前記２次元画像表
示手段によって表示された２次元画像に対して前記第３
者が行った操作の有無及びその種類を検出することを特
徴とする請求項４記載の画像生成装置。 - 【請求項８】 前記２次元画像を前記複合現実空間と重
複しない現実空間に表示する、少なくとも１つの２次元
画像表示手段と、前記２次元画像を前記複合現実空間と
重複する現実空間に表示する前記２次元画像表示手段を
有する存在することを特徴とする請求項１記載の画像生
成装置。 - 【請求項９】 前記プレーヤが入力装置によって入力し
た操作を検出するプレーヤ操作検出手段をさらに有し、 前記仮想物体生成手段が、前記プレーヤ操作検出手段の
検出結果をも考慮して前記仮想物体の画像を生成するこ
とを特徴とする請求項１乃至請求項８のいずれか１項に
記載の画像生成装置。 - 【請求項１０】 プレーヤに現実空間もしくはその映像
に仮想物体の画像が重畳されてなる複合現実空間を視認
させる画像生成装置の制御方法であって、 前記プレーヤの視点位置情報を取得する視点位置情報取
得ステップと、 前記プレーヤの視点位置及び、前記仮想物体の描画デー
タ及び描画条件に基づいて前記仮想物体の画像を生成す
る仮想物体画像生成ステップと、 前記複合現実空間を反映した２次元画像を生成する２次
元画像生成ステップと、 前記２次元画像を、前記複合現実空間を視認しない第３
者に提示する２次元画像表示ステップと、 前記第３者によって行われた操作を検出する第３者操作
検出ステップと、 前記検出された操作に応じて、前記仮想物体の描画状態
に変化を与える変更ステップと、 前記仮想物体画像もしくは前記仮想物体画像が重畳され
た前記現実空間の映像を前記プレーヤが装着する表示装
置に出力する出力ステップとを有することを特徴とする
画像生成装置の制御方法。 - 【請求項１１】 前記２次元画像表示ステップが、前記
２次元画像を現実物体上に投影することを特徴とする請
求項１０記載の画像生成装置の制御方法。 - 【請求項１２】 前記２次元画像表示ステップが、前記
２次元画像を前記複合現実空間と重複する現実空間に表
示することを特徴とする請求項１０又は請求項１１記載
の画像生成装置の制御方法。 - 【請求項１３】 前記操作検出ステップが、前記２次元
画像表示ステップによって表示された２次元画像上に前
記第３者が配置した物体の有無及びその種類を検出する
ことを特徴とする請求項１１又は請求項１２記載の画像
生成装置の制御方法。 - 【請求項１４】 前記２次元画像表示ステップが、前記
２次元画像を前記複合現実空間と重複しない現実空間に
表示することを特徴とする請求項１０又は請求項１１記
載の画像生成装置の制御方法。 - 【請求項１５】 前記２次元画像表示ステップが、前記
２次元画像を前記第３者が視認可能な表示装置に表示す
ることを特徴とする請求項１０記載の画像生成装置の制
御方法。 - 【請求項１６】 前記操作検出ステップが、前記２次元
画像表示ステップによって表示された２次元画像に対し
て前記第３者が行った操作の有無及びその種類を検出す
ることを特徴とする請求項１３記載の画像生成装置の制
御方法。 - 【請求項１７】 前記２次元画像表示ステップが、前記
２次元画像を前記複合現実空間と重複しない現実空間の
少なくとも１カ所に表示するとともに、必要に応じて前
記２次元画像を前記複合現実空間と重複する現実空間に
表示することを特徴とする請求項１０記載の画像生成装
置の制御方法。 - 【請求項１８】 前記プレーヤが入力装置によって入力
した操作を検出するプレーヤ操作検出ステップをさらに
有し、 前記仮想物体生成ステップが、前記プレーヤ操作検出ス
テップの検出結果をも考慮して前記仮想物体の画像を生
成することを特徴とする請求項１０乃至請求項１７のい
ずれか１項に記載の画像生成装置の制御方法。 - 【請求項１９】 現実空間の画像に仮想物体の画像を合
成表示する画像生成装置であって、 プレーヤの視点位置情報を検出する視点位置検出手段
と、 前記プレーヤの視点位置情報、前記仮想物体の描画デー
タ及び描画条件に基づいて前記仮想物体の画像を生成す
る仮想物体画像生成手段と、 前記現実空間の画像と前記仮想物体画像生成手段によっ
て生成された仮想物体の画像を合成して前記プレーヤの
視野の画像空間に生成して表示する第１の画像生成手段
と、 前記現実空間の画像と前記仮想物体の画像とを合成した
画像を前記プレーヤの視野の空間とは異なる空間に生成
して表示する第２の画像生成手段と、 前記第２の画像生成手段によって生成される画像空間に
おいて行った操作に従って、前記仮想物体画像生成手段
による前記仮想物体の描画状態を変化させる変更手段
と、 前記変更手段によって描画状態を変化された前記仮想物
体画像もしくは前記仮想物体画像が重畳された前記現実
空間の画像を前記プレーヤの視野の画像空間に反映させ
る出力手段とを有することを特徴とする画像生成装置。 - 【請求項２０】 前記第２の画像生成手段は、前記現実
空間の画像と前記仮想物体の画像とを合成した画像を、
２次元画像表示することを特徴とする請求項１９記載の
画像生成装置。 - 【請求項２１】 前記第２の画像生成手段は、前記現実
空間の画像と前記仮想物体の画像とを合成した２次元画
像を、前記現実空間に投影することを特徴とする請求項
２０記載の画像生成装置。 - 【請求項２２】 前記変更手段は、前記第２の画像生成
手段によって表示された２次元画像上に配置された物体
の有無及びその種類を検出して、前記仮想物体画像生成
手段による前記仮想物体の描画状態を変化させることを
特徴とする請求項２１記載の画像生成装置。 - 【請求項２３】 前記第２の画像表示手段は、前記２次
元画像を前記現実空間と前記仮想物体の画像とを合成し
た画像空間と重複しない現実空間に表示することを特徴
とする請求項２１記載の画像生成装置。 - 【請求項２４】 前記変更手段は、前記第２の画像生成
手段によって表示された２次元画像に対して、前記プレ
ーヤと異なる第３者が行った操作を検出することを特徴
とする請求項２０記載の画像生成装置。 - 【請求項２５】 前記第２の画像生成手段は、前記第１
の画像生成手段と、ネットワークを介してリンクされて
いることを特徴とする請求項２０記載の画像生成装置。 - 【請求項２６】 現実空間の画像に仮想物体の画像を合
成表示する画像生成装置の制御方法であって、 プレーヤの視点位置情報を検出する視点位置検出ステッ
プと、 前記プレーヤの視点位置情報、前記仮想物体の描画デー
タ及び描画条件に基づいて前記仮想物体の画像を生成す
る仮想物体画像生成ステップと、 前記現実空間の画像と前記仮想物体画像生成ステップに
よって生成された仮想物体の画像を合成して前記プレー
ヤの視野の画像空間に生成して表示する第１の画像生成
ステップと、 前記現実空間の画像と前記仮想物体の画像とを合成した
画像を前記プレーヤの視野の空間とは異なる空間に生成
して表示する第２の画像生成ステップと、 前記第２の画像生成ステップによって生成される画像空
間において行った操作に従って、前記仮想物体画像生成
ステップによる前記仮想物体の描画状態を変化させる変
更ステップと、 前記変更ステップによって描画状態を変化された前記仮
想物体画像もしくは前記仮想物体画像が重畳された前記
現実空間の画像を前記プレーヤの視野の画像空間に反映
させる出力ステップとを有することを特徴とする画像生
成装置の制御方法。 - 【請求項２７】 前記第２の画像生成ステップは、前記
現実空間の画像と前記仮想物体の画像とを合成した画像
を、２次元画像表示することを特徴とする請求項２６記
載の画像生成装置の制御方法。 - 【請求項２８】 前記第２の画像生成ステップは、前記
現実空間の画像と前記仮想物体の画像とを合成した２次
元画像を、前記現実空間に投影することを特徴とする請
求項２７記載の画像生成装置の制御方法。 - 【請求項２９】 前記変更ステップは、前記第２の画像
生成ステップによって表示された２次元画像上に配置さ
れた物体の有無及びその種類を検出して、前記仮想物体
画像生成ステップによる前記仮想物体の描画状態を変化
させることを特徴とする請求項２８記載の画像生成装置
の制御方法。 - 【請求項３０】 前記第２の画像表示ステップは、前記
２次元画像を前記現実空間と前記仮想物体の画像とを合
成した画像空間と重複しない現実空間に表示することを
特徴とする請求項２８記載の画像生成装置の制御方法。 - 【請求項３１】 前記変更ステップは、前記第２の画像
生成ステップによって表示された２次元画像に対して、
前記プレーヤと異なる第３者が行った操作を検出するこ
とを特徴とする請求項２７記載の画像生成装置の制御方
法。 - 【請求項３２】 前記第２の画像生成ステップは、前記
第１の画像生成ステップと、ネットワークを介してリン
クされていることを特徴とする請求項２７記載の画像生
成装置の制御方法。 - 【請求項３３】 請求項２６乃至請求項３２のいずれか
１項に記載の画像生成装置の制御方法をコンピュータに
実現させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001039092A JP2002247602A (ja) | 2001-02-15 | 2001-02-15 | 画像生成装置及びその制御方法並びにそのコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001039092A JP2002247602A (ja) | 2001-02-15 | 2001-02-15 | 画像生成装置及びその制御方法並びにそのコンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002247602A true JP2002247602A (ja) | 2002-08-30 |
Family
ID=18901956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001039092A Pending JP2002247602A (ja) | 2001-02-15 | 2001-02-15 | 画像生成装置及びその制御方法並びにそのコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002247602A (ja) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003103045A (ja) * | 2001-09-28 | 2003-04-08 | Canon Inc | 映像体験システムおよび情報処理方法 |
| JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
| JP2005143657A (ja) * | 2003-11-12 | 2005-06-09 | Olympus Corp | 情報呈示システム、情報呈示装置、情報呈示装置のための媒体、情報呈示方法、及び情報提示プログラム |
| JP2006504504A (ja) * | 2002-10-30 | 2006-02-09 | ナイキ・インコーポレーテッド | 対話型活動装置で使用する標的 |
| WO2006059611A1 (ja) * | 2004-12-03 | 2006-06-08 | Sega Corporation | ゲーム装置 |
| KR100697668B1 (ko) | 2004-11-15 | 2007-03-20 | 한국정보통신대학교 산학협력단 | 상호작용성을 이용한 미디어 엔터테인먼트 제공 장치 및방법 |
| JPWO2006134778A1 (ja) * | 2005-06-14 | 2009-01-08 | 国立大学法人 電気通信大学 | 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム |
| US7511731B2 (en) | 2003-07-31 | 2009-03-31 | Canon Kabushiki Kaisha | Image photographing apparatus and image processing method |
| US7714895B2 (en) | 2002-12-30 | 2010-05-11 | Abb Research Ltd. | Interactive and shared augmented reality system and method having local and remote access |
| JP2010257359A (ja) * | 2009-04-28 | 2010-11-11 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
| EP2360567A2 (en) | 2010-02-24 | 2011-08-24 | Sony Corporation | Image processing apparatus, image processing method, program, and image processing system |
| JP2012104023A (ja) * | 2010-11-12 | 2012-05-31 | Nintendo Co Ltd | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
| JP2012178068A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
| JP2012178067A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
| JP2013235373A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
| WO2014002347A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社ソニー・コンピュータエンタテインメント | 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 |
| CN103562968A (zh) * | 2011-03-29 | 2014-02-05 | 高通股份有限公司 | 用于相对于每个用户的视点来渲染共享数字界面的系统 |
| US8884987B2 (en) | 2010-09-22 | 2014-11-11 | Nintendo Co., Ltd. | Storage medium having stored thereon display control program, display control apparatus, display control system, and display control method for setting and controlling display of a virtual object using a real world image |
| JP2015092205A (ja) * | 2013-09-30 | 2015-05-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像投影システムおよびカード |
| JP2015204100A (ja) * | 2014-04-14 | 2015-11-16 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 現実感拡張方法、クライアントデバイス、及びサーバ |
| JP2016018367A (ja) * | 2014-07-08 | 2016-02-01 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US9710967B2 (en) | 2011-08-31 | 2017-07-18 | Nintendo Co., Ltd. | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique |
| JP2017192063A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| WO2017179308A1 (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| US10412353B2 (en) | 2016-04-18 | 2019-09-10 | Sony Interactive Entertainment Inc. | Processing apparatus and image projecting method |
| JP2019181074A (ja) * | 2018-04-17 | 2019-10-24 | 株式会社ＡｃｔＥｖｏｌｖｅ | Ｖｒゲーム表示装置、ｖｒゲーム表示方法及びプログラム |
| US10593119B2 (en) | 2018-06-25 | 2020-03-17 | Intel Corporation | Projected augmented reality to obscure physical objects |
| JPWO2021199205A1 (ja) * | 2020-03-30 | 2021-10-07 | ||
| US11770517B2 (en) | 2019-10-28 | 2023-09-26 | Sony Group Corporation | Information processing apparatus and information processing method |
| WO2024143026A1 (ja) * | 2022-12-26 | 2024-07-04 | 国立研究開発法人情報通信研究機構 | 仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システム |
-
2001
- 2001-02-15 JP JP2001039092A patent/JP2002247602A/ja active Pending
Cited By (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003103045A (ja) * | 2001-09-28 | 2003-04-08 | Canon Inc | 映像体験システムおよび情報処理方法 |
| JP2006504504A (ja) * | 2002-10-30 | 2006-02-09 | ナイキ・インコーポレーテッド | 対話型活動装置で使用する標的 |
| US7714895B2 (en) | 2002-12-30 | 2010-05-11 | Abb Research Ltd. | Interactive and shared augmented reality system and method having local and remote access |
| JP2004243516A (ja) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 |
| US7511731B2 (en) | 2003-07-31 | 2009-03-31 | Canon Kabushiki Kaisha | Image photographing apparatus and image processing method |
| JP2005143657A (ja) * | 2003-11-12 | 2005-06-09 | Olympus Corp | 情報呈示システム、情報呈示装置、情報呈示装置のための媒体、情報呈示方法、及び情報提示プログラム |
| KR100697668B1 (ko) | 2004-11-15 | 2007-03-20 | 한국정보통신대학교 산학협력단 | 상호작용성을 이용한 미디어 엔터테인먼트 제공 장치 및방법 |
| JP2011240147A (ja) * | 2004-12-03 | 2011-12-01 | Sega Corp | ゲーム装置 |
| WO2006059611A1 (ja) * | 2004-12-03 | 2006-06-08 | Sega Corporation | ゲーム装置 |
| JPWO2006059611A1 (ja) * | 2004-12-03 | 2008-06-05 | 株式会社セガ | ゲーム装置 |
| JPWO2006134778A1 (ja) * | 2005-06-14 | 2009-01-08 | 国立大学法人 電気通信大学 | 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム |
| JP2010257359A (ja) * | 2009-04-28 | 2010-11-11 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
| US9772683B2 (en) | 2009-04-28 | 2017-09-26 | Sony Corporation | Information processing apparatus to process observable virtual objects |
| EP2360567A2 (en) | 2010-02-24 | 2011-08-24 | Sony Corporation | Image processing apparatus, image processing method, program, and image processing system |
| US9746672B2 (en) | 2010-02-24 | 2017-08-29 | Sony Corporation | Image processing apparatus, image processing method, program, and image processing system for displaying a virtual object shared among multiple users |
| US8773466B2 (en) | 2010-02-24 | 2014-07-08 | Sony Corporation | Image processing apparatus, image processing method, program, and image processing system |
| US8884987B2 (en) | 2010-09-22 | 2014-11-11 | Nintendo Co., Ltd. | Storage medium having stored thereon display control program, display control apparatus, display control system, and display control method for setting and controlling display of a virtual object using a real world image |
| JP2012104023A (ja) * | 2010-11-12 | 2012-05-31 | Nintendo Co Ltd | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
| JP2012178068A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
| JP2012178067A (ja) * | 2011-02-25 | 2012-09-13 | Nintendo Co Ltd | 情報処理システム、情報処理方法、情報処理装置、及び情報処理プログラム |
| US8970623B2 (en) | 2011-02-25 | 2015-03-03 | Nintendo Co., Ltd. | Information processing system, information processing method, information processing device and tangible recoding medium recording information processing program |
| US9047698B2 (en) | 2011-03-29 | 2015-06-02 | Qualcomm Incorporated | System for the rendering of shared digital interfaces relative to each user's point of view |
| CN103562968B (zh) * | 2011-03-29 | 2017-06-23 | 高通股份有限公司 | 用于相对于每个用户的视点来渲染共享数字界面的系统 |
| CN103562968A (zh) * | 2011-03-29 | 2014-02-05 | 高通股份有限公司 | 用于相对于每个用户的视点来渲染共享数字界面的系统 |
| JP2014514653A (ja) * | 2011-03-29 | 2014-06-19 | クアルコム，インコーポレイテッド | 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム |
| US9142062B2 (en) | 2011-03-29 | 2015-09-22 | Qualcomm Incorporated | Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking |
| US9384594B2 (en) | 2011-03-29 | 2016-07-05 | Qualcomm Incorporated | Anchoring virtual images to real world surfaces in augmented reality systems |
| US9710967B2 (en) | 2011-08-31 | 2017-07-18 | Nintendo Co., Ltd. | Information processing program, information processing system, information processing apparatus, and information processing method, utilizing augmented reality technique |
| US10366537B2 (en) | 2012-05-08 | 2019-07-30 | Sony Corporation | Image processing apparatus, projection control method, and program |
| JP2013235373A (ja) * | 2012-05-08 | 2013-11-21 | Sony Corp | 画像処理装置、投影制御方法及びプログラム |
| JP2014011656A (ja) * | 2012-06-29 | 2014-01-20 | Sony Computer Entertainment Inc | 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 |
| US9741168B2 (en) | 2012-06-29 | 2017-08-22 | Sony Corporation | Video outputting apparatus, three-dimentional video observation device, video presentation system, and video outputting method |
| WO2014002347A1 (ja) * | 2012-06-29 | 2014-01-03 | 株式会社ソニー・コンピュータエンタテインメント | 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 |
| JP2015092205A (ja) * | 2013-09-30 | 2015-05-14 | 株式会社ソニー・コンピュータエンタテインメント | 画像投影システムおよびカード |
| JP2015204100A (ja) * | 2014-04-14 | 2015-11-16 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | 現実感拡張方法、クライアントデバイス、及びサーバ |
| US9922461B2 (en) | 2014-04-14 | 2018-03-20 | Baidu Online Network Technology (Beijing) Co., Ltd. | Reality augmenting method, client device and server |
| JP2016018367A (ja) * | 2014-07-08 | 2016-02-01 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2017179308A1 (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| US10994194B2 (en) | 2016-04-14 | 2021-05-04 | Sony Interactive Entertainment Inc. | Processing apparatus and projection image generation method |
| WO2017179309A1 (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| JP2017192063A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| JP2017189445A (ja) * | 2016-04-14 | 2017-10-19 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および投影画像生成方法 |
| US10412353B2 (en) | 2016-04-18 | 2019-09-10 | Sony Interactive Entertainment Inc. | Processing apparatus and image projecting method |
| JP2019181074A (ja) * | 2018-04-17 | 2019-10-24 | 株式会社ＡｃｔＥｖｏｌｖｅ | Ｖｒゲーム表示装置、ｖｒゲーム表示方法及びプログラム |
| US10593119B2 (en) | 2018-06-25 | 2020-03-17 | Intel Corporation | Projected augmented reality to obscure physical objects |
| US11770517B2 (en) | 2019-10-28 | 2023-09-26 | Sony Group Corporation | Information processing apparatus and information processing method |
| JPWO2021199205A1 (ja) * | 2020-03-30 | 2021-10-07 | ||
| WO2021199205A1 (ja) * | 2020-03-30 | 2021-10-07 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置、画像表示システム、および画像データ転送方法 |
| JP7362903B2 (ja) | 2020-03-30 | 2023-10-17 | 株式会社ソニー・インタラクティブエンタテインメント | 画像データ転送装置、画像表示システム、および画像データ転送方法 |
| US12387381B2 (en) | 2020-03-30 | 2025-08-12 | Sony Interactive Entertainment Inc. | Image data transfer apparatus, image display system, and image data transfer method |
| WO2024143026A1 (ja) * | 2022-12-26 | 2024-07-04 | 国立研究開発法人情報通信研究機構 | 仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002247602A (ja) | 画像生成装置及びその制御方法並びにそのコンピュータプログラム | |
| US8139087B2 (en) | Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program | |
| US7292240B2 (en) | Virtual reality presentation device and information processing method | |
| US9495800B2 (en) | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method | |
| US20200326831A1 (en) | Augmented reality experience creation via tapping virtual surfaces in augmented reality | |
| US9737814B2 (en) | Computer readable medium storing image processing program of synthesizing images | |
| JP5256269B2 (ja) | データ生成装置、データ生成装置の制御方法、及びプログラム | |
| CN105279795B (zh) | 基于3d标记的增强现实系统 | |
| CN111862348B (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
| US20210038975A1 (en) | Calibration to be used in an augmented reality method and system | |
| TW201246088A (en) | Theme-based augmentation of photorepresentative view | |
| CN107656615A (zh) | 大量同时远程数字呈现世界 | |
| JP5690135B2 (ja) | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 | |
| JP5675260B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び、画像処理方法 | |
| CN104243951A (zh) | 图像处理设备、图像处理系统以及图像处理方法 | |
| US10166477B2 (en) | Image processing device, image processing method, and image processing program | |
| US12141339B2 (en) | Image generation apparatus and information presentation method | |
| JP7016438B1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
| WO2018164287A1 (ko) | 증강현실 제공 방법, 장치 및 컴퓨터 프로그램 | |
| Marner et al. | Exploring interactivity and augmented reality in theater: A case study of Half Real | |
| CN119383447A (zh) | 图像处理装置、图像处理方法、系统、计算机程序产品、存储介质和计算机实现的方法 | |
| WO2022107688A1 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| JP7775357B2 (ja) | プログラム、方法および情報処理装置 | |
| JP2024110136A (ja) | 情報処理システムおよびプログラム | |
| US12544674B2 (en) | System and method for using room-scale virtual sets to design video games |