JP2000350860A - 複合現実感装置及び複合現実空間画像の生成方法 - Google Patents
複合現実感装置及び複合現実空間画像の生成方法Info
- Publication number
- JP2000350860A JP2000350860A JP16471799A JP16471799A JP2000350860A JP 2000350860 A JP2000350860 A JP 2000350860A JP 16471799 A JP16471799 A JP 16471799A JP 16471799 A JP16471799 A JP 16471799A JP 2000350860 A JP2000350860 A JP 2000350860A
- Authority
- JP
- Japan
- Prior art keywords
- image
- marker
- mixed reality
- player
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
っても、プレーヤがマーカの存在を意識することなく、
複合現実感を体感することが可能な複合現実感装置を提
供すること。 【解決手段】 位置指標として設けられるマーカ部分の
画像に、マーカを設ける前の現実物体画像などあらかじ
め用意した画像によって置き換えたり、仮想画像を重畳
することによって、プレーヤが観察する複合現実空間画
像からマーカを消去する。
Description
として用いる複合現実感装置において、複合現実空間を
観察するプレーヤがマーカの存在を意識することなく、
複合現実空間の観察に集中できる複合現実感装置及び複
合現実空間画像の生成方法に関する。
い結合を目的とした複合現実感(Mixed Reallity、M
R)に関する研究が盛んになっている。MRは従来、現
実空間と切り離された状況でのみ体験可能であったバー
チャルリアリティ(VR)の世界と現実空間との共存を
目的とし、VRを増強する技術として注目されている。
ものは、ヘッドマウントディスプレイ(HMD)であ
る。すなわち、現実空間と仮想空間をHMDに合成して
表示することにより、複合現実感を実現するものであ
る。また、HMDを用いたMRの方式としては、半透過
型(シースルー型)のヘッドマウントディスプレイ(H
MD)にCG等の画像を重畳する光学シースルー方式
と、HMDに装着したビデオカメラで撮影した画像デー
タにCG等の画像を合成した後、HMDに表示するビデ
オシースルー方式がある。
透過しているように医師に提示する医療補助の用途や、
工場において製品の組み立て手順を実物に重ねて表示す
る作業補助の用途など、今までのVRとは質的に全く異
なった新たな分野が期待されている。
は、現実空間と仮想空間の間の”ずれ”をいかにして取
り除くかという技術である。”ずれ”は位置ずれ、時間
ずれ、質的ずれに分類可能であり、この中でももっとも
基本的な要求といえる位置ずれの解消については、従来
から多くの取り組みが行われてきた。
置ずれを補正する方法として画像処理の手法が比較的容
易に適用できるため、画像処理を利用した位置合わせに
ついて従来提案がなされている。
処理によって検出しやすい色で印付けされたマーカを配
置し、プレーヤが装着したカメラで撮影した画像から検
出したマーカ位置によって 視点位置を計算する方法
や、画像中のマーカ位置によって位置姿勢センサの出力
信号を補正する方法などである。
を検出し、その結果によってプレーヤの位置姿勢を推定
する場合には、マーカは、画像中に適度な大きさかつほ
ぼ均一な間隔で現れる必要がある。また、視点位置の計
算には十分な個数のマーカが同時に画像中で検出される
必要があるため、画像中である程度狭い間隔で観測され
るようにマーカを配置する必要がある。
るためには,画像中である程度広い間隔で観測されるよ
うにマーカを配置する必要がある。
な条件を満たすようにマーカを配置することは困難では
ないが、複数のプレーヤが共通の複合現実空間を共有す
るようなアプリケーションにおいては、あるプレーヤか
らは等間隔で観測可能に配置されたマーカが、他のプレ
ーヤからは等間隔に観測されないことが起こりうる。
では、2人のプレーヤが現実物体であるテーブル上で仮
想のパックを打ち合うエアホッケーゲームにおいて、プ
レーヤごとに異なる色のマーカを設けることによって、
各プレーヤからマーカが好適な配置と大きさで観測でき
るように構成している。
るプレーヤが増えると、色分けによるマーカ配置が困難
になってくる。すなわち、画像処理によって色を検出す
るためには、マーカと背景物体の色および異なるユーザ
間のマーカの色はそれぞれ画像処理によって容易に検
出、分離が可能な色である必要があるが、使用する色が
増加するとこの条件をみたすことが困難になり、抽出誤
りやマーカ相互の識別誤りの発生原因となる。
認識原因について説明する図である。図10において、
横軸は赤、縦軸は緑を示し、説明を簡略化するために青
色の軸を省略して記載してある。図において、領域Aは
マーカtypeA(赤色マーカ)の色分布を定義する領
域、領域BはマーカtypeB(橙色マーカ)の色分布
を定義する領域をそれぞれ示している。このように、プ
レーヤが増加し、似た色をマーカとして使用した場合、
光源の位置や撮影の角度によって例えば赤色マーカを観
測したにもかかわらず,領域Bの(即ち橙色マーカの)
色として検出されてしまう可能性があり、誤検出のもと
となってしまう。
を複数配置することによって現実空間に非常に多くのマ
ーカが存在することになり、プレーヤの視界が煩雑にな
る上、複合現実空間を体感する上で臨場感などを損なう
原因となる。
実空間にマーカが配置されていた場合であっても、プレ
ーヤがマーカの存在を意識することなく、複合現実感を
体感することが可能な複合現実感装置及び複合現実空間
画像の生成方法を提供することにある。
は、現実空間と仮想空間とを合成した複合現実空間画像
を視認させることによって、プレーヤに複合現実感を体
感させる複合現実感装置であって、現実空間には、絶対
位置指標としてのマーカが配置され、プレーヤの略視点
位置から現実空間を撮影した画像データから、マーカを
検出するマーカ検出手段と、検出したマーカを含む周辺
領域(マーカ領域)について、マーカの画像を含まない
画像がプレーヤに視認されるようにプレーヤに視認させ
る複合現実空間画像を生成する複合現実空間画像生成手
段とを有することを特徴とする複合現実感装置に存す
る。
としてのマーカが配置された現実空間と、仮想空間とを
合成し、プレーヤに複合現実感を体感させる複合現実空
間画像を生成する複合現実空間画像の生成方法であっ
て、プレーヤの略視点位置から現実空間を撮影した画像
データから、マーカを検出するマーカ検出ステップと、
検出したマーカを含む周辺領域(マーカ領域)につい
て、マーカの画像を含まない画像がプレーヤに視認され
るようにプレーヤに視認させる複合現実空間画像を生成
する複合現実空間画像生成ステップとを有することを特
徴とする複合現実空間画像の生成方法に存する。
装置が実行可能なプログラムを格納した記憶媒体であっ
て、プログラムを実行したコンピュータ装置を、本発明
の複合現実感装置として機能させることを特徴とする記
憶媒体に存する。
現実空間画像の生成方法を、コンピュータ装置が実行可
能なプログラムとして格納した記憶媒体に存する。
ーカ配置方法の好ましい実施形態について説明する。本
実施形態は、3人のプレーヤーが同一仮想空間を共有し
て行う複合現実感ゲームであるが、本発明による複合現
実空間におけるマーカ配置方法は、その他任意の用途に
適用することができる。
用した複合現実感ゲームを実施するための複合現実感装
置の構成を示す図である。図1は、プレーヤが3人の場
合の構成を示している。複合現実感装置は、各プレーヤ
ごとに設けられたプレーヤ処理部100〜300と、各
プレーヤ処理部に接続された制御部400とから構成さ
れており、プレーヤの増減によって制御部400に接続
されるプレーヤ処理部も増減する。
同一の構成を有しており、プレーヤの体に装着されたセ
ンサや表示装置などの入出力部分(102、103、1
05、1011、1021、1022)と、センサから
収集した信号処理及びこの信号処理結果と制御部から供
給される他プレーヤの情報を元にして表示装置に表示す
べき画像を生成する回路部分(101、104、10
6、107)とから構成される。
ヤが装着する入出力機器の種類と装着場所を示す図2を
参照して、プレーヤ処理部の構成を説明する。図2に示
すように、本実施形態において各プレーヤは、頭部に現
実空間と仮想空間とを合成して表示するための表示装置
である頭部装着型画像表示装置(以下HMDと言う)1
05を装着する。本発明においてHMDはビデオシース
ルー型でも光学シースルー型でもよいが、以下の説明で
はビデオシースルー型HMDを用いた場合を例にして説
明する。
小型ビデオカメラ103が設けられている。このビデオ
カメラ103で撮影された、プレーヤの視点とほぼ同一
の視点による映像は、画像入力部104を介して後述す
る画像合成部106に供給され、仮想空間画像と重畳さ
れてプレーヤのHMD105に表示される。また、画像
入力部104は画像合成部106の他に、入力画像を頭
部位置検出部101へ供給する。
磁気センサからなる頭部位置姿勢センサ1011が装着
されている。頭部位置姿勢センサ1011は、例えばH
MD105を利用して装着することができる。頭部位置
姿勢センサ1011の出力信号は頭部位置姿勢計測部1
01に入力される。頭部位置姿勢計測部101は、画像
入力部104から供給される画像を用いて位置補正用の
マーカを検出し、頭部位置姿勢センサ1011より供給
される信号を補正することで、プレーヤの視点位置、姿
勢を推定する。
置102が装着されている。対話操作入力装置102
は、装着された部位の位置、姿勢を検出する位置姿勢セ
ンサ1021と、装着部位の動きに応じてオン・オフす
るスイッチ(トリガ)1022とを有し、プレーヤが所
定の動作を行うことによってコマンド入力を行うための
装置である。
(本実施形態では3人)が同一の仮想空間を共有し、仮
想空間上に出現する敵からの攻撃を避けながら、敵を撃
破し、時間あるいは敵の攻撃によるダメージが所定量に
達するまでに撃破した敵の数あるいは点数を競うゲーム
であって、対話操作入力装置102を用いて以下のよう
なコマンド入力が可能な場合を例にして説明する。
ンド。手の甲を上にした状態で、肘よりも手首を上方に
位置させることにより入力する。 ・コマンド2(射撃コマンド) 照準線が示す照準位置を射撃するコマンド。照準コマン
ドにより照準線が表示された状態で、一定の加速度以上
で腕(肘から手のひらにかけて)を前後に往復移動させ
ることにより入力する。 ・コマンド3(防御コマンド) 相手方の攻撃を防御するコマンド。手の甲を相手方に向
けた状態で、指先を上方に向けることにより入力する。 ・コマンド4(リセットコマンド) 射撃コマンドを入力した後、再度照準コマンドを入力す
る際に入力するコマンド。腕を下に垂らした状態にする
ことで入力する。
レーヤの動作としては通常、照準コマンド→射撃コマン
ド→リセットコマンド→照準コマンドというサイクルで
コマンドの入力を繰り返し、このサイクルの中で必要に
応じて防御コマンドを入力することになる。
たコマンドは、画像生成部107に供給される。
101から供給されるプレーヤの頭部位置及び姿勢情報
と対話操作入力装置102から供給されるコマンド情報
を制御部400へ転送する。また、プレーヤの頭部位置
・姿勢情報及びコマンド情報と、制御部400から受信
した他プレーヤの頭部位置・姿勢情報並びにコマンド情
報とモデル情報、敵キャラクタの位置、移動方向、状態
情報、空間内に配置された障害物の位置、形状などの情
報を用いて、対応するプレーヤのHMD105に表示す
べき仮想空間画像を作成し、画像合成部106へ出力す
る。
い位置に取り付けられたビデオカメラ103の画像(実
空間画像)と、画像生成部107が作成した仮想空間画
像とを合成し、プレーヤのHMD105に供給する。
理部100〜300が接続された複合現実空間管理部1
と、現実物体位置計測部2とから構成されている。複合
現実空間管理部1は、各プレーヤ処理部100〜300
から受信したプレーヤの頭部位置、姿勢に関する情報
と、対話操作入力装置102の位置、姿勢及びコマンド
情報とを配信するとともに、仮想空間上に表示する敵キ
ャラクタの生成、消滅、制御及び射撃コマンドによる射
撃の当たり判定等のゲーム処理を行う。敵キャラクタの
モデルや位置、移動方向及び、状態(撃破されたか等)
の情報も各プレーヤの情報とともに接続される全てのユ
ーザに配信される。
を調整するために射撃の障害となるような現実物体31
〜33を配置する様な場合には、この現実物体31〜3
3の形状及び位置に関する情報も複合現実空間管理部1
が管理する。
フィールド(複合現実空間)の斜視図、図3(b)はそ
の上面図をそれぞれ示す。図3においては、(現実空間
の)テーブル30の上に、3つの現実空間物体31〜3
3を障害物として配置した場合を示す。本実施形態にお
いては、上述のように対話操作入力装置102を用いた
照準コマンドの入力動作が、肘より手首を高くする動作
であるため、一般的な体型において腰の高さ程度の高さ
を有するテーブル30の上に現実空間物体を配置してい
るが、対話操作入力装置によるコマンド入力動作によっ
てはテーブルが不要であることは言うまでもない。
固定、33は可動とされている。可動の現実空間物体が
あると、ゲームの難易度を動的に変化させることができ
る。例えば、可動現実物体33がランダムなスピードで
左右に移動すれば、標的である敵キャラクタの射撃は静
的な現実物体31、32のみが配置されている場合より
も更に難しくなる。可動現実物体の移動制御は、複合現
実空間管理部1が行っても、他の制御回路によって行っ
てもよい。この場合、可動物体のモデルは複合現実空間
管理部1が管理し、またその位置は可動物体33に設け
た物体位置センサ331を現実物体位置計測部2によっ
て計測することになる。
御部400をサーバー、プレーヤ処理部100〜300
(の回路部分)をクライアントとするクライアント=サ
ーバーシステムによって実現することができる。個々の
プレーヤに関する処理をクライアントで分散して処理す
ることにより、プレーヤの増減に柔軟に対処可能であ
る。より具体的に述べれば、プレーヤ処理部はビデオ入
出力機能及び各種センサからの信号受信機能を有する汎
用コンピュータ装置により、制御部400も各プレーヤ
処理部と通信可能なインタフェースと、物体位置計測部
2からの計測信号受信機能を有する汎用コンピュータ装
置により実現できる。
実時間で行う必要があるため、この様な演算に特化した
アクセラレータ(いわゆる3Dアクセラレータ)等を有
する比較的高速なコンピュータ装置を用いることが好ま
しい。また、制御部400とプレーヤ処理部100〜3
00との通信も100BASE−Tなど容量の大きな回
線による接続が好ましい。通信回線の容量が小さいとプ
レーヤ数の増加に伴い処理速度の低下が大きくなる。
おけるマーカ配置の一例を示す斜視図である。本実施形
態のゲームにおいては、現実物体による障害物を配置す
るが、その障害物を利用してマーカを配置することによ
り、各プレーヤの移動範囲内において視野に入るマーカ
を制限しつつ、前述の条件を満たすことが可能となる。
けるプレーヤA,B,Cからみることのできるマーカを
抽出して示した図である。このように、各プレーヤから
見えるマーカはそれぞれほぼ均等の間隔かつ視点位置の
計算に必要な数観察されるが、他プレーヤ用のマーカは
視認されないため、色を変える必要がない。また、図4
に示すように複数のプレーヤ間で同じマーカを共有する
ことも可能となる。
い場合に各プレーヤから観察されるマーカを図5(a)
〜(c)に対応して示した図である。本発明によるマー
カ配置方法によって、各プレーヤが観察するマーカの数
が非常に少なくなり、かつ前述の条件を満たすようにな
ることが図5と図6との対比から明快に理解される。
る現実物体の形状(断面形状や高低等)を変化させた
り、色を追加するなどの方法で対処することができる。
色を増やす場合も従来の様に1プレーヤに1色を割り当
てるわけではないので、少ない色で多数のプレーヤに対
するマーカを配置することが可能となる。
も良いが、あらかじめ現実物体のモデルと各プレーヤの
視点位置移動可能範囲のモデルを生成しておき、対象と
なるプレーヤから見える範囲でかつ他のプレーヤの視線
が遮られる範囲を求めることによって決定することがで
きる。さらに、設けたいマーカの数と配置規則を用いて
位置を算出するようにしても良い。逆に、このような条
件を満たすような障害物形状及び/または配置を算出す
るように構成しても良い。
る物体がない場合であっても、アプリケーション上問題
にならない位置に現実物体を配置し、現実物体の存在を
仮想空間画像で隠すことにより、プレーヤはマーカ用の
現実物体を意識することなく複合現実空間を体験するこ
とが可能となる。仮想空間画像によるマーカ等の隠蔽に
ついては後で詳述する。
ついて説明する。図8は、図7に示す領域Aに含まれる
色を有するtypeAのマーカ(赤色マーカ)を検出す
る処理の流れを示すフローチャートである。マーカ検出
処理及び検出したマーカの情報の利用はいずれも頭部位
置姿勢計測部101が行う。
像を、画像入力部104を介して取得する(ステップS
701)。そして、2値化処理を行う(ステップS70
2)。具体的には、図7(青の軸は省略して記載)に示
される領域Aに含まれる画素を1、それ以外を0とす
る。すなわち、 Ii: 入力カラー画像Iを構成するi番目の画素 Ri,Gi,Bi: Iiを構成するR、G、B各色の値 ITHi: 2値画像のi番目の画素値 RminA、GminA,BminA: 領域Aを定義するR、G、Bそれぞれの最小値 RmaxA、GmaxA,BmaxA: 領域Aを定義するR、G、Bそれぞれの最大値 とすると、各Iiごとに、RminA<Ri<Rmax
AかつGminA<Gi<GmaxAかつBminA<
Bi<BmaxAを満たすIiに対応するITHiに
1、それ以外のIiに対応するITHiを0として、二
値画像ITHを形成する。
を行い、マーカ領域(クラスタ)を抽出する(ステップ
S703)。そして、各クラスタの重心(Xn,Yn)
と面積anを算出して(ステップS704)、頭部位置
姿勢計測部101内部の、視点位置姿勢推定モジュール
(図示せず)へ出力する(ステップS705)。視点位
置姿勢推定モジュールにおいては、あらかじめ登録され
ているマーカの絶対座標と、画像から検出されたマーカ
位置(クラスタ重心)とから、頭部位置姿勢センサ10
11の出力信号の補正を行い、プレーヤの視点位置及び
姿勢を算出する。
カを検出する場合の処理について説明したが、プレーヤ
数が増加し、複数色のマーカが存在する場合には、2値
化画像を生成する際の閾値を変えて各色ごとの検出処理
を繰り返し行う。
来頭部位置姿勢センサ1011の出力が正確であれば不
要なものである。さらに、マーカをプレーヤが認識する
ことにより臨場感を損なうおそれがあるなど、複合現実
空間においてマーカの存在は認識されないことが望まし
い。
マーカの存在を意識させないように見かけ上マーカを消
去することを特徴とする。マーカを見かけ上消去する方
法としては、種々の方法が考えられるが、マーカに仮想
画像を重畳してプレーヤに表示する方法が処理の負荷や
違和感が小さいことから好ましい。
ある。図9(a)は、本実施形態におけるマーカ配置方
法で配置した、プレーヤAに対するマーカを表したもの
で、図5(a)に対応する。このようにテーブル及び障
害物といった現実物体に配置されたマーカを消去するに
は、まずマーカを配置する前に配置の予定される場所を
ビデオやデジタルカメラ、スチルカメラ等で撮影し、画
像データをテクスチャとして取得しておく。そして、マ
ーカの配置後、プレーヤのHMDに表示する画像データ
のうち、マーカ部分に相当する画像データをあらかじめ
取得しておいたテクスチャ画像で置き換えるか、重畳し
て画像データを表示する(図9(b))。
ることにより、プレーヤはマーカの存在を認識すること
なく、ゲームに集中することが可能となる。テクスチャ
として用意する画像データは、実際に使用される条件
(光源位置や明るさ)の元で取得することが、視覚上の
違和感を低減する上で好ましいが、同じ材質の現実物体
に配置されるマーカを消去するテクスチャ画像を1つの
共通テクスチャとしてもよい。
ンにおいて、マーカ配置のためのみに現実物体を配置し
たような場合や、個々のマーカに対して画像データを置
き換え/重畳するのが困難な場合などは、図9(c)の
ように、現実物体をすべて覆うような画像91を用いる
こともできる。この場合、どのような画像データを用い
るかは、アプリケーションによって適宜定めればよい。
たとえば、ゲームアプリケーションにおいては、逆にこ
の画像91を利用して、仮想空間におけるステージの様
なものを形成しても良いし、現実空間との差を感じさせ
たくないアプリケーションであれば現実空間で撮影した
物体のデータにすればよい。もちろん、2次元画像デー
タでなく、3次元物体のデータとすることも可能であ
る。
れる情報は頭部位置姿勢センサ1011の誤差補正のた
めに用いていたが、頭部位置姿勢センサ1011を用い
ることなく、マーカから得られる情報のみからプレーヤ
の視点位置姿勢を求める事も可能であり、そのような用
途にも本発明を適用することが可能である。また、上述
の実施形態はビデオシースルー方式の複合現実感装置で
あったが、本発明は光学シースルー方式の複合現実感装
置にも同様に適用可能であることは言うまでもない。
1022を使用せず、対話操作入力装置の動きを検出し
てコマンドを入力したが、プレーヤがトリガ1022を
用いて各種コマンドを入力するようにしても、動作検出
とトリガのオン・オフとを組み合わせても良い。さら
に、対話操作入力装置に、プレーヤの動作に応じてオン
・オフするようなスイッチを組み込んでトリガとして用
いることもできる。
を実現するソフトウェアのプログラムコードを記録した
記憶媒体(または記録媒体)を、システムあるいは装置
に供給し、そのシステムあるいは装置のコンピュータ
(またはCPUやMPU)が記憶媒体に格納されたプログラム
コードを読み出し実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が前述した実施形態の機能
を実現することになり、そのプログラムコードを記憶し
た記憶媒体は本発明を構成することになる。また、コン
ピュータが読み出したプログラムコードを実行すること
により、前述した実施形態の機能が実現されるだけでな
く、そのプログラムコードの指示に基づき、コンピュー
タ上で稼働しているオペレーティングシステム(OS)など
が実際の処理の一部または全部を行い、その処理によっ
て前述した実施形態の機能が実現される場合も含まれる
ことは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
複合現実感装置において位置指針として用いられるマー
カを見かけ上消去することによって、プレーヤはマーカ
の存在を意識することがなく、臨場感を損なわずに複合
現実感を体感することができる。
現実感装置の構成例を示すブロック図である。
明する図である。
である。
る。
ーカを示す図である。
した場合に各プレーヤから観察されるマーカを示す図で
ある。
域を示す図である。
カを検出する処理の手順を示すフローチャートである。
説明する図である。
Claims (16)
- 【請求項1】 現実空間と仮想空間とを合成した複合現
実空間画像を視認させることによって、プレーヤに複合
現実感を体感させる複合現実感装置であって、 前記現実空間には、絶対位置指標としてのマーカが配置
され、 前記プレーヤの略視点位置から前記現実空間を撮影した
画像データから、前記マーカを検出するマーカ検出手段
と、 前記検出したマーカを含む周辺領域(マーカ領域)につ
いて、前記マーカの画像を含まない画像が前記プレーヤ
に視認されるように前記プレーヤに視認させる前記複合
現実空間画像を生成する複合現実空間画像生成手段とを
有することを特徴とする複合現実感装置。 - 【請求項2】 前記複合現実空間画像生成手段が、前記
マーカ領域の画像を所定の画像で置換することを特徴と
する請求項1記載の複合現実感装置。 - 【請求項3】 前記複合現実空間画像生成手段が、前記
検出されたマーカすべてを含む領域の画像を、所定の画
像で置換することを特徴とする請求項2記載の複合現実
感装置。 - 【請求項4】 前記所定の画像が、前記マーカを配置す
る前の前記マーカ領域の画像であることを特徴とする請
求項2又は請求項3に記載の複合現実感装置。 - 【請求項5】 前記複合現実空間画像生成手段が、前記
マーカ領域の現実空間画像に所定の仮想空間画像を重畳
することを特徴とする請求項1記載の複合現実感装置。 - 【請求項6】 前記複合現実空間画像生成手段が、検出
されたマーカすべてを含む領域の画像に所定の仮想空間
画像を重畳することを特徴とする請求項5記載の複合現
実感装置。 - 【請求項7】 前記所定の画像が、前記マーカを配置す
る前の前記マーカ領域の画像であることを特徴とする請
求項5又は請求項6に記載の複合現実感装置。 - 【請求項8】 絶対位置指標としてのマーカが配置され
た現実空間と、仮想空間とを合成し、プレーヤに複合現
実感を体感させる複合現実空間画像を生成する複合現実
空間画像の生成方法であって、 前記プレーヤの略視点位置から前記現実空間を撮影した
画像データから、前記マーカを検出するマーカ検出ステ
ップと、 前記検出したマーカを含む周辺領域(マーカ領域)につ
いて、前記マーカの画像を含まない画像が前記プレーヤ
に視認されるように前記プレーヤに視認させる前記複合
現実空間画像を生成する複合現実空間画像生成ステップ
とを有することを特徴とする複合現実空間画像の生成方
法。 - 【請求項9】 前記複合現実空間画像生成ステップが、
前記マーカ領域の画像を所定の画像で置換することを特
徴とする請求項8記載の複合現実空間画像の生成方法。 - 【請求項10】 前記複合現実空間画像生成ステップ
が、前記検出されたマーカすべてを含む領域の画像を、
所定の画像で置換することを特徴とする請求項8記載の
複合現実空間画像の生成方法。 - 【請求項11】 前記所定の画像が、前記マーカを配置
する前の前記マーカ領域の画像であることを特徴とする
請求項9又は請求項10に記載の複合現実空間画像の生
成方法。 - 【請求項12】 前記複合現実空間画像生成ステップ
が、前記マーカ領域の現実空間画像に所定の仮想空間画
像を重畳することを特徴とする請求項7記載の複合現実
空間画像の生成方法。 - 【請求項13】 前記複合現実空間画像生成ステップ
が、検出されたマーカすべてを含む領域の画像に所定の
仮想空間画像を重畳することを特徴とする請求項12記
載の複合現実空間画像の生成方法。 - 【請求項14】 前記所定の画像が、前記マーカを配置
する前の前記マーカ領域の画像であることを特徴とする
請求項12又は請求項13に記載の複合現実空間画像の
生成方法。 - 【請求項15】 コンピュータ装置が実行可能なプログ
ラムを格納した記憶媒体であって、前記プログラムを実
行したコンピュータ装置を、請求項1乃至請求項6のい
ずれかに記載の複合現実感装置として機能させることを
特徴とする記憶媒体。 - 【請求項16】 請求項8乃至請求項14のいずれかに
記載の複合現実空間画像の生成方法を、コンピュータ装
置が実行可能なプログラムとして格納した記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16471799A JP3530772B2 (ja) | 1999-06-11 | 1999-06-11 | 複合現実感装置及び複合現実空間画像の生成方法 |
US09/506,382 US7084887B1 (en) | 1999-06-11 | 2000-02-18 | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
US11/087,500 US7408561B2 (en) | 1999-06-11 | 2005-03-24 | Marker layout method, mixed reality apparatus, and mixed reality space image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16471799A JP3530772B2 (ja) | 1999-06-11 | 1999-06-11 | 複合現実感装置及び複合現実空間画像の生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000350860A true JP2000350860A (ja) | 2000-12-19 |
JP3530772B2 JP3530772B2 (ja) | 2004-05-24 |
Family
ID=15798562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16471799A Expired - Fee Related JP3530772B2 (ja) | 1999-06-11 | 1999-06-11 | 複合現実感装置及び複合現実空間画像の生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3530772B2 (ja) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002071330A1 (fr) * | 2001-03-06 | 2002-09-12 | Canon Kabushiki Kaisha | Dispositif de traitement d'images, procede afferent, codes de programmes et support de stockage |
JP2003305276A (ja) * | 2002-02-18 | 2003-10-28 | Space Tag Inc | ゲームシステム、ゲーム装置、および記録媒体 |
WO2004088595A1 (ja) * | 2003-03-28 | 2004-10-14 | Olympus Corporation | データオーサリング処理装置 |
JP2005157611A (ja) * | 2003-11-25 | 2005-06-16 | Canon Inc | 画像処理装置および方法 |
JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
EP1744280A2 (en) * | 2005-07-11 | 2007-01-17 | Canon Kabushiki Kaisha | Information processing apparatus and method |
CN100356407C (zh) * | 2003-03-28 | 2007-12-19 | 奥林巴斯株式会社 | 数据创建设备 |
JP2008510254A (ja) * | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | ポータブル拡張現実感デバイスおよびその方法 |
JP2008227813A (ja) * | 2007-03-12 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
JP2008276299A (ja) * | 2007-04-25 | 2008-11-13 | Nippon Hoso Kyokai <Nhk> | 映像合成装置および映像合成プログラム |
JP2009505191A (ja) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | 少なくとも1つの実在オブジェクトをモデル化した少なくとも1つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
JP2009237878A (ja) * | 2008-03-27 | 2009-10-15 | Dainippon Printing Co Ltd | 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム |
JP2010033397A (ja) * | 2008-07-30 | 2010-02-12 | Dainippon Printing Co Ltd | 画像合成装置および方法 |
JP2010066599A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010140093A (ja) * | 2008-12-09 | 2010-06-24 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2011161111A (ja) * | 2010-02-13 | 2011-08-25 | Brother Industries Ltd | ストライクゾーン提示システム |
WO2012088285A3 (en) * | 2010-12-22 | 2012-10-26 | Infinite Z, Inc. | Three-dimensional tracking of a user control device in a volume |
JP2012252465A (ja) * | 2011-06-01 | 2012-12-20 | Kddi Corp | 情報端末装置 |
JP2013034237A (ja) * | 2012-10-17 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
JP2015167349A (ja) * | 2014-02-14 | 2015-09-24 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
WO2017077918A1 (ja) * | 2015-11-02 | 2017-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
JP2017129992A (ja) * | 2016-01-19 | 2017-07-27 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US9785839B2 (en) | 2012-11-02 | 2017-10-10 | Sony Corporation | Technique for combining an image and marker without incongruity |
JP2018036869A (ja) * | 2016-08-31 | 2018-03-08 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012011180A1 (ja) | 2010-07-22 | 2012-01-26 | パイオニア株式会社 | 拡張現実感装置及びその制御方法 |
-
1999
- 1999-06-11 JP JP16471799A patent/JP3530772B2/ja not_active Expired - Fee Related
Cited By (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002071330A1 (fr) * | 2001-03-06 | 2002-09-12 | Canon Kabushiki Kaisha | Dispositif de traitement d'images, procede afferent, codes de programmes et support de stockage |
US7587295B2 (en) | 2001-03-06 | 2009-09-08 | Canon Kabushiki Kaisha | Image processing device and method therefor and program codes, storing medium |
US7193636B2 (en) | 2001-03-06 | 2007-03-20 | Canon Kabushiki Kaisha | Image processing device and method therefor and program codes, storing medium |
JP2003305276A (ja) * | 2002-02-18 | 2003-10-28 | Space Tag Inc | ゲームシステム、ゲーム装置、および記録媒体 |
WO2004088595A1 (ja) * | 2003-03-28 | 2004-10-14 | Olympus Corporation | データオーサリング処理装置 |
CN100356407C (zh) * | 2003-03-28 | 2007-12-19 | 奥林巴斯株式会社 | 数据创建设备 |
US7031495B2 (en) | 2003-03-28 | 2006-04-18 | Olympus Corporation | Data authoring device |
JP2005157611A (ja) * | 2003-11-25 | 2005-06-16 | Canon Inc | 画像処理装置および方法 |
JP2005293141A (ja) * | 2004-03-31 | 2005-10-20 | Canon Inc | マーカ検出方法及び装置並びに位置姿勢推定方法 |
JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
JP2008510254A (ja) * | 2004-08-19 | 2008-04-03 | 株式会社ソニー・コンピュータエンタテインメント | ポータブル拡張現実感デバイスおよびその方法 |
JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
JP2006127468A (ja) * | 2004-09-28 | 2006-05-18 | Canon Inc | 情報処理方法および装置 |
JP2006313549A (ja) * | 2005-05-03 | 2006-11-16 | Seac02 Srl | 実マーカオブジェクトを識別する拡張現実システム |
JP4574473B2 (ja) * | 2005-07-11 | 2010-11-04 | キヤノン株式会社 | 情報処理装置および方法 |
US9508147B2 (en) | 2005-07-11 | 2016-11-29 | Canon Kabushiki Kaisha | Information processing apparatus and method |
US10140723B2 (en) | 2005-07-11 | 2018-11-27 | Canon Kabushiki Kaisha | Information processing apparatus and method |
EP2562719A3 (en) * | 2005-07-11 | 2013-09-25 | Canon Kabushiki Kaisha | Information processing apparatus and method |
US8330800B2 (en) | 2005-07-11 | 2012-12-11 | Canon Kabushiki Kaisha | Information processing apparatus and method |
EP1744280A3 (en) * | 2005-07-11 | 2012-08-15 | Canon Kabushiki Kaisha | Information processing apparatus and method |
EP1744280A2 (en) * | 2005-07-11 | 2007-01-17 | Canon Kabushiki Kaisha | Information processing apparatus and method |
JP2007018426A (ja) * | 2005-07-11 | 2007-01-25 | Canon Inc | 情報処理装置および方法 |
JP2009505191A (ja) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | 少なくとも1つの実在オブジェクトをモデル化した少なくとも1つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
JP4917603B2 (ja) * | 2005-08-09 | 2012-04-18 | トタル イメルシオン | 少なくとも1つの実在オブジェクトをモデル化した少なくとも1つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
JP2008227813A (ja) * | 2007-03-12 | 2008-09-25 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
JP2008276299A (ja) * | 2007-04-25 | 2008-11-13 | Nippon Hoso Kyokai <Nhk> | 映像合成装置および映像合成プログラム |
JP2009237878A (ja) * | 2008-03-27 | 2009-10-15 | Dainippon Printing Co Ltd | 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム |
JP2010033397A (ja) * | 2008-07-30 | 2010-02-12 | Dainippon Printing Co Ltd | 画像合成装置および方法 |
JP2010066599A (ja) * | 2008-09-11 | 2010-03-25 | Brother Ind Ltd | ヘッドマウントディスプレイ |
JP2010140093A (ja) * | 2008-12-09 | 2010-06-24 | Canon Inc | 画像処理装置、画像処理方法及びプログラム |
JP2011161111A (ja) * | 2010-02-13 | 2011-08-25 | Brother Industries Ltd | ストライクゾーン提示システム |
WO2012088285A3 (en) * | 2010-12-22 | 2012-10-26 | Infinite Z, Inc. | Three-dimensional tracking of a user control device in a volume |
US8970625B2 (en) | 2010-12-22 | 2015-03-03 | Zspace, Inc. | Three-dimensional tracking of a user control device in a volume |
US9201568B2 (en) | 2010-12-22 | 2015-12-01 | Zspace, Inc. | Three-dimensional tracking of a user control device in a volume |
JP2012252465A (ja) * | 2011-06-01 | 2012-12-20 | Kddi Corp | 情報端末装置 |
JP2013034237A (ja) * | 2012-10-17 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、画像処理システム |
US9785839B2 (en) | 2012-11-02 | 2017-10-10 | Sony Corporation | Technique for combining an image and marker without incongruity |
JP2015048171A (ja) * | 2013-08-30 | 2015-03-16 | 学校法人立命館 | ピッキングシステム |
JP2015167349A (ja) * | 2014-02-14 | 2015-09-24 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、その制御方法及びプログラム |
WO2017077918A1 (ja) * | 2015-11-02 | 2017-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
JP2017090979A (ja) * | 2015-11-02 | 2017-05-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
US10416758B2 (en) | 2015-11-02 | 2019-09-17 | Sony Interactive Entertainment Inc. | Information processing apparatus, information processing system, and information processing method |
JP2017129992A (ja) * | 2016-01-19 | 2017-07-27 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
JP2018036869A (ja) * | 2016-08-31 | 2018-03-08 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
WO2018043732A1 (ja) * | 2016-08-31 | 2018-03-08 | カシオ計算機株式会社 | オブジェクト表示システム、ユーザ端末装置、オブジェクト表示方法及びプログラム |
US10831436B2 (en) | 2016-08-31 | 2020-11-10 | Casio Computer Co., Ltd. | Object display system, user communication device, and object display method and program |
Also Published As
Publication number | Publication date |
---|---|
JP3530772B2 (ja) | 2004-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3530772B2 (ja) | 複合現実感装置及び複合現実空間画像の生成方法 | |
US7084887B1 (en) | Marker layout method, mixed reality apparatus, and mixed reality space image generation method | |
JP2000350859A (ja) | マーカ配置方法及び複合現実感装置 | |
US6972734B1 (en) | Mixed reality apparatus and mixed reality presentation method | |
US20230302359A1 (en) | Reconfiguring reality using a reality overlay device | |
JP3413127B2 (ja) | 複合現実感装置及び複合現実感提示方法 | |
US8956227B2 (en) | Storage medium recording image processing program, image processing device, image processing system and image processing method | |
CN104436634B (zh) | 一种采用沉浸式虚拟现实技术的真人射击游戏系统及实现方法 | |
US8696458B2 (en) | Motion tracking system and method using camera and non-camera sensors | |
US20170315364A1 (en) | Virtual object display device, method, program, and system | |
KR101251701B1 (ko) | 게임용 스테레오 비디오에 대하여 장치가 프로세스를실행할 수 있게 하는 정보를 저장하는 하나 이상의 컴퓨터판독가능 매체 | |
US9495800B2 (en) | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method | |
EP1060772B1 (en) | Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof | |
GB2376397A (en) | Virtual or augmented reality | |
US20120094773A1 (en) | Storage medium having stored thereon game program, image processing apparatus, image processing system, and image processing method | |
US20020095265A1 (en) | Information processing apparatus, mixed reality presentation apparatus, method thereof, and storage medium | |
CN102884492A (zh) | 增强现实的指向装置 | |
US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
CN109568944A (zh) | 游戏处理方法、游戏处理装置、游戏处理系统及记录介质 | |
CN111862348A (zh) | 视频显示方法、视频生成方法、装置、设备及存储介质 | |
US20220362667A1 (en) | Image processing system, non-transitory computer-readable storage medium having stored therein image processing program, and image processing method | |
JP3413128B2 (ja) | 複合現実感提示方法 | |
KR20110122952A (ko) | 골프 시뮬레이션 hmd | |
US11107276B2 (en) | Scaling voxels in a virtual space | |
EP3943167A1 (en) | Device provided with plurality of markers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031215 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040301 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120305 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |