JP2005063004A - Mixed reality sense system - Google Patents
Mixed reality sense system Download PDFInfo
- Publication number
- JP2005063004A JP2005063004A JP2003289917A JP2003289917A JP2005063004A JP 2005063004 A JP2005063004 A JP 2005063004A JP 2003289917 A JP2003289917 A JP 2003289917A JP 2003289917 A JP2003289917 A JP 2003289917A JP 2005063004 A JP2005063004 A JP 2005063004A
- Authority
- JP
- Japan
- Prior art keywords
- real
- mockup
- image
- camera
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するシステムにおいて、現実空間に位置する物体にCG(コンピュータ・グラフィックス)を重畳表示させる方法を実現する複合現実感システムに関する。 The present invention relates to a mixed reality system that realizes a method of superimposing and displaying CG (computer graphics) on an object located in a real space in a system that generates a mixed reality space image by superimposing a real space image and a virtual space image. About.
従来、現実空間の物体に複合現実空間でCGを重畳する複合現実感システムが存在する。このシステムでは物体の上に上書きでCGを重畳表示している。(例えば特許文献1)
しかしながら、現実の物体は材質によっては現実空間を反映する。現実空間を反映する方法として環境マッピングという方法があるが、通常の環境マッピングではあらかじめ得られた画像情報を元に現実空間の映りこみを表示するため、リアルタイムな現実空間の反映には対応出来ていない。 However, the real object reflects the real space depending on the material. Although there is a method called environment mapping as a method of reflecting the real space, the normal environment mapping displays the reflection of the real space based on the image information obtained in advance, so it can cope with the reflection of the real space in real time. Absent.
そこで、リアルタイムに現実空間を反映した環境マッピングが求められる。 Therefore, environmental mapping that reflects real space in real time is required.
本発明は、上述の問題点に着目して成されたものであって、現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像をキャプチャする手段と、前記キャプチャされた現実空間の画像をバーチャルモデルに合成する手段と、前記バーチャルモデルを前記現実空間の物体に重畳することが出来る複合現実感システム、もしくは、現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像部分のマスクを作成する手段と、バーチャルモデルを前記マスク上から物体に重畳することが出来る複合現実感システムの提供を目的としている。 The present invention has been made paying attention to the above-described problems, and captures an object having a part made of a material that can reflect the real space and an image of the reflected real space. Means, a means for synthesizing the captured real space image into a virtual model, and a mixed reality system that can superimpose the virtual model on an object in the real space, or can reflect the real space To provide a mixed reality system capable of superimposing an object having a part made of material, a means for creating a mask of a reflected real space image part, and a virtual model on the object from the mask It is said.
上記目的を達成するために本発明は以下の構成を有することを特徴とする。 In order to achieve the above object, the present invention has the following structure.
(1)現実のモックアップに仮想のモックアップを重ね合わせることを特徴とする複合現実感システムであって、
前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、
映りこんだ現実空間の画像をキャプチャする手段を備え、
前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、
前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。
(1) A mixed reality system characterized by superimposing a virtual mockup on a real mockup,
The real mock-up is mirror-finished, and includes means for reflecting the real space by reflection of light,
It has a means to capture the image of the reflected real space,
Means for combining the captured image with the virtual mockup;
A mixed reality system comprising means for superimposing the synthesized image on the real mockup.
以上説明したように本発明の鏡面モックアップによれば実モックアップに映りこんだ実世界の画像をCGのモックアップ上に反映することが出来、それによってよりリアルなCGのモックアップを作成することが出来る。 As described above, according to the mirror surface mockup of the present invention, the real world image reflected in the real mockup can be reflected on the CG mockup, thereby creating a more realistic CG mockup. I can do it.
以下、本発明の情報処理装置及びその方法を、MR技術を利用したデジタルモックアップシステムに適用する場合に応用した例で説明する。 Hereinafter, an example in which the information processing apparatus and method of the present invention are applied to a digital mock-up system using MR technology will be described.
デジタルモックアップシステムはある工業製品の簡易なモックアップの上にMR技術を用いてその製品の3DCGを重畳したものである。システムの体験者はモックアップを手にとってさわり動かすことが出来る。モックアップには製品の3DCGが重畳されているため、モックアップの位置姿勢の動きに応じて3DCGも同時に位置姿勢を変える。そのため体験者はモックアップを持っていながら重畳された3DCGが表す製品を持っているかのような感覚を覚える。 The digital mock-up system is obtained by superimposing 3DCG of a product on a simple mock-up of an industrial product using MR technology. Experienced system users can touch and move mockups. Since the 3DCG of the product is superimposed on the mockup, the 3DCG also changes the position and orientation at the same time according to the movement of the mockup position and orientation. Therefore, the experiencer feels as if he / she has a product represented by superimposed 3DCG while having a mockup.
このデジタルモックアップシステムの完成度を上げるためには、モックアップに重畳する3DCGに実空間上のリアルタイムな映りこみを表示する必要がある。以下その実施例について添付図面を用いながら説明する。 In order to raise the completeness of this digital mockup system, it is necessary to display real-time reflections in real space on the 3DCG superimposed on the mockup. The embodiment will be described below with reference to the accompanying drawings.
図1は本実施例のデジタルモックアップシステムのシステム構成を表した図である。各構成部品の説明を簡単に述べていく。PC101はシステム全体をコントロールするユニットであり、ビデオキャプチャ装置A102、ビデオキャプチャ装置B103、グラフィック装置104、位置把握装置105、画像切抜き装置106、CGのカメラ作成装置107、映りこみ合成装置108および複合現実空間合成装置109を備えている。
FIG. 1 is a diagram illustrating a system configuration of a digital mockup system according to the present embodiment. A brief description of each component will be given. The PC 101 is a unit that controls the entire system. The video capture device A102, the video capture device B103, the
ビデオシースルー型HMD32は左目カメラ33と右目カメラ34を備えている。左目カメラ33は体験者31の左目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置A102でキャプチャされる。右目カメラ34は体験者31の右目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置B103でキャプチャされる。
The video see-through HMD 32 includes a
モックアップ11はカメラA1の実物大模型で体験者31が自由に手にとることが出来る。位置姿勢センサ12はモックアップ11の位置姿勢を計測するためのセンサである。位置姿勢センサ12によって計測された位置姿勢情報は位置把握装置105に送信され、位置把握装置105はその位置姿勢情報を受信する。位置把握装置105は位置姿勢情報をCGのカメラ作成装置107に送信し、CGのカメラ作成装置107は受信する。
The mockup 11 is a full-scale model of the camera A1 and can be picked up freely by the experience person 31. The position and
CGのカメラ作成装置107は位置姿勢情報からモックアップ11の位置を推定し、左右の目それぞれの視点から見た、モックアップ11に重畳されるCGのカメラ21を作成する。CGのカメラ作成装置107は作成した左右それぞれの視点から見たCGのカメラ21を映りこみ合成装置108に送信し、映りこみ合成装置108は受信する。
The CG
ビデオキャプチャ装置A102とビデオキャプチャ装置B103でキャプチャされた左右の画像はそれぞれ画像切抜き装置106と複合現実空間合成装置109に送信され、画像切抜き装置106と複合現実空間合成装置109では左右それぞれのキャプチャ画像を受信する。画像切抜き装置106では左右それぞれのキャプチャ画像から現実世界の映りこみ画像を切り抜く。画像切抜き装置106は切り抜いた左右それぞれの現実世界の映りこみ画像を映りこみ合成装置108に送信し、映りこみ合成装置108は受信する。
The left and right images captured by the video capture device A102 and the video capture device B103 are transmitted to the
映りこみ合成装置108ではCGのカメラ21と前記切り抜いた現実世界の映りこみ画像を合成した画像を作成する。映りこみ合成装置108は前記合成した画像を複合現実空間合成装置109に送信し、複合現実空間合成装置109は受信する。
The
複合現実空間合成装置109は左目カメラ33から撮影した画像と左目視点から見た映りこみが合成されたCGのカメラを合成した画像を作成し、これを左目用の複合現実空間画像とする。又、複合現実空間合成装置109は右目カメラ34から撮影した画像と右目視点から見た映り込みが合成されたCGのカメラを合成した画像を作成し、これを右目用の複合現実空間画像とする。複合現実空間合成装置109は左目用の複合現実空間画像と右目用の複合現実空間画像をグラフィック装置104に送信し、グラフィック装置104は受信する。
The mixed reality space synthesizing
グラフィック装置104はビデオシースルー型HMD(ヘッドマウンテッドディスプレイ)32に左目用の複合現実空間画像と右目用の複合現実空間画像を送信し、HMD32はそれぞれの画像を受信して表示する。
The
以下イラストを用いて補足説明をして行く。 The following is a supplementary explanation using illustrations.
図2は本実施例のデジタルモックアップシステムで使用する位置姿勢センサ12付きモックアップ11を表した図である。このモックアップ11はカメラA1の実物大模型であるが、色は単色で外形だけを模した物である。体験者31が実物と同じ感覚が得られるように重量もほぼ同じにしてある。
FIG. 2 is a diagram showing a mockup 11 with a position and
又、モックアップ11には位置姿勢センサ12が内蔵されている。位置姿勢センサ12はモックアップ11内の所定の位置に固定されていて、モックアップ11と位置姿勢センサ12の位置関係は一定になっている。そのため位置姿勢センサ12の位置姿勢情報からモックアップ11の位置姿勢を算出することが出来る。
The mockup 11 includes a position /
図3はモックアップ11の上にMR技術を用いてCGのカメラ21を重畳した図である。CGのカメラ21はカメラA1の3次元CGモデルであり、実物大である。当然モックアップ11と同形で同じ大きさであるので、モックアップ11の位置姿勢に一致させてCGのカメラ21を重畳すれば両者はぴたりと重なり合うことになる。 FIG. 3 is a diagram in which a CG camera 21 is superimposed on the mockup 11 using MR technology. The CG camera 21 is a three-dimensional CG model of the camera A1 and is full-sized. Naturally, since it is the same shape and the same size as the mockup 11, if the CG camera 21 is superimposed in accordance with the position and orientation of the mockup 11, they will overlap each other.
図4は体験者31がシステムの体験を行っている時の現実空間の状況を表した図である。体験者11はビデオシースルー型HMD32を被り、手にモックアップ11を持っている。体験者31の持つモックアップ11は鏡面加工されているために現実世界の物体が映りこむ。この図では現実世界の柱41が映りこんでいる。その状態はモックアップ11上では現実世界の柱の映りこみ42のように映っている。 FIG. 4 is a diagram showing the situation of the real space when the experience person 31 is experiencing the system. The experienced person 11 wears a video see-through HMD 32 and has a mockup 11 in his hand. Since the mockup 11 of the experience person 31 is mirror-finished, an object in the real world is reflected. In this figure, the real world pillar 41 is reflected. The state is reflected on the mockup 11 as a reflection 42 of a real world pillar.
図5は映りこみを考慮にいれずにそのままモックアップ11の上にCGのカメラ21を重畳した場合を表した図である。このように単純にモックアップ11の上にCGのカメラ21を重畳すると現実世界の柱の映りこみ42はCGのカメラ21に隠れてしまって見えなくなってしまう。 FIG. 5 is a diagram showing a case where the CG camera 21 is superimposed on the mockup 11 as it is without taking the reflection into consideration. When the CG camera 21 is simply superimposed on the mockup 11 in this way, the reflection 42 of the real world pillar is hidden behind the CG camera 21 and cannot be seen.
そこで図6が表すように現実世界の柱の映りこみ42とCGのカメラ21を合成して、現実世界の柱の映りこみが合成されたCGのカメラ61を作成する。 Therefore, as shown in FIG. 6, the reflection of the real world column 42 and the CG camera 21 are synthesized to create a CG camera 61 in which the reflection of the real world column is synthesized.
次に図7が表すように現実世界の柱の映りこみが合成されたCGのカメラ61をモックアップ11に重畳すれば体験者31には現実世界の柱の映りこみが合成されたCGのカメラ61が見えて、正に本物のカメラを持っているような感覚を得ることが出来る。 Next, as shown in FIG. 7, if a CG camera 61 in which the reflection of the real world column is synthesized is superimposed on the mockup 11, the CG camera in which the reflection of the real world column is synthesized for the experience person 31. 61 can be seen and the feeling of having a real camera can be obtained.
前記のことをフローチャートで表したものが図8である。スタートするとS801でまずモックアップ11上の映りこみの部分でCGのカメラ21に反映させる部分をキャプチャする。次にS802ではS801でキャプチャした画像とCGのカメラ21を合成した画像を作成する。最後にS803でモックアップ11にS802で合成した画像をモックアップ11に重畳表示する。 FIG. 8 is a flowchart showing the above. In step S801, first, a portion to be reflected on the CG camera 21 is captured at the portion of the reflection on the mockup 11. In step S802, an image obtained by combining the image captured in step S801 and the CG camera 21 is created. Finally, the image synthesized in S802 is superimposed on the mockup 11 in S803.
1 カメラA
11 モックアップ
12 位置姿勢センサ
21 CGのカメラ
31 体験者
32 ビデオシースルー型HMD(ヘッドマウントディスプレイ)
33 左目カメラ
34 右目カメラ
41 現実世界の柱
42 現実世界の柱の映りこみ
61 現実世界の柱の映りこみが合成されたCGのカメラ
101 PC
102 ビデオキャプチャ装置A
103 ビデオキャプチャ装置B
104 グラフィック装置
105 位置把握装置
106 画像切抜き装置
107 CGのカメラ作成装置
108 映りこみ合成装置
109 複合現実空間合成装置
1 Camera A
11 Mock-
33 Left-
102 Video capture device A
103 Video capture device B
104
Claims (1)
前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、
映りこんだ現実空間の画像をキャプチャする手段を備え、
前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、
前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。 A mixed reality system characterized by superimposing a virtual mockup on a real mockup,
The real mock-up is mirror-finished, and includes means for reflecting the real space by reflection of light,
It has a means to capture the image of the reflected real space,
Means for combining the captured image with the virtual mockup;
A mixed reality system comprising means for superimposing the synthesized image on the real mockup.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003289917A JP2005063004A (en) | 2003-08-08 | 2003-08-08 | Mixed reality sense system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003289917A JP2005063004A (en) | 2003-08-08 | 2003-08-08 | Mixed reality sense system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005063004A true JP2005063004A (en) | 2005-03-10 |
Family
ID=34368094
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003289917A Withdrawn JP2005063004A (en) | 2003-08-08 | 2003-08-08 | Mixed reality sense system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005063004A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006115261A1 (en) * | 2005-04-21 | 2006-11-02 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP2007048271A (en) * | 2005-07-15 | 2007-02-22 | Canon Inc | Image processing device and method |
JP2009505192A (en) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | Method and apparatus for visualizing a digital model in a real environment |
-
2003
- 2003-08-08 JP JP2003289917A patent/JP2005063004A/en not_active Withdrawn
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006115261A1 (en) * | 2005-04-21 | 2006-11-02 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
US8350897B2 (en) | 2005-04-21 | 2013-01-08 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP2007048271A (en) * | 2005-07-15 | 2007-02-22 | Canon Inc | Image processing device and method |
JP2009505192A (en) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | Method and apparatus for visualizing a digital model in a real environment |
JP2012168967A (en) * | 2005-08-09 | 2012-09-06 | Total Immersion | Method and devices for visualizing digital model in real environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7068562B2 (en) | Techniques for recording augmented reality data | |
US9911243B2 (en) | Real-time customization of a 3D model representing a real product | |
AU2018234921B2 (en) | Mixed reality system with color virtual content warping and method of generating virtual content using same | |
JP4950834B2 (en) | Image processing apparatus and image processing method | |
JP4401728B2 (en) | Mixed reality space image generation method and mixed reality system | |
US20160343166A1 (en) | Image-capturing system for combining subject and three-dimensional virtual space in real time | |
JP2009123018A (en) | Image processor and image processing method | |
JP2005346468A (en) | Image processing method and image processor | |
JP2007020142A (en) | 3-d graphic processing device, and stereoscopic image display device using the same | |
JP2010033367A (en) | Information processor and information processing method | |
JP2013174642A (en) | Image display device | |
US20220172447A1 (en) | Image processing device, image processing method, and program | |
CN115244492A (en) | Occlusion of virtual objects in augmented reality by physical objects | |
JP2022058753A (en) | Information processing apparatus, information processing method, and program | |
JP6963399B2 (en) | Program, recording medium, image generator, image generation method | |
JP4235522B2 (en) | Image processing apparatus, image processing method, and program | |
JP2005063004A (en) | Mixed reality sense system | |
JP4098882B2 (en) | Virtual reality generation apparatus and method | |
JP4366165B2 (en) | Image display apparatus and method, and storage medium | |
KR101315398B1 (en) | Apparatus and method for display 3D AR information | |
JP2000030080A (en) | Virtual reality system | |
JP6562371B1 (en) | Display device, display processing device, and display processing program | |
EP3511898B1 (en) | A method and a system for displaying a reality view | |
JP2005250748A (en) | Video compositing apparatus, video compositing program and video compositing system | |
JP2003296758A (en) | Information processing method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061107 |