JP2005063004A - Mixed reality sense system - Google Patents

Mixed reality sense system Download PDF

Info

Publication number
JP2005063004A
JP2005063004A JP2003289917A JP2003289917A JP2005063004A JP 2005063004 A JP2005063004 A JP 2005063004A JP 2003289917 A JP2003289917 A JP 2003289917A JP 2003289917 A JP2003289917 A JP 2003289917A JP 2005063004 A JP2005063004 A JP 2005063004A
Authority
JP
Japan
Prior art keywords
real
mockup
image
camera
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003289917A
Other languages
Japanese (ja)
Inventor
Taichi Matsui
太一 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003289917A priority Critical patent/JP2005063004A/en
Publication of JP2005063004A publication Critical patent/JP2005063004A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object having a part constructed of a material capable of reflecting a real space, a means capturing an image in the reflected real space, and a mixed reality sense system capable of superimposing a virtual model onto the object in the real space. <P>SOLUTION: This mixed reality sense system overlapping a virtual mock-up to a real mock-up is provided with a means imaging the real space by light reflection reflected by the mirror finished real mock-up, a means capturing an image in the reflected real space, a means composing the captured image with the virtual mock-up, and a means superimposing the composite image onto the real mock-up. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するシステムにおいて、現実空間に位置する物体にCG(コンピュータ・グラフィックス)を重畳表示させる方法を実現する複合現実感システムに関する。   The present invention relates to a mixed reality system that realizes a method of superimposing and displaying CG (computer graphics) on an object located in a real space in a system that generates a mixed reality space image by superimposing a real space image and a virtual space image. About.

従来、現実空間の物体に複合現実空間でCGを重畳する複合現実感システムが存在する。このシステムでは物体の上に上書きでCGを重畳表示している。(例えば特許文献1)
特開2000−353248号公報
Conventionally, there is a mixed reality system that superimposes a CG in a mixed reality space on an object in the real space. In this system, a CG is overlaid and displayed over the object. (For example, Patent Document 1)
JP 2000-353248 A

しかしながら、現実の物体は材質によっては現実空間を反映する。現実空間を反映する方法として環境マッピングという方法があるが、通常の環境マッピングではあらかじめ得られた画像情報を元に現実空間の映りこみを表示するため、リアルタイムな現実空間の反映には対応出来ていない。   However, the real object reflects the real space depending on the material. Although there is a method called environment mapping as a method of reflecting the real space, the normal environment mapping displays the reflection of the real space based on the image information obtained in advance, so it can cope with the reflection of the real space in real time. Absent.

そこで、リアルタイムに現実空間を反映した環境マッピングが求められる。   Therefore, environmental mapping that reflects real space in real time is required.

本発明は、上述の問題点に着目して成されたものであって、現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像をキャプチャする手段と、前記キャプチャされた現実空間の画像をバーチャルモデルに合成する手段と、前記バーチャルモデルを前記現実空間の物体に重畳することが出来る複合現実感システム、もしくは、現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像部分のマスクを作成する手段と、バーチャルモデルを前記マスク上から物体に重畳することが出来る複合現実感システムの提供を目的としている。   The present invention has been made paying attention to the above-described problems, and captures an object having a part made of a material that can reflect the real space and an image of the reflected real space. Means, a means for synthesizing the captured real space image into a virtual model, and a mixed reality system that can superimpose the virtual model on an object in the real space, or can reflect the real space To provide a mixed reality system capable of superimposing an object having a part made of material, a means for creating a mask of a reflected real space image part, and a virtual model on the object from the mask It is said.

上記目的を達成するために本発明は以下の構成を有することを特徴とする。   In order to achieve the above object, the present invention has the following structure.

(1)現実のモックアップに仮想のモックアップを重ね合わせることを特徴とする複合現実感システムであって、
前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、
映りこんだ現実空間の画像をキャプチャする手段を備え、
前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、
前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。
(1) A mixed reality system characterized by superimposing a virtual mockup on a real mockup,
The real mock-up is mirror-finished, and includes means for reflecting the real space by reflection of light,
It has a means to capture the image of the reflected real space,
Means for combining the captured image with the virtual mockup;
A mixed reality system comprising means for superimposing the synthesized image on the real mockup.

以上説明したように本発明の鏡面モックアップによれば実モックアップに映りこんだ実世界の画像をCGのモックアップ上に反映することが出来、それによってよりリアルなCGのモックアップを作成することが出来る。   As described above, according to the mirror surface mockup of the present invention, the real world image reflected in the real mockup can be reflected on the CG mockup, thereby creating a more realistic CG mockup. I can do it.

以下、本発明の情報処理装置及びその方法を、MR技術を利用したデジタルモックアップシステムに適用する場合に応用した例で説明する。   Hereinafter, an example in which the information processing apparatus and method of the present invention are applied to a digital mock-up system using MR technology will be described.

デジタルモックアップシステムはある工業製品の簡易なモックアップの上にMR技術を用いてその製品の3DCGを重畳したものである。システムの体験者はモックアップを手にとってさわり動かすことが出来る。モックアップには製品の3DCGが重畳されているため、モックアップの位置姿勢の動きに応じて3DCGも同時に位置姿勢を変える。そのため体験者はモックアップを持っていながら重畳された3DCGが表す製品を持っているかのような感覚を覚える。   The digital mock-up system is obtained by superimposing 3DCG of a product on a simple mock-up of an industrial product using MR technology. Experienced system users can touch and move mockups. Since the 3DCG of the product is superimposed on the mockup, the 3DCG also changes the position and orientation at the same time according to the movement of the mockup position and orientation. Therefore, the experiencer feels as if he / she has a product represented by superimposed 3DCG while having a mockup.

このデジタルモックアップシステムの完成度を上げるためには、モックアップに重畳する3DCGに実空間上のリアルタイムな映りこみを表示する必要がある。以下その実施例について添付図面を用いながら説明する。   In order to raise the completeness of this digital mockup system, it is necessary to display real-time reflections in real space on the 3DCG superimposed on the mockup. The embodiment will be described below with reference to the accompanying drawings.

図1は本実施例のデジタルモックアップシステムのシステム構成を表した図である。各構成部品の説明を簡単に述べていく。PC101はシステム全体をコントロールするユニットであり、ビデオキャプチャ装置A102、ビデオキャプチャ装置B103、グラフィック装置104、位置把握装置105、画像切抜き装置106、CGのカメラ作成装置107、映りこみ合成装置108および複合現実空間合成装置109を備えている。   FIG. 1 is a diagram illustrating a system configuration of a digital mockup system according to the present embodiment. A brief description of each component will be given. The PC 101 is a unit that controls the entire system. The video capture device A102, the video capture device B103, the graphic device 104, the position grasping device 105, the image clipping device 106, the CG camera creation device 107, the reflection composition device 108, and the mixed reality. A space synthesis device 109 is provided.

ビデオシースルー型HMD32は左目カメラ33と右目カメラ34を備えている。左目カメラ33は体験者31の左目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置A102でキャプチャされる。右目カメラ34は体験者31の右目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置B103でキャプチャされる。   The video see-through HMD 32 includes a left eye camera 33 and a right eye camera 34. The left-eye camera 33 is a camera that captures an image viewed from the position of the left eye of the experience person 31. The captured video is captured by the video capture device A102. The right eye camera 34 is a camera that captures an image viewed from the position of the right eye of the experience person 31. The captured video is captured by the video capture device B103.

モックアップ11はカメラA1の実物大模型で体験者31が自由に手にとることが出来る。位置姿勢センサ12はモックアップ11の位置姿勢を計測するためのセンサである。位置姿勢センサ12によって計測された位置姿勢情報は位置把握装置105に送信され、位置把握装置105はその位置姿勢情報を受信する。位置把握装置105は位置姿勢情報をCGのカメラ作成装置107に送信し、CGのカメラ作成装置107は受信する。   The mockup 11 is a full-scale model of the camera A1 and can be picked up freely by the experience person 31. The position and orientation sensor 12 is a sensor for measuring the position and orientation of the mockup 11. The position and orientation information measured by the position and orientation sensor 12 is transmitted to the position grasping device 105, and the position grasping device 105 receives the position and orientation information. The position grasping device 105 transmits the position and orientation information to the CG camera creation device 107, and the CG camera creation device 107 receives it.

CGのカメラ作成装置107は位置姿勢情報からモックアップ11の位置を推定し、左右の目それぞれの視点から見た、モックアップ11に重畳されるCGのカメラ21を作成する。CGのカメラ作成装置107は作成した左右それぞれの視点から見たCGのカメラ21を映りこみ合成装置108に送信し、映りこみ合成装置108は受信する。   The CG camera creation device 107 estimates the position of the mockup 11 from the position and orientation information, and creates the CG camera 21 superimposed on the mockup 11 viewed from the viewpoints of the left and right eyes. The CG camera creation device 107 transmits the created CG camera 21 viewed from the left and right viewpoints to the reflection synthesizer 108, and the reflection synthesizer 108 receives it.

ビデオキャプチャ装置A102とビデオキャプチャ装置B103でキャプチャされた左右の画像はそれぞれ画像切抜き装置106と複合現実空間合成装置109に送信され、画像切抜き装置106と複合現実空間合成装置109では左右それぞれのキャプチャ画像を受信する。画像切抜き装置106では左右それぞれのキャプチャ画像から現実世界の映りこみ画像を切り抜く。画像切抜き装置106は切り抜いた左右それぞれの現実世界の映りこみ画像を映りこみ合成装置108に送信し、映りこみ合成装置108は受信する。   The left and right images captured by the video capture device A102 and the video capture device B103 are transmitted to the image clipping device 106 and the mixed reality space composition device 109, respectively, and the image clipping device 106 and the mixed reality space composition device 109 respectively capture the left and right captured images. Receive. The image cutout device 106 cuts out a reflected image of the real world from the left and right captured images. The image clipping device 106 transmits the cut-out left and right real-world reflected images to the reflected image synthesizing device 108, and the reflected image combining device 108 receives them.

映りこみ合成装置108ではCGのカメラ21と前記切り抜いた現実世界の映りこみ画像を合成した画像を作成する。映りこみ合成装置108は前記合成した画像を複合現実空間合成装置109に送信し、複合現実空間合成装置109は受信する。   The reflection synthesizer 108 creates an image by combining the CG camera 21 and the clipped real-world reflection image. The reflection synthesizer 108 transmits the synthesized image to the mixed reality space synthesizer 109, and the mixed reality space synthesizer 109 receives it.

複合現実空間合成装置109は左目カメラ33から撮影した画像と左目視点から見た映りこみが合成されたCGのカメラを合成した画像を作成し、これを左目用の複合現実空間画像とする。又、複合現実空間合成装置109は右目カメラ34から撮影した画像と右目視点から見た映り込みが合成されたCGのカメラを合成した画像を作成し、これを右目用の複合現実空間画像とする。複合現実空間合成装置109は左目用の複合現実空間画像と右目用の複合現実空間画像をグラフィック装置104に送信し、グラフィック装置104は受信する。   The mixed reality space synthesizing device 109 creates an image obtained by synthesizing a CG camera in which an image taken from the left-eye camera 33 and a reflection seen from the left-eye viewpoint are synthesized, and uses this as a mixed reality space image for the left eye. Also, the mixed reality space synthesis device 109 creates an image obtained by synthesizing the CG camera in which the image taken from the right eye camera 34 and the reflection seen from the right eye viewpoint are synthesized, and this is used as the mixed reality space image for the right eye. . The mixed reality space synthesis device 109 transmits the mixed reality space image for the left eye and the mixed reality space image for the right eye to the graphic device 104, and the graphic device 104 receives the mixed reality space image.

グラフィック装置104はビデオシースルー型HMD(ヘッドマウンテッドディスプレイ)32に左目用の複合現実空間画像と右目用の複合現実空間画像を送信し、HMD32はそれぞれの画像を受信して表示する。   The graphic device 104 transmits a left-eye mixed reality space image and a right-eye mixed reality space image to a video see-through HMD (head mounted display) 32, and the HMD 32 receives and displays the respective images.

以下イラストを用いて補足説明をして行く。   The following is a supplementary explanation using illustrations.

図2は本実施例のデジタルモックアップシステムで使用する位置姿勢センサ12付きモックアップ11を表した図である。このモックアップ11はカメラA1の実物大模型であるが、色は単色で外形だけを模した物である。体験者31が実物と同じ感覚が得られるように重量もほぼ同じにしてある。   FIG. 2 is a diagram showing a mockup 11 with a position and orientation sensor 12 used in the digital mockup system of the present embodiment. This mockup 11 is a full-scale model of the camera A1, but the color is a single color and imitates only the outer shape. The weight is also substantially the same so that the experience person 31 can get the same feeling as the real thing.

又、モックアップ11には位置姿勢センサ12が内蔵されている。位置姿勢センサ12はモックアップ11内の所定の位置に固定されていて、モックアップ11と位置姿勢センサ12の位置関係は一定になっている。そのため位置姿勢センサ12の位置姿勢情報からモックアップ11の位置姿勢を算出することが出来る。   The mockup 11 includes a position / orientation sensor 12. The position / orientation sensor 12 is fixed at a predetermined position in the mockup 11, and the positional relationship between the mockup 11 and the position / orientation sensor 12 is constant. Therefore, the position and orientation of the mockup 11 can be calculated from the position and orientation information of the position and orientation sensor 12.

図3はモックアップ11の上にMR技術を用いてCGのカメラ21を重畳した図である。CGのカメラ21はカメラA1の3次元CGモデルであり、実物大である。当然モックアップ11と同形で同じ大きさであるので、モックアップ11の位置姿勢に一致させてCGのカメラ21を重畳すれば両者はぴたりと重なり合うことになる。   FIG. 3 is a diagram in which a CG camera 21 is superimposed on the mockup 11 using MR technology. The CG camera 21 is a three-dimensional CG model of the camera A1 and is full-sized. Naturally, since it is the same shape and the same size as the mockup 11, if the CG camera 21 is superimposed in accordance with the position and orientation of the mockup 11, they will overlap each other.

図4は体験者31がシステムの体験を行っている時の現実空間の状況を表した図である。体験者11はビデオシースルー型HMD32を被り、手にモックアップ11を持っている。体験者31の持つモックアップ11は鏡面加工されているために現実世界の物体が映りこむ。この図では現実世界の柱41が映りこんでいる。その状態はモックアップ11上では現実世界の柱の映りこみ42のように映っている。   FIG. 4 is a diagram showing the situation of the real space when the experience person 31 is experiencing the system. The experienced person 11 wears a video see-through HMD 32 and has a mockup 11 in his hand. Since the mockup 11 of the experience person 31 is mirror-finished, an object in the real world is reflected. In this figure, the real world pillar 41 is reflected. The state is reflected on the mockup 11 as a reflection 42 of a real world pillar.

図5は映りこみを考慮にいれずにそのままモックアップ11の上にCGのカメラ21を重畳した場合を表した図である。このように単純にモックアップ11の上にCGのカメラ21を重畳すると現実世界の柱の映りこみ42はCGのカメラ21に隠れてしまって見えなくなってしまう。   FIG. 5 is a diagram showing a case where the CG camera 21 is superimposed on the mockup 11 as it is without taking the reflection into consideration. When the CG camera 21 is simply superimposed on the mockup 11 in this way, the reflection 42 of the real world pillar is hidden behind the CG camera 21 and cannot be seen.

そこで図6が表すように現実世界の柱の映りこみ42とCGのカメラ21を合成して、現実世界の柱の映りこみが合成されたCGのカメラ61を作成する。   Therefore, as shown in FIG. 6, the reflection of the real world column 42 and the CG camera 21 are synthesized to create a CG camera 61 in which the reflection of the real world column is synthesized.

次に図7が表すように現実世界の柱の映りこみが合成されたCGのカメラ61をモックアップ11に重畳すれば体験者31には現実世界の柱の映りこみが合成されたCGのカメラ61が見えて、正に本物のカメラを持っているような感覚を得ることが出来る。   Next, as shown in FIG. 7, if a CG camera 61 in which the reflection of the real world column is synthesized is superimposed on the mockup 11, the CG camera in which the reflection of the real world column is synthesized for the experience person 31. 61 can be seen and the feeling of having a real camera can be obtained.

前記のことをフローチャートで表したものが図8である。スタートするとS801でまずモックアップ11上の映りこみの部分でCGのカメラ21に反映させる部分をキャプチャする。次にS802ではS801でキャプチャした画像とCGのカメラ21を合成した画像を作成する。最後にS803でモックアップ11にS802で合成した画像をモックアップ11に重畳表示する。   FIG. 8 is a flowchart showing the above. In step S801, first, a portion to be reflected on the CG camera 21 is captured at the portion of the reflection on the mockup 11. In step S802, an image obtained by combining the image captured in step S801 and the CG camera 21 is created. Finally, the image synthesized in S802 is superimposed on the mockup 11 in S803.

デジタルモックアップシステムのシステム構成図System configuration diagram of digital mockup system モックアップを表した図Diagram showing mockup モックアップにCGのカメラを重畳した図Figure with CG camera superimposed on mockup 現実世界の柱がモックアップに映りこんでいる図Illustration of real world pillars reflected in mockup 現実モックアップにそのままCGのカメラを重畳した図CG camera superimposed on real mockup CGのカメラと現実世界の映りこみの合成を説明する図Diagram explaining the composition of CG camera and real-world reflection 現実世界の映りこみを合成したカメラをモックアップに重畳している図A figure that superimposes a mockup of a camera that combines real-world reflections CGのカメラと現実世界の映りこみの合成の手順を表すフローチャートFlow chart showing the procedure for compositing a CG camera and real-world reflections

符号の説明Explanation of symbols

1 カメラA
11 モックアップ
12 位置姿勢センサ
21 CGのカメラ
31 体験者
32 ビデオシースルー型HMD(ヘッドマウントディスプレイ)
33 左目カメラ
34 右目カメラ
41 現実世界の柱
42 現実世界の柱の映りこみ
61 現実世界の柱の映りこみが合成されたCGのカメラ
101 PC
102 ビデオキャプチャ装置A
103 ビデオキャプチャ装置B
104 グラフィック装置
105 位置把握装置
106 画像切抜き装置
107 CGのカメラ作成装置
108 映りこみ合成装置
109 複合現実空間合成装置
1 Camera A
11 Mock-up 12 Position and orientation sensor 21 CG camera 31 Experienced person 32 Video see-through HMD (head mounted display)
33 Left-eye camera 34 Right-eye camera 41 Real world column 42 Reflection of real world column 61 CG camera 101 that combines reflection of real world column 101 PC
102 Video capture device A
103 Video capture device B
104 graphic device 105 position grasping device 106 image clipping device 107 CG camera creation device 108 reflection composition device 109 mixed reality space composition device

Claims (1)

現実のモックアップに仮想のモックアップを重ね合わせることを特徴とする複合現実感システムであって、
前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、
映りこんだ現実空間の画像をキャプチャする手段を備え、
前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、
前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。
A mixed reality system characterized by superimposing a virtual mockup on a real mockup,
The real mock-up is mirror-finished, and includes means for reflecting the real space by reflection of light,
It has a means to capture the image of the reflected real space,
Means for combining the captured image with the virtual mockup;
A mixed reality system comprising means for superimposing the synthesized image on the real mockup.
JP2003289917A 2003-08-08 2003-08-08 Mixed reality sense system Withdrawn JP2005063004A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003289917A JP2005063004A (en) 2003-08-08 2003-08-08 Mixed reality sense system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003289917A JP2005063004A (en) 2003-08-08 2003-08-08 Mixed reality sense system

Publications (1)

Publication Number Publication Date
JP2005063004A true JP2005063004A (en) 2005-03-10

Family

ID=34368094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003289917A Withdrawn JP2005063004A (en) 2003-08-08 2003-08-08 Mixed reality sense system

Country Status (1)

Country Link
JP (1) JP2005063004A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115261A1 (en) * 2005-04-21 2006-11-02 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2007048271A (en) * 2005-07-15 2007-02-22 Canon Inc Image processing device and method
JP2009505192A (en) * 2005-08-09 2009-02-05 トタル イメルシオン Method and apparatus for visualizing a digital model in a real environment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006115261A1 (en) * 2005-04-21 2006-11-02 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US8350897B2 (en) 2005-04-21 2013-01-08 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2007048271A (en) * 2005-07-15 2007-02-22 Canon Inc Image processing device and method
JP2009505192A (en) * 2005-08-09 2009-02-05 トタル イメルシオン Method and apparatus for visualizing a digital model in a real environment
JP2012168967A (en) * 2005-08-09 2012-09-06 Total Immersion Method and devices for visualizing digital model in real environment

Similar Documents

Publication Publication Date Title
JP7068562B2 (en) Techniques for recording augmented reality data
US9911243B2 (en) Real-time customization of a 3D model representing a real product
AU2018234921B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
JP4950834B2 (en) Image processing apparatus and image processing method
JP4401728B2 (en) Mixed reality space image generation method and mixed reality system
US20160343166A1 (en) Image-capturing system for combining subject and three-dimensional virtual space in real time
JP2009123018A (en) Image processor and image processing method
JP2005346468A (en) Image processing method and image processor
JP2007020142A (en) 3-d graphic processing device, and stereoscopic image display device using the same
JP2010033367A (en) Information processor and information processing method
JP2013174642A (en) Image display device
US20220172447A1 (en) Image processing device, image processing method, and program
CN115244492A (en) Occlusion of virtual objects in augmented reality by physical objects
JP2022058753A (en) Information processing apparatus, information processing method, and program
JP6963399B2 (en) Program, recording medium, image generator, image generation method
JP4235522B2 (en) Image processing apparatus, image processing method, and program
JP2005063004A (en) Mixed reality sense system
JP4098882B2 (en) Virtual reality generation apparatus and method
JP4366165B2 (en) Image display apparatus and method, and storage medium
KR101315398B1 (en) Apparatus and method for display 3D AR information
JP2000030080A (en) Virtual reality system
JP6562371B1 (en) Display device, display processing device, and display processing program
EP3511898B1 (en) A method and a system for displaying a reality view
JP2005250748A (en) Video compositing apparatus, video compositing program and video compositing system
JP2003296758A (en) Information processing method and device

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20061107