KR100393185B1 - Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor - Google Patents

Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor Download PDF

Info

Publication number
KR100393185B1
KR100393185B1 KR1019960069290A KR19960069290A KR100393185B1 KR 100393185 B1 KR100393185 B1 KR 100393185B1 KR 1019960069290 A KR1019960069290 A KR 1019960069290A KR 19960069290 A KR19960069290 A KR 19960069290A KR 100393185 B1 KR100393185 B1 KR 100393185B1
Authority
KR
South Korea
Prior art keywords
data
dimensional structure
unit
graphics object
graphics
Prior art date
Application number
KR1019960069290A
Other languages
Korean (ko)
Other versions
KR19980050467A (en
Inventor
김종탁
송문섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1019960069290A priority Critical patent/KR100393185B1/en
Publication of KR19980050467A publication Critical patent/KR19980050467A/en
Application granted granted Critical
Publication of KR100393185B1 publication Critical patent/KR100393185B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

PURPOSE: An apparatus for synthesizing three-dimensional structure data with a graphics object, and a method therefor are provided to express vivid presence by synthesizing a real background image with an appropriate graphics object. CONSTITUTION: A three-dimensional structure extracting unit(100) extracts three-dimensional structure data from continuous real images. An object modeling unit(110) generates graphics object data wanted by a user. A three-dimensional structure processing unit(120) obtains the minimum and the maximum of the extracted three-dimensional structure data for extracting scaling information of the graphics object data. An object scaling unit(130) scales the graphics object data by the scaling information of the graphics object data. An image generating unit(140) generates a synthesized image by projecting the three-dimensional structure data and the extracted graphics object data by an observation viewpoint and object position data.

Description

삼차원구조 데이터와 그래픽스 오브젝트의 합성장치 및 그 방법Synthesis device and method of three-dimensional structure data and graphics object

본 발명은 영상 데이터 처리장치 및 그 방법에 관한 것으로서, 특히 실영상으로부터 얻어진 삼차원구조 데이터에 원하는 그래픽스 오브젝트를 합성시켜 렌더링(rendering)하는 삼차원구조 데이터와 그래픽스 오브젝트의 합성방법 및 그 장치에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image data processing apparatus and a method thereof, and more particularly, to a method and apparatus for synthesizing three-dimensional structure data and a graphics object by synthesizing and rendering a desired graphics object to three-dimensional structure data obtained from a real image.

종래의 영상 데이터 처리장치는 실영상으로부터의 텍스쳐(texture)만을 가지고 렌더링을 하거나, 그래픽 오브젝트만으로 렌더링을 하는 방식에 의하였다. 그런데 상기 방식들은 각각 개별적으로 적용되는 응용 분야들에서는 적합하나, 건축 디자인 시스템이나 홈 쇼핑 시스템에서 필요로 하는 정도의 생생한 현장감을 제공하는 데에는 일정한 한계를 지닌다. 즉, 상기한 바와 같은 분야에서는 실영상을 배경으로 하고, 그위에 적절히 그래픽스 오브젝트를 합성시키는 새로운 기술이 요구된다.Conventional image data processing apparatus has been rendered by rendering only with a texture (texture) from a real image, or by rendering only with a graphic object. However, the above methods are suitable for application fields that are individually applied, but have a certain limit in providing the vivid sense of presence required in an architectural design system or a home shopping system. In other words, in the field as described above, a new technique is required in which a real image is set as a background and a graphics object is appropriately synthesized thereon.

본 발명은 상기와 같은 문제점을 해결하기 위하여 창작된 것으로서, 실영상을 배경으로 하고, 그 배경 위에 적절한 그래픽스 오브젝트를 합성시킴으로써 보다 생생한 현장감을 표현하는 삼차원구조 데이터와 그래픽스 오브젝트의 합성장치 및 그 방법을 제공함을 그 목적으로한다.The present invention has been made to solve the above problems, and a device and method for synthesizing three-dimensional structure data and graphics objects that express a more realistic sense by setting a real image as a background and by composing an appropriate graphics object on the background. For that purpose.

도 1은 본 발명에 따른 삼차원구조 데이터와 그래픽스 오브젝트 합성 장치의 구성을 도시한 블럭도이다.1 is a block diagram showing the configuration of a three-dimensional structure data and graphics object synthesizing apparatus according to the present invention.

도 2는 도 1에 도시된 영상생성장치의 상세한 구성을 도시한 블럭도이다.FIG. 2 is a block diagram illustrating a detailed configuration of the image generating apparatus shown in FIG. 1.

도 3은 테스트 데이터로 사용된 실영상들의 연속적인 프레임들을 보여주는 도면이다.3 is a diagram illustrating successive frames of real images used as test data.

도 4는 도 1에 도시된 삼차원구조 추출장치로부터 추출된 삼차원구조 데이터를 매쉬구조로 디스플레이한 도면이다.FIG. 4 is a view showing a mesh structure of three-dimensional structure data extracted from the three-dimensional structure extraction apparatus shown in FIG.

도 5는 텍스쳐 매핑된 삼차원구조 데이터와 그래픽스 오브젝트인 비행기의 모델 데이터를 왼쪽에 위치한 관찰시점에 따라 합성하여 렌더링한 영상의 도면이다.FIG. 5 is a diagram of an image obtained by synthesizing texture-mapped three-dimensional structure data and model data of a plane, which is a graphics object, according to an observation point located on the left.

도 6은 텍스쳐 매핑된 삼차원구조 데이터와 그래픽스 오브젝트인 비행기의 모델 데이터를 오른쪽에 위치한 관찰시점에 따라 합성하여 렌더링한 영상의 도면이다.FIG. 6 is a diagram of an image obtained by synthesizing texture-mapped three-dimensional structure data and model data of a plane, which is a graphics object, according to an observation point located on the right side.

상기의 목적을 달성하기 위한 본 발명에 의한, 삼차원 구조 데이터와 그래픽스 오브젝트 합성장치는 연속된 실영상으로부터 삼차원구조 데이터를 추출하는 삼차원구조 추출부; 사용자가 원하는 그래픽스 오브젝트 데이터를 생성하는 오브젝트 모델링부; 상기 삼차원구조 추출부로부터 추출된 삼차원구조 데이터의 최대, 최소값을 구해서 상기 오브젝트 모델링부에서 생성된 그래픽스 오브젝트 데이터의 스케일링 정보를 추출하는 삼차원구조 처리부; 상기 삼차원구조 처리부에서 추출된 그래픽스 오브젝트 데이터의 스케일링 정보에 의해 상기 그래픽스 오브젝트 데이터를 스케일링하는 오브젝트 스케일링부; 및 상기 삼차원구조 추출부에서 추출된 삼차원 구조 데이터와 상기 오브젝트 스케일링부에서 스케일링된 그래픽스 오브젝트 데이터를 사용자로부터 입력받은 관찰시점 및 오브젝트 위치 데이터에 의해 프로젝션시켜 합성영상을 생성하는 영상생성부를 포함함을 특징으로 한다.According to the present invention for achieving the above object, the three-dimensional structure data and graphics object synthesizing apparatus comprises: a three-dimensional structure extraction unit for extracting three-dimensional structure data from a continuous real image; An object modeling unit generating graphics object data desired by a user; A three-dimensional structure processing unit for extracting scaling information of graphics object data generated by the object modeling unit by obtaining maximum and minimum values of the three-dimensional structure data extracted from the three-dimensional structure extracting unit; An object scaling unit to scale the graphics object data by scaling information of the graphics object data extracted by the three-dimensional structure processing unit; And an image generator for projecting the three-dimensional structure data extracted by the three-dimensional structure extractor and the graphics object data scaled by the object scaling unit by the observation viewpoint and the object position data input from the user to generate a composite image. It is done.

상기의 또 다른 목적을 달성하기 위한 본 발명에 의한, 삼차원구조 데이터와 그래픽스 오브젝트의 합성 방법은 연속된 실영상으로부터 삼차원구조 데이터를 추출하는 제1단계; 사용자가 원하는 그래픽스 오브젝트 데이터를 생성하는 제2단계; 상기 삼차원구조 데이터의 최대, 최소값을 구해서, 상기 그래픽스 오브젝트 데이터의 스케일링 정보를 추출하는 제3단계; 상기 그래픽스 오브젝트의 스케일링 정보에 의해 상기 그래픽스 오브젝트 데이터를 스케일링하는 제4단계; 사용자로부터 입력받은 관찰시점 및 오브젝트 위치 데이터에 의해 상기 삼차원 구조 데이터와 상기 제4단계에서 스케일링된 그래픽스 오브젝트 데이터를 프로젝션시켜 합성영상을 생성하는 제5단계를 포함함을 특징으로 한다.In accordance with another aspect of the present invention, a method of synthesizing three-dimensional structure data and a graphics object includes: extracting three-dimensional structure data from a continuous real image; Generating a graphics object data desired by a user; Extracting scaling information of the graphics object data by obtaining maximum and minimum values of the three-dimensional structure data; Scaling the graphics object data by scaling information of the graphics object; And a fifth step of projecting the three-dimensional structure data and the graphics object data scaled in the fourth step by using the viewpoint and object position data input from the user to generate a composite image.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 삼차원구조 데이터와 그래픽스 오브젝트 합성장치의 전체 구성을 보이는 블럭도이다. 도 1에 있어서, 참조번호 100은 삼차원구조 추출부를, 참조번호 110은 오브젝트 모델링부를, 참조번호 120은 삼차원구조 데이터 처리부를, 참조번호 130은 오브젝트 스케일링부를, 참조번호 140은 영상생성부를 나타낸다.1 is a block diagram showing the overall configuration of a three-dimensional structure data and graphics object synthesizing apparatus according to the present invention. In FIG. 1, reference numeral 100 denotes a three-dimensional structure extraction unit, reference numeral 110 denotes an object modeling unit, reference numeral 120 denotes a three-dimensional structure data processing unit, reference numeral 130 denotes an object scaling unit, and reference numeral 140 denotes an image generation unit.

상기 삼차원구조 추출부(100)는 연속된 실영상들을 입력받아서, 광류(optical flow) 등의 방식을 사용하여 깊이(depth) 정보를 추출하여, 삼차원구조 데이터를 생성한다.The three-dimensional structure extraction unit 100 receives continuous real images, extracts depth information by using an optical flow method, and generates three-dimensional structure data.

상기 오브젝트 모델링부(110)는 사용자가 원하는 그래픽스 오브젝트의 삼차원 모델 데이터를 생성한다.The object modeling unit 110 generates three-dimensional model data of a graphics object desired by the user.

상기 삼차원구조 데이터 처리부(120)는 상기 생성된 삼차원구조 데이터와 그래픽스 오브젝트의 적절한 매칭을 위해 스케일링 정보를 추출한다.The three-dimensional structure data processing unit 120 extracts scaling information for proper matching of the generated three-dimensional structure data and graphics objects.

상기 오브젝트 스케일링부(Object scaling)(130)는 상기 삼차원구조 데이터 처리부(120)로부터 나온 스케일링 정보를 가지고 상기 생성된 그래픽스 오브젝트를 스케일링한다.The object scaling unit 130 scales the generated graphics object with scaling information from the three-dimensional structure data processing unit 120.

상기 영상생성부(Scene generator)(140)는 상기 삼차원구조 데이터와 상기 스케일링된 그래픽스 오브젝트 데이터를 사용자에 의해 주어진 관찰시점과 오브젝트 위치 데이터에 맞춰 프로젝션(projection)시켜 합성영상을 만들어 낸다. 상기 영상생성부(140)는 다시 세부적으로 오브젝트 이동부(200), 오브젝트 회전부(210), 칼라 셰이딩부(220), 텍스쳐 매핑부(230), 프로젝션부(240)를 구비하여 구성된다.The image generator 140 generates the synthesized image by projecting the three-dimensional structure data and the scaled graphics object data in accordance with a viewpoint and object position data given by a user. The image generator 140 is further configured to include an object moving unit 200, an object rotating unit 210, a color shading unit 220, a texture mapping unit 230, and a projection unit 240.

상기 오브젝트 이동부(200)는 사용자에 의해 주어진 오브젝트 위치 데이터에 따라 상기 그래픽스 오브젝트를 삼차원구조 데이터에 적절히 위치시키는 역할을 하고, 상기 오브젝트 회전장치부(210)는 사용자에 의해 주어진 관찰 시점(view pointer)과 오브젝트 위치 데이터에 따라 상기 그래픽스 오브젝트의 가시표면을 결정하는 역할을 하고, 상기 칼라 셰이딩부(220)는 그래픽스 오브젝트 모델에 적절한 색을 주어 렌더링(rendering)하는 역할을 한다. 상기 텍스쳐 매핑부(230)는 삼차원구조 데이터에 실영상으로부터의 텍스쳐(Texture)를 매핑(mapping)하여 렌더링하는 역할을 하는데, 이 때, 관찰시점에 따라 실영상으로부터 가장 적절한 텍스쳐를 가져온다. 상기 프로젝션부(240)는 상기 삼차원구조 추출수단(100)으로부터 추출된 상기 삼차원구조 데이터와 상기 칼라 셰이딩부(220)에서 칼라 셰이딩(color shading)된 그래픽스 오브젝트 데이터 및 관찰 시점을 가지고 이차원 영상을 만들기 위해 프로젝션(projection)시키는 역할을 하는데, 그 프로젝션 방법으로는 퍼스펙티브(perspective) 프로젝션, 직교 프로젝션 등이 사용되어질 수 있다.The object moving unit 200 serves to properly position the graphics object in the three-dimensional structure data according to the object position data given by the user, and the object rotating unit 210 is a view pointer given by the user. ) And the visible surface of the graphics object according to the object position data, and the color shading unit 220 serves to render an appropriate color to the graphics object model. The texture mapping unit 230 maps and renders a texture from a real image to three-dimensional structure data. At this time, the texture mapping unit 230 brings the most appropriate texture from the real image according to the observation time point. The projection unit 240 creates a two-dimensional image having the three-dimensional structure data extracted from the three-dimensional structure extracting means 100 and the graphics object data color-shaded in the color shading unit 220 and an observation viewpoint. Projection is performed for the purpose of projection. Perspective projection, orthogonal projection, etc. may be used as the projection method.

삼차원 구조 데이터와 그래픽스 오브젝트 데이터를 합성하는데 있어 고려되어야 할 중요한 사항들에는 다음과 같은 것들이 있다.Some important things to consider when compositing three-dimensional structure data and graphics object data are:

첫째, 삼차원구조 데이터와 그래픽스 오브젝트 데이터는 각각의 좌표계 내에서 각기 다른 크기의 데이터 값들을 가지므로, 이들이 하나의 좌표계에서 합성될 때 적절한 상대적인 크기를 가질 수 있도록 스케일링되어야만 한다. 본 발명에 의한 삼차원 구조 데이터와 그래픽스 오브젝트 합성장치에서 이와같은 역할을 해주는 부분은 삼차원구조 처리부(120)와 오브젝트 스케일링부(120)이다.First, since three-dimensional structure data and graphics object data have data values of different sizes in each coordinate system, they must be scaled so that they have an appropriate relative size when they are combined in one coordinate system. In the three-dimensional structure data and graphics object synthesizing apparatus according to the present invention is the three-dimensional structure processing unit 120 and the object scaling unit 120.

둘째, 삼차원구조 데이터와 그래픽스 오브젝트 데이터는 합성영상을 생성하기위해 프로젝션되어질 때, 동일한 관찰시점을 가져야만 한다. 본 발명에 의한 삼차원 구조 데이터와 그래픽스 오브젝트 합성장치에서는 동일한 프로젝션 매트릭스 스택을 사용함으로써 이 문제를 해결한다.Second, the three-dimensional structure data and the graphics object data must have the same viewpoint when projected to generate a composite image. The three-dimensional structure data and the graphics object synthesizing apparatus according to the present invention solve this problem by using the same projection matrix stack.

세째, 그래픽스 오브젝트 데이터를 오브젝트 위치 데이터에 따라 삼차원 구조 데이터에 위치시킬때 적절한 가시표면을 결정해야 한다. 특히, 움직임이 있는 오브젝트인 경우에는 그 움직임과 관찰시점을 동시에 고려하여야 한다. 본 발명에 의한 삼차원 구조 데이터와 그래픽스 오브젝트 합성장치에서는 영상생성수단 내의 오브젝트 이동부, 오브젝트 회전부, 프로젝션부가 이와같은 기능을 담당한다.Third, when placing the graphic object data in the three-dimensional structure data according to the object position data, it is necessary to determine the appropriate visible surface. In particular, in the case of an object with movement, the movement and the viewpoint should be considered simultaneously. In the three-dimensional structure data and graphics object synthesizing apparatus according to the present invention, the object moving unit, the object rotating unit, and the projection unit in the image generating unit play such functions.

상기와 같은 사항들을 고려하여 본 발명에서 제안하는 장치가 도 3에서 도시된 테스트 영상들을 사용하고, 그래픽스 오브젝트는 움직임을 갖는 비행기를 사용했을 때의 수행과정을 다음에서 설명한다.In consideration of the above, an apparatus proposed by the present invention uses the test images shown in FIG. 3 and a graphics object is described below.

먼저, 도 3에서 도시된 것과 같은 연속적인 실영상 프레임들이 삼차원구조 추출부(100)에 입력되어, 삼차원구조 데이터가 출력된다. 그 결과를 매쉬 형태로 표시한 것이 도 4에서 보여진다. 그리고, 삼차원구조 처리부(120)가 상기 삼차원구조 데이터로부터 스케일링 정보를 얻어낸다. 그 다음으로, 사용자로부터 관찰 시점과 오브젝트 위치 데이터가 주어지면, 영상생성부(140) 내에서 상기 삼차원구조 데이터에 대해서는 텍스쳐 매핑을 수행하고, 상기 그래픽스 오브젝트에 대해서는 스케일링 정보에 따라 적절히 스케일링을 수행하고, 상기 그래픽스 오브젝트의 자세와 가시표면을 결정한 후, 셰이딩을 수행하고, 동일한 관찰시점에 의해 두 데이터를 프로젝션시킨다. 이런 과정을 통해 얻어진 결과가 도 5와 도 6에 도시되어 있다. 도 5는 관찰시점이 좌상 부분에, 오브젝트가 좌측 부분에 위치한 경우이고, 도 6은 관찰시점이 우측에, 오브젝트도 우측에 위치한 경우이다.First, continuous real image frames as shown in FIG. 3 are input to the three-dimensional structure extraction unit 100, and three-dimensional structure data is output. The results are displayed in mesh form in FIG. 4. The three-dimensional structure processor 120 obtains scaling information from the three-dimensional structure data. Next, when the observation point and the object position data are given by the user, texture mapping is performed on the three-dimensional structure data in the image generator 140, and scaling is appropriately performed on the graphics object according to scaling information. After determining the pose and the visible surface of the graphics object, shading is performed, and both data are projected by the same viewpoint. Results obtained through this process are shown in FIGS. 5 and 6. 5 illustrates a case in which the observation point is located at the upper left portion, and an object is located at the left portion, and FIG. 6 illustrates a case in which the observation point is located at the right side and the object is also located at the right side.

본 발명에 의하면, 실영상을 배경으로 하고, 그 배경 위에 적절한 그래픽스 오브젝트를 합성시킴으로써 다양한 응용분야에서 보다 생생한 현장감을 제공하는 합성영상을 생성할 수 있다. 즉, 추출된 삼차원구조 데이터에 특정 응용에 알맞는 그래픽스 오브젝트를 합성시켜 렌더링 하므로써, 실영상을 사용했을 때의 효과와 그래픽스 기술의 장점을 동시에 얻을 수 있다.According to the present invention, by combining a real image as a background and composing an appropriate graphics object on the background, it is possible to generate a synthesized image that provides a more realistic sense in various applications. In other words, by synthesizing and rendering graphics objects suitable for a specific application to the extracted three-dimensional structure data, it is possible to obtain the effects of using a real image and the advantages of graphics technology.

본 발명의 이용 분야로는 지형탐사(geometry navigation) 시스템, 홈쇼핑 시스템(home shopping system), 건축 디자인 시스템 등이 있다. 건축 디자인 시스템에서 건물 내부의 삼차원구조 데이터만 가지고 있으면, 여기에 다양한 인테리어(interior) 오브젝트를 합성시켜 봄으로써 실제로 모델을 만들어 보지 않고서도 원하는 구조와 위치, 색상을 갖는 건축물의 설계가 가능하다.Fields of use of the present invention include a geometry navigation system, a home shopping system, a building design system, and the like. If the architectural design system has only three-dimensional structure data inside the building, it is possible to design a building having the desired structure, location and color without actually making a model by synthesizing various interior objects.

Claims (6)

연속된 실영상으로부터 삼차원구조 데이터를 추출하는 삼차원구조 추출부;A three-dimensional structure extraction unit for extracting three-dimensional structure data from a continuous real image; 사용자가 원하는 그래픽스 오브젝트 데이터를 생성하는 오브젝트 모델링부;An object modeling unit generating graphics object data desired by a user; 상기 삼차원구조 추출부로부터 추출된 삼차원구조 데이터의 최대, 최소값을 구해서 상기 오브젝트 모델링부에서 생성된 그래픽스 오브젝트 데이터의 스케일링 정보를 추출하는 삼차원구조 처리부;A three-dimensional structure processing unit for extracting scaling information of graphics object data generated by the object modeling unit by obtaining maximum and minimum values of the three-dimensional structure data extracted from the three-dimensional structure extracting unit; 상기 삼차원구조 처리부에서 추출된 그래픽스 오브젝트 데이터의 스케일링 정보에 의해 상기 그래픽스 오브젝트 데이터를 스케일링하는 오브젝트 스케일링부; 및 상기 삼차원구조 추출부에서 추출된 삼차원 구조 데이터와 상기 오브젝트 스케일링부에서 스케일링된 그래픽스 오브젝트 데이터를 사용자로부터 입력받은 관찰시점 및 오브젝트 위치 데이터에 의해 프로젝션시켜 합성영상을 생성하는 영상생성부를 포함함을 특징으로 하는 삼차원구조 데이터와 그래픽스 오브젝트 합성장치.An object scaling unit to scale the graphics object data by scaling information of the graphics object data extracted by the three-dimensional structure processing unit; And an image generator for projecting the three-dimensional structure data extracted by the three-dimensional structure extractor and the graphics object data scaled by the object scaling unit by the observation viewpoint and the object position data input from the user to generate a composite image. 3D structure data and graphics object synthesizing apparatus. 제1항에 있어서, 상기 영상생성부는 사용자로부터 입력받은 상기 오브젝트 위치 데이터에 의해, 상기 오브젝트 스케일링부에서 스케일링된 그래픽스 오브젝트 데이터가 상기 삼차원구조 추출부에서 추출된 삼차원 구조 데이터 내에서 점유하는 위치를 결정하는 오브젝트 이동부;The image generation unit of claim 1, wherein the image generation unit determines, based on the object position data input from the user, graphics object data scaled by the object scaling unit to occupy in the three-dimensional structure data extracted by the three-dimensional structure extraction unit. An object moving unit; 사용자로부터 입력받은 상기 오브젝트 위치 데이터 및 상기 관찰시점에 의해, 상기 오브젝트 이동부에서 위치 결정된 그래픽스 오브젝트 데이터의 가시표면을 결정하는 오브젝트 회전부;An object rotating unit configured to determine a visible surface of the graphic object data positioned in the object moving unit based on the object position data and the observation viewpoint received from a user; 상기 오브젝트 회전부에서 가시표면이 결정된 그래픽스 오브젝트 데이터에 셰이딩을 하는 칼라 셰이딩부;A color shading unit configured to shade the graphics object data having a visible surface determined by the object rotating unit; 상기 삼차원구조 추출부에서 추출된 삼차원 구조 데이터에 실영상으로부터의 텍스쳐를 매핑하는 텍스쳐 매핑부; 및 사용자로부터 입력받은 상기 관찰시점에 따라, 상기 칼라 셰이딩부에서 셰이딩된 그래픽스 오브젝트 데이터와 상기 텍스쳐 매핑부에서 텍스쳐 매핑된 삼차원 구조 데이터를 렌더링하는 프로젝션부를 구비함을 특징으로 하는 삼차원구조 데이터와 그래픽스 오브젝트 합성장치.A texture mapping unit for mapping a texture from a real image to the three-dimensional structure data extracted by the three-dimensional structure extraction unit; And a projection unit for rendering the graphics object data shaded by the color shading unit and the three-dimensional structure data texture-mapped by the texture mapping unit according to the observation time input from the user. Synthesis device. 제2항에 있어서, 상기 프로젝션부는 상기 칼라 셰이딩부와 상기 텍스쳐 매핑부가 동일한 시점을 갖도록 하나의 프로젝션 매트릭스 스택을 사용하는 것을 특징으로 하는 삼차원구조 데이터와 그래픽스 오브젝트 합성장치.3. The apparatus of claim 2, wherein the projection unit uses one projection matrix stack such that the color shading unit and the texture mapping unit have the same viewpoint. 4. 제2항에 있어서, 상기 오브젝트 회전부는 움직임이 있는 오브젝트인 경우에, 상기 위치 데이터에 따라 움직임 벡터를 계산함에 의해 상기 그래픽스 오브젝트의 자세를 결정하는 것을 특징으로 하는 삼차원 데이터와 그래픽스 오브젝트의 합성장치.The apparatus of claim 2, wherein the object rotating unit determines a pose of the graphics object by calculating a motion vector according to the position data when the object rotating unit is a moving object. 연속된 실영상으로부터 삼차원구조 데이터를 추출하는 제1단계;Extracting three-dimensional structure data from a continuous real image; 사용자가 원하는 그래픽스 오브젝트 데이터를 생성하는 제2단계;Generating a graphics object data desired by a user; 상기 삼차원구조 데이터의 최대, 최소값을 구해서, 상기 그래픽스 오브젝트 데이터의 스케일링 정보를 추출하는 제3단계;Extracting scaling information of the graphics object data by obtaining maximum and minimum values of the three-dimensional structure data; 상기 그래픽스 오브젝트의 스케일링 정보에 의해 상기 그래픽스 오브젝트 데이터를 스케일링하는 제4단계;Scaling the graphics object data by scaling information of the graphics object; 사용자로부터 입력받은 관찰시점 및 오브젝트 위치 데이터에 의해 상기 삼차원 구조 데이터와 상기 제4단계에서 스케일링된 그래픽스 오브젝트 데이터를 프로젝션시켜 합성영상을 생성하는 제5단계를 포함함을 특징으로 하는 삼차원구조 데이터와 그래픽스 오브젝트 합성방법.And a fifth step of generating a composite image by projecting the three-dimensional structure data and the graphics object data scaled in the fourth step based on the observation viewpoint and the object position data received from a user. 3D structure data and graphics Object composition method. 제5항에 있어서, 상기 제5단계는 사용자로부터 관찰시점과 오브젝트 위치 데이터를 입력받는 단계;The method of claim 5, wherein the fifth step comprises: receiving observation time and object position data from a user; 상기 입력된 오브젝트 위치 데이터에 의해, 상기 제4단계에서 스케일링된 그래픽스 오브젝트 데이터가 상기 삼차원 구조 데이터 내에서 점유하는 위치를 결정하는 단계;Determining, by the input object position data, a position occupied by the scaled graphics object data in the three-dimensional structure data; 상기 오브젝트 위치 데이터와 상기 관찰시점에 의해, 상기 위치 결정된 그래픽스 오브젝트 데이터의 가시표면을 결정하는 단계;Determining a visible surface of the positioned graphics object data based on the object position data and the observation time point; 상기 가시표면이 결정된 그래픽스 오브젝트 데이터에 칼라 셰이딩을 하는 단계;Color shading the graphics object data whose visible surface is determined; 상기 삼차원구조 데이터에 실영상으로부터의 텍스쳐를 매핑하는 단계; 및 상기 입력된 관찰시점에 의해, 상기 텍스쳐가 맵핑된 삼차원구조 데이터와 상기 칼라 셰이딩된 그래픽스 오브젝트를 렌더링하는 단계를 포함함을 특징으로 하는 삼차원구조 데이터와 그래픽스 오브젝트의 합성방법.Mapping a texture from a real image to the three-dimensional structure data; And rendering the texture-mapped three-dimensional structure data and the color shaded graphics object according to the input observation time point.
KR1019960069290A 1996-12-20 1996-12-20 Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor KR100393185B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960069290A KR100393185B1 (en) 1996-12-20 1996-12-20 Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960069290A KR100393185B1 (en) 1996-12-20 1996-12-20 Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor

Publications (2)

Publication Number Publication Date
KR19980050467A KR19980050467A (en) 1998-09-15
KR100393185B1 true KR100393185B1 (en) 2004-01-24

Family

ID=37422002

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960069290A KR100393185B1 (en) 1996-12-20 1996-12-20 Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor

Country Status (1)

Country Link
KR (1) KR100393185B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011031026A2 (en) * 2009-09-10 2011-03-17 (주)트라이디커뮤니케이션 3d avatar service providing system and method using background image

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101299191B1 (en) * 2011-12-20 2013-08-21 최완섭 Apparatus and method for projection image into three-dimensional model
KR101895284B1 (en) 2016-01-28 2018-09-05 허상훈 Apparatus for table automatic actuating in augmented reality environment using three-dimensional model and method thereof
KR101895281B1 (en) 2016-01-28 2018-09-05 허상훈 Apparatus for capturing stick-type object in augmented reality environment and method thereof
CN115937483A (en) * 2022-12-05 2023-04-07 中科美络科技股份有限公司 Method and device for transforming three-dimensional object in two-dimensional image based on virtual reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910009093A (en) * 1989-10-04 1991-05-31 시기 모리야 Coding decoder of picture signal
KR920005012A (en) * 1990-08-28 1992-03-28 오오가 노리오 Terrain data forming device
KR960028602A (en) * 1994-12-15 1996-07-22 다까노 야스아끼 How to convert 2D video to 3D video in video game set
KR960706149A (en) * 1994-08-30 1996-11-08 질레 딸뒤 Synthesis image generating process
US5634850A (en) * 1993-05-21 1997-06-03 Sega Enterprises, Ltd. Image processing device and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910009093A (en) * 1989-10-04 1991-05-31 시기 모리야 Coding decoder of picture signal
KR920005012A (en) * 1990-08-28 1992-03-28 오오가 노리오 Terrain data forming device
US5634850A (en) * 1993-05-21 1997-06-03 Sega Enterprises, Ltd. Image processing device and method
KR960706149A (en) * 1994-08-30 1996-11-08 질레 딸뒤 Synthesis image generating process
KR960028602A (en) * 1994-12-15 1996-07-22 다까노 야스아끼 How to convert 2D video to 3D video in video game set

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011031026A2 (en) * 2009-09-10 2011-03-17 (주)트라이디커뮤니케이션 3d avatar service providing system and method using background image
WO2011031026A3 (en) * 2009-09-10 2011-06-09 (주)트라이디커뮤니케이션 3d avatar service providing system and method using background image

Also Published As

Publication number Publication date
KR19980050467A (en) 1998-09-15

Similar Documents

Publication Publication Date Title
US5694533A (en) 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism
US8648856B2 (en) Omnidirectional shadow texture mapping
Pulli et al. Acquisition and visualization of colored 3D objects
JP5299173B2 (en) Image processing apparatus, image processing method, and program
JPH0757117A (en) Forming method of index to texture map and computer control display system
JPH0950537A (en) Volume rendering device and its method
CN101477701B (en) Built-in real tri-dimension rendering process oriented to AutoCAD and 3DS MAX
JPH10198822A (en) Image compositing device
JPH09319896A (en) Three-dimensional image generating device
Sandnes Sketching 3D immersed experiences rapidly by hand through 2D cross sections
KR100393185B1 (en) Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor
CN101540056B (en) Implanted true-three-dimensional stereo rendering method facing to ERDAS Virtual GIS
CN101521828B (en) Implanted type true three-dimensional rendering method oriented to ESRI three-dimensional GIS module
KR100400208B1 (en) Apparatus for generating multi-step background picture in video game with real image background
Eren et al. Object-based video manipulation and composition using 2D meshes in VRML
EP1111546B1 (en) Display techniques for three-dimensional virtual reality
CN101488229B (en) PCI three-dimensional analysis module oriented implantation type ture three-dimensional stereo rendering method
JP3850080B2 (en) Image generation and display device
Yu Efficient visibility processing for projective texture mapping
JP3309841B2 (en) Synthetic moving image generating apparatus and synthetic moving image generating method
Casas et al. Props alive: a framework for augmented reality stop motion animation
CN101482978B (en) ENVI/IDL oriented implantation type true three-dimensional stereo rendering method
CN101561935B (en) GoCAD software-oriented implanted true three-dimensional display method
CN101488232B (en) Implanted true three-dimension volumetric display method oriented to C Tech software
JP2001283254A (en) Three-dimensional graphic plotting device and its method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120628

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20130627

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee