KR101533494B1 - Method and apparatus for generating 3d video based on template mode - Google Patents

Method and apparatus for generating 3d video based on template mode Download PDF

Info

Publication number
KR101533494B1
KR101533494B1 KR1020130037245A KR20130037245A KR101533494B1 KR 101533494 B1 KR101533494 B1 KR 101533494B1 KR 1020130037245 A KR1020130037245 A KR 1020130037245A KR 20130037245 A KR20130037245 A KR 20130037245A KR 101533494 B1 KR101533494 B1 KR 101533494B1
Authority
KR
South Korea
Prior art keywords
template model
model
template
vertex
body motion
Prior art date
Application number
KR1020130037245A
Other languages
Korean (ko)
Other versions
KR20140121064A (en
Inventor
노준용
이정진
김영휘
최성우
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130037245A priority Critical patent/KR101533494B1/en
Publication of KR20140121064A publication Critical patent/KR20140121064A/en
Application granted granted Critical
Publication of KR101533494B1 publication Critical patent/KR101533494B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

템플릿 모델 기반의 3D 영상 생성 방법 및 장치가 개시되어 있다. 3D(dimension) 영상 생성 방법은 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하는 단계와 제2 3D 템플릿 모델의 깊이 정보를 2D 객체에 적용하여 2D 객체에 대한 3D 객체를 생성하는 단계를 포함할 수 있다. . 따라서, 생성된 3D 객체의 에러를 최소화하여 양질의 3D 영상을 생성할 수 있다.A method and apparatus for generating a 3D image based on a template model are disclosed. The 3D image generation method includes the steps of generating a second 3D template model by reflecting feature points in a two-dimensional plane of the 2D object to minutiae points of the first 3D template model and generating depth information of the second 3D template model as a 2D object And creating a 3D object for the 2D object. . Therefore, it is possible to minimize the error of the generated 3D object, thereby generating a high-quality 3D image.

Description

템플릿 모델 기반의 3D 영상 생성 방법 및 장치{METHOD AND APPARATUS FOR GENERATING 3D VIDEO BASED ON TEMPLATE MODE}METHOD AND APPARATUS FOR GENERATING 3D VIDEO BASED ON TEMPLATE MODE [0002]

본 발명은 영상 생성 방법에 관한 것으로서, 보다 상세하게는 3D 영상을 생성하는 방법 및 장치에 관한 것이다.The present invention relates to an image generating method, and more particularly, to a method and apparatus for generating a 3D image.

3D(dimension) 영상은 복수의 카메라에 의해 촬영된 복수개의 영상을 기반으로 생성될 수도 있지만, 하나의 카메라로 촬영된 2D 영상을 3D 영상으로 전환하는 방법으로 3D 영상을 생성할 수도 있다. 하나의 카메라로 촬영된 2D 영상을 3D 영상으로 전환하는 방법은 복수개의 카메라를 사용하여 3D 영상을 생성하는 기술보다 간단한 방법으로 3D 영상을 생성할 수 있다. 하나의 카메라로 촬영된 2D 영상을 3D 영상으로 전환하는 방법은 기존의 2D 영상으로 제작된 영상을 3D 영상으로 전환하기 위해 사용할 수 있다.A 3D image may be generated based on a plurality of images captured by a plurality of cameras, but a 3D image may be generated by converting a 2D image captured by one camera into a 3D image. A method of converting a 2D image photographed by one camera into a 3D image can generate a 3D image by a simpler method than a technique of generating a 3D image using a plurality of cameras. A method of converting a 2D image photographed by one camera into a 3D image can be used to convert an image produced by a conventional 2D image into a 3D image.

2D 영상을 3D 영상으로 전환하기 위해서는 영상의 입체적인 특징을 파악해야 한다. 깊이 정보가 존재하지 않는 2D 영상으로부터 영상의 특징을 분석하여 깊이 정보를 생성하는 것이 2D 영상을 3D 영상으로 변환하는 핵심 과정 중의 하나이다.In order to convert a 2D image into a 3D image, the stereoscopic characteristics of the image must be grasped. It is one of the core processes to convert 2D images into 3D images by analyzing the features of 2D images and generating depth information.

2D 영상을 3D 영상으로 전환하기 위한 깊이 정보를 생성하기 위해 뎁스 페인팅(depth painting) 또는 로토스코핑(rotoscoping) 등을 사용할 수 있다. 로토스코핑은 영상에서 객체 간 깊이 정보를 복원하기 위해 사용하는 방법이고 뎁스 페인팅은 객체의 내부 깊이 정보를 복원하기 위해 사용하는 방법이다. 뎁스 페인팅을 사용하여 객체에 깊이 정보를 예측하기 위해서는 프레임마다 객체의 깊이 정보를 픽셀 기반으로 수동으로 추가해야 한다. Depth painting or rotoscoping can be used to generate depth information for converting a 2D image to a 3D image. Rotoscoping is a method used to restore depth information between objects in an image, and depth painting is a method used to restore an object's depth information. In order to predict depth information on an object using depth painting, the depth information of the object per frame must be manually added on a pixel basis.

사용자 스크라이블(user-scribble)의 일부 집합을 기반으로 이미지 전체의 깊이 맵을 생성할 수도 있다. 사용자 스크라이블(user-scribble)을 이용하는 방법의 경우, 정확한 깊이 맵을 생성하기 위해서는 많은 수의 사용자 스크라이블이 필요할 수 있다. 사용자 스크라이블을 이용하는 방법의 경우, 사용자 스크라이블 중 의미있는 사용자 스크라이블을 선택하는 것이 정확한 객체의 깊이 정보를 예측하는데 중요한 요소일 수 있다.You can also create a depth map of the entire image based on a subset of user scribbles. For user-scribble methods, a large number of user scribes may be required to generate an accurate depth map. In the case of using the user scribe, selecting the meaningful user scribe among the user scribe may be an important factor for predicting the accurate object depth information.

본 발명의 제1 목적은 템플릿 모델 기반의 3D 영상을 생성하는 방법을 제공하는 것이다.A first object of the present invention is to provide a method of generating a 3D image based on a template model.

본 발명의 제2 목적은 템플릿 모델 기반의 3D 영상을 생성하는 방법을 수행하는 장치를 제공하는 것이다.A second object of the present invention is to provide an apparatus for performing a method of generating a 3D image based on a template model.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 3D(dimension) 영상 생성 방법은 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하는 단계와 상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하는 단계를 포함할 수 있되, 상기 2D 객체의 특징점은 상기 2D 객체의 구조 정보를 포함하는 점일 수 있다.According to an aspect of the present invention, there is provided a method of generating a 3D image, the method including: generating a 2D 3D image of a 2D object by applying a feature point of the 2D object to a feature point of the first 3D template model, And generating a 3D object for the 2D object by applying depth information of the second 3D template model to the 2D object. The feature point of the 2D object may include a feature point of the 2D object, And may include structure information.

상기 제2 3D 템플릿 모델의 2차원 평면에서 수평 방향인 x 축의 값은 상기 제1 3D 템플릿 모델의 깊이 정보를 기반으로 보정된 값일 수 있다.The value of the x-axis in the horizontal direction in the two-dimensional plane of the second 3D template model may be a value corrected based on the depth information of the first 3D template model.

상기 3D 영상 생성 방법은 상기 제2 3D 템플릿 모델과 상기 제1 3D 템플릿 모델을 기반으로 강체 운동 행렬을 산출하는 단계와 상기 강체 운동 행렬을 상기 제1 3D 템플릿 모델에 적용하여 생성한 3D 템플릿 모델을 상기 제1 3D 템플릿 모델을 대체하는 3D 템플릿 모델로 설정하는 단계를 더 포함하되, 상기 강체 운동 행렬은 상기 제1 3D 템플릿 모델에 상기 강체 운동 행렬을 적용하여 변화시킨 3D 템플릿 모델과 상기 제2 3D 템플릿 모델 사이의 왜곡이 최소가 되도록 하는 행렬일 수 있다.The 3D image generating method may further include a step of calculating a rigid body motion matrix based on the second 3D template model and the first 3D template model and a 3D template model generated by applying the rigid body motion matrix to the first 3D template model, Wherein the rigid body motion matrix includes a 3D template model obtained by applying the rigid body motion matrix to the first 3D template model and a 3D template model obtained by applying the rigid body motion matrix to the second 3D template model, And may be a matrix that minimizes the distortion between the template models.

상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하는 단계는 상기 강체 운동 행렬의 행렬값이 미리 정해진 임계값보다 작은 경우 수행되는 단계일 수 있다.The step of applying the depth information of the second 3D template model to the 2D object to generate the 3D object for the 2D object may be performed when the matrix value of the rigid motion matrix is smaller than a predetermined threshold value.

상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하는 단계는 상기 2D 객체의 외곽선 및 상기 제2 3D 템플릿 모델의 외곽선을 결정하는 단계, 상기 2D 객체의 외곽선에 포함되는 복수개의 2D 객체 꼭지점과 상기 2D 객체 꼭지점에 대응되는 상기 3D 템플릿 모델의 3D 템플릿 모델 꼭지점을 결정하는 단계, 상기 3D 템플릿 모델 꼭지점의 깊이 정보를 상기 2D 객체 꼭지점의 깊이 정보로 설정하는 단계와 상기 3D 템플릿 모델 꼭지점의 깊이 정보를 포함한 상기 2D 객체 꼭지점을 보간하여 상기 제2 객체에 대응되는 상기 3D 객체를 생성하는 단계를 포함할 수 있다.The step of applying depth information of the second 3D template model to the 2D object to generate a 3D object for the 2D object may include determining an outline of the 2D object and an outline of the second 3D template model, Determining a 3D template model vertex of the 3D template model corresponding to the 2D object vertex and a plurality of 2D object vertices included in the outline of the 2D object vertex and setting depth information of the 3D template model vertex as depth information of the 2D object vertex And generating the 3D object corresponding to the second object by interpolating the 2D object vertex including the depth information of the 3D template model vertex.

상기 3D 영상 생성 방법은 상기 2D 객체를 기반으로 상기 제1 3D 템플릿 모델을 설정하는 단계와 상기 제1 3D 템플릿 모델의 특징점을 기반으로 상기 제1 3D 템플릿 모델의 시점 벡터를 결정하는 단계와 상기 시점 벡터 및 카메라의 시점을 기준으로 상기 제1 3D 템플릿 모델을 정렬하는 단계를 더 포함하되, 상기 시점 벡터는 복수의 상기 제1 3D 템플릿 모델의 특징점 및 상기 제1 3D 템플릿 모델의 무게 중심을 기준으로 생성되는 벡터일 수 있다. The 3D image generation method may further comprise: setting the first 3D template model based on the 2D object; determining a viewpoint vector of the first 3D template model based on the feature points of the first 3D template model; The method of claim 1, further comprising aligning the first 3D template model based on a vector and a viewpoint of a camera, wherein the viewpoint vector comprises a feature point of a plurality of the first 3D template models and a center of gravity of the first 3D template model May be a generated vector.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 3D(dimension) 영상 생성 장치는 프로세서를 포함하고, 상기 프로세서는 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하고 상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하도록 구현될 수 있되, 상기 2D 객체의 특징점은 상기 2D 객체의 구조 정보를 포함하는 점일 수 있다.According to another aspect of the present invention, there is provided an apparatus for generating a 3D image according to an embodiment of the present invention. The apparatus includes a processor, To generate a second 3D template model and to apply depth information of the second 3D template model to the 2D object to generate a 3D object for the 2D object, And may include the structure information of the 2D object.

상기 제2 3D 템플릿 모델의 2차원 평면에서 수평 방향인 x 축의 값은 상기 제1 3D 템플릿 모델의 깊이 정보를 기반으로 보정된 값일 수 있다.The value of the x-axis in the horizontal direction in the two-dimensional plane of the second 3D template model may be a value corrected based on the depth information of the first 3D template model.

상기 프로세서는 상기 제2 3D 템플릿 모델과 상기 제1 3D 템플릿 모델을 기반으로 강체 운동 행렬을 산출하고 상기 강체 운동 행렬을 상기 제1 3D 템플릿 모델에 적용하여 생성한 3D 템플릿 모델을 상기 제1 3D 템플릿 모델을 대체하는 3D 템플릿 모델로 설정하도록 구현될 수 있되, 상기 강체 운동 행렬은 상기 제1 3D 템플릿 모델에 상기 강체 운동 행렬을 적용하여 변화시킨 3D 템플릿 모델과 상기 제2 3D 템플릿 모델 사이의 왜곡이 최소가 되도록 하는 행렬일 수 있다.Wherein the processor calculates a rigid body motion matrix based on the second 3D template model and the first 3D template model and applies the rigid body motion matrix to the first 3D template model to generate a 3D template model, The rigid body motion matrix may be configured such that the rigid body motion matrix includes at least one of a 3D template model obtained by applying the rigid body motion matrix to the first 3D template model and a distortion between the 3D template model and the second 3D template model Minimum matrix.

상기 프로세서는 상기 강체 운동 행렬의 행렬값이 미리 정해진 임계값보다 작은 경우, 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하도록 구현될 수 있다.The processor may be configured to apply the depth information of the second 3D template model to the 2D object to generate a 3D object for the 2D object when the matrix value of the rigid body motion matrix is smaller than a predetermined threshold value.

상기 프로세서는 상기 2D 객체의 외곽선 및 상기 제2 3D 템플릿 모델의 외곽선을 결정하고, 상기 2D 객체의 외곽선에 포함되는 복수개의 2D 객체 꼭지점과 상기 2D 객체 꼭지점에 대응되는 상기 3D 템플릿 모델의 3D 템플릿 모델 꼭지점을 결정하고, 상기 3D 템플릿 모델 꼭지점의 깊이 정보를 상기 2D 객체 꼭지점의 깊이 정보로 설정하고, 상기 3D 템플릿 모델 꼭지점의 깊이 정보를 포함한 상기 2D 객체 꼭지점을 보간하여 상기 제2 객체에 대응되는 상기 3D 객체를 생성하도록 구현될 수 있다.Wherein the processor determines an outline of the 2D object and an outline of the second 3D template model and determines a 3D template model of the 3D template model corresponding to the 2D object vertexes included in the outline of the 2D object and the 2D object vertex, Dimensional object vertices of the 2D object vertices, determining vertexes, setting depth information of the vertexes of the 3D template model as depth information of the 2D object vertexes, interpolating the 2D object vertices including depth information of the 3D template model vertexes, And may be implemented to generate a 3D object.

상기 프로세서는 상기 2D 객체를 기반으로 상기 제1 3D 템플릿 모델을 설정하고, 상기 제1 3D 템플릿 모델의 특징점을 기반으로 상기 제1 3D 템플릿 모델의 시점 벡터를 결정하고 상기 시점 벡터 및 카메라의 시점을 기준으로 상기 제1 3D 템플릿 모델을 정렬하도록 구현될 수 있되, 상기 시점 벡터는 복수의 상기 제1 3D 템플릿 모델의 특징점 및 상기 제1 3D 템플릿 모델의 무게 중심을 기준으로 생성되는 벡터일 수 있다.The processor sets the first 3D template model based on the 2D object, determines a view vector of the first 3D template model based on the feature points of the first 3D template model, The viewpoint vector may be a vector generated based on a feature point of the plurality of first 3D template models and a center of gravity of the first 3D template model.

상술한 바와 같이 본 발명의 실시예에 따른 템플릿 모델 기반의 3D 영상 생성 방법 및 장치에 따르면, 3D 객체로 변환하고자 하는 목표 2D 객체의 특성을 반영하여 정확하게 3D 템플릿 모델을 변형할 수 있다. 따라서, 생성된 3D 객체의 에러를 최소화하여 양질의 3D 영상을 생성할 수 있다.As described above, according to the 3D image generation method and apparatus based on the template model according to the embodiment of the present invention, the 3D template model can be accurately modified by reflecting the characteristics of the target 2D object to be converted into the 3D object. Therefore, it is possible to minimize the error of the generated 3D object, thereby generating a high-quality 3D image.

도 1은 본 발명의 실시예에 따른 3D 영상 생성 방법을 나타낸 순서도이다.
도 2는 본 발명의 실시예에 따른 3D 템플릿 모델을 나타낸다.
도 3은 본 발명의 실시예에 따른 원근 보상 방법을 나타낸다.
도 4는 3D 템플릿 모델과 모델 변형 단계를 통해 변형된 3D 템플릿 모델 사이에서의 MSE(mean square error)를 나타낸다.
도 5는 본 발명의 실시예에 따른 구조 맞춤 단계를 수행하여 생성한 구조 맞춤된 3D 템플릿 모델을 나타낸다.
도 6은 본 발명의 실시예에 따른 경계선 추출 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 구조 맞춤된 3D 템플릿 모델의 경계와 2D 객체의 실루엣을 대비한 것을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따라 산출된 3D 객체를 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 3D 생성 방법을 수행하는 장치를 나타낸 개념도이다.1 is a flowchart illustrating a 3D image generating method according to an embodiment of the present invention.
2 shows a 3D template model according to an embodiment of the present invention.
3 shows a perspective compensation method according to an embodiment of the present invention.
4 shows the mean square error (MSE) between the 3D template model and the 3D template model transformed through the model transformation step.
FIG. 5 illustrates a structure-customized 3D template model created by performing the structure fitting step according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a boundary line extraction method according to an embodiment of the present invention.
FIG. 7 is a conceptual diagram showing a boundary of a 3D template model structured in accordance with an embodiment of the present invention and a silhouette of a 2D object.
8 is a conceptual diagram illustrating a 3D object calculated according to an embodiment of the present invention.
9 is a conceptual diagram illustrating an apparatus for performing a 3D generation method according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals will be used for the same constituent elements in the drawings, and redundant explanations for the same constituent elements will be omitted.

도 1은 본 발명의 실시예에 따른 3D 영상 생성 방법을 나타낸 순서도이다. 1 is a flowchart illustrating a 3D image generating method according to an embodiment of the present invention.

도 1에서는 3D 템플릿 모델을 기반으로 2D 영상을 3D 영상으로 전환하는 방법에 대해 개시한다. 2D 영상의 특정한 객체(object)를 3D로 전환함에 있어 전환의 대상되는 2D 영상의 객체를 2D 객체라는 용어로 정의하여 사용한다.FIG. 1 illustrates a method for converting a 2D image into a 3D image based on a 3D template model. In converting a specific object of a 2D image into 3D, an object of a 2D image to be converted is defined as a 2D object and used.

도 1을 참조하면, 3D 영상 생성 방법은 3D 템플릿 모델 결정 단계(100), 구조 맞춤(structural fitting) 단계(120)와 외관 매칭(appearance matching) 단계(140)로 크게 나뉠 수 있다.Referring to FIG. 1, the 3D image generation method can be largely divided into a 3D template model determination step 100, a structural fitting step 120, and an appearance matching step 140.

3D 템플릿 모델 결정 단계(100)에서는 2D 객체의 집합을 대표하는 모델로 결정할 수 있다. 3D 템플릿 모델은 객체의 특징을 나타낼 수 있는 중요 특징(salient feature)가진 모델일 수 있다. In the 3D template model determination step 100, a model representing a set of 2D objects can be determined. The 3D template model can be a model with salient features that can represent the characteristics of an object.

구조 맞춤 단계(120)에서는 3D 템플릿 모델을 기반으로 반복적인 연산을 통해 2D 객체의 특징을 반영하여 구조 맞춤된 3D 템플릿 모델을 생성할 수 있다. 이하, 본 발명의 실시예에서는 구조 맞춤 단계(120)를 수행하여 생성한 3D 템플릿 모델을 구조 맞춤된 3D 템플릿 모델이라는 용어로 정의하여 사용한다.In the structure fitting step 120, it is possible to generate a 3D template model that is structurally tailored by reflecting the characteristics of the 2D object through repetitive operations based on the 3D template model. Hereinafter, in the embodiment of the present invention, the 3D template model generated by the structure fitting step 120 is defined and used as a structure-matched 3D template model.

구조 맞춤 단계(120)는 개략적 시점 선택(rough view selection) 단계(120-1), 모델 변형(model deformation) 단계(120-2), 원근 보상(perspective compensation) 단계(120-3), 강체 움직임 정렬(rigid motion refinement) 단계(120-4)를 더 포함할 수 있다. 본 발명의 실시예에 따른 3D 영상 생성 방법에서는 구조 맞춤 단계(120) 중 모델 변형 단계(120-2), 원근 보상 단계(120-3), 강체 움직임 정렬 단계(120-4)를 반복적으로 수행하여 3D 템플릿 모델을 2D 객체를 기반으로 변형하여 구조 맞춤된 3D 템플릿 모델로 전환할 수 있다.The structure fitting step 120 includes a rough view selection step 120-1, a model deformation step 120-2, a perspective compensation step 120-3, (Rigid motion refinement) step 120-4. In the 3D image generating method according to the embodiment of the present invention, the model transforming step 120-2, the perspective compensating step 120-3, and the rigid body motion aligning step 120-4 are repeatedly performed in the structure fitting step 120 The 3D template model can be transformed based on a 2D object and converted into a structure-tailored 3D template model.

강체 움직임 정렬 단계(120-4)에서 산출되는 회전의 그레디언트(gradient of rotation), 스케일(scale), 병진 운동(translation)의 차이가 임계값 이하가 될 때까지 구조 맞춤 단계(120) 중 모델 변형 단계(120-2), 원근 보상 단계(120-3), 강체 움직임 정렬 단계(120-4)를 반복적으로 수행할 수 있다. 이에 대해서는 구체적으로 후술한다.Until the difference between the gradient of rotation, scale, and translation calculated in the rigid-body motion aligning step 120-4 is equal to or less than the threshold value, Step 120-2, perspective compensation step 120-3, and rigid body motion alignment step 120-4 may be repeatedly performed. This will be described later in detail.

외관 매칭 단계(140)는 구조 매칭 단계를 통해서 생성된 구조 맞춤된 3D 템플릿 모델을 2D 객체의 실루엣에 맞도록 매칭을 수행할 수 있다. 외관 매칭 단계(140)는 외곽선 추출(contour extraction) 단계(140-1), 외곽선 대응(contour correspondence) 단계(140-2), 실루엣 매칭(silhouette matching) 단계(140-3)를 더 포함할 수 있다.The appearance matching step 140 may perform matching to match the silhouette of the 2D object with the structured 3D template model generated through the structure matching step. The appearance matching step 140 may further include a contour extraction step 140-1, a contour correspondence step 140-2 and a silhouette matching step 140-3. have.

외곽선 추출 단계(140-1)는 2D 객체의 외곽선을 트라이맵(trimap) 기반의 매팅 기술(matting technique)을 통해 추출할 수 있다. 외곽선 대응 단계(140-2)는 외곽선 추출 단계(140-1)에서 추출된 2D 객체의 외곽선과 3D 객체의 외곽선 사이의 관련성을 추출할 수 있다. 실루엣 매칭 단계(140-3)는 추출된 관련성을 기반으로 보간을 통해 2D 객체에 대한 최종 3D 객체를 생성할 수 있다.The outline extraction step 140-1 can extract the outline of the 2D object through a matting technique based on a trimap. The outline correspondence step 140-2 can extract the relationship between the outline of the 2D object extracted in the outline extracting step 140-1 and the outline of the 3D object. The silhouette matching step 140-3 may generate the final 3D object for the 2D object through interpolation based on the extracted relevance.

이하, 본 발명의 실시예에서 3D 템플릿 모델 결정 단계(100), 구조 맞춤 단계(120)와 외관 매칭 단계(140)에 대해 구체적으로 개시한다. 구조 맞춤 단계와 외관 매칭 단계를 수행하기 위해서는 우선 3D 템플릿 모델을 결정해야 한다. Hereinafter, the 3D template model determination step 100, the structure customization step 120, and the appearance matching step 140 will be specifically described in the embodiment of the present invention. In order to perform the structure fitting step and the appearance matching step, the 3D template model must first be determined.

도 2는 본 발명의 실시예에 따른 3D 템플릿 모델을 나타낸다.2 shows a 3D template model according to an embodiment of the present invention.

도 2의 (A)는 차의 3D 템플릿 모델이고 도 2의 (B)는 얼굴의 3D 템플릿 모델이다. 3D 템플릿 모델은 3D 객체로 전환을 수행할 2D 객체의 집합을 대표하는 모델로 결정할 수 있다. 3D 템플릿 모델은 객체의 특징을 나타낼 수 있는 중요 특징(salient feature)가진 모델일 수 있다.2 (A) is a 3D template model of a car and FIG. 2 (B) is a 3D template model of a face. The 3D template model can be determined as a model representing a set of 2D objects to be converted into 3D objects. The 3D template model can be a model with salient features that can represent the characteristics of an object.

3D 템플릿 모델의 무게 중심을 원점으로 결정하여 구조 맞춤 단계와 외관 매칭 단계를 수행할 수 있다. 또한, 3D 템플릿 모델이 대칭 형태라면, 3D 템플릿 모델이 Y-Z 플레인(plane)에서 대칭이 되도록 회전하여 구조 맞춤 단계와 외관 매칭 단계를 수행하기 위한 3D 템플릿 모델의 초기 설정을 수행할 수 있다. 3D 템플릿 모델의 중요 특징은 중요 특징 추출 방법을 통해 자동적으로 추출되어 결정하거나 수동적으로 결정할 수 있다. 이하 본 발명의 실시예에서 설명할 구조 맞춤 단계는 3D 템플릿 모델에서 추출한 중요 특징을 기반으로 3D 템플릿 모델의 변형을 수행할 수 있다. 이하에서는 구조 맞춤 단계에 대해 상술한다.The center of gravity of the 3D template model can be determined as the origin and the structure matching step and the appearance matching step can be performed. If the 3D template model is a symmetric type, the 3D template model may be rotated so as to be symmetrical in the Y-Z plane so that initialization of the 3D template model for performing the structure matching step and the appearance matching step can be performed. The important features of the 3D template model can be automatically extracted or determined through an important feature extraction method or manually determined. Hereinafter, the structure customizing step, which will be described in the embodiment of the present invention, can transform the 3D template model based on the important features extracted from the 3D template model. Hereinafter, the structure fitting step will be described in detail.

1. 구조 맞춤 단계1. Structure alignment step

구조 맞춤 단계를 통해 3D 템플릿 모델의 특징점을 2D 객체의 특징점을 기반으로 피팅(fitting)할 수 있다. 본 발명의 실시예에 따른 구조 맞춤 단계에서는 모델 변형 단계를 통해 3D 템플릿 모델을 2D 객체의 특징점을 기반으로 x 축 및 y 축 방향에서 변형할 수 있다. 즉, 모델 변형 단계에서는 3D 템플릿 모델을 변형 시 z 축 방향을 고려하지 않고 변형을 수행한다. z 축을 고려하지 않은 3D 템플릿 모델의 변형 결과는 전단 왜곡(shear distortion)을 겪을 수 있다. 모델 변형 단계로 인해 발생한 전단 왜곡 에러는 아래의 수학식 1을 통해 산출될 수 있다.Through the structure fitting step, the feature points of the 3D template model can be fitted based on the feature points of the 2D object. In the structure fitting step according to the embodiment of the present invention, the 3D template model can be transformed in the x-axis and y-axis directions based on the minutiae points of the 2D object through the model transforming step. That is, in the model deformation step, deformation is performed without considering the z-axis direction when deforming the 3D template model. Deformation results of a 3D template model that does not consider the z-axis may experience shear distortion. The shear strain error caused by the model deformation step can be calculated by the following equation (1).

<수학식 1>&Quot; (1) &quot;

Figure 112013029709016-pat00001
Figure 112013029709016-pat00001

수학식 1에서

Figure 112013029709016-pat00002
는 3D 템플릿 모델의 꼭지점 위치, D()는 변형 함수를 나타낸다. 수학식 1은 모델 변형을 한 3D 템플릿과 3D 템플릿 사이의 왜곡을 나타낸다. In Equation (1)
Figure 112013029709016-pat00002
Is the vertex position of the 3D template model, and D () is the deformation function. Equation (1) represents the distortion between the 3D template and the 3D template.

전단 왜곡이 스테레오 시퀀스에 존재하는 경우 시청자는 영상의 깊이를 정확하게 인지할 수 없다. 본 발명의 실시예에서는 이러한 왜곡을 줄이기 위해 구조 맞춤 단계에서는 모델 변형뿐만 아니라 추가적으로 강체 움직임 정렬을 수행하여 3D 템플릿 모델을 변형할 수 있다. 강체 움직임 정렬을 수행하여 변형된 3D 템플릿 모델은 다시 모델 변형 단계를 수행시 참조되는 3D 템플릿 모델이 될 수 있다. If the shear distortion is present in the stereo sequence, the viewer can not accurately perceive the depth of the image. In the embodiment of the present invention, in order to reduce such distortion, it is possible to modify the 3D template model by performing rigid body motion alignment in addition to model transformation in the structure fitting step. The deformed 3D template model by performing rigid body motion alignment may be a 3D template model which is referred to when performing the model deforming step.

아래의 수학식 2는 모델 변형 단계와 강체 움직임 정렬 단계를 수행하여 생성한 3D 영상과 3D 템플릿 사이의 에러를 나타낸다. Equation (2) below represents an error between the 3D image generated by performing the model transformation step and the rigid body motion alignment step and the 3D template.

<수학식 2>&Quot; (2) &quot;

Figure 112013029709016-pat00003
Figure 112013029709016-pat00003

T는 강체 움직임 정렬 단계에서 강체 변환을 수행하는 행렬을 나타낸다. T에 대해서는 추가적으로 후술한다. 수학식 2는 모델 변형 및 강체 움직임 정렬을 수행한 3D 템플릿 모델과 모델 변형 및 강체 움직임 정렬을 수행한 3D 템플릿 모델이 다시 모델 변형 단계를 거쳐서 생성된 3D 템플릿 모델 사이의 왜곡을 산출할 수 있다. 즉, 본 발명의 실시예에서는 3D 템플릿 모델의 구조를 가능한 많이 보존하도록 하여 구조 맞춤 단계를 통해 생성한 구조 맞춤된 3D 템플릿 모델이 최소한의 왜곡을 가지도록 할 수 있다. T denotes a matrix for performing rigid transformation in the rigid-body motion alignment step. T will be further described later. Equation (2) can calculate the distortion between the 3D template model in which the model transformation and the rigid body motion alignment are performed, and the 3D template model in which the model transformation and the rigid body motion alignment are performed, again through the model transformation step. That is, in the embodiment of the present invention, the structure of the 3D template model is saved as much as possible, so that the structured 3D template model generated through the structure fitting step can have a minimum distortion.

이하, 구조 맞춤 단계에서 수행되는 1-(1) 개략적 시점 선택 및 정렬 단계, 1-(2) 모델 변형 단계, 1-(3) 원근 보상(perspective compensation) 단계 및 1-(4) 강체 움직임 정렬 단계에 대해 구체적으로 개시한다.Hereinafter, the 1- (1) rough view selecting and aligning step, the 1- (2) model deforming step, the 1- (3) perspective compensation step and the 1- Step will be described in detail.

1-(1) 개략적 시점 선택 및 정렬 단계(rough view selection and alignment).1- (1) Rough view selection and alignment.

구조 맞춤 단계에서는 모델 변형 단계 및 강체 움직임 정렬 단계를 반복적으로 수행하기 전에 개략적으로 카메라의 초기 시점을 선택할 수 있다. 카메라의 시점을 선택함으로서 2D 객체와 3D 템플릿 모델의 대응 관계를 기반으로 선택된 카메라의 시점을 기준으로 보이는 부분만을 선택하여 3D 템플릿 모델을 정렬할 수 있다.In the structure fitting step, it is possible to roughly select the initial point of the camera before repeatedly performing the model deforming step and the rigid-body motion aligning step. By selecting the viewpoint of the camera, it is possible to arrange the 3D template model by selecting only the portion that is viewed based on the viewpoint of the selected camera based on the correspondence relationship between the 2D object and the 3D template model.

카메라의 배치 정보와 3D 템플릿 모델의 시점 벡터를 기반으로 3D 템플릿 모델을 특정한 카메라의 시점을 기준으로 정렬할 수 있다. 2D 객체에 대응되는 3D 템플릿 모델의 특징점

Figure 112013029709016-pat00004
에 대한 시점 벡터
Figure 112013029709016-pat00005
는
Figure 112013029709016-pat00006
를 기반으로 산출할 수 있다. C는 무게 중심을 나타낸다.
Figure 112013029709016-pat00007
는 3D 템플릿 모델의 특징점을 나타낸다. 초기 시점 벡터는 3D 템플릿 모델의 각 특징점들에 대한 시점 벡터의 노멀라이즈된 합인
Figure 112013029709016-pat00008
를 기반으로 산출할 수 있다. 카메라의 배치 정보는 다양한 방식으로 결정할 수 있다. 예를 들어, 기존의 3D 영상을 촬영 시 사용하는 카메라의 배치를 가정하여 카메라 배치 정보를 생성하거나 디폴트 카메라 배치로 3D 카메라가 원점에 위치하는 것으로 설정하여 카메라 배치 정보를 생성할 수 있다.The 3D template model can be arranged based on the viewpoint of a specific camera based on the camera placement information and the view vector of the 3D template model. Feature points of 3D template model corresponding to 2D object
Figure 112013029709016-pat00004
&Lt; / RTI &gt;
Figure 112013029709016-pat00005
The
Figure 112013029709016-pat00006
As shown in FIG. C represents the center of gravity.
Figure 112013029709016-pat00007
Represents the feature points of the 3D template model. The initial viewpoint vector is a normalized sum of the viewpoint vectors for each feature point of the 3D template model
Figure 112013029709016-pat00008
As shown in FIG. The arrangement information of the camera can be determined in various ways. For example, camera placement information may be generated on the assumption of a camera used for capturing an existing 3D image, or camera placement information may be generated by setting a 3D camera to be located at the origin by using a default camera arrangement.

1-(2) 모델 변형 단계1- (2) Model transformation step

모델 변형 단계에서는 3D 템플릿 모델의 특징점 중 일부 특징점을 기반으로 3D 템플릿 모델을 변형할 수 있다. 나머지 특징점들의 변형은 보간을 통해 예측될 수 있다. 본 발명의 실시예에서는 3D 템플릿 모델에 대한 모델 변형을 수행하기 위해 RBF(radial basis function)을 사용할 수 있다. 아래의 수학식 3은 RBF를 나타낸다. In the model transformation step, the 3D template model can be modified based on some feature points of the 3D template model. The deformation of the remaining feature points can be predicted through interpolation. In an embodiment of the present invention, a radial basis function (RBF) can be used to perform a model transformation on a 3D template model. Equation (3) below represents RBF.

<수학식 3>&Quot; (3) &quot;

Figure 112013029709016-pat00009
Figure 112013029709016-pat00009

수학식 3에서

Figure 112013029709016-pat00010
는 3D 템플릿 모델의 꼭지점 위치,
Figure 112013029709016-pat00011
는 RBF의 가중치를 나타낸다.
Figure 112013029709016-pat00012
는 3D 템플릿 모델의 특징점을 나타낸다. 3D 템플릿 모델의 특징점은 또한 모델 변형을 수행하기 위한 중심점이 될 수 있다. 꼭지점 및 특징점은 2D 객체, 3D 템플릿 모델의 구조 정보를 포함하는 점일 수 있다. 커널 함수
Figure 112013029709016-pat00013
로
Figure 112013029709016-pat00014
를 사용할 수 있다. 커널 함수
Figure 112013029709016-pat00015
를 통해 모델 변형을 수행 시 벤딩 에너지(bending energy)를 최소화할 수 있다. A(x)는 아핀 변환(affine transformation)을 나타낸다. In Equation 3,
Figure 112013029709016-pat00010
The position of the vertex of the 3D template model,
Figure 112013029709016-pat00011
Represents the weight of the RBF.
Figure 112013029709016-pat00012
Represents the feature points of the 3D template model. The feature points of the 3D template model can also be a central point for performing model transformation. The vertices and minutiae points may be points including the structure information of the 2D object and the 3D template model. Kernel function
Figure 112013029709016-pat00013
in
Figure 112013029709016-pat00014
Can be used. Kernel function
Figure 112013029709016-pat00015
The bending energy can be minimized when the model transformation is performed. A (x) represents an affine transformation.

Figure 112013029709016-pat00016
및 아핀 변환은 아래의 수학식 4를 기반으로 결정될 수 있다.
Figure 112013029709016-pat00016
And the affine transformation can be determined based on Equation (4) below.

<수학식 4>&Quot; (4) &quot;

Figure 112013029709016-pat00017
Figure 112013029709016-pat00017

수학식 4에서,

Figure 112014061269902-pat00018
는 객체에서 특징점의 위치를 나타내며,
Figure 112014061269902-pat00115
는 RBF의 가중치를 나타내고,
Figure 112014061269902-pat00116
는 3D 템플릿 모델의 특징점을 나타내며, a는 아핀 변환 계수이다.In Equation (4)
Figure 112014061269902-pat00018
Represents the position of the feature point in the object,
Figure 112014061269902-pat00115
Represents the weight of the RBF,
Figure 112014061269902-pat00116
Represents a feature point of the 3D template model, and a is an affine transformation coefficient.

모델 변형 단계에서는 3D 템플릿 모델은 수학식 4를 통해 산출된

Figure 112013029709016-pat00019
와 아핀 변환 계수를 기반으로 변환된다. 이러한 변환을 통해 3D 템플릿 모델을 2D 평면 상으로 2D 객체의 특징점을 기반으로 변형할 수 있다. 모델 변형 단계를 통해 변형된 3D 템플릿 모델은 2D 평면 상의 모델일 수 있다.In the model transformation step, the 3D template model is calculated using Equation (4)
Figure 112013029709016-pat00019
And affine transform coefficients. With this transformation, the 3D template model can be transformed on the 2D plane based on the feature points of the 2D object. The 3D template model transformed through the model transformation step may be a model on the 2D plane.

1-(3) 원근 보상(perspective compensation) 단계.1- (3) perspective compensation step.

원근 보상 단계에서는 3D 템플릿 모델의 z 축 값을 기반으로 모델 변형 단계를 거친 3D 템플릿 모델을 보상할 수 있다.In the perspective compensation step, the 3D template model that has undergone the model transformation step can be compensated based on the z-axis value of the 3D template model.

도 3은 본 발명의 실시예에 따른 원근 보상 방법을 나타낸다.3 shows a perspective compensation method according to an embodiment of the present invention.

도 3을 참조하면, 점선(300)은 모델 변형 단계를 수행한 3D 템플릿 모델을 나타내고, 실선(310)은 원근 보상을 수행한 결과를 나타낸다.Referring to FIG. 3, a dashed line 300 represents a 3D template model in which the model transformation step is performed, and a solid line 310 represents a result of performing perspective compensation.

모델 변형을 수행한 3D 템플릿 모델과 3D 템플릿 모델을 비교하여 왜곡 에러를 산출하기 위해 3D 템플릿 모델의 z 값을 복원할 수 있다. 단순히 z 값만을 복원하는 것은 카메라에 입력된 영상과 모델 변형을 수행한 3D 템플릿 모델 사이의 차이만을 생성하기 때문에 원근 효과가 고려되지 않을 수 있다. 따라서, 모델 변형을 수행한 3D 템플릿에 대하여 원근 효과를 고려하여 산출된 x 값을 z값 및 카메라와 카메라가 영사하는 이미지 플레인 사이의 거리를 고려하여 아래의 수학식 5를 기반으로 변경할 수 있다. The z value of the 3D template model can be restored in order to compute the distortion error by comparing the 3D template model with the model transformed to the 3D template model. Reconstructing only the z value simply creates the difference between the image input to the camera and the 3D template model that performed the model transformation, so the perspective effect may not be considered. Therefore, the x value calculated by considering the perspective effect on the 3D template subjected to the model transformation can be changed based on the z value and the distance between the camera and the image plane projected by the camera based on the following Equation (5).

<수학식 5>&Quot; (5) &quot;

Figure 112013029709016-pat00020
Figure 112013029709016-pat00020

전술한 바와 같이 1-(2) 모델 변형 단계, 1-(3) 원근 보상(perspective compensation) 단계 및 후술할 1-(4) 강체 움직임 정렬 단계는 반복적으로 수행될 수 있다. 즉, 1-(4) 강체 움직임 정렬 단계까지 거친 3D 템플릿 모델이 다시 참조되는 3D 템플릿 모델로서 1-(2) 모델 변형 단계, 1-(3) 원근 보상(perspective compensation) 단계를 거칠 수 있다. 위의 반복 절차를 n회(n은 정수) 반복을 수행한 3D 템플릿 모델과 n회 반복을 수행 후, 1-(2) 모델 변형 단계, 1-(3) 원근 보상단계를 수행한 결과가 비교될 수 있다. 이러한 비교는 전술한 수학식 2를 통해 수행될 수 있다. 비교 결과 두 값의 차이가 크지 않은 경우 구조 맞춤 단계는 종료하고, 산출된 구조 맞춤된 3D 템플릿 모델을 기반으로 외관 매칭 단계을 수행할 수 있다. As described above, the 1- (2) model modification step, the 1- (3) perspective compensation step, and the 1- (4) rigid body motion alignment step may be repeatedly performed. That is, the rough 3D template model may be subjected to the 1- (2) model transformation step and the 1- (3) perspective compensation step as the 3D template model which is referenced again to the 1- (4) rigid body movement alignment step. After repeating the above iteration n times (n is an integer) and repeating the 3D template model n times, the result of performing 1 - (2) model transformation step and 1 - (3) . This comparison can be performed through Equation (2). If the difference between the two values is not large as a result of the comparison, the structure matching step ends and the outer matching step can be performed based on the calculated structure-fitted 3D template model.

1-(4) 강체 움직임 정렬 단계(rigid motion alignment)1- (4) Rigid motion alignment

일반적으로 3D 템플릿 모델는 객체의 대표적인 모델이기 때문에 모델 변형을 거친다고 하더라도 2D 객체의 특성을 정확하게 반영하기가 어렵다. 따라서, 3D 템플릿 모델과 이미지의 2D 객체 사이의 내제적인 차이로 인한 3D 템플릿 모델의 부자연스러운 왜곡을 가질 수 있다.Since the 3D template model is a typical model of an object, it is difficult to accurately reflect characteristics of a 2D object even if the model is deformed. Thus, it can have an unnatural distortion of the 3D template model due to the intrinsic difference between the 3D template model and the 2D object of the image.

강체 움직임 정렬 단계에서는 회전(rotation), 크기(scale), 병진 운동(translation)을 포함하는 자세(pose) 정보를 이용하여 모델 변형 단계 및 원근 보상 단계를 거친 3D 템플릿 모델을 변형할 수 있다. 산출된

Figure 112013029709016-pat00021
는 다음 반복 절차에서 모델 변형에 사용되는 3D 템플릿 모델에 적용될 수 있다.
Figure 112013029709016-pat00022
는 아래의 수학식 6을 기반으로 선형 최적화로 산출될 수 있다.In the rigid body motion alignment step, the 3D template model can be transformed through the model transformation step and perspective compensation step using pose information including rotation, scale, and translation. Calculated
Figure 112013029709016-pat00021
Can be applied to the 3D template model used for model transformation in the next iteration procedure.
Figure 112013029709016-pat00022
Can be calculated by linear optimization based on Equation (6) below.

<수학식 6>&Quot; (6) &quot;

Figure 112013029709016-pat00023
Figure 112013029709016-pat00023

여기서

Figure 112013029709016-pat00024
는 모델 변형 단계 및 원근 보상 단계를 통해 변형된 3D 템플릿 모델의 꼭지점의 x 및 y 축 좌표,
Figure 112013029709016-pat00025
는 현재 반복 절차의 모델 변형 단계에서 사용한 3D 템플릿 모델의 꼭지점을 나타낸다. 꼭지점 및 특징점은 2D 객체, 3D 템플릿 모델의 구조 정보를 포함하는 점일 수 있다. 현재 반복 절차의 모델 변형 단계에서 사용한 3D 템플릿 모델의 z값은 모델 변형 단계에서
Figure 112013029709016-pat00026
으로부터 복사되는 값일 수 있다. 수학식 6의 강체 움직임 행렬 는 아래의 수학식 7과 같은 4x4 행렬로 나타낼 수 있다.here
Figure 112013029709016-pat00024
The x and y axis coordinates of the vertices of the 3D template model transformed through the model transformation step and the perspective compensation step,
Figure 112013029709016-pat00025
Represents the vertex of the 3D template model used in the model transformation step of the current iteration procedure. The vertices and minutiae points may be points including the structure information of the 2D object and the 3D template model. The z-value of the 3D template model used in the model transformation step of the current iteration process is
Figure 112013029709016-pat00026
Lt; / RTI &gt; The rigid body motion matrix of Equation (6) can be represented by a 4x4 matrix as shown in Equation (7) below.

<수학식 7>&Quot; (7) &quot;

Figure 112013029709016-pat00027
Figure 112013029709016-pat00027

여기서,

Figure 112013029709016-pat00028
는 스케일 값으로 s를 가지는 회전 행렬(rotation matrix),
Figure 112013029709016-pat00029
는 동차 좌표계(homogeneous coordinate)에서 병진 운동 벡터(translation vector)이다. here,
Figure 112013029709016-pat00028
A rotation matrix having a scale value s,
Figure 112013029709016-pat00029
Is a translation vector in a homogeneous coordinate system.

축과 각(axis-angle)을 기반으로 한 표현을 사용하여 회전 행렬은 아래와 같은 수학식 8로 표현될 수 있다.Using the expression based on the axis-angle, the rotation matrix can be expressed by the following equation (8).

<수학식 8>&Quot; (8) &quot;

Figure 112013029709016-pat00030
Figure 112013029709016-pat00030

Figure 112013029709016-pat00031
는 R의 3D 회전축이고
Figure 112013029709016-pat00032
는 각도를 나타낸다.
Figure 112013029709016-pat00033
는
Figure 112013029709016-pat00034
에 의해 정의된 3x3 skew-symmetric 행렬이다.
Figure 112013029709016-pat00035
는 아래의 수학식 9와 같이 정의된다.
Figure 112013029709016-pat00031
Is the 3D rotation axis of R
Figure 112013029709016-pat00032
Represents an angle.
Figure 112013029709016-pat00033
The
Figure 112013029709016-pat00034
Lt; / RTI &gt; is a 3x3 skew-symmetric matrix defined by &lt; RTI ID = 0.0 &gt;
Figure 112013029709016-pat00035
Is defined as Equation (9) below.

<수학식 9>&Quot; (9) &quot;

Figure 112013029709016-pat00036
Figure 112013029709016-pat00036

"R. M. Murray, Z. Li, and S. S. Sastry, "A mathematical introduction to robotic manipulation," 1994."에 개시된 Rodrigues 회전 수식(Rodrigues rotation fomular)을 기반으로 R은 아래의 수학식 10과 같이 표현될 수 있다.Based on the Rodrigues rotation fomular described in RM Murray, Z. Li, and SS Sastry, "A mathematical introduction to robotic manipulation," 1994, R can be expressed as: .

<수학식 10>&Quot; (10) &quot;

Figure 112013029709016-pat00037
Figure 112013029709016-pat00037

따라서,

Figure 112013029709016-pat00038
는 아래의 수학식 11과 같이 작은 각도의 회전을 가정하는 선형 근사(linear approximation)로 산출될 수 있다.therefore,
Figure 112013029709016-pat00038
Can be calculated as a linear approximation assuming a small angle rotation as shown in Equation (11) below.

<수학식 11>Equation (11)

Figure 112013029709016-pat00039
Figure 112013029709016-pat00039

수학식 11을 다시 수학식 6에 대입하여 아래의 수학식 12를 산출할 수 있다.Equation (11) can be substituted into Equation (6) to calculate Equation (12) below.

<수학식 12>&Quot; (12) &quot;

Figure 112013029709016-pat00040
Figure 112013029709016-pat00040

수학식 11에서 마지막 2개의 행은 모델 변형 단계를 통해 변형된 3D 템플릿 모델이 2D 영역의 x 및 y 축 정보만 가지기 때문에 무시될 수 있다.

Figure 112013029709016-pat00041
,
Figure 112013029709016-pat00042
는 수학식 12의 결과값를 통해 예측할 수 있다. 예를 들어,
Figure 112013029709016-pat00043
는
Figure 112013029709016-pat00044
와
Figure 112013029709016-pat00045
의 평균으로 산출될 수 있다.
Figure 112013029709016-pat00046
는 주어진 카메라로부터 디폴트 거리(=50)로 설정될 수 잇다. 산출된
Figure 112013029709016-pat00047
를 사용하여 모델 변형 과정에서 사용하였던 3D 템플릿 모델을 변형할 수 있다. 변형된 3D 템플릿 모델은 반복 절차에서 다시 참조 되는 3D 템플릿 모델이 될 수 있다. 아래의 수학식 13은
Figure 112013029709016-pat00048
를 기반으로 3D 템플릿 모델을 변형하는 것을 나타낸다.The last two rows in Equation (11) can be ignored because the 3D template model transformed through the model transformation step has only the x and y axis information of the 2D region.
Figure 112013029709016-pat00041
,
Figure 112013029709016-pat00042
Can be predicted through the result of Equation (12). E.g,
Figure 112013029709016-pat00043
The
Figure 112013029709016-pat00044
Wow
Figure 112013029709016-pat00045
As shown in FIG.
Figure 112013029709016-pat00046
Can be set to a default distance (= 50) from a given camera. Calculated
Figure 112013029709016-pat00047
Can be used to transform the 3D template model used in the model transformation process. The modified 3D template model can be a 3D template model that is referenced again in the iteration procedure. The following equation (13)
Figure 112013029709016-pat00048
Based 3D model model.

<수학식 13>&Quot; (13) &quot;

Figure 112013029709016-pat00049
Figure 112013029709016-pat00049

수학식 13에 의해 변형된 3D 템플릿 모델을 기반으로 전술한 모델 변형 단계, 원근 보상 단계, 강체 움직임 정렬 단계를 반복하여 수행할 수 있다.

Figure 112013029709016-pat00050
는 강체 운동 행렬로서 3D 템플릿 모델에 적용하여 모델 변형된 3D 템프릿 모델과의 왜곡이 최소가 되도록 할 수 있다. 즉,
Figure 112013029709016-pat00051
는 3D 템플릿 모델을 2D 객체의 특성을 감안하여 강체 운동을 시키는 행렬로 사용할 수 있다.The above-described model transforming step, perspective compensating step, and rigid body motion aligning step can be repeatedly performed based on the 3D template model modified by Equation (13).
Figure 112013029709016-pat00050
Can be applied to a 3D template model as a rigid body motion matrix so as to minimize the distortion from the 3D template model. In other words,
Figure 112013029709016-pat00051
Can use the 3D template model as a matrix for giving rigid body motion considering the characteristics of the 2D object.

Figure 112013029709016-pat00052
의 값이 미리 정해놓은 임계값보다 적은 경우 더 이상 반복절차를 수행하지 않고, 결정된 3D 템플릿 모델을 외관 매칭 단계에서 사용할 수 있다. 강체 운동 행렬의 행렬값이 미리 정해진 임계값보다 작은 경우, 즉, 더 이상 추가적으로 강체 변환을 수행할 필요가 없을 경우에는 결정된 3D 템플릿 모델을 기반으로 이후의 외관 매칭 절차를 수행할 수 있다.
Figure 112013029709016-pat00052
Is less than a predetermined threshold value, the determined 3D template model can be used in the appearance matching step without performing the iteration process any more. When the matrix value of the rigid body motion matrix is smaller than a predetermined threshold value, that is, when it is not necessary to further perform the rigid body transformation, the following outer matching process can be performed based on the determined 3D template model.

즉, 모델 변형 단계, 원근 보상 단계를 통해 2D 객체의 2차원 평면에서의 특징점을 대응되는 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성할 수 있다. 제2 3D 템플릿 모델은 강체 움직임 정렬 단계를 통해 생성한 강체 움직임 행렬을 통해 변형될 수 있고, 강체 움직임 행렬을 적용하여 변형한 제2 3D 템플릿 모델은 다시 모델 변형을 수행하는 제1 3D 템플릿 모델로 사용되어 모델 변형 단계를 거칠 수 있다. 다시 모델 변형을 수행하게된 제1 3D 템플릿 모델과 다시 모델 변형을 수행하기 전의 제1 3D 템플릿 모델(즉, 강체 움직임 행렬을 적용하여 변형한 3D 템플릿 모델로서 모델 변형을 다시 수행하기 전의 3D 템플릿 모델)의 차이가 임계값보다 적은 경우에도 반복 절차를 중단하고 결정된 3D 템플릿 모델을 기반으로 외관 매칭 단계를 수행할 수 있다.That is, the second 3D template model can be generated by reflecting the feature points on the two-dimensional plane of the 2D object to the corresponding feature points of the first 3D template model through the model transformation step and the perspective compensation step. The second 3D template model may be transformed through a rigid motion matrix generated through a rigid motion alignment step, and the second 3D template model modified by applying a rigid motion matrix may be transformed into a first 3D template model Can be used to go through the model transformation step. The first 3D template model to be subjected to the model transformation again and the first 3D template model before the model transformation (i.e., the 3D template model transformed by applying the rigid body motion matrix) ) Is less than the threshold value, the iterative procedure can be stopped and the appearance matching step can be performed based on the determined 3D template model.

도 4는 3D 템플릿 모델과 모델 변형 단계를 통해 변형된 3D 템플릿 모델 사이에서의 MSE(mean square error)를 나타낸다.4 shows the mean square error (MSE) between the 3D template model and the 3D template model transformed through the model transformation step.

여기서 3D 템플릿 모델은 n회 회전 행렬을 수행하여 변환된 3D 모델일 수 있고, 모델 변형 단계를 통해 변형된 3D 템플릿 모델은 n회(n은 정수) 회전 행렬을 수행하여 변환된 3D 모델에 추가적으로 모델 변형 단계 및 원근 보상 단계를 수행한 모델을 의미할 수 있다.Here, the 3D template model may be a transformed 3D model by performing an n-times rotation matrix, and the 3D template model transformed through the model transformation step may be performed by performing n (n is an integer) rotation matrix on the transformed 3D model, And a model in which the distortion compensation step and the perspective compensation step are performed.

도 4를 참조하면 2회 반복 절차를 수행하는 경우 3D 템플릿 모델과 모델 변형 단계를 통해 변형된 3D 템플릿 모델 사이에서의 MSE가 매우 작은 값으로 줄어드는 것을 확인할 수 있다. 즉, 본 발명의 실시예에 따른 구조 매칭 단계에서는 적은 수의 반복을 통해서 왜곡이 적은 3D 템플릿 모델을 기반으로 구조 맞춤된 3D 템플릿 모델을 생성할 수 있다.Referring to FIG. 4, it can be seen that the MSE between the 3D template model and the modified 3D template model is reduced to a very small value when the iteration procedure is performed twice. That is, in the structure matching step according to the embodiment of the present invention, it is possible to generate a 3D template model that is structurally tailored based on a 3D template model with less distortion through a small number of iterations.

도 5는 본 발명의 실시예에 따른 구조 맞춤 단계를 수행하여 생성한 구조 맞춤된 3D 템플릿 모델을 나타낸다.FIG. 5 illustrates a structure-customized 3D template model created by performing the structure fitting step according to an embodiment of the present invention.

도 5의 (A)는 3D 영상으로 변환을 수행할 목표 2D 객체, 도 5의 (B)는 3D 영상 변환에 사용될 3D 템플릿 모델이다. FIG. 5A is a target 2D object to be converted into a 3D image, and FIG. 5B is a 3D template model to be used for 3D image conversion.

전술한 바와 같이 3D 템플릿 모델은 목표 2D 객체의 특징점을 기반으로 구조맞춤 단계를 수행할 수 있다. As described above, the 3D template model can perform the structure matching step based on the minutiae of the target 2D object.

도 5의 (C)는 모델 변형 단계, 원근 보상 단계, 강체 움직임 정렬 단계를 1회 수행한 경우 이미지 플레인 상에 출력되는 이미지를 나타낸다. 위의 절차를 1회만 수행한 경우에는 구조 맞춤된 3D 템플릿 모델이 2D 객체와 잘 매칭되지 않을 수 있다.FIG. 5C shows an image output on the image plane when the model transformation step, perspective compensation step, and rigid body motion alignment step are performed once. If the above procedure is performed only once, the structure-matched 3D template model may not be matched well with the 2D object.

도 5의 (D)는 모델 변형 단계, 원근 보상 단계, 강체 움직임 정렬 단계를 5회 수행한 경우 이미지 플레인 상에 출력되는 이미지를 나타낸다. 위의 절차를 반복하여 수행하는 경우 구조 맞춤된 3D 템플릿 모델은 목표 2D 객체에 더욱 정확하게 매칭될 수 있다. 따라서, 구조 맞춤 단계에서 반복되는 단계를 통해 구조 맞춤된 3D 템플릿 모델을 기반으로 목표 2D 객체에 대응되는 3D 객체를 보다 정확하게 생성할 수 있다.FIG. 5D shows an image output on the image plane when the model transformation step, the perspective compensation step, and the rigid body motion alignment step are performed five times. By repeating the above procedure, the structured 3D template model can be more accurately matched to the target 2D object. Accordingly, the 3D object corresponding to the target 2D object can be more accurately generated based on the 3D template model structured through the repeated steps in the structure fitting step.

추가적으로 본 발명의 실시예에서는 특징 트래킹(feature tracking) 방법을 사용하여 시간적인 코히어런스(temporal coherence)는 유지하면서 이미지 시퀀스에서 남은 프레임을 처리할 수 있다. 복수의 프레임을 통해 특징 트래킹을 수행할 경우, 첫 번째 프레임의 3D 템플릿 모델의 비율을 나머지 프레임에 대한 동일한 스케일 값 s로 유지하여 예측할 수 있다.Additionally, embodiments of the present invention may use the feature tracking method to process the frames remaining in the image sequence while maintaining temporal coherence. When the feature tracking is performed through a plurality of frames, the ratio of the 3D template model of the first frame can be predicted by maintaining the same scale value s for the remaining frames.

특징 트래킹은 3D 템플릿 모델의 특징점의 X 및 Y의 위치만을 평가할 수 있다.

Figure 112013029709016-pat00053
는 스케일 s를 기반으로
Figure 112013029709016-pat00054
Figure 112013029709016-pat00055
로 업데이트될 수 있다. 추가적으로 현재 포즈 정보를 다음 프레임에 대한 처음 포즈 정보로 사용함으로서 프레임 사이에서 코히어런스를 유지할 수 있다.Feature tracking can evaluate only the X and Y positions of the feature points of the 3D template model.
Figure 112013029709016-pat00053
Based on scale s
Figure 112013029709016-pat00054
Figure 112013029709016-pat00055
Lt; / RTI &gt; In addition, coherence between frames can be maintained by using the current pose information as initial pose information for the next frame.

이하, 본 발명의 실시예에서는 구조 맞춤 단계를 통해 산출된 결과를 기반으로 외관 매칭을 수행하는 방법에 대해 개시한다.Hereinafter, an embodiment of the present invention will be described with reference to a method for performing appearance matching based on results calculated through a structure fitting step.

2. 외관 매칭 단계2. Appearance matching step

구조 맞춤 단계를 통해 산출된 구조 맞춤된 3D 템플릿 모델은 외관 매칭 단계를 통해 객체의 실루엣을 반영한 모델로 생성될 수 있다. 구조 맞춤 단계를 통해 3D 템플릿 모델을 기반으로 2D 객체에 대한 정확하게 예측한 깊이 정보를 산출할 수 있다. 하지만, 2D 객체를 3D 객체로 변환함에 있어서 2D 객체의 경계에 대한 정보를 추가적으로 고려하지 않는 경우, 좋지 않은 변환 성능을 보일 수 있다. 외관 매칭 단계에서는 구조 맞춤 단계를 통해 생성한 구조 맞춤된 3D 템플릿 모델의 경계를 2D 객체의 실루엣에 맞추어 최종적인 3D 객체를 생성하는 방법에 대해 개시한다. 외관 매칭 단계는 경계 추출 단계, 경계 대응 단계, 실루엣 매칭 단계를 포함할 수 있다.The structured 3D template model calculated through the structure fitting step can be generated as a model reflecting the silhouette of the object through the appearance matching step. Through the structure fitting step, it is possible to calculate accurately predicted depth information on the 2D object based on the 3D template model. However, when the 2D object is converted into the 3D object, if the information on the boundary of the 2D object is not additionally considered, the conversion performance may be poor. In the appearance matching step, a method of generating a final 3D object by matching the boundaries of the structure-customized 3D template model created through the structure fitting step to the silhouette of the 2D object is disclosed. The appearance matching step may include a boundary extracting step, a boundary matching step, and a silhouette matching step.

2-(1). 경계 추출 단계2- (1). Boundary extraction stage

경계 추출 단계에서는 2D 객체 및 구조 맞춤된 3D 템플릿 모델의 경계를 추출할 수 있다. 2D 객체의 경계는 트라이맵 기반의 매팅 기술(trimap-based matting technique)을 사용하여 추출될 수 있다. 트라이맵 기반의 매팅 기술은 로버스트 칼라 샘플링(robust color sampling)을 기반으로 한 기술이다. 로버스트 칼라 샘플링은 관련된 신뢰도 값에 따라 알려지지 않은 픽셀에 대한 전경(foreground)과 배경(background)의 색상을 예측하는 방법이다. 트라이맵 기반의 매팅 기술은 로버스트(robust)하고 강력한 성능을 가진 기술이나, 초기 트라이맵을 생성하기가 복잡도가 높고 시간이 많이 걸릴 수 있다. 본 발명의 실시예에 따른 3D 템플릿 모델의 경계 추출 단계는 구조 맞춤된 3D 템플릿 모델을 기반으로 수행될 수 있다. 구조 맞춤된 3D 템플릿 모델은 트라이맵 기반의 매팅 기술을 빠르게 수행할 수 있도록 한다.In the boundary extraction step, the boundaries between the 2D object and the structure-fitted 3D template model can be extracted. The boundaries of 2D objects can be extracted using a trimap-based matting technique. The tri-map-based matting technique is based on robust color sampling. Robust color sampling is a method of predicting foreground and background colors for unknown pixels according to their associated confidence values. Triimap-based matting techniques are robust and robust, but creating an initial triimap can be complex and time-consuming. The boundary extracting step of the 3D template model according to the embodiment of the present invention can be performed based on the 3D template model structured. The structure-tailored 3D template model makes it possible to quickly perform tri-map-based matching techniques.

도 6은 본 발명의 실시예에 따른 경계선 추출 방법을 나타낸 개념도이다. 6 is a conceptual diagram illustrating a boundary line extraction method according to an embodiment of the present invention.

도 6의 (A)는 구조 맞춤된 3D 템플릿 모델에 대한 알파맵(alpha map)을 렌더링한 것으로 나타낸다.Figure 6 (A) shows an alpha map rendered for a 3D template model that is structurally tailored.

렌더링된 알파맵은 경계선을 추출하기 위한 초기 트라이맵으로 사용될 수 있다. 트라이맵에서 알 수 없는 영역을 결정하는 것은 매팅 문제(matting problem)로서 수행될 수 있다. 트라이맵은 모폴로지 연산자(morphology operator:dilation, erossion)에 의해 생성될 수 있다. 도 6(B)에서처럼 사용자는 트라이맵의 경계의 내부와 외부를 제어하여 쉽게 알 수 없는 영역을 구별할 수 있다. 매팅 기술은 생성된 트라이 맵에 적용될 수 있다.The rendered alpha map can be used as an initial tri-map to extract boundaries. Determining an unknown area in the tri map can be performed as a matting problem. The tri-map can be generated by a morphology operator (dilation, erosion). As shown in FIG. 6 (B), the user can easily distinguish the unknown region by controlling the inside and outside of the boundary of the tri map. The matting technique can be applied to the created triimap.

2-(2). 경계 대응 단계2- (2). Boundary Response Phase

경계 대응은 구조 맞춤된 3D 템플릿 모델의 경계와 2D 객체의 실루엣을 대응시킬 수 있다.Boundary correspondence can match the boundaries of the structure-aligned 3D template model and the silhouettes of 2D objects.

도 7은 본 발명의 실시예에 따른 구조 맞춤된 3D 템플릿 모델의 경계와 2D 객체의 실루엣을 대비한 것을 나타낸 개념도이다. FIG. 7 is a conceptual diagram showing a boundary of a 3D template model structured in accordance with an embodiment of the present invention and a silhouette of a 2D object.

도 7을 참조하면, 알파맵의 경계(750)와 실루엣의 경계(700) 사이에서 경계 간 가장 가까운 지점을 선택하여 대응점의 집합을 생성할 수 있다. 알파맵의 경계(750)는 구조 맞춤된 3D 템플릿 모델을 기반으로 생성된 것이고 실루엣의 경계(700)는 2D 객체로부터 생성된 것이다. Referring to FIG. 7, a set of corresponding points can be generated by selecting a point closest to the boundary between the boundary 750 of the alpha map and the boundary 700 of the silhouette. The alpha map boundary 750 is generated based on a structured 3D template model and the silhouette boundary 700 is generated from a 2D object.

구조 맞춤된 3D 모델의 꼭지점과 획득된 대응점 집합은 3D 객체 실루엣 꼭지점을 결정한다. 2D 객체의 실루엣의 3D 위치는 대응되는 3D 객체 실루엣 꼭지점의 z값으로부터 획득될 수 있다. 즉, 경계 대응 단계에서는 구조 맞춤된 3D 템플릿 모델의 꼭지점들의 깊이 정보인 z값을 2D 객체의 대응되는 지점에 부여함으로서 2D 객체에 입체감을 줄 수 있다. 경계 대응 단계를 통해 생성된 2D 객체의 실루엣에 3D 정보를 적용한 실루엣을 3D 객체 실루엣이라고 한다. The vertex of the structure-fit 3D model and the set of corresponding points obtained determine the 3D object silhouette vertices. The 3D position of the silhouette of the 2D object may be obtained from the z value of the corresponding 3D object silhouette vertex. That is, in the boundary correspondence step, a z-value, which is the depth information of the vertexes of the 3D template model that is structured, can be given to a corresponding point of the 2D object, thereby giving a 3D effect to the 2D object. The silhouette to which the 3D information is applied to the silhouette of the 2D object generated through the boundary correspondence step is called the 3D object silhouette.

2-(3). 실루엣 매칭 단계2- (3). Silhouette matching step

경계 대응 단계를 통해 획득한 3D 객체 실루엣에 대한 보간(interpolation)을 수행하여 나머지 2D 객체에 대한 3D 정보를 획득할 수 있다. 보간을 수행하기 위해서는 라플라시안 연산을 사용할 수 있다. 라플라시안 연산을 사용함으로서 구조 맞춤된 3D 템플릿 모델의 형태 특성을 보존할 수 있다. 보간 방법은 아래의 수학식 14를 통해 수행될 수 있다. It is possible to obtain 3D information on the remaining 2D objects by performing interpolation on the 3D object silhouette obtained through the boundary correspondence step. To perform the interpolation, a Laplacian operation can be used. By using the Laplacian operation, it is possible to preserve the morphological characteristics of the 3D template model that is structured. The interpolation method can be performed by Equation (14) below.

<수학식 14>&Quot; (14) &quot;

Figure 112013029709016-pat00056
Figure 112013029709016-pat00056

수학식 14를 참조하면, L은 구조 맞춤 3D 템플릿 모델의 원래 라플라시안 좌표를 나타낸다.

Figure 112013029709016-pat00057
는 외관 매칭 단계를 모두 수행하여 생성된 3D 객체의 꼭지점,
Figure 112013029709016-pat00058
은 3D 객체 실루엣 점의 집합을 나타내고
Figure 112013029709016-pat00059
는 2D 객체의 실루엣의 경계선에 해당하는 점의 집합을 나타낸다.
Figure 112013029709016-pat00060
는 구조 맞춤 단계에서 사용되는 특징점의 집합을 나타낸다.
Figure 112013029709016-pat00061
가 객체의 구조를 대표하는 중요 특징점이기 때문에
Figure 112013029709016-pat00062
도 또한
Figure 112013029709016-pat00063
의 현재 위치를 유지하도록 제한된다.
Figure 112013029709016-pat00064
및
Figure 112013029709016-pat00065
는
Figure 112013029709016-pat00066
의 부분 집합이고
Figure 112013029709016-pat00067
은 가중치로서 임의로 선택될 수 있다. 가중치는 정확한 실루엣 매칭을 하기 위해서는 큰 값이 선택될 수 있다. Referring to Equation 14, L represents the original Laplacian coordinates of the structure customized 3D template model.
Figure 112013029709016-pat00057
The vertex of the 3D object generated by performing all of the appearance matching steps,
Figure 112013029709016-pat00058
Represents a set of 3D object silhouette points
Figure 112013029709016-pat00059
Represents a set of points corresponding to the boundaries of the silhouette of the 2D object.
Figure 112013029709016-pat00060
Represents a set of minutiae used in the structure matching step.
Figure 112013029709016-pat00061
Is an important feature point representing the structure of the object
Figure 112013029709016-pat00062
also
Figure 112013029709016-pat00063
Lt; / RTI &gt;
Figure 112013029709016-pat00064
And
Figure 112013029709016-pat00065
The
Figure 112013029709016-pat00066
&Lt; / RTI &gt;
Figure 112013029709016-pat00067
May be arbitrarily selected as a weight. The weights can be chosen to be large for accurate silhouette matching.

아래의 수학식 15는 시간적인 코히어런스(temporal coherence)를 고려한 에러 함수를 나타낸다.Equation (15) below represents an error function considering temporal coherence.

<수학식 15>&Quot; (15) &quot;

Figure 112013029709016-pat00068
Figure 112013029709016-pat00068

여기서,

Figure 112013029709016-pat00069
는 이전 프레임에서의 3D 템플릿 모델의 꼭지점의 집합이고
Figure 112013029709016-pat00070
는 이전 프레임에서의 강체 변환(rigid transforamtion)을 나타낸다.
Figure 112013029709016-pat00071
는 시간적 코히어런스의 가중치이다. 각 프레임의 3D 템플릿 모델에 대하여 강체 변환을 수행하기 때문에 시간적 대응은 전체 영역이 아니라 객체 영역에서 고려될 수 있다.here,
Figure 112013029709016-pat00069
Is the set of vertices of the 3D template model in the previous frame
Figure 112013029709016-pat00070
Represents rigid transforma- tion in the previous frame.
Figure 112013029709016-pat00071
Is the weight of temporal coherence. Since the rigid transformation is performed on the 3D template model of each frame, the temporal correspondence can be considered in the object region instead of the entire region.

구조 맞춤된 3D 템플릿 모델의 실루엣의 정보를 목표 2D 객체의 실루엣 정보로 사용하는 것은 모델의 대칭성을 파괴할 수 있다. 이러한 이유로 아래의 수학식 16과 같이 정규화 텀(regularization term)을 사용하여 에러를 산출할 수 있다. Using the information of the silhouette of the structure-fit 3D template model as the silhouette information of the target 2D object can destroy the symmetry of the model. For this reason, an error can be calculated using a regularization term as shown in Equation (16) below.

<수학식 16>&Quot; (16) &quot;

Figure 112013029709016-pat00072
Figure 112013029709016-pat00072

여기서

Figure 112013029709016-pat00073
및
Figure 112013029709016-pat00074
는 꼭지점의 집합이다. 만약 두 개의 꼭지점
Figure 112013029709016-pat00075
및
Figure 112013029709016-pat00076
가 원래 객체 영역에서 Y-Z 플레인에 관련하여 반사 대칭(reflectionally symmetric)이라면, 위의 수학식 16을 사용하여 정규화를 수행할 수 있다.
Figure 112013029709016-pat00077
는 반사 대칭의 양을 결정하기 위한 가중치이다. 예를 들어,
Figure 112013029709016-pat00078
및
Figure 112013029709016-pat00079
로 설정하여 사용할 수 있다.here
Figure 112013029709016-pat00073
And
Figure 112013029709016-pat00074
Is a set of vertices. If two vertices
Figure 112013029709016-pat00075
And
Figure 112013029709016-pat00076
Is reflectionally symmetric with respect to the YZ plane in the original object region, normalization can be performed using Equation (16) above.
Figure 112013029709016-pat00077
Is a weight for determining the amount of reflection symmetry. E.g,
Figure 112013029709016-pat00078
And
Figure 112013029709016-pat00079
Can be used.

수학식 15와 수학식 16은 3D 템플릿 모델이 2D 객체의 정확한 템플릿이 아닌 경우 중요하게 사용될 수 있다. 수학식 14, 15 및 16의 조합을 기반으로 생성한 선형 최소 자승 수식을 풀어서 이미지에서 객체의 실루엣과 특징점을 반영한 3D 모델을 생성할 수 있다. Equations (15) and (16) can be used when the 3D template model is not an accurate template of a 2D object. A linear least squares equation generated based on the combination of Equations (14), (15), and (16) is solved to generate a 3D model reflecting the silhouette and minutiae of the object in the image.

도 8은 본 발명의 실시예에 따라 산출된 3D 객체를 나타낸 개념도이다.8 is a conceptual diagram illustrating a 3D object calculated according to an embodiment of the present invention.

도 8의 (A)는 구조 맞춤된 모델의 외곽선과 2D 객체의 외곽선을 나타낸다. 구조 맞춤 단계를 통한 모델 변형을 수행한 모델의 경우 2D 객체의 외곽선과 일치하지 않을 수 있다.8 (A) shows an outline of a structure-matched model and an outline of a 2D object. For a model that has undergone model transformation through the structure alignment step, it may not coincide with the outline of the 2D object.

도 8의 (B)는 외관 매칭 단계를 통한 모델 변형을 수행한 모델의 외곽선과 객체의 외곽선을 나타낸다. 외관 매칭 단계를 수행하는 경우 경계 대응 및 실루엣 매칭을 통해 2D 객체의 외곽선과 모델 변형을 수행한 모델의 외곽선이 일치하도록 변형을 수행할 수 있다.FIG. 8B shows the outline of the model and the outline of the object that have undergone the model transformation through the appearance matching step. When the appearance matching step is performed, transformation can be performed so that the outline of the 2D object and the outline of the model that has undergone the model transformation coincide with each other through boundary correspondence and silhouette matching.

도 9는 본 발명의 실시예에 따른 3D 생성 방법을 수행하는 장치를 나타낸 개념도이다. 9 is a conceptual diagram illustrating an apparatus for performing a 3D generation method according to an embodiment of the present invention.

도 9를 참조하면, 3D 영상 생성 장치는 3D 템플릿 모델 선택부(900), 구조 맞춤부(920)와 외관 매칭부(940)를 포함할 수 있다. 3D 템플릿 모델 선택부(900), 구조 맞춤부(920)와 외관 매칭부(940)는 도 1 내지 도 9에서 전술한 본 발명의 실시예를 구현할 수 있다. 예를 들어, 3D 템플릿 모델 선택부(900), 구조 맞춤부(920)와 외관 매칭부(940)의 동작을 간략하게 개시한다. 상기 3D 템플릿 모델 선택부(900), 구조 맞춤부(920)와 외관 매칭부(940)는 상기 3D 영상 생성 장치의 하나의 프로세서에 포함되어 구현되거나 따로 구현될 수 있다. 9, the 3D image generation apparatus may include a 3D template model selection unit 900, a structure alignment unit 920, and an appearance matching unit 940. FIG. The 3D template model selection unit 900, the structure fitting unit 920, and the appearance matching unit 940 may implement the embodiment of the present invention described above with reference to FIG. 1 to FIG. For example, operations of the 3D template model selection unit 900, the structure fitting unit 920, and the appearance matching unit 940 are briefly described. The 3D template model selection unit 900, the structure fitting unit 920, and the appearance matching unit 940 may be included in one processor of the 3D image generation apparatus or separately implemented.

3D 템플릿 모델 선택부(900)는 목표 2D 객체에 대해 3D 객체를 생성하기 위해 2D 객체의 특징을 대표할 수 있는 3D 모델을 선택할 수 있다. 3D 템플릿 모델 선택부(900)에서 선택된 3D 모델은 2D 객체에 대한 3D 정보를 제공할 수 있는 3D 템플릿 모델로 사용할 수 있다.The 3D template model selection unit 900 can select a 3D model that can represent the characteristics of the 2D object in order to generate the 3D object for the target 2D object. The 3D model selected by the 3D template model selection unit 900 can be used as a 3D template model that can provide 3D information on a 2D object.

구조 맞춤부(920)는 시점 선택부(920-1), 모델 변형부(920-2), 원근 보상부(920-3) 및 강체 움직임 정렬부(920-4)를 포함할 수 있다.The structure fitting unit 920 may include a view selecting unit 920-1, a model deforming unit 920-2, a perspective compensating unit 920-3, and a rigid-body motion aligning unit 920-4.

시점 선택부(920-1)는 카메라의 시점을 선택하기 위해 구현될 수 있다. 시점 선택부(920-1)에서는 2D 객체와 3D 템플릿 모델의 대응 관계를 기반으로 선택된 카메라의 시점을 기준으로 보이는 부분만을 선택하여 3D 템플릿 모델을 정렬할 수 있다. The viewpoint selection unit 920-1 may be implemented to select a viewpoint of the camera. The viewpoint selection unit 920-1 can select a portion of the 3D template model based on the correspondence relationship between the 2D object and the 3D template model, and sort the 3D template model.

모델 변형부(920-2)는 3D 템플릿 모델을 2D 객체의 특성을 반영하여 모델 변형을 수행할 수 있다. 2D 객체의 특징을 대표하는 2D 객체의 특징점을 기반으로 3D 템플릿 모델이 변형이 될 수 있다. The model transforming unit 920-2 can transform the 3D template model to reflect the characteristics of the 2D object. The 3D template model can be transformed based on the feature points of 2D objects that represent the characteristics of 2D objects.

원근 보상부(920-3)는 모델 변형을 수행한 3D 템플릿 모델 정보에 대해 시각적인 원근을 보상해주기 위해 구현될 수 있다.The perspective compensating unit 920-3 can be implemented to compensate the visual perspective on the 3D template model information that has performed the model transformation.

강체 움직임 정렬부(920-4)는 구조 맞춤 단계를 수행하는 3D 템플릿 모델을 회전 행렬을 기반으로 변형할 수 있다. 강체 움직임 정렬부(920-4)를 통해 회전 변환된 3D 템플릿 모델은 모델 변형부(920-2)로 다시 제공될 수 있다. 모델 변형부(920-2)에서는 강체 움직임 정렬부(920-4)를 통해 회전 변환된 3D 템플릿 모델을 기반으로 모델 변형 절차를 다시 수행할 수 있다.The rigid-body motion arranging unit 920-4 can transform the 3D template model performing the structure fitting step based on the rotation matrix. The 3D template model rotationally transformed through the rigid-body motion arranging unit 920-4 may be provided again to the model transforming unit 920-2. In the model transforming unit 920-2, the model transforming procedure can be performed again based on the 3D template model rotationally transformed through the rigid-body motion aligning unit 920-4.

외관 매칭부(940)는 경계 추출부(940-1), 경계 대응부((940-2), 실루엣 매칭부(940-3)를 포함할 수 있다.The appearance matching unit 940 may include a boundary extracting unit 940-1, a boundary matching unit 940-2, and a silhouette matching unit 940-3.

경계 추출부(940-1)는 2D 객체 및 구조 맞춤된 3D 템플릿 모델에 대하여 각각 경계를 추출할 수 있다. 경계 추출부(940-1)에서는 트라이맵 기반의 매팅 기술을 기반으로 경계 추출을 수행할 수 있다. The boundary extracting unit 940-1 can extract boundaries for the 2D object and the structure-fitted 3D template model, respectively. The boundary extractor 940-1 can perform boundary extraction based on the tri-map-based matting technique.

경계 대응부(940-2)는 경계 추출부(940-1)에서 추출된 경계에 대하여 각 대응점을 기반으로 경계 대응을 수행하여 2D 객체에 대한 3D 정보를 획득할 수 있다. The boundary matching unit 940-2 can acquire 3D information on the 2D object by performing boundary matching based on the corresponding points on the boundary extracted by the boundary extracting unit 940-1.

실루엣 매칭부(940-3)는 경계 대응부(940-2)에서 경계 대응을 수행한 후 보간을 수행하여 나머지 2D 객체에 대한 3D 정보를 획득할 수 있다.The silhouette matching unit 940-3 may perform the boundary correspondence in the boundary matching unit 940-2 and then perform interpolation to acquire 3D information on the remaining 2D objects.

위와 같은 구성은 설명의 편의상 기능상 각 구성부를 분리하여 표현한 것으로 하나의 구성부로 표현된 경우도 복수의 구성부로 나뉠 수 있고 복수의 구성부도 하나의 구성부로 합쳐질 수 있다.For the sake of convenience of description, the above-described structure is expressed by separating each constituent part from the functional point. Even when expressed by one constituent part, the constituent parts can be divided into a plurality of constituent parts, and a plurality of constituent parts can also be combined into one constituent part.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.

Claims (17)

3D(dimension) 영상 생성 방법에 있어서,
2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하는 단계; 및
상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하는 단계를 포함하되,
상기 2D 객체의 특징점은 상기 2D 객체의 구조 정보를 포함하는 점이고,
상기 제2 3D 템플릿 모델의 2차원 평면에서 수평 방향인 x 축의 값은 상기 제1 3D 템플릿 모델의 깊이 정보를 기반으로 보정된 값이며,
상기 제2 3D 템플릿 모델과 상기 제1 3D 템플릿 모델을 기반으로 강체 운동 행렬을 산출하는 단계; 및
상기 강체 운동 행렬을 상기 제1 3D 템플릿 모델에 적용하여 생성한 3D 템플릿 모델을 상기 제1 3D 템플릿 모델을 대체하는 3D 템플릿 모델로 설정하는 단계를 더 포함하되,
상기 강체 운동 행렬은 상기 제1 3D 템플릿 모델에 상기 강체 운동 행렬을 적용하여 변화시킨 3D 템플릿 모델과 상기 제2 3D 템플릿 모델 사이의 왜곡이 최소가 되도록 하는 행렬인 3D 영상 생성 방법.A method for generating a 3D image,
Generating a second 3D template model by reflecting feature points in a two-dimensional plane of the 2D object to minutiae points of the first 3D template model; And
Applying depth information of the second 3D template model to the 2D object to generate a 3D object for the 2D object,
The feature point of the 2D object includes the structure information of the 2D object,
The value of the x-axis in the horizontal direction in the two-dimensional plane of the second 3D template model is a value corrected based on the depth information of the first 3D template model,
Calculating a rigid body motion matrix based on the second 3D template model and the first 3D template model; And
And setting the 3D template model created by applying the rigid body motion matrix to the first 3D template model to a 3D template model replacing the first 3D template model,
Wherein the rigid body motion matrix is a matrix that minimizes distortion between a 3D template model obtained by applying the rigid body motion matrix to the first 3D template model and the second 3D template model. 삭제delete 삭제delete 제1항에 있어서,
상기 강체 운동 행렬은,
아래의 수학식을 기반으로 산출되고,
<수학식>
Figure 112015008118233-pat00080

Figure 112015008118233-pat00081
는 강체 운동 행렬이고, 상기
Figure 112015008118233-pat00082
는 상기 제2 3D 템플릿 모델의 꼭지점의 x 및 y 축 좌표, 상기
Figure 112015008118233-pat00083
는 상기 제1 3D 템플릿 모델의 꼭지점의 x, y, z 축 좌표이고 상기 n은 꼭지점의 개수인 3D 영상 생성 방법.The method according to claim 1,
The rigid body motion matrix includes:
Is calculated based on the following equation,
&Lt; Equation &
Figure 112015008118233-pat00080

Figure 112015008118233-pat00081
Is a rigid body motion matrix,
Figure 112015008118233-pat00082
The x and y axis coordinates of the vertex of the second 3D template model,
Figure 112015008118233-pat00083
Is the x, y, z coordinate of the vertex of the first 3D template model and n is the number of vertices. 제1항에 있어서,
상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하는 단계는,
상기 강체 운동 행렬의 행렬값이 미리 정해진 임계값보다 작은 경우 수행되는 단계인 3D 영상 생성 방법.The method according to claim 1,
Wherein the generating the 3D object for the 2D object by applying the depth information of the second 3D template model to the 2D object comprises:
And a matrix value of the rigid body motion matrix is smaller than a predetermined threshold value. 3D(dimension) 영상 생성 방법에 있어서,
2D 객체의 구조 정보를 포함하는 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하는 단계;
상기 2D 객체의 외곽선 및 상기 제2 3D 템플릿 모델의 외곽선을 결정하는 단계;
상기 2D 객체의 외곽선에 포함되는 복수개의 2D 객체 꼭지점과 상기 2D 객체 꼭지점에 대응되는 상기 제2 3D 템플릿 모델의 3D 템플릿 모델 꼭지점을 결정하는 단계;
상기 3D 템플릿 모델 꼭지점의 깊이 정보를 상기 2D 객체 꼭지점의 깊이 정보로 설정하는 단계; 및
상기 3D 템플릿 모델 꼭지점의 깊이 정보를 포함한 상기 2D 객체 꼭지점을 보간하여 상기 2D 객체에 대응되는 3D 객체를 생성하는 단계를 포함하는 3D 영상 생성 방법.A method for generating a 3D image,
Generating a second 3D template model by reflecting feature points in a two-dimensional plane including structure information of the 2D object to minutiae points of the first 3D template model;
Determining an outline of the 2D object and an outline of the second 3D template model;
Determining a plurality of 2D object vertices included in an outline of the 2D object and a 3D template model vertex of the second 3D template model corresponding to the 2D object vertex;
Setting depth information of the 3D template model vertex as depth information of the 2D object vertex; And
And generating a 3D object corresponding to the 2D object by interpolating the 2D object vertex including depth information of the 3D template model vertex. 제6항에 있어서,
상기 2D 객체를 기반으로 상기 제1 3D 템플릿 모델을 설정하는 단계;
상기 제1 3D 템플릿 모델의 특징점을 기반으로 상기 제1 3D 템플릿 모델의 시점 벡터를 결정하는 단계; 및
상기 시점 벡터 및 카메라의 시점을 기준으로 상기 제1 3D 템플릿 모델을 정렬하는 단계를 더 포함하되,
상기 시점 벡터는 복수의 상기 제1 3D 템플릿 모델의 특징점 및 상기 제1 3D 템플릿 모델의 무게 중심을 기준으로 생성되는 벡터인 3D 영상 생성 방법.The method according to claim 6,
Setting the first 3D template model based on the 2D object;
Determining a viewpoint vector of the first 3D template model based on feature points of the first 3D template model; And
And arranging the first 3D template model based on the viewpoint vector and the viewpoint of the camera,
Wherein the viewpoint vector is a vector generated based on feature points of a plurality of the first 3D template models and a center of gravity of the first 3D template model. 제6항에 있어서,
상기 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하는 단계는,
아래의 수학식 1을 기반으로 수행되고,
<수학식 1>
Figure 112014061269902-pat00084

D(x)는 변형 함수,
Figure 112014061269902-pat00085
는 상기 제1 3D 템플릿 모델의 꼭지점,
Figure 112014061269902-pat00086
는 가중치,
Figure 112014061269902-pat00087
는 상기 제1 3D 템플릿 모델의 특징점을 나타내고, 상기
Figure 112014061269902-pat00088
는
Figure 112014061269902-pat00089
이고, n은 특징점의 개수, A(x)는 아핀 변환(affine transformation)이되,
상기
Figure 112014061269902-pat00090
, 상기 A(x)는 아래와 같은 수학식 2에 의해 결정되는,
<수학식 2>
Figure 112014061269902-pat00091

Figure 112014061269902-pat00092
는 상기 2D 객체의 특징점이고, a는 아핀 변환 계수인 3D 영상 생성 방법.The method according to claim 6,
The step of generating the second 3D template model by reflecting the feature points in the two-dimensional plane of the 2D object to the minutiae points of the first 3D template model,
Is performed based on Equation (1) below,
&Quot; (1) &quot;
Figure 112014061269902-pat00084

D (x) is the deformation function,
Figure 112014061269902-pat00085
Is the vertex of the first 3D template model,
Figure 112014061269902-pat00086
Weight,
Figure 112014061269902-pat00087
Represents the minutiae point of the first 3D template model,
Figure 112014061269902-pat00088
The
Figure 112014061269902-pat00089
, N is the number of feature points, A (x) is the affine transformation,
remind
Figure 112014061269902-pat00090
, A (x) is determined by the following equation (2)
&Quot; (2) &quot;
Figure 112014061269902-pat00091

Figure 112014061269902-pat00092
Is a characteristic point of the 2D object, and a is an affine transformation coefficient. 3D(dimension) 영상 생성 장치에 있어서, 상기 3D 영상 생성 장치는 프로세서를 포함하고,
상기 프로세서는 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하고 상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하도록 구현되되,
상기 2D 객체의 특징점은 상기 2D 객체의 구조 정보를 포함하는 점이고,
상기 제2 3D 템플릿 모델의 2차원 평면에서 수평 방향인 x 축의 값은 상기 제1 3D 템플릿 모델의 깊이 정보를 기반으로 보정된 값이며,
상기 프로세서는,
상기 제2 3D 템플릿 모델과 상기 제1 3D 템플릿 모델을 기반으로 강체 운동 행렬을 산출하고 상기 강체 운동 행렬을 상기 제1 3D 템플릿 모델에 적용하여 생성한 3D 템플릿 모델을 상기 제1 3D 템플릿 모델을 대체하는 3D 템플릿 모델로 설정하도록 구현되되,
상기 강체 운동 행렬은 상기 제1 3D 템플릿 모델에 상기 강체 운동 행렬을 적용하여 변화시킨 3D 템플릿 모델과 상기 제2 3D 템플릿 모델 사이의 왜곡이 최소가 되도록 하는 행렬인 3D 영상 생성 장치.A 3D image generation apparatus, comprising: a processor;
The processor generates a second 3D template model by reflecting the feature points in the 2D plane of the 2D object to the feature points of the first 3D template model and applying the depth information of the second 3D template model to the 2D object, The 3D object is generated,
The feature point of the 2D object includes the structure information of the 2D object,
The value of the x-axis in the horizontal direction in the two-dimensional plane of the second 3D template model is a value corrected based on the depth information of the first 3D template model,
The processor comprising:
A rigid body motion matrix is calculated based on the second 3D template model and the first 3D template model, and a 3D template model generated by applying the rigid body motion matrix to the first 3D template model is substituted for the first 3D template model A 3D template model,
Wherein the rigid body motion matrix is a matrix for minimizing distortion between a 3D template model obtained by applying the rigid body motion matrix to the first 3D template model and the second 3D template model. 삭제delete 삭제delete 제9항에 있어서,
상기 강체 운동 행렬은,
아래의 수학식을 기반으로 산출되고,
<수학식>
Figure 112015008118233-pat00093

Figure 112015008118233-pat00094
는 강체 운동 행렬이고, 상기
Figure 112015008118233-pat00095
는 상기 제2 3D 템플릿 모델의 꼭지점의 x 및 y 축 좌표, 상기
Figure 112015008118233-pat00096
는 상기 제1 3D 템플릿 모델의 꼭지점의 x, y, z 축 좌표이고 상기 n은 꼭지점의 개수인 3D 영상 생성 장치.10. The method of claim 9,
The rigid body motion matrix includes:
Is calculated based on the following equation,
&Lt; Equation &
Figure 112015008118233-pat00093

Figure 112015008118233-pat00094
Is a rigid body motion matrix,
Figure 112015008118233-pat00095
The x and y axis coordinates of the vertex of the second 3D template model,
Figure 112015008118233-pat00096
Is the x, y, z axis coordinates of the vertex of the first 3D template model and n is the number of vertices. 제9항에 있어서,
상기 프로세서는,
상기 강체 운동 행렬의 행렬값이 미리 정해진 임계값보다 작은 경우, 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하도록 구현되는 3D 영상 생성 장치.10. The method of claim 9,
The processor comprising:
Wherein when the matrix value of the rigid body motion matrix is smaller than a predetermined threshold value, depth information of a second 3D template model is applied to the 2D object to generate a 3D object for the 2D object. 제9항에 있어서,
상기 프로세서는,
상기 2D 객체의 외곽선 및 상기 제2 3D 템플릿 모델의 외곽선을 결정하고, 상기 2D 객체의 외곽선에 포함되는 복수개의 2D 객체 꼭지점과 상기 2D 객체 꼭지점에 대응되는 상기 제2 3D 템플릿 모델의 3D 템플릿 모델 꼭지점을 결정하고, 상기 3D 템플릿 모델 꼭지점의 깊이 정보를 상기 2D 객체 꼭지점의 깊이 정보로 설정하고, 상기 3D 템플릿 모델 꼭지점의 깊이 정보를 포함한 상기 2D 객체 꼭지점을 보간하여 상기 2D 객체에 대응되는 상기 3D 객체를 생성하도록 구현되는 3D 영상 생성 장치.10. The method of claim 9,
The processor comprising:
Determining an outline of the 2D object and an outline of the second 3D template model, determining a plurality of 2D object vertices included in an outline of the 2D object and a 3D template model vertex of the second 3D template model corresponding to the 2D object vertex, Sets depth information of the vertex of the 3D template model as depth information of the 2D object vertex, interpolates the 2D object vertex including depth information of the 3D template model vertex, The 3D image generating device being configured to generate the 3D image. 제9항에 있어서,
상기 프로세서는,
상기 2D 객체를 기반으로 상기 제1 3D 템플릿 모델을 설정하고, 상기 제1 3D 템플릿 모델의 특징점을 기반으로 상기 제1 3D 템플릿 모델의 시점 벡터를 결정하고 상기 시점 벡터 및 카메라의 시점을 기준으로 상기 제1 3D 템플릿 모델을 정렬하도록 구현되되,
상기 시점 벡터는 복수의 상기 제1 3D 템플릿 모델의 특징점 및 상기 제1 3D 템플릿 모델의 무게 중심을 기준으로 생성되는 벡터인 3D 영상 생성 장치.10. The method of claim 9,
The processor comprising:
Determining the first 3D template model based on the feature points of the first 3D template model, setting the first 3D template model based on the viewpoint vector and the viewpoint of the camera, A first 3D template model,
Wherein the viewpoint vector is a vector generated based on a feature point of the plurality of first 3D template models and a center of gravity of the first 3D template model. 제9항에 있어서,
상기 프로세서는,
상기 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 아래의 수학식 1을 기반으로 생성하고,
<수학식 1>
Figure 112014061269902-pat00097

D(x)는 변형 함수,
Figure 112014061269902-pat00098
는 상기 제1 3D 템플릿 모델의 꼭지점,
Figure 112014061269902-pat00099
는 가중치,
Figure 112014061269902-pat00100
는 상기 제1 3D 템플릿 모델의 특징점을 나타내고, 상기
Figure 112014061269902-pat00101
는
Figure 112014061269902-pat00102
이고, n은 특징점의 개수이며, A(x)는 아핀 변환(affine transformation)이되,
상기
Figure 112014061269902-pat00103
, 상기 A(x)는 아래와 같은 수학식 2에 의해 결정되는 값인,
<수학식 2>
Figure 112014061269902-pat00104

여기서,
Figure 112014061269902-pat00105
는 상기 2D 객체의 특징점이고, a는 아핀 변환 계수인 3D 영상 생성 장치.10. The method of claim 9,
The processor comprising:
The second 3D template model is generated based on the following Equation 1 by reflecting the minutiae points of the 2D object in the two-dimensional plane to the minutiae points of the first 3D template model,
&Quot; (1) &quot;
Figure 112014061269902-pat00097

D (x) is the deformation function,
Figure 112014061269902-pat00098
Is the vertex of the first 3D template model,
Figure 112014061269902-pat00099
Weight,
Figure 112014061269902-pat00100
Represents the minutiae point of the first 3D template model,
Figure 112014061269902-pat00101
The
Figure 112014061269902-pat00102
, N is the number of feature points, A (x) is an affine transformation,
remind
Figure 112014061269902-pat00103
, A (x) is a value determined by the following equation (2)
&Quot; (2) &quot;
Figure 112014061269902-pat00104

here,
Figure 112014061269902-pat00105
Is a characteristic point of the 2D object, and a is an affine transformation coefficient. 2D 객체의 2차원 평면에서의 특징점을 제1 3D 템플릿 모델의 특징점에 반영하여 제2 3D 템플릿 모델을 생성하는 단계;
상기 제2 3D 템플릿 모델과 상기 제1 3D 템플릿 모델을 기반으로 강체 운동 행렬을 산출하는 단계;
상기 강체 운동 행렬을 상기 제1 3D 템플릿 모델에 적용하여 생성한 3D 템플릿 모델을 상기 제1 3D 템플릿 모델을 대체하는 3D 템플릿 모델로 설정하는 단계; 및
상기 제2 3D 템플릿 모델의 깊이 정보를 상기 2D 객체에 적용하여 상기 2D 객체에 대한 3D 객체를 생성하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.Generating a second 3D template model by reflecting feature points in a two-dimensional plane of the 2D object to minutiae points of the first 3D template model;
Calculating a rigid body motion matrix based on the second 3D template model and the first 3D template model;
Setting a 3D template model created by applying the rigid body motion matrix to the first 3D template model to a 3D template model replacing the first 3D template model; And
And generating a 3D object for the 2D object by applying depth information of the second 3D template model to the 2D object.
KR1020130037245A 2013-04-05 2013-04-05 Method and apparatus for generating 3d video based on template mode KR101533494B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130037245A KR101533494B1 (en) 2013-04-05 2013-04-05 Method and apparatus for generating 3d video based on template mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130037245A KR101533494B1 (en) 2013-04-05 2013-04-05 Method and apparatus for generating 3d video based on template mode

Publications (2)

Publication Number Publication Date
KR20140121064A KR20140121064A (en) 2014-10-15
KR101533494B1 true KR101533494B1 (en) 2015-07-02

Family

ID=51992713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130037245A KR101533494B1 (en) 2013-04-05 2013-04-05 Method and apparatus for generating 3d video based on template mode

Country Status (1)

Country Link
KR (1) KR101533494B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388773B1 (en) * 2015-07-07 2022-04-19 주식회사 케이티 Method for three dimensions modeling service and Apparatus therefor
KR102416216B1 (en) * 2021-02-09 2022-07-05 주식회사 비젼그리드 Method and apparatus for generating 3D entity shape data using image recognition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980084422A (en) * 1997-05-23 1998-12-05 배순훈 3D Character Generation Method Using Face Model and Template Model
KR20050022306A (en) * 2003-08-29 2005-03-07 삼성전자주식회사 Method and Apparatus for image-based photorealistic 3D face modeling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980084422A (en) * 1997-05-23 1998-12-05 배순훈 3D Character Generation Method Using Face Model and Template Model
KR20050022306A (en) * 2003-08-29 2005-03-07 삼성전자주식회사 Method and Apparatus for image-based photorealistic 3D face modeling

Also Published As

Publication number Publication date
KR20140121064A (en) 2014-10-15

Similar Documents

Publication Publication Date Title
JP7159057B2 (en) Free-viewpoint video generation method and free-viewpoint video generation system
Kawai et al. Diminished reality based on image inpainting considering background geometry
US10789765B2 (en) Three-dimensional reconstruction method
JP5997645B2 (en) Image processing apparatus and method, and imaging apparatus
KR101560508B1 (en) Method and arrangement for 3-dimensional image model adaptation
JP4880091B2 (en) Image generating apparatus and method for super-resolution of 3D texture
CN107155341B (en) Three-dimensional scanning system and frame
JP4886645B2 (en) Virtual face model deformation device and virtual face model deformation program
JP2007000205A (en) Image processing apparatus, image processing method, and image processing program
CN109829972B (en) Three-dimensional human standard skeleton extraction method for continuous frame point cloud
CN113012293A (en) Stone carving model construction method, device, equipment and storage medium
Malassiotis et al. Model-based joint motion and structure estimation from stereo images
Crispell et al. Pix2face: Direct 3d face model estimation
CN114996814A (en) Furniture design system based on deep learning and three-dimensional reconstruction
CN110580715B (en) Image alignment method based on illumination constraint and grid deformation
CN112365589B (en) Virtual three-dimensional scene display method, device and system
KR101533494B1 (en) Method and apparatus for generating 3d video based on template mode
CN110490973B (en) Model-driven multi-view shoe model three-dimensional reconstruction method
Straka et al. Rapid skin: estimating the 3D human pose and shape in real-time
KR101673144B1 (en) Stereoscopic image registration method based on a partial linear method
CN113469886B (en) Image splicing method based on three-dimensional reconstruction
KR102577135B1 (en) A skeleton-based dynamic point cloud estimation system for sequence compression
CN115116468A (en) Video generation method and device, storage medium and electronic equipment
JP7040422B2 (en) Motion vector generator, projection image generator, motion vector generator, and program
WO2020118565A1 (en) Keyframe selection for texture mapping wien generating 3d model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180525

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 5