KR20160082158A - Multi-view window interface apparatus and method - Google Patents
Multi-view window interface apparatus and method Download PDFInfo
- Publication number
- KR20160082158A KR20160082158A KR1020140195016A KR20140195016A KR20160082158A KR 20160082158 A KR20160082158 A KR 20160082158A KR 1020140195016 A KR1020140195016 A KR 1020140195016A KR 20140195016 A KR20140195016 A KR 20140195016A KR 20160082158 A KR20160082158 A KR 20160082158A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- information
- viewpoint
- time point
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
Abstract
Description
본 발명은 다중 시야 창 인터페이스 장치 및 방법에 관한 것으로, 더욱 상세하게는 다양한 데이터 포맷의 3차원(3D) 데이터로부터 다중 시야 창 생성을 위한 좌표정보를 분석하는 모듈을 구비하고, 분석된 좌표정보를 임의의 시점을 기준으로 그룹화하여 오브젝트의 다시점 설정 정보를 추출하고 임의시점 영상을 생성할 수 있는 인터페이스를 제공함으로써 3D 오브젝트를 모델링할 수 있으며, 효율적인 시점 수를 구성하는 다중 시야 창 생성기술에 관한 것이다.The present invention relates to a multi-view window interface apparatus and method, and more particularly, to a multi-view window interface apparatus and method that includes a module for analyzing coordinate information for generating a multi-view window from three-dimensional (3D) data of various data formats, The present invention relates to a technique of creating a multi-view window that can model a 3D object by providing an interface capable of extracting multi-viewpoint setting information of an object by grouping based on an arbitrary viewpoint and generating a viewpoint image will be.
3D 기술의 발전과 함께 3D 모델링의 방법도 다양해짐에 따라 모델링 소프트웨어마다 각각의 파일 포맷을 내놓아 널리 알려진 종류만 해도 30여개가 넘는다. With the advancement of 3D technology and the diversification of methods of 3D modeling, more than 30 different types of file formats are available for each modeling software.
3D 모델링을 하는 목적과 대상이 애니매이션, 게임, 영화산업, 산업부품 모델링 등 컴퓨터를 이용한 각종 디자인과 제조에 이르기까지 다양해지고 또 이들이 조합되어 적용분야가 더 넓어지고 있다. The purpose and object of 3D modeling are diversified to a variety of computer-aided design and manufacturing such as animation, game, movie industry, and industrial part modeling.
3D 데이터를 획득하는 과정에는 실제 오브젝트로부터 데이터를 가져오는 방법과 가상 오브젝트를 대상으로 데이터를 가져오는 방법으로 나눌 수 있다.The process of acquiring 3D data can be divided into a method of importing data from an actual object and a method of importing data to a virtual object.
실제 오브젝트를 대상으로 3D 데이터를 가져오는 방법으로는 3D 스캐너, 다시점 카메라 입력 시스템 등으로부터 읽어 들이는 방법 등이 있으며 가상 오브젝트를 대상으로 3D 데이터를 가져오는 방법은 3D CAD 프로그램을 비롯한 여러 종류의 3D 그래픽 편집기를 써서 생성한 가상 오브젝트의 3D 데이터를 읽어 들이는 방법이 있다.There are various methods for importing 3D data to real objects such as 3D scanner, multi-point camera input system, etc. In order to import 3D data to virtual objects, there are various types of 3D CAD programs There is a method of reading 3D data of a virtual object created by using a 3D graphic editor.
이렇게 3D 오브젝트 형상을 3D 좌표로 된 점들과 면들로 분할한 3D 데이터는 오브젝트의 종류와 사용 목적에 따라 점과 면의 위치 정보 외에도 색상, 투명도, 면의 법선, 텍스처 좌표, 데이터 신뢰 값, 면의 앞뒤 특성, 모든 면에 관한 데이터베이스, 면을 이루는 다각형 종류, 대칭성 등의 다양한 값들과 규칙들로 구성된다. 3D data obtained by dividing the shape of the 3D object into 3D coordinates of points and faces can be used for various types of objects such as color, transparency, surface normal, texture coordinate, data reliability value, Front and back characteristics, a database on all sides, types of polygons forming a face, symmetry, and the like.
데이터의 구성 방법과 구성 내용에 따라 3D 데이터의 파일 포맷이 다르다. 예를 들면 PLY(Stanford Graphics), STL(3D Systems), OFF, OBJ(Wavefront OBJ), 3DS(3D Studio), BLEN(BLENDER), DAE(COLLADA), PTS, PTX, SC1(Sculptris), SCL(Pro/ENGINEER), SKP(Google sketchup), V3D, APTS, XYZ, DXF(AutoCAD), FBX(Autodesk exchange), GTS, TRI, ASC, U3D, IDTF, X3D, X3DV, WRL, VRML, ALN, LWO(LightWave), UG(Unigrafix), POV(Persistence of Vision POV), XSI(SoftImage), ZTL, XYZ 등이 있다. 예를 들어 STL파일 포맷은 3D 모델의 컬러에 대한 정보는 저장하지 않고 오직 한 가지 색상만으로 저장하는데 이 경우에는 모노컬러로 출력되는 3D 모델에는 적합하지만 여러 가지 색상의 컬러출력이 필요한 3D 모델의 경우는 색상정보를 포함한 VRML이나 PLY포맷 등의 3D 데이터를 사용하는 차이점이 있다.The file format of the 3D data differs depending on how the data is structured and the configuration. (STL), STL (3D Systems), OFF, OBJ (Wavefront OBJ), 3DS (3D Studio), BLEN (BLENDER), DAE (COLLADA), PTS, PTX, SC1 (Sculptris), SCL (AutoCAD), FBX (Autodesk exchange), GTS, TRI, ASC, U3D, IDTF, X3D, X3DV, WRL, VRML, ALN, LWO (Pro / ENGINEER), SKP (Google sketchup), V3D, APTS, XYZ, DXF LightWave), Unigrafix (UG), Persistence of Vision POV (POV), XSI (SoftImage), ZTL and XYZ. For example, the STL file format does not store information about the color of a 3D model but stores it in only one color. In this case, it is suitable for a 3D model that is output in monochrome. However, for a 3D model that requires color output of various colors There is a difference in using 3D data such as VRML or PLY format including color information.
3D 데이터를 출력하기 위한 3D 출력 장치로는 3D 프린터, 3D 홀로그램, 3D 디스플레이 및 3D 시뮬레이션 시스템 등이 있다. 이러한 3D 출력 장치로 3D 오브젝트를 출력할 때 고품질의 출력물을 얻기 위해서는 입력된 3D 데이터가 섬세한 정보를 포함해야만 한다.3D output devices for outputting 3D data include 3D printer, 3D hologram, 3D display, and 3D simulation system. When outputting a 3D object with such a 3D output device, input 3D data must contain detailed information in order to obtain a high-quality output.
3D 오브젝트를 3D 데이터로 입력하는 과정에서 3D 오브젝트의 표면을 세분화하는 방식에 따라 모델링 데이터의 출력 오브젝트가 입력 오브젝트에 가까운 정도가 정해진다. The degree to which the output object of the modeling data is close to the input object is determined according to the method of subdividing the surface of the 3D object in the process of inputting the 3D object as the 3D data.
오브젝트 표면을 세분화하는 방식은 여러 가지가 있으며 그 가운데 대표적인 것은 3D 오브젝트를 여러 개의 삼각형((X 1 , Y 1 . Z 1 ), (X 2 , Y 2 . Z 2 ), (X 3 , Y 3 . Z 3 )가 서로 연결되어 이뤄지는 도형)혹은 다각형의 면들로 분할하여 각각의 속성을 구성하는 방식과 포인트 클라우드 방식으로서 무수히 많은 컬러(R, G, B)와 좌표데이터(X, Y, Z)들이 모여서 공간적인 구성을 이룸으로써 오브젝트를 표현하는 방법이 있다.Method for subdividing the object surface has a number of those of a typical thing of a 3D object, different triangle ((X 1, Y 1. Z 1), (X 2, Y 2. Z 2), (X 3, Y 3 . Z 3) a myriad of colors (R, G, B) and the coordinate data (X, Y, Z as the method and the point cloud way to configure each property is divided into sides of the goes connected geometry) or a polygon with each other) There is a method of expressing an object by making a spatial configuration by collecting the objects.
폴리곤 방식이 오브젝트의 표면을 무수히 많은 작게 쪼개진 삼각형들의 연결로 구성함으로써 실제 3D 오브젝트에 가깝게 모델을 구성한다면 포인트 클라우드 방식은 공간을 구성하는 점들의 밀도가 높아지면 높아질수록 점점 더 구체적인 3D 데이터가 되는 방법이다.If the polygon system consists of connecting the triangles of the surface of the object with a lot of small splits, if the model is constructed close to the actual 3D object, then the point cloud method is a method of increasingly more specific 3D data as the density of the points forming the space becomes higher to be.
3D 오브젝트의 3D 데이터를 가져오는 방법으로 3D 모델링 소프트웨어, 3D 스캐너 등의 입력 장치로부터 데이터를 얻는 방법 외에 3D 오브젝트를 여러 시점에서 촬영한 카메라 입력 영상을 이용하여 오브젝트의 3D 데이터를 얻는 방법이 있다. 한 대의 카메라를 여러 시점에서 촬영한다거나 여러 대의 카메라를 이용해 여러 시점에서 하나의 객체를 대상으로 촬영하는 방법이다. There is a method of obtaining 3D data of an object by using a camera input image taken at a plurality of viewpoints in addition to a method of obtaining data from an input device such as a 3D modeling software or a 3D scanner as a method of obtaining 3D data of a 3D object. It is a method of shooting one camera at several viewpoints or shooting one object at a plurality of viewpoints using several cameras.
이러한 다시점 카메라를 이용한 방법은 오브젝트에 대한 깊이 정보를 획득하기 위한 것으로 최소 2대 이상의 카메라를 사용한다. 스테레오 영상의 시차정보를 이용한 방법, 2시점 이상의 연속적 운동시차를 이용한 방법, 카메라와 오브젝트간의 거리, 광축간의 간격, 카메라와 객체가 이루는 각, 카메라와 객체간의 3D 위치정보 등의 데이터를 기반으로 대상 오브젝트를 3D 데이터로 모델링 할 수 있다. The method using the multi-viewpoint camera uses at least two cameras to acquire depth information of an object. Based on the data such as the method using the parallax information of the stereo image, the method using the continuous motion parallax more than 2 view points, the distance between the camera and the object, the interval between the optical axes, the angle between the camera and the object, The object can be modeled as 3D data.
이때, 3D 오브젝트에 대한 모델링을 완성하기 위해 3D 오브젝트의 모든 면에 대한 3D 데이터를 얻기 위해서는 두 대의 카메라를 이용한 양안 시차정보와 카메라 파라미터 및 설정정보만으로는 객체의 모든 시점 정보를 얻기 어려우므로 시점의 추가가 필요하다.In order to complete the modeling of the 3D object, it is difficult to obtain all the viewpoint information of the object using only the binocular disparity information and the camera parameter and the setting information using the two cameras in order to obtain the 3D data of all sides of the 3D object. .
상기 다시점 카메라를 이용한 방법은 다시점 카메라의 해상도가 높고 시점의 개수가 많을수록 3D 오브젝트의 다시점 데이터를 많이 얻을 수 있는 장점도 있지만, 이들 데이터를 정합하기 위한 데이터 처리량이 많아져 다시점 영상을 확보하는데 시간이 오래 걸린다. 또한, 상기 다시점 카메라를 이용한 방법은, 갖추어야 할 카메라 시스템의 개수와 복잡도도 증가한다. 따라서, 3D객체를 재구축하고자 하는 사용자 측면에서는, 빠른 처리결과를 위한 필요한 개수만큼의 시점확보 및 3D 데이터 랜더링을 통한 재구축이 가능한, 효율적인 구성과 인터페이스를 제공하는 시스템이 필요하다.In the method using the multi-view camera, there is an advantage in that the resolution of the multi-viewpoint camera is high and the number of viewpoints is large, it is possible to obtain a lot of multi-point data of the 3D object. However, the data processing amount for matching the data increases, It takes a long time to secure it. In addition, the method using the multi-viewpoint camera also increases the number and complexity of camera systems to be equipped. Therefore, there is a need for a system that provides an efficient configuration and an interface capable of restoring a required number of viewpoints for a fast processing result and rebuilding by 3D data rendering, on the side of a user who wants to rebuild a 3D object.
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 최소한의 시점수로 다중 시야 창 데이터를 생성할 수 있는 다중 시야 창 인터페이스 장치를 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in view of the above problems, and it is an object of the present invention to provide a multi-view window interface device capable of generating multi-view window data with a minimum number of viewpoints.
본 발명의 다른 목적은 최소한의 시점수로 다중 시야 창 데이터를 생성할 수 있는 다중 시야 창 인터페이스 방법을 제공하는 것이다.It is another object of the present invention to provide a multiple view window interface method capable of generating multiple view window data with a minimum number of viewpoints.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 다중 시야 창 인터페이스 장치는 원시 3D 데이터를 기초로 3D 오브젝트를 구성하는 버틱스 좌표정보들 및 서피스 정보들을 추출하여 3D 데이터를 생성하는 데이터 추출부, 적어도 하나 이상의 시점들 및 상기 시점들 각각에 대응되는 데이터그룹들을 포함하는 다중 시야 창 데이터를 생성하고, 상기 데이터그룹들 각각은 대응되는 상기 시점에 대응되는 상기 3D 데이터의 버틱스 좌표정보들 및 서피스 정보들을 포함하는 데이터 파싱부, 및 상기 다중 시야 창 데이터를 랜더링하여 상기 3D 오브젝트를 재구성한 다시점 3D 데이터를 생성하는 3D 랜더링부를 포함하는 데이터 처리부, 상기 다시점 3D 데이터를 이용하여 결과 영상을 출력하는 디스플레이부 및 사용자 입력을 통해 상기 데이터 처리부 및 상기 디스플레이부와 상호작용하는 인터페이스부를 포함한다.The multi-view window interface device according to an embodiment of the present invention for realizing the object of the present invention extracts the vertex coordinate information and the surface information constituting the 3D object based on the raw 3D data, And generating a plurality of view field window data including at least one viewpoint, and data groups corresponding to each of the viewpoints, and each of the data groups includes at least one of viewpoint information of the 3D data corresponding to the corresponding viewpoint And a 3D rendering unit for rendering multi-view window data and reconstructing the 3D object to generate multi-view 3D data, a data processing unit including the 3D rendering unit, A display unit for outputting the data and a user input, Group comprises a display unit and interface unit for interaction.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 다중 시야 창 인터페이스 방법은 원시 3D 데이터를 기초로 3D 오브젝트를 구성하는 버틱스 좌표정보들 및 서피스 정보들을 추출하여 3D 데이터를 구축하는 단계, 상기 3D 데이터의 좌표정보를 분석하는 단계, 상기 분석된 3D 데이터에 기초하여 상기 3D 오브젝트를 구현하기 위해 필요한 최소한의 시점 개수를 결정하는 단계, 결정된 시점들 및 상기 시점들 각각에 대응되는 데이터그룹들을 포함하는 다중 시야 창 데이터를 생성하는 단계, 상기 다중 시야 창 데이터를 랜더링하여 상기 3D 오브젝트를 재구성한 다시점 3D 데이터를 생성하는 단계, 상기 다시점 3D 데이터를 이용하여 결과 영상을 출력하는 단계 및 출력된 영상에 대하여 영상검증 및 보정하는 단계를 포함하고, 상기 데이터그룹들 각각은 대응되는 상기 시점에 대응되는 상기 3D 데이터의 버틱스 좌표정보들 및 서피스 정보들을 포함한다.According to another aspect of the present invention, there is provided a multi-view window interface method for extracting vertex coordinate information and surface information constituting a 3D object based on raw 3D data to construct 3D data Analyzing coordinate information of the 3D data, determining a minimum number of viewpoints necessary to implement the 3D object based on the analyzed 3D data, determining the minimum number of viewpoints necessary for implementing the 3D object, Generating multi-view window data including the multi-view window data by rendering the multi-view window data, reconstructing the 3D object to generate multi-view 3D data, outputting the result image using the multi-view 3D data, And performing image verification and correction on the output image, wherein the data groups Each of the vertices includes the coordinate information of the 3D data corresponding to the time of response, and surface information.
이와 같은 다중 시야 창 인터페이스 장치 및 방법에 따르면, 다양한 입력방법을 통해 입력 받을 수 있는 3D 오브젝트의 입력 데이터를 이용하여 오브젝트를 재구축하기 위해 필요한 최소한의 시스템 구성을 제시하고 사용자가 간단하고 빠르게 3D 오브젝트의 다시점 영상을 생성하는 시스템 구성을 선택할 수 있다. According to such a multi-view window interface apparatus and method, a minimum system configuration necessary for reconstructing an object using input data of a 3D object, which can be input through various input methods, is presented, Point image of the image data of the multi-viewpoint image.
3D 데이터 파싱부를 이용하여 다중 시야창의 시점 개수와 위치 정보를 생성, 3D 데이터 정보와 임의시점 카메라 피팅 처리로 3D 오보젝트 데이터의 랜더링을 수행, 다시점 영상 생성 및 보정확인 등을 수행함으로써, 다시점 영상 생성에 필요한 최소한의 시점 수와 시스템 구성을 가능하게 하는 장치 및 방법과 그에 관련된 인터페이스를 제공할 수 있다.The 3D view data is generated and the position information is generated using the 3D data parsing unit, the 3D object data is rendered by the 3D data information and the arbitrary viewpoint camera fitting process, the multi-view image is generated and the correction confirmation is performed, It is possible to provide an apparatus and method for enabling a minimum number of viewpoints necessary for image generation and system configuration and an interface related thereto.
도 1은 본 발명의 일 실시예에 따른 다중 시야 창 인터페이스 장치의 개략적인 구성을 나타내는 블록도이다.
도 2는 도 1의 3D 데이터 추출부를 나타내는 블록도이다.
도 3은 도 1의 3D 데이터 파싱부를 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 다시점 영상 생성 방법을 나타내는 개념도이다.
도 5는 본 발명의 일 실시예에 따른 다시점 영상 생성의 결과를 나타낸다.
도 6은 본 발명의 다른 실시예에 따른 다시점 영상 생성의 결과를 나타낸다.
도 7은 도 2의 3D 데이터를 나타내는 개념도이다.
도 8은 도 1의 3D 랜더링부를 나타내는 블록도이다.
도 9는 본 발명의 일 실시예에 따른 다중 시야 창 인터페이스 방법을 나타내는 흐름도이다.1 is a block diagram illustrating a schematic configuration of a multi-view window interface apparatus according to an exemplary embodiment of the present invention.
FIG. 2 is a block diagram showing the 3D data extracting unit of FIG. 1. FIG.
3 is a block diagram showing the 3D data parsing unit of FIG.
4 is a conceptual diagram illustrating a multi-view image generation method according to an embodiment of the present invention.
FIG. 5 shows a result of multi-view image generation according to an embodiment of the present invention.
FIG. 6 shows a result of multi-view image generation according to another embodiment of the present invention.
FIG. 7 is a conceptual diagram showing 3D data of FIG. 2. FIG.
8 is a block diagram showing the 3D rendering unit of FIG.
9 is a flowchart illustrating a multi-view window interface method according to an exemplary embodiment of the present invention.
이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in more detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 다중 시야 창 인터페이스 장치의 개략적인 구성을 나타내는 블록도이다.1 is a block diagram illustrating a schematic configuration of a multi-view window interface apparatus according to an exemplary embodiment of the present invention.
도 1을 참조하면, 상기 다중 시야 창 인터페이스 장치는 도 1에 도시된 바와 같이 데이터 처리부(100), 데이터 처리 결과 영상을 출력하는 디스플레이부(200) 및 사용자 입력을 받아들여 상기 데이터 처리부(100) 및 상기 디스플레이부(200)와 상호작용하는 인터페이스부(300)를 포함한다.1, the multi-view window interface device includes a
상기 데이터 처리부(100)는 다양한 포맷의 원시 3D 데이터(raw_3D_DATA)로부터 3D 오브젝트를 구성하는 좌표정보를 추출하여 다시점 그룹을 생성하고, 그룹별 다시점 정보를 이용하여 3D 데이터(3D_DATA)를 생성한 후 상기 디스플레이부(200)로 결과를 출력한다. 상기 인터페이스부(300)를 통해서 시점의 위치와 간격이 조정 될 수 있다. 상기 원시 3D 데이터(raw_3D_DATA)는 3D 스캐너, 다시점 카메라 시스템, 3D 그래픽 편집기 등에 의해 생성된 3D 데이터일 수 있다. 상기 원시 3D 데이터(raw_3D_DATA)는 3D 오브젝트를 구성하는 버틱스 혹은 포인트의 3차원 좌표정보와 색상, 버틱스 혹은 포인트의 개수, 텍스쳐 및 랜더링 방법에 대한 정보를 포함하도록 본 발명구성에 맞게 재구성될 수 있다. The
상기 데이터 처리부(100)는 상기 입력되는 원시 3D 데이터(raw_3D_DATA)를 기초로 시점 정보를 자동 추출하고, 3차원객체를 재구성하기 위해서 추출된 시점 정보 각각을 그룹화한 3D 오브젝트의 데이터들을 이용하여 랜더링하여 사용자의 시점 조정 및 확인이 가능하게 데이터를 처리한다.The
상기 데이터 처리부(100)는 3D 데이터 처리부(110), 3D 데이터 파싱부(120) 및 3D 랜더링부(130)를 포함할 수 있다.The
상기 3D 데이터 추출부(110)는 원시 3D 데이터(raw_3D_DATA)를 입력 받는다. 상기 원시 3D 데이터(raw_3D_DATA)는 오브젝트의 종류 및 사용 목적에 따라 각기 다른 파일 포맷과 데이터를 가질 수 있다. 예를 들어, 상기 원시 3D 데이터(raw_3D_DATA)는 오브젝트의 종류 및 사용 목적에 따라 각기 다른 파일 포맷과 데이터로 입력된 3차원 좌표로 된 점들, 면들, 색상, 투명도, 면의 법선, 텍스처 좌표, 데이터 신뢰 값, 면의 앞뒤 특성, 모든 면에 관한 데이터베이스, 면을 이루는 다각형 종류, 대칭성 등 다양한 값들과 규칙 등이 될 수 있다. 이와는 달리, 상기 원시 3D 데이터(raw_3D_DATA)는 모델링 규칙 및 랜더링 파라미터에 따라 다른 입력 데이터 등이 될 수 있다. The 3D
상기 3D 데이터 추출부(110)는 3D 오브젝트의 데이터를 연산 횟수를 줄이고 적은 메모리 사용으로 다중 시점 정보를 빠르게 추출 하기 위해서, 상기 원시 3D 데이터(raw_3D_DATA)로부터 다중 시야창 생성에 필요한 기초데이터 만을 추출하여 3D 데이터(3D_DATA)를 구축한다. The 3D
도 2는 도 2는 도 1의 3D 데이터 추출부를 나타내는 블록도이다. 도 2를 참조하면, 상기 3D 데이터 추출부(100)는 기초 데이터 추출부(111), 텍스쳐 맵 정보 추출부(112) 및 3D 데이터 생성부(113)를 포함할 수 있다. 예를 들어, 모델링 타입을 메시 데이터 모델링으로 했을 경우, 상기 기초 데이터 추출부(111)는 상기 원시 3D 데이터(raw_3D_DATA)로부터 각각의 버틱스들의 3차원 좌표를 포함하는 버틱스 좌표정보(V_DATA) 및 메시를 구성하는 서피스 정보(S_DATA)를 추출하여 상기 3D 데이터 생성부(113)로 전달할 수 있고, 상기 텍스쳐 맵 정보 추출부(112)는 텍스쳐 맵 정보(TM_DATA)를 추출하여 상기 3D 데이터 생성부(113)로 전달할 수 있다. 상기 3D 데이터 생성부(113)는 상기 버틱스 좌표정보(V_DATA), 상기 서피스 정보(S_DATA) 및 상기 텍스쳐 맵 정보(TM_DATA)를 이용하여 다중 시야 창 생성을 위한 3D 데이터(3D_DATA)를 구축할 수 있다. 상기 텍스쳐 맵 정보(TM_DATA)는 각각의 서피스에 랜더링 할 규칙일 수 있다. 예를 들어, 상기 텍스쳐 맵 정보(TM_DATA)는 매핑 될 텍스쳐 이미지의 규칙 및 칼라정보 등을 포함할 수 있다.FIG. 2 is a block diagram showing the 3D data extracting unit of FIG. 1. FIG. Referring to FIG. 2, the 3D
상기 서피스 정보(S_DATA)의 상기 “서피스”라는 용어는 모델링 생성방식에 의해 선택된 폴리곤 메시 구조의 서피스 만을 의미하는 것이 아니다. 모델링 생성방식을 폴리곤 메시 구조로 선택한 경우, 상기 서피스 정보(S_DATA)는 폴리곤 메시 구조의 서피스를 포함할 수 있다. 이와는 달리, 모델링 생성방식을 포인트 클라우드 방식으로 선택한 경우, 상기 서피스 정보(S_DATA)는 포인트 클라우드의 각 포인트 좌표 정보를 포함할 수 있다. 이하 기술되는 서피스 정보라는 용어의 의미도 동일하게 사용된다. 포인트 클라우드 모델링 방식이 상기 인터페이스부(300)에서 선택된 경우 버틱스 좌표 하나가 한 개의 3D 포인트 클라우드로 매핑될 수 있다.The term " surface " of the surface information S_DATA does not mean only the surface of the polygon mesh structure selected by the modeling generation method. When the modeling generation method is selected as the polygon mesh structure, the surface information S_DATA may include a surface of the polygon mesh structure. Alternatively, when the modeling generation method is selected as the point cloud method, the surface information S_DATA may include each point coordinate information of the point cloud. The meaning of the term surface information described below is also used equally. When the point cloud modeling method is selected in the
텍스쳐 맵 정보(TM_DATA)는 칼라 정보, 칼라 표현 방법, 텍스쳐 패턴 사용여부, 텍스쳐 맵 사용여부 및 텍스쳐 규칙을 포함할 수 있다. 상기 텍스쳐 규칙은 텍스쳐 맵을 사용할 경우에 설정되는 버틱스와 매핑될 텍스쳐 맵 좌표가 정의된 정보를 포함할 수 있다. 이와는 달리, 포인트 클라우드 방식의 경우, 각 포인트에 3D 텍스쳐를 매핑할 수 있고, 3D 텍스쳐가 포인트 클라우드 수만큼의 포인트를 가지면서 1:1정합이 되도록 구성될 수 있다.The texture map information (TM_DATA) may include color information, a color rendering method, whether a texture pattern is used, whether a texture map is used, and a texture rule. The texture rule may include information defining a texture map coordinate to be mapped and a viterancy to be set when using a texture map. Alternatively, in the case of the point cloud scheme, the 3D texture can be mapped to each point, and the 3D texture can be configured to have a 1: 1 match with a point cloud number of points.
텍스쳐 맵 정보(TM_DATA)를 처리하는 데이터 모델링 방식은 처리 시간과 연산량을 고려하여 상기 인터페이스부(300)에서 선택될 수 있다.The data modeling method for processing the texture map information TM_DATA can be selected in the
도 3은 도 1의 3D 데이터 파싱부(120)를 나타내는 블록도이다. 도 1 및 도 3을 참조하면, 상기 3D 데이터 파싱부(120)는 상기 3D 데이터 추출부(110)에 의해 생성된 3D 데이터(3D_DATA)의 좌표정보를 분석하는 데이터 파서(121) 및 3D 오브젝트를 구현하기 위해 필요한 최소한의 시점 개수와 위치 정보 등을 추출하는 다중시점정보 생성기(122)를 포함할 수 있다.3 is a block diagram showing the 3D
상기 데이터 파서(121)는 상기 3D 데이터 추출부(110)로부터 생성된 3D 데이터(3D_DATA)를 파싱할 수 있다. 예를 들어, 상기 데이터 파서(121)는 상기 3D 데이터(3D_DATA)의 좌표 정보를 3D 오브젝트의 중심점을 지나는 임의의 평면을 기준 축으로 하여(예를 들어, 상기 평면 위에서) 360도 시야각을 가지는 스캔라인을 형성하고 그 스캔라인을 따라 수직방향에 존재하는 버틱스와 서피스 정보로 재배열한다. 이하에서는, x축을 스캔라인의 기준축으로 하는 경우를 기준으로 설명한다. The
상기 데이터 파서(121)에 의한 처리 과정을 마친 상기 3D 데이터(3D_DATA)는 다중시점정보 생성기(122)를 거쳐 기준시점을 기준으로 그룹화 된다. 상기 기준시점은 인터페이스부(300)에서 사용자에 의해 입력 되거나 또는 자동으로 생성될 수 있다. 상기 기준시점을 자동으로 생성하는 경우에는, 3D 데이터(3D_DATA)에 포함된 좌표들의 순서에 따라서 첫 번째 좌표를 상기 기준시점으로 설정할 수 있다. 이것은 기준시점을 설정하는 한 예일 뿐이며 스캔라인을 형성하는 기준평면과 기준시점은 상기 인터페이스부(300)에서 설정한 설정 정보로 변경 가능하다.The 3D data (3D_DATA) having been processed by the
상기 다중시점정보 생성기(122)는 상기 기준시점 및 상기 기준시점에 후속되는 추가시점들 각각에서 상기 3D 오브젝트에 대한 상기 3D 데이터(3D_DATA)를 기초로 영상을 생성하였을 때 이미지 평면상에 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화한 그룹데이터들을 생성한다. 이하에서는, 도 4 내지 도 6을 참조하여 상기 기준시점에 후속되는 상기 추가 시점들을 결정하는 방법에 대해 설명한다. The
도 4는 본 발명의 일 실시예에 따른 다시점 영상 생성 방법을 나타내는 개념도이다. 도 5는 본 발명의 일 실시예에 따른 다시점 영상 생성의 결과를 나타낸다. 도 6은 본 발명의 다른 실시예에 따른 다시점 영상 생성의 결과를 나타낸다.4 is a conceptual diagram illustrating a multi-view image generation method according to an embodiment of the present invention. FIG. 5 shows a result of multi-view image generation according to an embodiment of the present invention. FIG. 6 shows a result of multi-view image generation according to another embodiment of the present invention.
도 3 내지 도 5를 참조하면, 상기 다중시점정보 생성기(122)는 상기 기준시점, 즉 제1 시점(View1)에서 상기 3D 데이터(3D_DATA)를 기초로 영상을 생성하였을 때 이미지 평면상에 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화하여 제1 데이터그룹(DATA_GROUP_1)을 생성할 수 있다. 3 to 5, the
상기 다중시점정보 생성기(122)는 상기 제1 데이터그룹(DATA_GROUP_1)의 데이터 중에서 상기 이미지 평면상에 보여지는 3D 오브젝트의 외곽 경계영역을 기초로 첫 번째 추가시점을 결정할 수 있다. 예를 들어, 상기 외곽 경계영역을 추가시점, 즉 제2 시점(View2)에 대응되는 영역의 출발경계 영역으로 결정할 수 있다. The multi
예를 들어, 도 4에 도시된 바와 같이 시점의 스캔라인이 x축을 기준으로 반 시계방향으로 돌아가며 그룹생성처리를 한다고 할 때, 상기 다중시점정보 생성기(122)는 상기 제1 시점(View1)의 이미지 평면상에 보여지는 3D 오브젝트의 오른쪽 경계영역은 상기 제2 시점(View2)에서 이미지 평면상에 보여지는 3D 오브젝트의 왼쪽 경계영역이 되고, 상기 제2 시점(View2)의 3D 오브젝트의 오른쪽 경계영역은 상기 제2 시점(View2)의 상기 왼쪽 경계영역이 이미지 평면상에서 가장 왼쪽에 포함된 상태를 유지하는 오른쪽 한계영역이 되도록 상기 제2 시점(View2)을 결정할 수 있다. For example, as shown in FIG. 4, when the scan line of the viewpoint rotates in the counterclockwise direction with respect to the x axis and performs the group creation process, the
위와 같이 상기 다중시점정보 생성기(122)는 상기 제2 시점(View2)을 결정하고, 상기 제2 시점(View2)에서 상기 3D 데이터(3D_DATA)를 기초로 영상을 생성하였을 때 이미지 평면상에 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화하여 제2 데이터그룹(DATA_GROUP_2)을 생성할 수 있다. 이와 같은 방식으로 시점이 계속 추가되어 제N-2 시점의 외곽 서피스 데이터와 그룹화되지 못한 버틱스 및 서피스 데이터를 이용하여 결정된 추가시점, 즉 제N-1 시점(View(N-1))에 대응되는 데이터그룹이 상기 제1 시점(View1)의 왼쪽 경계영역과 만나면서(예를 들어, 상기 제N-1 시점의 오른쪽 경계영역이 상기 제1 시점(View1)의 왼쪽 경계영역과 만나거나, 또는 상기 제N-1 시점에 대응되는 제N-1 데이터그룹(DATA_GROUP_N-1)이 상기 제1 시점(View1)의 왼쪽 경계영역을 포함) 과정이 종료될 수 있다. 이와는 달리, 상기 제N-1 시점(View(N-1)) 이후에, 그룹화 되지 못한 버틱스 및 서피스 데이터를 이용하여 추정된 제N 시점(ViewN)을 더 추가하고, 상기 제N 시점(ViewN)에서 상기 3D 데이터(3D_DATA)를 기초로 영상을 생성하였을 때 이미지 평면상에 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화하여 제N 데이터그룹(DATA_GROUP_N)을 생성할 수 있다. 상기 제N 시점(ViewN)에서 상기 제N 데이터그룹(DATA_GROUP_N)이 생성된 이후에는 다시점 영상을 확인하는 과정이 진행될 수 있다.As described above, the
도 4에 도시된 바와 같이 상기 3D 데이터(3D_DATA)를 스캔라인을 따라 그룹화한 결과 N개의 시점과 N개의 데이터 그룹이 형성되며, 삼각형의 폴리곤 메시모델을 선택하여 모델링 하였을 경우 도 8과 같은 영상이 디스플레이부(200)에 출력될 수 있다. As shown in FIG. 4, when the 3D data (3D_DATA) is grouped along the scan lines, N view points and N data groups are formed. When a triangular polygon mesh model is selected and modeled, And may be output to the
도 5를 참조하면, 삼각형의 폴리곤 메시모델을 선택하여 모델링 하였을 경우에 상기 디스플레이부(300)에 표시되는 영상은 제1 시점 영상(810), 제2 시점 영상(820), 제(N-1) 시점 영상(830) 및 제N 시점 영상(840)을 포함한다. Referring to FIG. 5, when a triangular polygonal mesh model is selected and modeled, the image displayed on the
상기 제1 시점 영상(810)은 상기 기준시점, 즉 제1 시점(View1)에서 상기 제1 데이터그룹(DATA_GROUP_1)을 생성한 결과 영상이다. 상기 제1 데이터그룹(DATA_GROUP_1)에 포함되는 서피스들 중 이미지 평면상에 보여지는 3D 오브젝트의 경계구역에 위치하는 서피스들은 리스트 데이터로 묶여 상기 제1 시점(View1)의 다음시점, 즉 상기 제2 시점(View2)의 출발경계영역이 될 수 있다. The
상기 제2 시점 영상(820)은 상기 제2 시점(View2)에서 상기 제2 데이터그룹(DATA_GROUP_2)을 생성한 결과 영상이다. 상기 제1 시점(View1)의 오른쪽 경계영역에 위치하는 서피스들이 상기 제2 시점(View2)의 왼쪽 경계영역 서피스 리스트의 출발 위치가 되도록 상기 제2 데이터그룹(DATA_GROUP_2)을 생성할 수 있다.The
상기 제(N-1) 시점 영상(830)은 제(N-1) 시점에서 상기 제2 데이터그룹(DATA_GROUP_N-1)을 생성한 결과 영상이다. 이전 시점의 서피스 경계영역이 기준시점의 서피스 경계영역과 만나 오브젝트의 모든 서피스들을 그룹화하면 다시점 생성을 종료할 수 있다. The (N-1) -
상기 제N 시점 영상(840)은 제N 시점에서 상기 제N 데이터그룹(DATA_GROUP_N-1)을 생성한 결과 영상이다. 상기 3D 오브젝트를 구성하는 버틱스들 및 서피스들 중 그룹화되지 않은 서피스들을 위해 시점의 좌표를 보정할 수 있다. 예를 들어, 시점을 추가할 수 있다.The N-
도 6을 참조하면, 포인트 클라우드 방식을 선택하여 모델링 하였을 경우에 상기 디스플레이부(300)에 표시되는 영상은 제1 시점 영상(910), 제2 시점 영상(920), 제(N-1) 시점 영상(930) 및 제N 시점 영상(940)을 포함한다.6, an image displayed on the
상기 제1 시점 영상(910)은 상기 기준시점, 즉 제1 시점(View1)에서 상기 제1 데이터그룹(DATA_GROUP_1)을 생성한 결과 영상으로, 3D 오브젝트를 버틱스 위치에 포인트 크라우드 모델링한 결과 및 상기 제1 데이터그룹(DATA_GROUP_1)에 포함되는 버틱스 포인트들 중 이미지 평면상에 보여지는 3D 오브젝트의 경계영역에 위치하는 포인트들을 링크드 리스트 데이터로 묶어서 그룹화한 결과를 보여준다.The
상기 제2 시점 영상(920)은 상기 제2 시점(View2)에서 상기 제2 데이터그룹(DATA_GROUP_2)을 생성한 결과 영상으로, 상기 제2 시점(View2)에서 3D 오브젝트를 버틱스 위치에 포인트 크라우드 모델링한 결과 및 상기 제1 시점(View1)의 오른쪽 외곽경계 서피스를 제2 시점(View2)의 왼쪽 외곽경계 포인트 링크드 리스트의 출발위치로 삼아 링크드 리스트 데이터로 묶어서 그룹화한 결과를 보여준다.The
상기 제(N-1) 시점 영상(930)은 상기 제N-1 시점(View(N-1))에서 상기 제N-1 데이터그룹(DATA_GROUP_N-1)을 생성한 결과 영상으로, 상기 제N-1 시점(View(N-1))에서 3D 오브젝트를 버틱스 위치에 포인트 크라우드 모델링한 결과 및 이전 시점의 포인트 경계영역이 상기 제1 시점(View1)의 포인트 경계영역과 만나 상기 3D 오브젝트의 모든 포인트 클라우드를 그룹화 하면 다시점 생성을 종료할 수 있음을 보여준다.The (N-1) -
상기 제N 시점 영상(940)은 상기 제N 시점(ViewN)에서 상기 제N 데이터그룹(DATA_GROUP_N)을 생성한 결과 영상으로, 상기 제N 시점(ViewN)에서 3D 오브젝트를 버틱스 위치에 포인트 크라우드 모델링한 결과 영상이다. 상기 3D 오브젝트를 구성하는 버틱스 포인트들 중 그룹화되지 않은 버틱스 포인트들을 위해 시점의 좌표를 보정할 수 있다.The
다시 도 3으로 돌아오면, 상기 다중시점 정보 생성기(122)의 처리 결과로 상기 제1 시점(View1) 내지 제N 시점(ViewN) 및 상기 제1 데이터그룹(DATA_GROUP_1) 내지 제N 데이터그룹(DATA_GROUP_N)을 포함하는 다중 시야 창 데이터(MV_DATA)가 생성된다. Referring back to FIG. 3, the first view (View1) to the Nth view (ViewN) and the first data group (DATA_GROUP_1) to the Nth data group (DATA_GROUP_N) are generated as the processing result of the multi viewpoint information generator (122) The multi-view window data MV_DATA is generated.
상기 다중시점정보 생성기(122)에 의해 생성된 상기 다중 시야 창 데이터(MV_DATA)는 각각의 시점에 속하는 상기 3D 데이터(3D_DATA)의 데이터리스트로 구성되어 있다. 이하에서, 도 7을 참조하여 상기 3D 데이터(3D_DATA)에 대하여 설명한다.The multi-view window data MV_DATA generated by the multi
도 7은 도 2의 3D 데이터(3D_DATA)를 나타내는 개념도이다. 도 2, 도 3 및 도 7을 참조하면, 상기 3D 데이터(3D_DATA)는 상기 3D 오브젝트를 구성하는 적어도 하나 이상의 오브젝트들에 대한 정보(610)를 포함할 수 있다. 상기 적어도 하나 이상의 오브젝트들에 대한 정보(610)는 오브젝트들의 개수 및 상기 적어도 하나 이상의 오브젝트들 각각에 대한 정보를 포함할 수 있다. 예를 들어, 상기 오브젝트들의 개수는 P개인 경우를 기준으로 설명한다. 7 is a conceptual diagram showing 3D data (3D_DATA) of FIG. Referring to FIGS. 2, 3 and 7, the 3D data 3D_DATA may include
상기 적어도 하나 이상의 오브젝트들 각각에 대한 정보(620)는 버틱스 정보(630) 및 서피스 정보(640)을 포함할 수 있다. 상기 버틱스 정보(630)는 대응되는 오브젝트의 인덱스, 대응되는 오브젝트를 구성하는 버틱스들의 개수 및 상기 버틱스들의 개수만큼의 버틱스 좌표정보들(650)을 포함할 수 있다. The
상기 버틱스 좌표정보(650)는 상기 버틱스의 World 좌표계 좌표정보를 포함할 수 있으며, 예를 들어, x축 좌표(X), y출 좌표(Y) 및 z축 좌표(Z)를 포함할 수 있다. The vertex coordinate
상기 서피스 정보(640)는 서피스 개수 및 서피스 개수만큼의 서피스 데이터(660)를 포함할 수 있다. 상기 서피스 정보(640)를 구성하는 각각의 하나의 서피스 데이터(660)는 위치정보(670) 및 재질정보(680)를 데이터로 포함할 수 있다. 상기 서피스 데이터(660)는 윤곽정보를 데이터로 더 포함할 수 있다. 상기 윤곽정보는 각각의 서피스의 프레임 벡터 방향을 정의하는 정보일 수 있다.The
상기 서피스 데이터(660)의 상기 위치정보(670)는, 예를 들어, 하나의 서피스를 구성하는 버틱스 포인트정보일 수 있다. 예를 들어, 상기 버틱스 포인트정보는 하나의 서피스를 구성하는 버틱스들의 개수 및 버틱스 인덱스들을 포함할 수 있다. 상기 버틱스 포인트정보는 상기 3D 데이터(3D_DATA)의 서피스 정보(S_DATA)에서 설명한 바와 같이 모델링 생성방식에 따라 데이터 구성요소의 개수가 가변할 수 있다. 예를 들어, 모델링 선택방식에 따라 만일 폴리곤 메시 구조를 선택하였으면서 삼각형의 서피스를 사용하는 모델이면, 상기 버틱스 포인트정보는 상기 버틱스들의 개수 k=3이 되고 상기 버틱스 인덱스들은 상기 버틱스 정보(630)에 정의된 각 버틱스들 가운데 대응되는 서피스를 구성하는 버틱스들의 인덱스 데이터가 될 수 있다. The
다른 실시 예에서, 메시 모델링구조를 선택하였으면서 사각형이나 그 이상의 다각형 메시 모델을 사용하면, 상기 버틱스들의 개수 k는 상기 사각형이나 그 이상의 다각형의 각각의 서피스를 구성하는 버틱스들의 수가 될 수 있고, 상기 버틱스 인덱스들은 상기 버틱스 정보(630)에 정의된 각 버틱스들 가운데 대응되는 서피스를 구성하는 버틱스들의 인덱스 데이터가 될 수 있다.In another embodiment, if a mesh modeling structure is selected and a square or more polygonal mesh model is used, then the number k of vertices may be the number of vertices constituting each surface of the square or more polygons , And the vertex indices may be index data of the vertices constituting the corresponding surface among the vertices defined in the
상기 서피스 데이터(660)의 상기 재질정보(680)는 모델링타입, 텍스쳐 규칙 및 텍스쳐 맵 데이터를 포함할 수 있다. 상기 텍스쳐 맵 정보(TM_DATA)에서 설명한 바와 같이 각각의 재질정보(660)는 어떤 모델링 방식을 따르는지에 대한 정보, 서피스를 랜더링 할 때 어떤 텍스쳐를 어떤 방식으로 처리할 지에 대한 정보, 및 텍스쳐 이미지와 피팅할 경우 텍스쳐 이미지의 맵 정보를 포함할 수 있다.The
도 8은 도 1의 3D 랜더링부를 나타내는 블록도이다. 도 1 및 도 8을 참조하면, 상기 3D 랜더링부(130)는 재구성부(131), 시점 추가부(132) 및 시점 파라미터 조정부(133)를 포함할 수 있다.8 is a block diagram showing the 3D rendering unit of FIG. Referring to FIGS. 1 and 8, the
상기 재구성부(131)는 상기 다중시점 정보 생성기(122)에 의해 생성된 상기 다중 시야 창 데이터(MV_DATA)를 사용하여 3D 오브젝트를 재구성하여 다시점 3D 데이터(MV_3D_DATA)를 생성할 수 있고, 상기 재구성된 다시점 3D 데이터(MV_3D_DATA)를 상기 디스플레이부(200)로 전달하여 출력할 수 있다. The reconstructing
사용자는 출력결과로 보여진 3D 오브젝트에 대하여 영상검증 및 보정 과정을 수행할 수 있다. 예를 들어, 사용자는 상기 3D 데이터 추출부(110)의 입력 과정에서 발생한 노이즈를 제거하기 위하여 임의 시점을 추가할 수 있고, 또는 상기 기준시점 및 상기 추가시점들이 최적화된 시점 위치인지 여부를 확인하고 상기 기준시점 및 상기 추가시점들의 위치를 조정할 수 있다. The user can perform the image verification and correction process on the 3D object shown as the output result. For example, the user can add an arbitrary viewpoint in order to remove noise generated in the input process of the
상기 시점 추가부(132)는 상기 기준시점 및 상기 추가시점과 상이한 적어도 하나 이상의 제2 추가시점을 추가하기 위해 시점 추가 정보(DATA1)를 상기 다중시점정보 생성기(122)로 전달할 수 있다. 상기 제2 추가시점에 대한 정보는 상기 인터페이스부(300)를 통해 사용자에 의해 입력될 수 있다. The
상기 다중시점정보 생성기(122)는 상기 시점 추가 정보(DATA1)에 기초하여 상기 제2 추가시점에서 상기 3D 데이터(3D_DATA)를 기초로 영상을 생성하였을 때 이미지 평면상에서 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화한 추가 그룹데이터를 추가로 생성할 수 있다. 상기 다중시점 정보 생성기(122)는 상기 다중 시야 창 데이터(MV_DATA)가 상기 제2 추가시점 및 추가 그룹데이터를 더 포함하도록 상기 다중 시야 창 데이터(MV_DATA)를 갱신시킬 수 있다.The
상기 시점 파라미터 조정부(133)는 상기 기준시점 및 상기 추가시점의 위치를 조정할 수 있다. 상기 기준시점 및 상기 추가시점의 위치를 조정하기 위한 파라미터(DATA2)는 상기 인터페이스부(300)를 통해 사용자에 의해 입력될 수 있다. 상기 파라미터(DATA2)는 상기 기준시점 및 상기 추가시점 중 적어도 하나 이상의 위치를 조정하기 위한 파라미터일 수 있다. 예를 들어, 상기 파라미터(DATA2)는 상기 기준시점 및 상기 추가시점 중 적어도 하나 이상의 시점 위치를 상기 스캔라인 기준 축에 대하여 수직하게 이동시킬 수 있다. The
상기 다중시점정보 생성기(122)는 상기 파라미터에 기초하여 상기 제1 시점(View1) 내지 제N 기준 시점(ViewN) 및 상기 제1 데이터그룹(DATA_GROUP_1) 내지 제N 데이터그룹(DATA_GROUP_N)을 다시 생성하여 상기 다중 시야 창 데이터(MV_DATA)를 갱신시킬 수 있다. The multiple
이와는 달리, 상기 시점 추가부(132) 및 상기 시점 파라미터 조정부(133)는 상기 인터페이스부(300)에 포함될 수 있다.Alternatively, the
상기 재구성부(131)는 3D 오브젝트를 재구성할 때, 각각의 상기 서피스 데이터(660)의 상기 재질정보(680)에 기초하여 각각의 서피스에 대한 랜더링 처리를 할 수 있다. 따라서, 도 6에 나타낸 3D 오브젝트에 대한 최소한의 데이터만으로 다시점 3D 오브젝트 영상을 구현해 냄으로써 3D 오브젝트의 다시점 영상을 생성하는데 걸리는 처리시간을 줄여주고 빠른 시간 내에 다시점 영상의 결과를 확인 할 수 있게 한다.The
도 9는 본 발명의 일 실시예에 따른 다중 시야 창 인터페이스 방법을 나타내는 흐름도이다. 상기 다중 시야 창 인터페이스 방법은 원시 3D 데이터(raw_3D_DATA)를 기초로 3D 오브젝트를 구성하는 버틱스 좌표정보들 및 서피스 정보들을 추출하여 3D 데이터(3D_DATA)를 구축하는 단계(S110), 상기 3D 데이터의 좌표정보를 분석하는 단계(S120), 상기 분석된 3D 데이터에 기초하여 상기 3D 오브젝트를 구현하기 위해 필요한 최소한의 시점 개수를 결정하는 단계(S130), 결정된 시점들 및 상기 시점들 각각에 대응되는 데이터그룹들을 포함하는 다중 시야 창 데이터를 생성하는 단계(S140), 상기 다중 시야 창 데이터를 랜더링하여 상기 3D 오브젝트를 재구성한 다시점 3D 데이터를 생성하는 단계(S150), 상기 다시점 3D 데이터를 이용하여 결과 영상을 출력하는 단계(S160) 및 출력된 영상에 대하여 영상검증 및 보정하는 단계(S170)를 포함할 수 있다. 9 is a flowchart illustrating a multi-view window interface method according to an exemplary embodiment of the present invention. The multi-view window interface method includes constructing 3D data (3D_DATA) by extracting the vertex coordinate information and the surface information constituting the 3D object based on the raw 3D data (raw_3D_DATA) (S110) (S130) of determining a minimum number of viewpoints necessary to implement the 3D object based on the analyzed 3D data (S130), analyzing the data groups corresponding to the determined viewpoints and the viewpoints (S140) generating multi-view window data including the multi-view window data, rendering 3D multi-view window data and reconstructing the 3D object (S150) A step S160 of outputting an image and a step S170 of performing image verification and correction on the output image.
상기 3D 데이터를 구축하는 단계(S110)는 데이터 코드 편집 및 오브젝트 이미지 편집을 통해 생성된 원시 3D 데이터(raw_3D_DATA)를 기초로 다중 시야 창 생성을 위한 3D 데이터(3D_DATA)를 구축하는 단계이다. The step of constructing the 3D data (S110) is a step of constructing 3D data (3D_DATA) for creating a multi-view window based on raw 3D data (raw_3D_DATA) generated through data code editing and object image editing.
상기 출력된 영상에 대하여 영상검증 및 보정하는 단계(S170)는 임의시점의 3D 데이터를 재 구축한 결과와 비교하여 수치적 임의시점 복원영상과 광학시점의 영상을 검토하여 영상의 검증 및 보정 처리를 할 수 있다. 검증결과가 입력데이터를 모두 포함하는지 확인하여 다중 시야 창 생성을 위한 파라미터를 필요에 따라 조정할 수 있다.In the step of performing image verification and correction (S170) on the output image, a numerical arbitrary viewpoint reconstructed image and an optical viewpoint image are examined in comparison with a reconstruction result of 3D data at a certain point of time, can do. The parameters for generating the multiple view window can be adjusted as needed by checking whether the verification result includes all the input data.
상기 다중 시야 창 인터페이스 방법의 각 단계들에 대한 설명은 도 1 내지 도 8에 대한 설명과 중복되는바 생략한다.The description of each step of the multi-view window interface method is omitted because it is the same as the description of FIG. 1 to FIG. 8.
본 발명의 실시예들에 따르면, 3D 오브젝트에 대한 최소한의 데이터만으로 다시점 3D 오브젝트 영상을 구현해 냄으로써 3D 오브젝트의 다시점 영상을 생성하는데 걸리는 처리시간을 줄여주고 빠른 시간 내에 다시점 영상의 결과를 확인 할 수 있게 한다.According to the embodiments of the present invention, a multi-viewpoint 3D object image is implemented by only a minimum amount of data on a 3D object, thereby reducing the processing time required to generate a multi-viewpoint image of the 3D object, I can do it.
이상 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined in the appended claims. It will be possible.
또한, 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 명세서의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 명세서의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위 및 그 균등물에 의해 정해져야 한다.Also, although specific terms are used herein, they are used for the purpose of describing the invention only and are not used to limit the scope of the present disclosure as defined in the claims or the claims. Therefore, the scope of the present specification should not be limited to the above-described embodiments, but should be defined by the appended claims and their equivalents.
100: 데이터 처리부 110: 3D 데이터 추출부
111: 기초 데이터 추출부 112: 텍스쳐 맵 정보 추출부
113: 3D 데이터 생성부 120: 3D 데이터 파싱부
121: 데이터 파서 122: 다중시점정보 생성기
130: 3D 랜더링부 131: 재구성부
132: 시점 추가부 133: 시점 파라미터 조정부
200: 디스플레이부 300: 인터페이스부100: Data processing unit 110: 3D data extracting unit
111: basic data extraction unit 112: texture map information extraction unit
113: 3D data generating unit 120: 3D data parsing unit
121: data parser 122: multi-viewpoint information generator
130: 3D rendering unit 131: reconstruction unit
132: viewpoint addition section 133: viewpoint parameter adjustment section
200: display unit 300: interface unit
Claims (18)
상기 다시점 3D 데이터를 이용하여 결과 영상을 출력하는 디스플레이부; 및
사용자 입력을 통해 상기 데이터 처리부 및 상기 디스플레이부와 상호작용하는 인터페이스부를 포함하는 다중 시야 창 인터페이스 장치.A data extracting unit for extracting the vertex coordinate information and the surface information constituting the 3D object based on the raw 3D data to generate 3D data, at least one viewpoints, A data parser for generating view window data and each of the data groups including the vertex coordinate information and the surface information of the 3D data corresponding to the corresponding viewpoint, A data processing unit including a 3D rendering unit for generating multi-view 3D data on which an object is reconstructed;
A display unit for outputting a resultant image using the multi-viewpoint 3D data; And
And an interface unit for interacting with the data processing unit and the display unit through user input.
상기 적어도 하나 이상의 시점들은 기준시점 및 적어도 하나 이상의 추가시점들을 포함하고,
상기 데이터 파싱부는
상기 기준시점에서 상기 3D 데이터를 기초로 영상을 생성하였을 때 이미지 평면상에 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화하여 제1 데이터그룹을 생성하고, 상기 기준시점에서 상기 이미지 평면상에 보여지는 상기 3D 오브젝트의 외곽 경계영역을 기초로 첫 번째 추가시점을 결정하는 다중시점정보 생성기를 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.The method according to claim 1,
Wherein the at least one viewpoints include a reference viewpoint and at least one more viewpoints,
The data parsing unit
A first data group is generated by grouping the vertices and surfaces of the 3D object displayed on the image plane when the image is generated based on the 3D data at the reference time point and is displayed on the image plane at the reference time point And a multi viewpoint information generator for determining a first addition time point based on an outer boundary area of the 3D object.
상기 3D 오브젝트의 중심점을 지나는 평면 위에서 360도 시야각을 가지는 스캔라인을 형성하고 상기 스캔라인을 따라 수직방향에 존재하는 버틱스들 및 서피스들의 정보로 상기 3D 데이터를 재배열하는 데이터 파서를 더 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.3. The apparatus of claim 2, wherein the data parser
And a data parser for forming a scan line having a 360-degree viewing angle on a plane passing the center point of the 3D object and rearranging the 3D data with information of vortices and surfaces existing in a vertical direction along the scan line Wherein the multi-view window interface device is a multi-view window interface device.
새로이 추가된 추가시점에 대응되는 데이터그룹이 상기 기준시점의 일측 경계영역을 포함할 때까지 시점을 추가하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.3. The method of claim 2, wherein the multi-viewpoint information generator
Wherein the viewpoint is added until a data group corresponding to a newly added additional time point includes one side boundary region of the reference time point.
상기 인터페이스부를 통해 입력받은 시점 추가 정보에 기초하여 새로운 시점을 추가하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.3. The method of claim 2, wherein the multi-viewpoint information generator
And adding a new viewpoint based on the viewpoint addition information received through the interface unit.
상기 인터페이스부를 통해 입력받은 파라미터에 기초하여 상기 기준시점 및 상기 추가시점들 중 적어도 하나 이상의 위치를 조정하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.5. The method of claim 4, wherein the multi-viewpoint information generator
And adjusts at least one of the reference time point and the additional time point based on the parameter input through the interface unit.
3D 오브젝트의 종류 및 사용 목적에 따라 상이한 파일 포맷 및 데이터를 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.The method of claim 1, wherein the raw 3D data
And a different file format and data depending on the type of the 3D object and the purpose of use.
상기 원시 3D 데이터를 기초로 상기 3D 오브젝트를 구성하는 텍스쳐 맵 정보를 더 추출하여 상기 3D 데이터를 생성하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.The apparatus of claim 1, wherein the data extracting unit
And further extracting texture map information constituting the 3D object based on the raw 3D data to generate the 3D data.
모델링 방식을 폴리곤 메시 구조로 선택한 경우 폴리곤 메시 구조의 서피스를 포함하고,
모델링 방식을 포인트 클라우드 방식으로 선택한 경우 포인트 클라우드의 각각의 포인트 좌표 정보를 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 장치.The method of claim 1, wherein the surface information
When the modeling method is selected as the polygon mesh structure, the surface of the polygon mesh structure is included,
And when the modeling method is selected as the point cloud method, the point cloud information of each point cloud is included.
상기 3D 데이터의 좌표정보를 분석하는 단계;
상기 분석된 3D 데이터에 기초하여 상기 3D 오브젝트를 구현하기 위해 필요한 최소한의 시점 개수를 결정하는 단계;
결정된 시점들 및 상기 시점들 각각에 대응되는 데이터그룹들을 포함하는 다중 시야 창 데이터를 생성하는 단계;
상기 다중 시야 창 데이터를 랜더링하여 상기 3D 오브젝트를 재구성한 다시점 3D 데이터를 생성하는 단계;
상기 다시점 3D 데이터를 이용하여 결과 영상을 출력하는 단계; 및
출력된 영상에 대하여 영상검증 및 보정하는 단계를 포함하고,
상기 데이터그룹들 각각은 대응되는 상기 시점에 대응되는 상기 3D 데이터의 버틱스 좌표정보들 및 서피스 정보들을 포함하는 다중 시야 창 인터페이스 방법.Constructing 3D data by extracting the vertex coordinate information and the surface information constituting the 3D object based on the raw 3D data;
Analyzing coordinate information of the 3D data;
Determining a minimum number of viewpoints necessary to implement the 3D object based on the analyzed 3D data;
Generating multiple view window data including the determined time points and the data groups corresponding to each of the viewpoints;
Rendering multi-view window data to generate multi-view 3D data by reconstructing the 3D object;
Outputting a resultant image using the multi-view 3D data; And
And performing image verification and correction on the output image,
Wherein each of the data groups includes vertex coordinate information and surface information of the 3D data corresponding to the corresponding viewpoint.
상기 결정된 시점들은 기준시점 및 적어도 하나 이상의 추가시점들을 포함하고,
상기 최소한의 시점 개수를 결정하는 단계는
상기 기준시점에서 상기 3D 데이터를 기초로 영상을 생성하였을 때 이미지 평면상에 보여지는 3D 오브젝트의 버틱스들 및 서피스들을 그룹화하여 제1 데이터그룹을 생성하는 단계; 및
상기 기준시점에서 상기 이미지 평면상에 보여지는 상기 3D 오브젝트의 외곽 경계영역을 기초로 첫 번째 추가시점을 결정하는 단계를 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.11. The method of claim 10,
Wherein the determined time points include a reference time point and at least one additional time point,
The step of determining the minimum number of viewpoints
Grouping the vertices and surfaces of the 3D object displayed on the image plane when the image is generated based on the 3D data at the reference time point to generate a first data group; And
And determining a first addition time point based on an outer boundary region of the 3D object displayed on the image plane at the reference time point.
상기 3D 오브젝트의 중심점을 지나는 평면 위에서 360도 시야각을 가지는 스캔라인을 형성하고 상기 스캔라인을 따라 수직방향에 존재하는 버틱스들 및 서피스들의 정보로 상기 3D 데이터를 재배열하는 단계를 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.The method of claim 10, wherein analyzing the coordinate information of the 3D data
Forming a scan line having a 360-degree viewing angle on a plane passing the center point of the 3D object, and rearranging the 3D data with information of vertices and surfaces existing in the vertical direction along the scan line A multi-view window interface method.
새로이 추가된 추가시점에 대응되는 데이터그룹이 상기 기준시점의 일측 경계영역을 포함할 때까지 시점을 추가하는 단계를 더 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.12. The method of claim 11, wherein generating the multiple view window data comprises:
Further comprising adding a viewpoint until a data group corresponding to a newly added additional time point includes one side boundary region of the reference time point.
상기 출력된 영상에 대하여 영상검증 및 보정하는 단계는 사용자 인터페이스를 통해 시점 추가 정보를 입력 받는 단계를 포함하고,
상기 다중 시야 창 데이터를 생성하는 단계는 상기 시점 추가 정보에 기초하여 새로운 시점을 추가하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.12. The method of claim 11,
The step of performing image verification and correction on the output image may include inputting view addition information through a user interface,
Wherein the generating of the multi-view window data comprises adding a new viewpoint based on the viewpoint addition information.
상기 출력된 영상에 대하여 영상검증 및 보정하는 단계는 사용자 인터페이스를 통해 파라미터를 입력 받는 단계를 포함하고,
상기 다중 시야 창 데이터를 생성하는 단계는 상기 파라미터에 기초하여 상기 기준 시점 및 상기 추가시점들 중 적어도 하나 이상의 위치를 조정하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.12. The method of claim 11,
Wherein the step of performing image verification and correction of the output image includes receiving a parameter through a user interface,
Wherein the generating of the multi-view window data comprises adjusting at least one of the reference time point and the additional time points based on the parameter.
상기 원시 3D 데이터를 기초로 상기 3D 오브젝트를 구성하는 텍스쳐 맵 정보를 더 추출하여 상기 3D 데이터를 구축하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.11. The method of claim 10, wherein constructing the 3D data comprises:
Wherein the texture map information constituting the 3D object is further extracted based on the raw 3D data to construct the 3D data.
모델링 방식을 폴리곤 메시 구조로 선택한 경우 폴리곤 메시 구조의 서피스를 포함하고,
모델링 방식을 포인트 클라우드 방식으로 선택한 경우 포인트 클라우드의 각각의 포인트 좌표 정보를 포함하는 것을 특징으로 하는 다중 시야 창 인터페이스 방법.11. The method of claim 10, wherein the surface information
When the modeling method is selected as the polygon mesh structure, the surface of the polygon mesh structure is included,
And when the modeling method is selected as a point cloud method, each point coordinate information of the point cloud is included.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140195016A KR101661600B1 (en) | 2014-12-31 | 2014-12-31 | Multi-view window interface apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140195016A KR101661600B1 (en) | 2014-12-31 | 2014-12-31 | Multi-view window interface apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160082158A true KR20160082158A (en) | 2016-07-08 |
KR101661600B1 KR101661600B1 (en) | 2016-09-30 |
Family
ID=56504163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140195016A KR101661600B1 (en) | 2014-12-31 | 2014-12-31 | Multi-view window interface apparatus and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101661600B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200133387A (en) * | 2018-04-05 | 2020-11-27 | 삼성전자주식회사 | Method and apparatus for transmitting information on 3D content including a plurality of viewpoints |
KR20210083745A (en) * | 2019-12-27 | 2021-07-07 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284403A (en) * | 2004-03-26 | 2005-10-13 | Olympus Corp | Three-dimensional information output system, server, and client |
KR101043331B1 (en) | 2009-04-30 | 2011-06-23 | 알피니언메디칼시스템 주식회사 | 3-dimension supersonic wave image user interface apparatus and method for displaying 3-dimension image at multiplex view point of ultrasonography system by real time |
-
2014
- 2014-12-31 KR KR1020140195016A patent/KR101661600B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005284403A (en) * | 2004-03-26 | 2005-10-13 | Olympus Corp | Three-dimensional information output system, server, and client |
KR101043331B1 (en) | 2009-04-30 | 2011-06-23 | 알피니언메디칼시스템 주식회사 | 3-dimension supersonic wave image user interface apparatus and method for displaying 3-dimension image at multiplex view point of ultrasonography system by real time |
Non-Patent Citations (2)
Title |
---|
OpenGL을 이용한 모델기반 3D 다시점 영상 객체 구현, 한국방송공학회 학술발표대회 논문집(2006)* * |
경주첨성대 실측 훼손도평가 조사보고서, 국립문화재연구소(2009)* * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200133387A (en) * | 2018-04-05 | 2020-11-27 | 삼성전자주식회사 | Method and apparatus for transmitting information on 3D content including a plurality of viewpoints |
KR20210083745A (en) * | 2019-12-27 | 2021-07-07 | 주식회사 맥스트 | Apparatus and method for generating point cloud |
US11423609B2 (en) | 2019-12-27 | 2022-08-23 | Maxst Co., Ltd. | Apparatus and method for generating point cloud |
Also Published As
Publication number | Publication date |
---|---|
KR101661600B1 (en) | 2016-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111986307B (en) | 3D object reconstruction using a light grid representation | |
KR101697184B1 (en) | Apparatus and Method for generating mesh, and apparatus and method for processing image | |
CN115100339B (en) | Image generation method, device, electronic equipment and storage medium | |
JP5055214B2 (en) | Image processing apparatus and image processing method | |
CN104902255B (en) | A kind of data source generation method based on swept-volume three-dimensional display system | |
Li et al. | Multivisual animation character 3D model design method based on VR technology | |
JP2017016577A (en) | Information processor, and control method, and program, for the same | |
KR101661600B1 (en) | Multi-view window interface apparatus and method | |
KR101208767B1 (en) | Stereoscopic image generation method, device and system using circular projection and recording medium for the same | |
US10950044B2 (en) | Methods and apparatus to facilitate 3D object visualization and manipulation across multiple devices | |
KR100937795B1 (en) | Treatment method for shaping of 3 dimension image using computer | |
JP2009247502A (en) | Method and apparatus for forming intermediate image and program | |
CN116503577A (en) | Method and system for quickly collecting three-dimensional model of virtual simulation scene | |
KR100743232B1 (en) | An improved method for culling view frustum in stereoscopic terrain visualization | |
JP6719168B1 (en) | Program, apparatus and method for assigning label to depth image as teacher data | |
Li et al. | 3D reconstruction based on stereovision and texture mapping | |
CN108495117A (en) | Hologram image various visual angles processing conversion, display methods and equipment | |
Lomas | Enhancing Perception of Complex Sculptural Forms Using Interactive Real-time Ray Tracing | |
Patel | 3D Perception of a 2D Image Using Displacement Map | |
Sherif et al. | Novel robust multilevel 3D visualization technique for web based GIS | |
Naik | 3D Mesh Simplification Techniques for Enhanced Image Based Rendering | |
CN108537835A (en) | Hologram image generation, display methods and equipment | |
Kawamura et al. | VR Extension of Client Server Type Particle-based Volume Visualization Application | |
Wu et al. | Design Modification of Additive Manufacturing Parts Using Texture Information of 3D Model | |
Tang et al. | STEREOSCOPIC DISPLAY OF ARCHITECTURAL EXTERIOR DESIGN IMAGES BASED ON VIRTUAL REALITY TECHNOLOGY |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20190902 Year of fee payment: 4 |