KR20150068088A

KR20150068088A - augmented reality service system for providing 3D model

Info

Publication number: KR20150068088A
Application number: KR1020130153874A
Authority: KR
Inventors: 류지혁
Original assignee: 류지혁
Priority date: 2013-12-11
Filing date: 2013-12-11
Publication date: 2015-06-19
Also published as: KR101599257B1

Abstract

Disclosed is a 3D model augmented reality service system. According to an embodiment, a 3D augmented reality service system comprises: a main server for storing a 3D data of an object, a first terminal connected to the main server and receiving the 3D data; and a camera connected to the first terminal and acquiring a peripheral image of the first terminal. The 3D data includes shape information of the object, and surface information thereof wherein the first terminal generates and displays a 3D image of the object from the 3D data. The 3D model augmented reality service system may further include an image processing unit for mixing the peripheral image with the three-dimensional image of the object. The image processor unit mixes the three-dimensional image at a predetermined position of the peripheral image acquired by the camera considering a perspective.

Description

The 3D model augmented reality service system provides a 3D model.

본 명세서는 대체로 3D모델 증강현실 서비스 시스템에 관한 것으로, 보다 구체적으로는 카메라로 획득된 주변영상에 객체의 3D데이터를 원근을 고려하여 혼합하는 3D모델 증강현실 서비스 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention generally relates to a 3D model augmented reality service system, and more particularly, to a 3D model augmented reality service system in which 3D data of an object is mixed with a surrounding image obtained by a camera in consideration of perspective.

증강현실(augmented reality, AR)이란 실제 주변 환경에 가상의 사물(예를 들면, 상품이나 상품 홍보문구 등)을 합성하여 실제 주변 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.Augmented reality (AR) is a computer graphics technique that synthesizes virtual objects (such as product or product promotional text) in the actual surroundings to make them look like objects in the actual surroundings.

현실 영상에 컴퓨터로 생성한 가상의 사물에 대한 부가영상을 접목함으로써 가상의 사물에 대한 영상정보만으로는 얻기 어려운 부가적인 정보를 얻을 수 있다. 예를 들면, 증강현실은 가구 등과 같은 구입하려는 상품이 구매자의 실제 주거공간의 구조에 적합한 모양인지, 색상은 실제 주거공간의 분위기에 맞는지 등에 대한 부가적인 정보를 제공해 줄 수 있다.By combining the real image with the additional image of the virtual object created by the computer, it is possible to obtain additional information that is difficult to obtain by the image information about the virtual object. For example, the augmented reality can provide additional information on whether the product to be purchased, such as furniture, is suitable for the structure of the actual residence space of the purchaser, whether the color matches the atmosphere of the actual residential space, and the like.

종래의 증강현실은 획득한 현실 영상에 가상의 사물의 2D 또는 원근을 고려하지 않은 3D이미지를 단순히 혼합한 영상을 제공하고 있다. 이러한 정보만으로는 가상의 사물에 대한 부가적인 정보를 효과적으로 얻기 어렵다. 따라서, 획득한 현실 영상에 원근을 고려한 가상의 사물의 이미지를 혼합한 영상을 효과적으로 제공할 수 있는 서비스의 개발이 필요하다.Conventional augmented reality provides images obtained by simply mixing 2D images of virtual objects or 3D images not considering the perspective to the acquired real images. With this information alone, it is difficult to effectively obtain additional information about virtual objects. Therefore, it is necessary to develop a service that can effectively provide an image of a virtual reality object in consideration of the perspective of the acquired reality image.

증강현실 서비스의 예가 등록특허 KR 10-1085762 “증강현실을 이용한 주얼리 착용 모습 디스플레이 장치 및 방법” 등에서 제안된 바 있다. 인용발명의 경우 획득한 현실 영상의 원하는 위치에 주얼리 등과 같은 가상의 사물을 혼합할 수 있다. 하지만, 인용발명의 경우 획득한 현실 영상의 원근을 고려한 가상의 사물의 혼합은 어려운 단점이 있다. 이 점에서 본 명세서에서 제시하는 3D 증강현실 서비스와는 차이가 있다.An example of augmented reality service has been proposed in, for example, Patent Document KR 10-1085762 entitled " Display Apparatus and Method for Appearing Jewelry Using Augmented Reality. &Quot; In the case of the cited invention, virtual objects such as jewelery can be mixed at a desired position of the obtained real image. However, in the case of the cited invention, it is difficult to mix virtual objects considering the perspective of the acquired real image. In this regard, there is a difference from the 3D augmented reality service presented in this specification.

일 실시 예에 있어서, 3D모델 증강현실 서비스 시스템이 개시(disclosure)된다. 상기 3D모델 증강현실 서비스 시스템은 객체의 3D데이터를 저장하는 메인 서버, 상기 메인 서버와 연결되며 상기 3D데이터를 수신하는 제1단말기 및 상기 제1단말기와 연결되며 상기 제1단말기 주변 영상을 획득하는 카메라를 포함한다. 상기 3D데이터는 상기 객체의 형상 정보 및 표면 정보를 포함하며, 상기 제1단말기는 상기 3D데이터로부터 상기 객체의 3차원 이미지를 생성하여 디스플레이한다. 상기 3D모델 증강현실 서비스 시스템은 상기 객체의 상기 3차원 이미지를 상기 주변 영상에 혼합하는 영상처리부를 더 포함할 수 있다. 상기 영상처리부는 상기 카메라를 통하여 획득된 상기 주변 영상의 소정의 위치에 원근을 고려하여 상기 3차원 이미지를 혼합한다.In one embodiment, a 3D model augmented reality service system is disclosed. The 3D model augmented reality service system includes a main server for storing 3D data of an object, a first terminal connected to the main server and receiving the 3D data, and a second terminal connected to the first terminal, Camera. The 3D data includes shape information and surface information of the object, and the first terminal generates and displays a three-dimensional image of the object from the 3D data. The 3D model augmented reality service system may further include an image processing unit for mixing the three-dimensional image of the object with the surrounding image. The image processing unit mixes the three-dimensional image in consideration of a perspective at a predetermined position of the peripheral image obtained through the camera.

전술한 내용은 이후 보다 자세하게 기술되는 사항에 대해 간략화된 형태로 선택적인 개념만을 제공한다. 본 내용은 특허 청구 범위의 주요 특징 또는 필수적 특징을 한정하거나, 특허청구범위의 범위를 제한할 의도로 제공되는 것은 아니다.The foregoing provides only a selective concept in a simplified form as to what is described in more detail hereinafter. The present disclosure is not intended to limit the scope of the claims or limit the scope of essential features or essential features of the claims.

도 1은 일 실시 예에 따른 3D모델 증강현실 서비스 시스템을 나타내는 도면이다.
도 2 내지 도 5는 일 실시 예에 따른 3D모델 증강현실 서비스 시스템의 동작을 설명하기 위한 도면이다.1 is a diagram illustrating a 3D model augmented reality service system according to an exemplary embodiment.
FIGS. 2 to 5 are views for explaining operations of a 3D model augmented reality service system according to an embodiment.

이하, 본 명세서에 개시된 실시 예들을 도면을 참조하여 상세하게 설명하고 자 한다. 본문에서 달리 명시하지 않는 한, 도면의 유사한 참조번호들은 유사한 구성요소들을 나타낸다. 상세한 설명, 도면들 및 청구항들에서 상술하는 예시적인 실시 예들은 한정을 위한 것이 아니며, 다른 실시 예들이 이용될 수 있으며, 여기서 개시되는 기술의 사상이나 범주를 벗어나지 않는 한 다른 변경들도 가능하다. 당업자는 본 개시의 구성요소들, 즉 여기서 일반적으로 기술되고, 도면에 기재되는 구성요소들을 다양하게 다른 구성으로 배열, 구성, 결합, 도안할 수 있으며, 이것들의 모두는 명백하게 고안되어지며, 본 개시의 일부를 형성하고 있음을 용이하게 이해할 수 있을 것이다. 도면에서는 구성요소들 간의 상호관계를 명확하게 표현하기 위하여 구성요소의 폭, 길이, 두께 또는 형상 등은 과장되어 표현될 수도 있다.Hereinafter, embodiments disclosed in this specification will be described in detail with reference to the drawings. Like reference numerals in the drawings denote like elements, unless the context clearly indicates otherwise. The exemplary embodiments described above in the detailed description, the drawings, and the claims are not intended to be limiting, and other embodiments may be utilized, and other variations are possible without departing from the spirit or scope of the disclosed technology. Those skilled in the art will appreciate that the components of the present disclosure, that is, the components generally described herein and illustrated in the figures, may be arranged, arranged, combined, or arranged in a variety of different configurations, all of which are expressly contemplated, As shown in FIG. In the drawings, a width, a length, a thickness, a shape, or the like of an element may be exaggerated in order to clearly express the interrelationship among the elements.

일 구성요소가 다른 구성요소와 "연결되어" 또는 “연결되는”이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다. 또한, 일 구성요소가 다른 구성요소와 "연결되어" 또는 “연결되는”이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소와 유선으로 연결되는 경우는 물론, 무선으로 연결되는 경우도 포함할 수 있다.When a component is referred to as being "connected" or " connected " with another component, the component may be directly connected to the other component, . Also, when an element is referred to as being "connected" or " connected " to another element, it includes both the case where the element is wired with the other element, .

일 구성요소가 다른 구성요소 "에 배치" 이라고 언급되는 경우, 상기 일 구성요소가 상기 다른 구성요소에 직접 배치되는 경우는 물론, 이들 사이에 추가적인 구성요소가 개재되는 경우도 포함할 수 있다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에” 와 “바로 ~사이에” 등도 마찬가지로 이해되어야 한다.When a component is referred to as being " deployed "to another component, it may include the case where the component is directly disposed on the other component, as well as the case where additional components are interposed therebetween. On the other hand, other expressions that describe the relationship between components, such as " between " and " between "

본 명세서에서 사용하는 “단말기”라는 용어는 휴대폰, 태블릿 피씨, 노트북, 데스크탑 피씨 등 유선 또는 무선으로 정보의 입력, 처리 등이 가능한 전자기기를 총망라하는 용어로 이해되어야 한다.As used herein, the term " terminal " should be understood to include all electronic devices capable of inputting and processing information by wire or wireless, such as a mobile phone, a tablet PC, a notebook, and a desktop PC.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, “포함하다” 또는 “가지다” 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that the singular " include " or " have " are to be construed as including the stated feature, number, step, operation, It is to be understood that the combination is intended to specify that it is present and not to preclude the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, 110, 120, 130, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들의 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In each step, the identification codes (e.g., 110, 120, 130, ...) are used for convenience of explanation and the identification codes do not describe the order of the steps, Unless the specific order is described, it may occur differently from the order specified. That is, steps may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.

여기서 사용된 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석 될 수 없다. 또한, 본 명세서에서 개시된 내용과 관련된 공지 기능 또는 그 구성에 대한 구체적인 설명이 본 명세서에서 개시된 내용의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 구체적인 설명을 생략하였음에 유의해야 할 것 이다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the disclosed technology belongs, unless otherwise defined. Terms defined in commonly used dictionaries should be interpreted to be consistent with meaning in the context of the relevant art and can not be construed as having ideal or overly formal meaning unless expressly defined in the present application. In addition, it should be noted that a detailed description of well-known functions or configurations related to the disclosure disclosed herein may be omitted to avoid unnecessarily obscuring the subject matter of the disclosure.

도 1을 참조하면, 3D모델 증강현실 서비스 시스템(100)은 메인 서버(110), 제1단말기(120) 및 카메라(130)을 포함한다. 몇몇 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로(optionally) 영상처리부(미도시)를 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로 마커(132)를 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로 3D프린터(140)를 더 포함할 수 있다. 몇몇 또 다른 실시 예들에 있어서, 3D모델 증강현실 서비스 시스템(100)은 선택적으로 제2단말기(150)를 더 포함할 수 있다. 이 경우 제2단말기(150)는 적어도 하나의 주변기기(160)를 포함할 수 있다.Referring to FIG. 1, the 3D model augmented reality service system 100 includes a main server 110, a first terminal 120, and a camera 130. In some other embodiments, the 3D model augmented reality service system 100 may optionally further include an image processor (not shown). In some other embodiments, the 3D model augmented reality service system 100 may optionally further include a marker 132. [ In some other embodiments, the 3D model augmented reality service system 100 may optionally further include a 3D printer 140. In some other embodiments, the 3D model augmented reality service system 100 may optionally further include a second terminal 150. [ In this case, the second terminal 150 may include at least one peripheral device 160.

메인 서버(110)는 객체의 3D데이터를 저장한다. 상기 객체의 상기 3D데이터는 상기 객체의 형상 정보 및 표면 정보를 포함한다. 상기 객체의 형상은 예로서 삼각형 등 다각형 모양의 폴리곤(polygon)으로 분할되어 표현될 수 있다. 이 경우, 상기 객체의 형상 정보는 상기 객체를 이루는 폴리곤의 각 꼭지점의 상대적인 좌표값으로 표현될 수 있다. 상기 객체의 표면 정보는 상기 객체의 색채, 질감 등의 정보를 포함한다. 일례로, 상기 객체의 상기 3D데이터는 상품 관련 데이터일 수 있다. 다른 예로, 상기 객체의 상기 3D데이터는 상품홍보물 관련 데이터일 수 있다. 상기의 예시는 이해를 위한 예시로서 상기한 예시 이외에 3D데이터로 표현될 수 있는 한 상기 3D데이터로 표현될 수 있는 대상물에는 제한이 없다. 이하 설명의 편의상 상기 객체의 상기 3D데이터와 관련하여 상품 관련 데이터를 위주로 설명하기로 한다. 이러한 설명이 본 명세서에서 개시하고 있는 기술적 사상의 내용을 상품에 한정하는 것은 아님을 분명히 밝혀둔다.The main server 110 stores the 3D data of the object. The 3D data of the object includes shape information and surface information of the object. The shape of the object may be represented by, for example, a polygon such as a triangle or the like. In this case, the shape information of the object may be represented by the relative coordinate value of each vertex of the polygon constituting the object. The surface information of the object includes information on the color, texture, and the like of the object. In one example, the 3D data of the object may be product related data. As another example, the 3D data of the object may be data related to the product promotional material. The above example is an example for understanding, and there is no limitation on the object that can be represented by the 3D data as long as it can be represented by 3D data in addition to the above example. For convenience of explanation, the product-related data related to the 3D data of the object will be mainly described. It is clearly understood that the description does not limit the contents of the technical idea disclosed in this specification to a product.

메인 서버(110)에 저장된 상기 객체의 상기 3D데이터는 제1단말기(120)의 요청에 따라 제1단말기(120)에 제공될 수 있다. 또한, 메인 서버(110)에 저장된 상기 객체의 상기 3D데이터는 제2단말기(150)의 요청에 따라 삭제되거나 변경되어 메인 서버(110)에 저장될 수 있다. 일 실시 예에 있어서, 메인 서버(110)는 데이터베이스(미도시) 및 데이터관리부(미도시)를 포함할 수 있다. 상기 데이터베이스는 상기 객체의 상기 3D데이터를 저장한다. 상기 객체의 상기 3D데이터는 상기 객체의 공급자로 사전 제휴를 통하여 선정된 제휴사의 상품과 관련한 3D데이터일 수 있다. 상기 데이터베이스는 상기 객체의 공급자로 사전 제휴를 통하여 선정된 하나 이상의 제휴사의 정보를 저장할 수 있다. 상기 제휴사의 상기 정보는 상기 제휴사가 공급하는 상기 객체의 상기 3D데이터를 포함하는 상품정보를 포함할 수 있다. 이 경우, 상기 데이터베이스는 상기 3D데이터를 제휴사별, 상품별 및 이들의 조합 중에서 선택되는 어느 하나로 구분하여 저장할 수 있다. 또한, 상기 데이터베이스는 상기 제휴사의 제휴사 식별번호 및 상기 객체의 객체 식별번호를 제공할 수 있다. 이 경우, 제1단말기(120)는 상기 제휴사 식별정보를 통하여 상기 제휴사가 제공하는 상기 상품정보와 연결이 되어 상기 상품정보로부터 상기 객체의 상기 3D데이터를 수신하거나, 상기 객체 식별정보로부터 상기 객체의 상기 3D데이터를 수신할 수 있다. 또한, 상기 데이터베이스는 상기 객체와 관련한 고객의 선호도, 상품평가, 사후관리평가, 판매수량, 재고상황, 판매가격비교, 예상운송기간, 예상제조기간 등의 정보 중 적어도 일부를 저장할 수 있다. 또한, 상기 데이터베이스는 상기 객체를 제공하는 제휴사와 관련한 고객의 선호도, 소재지, 기업매출액, 주식시장상장여부, 고용현황, 기업평가 등의 정보 중 적어도 일부를 저장할 수 있다. 상기 데이터관리부는 상기 제휴사정보의 변동을 반영하여 상기 데이터베이스를 관리한다. 일례로, 상기 데이터관리부는 상기 제휴사의 상기 정보의 변동을 반영하여 상기 데이터베이스를 관리한다. 상기 데이터관리부가 관리하는 내용은 앞서 상기 데이터베이스가 저장하는 내용과 실질적으로 동일하므로 이에 대한 상세한 설명은 설명의 편의상 생략한다.The 3D data of the object stored in the main server 110 may be provided to the first terminal 120 at the request of the first terminal 120. The 3D data of the object stored in the main server 110 may be deleted or modified according to a request of the second terminal 150 and stored in the main server 110. In one embodiment, the main server 110 may include a database (not shown) and a data manager (not shown). The database stores the 3D data of the object. The 3D data of the object may be 3D data related to a product of an affiliate selected through a pre-association with the provider of the object. The database may store information of one or more affiliates selected through a pre-association with the provider of the object. The information of the affiliate company may include product information including the 3D data of the object supplied by the affiliate company. In this case, the database may store the 3D data by dividing the 3D data into one selected from among affiliates, products, and combinations thereof. In addition, the database may provide an affiliate identification number of the affiliate and an object identification number of the object. In this case, the first terminal 120 receives the 3D data of the object from the merchandise information in connection with the merchandise information provided by the affiliate through the affiliate identification information, or receives the 3D data of the object from the merchandise information The 3D data can be received. Also, the database may store at least a part of information related to the object such as a customer's preference, a product evaluation, a post management evaluation, a sales quantity, an inventory status, a sales price comparison, an expected transportation period, In addition, the database may store at least a part of information related to an affiliate providing the object, such as a customer's preference, location, company sales, stock market listing, employment status, company evaluation, and the like. The data management unit manages the database by reflecting variations in the affiliate information. For example, the data management unit manages the database by reflecting a change in the information of the affiliate company. Since the content managed by the data management unit is substantially the same as the content stored in the database, a detailed description thereof will be omitted for the sake of explanation.

제1단말기(120)는 메인 서버(110)와 연결되며, 상기 객체의 상기 3D데이터를 수신한다. 제1단말기(120)는 카메라(130)와 연결될 수 있으며, 카메라(130)를 통하여 제1단말기(120) 주변의 영상을 획득할 수 있다. 카메라(130)를 통하여 획득되는 상기 주변의 영상은 이미지 일 수도 있고, 동영상일 수도 있다. 카메라(130)는 제1단말기(120)에 내장될 수도 있으며, 분리된 외장 형태로 제1단말기(120)와 연결될 수 있다. 제1단말기(120)의 상기 주변의 영상을 획득할 수 있는 한 카메라(130)의 종류에는 제한이 없다.The first terminal 120 is connected to the main server 110 and receives the 3D data of the object. The first terminal 120 may be connected to the camera 130 and may acquire images around the first terminal 120 through the camera 130. The surrounding image obtained through the camera 130 may be an image or a moving image. The camera 130 may be embedded in the first terminal 120 or may be connected to the first terminal 120 in a separate external form. There is no limitation on the type of the camera 130 as long as the image of the periphery of the first terminal 120 can be acquired.

일 실시 예에 있어서, 제1단말기(120)는 상기 데이터베이스와 연결되어 상기 제휴사별 또는 상기 상품별로 저장된 상기 제휴사정보를 검색하여 상기 3D데이터를 수신할 수 있다. 일례로, 메인 서버(110)와 연결한 제1단말기(120)의 소지자는 원하는 상품을 선택할 수 있다. 이 경우, 메인 서버(110)는 제1단말기(120)의 소지자가 선택한 상기 상품에 대한 정보를 제휴사별, 판매수량별, 고객의 선호도별, 판매가격별, 재고상황별 등의 다양한 방법으로 분류하여 제공할 수 있다. 다른 예로, 메인 서버(110)와 연결한 제1단말기(120)의 소지자는 원하는 제휴사를 선택할 수 있다. 이 경우, 메인 서버(110)는 제1단말기(120)의 상기 소지자가 선택한 상기 제휴사에 대한 정보를 상품별, 판매수량별, 고객의 선호도별, 판매가격별, 재고상황별 등의 다양한 방법으로 분류하여 제공할 수 있다.In one embodiment, the first terminal 120 may be connected to the database and receive the 3D data by searching the affiliate information stored by the affiliate company or the product. For example, the holder of the first terminal 120 connected to the main server 110 can select a desired product. In this case, the main server 110 classifies information on the goods selected by the holder of the first terminal 120 in various ways, such as by affiliate, by sales quantity, by customer preference, by selling price, . As another example, a holder of the first terminal 120 connected to the main server 110 may select a desired affiliate. In this case, the main server 110 classifies the information about the affiliate selected by the holder of the first terminal 120 in various ways such as by product, sales quantity, customer preference, sales price, .

제1단말기(120)가 메인 서버(110)의 상기 3D데이터를 수신하는 과정은 소프트웨어를 통하여 진행될 수 있다. 상기 소프트웨어는 메인 서버(110) 관리자가 제공하며, 제1단말기(120) 소지자는 상기 소프트웨어를 통하여 본 명세서에서 개시하는 3D모델 증강현실 서비스를 활용할 수 있다. 또는 고객은 메인 서버(110)에 직접 접속하여 본 서비스를 이용할 수도 있다. 제1단말기(120) 소지자는 미리 인지하고 있는 다운로드 경로를 통하거나, 메인 서버(110)의 사용자가 홍보자료 등에서 제시하는 다운로드 경로를 보고 상기 소프트웨어를 제1단말기(120)에 설치할 수 있다. 상기 소프트웨어는 예로서 어플리케이션(application)의 형태로 제1단말기(120)에 설치될 수 있다. 제1단말기(120)의 소지자는 제1단말기(120)에 설치된 상기 소프트웨어를 통하여 메인 서버(110)와 유선 또는 무선으로 연결되어 메인 서버(110)가 제공하는 상기 3D데이터를 수신할 수 있다. 다른 예로, 제1단말기(120)의 소지자는 상기 객체에 부착되거나 상기 객체를 소개하는 상기 제휴사의 홍보자료에 배치되는 NFC 태그(미도시)를 통하여 상기 소프트웨어를 제1단말기(120)에 설치할 수 있다. 상기 NFC 태그는 제1단말기(120)와의 NFC(Near Field Communication) 통신을 통하여 상기 소프트웨어와 메인 서버(110)의 정보를 제1단말기(120)에 제공할 수 있다. 제1단말기(120)의 소지자는 제1단말기(120)에 설치된 상기 소프트웨어를 통하여 메인 서버(110)와 유선 또는 무선으로 연결되어 메인 서버(110)가 제공하는 상기 3D데이터를 수신할 수 있다.The process of the first terminal 120 receiving the 3D data of the main server 110 may be performed through software. The software is provided by an administrator of the main server 110, and a first terminal 120 holder can utilize the 3D model augmented reality service disclosed in this specification through the software. Alternatively, the customer may directly access the main server 110 and use this service. The holder of the first terminal 120 can install the software on the first terminal 120 through a download path that is recognized in advance or by viewing a download path presented by a user of the main server 110 in publicity materials or the like. The software may be installed in the first terminal 120 in the form of an application, for example. The holder of the first terminal 120 can receive the 3D data provided by the main server 110 by being connected to the main server 110 in a wired or wireless manner through the software installed in the first terminal 120. As another example, a holder of the first terminal 120 may install the software on the first terminal 120 via an NFC tag (not shown) that is attached to the object or promotional material of the affiliate that introduces the object have. The NFC tag may provide information about the software and the main server 110 to the first terminal 120 through NFC (Near Field Communication) communication with the first terminal 120. The holder of the first terminal 120 can receive the 3D data provided by the main server 110 by being connected to the main server 110 in a wired or wireless manner through the software installed in the first terminal 120.

제1단말기(120)는 상기 3D데이터로부터 상기 객체의 3차원 이미지를 생성하여 디스플레이한다. 상기 객체의 상기 3차원 이미지는 다양한 방법으로 디스플레이될 수 있다. 일 실시 예에 있어서, 상기 객체의 상기 3차원 이미지는 단독으로 디스플레이될 수 있다. 다시 말하면, 상기 객체의 형상 정보 및 표면 정보를 포함하는 상기 객체의 상기 3D데이터를 활용한 렌더링(rendering) 과정을 통하여 상기 3차원 이미지는 디스플레이될 수 있다. 이 경우, 상기 3차원 이미지의 회전, 명암처리, 확대, 축소 등이 가능하다. 다른 실시 예에 있어서, 상기 객체의 상기 3차원 이미지는 주변 영상에 혼합되어 디스플레이될 수 있다. 이 경우, 상기 객체의 형상 정보 및 표면 정보를 포함하는 상기 객체의 상기 3D데이터를 활용한 렌더링(rendering) 과정을 통하여 상기 3차원 이미지는 상기 주변 영상에 혼합되어 디스플레이될 수 있다. 상기 3차원 이미지의 회전, 명암처리, 확대, 축소 등이 가능하다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 일례로, 제1단말기(120)의 소지자는 디스플레이되는 상기 3차원 이미지를 회전하여 상기 객체 배치 상태를 변경할 수 있다.The first terminal 120 generates and displays a three-dimensional image of the object from the 3D data. The three-dimensional image of the object can be displayed in various ways. In one embodiment, the three-dimensional image of the object may be displayed alone. In other words, the 3D image can be displayed through a rendering process using the 3D data of the object including the shape information and the surface information of the object. In this case, rotation, shading, enlargement and reduction of the three-dimensional image are possible. In another embodiment, the three-dimensional image of the object may be displayed mixed with the surrounding image. In this case, the 3D image may be mixed with the surrounding image and displayed through a rendering process using the 3D data of the object including the shape information and the surface information of the object. The three-dimensional image can be rotated, shaded, enlarged or reduced. Accordingly, the owner of the first terminal 120 can confirm in advance how the objects are arranged in a desired position. For example, the holder of the first terminal 120 may rotate the displayed three-dimensional image to change the object placement state.

상기 주변 영상은 카메라(130)를 통하여 획득될 수 있다. 카메라(130)는 오토포커싱 기능을 가질 수도 있다. 상기 객체의 상기 3차원 이미지는 상기 영상처리부를 통하여 카메라(130)를 통하여 획득된 상기 주변 영상에 혼합될 수 있다. 이 경우, 상기 영상처리부는 카메라(130)를 통하여 획득된 상기 주변 영상의 소정의 위치에 원근을 고려하여 상기 3차원 이미지를 혼합할 수 있다. 원근을 고려하여 상기 3차원 이미지를 상기 주변 영상의 상기 소정의 위치에 혼합하는 방법으로는 다양한 방법이 사용될 수 있다. 일 실시 예에 있어서, 마커(132)를 사용하여 상기 3차원 이미지를 상기 주변 영상의 상기 소정의 위치에 혼합할 수 있다. 마커(132)는 상기 3차원 이미지가 혼합될 상기 주변 영상의 상기 소정의 위치에 미리 배치될 수 있다. 일례로, 상기 3차원 이미지는 미리 배치된 마커(132)를 중심점으로 하여 상기 주변 영상에 혼합될 수 있다. 다른 예로, 상기 3차원 이미지는 미리 배치된 마커(132)의 주변 가장자리 중 어느 한 부분을 중심점으로 하여 상기 주변 영상에 혼합될 수 있다. 상기의 예시는 이해를 위한 예시로서 상기 3차원 이미지는 마커(132)를 기준으로 다양한 방법으로 배치될 수도 있다.The peripheral image may be acquired through the camera 130. The camera 130 may have an auto focusing function. The three-dimensional image of the object may be mixed with the surrounding image obtained through the camera 130 through the image processing unit. In this case, the image processing unit may mix the three-dimensional image in consideration of the perspective at a predetermined position of the peripheral image obtained through the camera 130. [ Various methods can be used as a method of mixing the three-dimensional image into the predetermined position of the peripheral image considering the perspective. In one embodiment, the marker 132 may be used to blend the three-dimensional image to the predetermined location of the peripheral image. The marker 132 may be previously arranged at the predetermined position of the peripheral image in which the three-dimensional image is to be mixed. For example, the three-dimensional image may be mixed with the surrounding image with the marker 132 positioned in advance as a center point. As another example, the three-dimensional image may be mixed with the surrounding image with a center point of any one of the peripheral edges of the marker 132 disposed in advance. The above example is for illustrative purposes only and the three-dimensional image may be arranged in various ways with respect to the marker 132. [

마커(132)의 정보는 메인 서버(110) 또는 제1단말기(120)에 저장될 수 있다. 상기 영상처리부는 저장된 마커(132)의 정보와 카메라(130)로 획득된 마커(132)의 영상 정보를 비교하여 상기 객체의 상기 3차원 이미지를 원근을 고려하여 변환한 후 상기 주변 영상에 혼합할 수 있다. 마커(132)로서 도 2 및 도 3에서 예시한 바와 같이, 책이 사용될 수 있다. 이 경우, 책의 폭, 길이 및 두께의 정보는 미리 메인 서버(110) 또는 제1단말기(120)에 저장된다. 다른 예로, 도면에 도시된 바와 달리, 마커(132)로서 2차원 또는 3차원의 다양한 형상을 지니는 물체가 사용될 수 있다. 상기 영상처리부는 저장된 마커(132)의 정보와 카메라(130)로 획득된 마커(132)의 영상 정보를 비교한다. 도 2에 도시된 바와 같이, 카메라(130)로 획득된 마커(132)의 영상 정보로부터 상기 영상처리부는 카메라(130)에 가까이 있는 마커(132)의 한변의 길이 L2와 카메라(130)에서 멀리 있는 마커(132)의 다른 한변의 길이 L1의 비를 계산할 수 있다. 또한, 상기 영상처리부는 카메라(130)를 기준으로 카메라(130)에 가까이 있는 마커(132)의 한변의 양끝점 사이의 각도 a2와 카메라(130)에서 멀리 있는 마커(132)의 다른 한변의 양끝점 사이의 각도 a1을 계산할 수 있다. 또한, 상기 영상처리부는 카메라(130)를 기준으로 카메라(130)에서 멀어지는 방향으로 인식되는 마커(132)의 한변의 양끝점 사이의 각도 a3와 카메라(130)에서 멀어지는 방향으로 인식되는 마커(132)의 다른 한변의 양끝점 사이의 각도 a4를 계산할 수 있다. 이를 통하여 상기 영상처리부는 카메라(130)로부터 마커(132)가 위치한 상기 주변 영상의 상기 소정의 위치에 이르는 범위의 원근 또는 깊이 정보를 얻을 수 있다. 이를 바탕으로 상기 영상처리부는 상기 주변 영상의 원근 또는 깊이 정보를 얻을 수 있다.The information of the marker 132 may be stored in the main server 110 or the first terminal 120. The image processing unit compares the information of the stored marker 132 with the image information of the marker 132 acquired by the camera 130 to convert the three-dimensional image of the object in consideration of the perspective, . As illustrated in FIG. 2 and FIG. 3 as the marker 132, a book can be used. In this case, information on the width, length, and thickness of the book is stored in the main server 110 or the first terminal 120 in advance. As another example, an object having various shapes of two-dimensional or three-dimensional shape may be used as the marker 132, unlike the one shown in the drawings. The image processing unit compares the information of the stored marker 132 with the image information of the marker 132 acquired by the camera 130. 2, from the image information of the marker 132 acquired by the camera 130, the image processing unit determines that the length L2 of one side of the marker 132 near the camera 130 and the distance L2 from the camera 130 It is possible to calculate the ratio of the length L1 of the other one side of the marker 132 having the same length. The image processing unit may include an angle a2 between one end of one side of the marker 132 that is close to the camera 130 and an angle a2 between the other end of the other side of the marker 132 that is far from the camera 130, The angle a1 between the points can be calculated. The image processing unit includes an angle a3 between both ends of one side of the marker 132 recognized in the direction away from the camera 130 with respect to the camera 130 and an angle a3 between the two ends of the marker 132 recognized in the direction away from the camera 130 The angle a4 between the opposite end points of the other one of the two sides can be calculated. Accordingly, the image processing unit can obtain distance or depth information ranging from the camera 130 to the predetermined position of the surrounding image at which the marker 132 is located. The image processing unit may obtain the perspective or depth information of the surrounding image.

도 3은 상기 영상처리부가 얻은 원근 또는 깊이 정보를 바탕으로 상기 3차원 이미지를 상기 주변 영상(10a)의 상기 소정의 위치에 혼합한 모습을 보여주는 개념도이다. 도 3의 (a)는 카메라(130)를 통하여 획득된 주변 영상(10a)을 보여준다. 도 3의 (b)에서 보여지는 바와 같이, 상기 주변 영상(10a)과 혼합하고자 하는 상기 3차원 이미지가 놓일 위치에 마커(132)를 배치한다. 상기 영상처리부는 카메라(130)로 촬영된 마커(132)의 정보와 저장된 마커(132)의 정보를 비교하여 상기 주변 영상(10a)의 원근 또는 깊이 정보를 계산한다. 도 3의 (c) 및 (d)와 같이, 제1단말기(120)의 소지자가 혼합하고자 하는 객체(20a)를 선택하면 상기 객체(20a)의 3차원 이미지는 원근을 고려하여 제1단말기(120)에 디스플레이된다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체(20a)가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상기 객체(20a)가 자신의 주변 환경과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 이를 통하여 합리적인 상품구매가 가능해질 수 있다.3 is a conceptual diagram showing a state in which the three-dimensional image is mixed with the predetermined position of the peripheral image 10a based on the perspective or depth information obtained by the image processing unit. 3 (a) shows a peripheral image 10a obtained through the camera 130. FIG. As shown in FIG. 3 (b), the marker 132 is disposed at a position where the three-dimensional image to be mixed with the peripheral image 10a is to be placed. The image processor compares the information of the marker 132 photographed by the camera 130 with the information of the stored marker 132 to calculate the perspective or depth information of the surrounding image 10a. 3 (c) and 3 (d), if the holder of the first terminal 120 selects the object 20a to be mixed, the three-dimensional image of the object 20a is transmitted to the first terminal 120). Accordingly, the holder of the first terminal 120 can confirm in advance how the object 20a is arranged at a desired position. In addition, it is possible to determine beforehand how the object 20a selected by the object 20a matches with its surrounding environment before purchasing the product. This makes it possible to purchase reasonable commodities.

다른 실시 예에 있어서, 카메라(130)의 오토포커싱 기능을 사용하여 상기 3차원 이미지를 상기 주변 영상의 상기 소정의 위치에 혼합할 수 있다. 상기 영상처리부는 상기 주변 영상 및 상기 주변 영상의 상기 소정의 위치의 영상을 획득하는 과정에서 얻어지는 카메라(130)의 초점거리 정보로부터 상기 주변 영상에 대한 상기 소정의 위치의 상대적인 거리를 인식할 수 있다. 상기 영상처리부는 인식된 상기 소정의 위치의 상기 상대적인 거리를 이용하여 상기 객체의 상기 3차원 이미지를 원근을 고려하여 변환한 후 상기 주변 영상에 혼합할 수 있다. 도 4에서 예시한 바와 같이, 카메라(130)의 오토포커싱 기능을 사용하여 가까이 있는 물체의 초점 거리와 멀리 있는 물체의 초점 거리를 계산할 수 있다. 이를 통하여 상기 영상처리부는 카메라(130)로부터 상기 주변 영상의 상기 소정의 위치에 이르는 범위의 원근 또는 깊이 정보를 얻을 수 있다. 이를 바탕으로 상기 영상처리부는 상기 주변 영상의 원근 또는 깊이 정보를 얻을 수 있다.In another embodiment, the autofocusing function of the camera 130 may be used to blend the three-dimensional image into the predetermined location of the surrounding image. The image processor may recognize a relative distance of the predetermined position with respect to the peripheral image from the focal length information of the camera 130 obtained in the process of acquiring the image of the predetermined position of the peripheral image and the peripheral image . The image processing unit may convert the three-dimensional image of the object using the relative distance of the recognized predetermined position in consideration of the perspective and then mix the three-dimensional image with the surrounding image. As illustrated in FIG. 4, the focal distance of a nearby object and the focal length of a distant object can be calculated using the autofocusing function of the camera 130. Accordingly, the image processing unit can obtain the perspective or depth information ranging from the camera 130 to the predetermined position of the peripheral image. The image processing unit may obtain the perspective or depth information of the surrounding image.

도 5는 카메라(130)의 오토포커싱 기능을 사용하여 상기 영상처리부가 얻은 원근 또는 깊이 정보를 바탕으로 상기 3차원 이미지(20b)를 상기 주변 영상(10b)의 상기 소정의 위치에 혼합한 모습을 보여주는 개념도이다. 도 5의 (a)는 카메라(130)를 통하여 획득된 주변 영상(10b)을 보여준다. 상기 영상처리부는 카메라(130)의 오토포커싱 기능을 이용하여 상기 주변 영상(10b)의 원근 또는 깊이 정보를 계산한다. 도 5의 (b) 내지 (d)와 같이, 제1단말기(120)의 소지자가 혼합하고자 하는 객체(20b)를 선택하면 상기 객체(20b)의 3차원 이미지는 원근을 고려하여 제1단말기(120)에 디스플레이된다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체(20b)가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상기 객체(20b)가 자신의 주변 환경(10b)과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 이를 통하여 합리적인 상품구매가 가능해질 수 있다.5 shows a state in which the three-dimensional image 20b is mixed with the predetermined position of the peripheral image 10b based on the perspective or depth information obtained by the image processing unit using the auto focusing function of the camera 130 Fig. 5 (a) shows a peripheral image 10b obtained through the camera 130. FIG. The image processor calculates the perspective or depth information of the peripheral image 10b using the auto focusing function of the camera 130. [ 5 (b) to 5 (d), when the owner of the first terminal 120 selects the object 20b to be mixed, the three-dimensional image of the object 20b is transmitted to the first terminal 120). Accordingly, the owner of the first terminal 120 can confirm in advance how the object 20b is arranged at a desired position. In addition, it is possible to determine beforehand how the object 20b selected by the object 20b matches with the surrounding environment 10b before purchasing the product. This makes it possible to purchase reasonable commodities.

다시 말하면, 제1단말기(120)의 소지자인 고객은 메인 서버(110)와 연결되어 상기 객체의 상기 3D데이터를 수신한다. 고객은 상기 3D데이터만을 이용하여 상기 객체의 상기 3차원 이미지를 제1단말기(120)를 통하여 볼 수 있다. 다르게는, 고객은 카메라(130)를 활용하여 상기 3D데이터를 상기 주변 영상에 혼합할 수 있으며, 상기 주변 영상에 혼합된 상기 객체의 상기 3차원 이미지를 제1단말기(120)를 통하여 볼 수도 있다. 이를 통하여 제1단말기(120)의 소지자는 자신이 원하는 위치에 상기 객체가 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상기 객체가 자신의 주변 환경과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 고객은 원하는 객체를 선택한 후 이를 제1단말기(120)를 통하여 메인 서버(110)에 전송할 수 있다.In other words, a customer who is a holder of the first terminal 120 is connected to the main server 110 and receives the 3D data of the object. The customer can view the three-dimensional image of the object through the first terminal 120 using only the 3D data. Alternatively, the customer can mix the 3D data with the surrounding image using the camera 130, and view the three-dimensional image of the object mixed with the surrounding image through the first terminal 120 . Accordingly, the owner of the first terminal 120 can confirm in advance how the objects are arranged in a desired position. In addition, it is possible to determine in advance how the object selected by the user matches with the surrounding environment before purchasing the product. The customer can select a desired object and transmit it to the main server 110 through the first terminal 120. [

3D프린터(140)는 제1단말기(120)와 연결된다. 3D프린터(140)는 제1단말기(120)의 명령에 따라 상기 3D데이터를 사용하여 상기 객체의 입체 형상을 출력할 수 있다. 3D프린터(140)는 입체프린터라고도 불리며, 2차원 프린터와 달리 출력 대상물을 실제 물체로 만들어 주는 프린터를 말한다. 현재 건축, 항공우주, 전자, 공구 제조, 자동차, 디자인, 의료 분야 등에서 그 활용도가 높아지고 있다. 고객은 3D프린터(140)를 통하여 상기 객체의 상기 3차원 이미지를 입체 형상으로 출력할 수 있으며, 이를 통하여 합리적인 상품 구매가 가능하다.The 3D printer 140 is connected to the first terminal 120. The 3D printer 140 may output the 3D shape of the object using the 3D data according to an instruction from the first terminal 120. [ The 3D printer 140 is also referred to as a stereoscopic printer, and is a printer that converts an output object into an actual object, unlike a two-dimensional printer. Currently, utilization is increasing in architecture, aerospace, electronics, tool manufacturing, automobile, design, and medical field. The customer can output the three-dimensional image of the object in a three-dimensional shape through the 3D printer 140, thereby making it possible to purchase a reasonable commodity.

제2단말기(150)는 메인 서버(110)와 연결될 수 있다. 상기 객체의 상기 3D데이터는 제2단말기(150)를 통하여 메인 서버(110)에 저장될 수 있다. 제2단말기(150)는 제휴사가 사용하는 단말기일 수 있다. 앞서 메인 서버(110)와 관련하여 상술한 내용에서 언급한 바와 같이, 메인 서버(110)는 상기 데이터베이스와 상기 데이터관리부를 포함할 수 있다. 제2단말기(150) 또는 제2단말기(150)의 소지자는 상기 데이터베이스와 연결되어 상기 제휴사별 또는 상기 상품별로 저장된 상기 매장정보를 검색할 수 있다. 다시 말하면, 제2단말기(150)는 상기 데이터베이스와 연결되어 상기 제휴사 식별번호 또는 상기 객체 식별번호를 통하여 상기 제휴사의 상기 정보와 연결이 될 수 있다. 연결된 상기 제휴사의 상기 정보에 변동이 있을 경우 제2단말기(150)는 상기 데이터관리부에 변동된 상기 제휴사의 상기 정보를 전송할 수 있고, 상기 데이터관리부는 상기 변동된 상기 제휴사의 상기 정보를 상기 데이터베이스에 저장한다. 제2단말기(150)의 사용자는 자신의 제휴사정보에 변동이 있을 경우 상기 데이터관리부에 자신의 상기 제휴사정보의 변동을 전송할 수 있다. 이 경우, 상기 데이터관리부는 상기 제휴사정보의 변동을 반영하여 상기 데이터베이스를 관리한다. 이를 통하여 제1단말기(120)의 소지자는 최신의 상기 객체의 정보를 얻을 수 있다. 또한, 제2단말기(150) 또는 제2단말기(150)의 소지자는 상기 데이터베이스와 연결되어 자신이 제공하는 상품 등과 관련한 고객의 선호도, 상품평가 등을 확인하여 사업 운영에 참고할 수도 있다.The second terminal 150 may be connected to the main server 110. The 3D data of the object may be stored in the main server 110 through the second terminal 150. The second terminal 150 may be a terminal used by an affiliate. As described above in connection with the main server 110, the main server 110 may include the database and the data management unit. A holder of the second terminal 150 or the second terminal 150 may be connected to the database and retrieve the store information stored by the affiliate company or the product. In other words, the second terminal 150 may be connected to the database and be connected to the information of the affiliate through the affiliate identification number or the object identification number. The second terminal 150 can transmit the information of the affiliated company that has changed to the data management unit, and the data management unit can transmit the changed information of the affiliated company to the database . The user of the second terminal 150 can transmit the change of the affiliate information of the second terminal 150 to the data management unit when the affiliate information of the second terminal 150 is changed. In this case, the data management unit manages the database by reflecting variations in the affiliate information. Accordingly, the owner of the first terminal 120 can obtain the latest information of the object. In addition, the holder of the second terminal 150 or the second terminal 150 may be connected to the database to check the customer's preference, product evaluation, etc. related to the product or the like provided by the customer, and refer to the business operation.

제2단말기(150)는 적어도 하나의 주변기기(160)와 연결될 수 있다. 주변기기(160)는 객체의 상기 3D데이터를 생성하는 기기를 포함할 수 있다. 주변기기(160)는 예로서 3D스캐너일 수 있다. 제2단말기(150)의 소지자는 상기 3D스캐너를 통하여 객체의 상기 3D데이터를 생성하여 이를 메인 서버(110)에 전송할 수 있다.The second terminal 150 may be connected to the at least one peripheral device 160. Peripheral 160 may include a device for generating the 3D data of the object. Peripheral 160 may be, for example, a 3D scanner. The holder of the second terminal 150 can generate the 3D data of the object through the 3D scanner and transmit it to the main server 110. [

도 1 내지 도 5를 다시 참조하면, 본 명세서에서 개시하는 3D모델 증강현실 서비스 시스템(100)을 통하여 고객은 객체를 구매하기 전에 웹 상에서 또는 앱 상에서 미리 객체의 3D이미지를 확인할 수 있다. 상기 객체는 앞서 언급한 바와 같이, 그 대상에는 제한이 없다. 이하 설명의 편의상 상기 객체로서 상품을 위주로 설명하기로 한다. 먼저, 본 명세서에서 개시하는 3D모델 증강현실 서비스를 활용하고자 하는 고객은 자신의 단말기에 관련 프로그램을 설치하고 본 서비스를 이용할 수 있다. 또는 고객은 메인 서버(110)에 직접 접속하여 본 서비스를 이용할 수도 있다. 고객은 상품의 3D 이미지만을 볼 수도 있고, 상품 구매 후 자신이 상품을 배치하고자 하는 주변 공간에 상품의 3D 이미지가 혼합된 이미지를 볼 수도 있다. 이를 통하여 고객은 자신이 원하는 위치에 상품이 어떤 형태로 배치되는지를 미리 확인할 수 있다. 또한, 자신이 선택한 상품이 자신의 주변 환경과 얼마나 조화를 이루는지를 상품 구매 전에 미리 판단할 수 있다. 이를 통하여 합리적인 상품구매가 가능해질 수 있다. 고객에게 보다 더 편의를 제공하기 위하여 본 명세서의 3D모델 증강현실 서비스 시스템(100)은 주변 공간과의 관계에서 원근 또는 깊이 정보가 반영된 상품의 3D 이미지를 제공한다. 원근 또는 깊이 정보가 반영된 상품의 3D이미지는 마커 또는 오토포커싱에 의하여 구현될 수 있다. 널리 보급되어 있는 휴대용 단말기, 태블릿 피시, 노트북, 데스크 탑 등에 채용되어 있는 카메라를 사용하여 상품의 3D 이미지를 주변 환경에 혼합할 수 있다. 또한, 본 명세서의 3D모델 증강현실 서비스 시스템(100)은 상품별 또는 제휴사별로 정보를 제공한다. 고객은 상품별로 검색하여 원하는 상품을 찾거나 제휴사별로 검색하여 원하는 상품을 검색할 수 있다. 이를 위해 메인 서버(110)의 데이터베이스는 제휴사 식별번호 및 객체 식별번호(또는 상품 식별번호)를 제공할 수 있다. 이 경우, 제1단말기(120)를 소지한 고객은 제휴사 식별정보를 통하여 제휴사가 제공하는 상품정보와 연결이 되어 상품정보로부터 상품의 3D데이터를 수신하거나, 객체 식별정보로부터 객체(또는 상품)의 3D데이터를 수신할 수 있다. 또한, 데이터베이스는 상품과 관련한 고객의 선호도, 상품평가, 사후관리평가, 판매수량, 재고상황, 판매가격비교, 예상운송기간, 예상제조기간 등의 정보를 제공할 수 있다. 또한, 데이터베이스는 제휴사와 관련한 고객의 선호도, 제휴사의 소재지, 기업매출액, 주식시장상장여부, 고용현황, 기업평가 등의 정보를 제공할 수 있다. 이러한 정보는 데이터관리부를 통하여 일괄 관리 및 갱신될 수 있다. 이를 통하여 본 명세서에서 개시하는 3D모델 증강현실 서비스 시스템(100)은 현실 영상에 컴퓨터로 생성한 가상의 사물에 대한 부가영상을 접목함으로써 가상의 사물에 대한 영상정보만으로는 얻기 어려운 부가적인 정보를 제공할 수 있다. 예를 들면, 본 명세서에서 개시하는 3D모델 증강현실 서비스 시스템(100)은 가구 등과 같은 구입하려는 상품이 구매자의 실제 주거공간의 구조에 적합한 모양인지, 색상은 실제 주거공간의 분위기에 맞는지 등에 대한 부가적인 정보를 제공해 줄 수 있다.Referring again to Figures 1-5, the 3D model augmented reality service system 100 disclosed herein allows a customer to view a 3D image of an object in advance on the web or on an app before purchasing the object. As mentioned above, the object is not limited to the object. For convenience of explanation, the product will be mainly described as the object. First, a customer who intends to utilize the 3D model augmented reality service disclosed in this specification can install a related program in his / her terminal and use this service. Alternatively, the customer may directly access the main server 110 and use this service. The customer can view only the 3D image of the product or view the mixed image of the 3D image of the product in the surrounding space where the user intends to place the product after purchasing the product. Through this, the customer can confirm in advance how the products are arranged in the desired position. In addition, it is possible to judge beforehand the commodity purchase how much the commodity selected by the commodity matches the surrounding environment. This makes it possible to purchase reasonable commodities. In order to provide more convenience to the customer, the 3D model augmented reality service system 100 of the present specification provides a 3D image of a product reflecting perspective or depth information in relation to the surrounding space. The 3D image of the product reflecting the perspective or depth information may be implemented by a marker or autofocusing. A 3D image of a product can be mixed into the surrounding environment by using a camera which is widely used in a portable terminal, a tablet fish, a notebook, a desktop, and the like. In addition, the 3D model augmented reality service system 100 of the present invention provides information for each product or affiliated company. The customer can search for desired products or search for desired products by searching for affiliates. To this end, the database of the main server 110 may provide an affiliate identification number and an object identification number (or product identification number). In this case, the customer having the first terminal 120 is connected to the product information provided by the affiliate company through the affiliate identification information, receives the 3D data of the product from the product information, or receives the 3D data of the object 3D data can be received. The database may also provide information such as customer preferences related to the product, product evaluation, post management evaluation, sales quantity, inventory status, sales price comparison, expected shipping period, expected manufacturing period, and the like. In addition, the database can provide information such as customer preferences related to affiliates, affiliate location, company sales, stock market listing, employment status, and company evaluation. This information can be collectively managed and updated through the data management unit. Accordingly, the 3D model augmented reality service system 100 disclosed in the present specification combines the additional image of a virtual object created by a computer with a real image to provide additional information that is difficult to obtain with only image information of a virtual object . For example, the 3D model augmented reality service system 100 disclosed in the present specification can be applied to a 3D model augmented reality service system 100, in which a product to be purchased such as furniture is suitable for a structure of an actual residence space of a purchaser, It can provide information.

상기로부터, 본 개시의 다양한 실시 예들이 예시를 위해 기술되었으며, 아울러 본 개시의 범주 및 사상으로부터 벗어나지 않고 가능한 다양한 변형 예들이 존재함을 이해할 수 있을 것이다. 그리고 개시되고 있는 상기 다양한 실시 예들은 본 개시된 사상을 한정하기 위한 것이 아니며, 진정한 사상 및 범주는 하기의 청구항으로부터 제시될 것이다.From the foregoing it will be appreciated that various embodiments of the present disclosure have been described for purposes of illustration and that there are many possible variations without departing from the scope and spirit of this disclosure. And that the various embodiments disclosed are not to be construed as limiting the scope of the disclosed subject matter, but true ideas and scope will be set forth in the following claims.

Claims

A main server for storing 3D data of an object;
A first terminal connected to the main server and receiving the 3D data; And
A camera connected to the first terminal for acquiring the first terminal peripheral image,
Wherein the 3D data includes shape information and surface information of the object,
And the first terminal generates and displays a three-dimensional image of the object from the 3D data, and displays the 3D model augmented reality service system.

The method according to claim 1,
And an image processor for mixing the three-dimensional image of the object with the surrounding image,
Wherein the image processing unit mixes the three-dimensional image in consideration of a perspective at a predetermined position of the peripheral image obtained through the camera.

3. The method of claim 2,
And a marker disposed at the predetermined position of the peripheral image,
Information of the marker is stored in the main server or the first terminal,
Wherein the image processing unit compares the information of the stored marker with the image information of the marker acquired by the camera to convert the 3D image of the object in consideration of the perspective and then mixes the 3D image with the surrounding image, system.

3. The method of claim 2,
The camera has an auto focusing function,
Wherein the image processor recognizes a relative distance of the predetermined position with respect to the peripheral image from the focal length information of the camera obtained in the process of acquiring the image of the predetermined position of the peripheral image and the peripheral image,
Wherein the image processing unit converts the three-dimensional image of the object using the relative distance of the predetermined position, considering the perspective, and mixes the 3D image with the surrounding image.

The method according to claim 1,
And a 3D printer connected to the first terminal and outputting a three-dimensional shape of the object using the 3D data according to an instruction of the first terminal.

6. The method according to any one of claims 1 to 5,
And a second terminal connected to the main server,
And the 3D data of the object is stored in the main server through the second terminal.

6. The method according to any one of claims 1 to 5,
And a second terminal connected to the main server,
The 3D data of the object is stored in the main server through the second terminal,
The main server
A database for storing information of one or more affiliates selected through a pre-association as a provider of the object; And
And a data management unit for managing the database by reflecting variation of the information of the affiliate company,
Wherein the information of the affiliate company includes product information including the 3D data of the object supplied by the affiliate company,
Wherein the 3D data of the object is stored in the database,
Wherein the first terminal is connected to the database to receive the 3D data,
Wherein the database provides affiliate identification information of the affiliate and object identification information of the object,
Wherein the first terminal is connected to the product information provided by the affiliate through the affiliate identification information and receives the 3D data of the object from the product information or receives the 3D data of the object from the object identification information 3D model augmented reality service system.

8. The method of claim 7,
The second terminal is connected to the database and is linked to the information of the affiliate through the affiliate identification number or the object identification number,
The second terminal transmits the information of the affiliated company changed to the data management unit when the information of the connected affiliate is changed,
And the data management unit stores the changed information of the affiliated company in the database.

9. The method of claim 8,
The main server receives from the first terminal whether to purchase the object, a product evaluation, a preference evaluation or a post management evaluation -
The main server receives from the second terminal an inventory status, a selling price, an expected shipping period, or an expected manufacturing period - hereinafter referred to as an affiliate evaluation,
Wherein the main server stores the purchasing history and the affiliate evaluation in the database through the data management unit,
Wherein the database provides at least one of the purchasing history and the affiliate evaluation to the first terminal or the second terminal.