KR102534778B1

KR102534778B1 - Method and apparatus for obtaining three dimensional data and computer readable medium storing a program for performing the same method

Info

Publication number: KR102534778B1
Application number: KR1020210096699A
Authority: KR
Inventors: 임성빈
Original assignee: 주식회사 메디트
Priority date: 2020-08-05
Filing date: 2021-07-22
Publication date: 2023-05-26
Also published as: KR20220017830A

Abstract

본 개시의 일 측면은 3차원 데이터를 획득하는 장치에 있어서, 3차원 스캐너와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 획득하는 프로세서를 포함하고, 상기 프로세서는, 상기 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하고, 상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하고, 상기 3차원 스캐너에 의해 상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하고, 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다.One aspect of the present disclosure is an apparatus for obtaining 3D data, comprising: a communication interface communicating with a 3D scanner; and a processor that acquires the 3D data by executing at least one instruction, wherein the processor operates in a first mode to obtain first data by scanning an object with the 3D scanner, and When a metal area is detected, the operation mode is switched to the second mode, and the 3D scanner operates in the second mode to obtain second data by scanning the object, and the first data and the second mode are scanned. A 3D data acquisition device that acquires 3D data of the object based on the data may be provided.

Description

Three-dimensional data acquisition method, device, and computer-readable storage medium storing a program for performing the method

본 개시는 3차원 데이터를 획득하는 방법 및 장치에 관한 것으로, 보다 구체적으로는 3차원 스캐너를 이용하여 치아에 대한 3차원 데이터를 획득하는 방법 및 장치에 관한 것이다.The present disclosure relates to a method and apparatus for obtaining 3D data, and more particularly, to a method and apparatus for obtaining 3D data of teeth using a 3D scanner.

치과 치료, 특히 보철 등의 치료를 하는 데 있어 치과용 CAD/CAM(Dental Computer Aided Design/Computer Aided Manufacturing) 기술이 널리 사용되고 있다. CAD/CAM을 이용한 치과 치료에서 가장 중요한 것은 환자의 치아, 잇몸, 턱뼈 등의 대상체의 형상에 대하여 정교한 3차원 데이터를 획득하는 것이다. 치과 치료를 수행함에 있어서, 대상체로부터 획득된 3차원 데이터를 이용하면, 컴퓨터에 의하여 정확한 계산이 수행될 수 있다는 장점이 있다.Dental CAD/CAM (Dental Computer Aided Design/Computer Aided Manufacturing) technology is widely used for dental treatment, particularly prosthetic treatment. The most important thing in dental treatment using CAD/CAM is to acquire precise 3D data about the shape of an object such as a patient's teeth, gums, and jawbone. In performing dental treatment, there is an advantage in that accurate calculation can be performed by a computer by using 3D data obtained from an object.

예를 들어, 치과용 CAD/CAM 치료 과정에서 대상체의 3차원 데이터를 획득하기 위해서는, CT(Computed Tomography), MRI(Magnetic Resonance Imaging), 및 광학 스캐닝 등의 방법이 이용될 수 있다. For example, methods such as computed tomography (CT), magnetic resonance imaging (MRI), and optical scanning may be used to obtain 3D data of an object during dental CAD/CAM treatment.

치과 CAD/CAM 분야에서는 광학식 3차원 스캐너가 많이 사용되고 있다. 광학식 3차원 스캐너는 대상체로부터 반사되는 빛을 이용하여 3차원 표면 형상 정보를 획득할 수 있으며, 예를 들어 치아의 인상체, 인상체에 대해서 획득된 석고 모델 또는 치아 표면의 3차원 데이터를 획득할 수 있다. 표면 데이터는, 폴리곤 메쉬 형태로 기록되고, 대상체의 표면의 정점들의 위치 정보와 각 정점들의 연결 관계 정보를 포함할 수 있다. 또는, 표면 데이터는, 포인트 클라우드 형태로 기록되고, 대상체의 표면의 정점들의 위치 정보를 포함할 수 있다.Optical 3D scanners are widely used in the dental CAD/CAM field. An optical 3D scanner can obtain 3D surface shape information by using light reflected from an object. can The surface data may be recorded in the form of a polygon mesh, and may include location information of vertices of the surface of the object and connection relationship information of the respective vertices. Alternatively, the surface data may be recorded in the form of a point cloud and include location information of vertices of the surface of the object.

CAD/CAM을 이용한 치과 치료가 좋은 결과를 얻기 위해서는, 대상체의 형상을 정확하게 반영한 3차원 데이터가 필요하다. 다만, 3차원 스캐너를 이용하여 치아 표면의 3차원 데이터를 획득함에 있어서, 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등의 구강 내 금속 구조물은 빛의 반사율이 높아 정확한 형상이 스캔되지 않는다는 문제가 있다.In order to obtain good results in dental treatment using CAD/CAM, 3D data that accurately reflects the shape of an object is required. However, in obtaining 3D data of the tooth surface using a 3D scanner, metal structures in the oral cavity, such as inlays, onlays, crowns, prosthetics, and orthodontic devices, have high light reflectance and have an accurate shape. The problem is that it doesn't scan.

또한 본 개시의 일 실시 예에서 상기 프로세서는, 제1 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하고, 제2 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다. Also, in an embodiment of the present disclosure, the processor obtains first data on the surface of the object to which the first type of pattern light is irradiated, and obtains first data about the surface of the object to which the second type of pattern light is irradiated. It is possible to provide a 3D data acquisition device that acquires 2 data.

또한 본 개시의 일 실시 예에서 상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, according to an embodiment of the present disclosure, a 3D data acquisition device may be provided in which the first type of pattern light includes line pattern light and the second type of pattern light includes point pattern light. .

또한 본 개시의 일 실시 예에서 상기 제1 모드에서 획득되는 상기 제1 데이터와 상기 제2 모드에서 획득되는 상기 제2 데이터는, 서로 다른 후-처리 방식을 통해 획득되는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, in an embodiment of the present disclosure, the first data obtained in the first mode and the second data obtained in the second mode are acquired through different post-processing methods, a 3D data acquisition device. can provide

또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 상기 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 상기 제1 데이터는 상기 제1 메쉬 데이터를 포함하고, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 들로네 삼각화를 이용하여, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 상기 제2 데이터는 상기 제2 메쉬 데이터를 포함하는, 3차원 데이터 획득 장치를 제공할 수 있다. Also, according to an embodiment of the present disclosure, the processor obtains first mesh data by acquiring a first point cloud of the surface of the object and connecting adjacent points in the first point cloud, and the first data is Acquiring second mesh data by including the first mesh data, obtaining a second point cloud for the surface of the object, connecting points in the second point cloud using Delaunay triangulation, and obtaining the second mesh data, 2 data may provide a 3D data acquisition device including the second mesh data.

또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 제2 포인트 클라우드 내에서 상기 대상체 상의 금속 영역에 대응하는 포인트들을 식별하고, 상기 들로네 삼각화를 이용하여 상기 식별된 포인트들을 연결하고, 상기 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 상기 제2 메쉬 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다. Also, according to an embodiment of the present disclosure, the processor identifies points corresponding to the metal region on the object in the second point cloud, connects the identified points using the Delaunay triangulation, and It is possible to provide a 3D data acquisition device that obtains the second mesh data by connecting adjacent points for points that are not identified in the point cloud.

또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지를 삭제하는 필터링을 더 수행하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, in an embodiment of the present disclosure, the processor may provide a 3D data acquisition device that further performs filtering to delete an edge connecting two points having a predetermined distance or more in the second mesh data.

또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 상기 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 상기 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하고, 상기 제1 데이터는 필터링이 수행된 상기 제1 메쉬 데이터를 포함하고, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 상기 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하고, 상기 제2 데이터는 필터링이 수행된 상기 제2 메쉬 데이터를 포함하고, 상기 제2 소정 값은 상기 제1 소정 값보다 작은 것을 특징으로 하는, 3차원 데이터 획득 장치를 제공할 수 있다. Also, according to an embodiment of the present disclosure, the processor obtains a first point cloud for the surface of the object, obtains first mesh data by connecting points in the first point cloud, and obtains first mesh data in the first mesh data. performs filtering to delete a group consisting of triangles having a number equal to or less than a first predetermined value in , wherein the first data includes the filtered first mesh data, and the second point of the surface of the object Acquire a cloud, obtain second mesh data by connecting points in the second point cloud, and perform filtering to delete a group consisting of triangles having a number less than or equal to a second predetermined value in the second mesh data. and wherein the second data includes the filtered second mesh data, and the second predetermined value is smaller than the first predetermined value.

또한 본 개시의 일 실시 예에서 상기 프로세서는, 상기 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 상기 대상체 상에 금속 영역의 존재를 감지하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, according to an embodiment of the present disclosure, the processor detects the presence of a metal region on the object by analyzing data acquired by the 3D scanner using an artificial intelligence model. can do.

또한 본 개시의 일 실시 예에서 상기 대상체 상에 금속 영역이 감지되면 상기 동작 모드를 상기 제1 모드로부터 상기 제2 모드로 자동으로 변경하도록 동작 옵션을 선택하는 사용자 입력을 수신하는 사용자 입력부를 더 포함하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, according to an embodiment of the present disclosure, a user input unit configured to receive a user input for selecting an operation option to automatically change the operation mode from the first mode to the second mode when a metal area is detected on the object is further included. It is possible to provide a 3D data acquisition device that does.

본 개시의 다른 측면은 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하는 단계; 상기 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 전환하는 단계; 상기 대상체를 스캔함으로써 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Another aspect of the present disclosure is to operate in a first mode to acquire first data by scanning an object with a 3D scanner; switching an operation mode to a second mode when a metal area is detected on the object; operating in the second mode to acquire second data by scanning the object; and acquiring 3D data of the object based on the first data and the second data.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는, 제1 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는, 제2 타입의 패턴광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, according to an embodiment of the present disclosure, the operating in the first mode to obtain the first data includes acquiring first data of a surface of the object to which a first type of pattern light is irradiated, and , The operating in the second mode to acquire the second data includes acquiring second data on the surface of the object to which the second type of pattern light is irradiated. can provide

또한 본 개시의 일 실시 예에서 상기 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 상기 제2 타입의 패턴 광은, 포인트 패턴 광을 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, a method for acquiring 3D data may be provided in which the first type of pattern light includes line pattern light and the second type of pattern light includes point pattern light. .

또한 본 개시의 일 실시 예에서 상기 제1 모드에서 획득되는 상기 제1 데이터와 상기 제2 모드에서 획득되는 상기 제2 데이터는, 서로 다른 후-처리 방식을 통해 획득되는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the first data obtained in the first mode and the second data obtained in the second mode are acquired through different post-processing methods, a method for obtaining 3D data. can provide

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하는 단계; 및 상기 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하는 단계를 포함하고, 상기 제1 데이터는 상기 제1 메쉬 데이터를 포함하고, 상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하는 단계; 및 들로네 삼각화를 이용하여, 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터는 상기 제2 메쉬 데이터를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the operation in the first mode to obtain the first data may include acquiring a first point cloud of the surface of the object; and obtaining first mesh data by connecting adjacent points in the first point cloud, wherein the first data includes the first mesh data, and in the second mode to obtain the second data. The operating step may include obtaining a second point cloud of the surface of the object; and obtaining second mesh data by connecting points in the second point cloud using Delaunay triangulation, wherein the second data includes the second mesh data. can provide

또한 본 개시의 일 실시 예에서 상기 제2 메쉬 데이터를 획득하는 단계는, 상기 제2 포인트 클라우드 내에서 상기 대상체 상의 금속 영역에 대응하는 포인트들을 식별하는 단계; 및 상기 들로네 삼각화를 이용하여 상기 식별된 포인트들을 연결하고, 상기 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 상기 제2 메쉬 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the obtaining of the second mesh data may include identifying points corresponding to a metal region on the object in the second point cloud; and acquiring the second mesh data by connecting the identified points using the Delaunay triangulation and connecting adjacent points for points not identified in the second point cloud. A data acquisition method may be provided.

또한 본 개시의 일 실시 예에서 상기 제2 데이터를 획득하도록 상기 제2 모드에서 동작하는 단계는, 상기 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지를 삭제하는 필터링을 수행하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the step of operating in the second mode to obtain the second data includes performing filtering to delete an edge connecting two points of a predetermined distance or more in the second mesh data. It is possible to provide a method for obtaining 3D data, which further includes.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하도록 상기 제1 모드에서 동작하는 단계는, 상기 대상체의 표면에 대한 제1 포인트 클라우드를 획득하는 단계; 상기 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하는 단계; 및 상기 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하는 단계를 포함하고, 상기 제1 데이터는 필터링이 수행된 상기 제1 메쉬 데이터를 포함하고, 상기 제2 모드로 상기 제2 데이터를 획득하는 단계는, 상기 대상체의 표면에 대한 제2 포인트 클라우드를 획득하는 단계; 상기 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하는 단계; 및 상기 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행하는 단계를 포함하고, 상기 제2 데이터는 필터링이 수행된 상기 제2 메쉬 데이터를 포함하고 상기 제2 소정 값은 상기 제1 소정 값보다 작은 것을 특징으로 하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the operation in the first mode to obtain the first data may include acquiring a first point cloud of the surface of the object; obtaining first mesh data by connecting points in the first point cloud; and performing filtering by deleting a group consisting of triangles having a number less than or equal to a first predetermined value in the first mesh data, wherein the first data includes the first mesh data for which filtering has been performed. and acquiring the second data in the second mode may include acquiring a second point cloud of the surface of the object; obtaining second mesh data by connecting points in the second point cloud; and performing filtering by deleting a group consisting of triangles having a number equal to or less than a second predetermined value in the second mesh data, wherein the second data includes the filtered second mesh data. And the second predetermined value is smaller than the first predetermined value, it is possible to provide a three-dimensional data acquisition method.

또한 본 개시의 일 실시 예에서 상기 동작 모드를 상기 제2 모드로 변경하는 단계는, 상기 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 상기 대상체 상에 금속 영역의 존재를 감지하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the changing of the operation mode to the second mode may include analyzing data acquired by the 3D scanner using an artificial intelligence model to detect the existence of a metal region on the object. It is possible to provide a method for obtaining 3D data, including the step of sensing.

또한 본 개시의 일 실시 예에서 상기 대상체 상에 금속 영역이 감지되면 상기 동작 모드를 상기 제1 모드로부터 상기 제2 모드로 자동으로 변경하도록 동작 옵션을 선택하는 사용자 입력을 수신하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in one embodiment of the present disclosure, the method further comprises receiving a user input for selecting an operation option to automatically change the operation mode from the first mode to the second mode when a metal area is detected on the object. , it is possible to provide a 3D data acquisition method.

본 개시의 일 측면은 대상체에 제1 타입의 패턴 광을 조사하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계; 상기 대상체에 제2 타입의 패턴 광을 조사하여, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다.An aspect of the present disclosure includes radiating a first type of patterned light to an object and obtaining first data on a surface of the object to which the first type of patterned light is irradiated; radiating a second type of patterned light to the object and acquiring second data about the surface of the object to which the second type of patterned light is irradiated; and acquiring 3D data of the object based on the first data and the second data.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 패턴 광을 조사하는 단계; 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제2 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제2 포인트 클라우드 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the acquiring of the first data may include irradiating the first type of pattern light to the object; acquiring a 2D image of the surface of the object to which the first type of pattern light is irradiated; and acquiring first point cloud data for the object based on the 2D image of the surface of the object to which the first type of pattern light is irradiated and information on the first type of pattern light. and the obtaining of the second data may include radiating the second type of pattern light to the object; obtaining a 2D image of the surface of the object to which the second type of pattern light is irradiated; and obtaining second point cloud data for the object based on the 2D image of the surface of the object to which the second type of pattern light is irradiated and information on the second type of pattern light. Including, it is possible to provide a three-dimensional data acquisition method.

또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, t 시간 당 n(n은 자연수)개의 프레임들을 스캔하는 3차원 스캐너에 의해 획득되고, 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 a(a는, n보다 작은 자연수)개 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 패턴 광을 조사하는 단계; 및 상기 제2 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 b(b는, n-a보다 작거나 같은 자연수)개 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the first data and the second data are obtained by a 3D scanner scanning n (n is a natural number) frames per time t, and the obtaining of the first data comprises: , irradiating the first type pattern light to the object; and obtaining a (a is a natural number smaller than n) frames including a 2D image with respect to the surface of the object to which the first type of pattern light is irradiated, wherein the second data is obtained The step may include radiating the second type of patterned light to the object; and acquiring b (b is a natural number smaller than or equal to n−a) frames including a 2D image on the surface of the object to which the second pattern light is irradiated. can do.

또한 본 개시의 일 실시 예에서 상기 제2 데이터를 획득하는 단계는, 상기 제2 타입의 상이한 패턴 광들이 순차적으로 조사되는 상기 대상체의 표면에 대해서, 2차원 영상을 포함하는 복수의 프레임들을 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the acquiring of the second data may include acquiring a plurality of frames including a 2D image on the surface of the object to which the different pattern lights of the second type are sequentially irradiated. It is possible to provide a 3D data acquisition method comprising steps.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 3차원 데이터 획득 방법은, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the acquiring of the first data may include irradiating the first type of pattern light to the object; acquiring a 2D image of the surface of the object to which the first type of pattern light is irradiated; and acquiring first point cloud data for the object based on the 2D image of the surface of the object to which the first type of pattern light is irradiated and information on the first type of pattern light. and wherein the 3D data acquisition method irradiates the pattern light of the second type instead of the light of the first type, or alternately irradiates the pattern light of the first type and the pattern light of the second type. It is possible to provide a method for obtaining 3D data, further comprising the step of determining what to do.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 3차원 데이터 획득 방법은, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 획득된 상기 2차원 영상을 포함하는 프레임과 상기 프레임과 이웃하는 이웃 프레임 간의 차이가 임계 값 이상으로 많이 나는 경우, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the acquiring of the first data may include irradiating the first type of pattern light to the object; acquiring a 2D image of the surface of the object to which the first type of pattern light is irradiated; and acquiring first point cloud data for the object based on the 2D image of the surface of the object to which the first type of pattern light is irradiated and information on the first type of pattern light. and wherein the method for obtaining 3D data comprises a threshold value of a difference between a frame including the 2D image acquired for the surface of the object to which the first type of pattern light is irradiated and a frame adjacent to the frame. determining to irradiate the pattern light of the second type instead of the pattern light of the first type or to alternately irradiate the pattern light of the first type and the pattern light of the second type, Further comprising, it is possible to provide a 3D data acquisition method.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하는 단계; 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하는 단계; 및 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하는 단계를 포함하고, 상기 3차원 데이터 획득 방법은, 인공 지능 모델을 이용하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 획득된 상기 2차원 영상에 기초하여, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는 단계를 더 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the acquiring of the first data may include irradiating the first type of pattern light to the object; acquiring a 2D image of the surface of the object to which the first type of pattern light is irradiated; and acquiring first point cloud data for the object based on the 2D image of the surface of the object to which the first type of pattern light is irradiated and information on the first type of pattern light. and wherein the method for obtaining 3D data comprises obtaining the first type of pattern based on the 2D image obtained with respect to the surface of the object to which the first type of pattern light is irradiated, using an artificial intelligence model. The step of determining whether to irradiate the pattern light of the second type instead of light or to alternately irradiate the pattern light of the first type and the pattern light of the second type. can do.

또한 본 개시의 일 실시 예에서 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 적색 패턴 광을 조사하는 단계; 상기 제2 타입의 적색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 R 프레임을 획득하는 단계; 상기 대상체에 상기 제2 타입의 녹색 패턴 광을 조사하는 단계; 상기 제2 타입의 녹색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 G 프레임을 획득하는 단계; 상기 대상체에 상기 제2 타입의 청색 패턴 광을 조사하는 단계; 및 상기 제2 타입의 청색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 B 프레임을 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the obtaining of the second data may include irradiating the second type of red pattern light to the object; obtaining an R frame including a 2D image of the surface of the object to which the red pattern light of the second type is irradiated; irradiating the second type of green pattern light to the object; acquiring a G frame including a 2D image of the surface of the object to which the second type of green pattern light is irradiated; irradiating the second type of blue pattern light to the object; and acquiring a B frame including a 2D image with respect to the surface of the object to which the second type of blue pattern light is irradiated.

또한 본 개시의 일 실시 예에서 상기 제1 데이터를 획득하는 단계는, 상기 대상체에 상기 제1 타입의 청색 패턴 광을 조사하는 단계; 및 상기 제1 타입의 청색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 획득하는 단계를 포함하고, 상기 제2 데이터를 획득하는 단계는, 상기 대상체에 상기 제2 타입의 적색 패턴 광 또는 녹색 패턴 광을 조사하는 단계; 및 상기 제2 타입의 적색 패턴 광 또는 녹색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, in an embodiment of the present disclosure, the obtaining of the first data may include irradiating the first type of blue pattern light to the object; and acquiring a frame including a 2D image of the surface of the object to which the first type of blue pattern light is irradiated, wherein the obtaining of the second data comprises: radiating red pattern light or green pattern light; and acquiring a frame including a 2D image of the surface of the object to which the second type of red pattern light or green pattern light is irradiated.

또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터에 포함되는 상기 대상체의 제1 형상 정보, 상기 제2 데이터에 포함되는 상기 대상체의 제2 형상 정보 및 색상 정보에 기초하여 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the acquiring of the 3D data may include first shape information of the object included in the first data, second shape information and color information of the object included in the second data. It is possible to provide a 3D data acquisition method comprising obtaining the 3D data based on.

또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터에 포함되는 제1 포인트 클라우드 데이터 및 상기 제2 데이터에 포함되는 제2 포인트 클라우드 데이터를 병합함으로써, 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the obtaining of the 3D data may include merging the first point cloud data included in the first data and the second point cloud data included in the second data to obtain the 3D data. It is possible to provide a method for acquiring 3D data, including obtaining data.

또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터 및 상기 제2 데이터의 가중치 합에 기초하여 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the obtaining of the 3D data includes obtaining the 3D data based on a weighted sum of the first data and the second data. can provide.

또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터의 신뢰도에 기초하여, 신뢰도가 높은 상기 대상체의 적어도 일부 영역에 대해서는 상기 제1 데이터를 이용하고, 신뢰도가 낮은 상기 대상체의 나머지 영역에 대해서는 상기 제2 데이터를 이용함으로써, 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, according to an embodiment of the present disclosure, the obtaining of the 3D data may include using the first data for at least a partial region of the object having a high reliability based on the reliability of the first data, and using the first data having a low reliability. A method of acquiring 3D data may include obtaining the 3D data by using the second data for the remaining regions of the object.

또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터의 신뢰도에 기초하여, 상기 제1 데이터에 대한 가중치를 결정하는 단계; 및 상기 가중치에 기초하여 상기 제1 데이터 및 상기 제2 데이터를 병합함으로써, 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the acquiring of the 3D data may include determining a weight for the first data based on reliability of the first data; and obtaining the 3D data by merging the first data and the second data based on the weight.

또한 본 개시의 일 실시 예에서 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터에 포함되는 복수의 제1 포인트들 및 상기 제2 데이터에 포함되는 복수의 제2 포인트들 간의 중첩 포인트들을 결정하는 단계; 및 상기 중첩 포인트들에 대한 평균값을 이용하여 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. In addition, in an embodiment of the present disclosure, the acquiring of the 3D data may include determining overlapping points between a plurality of first points included in the first data and a plurality of second points included in the second data. doing; and acquiring 3D data using an average value of the overlapping points.

또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, 상기 대상체에 대해서 연속적으로 프레임들을 스캔하는 3차원 스캐너에 의해 획득되고, 상기 3차원 데이터를 획득하는 단계는, 상기 제1 데이터 및 상기 제2 데이터 중에서 이웃하는 프레임들과 유사도가 높은 데이터에 높은 가중치를 할당하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 대해서 상기 할당된 가중치를 적용한 가중치 합에 기초하여 상기 3차원 데이터를 획득하는 단계를 포함하는, 3차원 데이터 획득 방법을 제공할 수 있다. Also, in an embodiment of the present disclosure, the first data and the second data are obtained by a 3D scanner that continuously scans frames of the object, and the obtaining of the 3D data includes the first data. assigning a high weight to data having a high similarity to neighboring frames among data and the second data; and acquiring the 3D data based on a weight sum obtained by applying the assigned weights to the first data and the second data.

본 개시의 다른 측면은 3차원 데이터를 획득하는 장치에 있어서, 디스플레이; 3차원 스캐너와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하여 상기 3차원 데이터를 획득하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 3차원 스캐너에 의해 대상체에 제1 타입의 패턴 광을 조사하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하고, 상기 3차원 스캐너에 의해 상기 대상체에 제2 타입의 패턴 광을 조사하여, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하고, 상기 제1 데이터 및 상기 제2 데이터에 기초하여 상기 대상체에 대한 3차원 데이터를 획득하는 것을 특징으로 하는, 3차원 데이터 획득 장치를 제공할 수 있다. Another aspect of the present disclosure is a device for acquiring three-dimensional data, comprising: a display; a communication interface that communicates with the 3D scanner; and at least one processor that executes at least one instruction to acquire the 3D data, wherein the at least one processor radiates a first type of patterned light to the object by the 3D scanner, First data of the surface of the object to which one type of pattern light is irradiated is acquired, and a second type of pattern light is irradiated to the object by the 3D scanner, so that the second type of pattern light is irradiated to the object. It is possible to provide a 3D data obtaining device characterized in that acquiring second data on the surface of the object, and obtaining 3D data on the object based on the first data and the second data. .

또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, t 시간 당 n(n은 자연수)개의 프레임들을 스캔하는 상기 3차원 스캐너에 의해 획득되고, 상기 3차원 스캐너는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하고, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 a(a는, n보다 작은 자연수)개 획득하고, 상기 대상체에 상기 제2 타입의 패턴 광을 조사하고, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 프레임을 b(b는, n-a보다 작거나 같은 자연수)개 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, in an embodiment of the present disclosure, the first data and the second data are acquired by the 3D scanner scanning n (n is a natural number) frames per time t, and the 3D scanner scans the object the first type of pattern light is irradiated to, and a (a is a natural number smaller than n) frames including a 2D image are acquired for the surface of the object to which the first type of pattern light is irradiated, The target object is irradiated with the second type of pattern light, and a frame including a 2D image for the surface of the object to which the second type of pattern light is irradiated is b (b is a natural number less than or equal to n−a). It is possible to provide a device for obtaining 3D data, which acquires each.

또한 본 개시의 일 실시 예에서 상기 제1 데이터 및 상기 제2 데이터는, 상기 대상체에 대해서 연속적으로 프레임들을 스캔하는 3차원 스캐너에 의해 획득되고, 상기 3차원 스캐너는, 상기 대상체에 상기 제1 타입의 패턴 광을 조사하고, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대해서, 2차원 영상을 획득하고, 상기 적어도 하나의 프로세서는, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 상기 2차원 영상 및 상기 제1 타입의 패턴 광에 대한 정보에 기초하여, 상기 대상체에 대한 제1 포인트 클라우드 데이터를 획득하고, 상기 제1 타입의 패턴 광 대신에 상기 제2 타입의 패턴 광을 조사하거나, 상기 제1 타입의 패턴 광 및 상기 제2 타입의 패턴 광을 번갈아 가면서 조사할 것을 결정하는, 3차원 데이터 획득 장치를 제공할 수 있다. Also, according to an embodiment of the present disclosure, the first data and the second data are acquired by a 3D scanner that continuously scans frames of the object, and the 3D scanner determines the first type of data for the object. pattern light is irradiated, and a 2D image is obtained for a surface of the object to which the first type of pattern light is irradiated, and the at least one processor is configured to: Based on the 2D image of the surface of and information on the first type of pattern light, first point cloud data for the object is obtained, and instead of the first type of pattern light, the second type of light is obtained. It is possible to provide a 3D data acquisition device that determines whether to radiate pattern light or alternately radiate the first type of pattern light and the second type of pattern light.

또한 본 개시의 일 실시 예에서 상기 3차원 스캐너는, 상기 대상체에 상기 제2 타입의 적색 패턴 광을 조사하고, 상기 제2 타입의 적색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 R 프레임을 획득하고, 상기 대상체에 상기 제2 타입의 녹색 패턴 광을 조사하고, 상기 제2 타입의 녹색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 G 프레임을 획득하고, 상기 대상체에 상기 제2 타입의 청색 패턴 광을 조사하고, 상기 제2 타입의 청색 패턴 광이 조사된 상기 대상체의 표면에 대해서 2차원 영상을 포함하는 B 프레임을 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, in an embodiment of the present disclosure, the 3D scanner irradiates the second type of red pattern light to the object, and generates a 2D image of the surface of the object to which the second type of red pattern light is irradiated. Acquiring an R frame including a green pattern light of the second type is radiated to the object, and obtaining a G frame including a 2D image of the surface of the object to which the green pattern light of the second type is radiated obtaining 3D data, irradiating the object with the second type of blue pattern light, and obtaining a B frame including a 2D image of the surface of the object to which the second type of blue pattern light is irradiated. device can be provided.

또한 본 개시의 일 실시 예에서 상기 적어도 하나의 프로세서는, 상기 3차원 데이터를 획득함에 있어서, 상기 제1 데이터로부터 상기 대상체의 제1 형상 정보를 추출하고, 상기 제2 데이터로부터 상기 대상체의 제2 형상 정보 및 색상 정보를 추출하고, 상기 제1 형상 정보, 상기 제2 형상 정보 및 상기 색상 정보에 기초하여 상기 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, according to an embodiment of the present disclosure, in obtaining the 3D data, the at least one processor extracts first shape information of the object from the first data, and extracts second shape information of the object from the second data. It is possible to provide a 3D data acquisition device that extracts shape information and color information and obtains the 3D data based on the first shape information, the second shape information, and the color information.

또한 본 개시의 일 실시 예에서 상기 적어도 하나의 프로세서는, 상기 제1 데이터에 포함되는 제1 포인트 클라우드 데이터 및 상기 제2 데이터에 포함되는 제2 포인트 클라우드 데이터를 병합함으로써, 상기 3차원 데이터를 획득하는, 3차원 데이터 획득 장치를 제공할 수 있다. In addition, in an embodiment of the present disclosure, the at least one processor obtains the 3D data by merging first point cloud data included in the first data and second point cloud data included in the second data. It is possible to provide a 3D data acquisition device that does.

본 개시의 다른 측면은 3차원 데이터 획득 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체에 있어서, 상기 3차원 데이터 획득 방법은, 대상체에 제1 타입의 패턴 광을 조사하여, 상기 제1 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제1 데이터를 획득하는 단계; 상기 대상체에 제2 타입의 패턴 광을 조사하여, 상기 제2 타입의 패턴 광이 조사된 상기 대상체의 표면에 대한 제2 데이터를 획득하는 단계; 및 상기 제1 데이터 및 상기 제2 데이터에 기초하여, 상기 대상체에 대한 3차원 데이터를 획득하는 단계를 포함하는, 기록 매체를 제공할 수 있다. Another aspect of the present disclosure relates to a computer-readable recording medium storing a program for performing a 3D data acquisition method, wherein the 3D data acquisition method includes radiating a first type of pattern light to an object, acquiring first data about the surface of the object to which one type of pattern light is irradiated; radiating a second type of patterned light to the object and acquiring second data about the surface of the object to which the second type of patterned light is irradiated; and obtaining 3D data of the object based on the first data and the second data.

개시된 실시 예에 따른 3차원 데이터 획득 방법은, 구강 내의 금속 구조물에 대해서도 정확한 형상을 획득할 수 있다.The method for obtaining 3D data according to the disclosed embodiment can obtain an accurate shape of a metal structure in the oral cavity.

본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일 실시 예에 따른 3차원 데이터 획득 장치를 설명하기 위한 도면이다.
도 2는 일 실시 예에 따라 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 3은 일 실시 예에 따라 대상체에 조사되는 포인트 패턴 광을 설명하기 위한 도면이다.
도 4는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
도 5는 일 실시 예에 따른 3차원 데이터 획득 장치가 포인트 패턴 광 및 라인 패턴 광을 이용하여 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 3차원 데이터 획득 장치가 제1 데이터 및 제2 데이터를 병합함으로써 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.
도 8은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.
도 9는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.
도 10은 일 실시 예에 따라 3차원 데이터 획득 장치가 디스플레이 하는 사용자 인터페이스의 예를 도시한다.
도 11은 일 실시 예에 따라 3차원 데이터 획득 장치가 제1 모드 및 제2 모드로 대상체를 스캔하여 획득되는 3차원 데이터의 예를 도시한다.
도 12는 일 실시 예에 따라 3차원 데이터 획득 장치가 일반 영역을 스캔하여 획득되는 메쉬 데이터 및 메탈 영역을 스캔하여 획득되는 메쉬 데이터의 예를 도시한다.
도 13은 일 실시 예에 따라 3차원 데이터 획득 장치가 수행하는 들로네 삼각화를 설명하는 도면이다.
도 14는 일 실시 예에 따라 3차원 데이터 획득 장치가 메쉬 데이터에 수행하는 필터링의 예를 도시한다.
도 15는 일 실시 예에 따라 3차원 데이터 획득 장치가 메쉬 데이터에 수행하는 필터링의 예를 도시한다.
도 16은 일 실시 예에 따른 3차원 데이터 획득 장치의 블록도를 도시한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention may be readily understood from the following detailed description in combination with the accompanying drawings, wherein reference numerals denote structural elements.
1 is a diagram for explaining a 3D data acquisition device according to an exemplary embodiment.
2 is a diagram for explaining a method of obtaining surface data by a 3D scanner according to an exemplary embodiment.
3 is a diagram for explaining point pattern light irradiated to an object according to an exemplary embodiment.
4 is a flowchart of a method of obtaining 3D data by a 3D data acquisition device according to an embodiment.
FIG. 5 is a diagram for explaining a method of obtaining 3D data of an object by using a point pattern light and a line pattern light by a 3D data acquisition apparatus according to an exemplary embodiment.
6 is a diagram for explaining a method of acquiring 3D data of an object by merging first data and second data by a 3D data acquisition apparatus according to an exemplary embodiment.
7 illustrates an example of 3D data obtained according to an exemplary embodiment.
8 illustrates an example of 3D data obtained according to an exemplary embodiment.
9 is a flowchart of a method of obtaining 3D data by a 3D data obtaining device according to an embodiment.
10 illustrates an example of a user interface displayed by a 3D data acquisition device according to an embodiment.
11 illustrates an example of 3D data acquired by a 3D data acquisition device scanning an object in a first mode and a second mode, according to an exemplary embodiment.
12 illustrates an example of mesh data obtained by scanning a general area and mesh data obtained by scanning a metal area by a 3D data acquisition device according to an embodiment.
13 is a diagram illustrating Delaunay triangulation performed by a 3D data acquisition apparatus according to an exemplary embodiment.
14 illustrates an example of filtering performed on mesh data by a 3D data acquisition device according to an embodiment.
15 illustrates an example of filtering performed on mesh data by a 3D data acquisition device according to an embodiment.
16 is a block diagram of a 3D data acquisition device according to an embodiment.

본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.This specification clarifies the scope of the present invention, explains the principles of the present invention, and discloses embodiments so that those skilled in the art can practice the present invention. The disclosed embodiments may be implemented in various forms.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시 예들에 대해 설명한다.Like reference numbers designate like elements throughout the specification. This specification does not describe all elements of the embodiments, and general content or overlapping content between the embodiments in the technical field to which the present invention pertains will be omitted. The term 'part' (portion) used in the specification may be implemented in software or hardware, and according to embodiments, a plurality of 'units' may be implemented as one element (unit, element), or a single 'unit' It is also possible that ' contains a plurality of elements. Hereinafter, the working principle and embodiments of the present invention will be described with reference to the accompanying drawings.

본 개시에서 '대상체(object)'는 촬영의 대상이 되는 것으로서, 사람, 동물, 또는 그 일부를 포함할 수 있다. 예를 들어, 대상체는 신체의 일부(장기 또는 기관 등), 대상체 상에 부착 가능하거나 대상체 내에 삽입 가능한 인공 구조물, 또는 팬텀(phantom) 등을 포함할 수 있다. 이하에서는, 대상체로서 적어도 하나의 치아를 포함하는 구강에 대한 3차원 데이터를 획득하는 경우를 예로 들어 설명하였다. 예를 들어, 대상체는 치아, 치은, 구강의 적어도 일부 영역, 및/또는 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 인레이 및 온레이 등을 포함하는 치아 수복물, 구강 내 삽입되는 교정 보조 도구 등) 등을 포함할 수 있다. 하지만 본 개시는 구강에 대한 3차원 데이터를 획득하는 경우에 제한되지 않으며, 다양한 대상체에 대한 3차원 데이터를 획득하기 위해 적용될 수 있다.In the present disclosure, an 'object' is an object to be photographed, and may include a human, an animal, or a part thereof. For example, the object may include a body part (organ or organ, etc.), an artificial structure attachable on or insertable into the object, or a phantom. Hereinafter, a case of obtaining 3D data of an oral cavity including at least one tooth as an object has been described as an example. For example, the object may include teeth, gingiva, at least a portion of the oral cavity, and/or artificial structures (eg, orthodontic devices including brackets and wires, implants, artificial teeth, inlays, and onlays) that can be inserted into the oral cavity. dental restorations including dental restorations, orthodontic aids inserted into the oral cavity, etc.), and the like. However, the present disclosure is not limited to acquiring 3D data of the oral cavity, and may be applied to acquire 3D data of various objects.

본 개시에서 '영상'은 대상체에 대한 2차원 영상 또는 대상체를 입체적으로 나타내는 3차원 모델 또는 3차원 영상이 될 수 있다. 본 개시에서 영상이란, 2차원 프레임 및 3차원 프레임을 모두 포함할 수 있다. 예를 들어, 영상은, 대상체에 대해서 서로 다른 시점에서 획득된 2차원 영상들을 포함하는 2차원 프레임, 또는 포인트 클라우드 형태 또는 폴리곤 메쉬 형태로 표현되는 3차원 프레임을 포함할 수 있다.In the present disclosure, an 'image' may be a 2D image of an object or a 3D model or 3D image representing the object in three dimensions. In the present disclosure, an image may include both a 2D frame and a 3D frame. For example, the image may include a 2D frame including 2D images acquired at different viewpoints of the object, or a 3D frame expressed in the form of a point cloud or polygon mesh.

또한, 본 개시에서 '데이터'는 대상체를 2차원 또는 3차원적으로 표현하기 위해서 필요한 정보, 예를 들어, 적어도 하나의 영상 센서로부터 획득된 로우 데이터(raw data)를 의미할 수 있다. 구체적으로, 로우 데이터는 대상체에 대한 3차원 데이터를 생성하기 위해서 획득되는 2차원 영상일 수 있다. 로우 데이터는, 3차원 스캐너(예를 들어, 구강 스캐너(intraoral scanner))를 이용하여 대상체를 스캔할 때 복수의 영상 센서들에 의해 획득되는 서로 다른 시점의 2차원 영상들이 될 수 있다. Also, in the present disclosure, 'data' may refer to information required to represent an object in 2D or 3D, eg, raw data obtained from at least one image sensor. Specifically, raw data may be a 2D image obtained to generate 3D data of an object. The raw data may be 2D images of different viewpoints acquired by a plurality of image sensors when an object is scanned using a 3D scanner (eg, an intraoral scanner).

이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the drawings.

도 1은 일 실시 예에 따른 3차원 데이터 획득 장치를 설명하기 위한 도면이다.1 is a diagram for explaining a 3D data acquisition device according to an exemplary embodiment.

도 1에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100) 및 3차원 영상 디스플레이 장치(300)를 포함할 수 있다. As shown in FIG. 1 , a 3D data acquisition device 200 according to an embodiment of the present disclosure may include a 3D scanner 100 and a 3D image display device 300 .

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)를 이용하여 대상체에 패턴 광을 조사(project)하고 패턴 광이 조사된 대상체를 스캔함으로써, 패턴의 변형에 의한 삼각 계측의 원리를 이용하여 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다. The 3D data acquisition apparatus 200 according to an embodiment projects pattern light to an object using the 3D scanner 100 and scans the object to which the pattern light is irradiated, thereby forming a triangle by deformation of the pattern. 3D data representing the shape of an object may be acquired using the principle of measurement.

일 실시 예에 따른 3차원 스캐너(100)는, 대상체로부터 획득된 로우 데이터를 3차원 영상 디스플레이 장치(300)에게 전송할 수 있다. 3차원 영상 디스플레이 장치(300)는, 전달받은 로우 데이터에 기초하여, 대상체의 표면의 형상을 3차원적으로 나타내는 3차원 데이터를 생성할 수 있다. 3차원 데이터는, 포인트 클라우드 데이터 또는 폴리곤 메쉬 데이터일 수 있다. 다른 일 실시 예에 따른 3차원 스캐너(100)는, 대상체로부터 획득된 로우 데이터를 재구성하여 3차원 프레임을 생성하고, 생성된 3차원 프레임을 3차원 영상 디스플레이 장치(300)에게 전송할 수 있다.The 3D scanner 100 according to an embodiment may transmit raw data obtained from an object to the 3D image display device 300 . The 3D image display apparatus 300 may generate 3D data representing the shape of the surface of the object in 3D, based on the received raw data. The 3D data may be point cloud data or polygon mesh data. The 3D scanner 100 according to another embodiment may generate a 3D frame by reconstructing raw data obtained from an object, and transmit the generated 3D frame to the 3D image display device 300 .

일 실시 예에 따른 3차원 스캐너(100)는, 구강 내의 영상을 획득하기 위한 의료 장치를 포함할 수 있다. 구체적으로, 3차원 스캐너(100)는 구강 내에 삽입되어 비 접촉식으로 치아를 스캐닝함으로써, 적어도 하나의 치아를 포함하는 구강에 대한 3차원 모델을 생성하기 위한 장치가 될 수 있다. 또한, 3차원 스캐너(100)는 구강 내에 인입 및 인출이 가능한 형태를 가질 수 있으며, 적어도 하나의 영상 센서(예를 들어, 광학 카메라 등)를 이용하여 환자의 구강 내부를 스캔할 수 있다. The 3D scanner 100 according to an embodiment may include a medical device for acquiring an intraoral image. Specifically, the 3D scanner 100 may be a device for generating a 3D model of the oral cavity including at least one tooth by being inserted into the oral cavity and scanning teeth in a non-contact manner. In addition, the 3D scanner 100 may have a shape capable of being drawn in and out of the oral cavity, and may scan the inside of the patient's oral cavity using at least one image sensor (eg, an optical camera, etc.).

3차원 스캐너(100)는 대상체인 구강 내부의 치아, 치은 및 구강 내에 삽입 가능한 인공 구조물(예를 들어, 브라켓 및 와이어를 포함하는 교정 장치, 임플란트, 인공 치아, 구강 내 삽입되는 교정 보조 도구 등) 중 적어도 하나의 표면을 이미징하기 위해서, 대상체에 대한 표면 정보를 로우 데이터로서 획득할 수 있다. 3차원 영상 디스플레이 장치(300)는, 로우 데이터를 기초로 결합(merge) 등의 3차원 연산을 수행하여 3차원 데이터를 획득하고, 3차원 데이터를 렌더링한 3차원 영상을 화면 상에 디스플레이에 표시할 수 있다. The 3D scanner 100 includes teeth and gingiva inside the oral cavity, which are objects, and artificial structures that can be inserted into the oral cavity (eg, orthodontic devices including brackets and wires, implants, artificial teeth, orthodontic aids inserted into the oral cavity, etc.) In order to image at least one surface of the object, surface information of the object may be acquired as raw data. The 3D image display apparatus 300 acquires 3D data by performing a 3D operation such as merging based on raw data, and displays the 3D image obtained by rendering the 3D data on a display on a screen. can do.

일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)와 유선 또는 무선 통신 네트워크를 통하여 연결되며, 3차원 스캐너(100)로부터 대상체를 스캔하여 획득된 로우 데이터 또는 3차원 프레임을 수신할 수 있다. The 3D image display device 300 according to an embodiment is connected to the 3D scanner 100 through a wired or wireless communication network, and raw data or 3D frames obtained by scanning an object from the 3D scanner 100 can receive

3차원 영상 디스플레이 장치(300)는, 수신된 로우 데이터 또는 3차원 프레임에 기초하여, 대상체에 대한 3차원 데이터 또는 3차원 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 예를 들어, 3차원 영상 디스플레이 장치(300) 는 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다. The 3D image display device 300 may be any electronic device capable of generating, processing, displaying and/or transmitting 3D data or 3D images of an object based on received raw data or 3D frames. there is. For example, the 3D image display device 300 may be a computing device such as a smart phone, a laptop computer, a desktop computer, a PDA, or a tablet PC, but is not limited thereto.

3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)에서 수신된 데이터에 기초하여, 대상체의 진단에 필요한 정보 및 대상체 영상 중 적어도 하나를 생성하고, 생성된 정보 및/또는 영상을 디스플레이(320)를 통하여 디스플레이 할 수 있다. The 3D image display apparatus 300 generates at least one of information necessary for diagnosing an object and an object image based on data received from the 3D scanner 100, and displays the generated information and/or image (320). ) can be displayed.

일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 대상체에 대한 3차원 데이터 또는 3차원 영상을 분석하고, 분석 결과를 처리, 디스플레이 및/또는 전송할 수 있다. The 3D image display apparatus 300 according to an embodiment may analyze 3D data or a 3D image of an object, process, display, and/or transmit the analysis result.

또한, 일 실시 예에 따른 3차원 영상 디스플레이 장치(300)는 3차원 스캐너(100)에 연동되는 전용 소프트웨어를 저장 및 실행할 수 있다. 여기서, 전용 소프트웨어는 전용 프로그램 또는 전용 어플리케이션으로 호칭 될 수 있다. 3차원 영상 디스플레이 장치(300)가 3차원 스캐너(100)와 상호 연동되어 동작하는 경우, 3차원 영상 디스플레이 장치(300)에 저장되는 전용 소프트웨어는, 3차원 스캐너(100)와 연결되어 대상체 스캔을 통하여 획득되는 데이터들을 실시간으로 수신하도록 3차원 영상 디스플레이 장치(300)를 구동할 수 있다. 예를 들어, 자사의 구강 스캐너인 i500에서 구강 스캔을 통하여 획득된 데이터를 처리하기 위한 전용 소프트웨어가 존재한다. 3차원 영상 디스플레이 장치(300)는 i500 제품에 대응되는 전용 소프트웨어를 저장 및 실행할 수 있다. 전송 소프트웨어는 구강 이미지를 획득, 처리, 저장, 및/또는 전송하기 위한 적어도 하나의 동작들을 수행할 수 있다. Also, the 3D image display device 300 according to an embodiment may store and execute dedicated software linked to the 3D scanner 100 . Here, dedicated software may be referred to as a dedicated program or dedicated application. When the 3D image display device 300 operates in conjunction with the 3D scanner 100, dedicated software stored in the 3D image display device 300 is connected to the 3D scanner 100 to scan an object. The 3D image display device 300 may be driven to receive data acquired through real-time. For example, there is dedicated software for processing data obtained through intraoral scanning in the i500 intraoral scanner of the company. The 3D image display device 300 may store and execute dedicated software corresponding to the i500 product. The transmission software may perform one or more operations to acquire, process, store, and/or transmit the oral cavity image.

전용 소프트웨어는 3차원 영상 디스플레이 장치(300)의 프로세서 또는 메모리에 저장될 수 있다. 또한, 전용 소프트웨어는 3차원 스캐너에서 획득된 데이터의 이용을 위한 사용자 인터페이스를 제공할 수 있다. 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 개시된 실시 예에 따라서 생성되는 대상체에 대한 3차원 영상을 포함할 수 있다. 예를 들어, 개시된 실시 예에서, 전용 소프트웨어에서 제공되는 사용자 인터페이스 화면은 도 7, 도 8 및 도 10에서 도시되는 사용자 인터페이스 화면들 중 적어도 일부를 포함할 수 있다.Dedicated software may be stored in the processor or memory of the 3D image display device 300 . Also, the dedicated software may provide a user interface for using data obtained from the 3D scanner. A user interface screen provided by dedicated software may include a 3D image of an object created according to the disclosed embodiment. For example, in the disclosed embodiment, a user interface screen provided by dedicated software may include at least some of the user interface screens shown in FIGS. 7, 8, and 10 .

도 2는 일 실시 예에 따라 광학식 3차원 스캐너가 표면 데이터를 획득하는 방법을 설명하기 위한 도면이다.2 is a diagram for explaining a method of acquiring surface data by an optical 3D scanner according to an exemplary embodiment.

일 실시 예에 따라 3차원 스캐너(100)를 이용하여 대상체의 표면에 대한 3차원 데이터를 획득하기 위해서는, 양안시 구조광(structured light with stereo vision) 방식이 이용될 수 있다. In order to obtain 3D data on the surface of the object using the 3D scanner 100 according to an embodiment, a structured light with stereo vision method may be used.

일 실시 예에 따른 3차원 스캐너(100)는 2개 이상의 카메라(207, 209)와 구조광(structured light)(또는, 패턴광)(213)을 조사할 수 있는 적어도 하나의 프로젝터(211)로 구성될 수 있다. 일 실시 예에 따른 3차원 스캐너(100)는, 대상체(201)에게 구조광(213)을 조사하고, 좌안 시야(left Field of View)에 대응되는 L 카메라(207)와 우안 시야(Right Field of View)에 대응되는 R 카메라(209) 각각에서 좌안 시야에 대응되는 L 영상(203) 및 우안 시야에 대응되는 R 영상(205)을 획득할 수 있다. 3차원 스캐너(100)는 대상체(201)에 대한 L 영상(203) 및 R 영상(205)을 포함하는 2차원 프레임을 연속적으로 획득할 수 있다. 3차원 스캐너(100) 또는 3차원 영상 디스플레이 장치(300)는, L 영상(203) 및 R 영상(205)을 포함하는 2차원 프레임로부터 대상체의 표면 형상을 나타내는 3차원 프레임을 재구성할 수 있다. The 3D scanner 100 according to an embodiment includes two or more cameras 207 and 209 and at least one projector 211 capable of emitting structured light (or patterned light) 213. can be configured. The 3D scanner 100 according to an embodiment radiates structured light 213 to an object 201, and uses an L camera 207 corresponding to a left field of view and a right field of view An L image 203 corresponding to the left eye field of view and an R image 205 corresponding to the right eye field of view may be acquired from each of the R cameras 209 corresponding to View. The 3D scanner 100 may continuously acquire 2D frames including the L image 203 and the R image 205 of the object 201 . The 3D scanner 100 or the 3D image display device 300 may reconstruct a 3D frame representing the surface shape of the object from the 2D frame including the L image 203 and the R image 205 .

도 2에는 3차원 스캐너(100)가 2 개의 카메라(207, 209) 및 하나의 프로젝터(211)를 포함하는 경우를 예로 들어 도시하였다. 그러나 본 개시의 다양한 실시 예들은 도 2에 도시된 예에 제한되지 않으며, 3차원 스캐너는 하나의 카메라 및 하나의 프로젝터를 포함할 수 있다. 3차원 스캐너가 하나의 카메라 및 하나의 프로젝터를 포함하는 경우, 프로젝터가 영상을 획득하는 카메라의 역할과 구조광을 조사하는 프로젝터의 역할을 동시에 수행할 수 있다. 또한, 본 개시의 다양한 구현 방식에 따라, 3차원 스캐너는 복수 개의 카메라들 및 복수 개의 프로젝터들을 포함할 수 있다.In FIG. 2 , a case in which the 3D scanner 100 includes two cameras 207 and 209 and one projector 211 is shown as an example. However, various embodiments of the present disclosure are not limited to the example shown in FIG. 2, and the 3D scanner may include one camera and one projector. When the 3D scanner includes one camera and one projector, the projector may simultaneously perform the roles of a camera acquiring an image and a projector emitting structured light. Also, according to various implementation methods of the present disclosure, a 3D scanner may include a plurality of cameras and a plurality of projectors.

한편, 3차원 스캐너(100)는, 대상체 주위를 이동하면서 일정한 시간 간격(예를 들어, 수 ms~수십 ms)으로 대상체를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 스캐너(100) 또는 3차원 영상 디스플레이 장치(300)는, 복수의 2차원 프레임들로부터 복수의 3차원 프레임들을 획득할 수 있다. 예를 들어, 3차원 스캐너(100)는, 초당 10~30 개의 3차원 프레임들을 획득하고, 각 3차원 프레임은 20~30개의 2차원 프레임들에 기초하여 생성될 수 있다. 3차원 영상 디스플레이 장치(300)는, 복수의 3차원 프레임들을 결합 또는 위치 정렬함으로써 대상체 전체에 대한 3차원 데이터를 재구성할 수 있다.Meanwhile, the 3D scanner 100 may acquire a plurality of 2D frames by scanning the object at regular time intervals (eg, several ms to several tens of ms) while moving around the object. The 3D scanner 100 or the 3D image display device 300 may acquire a plurality of 3D frames from a plurality of 2D frames. For example, the 3D scanner 100 acquires 10 to 30 3D frames per second, and each 3D frame may be generated based on 20 to 30 2D frames. The 3D image display apparatus 300 may reconstruct 3D data for the entire object by combining or aligning a plurality of 3D frames.

일 실시 예에 따른 3차원 스캐너(100)가 도 2에 도시된 방식에 따라 구강을 스캔함에 있어서, 인레이(inlay), 온레이(onlay), 크라운, 보철, 교정 장치 등의 구강 내 금속 구조물의 경우 그 형상을 스캔하는 것에 어려움이 있다. 이는, 패턴 광을 대상체에 조사하여 대상체 표면의 3차원 형상 정보를 획득하는 3차원 데이터 획득 방법에 의하면, 패턴이 대상체 표면 상에서 보여야 3차원 형상 정보가 획득 가능하다. 그러나, 금속 구조물의 경우 조사된 패턴 광 중에서 반사되는 빛의 양이 많아 3차원 형상 정보의 측정에 어려움이 있다.When the 3D scanner 100 according to an embodiment scans the oral cavity according to the method shown in FIG. 2, metal structures in the oral cavity such as inlays, onlays, crowns, prostheses, and orthodontic devices In this case, it is difficult to scan the shape. According to the 3D data acquisition method of obtaining 3D shape information on the surface of the object by irradiating pattern light onto the object, the 3D shape information can be obtained only when the pattern is visible on the surface of the object. However, in the case of metal structures, it is difficult to measure 3D shape information because of the large amount of reflected light among the irradiated pattern lights.

따라서, 금속 구조물을 스캔하기 위해서는, 3차원 스캐너(100)가 더 밝은 패턴 광을 조사하여 패턴 광의 일부라도 대상체 표면 상에서 보이도록 하는 방법이 이용될 수 있다. 예를 들어, 3차원 스캐너(100)가 치아를 스캔하기 위해 적색 광원, 녹색 광원 및 청색 광원 각각을 이용하여 패턴 광을 조사할 수 있는 경우, 3차원 스캐너(100)가 적색 광원, 녹색 광원 및 청색 광원을 동시에 이용하여 흰색 패턴 광을 대상체의 표면에 조사할 수 있다.Therefore, in order to scan the metal structure, a method in which the 3D scanner 100 radiates brighter pattern light so that even a part of the pattern light is visible on the surface of the object may be used. For example, when the 3D scanner 100 can irradiate pattern light using each of a red light source, a green light source, and a blue light source to scan a tooth, the 3D scanner 100 uses a red light source, a green light source, and a blue light source. White pattern light may be radiated to the surface of the object by simultaneously using a blue light source.

또한, 일 실시 예에 따른 3차원 스캐너(100)는, 금속 구조물을 스캔하기 위하여, 라인 패턴 광 대신에 포인트 패턴 광을 이용할 수 있다. 예를 들어, 라인 패턴 광이란, 도 2의 패턴광(213)에 예시된 바와 같이 가로, 세로, 또는 사선 방향으로 직선이나 곡선을 나란히 나타낸 광을 의미할 수 있다. 포인트 패턴 광이란, 일정 크기 또는 다양한 크기의 점들을 늘어놓은 광을 의미할 수 있다.Also, the 3D scanner 100 according to an embodiment may use point pattern light instead of line pattern light to scan a metal structure. For example, the line pattern light may refer to light in which straight lines or curves are displayed side by side in a horizontal, vertical, or oblique direction, as illustrated in the pattern light 213 of FIG. 2 . The point pattern light may refer to light in which dots of a certain size or various sizes are arranged.

도 3은 일 실시 예에 따라 대상체에 조사되는 포인트 패턴 광을 설명하기 위한 도면이다.3 is a diagram for explaining point pattern light irradiated to an object according to an exemplary embodiment.

도 3에 도시된 바와 같이, 일 실시 예에 따른 3차원 스캐너(100)는, 대상체에게 포인트 패턴 광(301)을 조사하고, 포인트 패턴 광이 조사된 대상체의 표면을 스캔함으로써 2차원 영상 프레임(303)을 획득할 수 있다. 일 실시 예에 따르면, 포인트 패턴 광에 포함되는 포인트들이 일정한 규칙 없이 랜덤하게 늘어놓아질 수 있으므로, 포인트 패턴 광은 랜덤 패턴 광이라고도 지칭될 수 있다.As shown in FIG. 3 , the 3D scanner 100 according to an embodiment radiates point pattern light 301 to an object and scans the surface of the object to which the point pattern light is irradiated, thereby forming a 2D image frame ( 303) can be obtained. According to an embodiment, since the points included in the point pattern light may be randomly arranged without a certain rule, the point pattern light may also be referred to as random pattern light.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 패턴 광이 조사된 대상체의 표면을 서로 다른 시점에서 스캔한 복수의 2차원 영상들을 획득할 수 있다. 이 때, 복수의 2차원 영상들로부터 대상체 표면의 3차원 형상 정보를 획득하기 위해서는 스테레오 매칭(Stereo Matching) 방식이 이용될 수 있다. 스테레오 매칭 방식에는, 예를 들어, 블록 매칭(Block Matching), 그래프 컷(Graph Cut), 또는 세미-글로벌 매칭(Semi-Global Matching) 등이 포함될 수 있다. 세미-글로벌 매칭 방법은, 2차원 영상들의 방사계측(radiometric) 차이값을 보상하기 위한, 픽셀 단위의 상호 정보 기반 매칭 비용 함수를 이용하여 3차원 형상 정보를 획득하는 방법일 수 있다.The 3D data acquisition apparatus 200 according to an embodiment may acquire a plurality of 2D images obtained by scanning the surface of an object to which point pattern light is irradiated at different viewpoints. In this case, a stereo matching method may be used to obtain 3D shape information of the surface of the object from a plurality of 2D images. The stereo matching method may include, for example, block matching, graph cut, or semi-global matching. The semi-global matching method may be a method of obtaining 3D shape information by using a matching cost function based on mutual information in units of pixels to compensate for a radiometric difference value between 2D images.

일 실시 예에 따른 3차원 스캐너(100)는, 라인 패턴 광을 조사한 경우와 비교하였을 때, 포인트 패턴 광이 조사된 대상체의 표면을 스캔함으로써 대상체의 3차원 형상과 관련된 더 많은 양의 데이터를 획득할 수 있다. 따라서, 포인트 패턴 광을 이용할 경우, 금속으로 이루어진 영역에 대해서도 보다 정확한 3차원 데이터 획득이 가능하다. The 3D scanner 100 according to an embodiment obtains a larger amount of data related to the 3D shape of the object by scanning the surface of the object to which the point pattern light is irradiated, compared to the case where the line pattern light is irradiated. can do. Accordingly, when point pattern light is used, more accurate 3D data can be acquired even for a region made of metal.

3차원 스캐너(100)가 라인 패턴 광을 이용하는 경우, 빛 반사에 의해 선의 일부가 흐릿하게 스캔되더라도 해당 선 전체에 대한 정보를 이용할 수 없게 된다. 반면에, 3차원 스캐너(100)가 포인트 패턴 광을 이용하는 경우, 빛 반사에 의해 일부 포인트가 흐릿하게 스캔되더라도 다른 포인트들로부터 정보를 획득하는 것에 문제가 없게 된다. 따라서, 라인 패턴 광을 이용하는 방식에 비해, 포인트 패턴 광을 이용하는 방식이 빛 반사에 강인하므로, 금속으로 이루어진 영역에 대한 데이터 획득에 유리할 수 있다. 하지만, 금속이 아닌 영역에 대해서는 포인트 패턴 광을 이용하는 것보다, 라인 패턴 광을 이용하는 것이 상대적으로 정밀도가 높을 수 있다.When the 3D scanner 100 uses line pattern light, even if a part of the line is scanned blurry due to light reflection, information on the entire line cannot be used. On the other hand, when the 3D scanner 100 uses point pattern light, there is no problem in acquiring information from other points even if some points are scanned blurry due to light reflection. Therefore, compared to the method using the line pattern light, the method using the point pattern light is more robust against light reflection, and thus may be advantageous in obtaining data for a region made of metal. However, for a non-metal area, using line pattern light may have relatively higher precision than using point pattern light.

본 개시의 다양한 실시 예들에 따르면, 3차원 데이터 획득 장치(200)는 다양한 동작 모드를 이용하여 대상체에 대한 3차원 데이터를 획득할 수 있다. 다양한 실시 예들에 따라 3차원 데이터 획득 장치(200)가 대상체에 대한 3차원 데이터를 획득하는 구체적인 방법에 대해서, 이하에서 도 4 내지 도 16을 참조하여 상세히 설명한다. According to various embodiments of the present disclosure, the 3D data acquisition apparatus 200 may obtain 3D data of an object using various operation modes. A specific method of obtaining 3D data of an object by the 3D data acquisition apparatus 200 according to various embodiments will be described in detail with reference to FIGS. 4 to 16 hereinafter.

도 4는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.4 is a flowchart of a method of obtaining 3D data by a 3D data acquisition device according to an embodiment.

단계 S401에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체에 제1 타입의 패턴 광을 조사하여, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 제1 데이터를 획득할 수 있다.In operation S401, the 3D data acquisition apparatus 200 according to an embodiment radiates a first type of patterned light to the object to obtain first data on the surface of the object to which the first type of patterned light is irradiated. can

3차원 데이터 획득 장치(200)에 포함되는 3차원 스캐너(100)는, 대상체에 제1 타입의 패턴 광을 조사하고, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제1 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제1 포인트 클라우드 데이터를 제1 데이터로서 획득할 수 있다. The 3D scanner 100 included in the 3D data acquisition device 200 radiates a first type of pattern light to an object, and transmits two images from different viewpoints to the surface of the object to which the first type of pattern light is irradiated. 3D images can be acquired. For example, the first type of pattern light may include line pattern light. The 3D data acquisition apparatus 200 provides first point cloud data for the object based on 2D images of the surface of the object to which the first type of pattern light is irradiated and information on the first type of pattern light. Can be obtained as the first data.

예를 들어, 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 상의 각 선이 제2 영상 센서가 스캔한 2차원 영상의 어느 선에 대응되는 지를 결정할 수 있다. 그리고, 3차원 데이터 획득 장치(200)는, 조사된 라인 패턴 및 2차원 영상들에 보여지는 변형된 선에 기초하여, 2차원 영상들 간에 매칭되는 각 선을 이루는 점들의 3차원 좌표를 계산할 수 있다. 3차원 데이터 획득 장치(200)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제1 포인트 클라우드 데이터를 획득할 수 있다.For example, the 3D data acquisition apparatus 200 determines which line on the object appearing in the 2D image scanned by the first image sensor of the 3D scanner 100 is selected from the 2D image scanned by the second image sensor. You can determine if it corresponds to the line. In addition, the 3D data acquisition apparatus 200 may calculate 3D coordinates of points constituting each line matched between 2D images based on the irradiated line pattern and the deformed line shown in the 2D images. there is. The 3D data acquisition apparatus 200 may acquire first point cloud data by calculating 3D coordinates for each pixel included in the 2D images.

일 실시 예에 따른 3차원 스캐너(100)는, 제1 타입의 동일한 패턴 광을 대상체에게 조사하거나, 제1 타입의 상이한 패턴 광들을 순차적으로 대상체에게 조사할 수 있다. 예를 들어, 3차원 스캐너(100)는, 제1 타입의 상이한 패턴 광들 각각이 조사된 대상체의 표면에 대해서, 적어도 하나의 프레임을 획득할 수 있다.The 3D scanner 100 according to an embodiment may radiate the same pattern light of the first type to the object or sequentially radiate different pattern lights of the first type to the object. For example, the 3D scanner 100 may acquire at least one frame of the surface of the object to which each of the different pattern lights of the first type is irradiated.

단계 S402에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체에 제2 타입의 패턴 광을 조사하여, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 제2 데이터를 획득할 수 있다.In step S402, the 3D data acquisition apparatus 200 according to an embodiment radiates a second type of patterned light to the object to obtain second data on the surface of the object to which the second type of patterned light is irradiated. can

3차원 데이터 획득 장치(200)에 포함되는 3차원 스캐너(100)는, 대상체에 제2 타입의 패턴 광을 조사하고, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득할 수 있다. 예를 들어, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제2 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제2 포인트 클라우드 데이터를 제2 데이터로서 획득할 수 있다. The 3D scanner 100 included in the 3D data acquisition apparatus 200 radiates a second type of pattern light to an object, and detects two images at different viewpoints on the surface of the object to which the second type of pattern light is irradiated. 3D images can be obtained. For example, the pattern light of the second type may include point pattern light. The 3D data acquisition apparatus 200 provides second point cloud data for the object based on 2D images of the surface of the object to which the second type of pattern light is irradiated and information on the second type of pattern light. Can be obtained as the second data.

예를 들어, 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 상의 각 포인트가 제2 영상 센서가 스캔한 2차원 영상의 어느 포인트에 대응되는 지를 결정할 수 있다. 그리고, 3차원 데이터 획득 장치(200)는, 조사된 포인트 패턴 및 2차원 영상들에 보여지는 변형된 포인트 패턴에 기초하여, 2차원 영상들 간에 매칭되는 각 포인트의 3차원 좌표를 계산할 수 있다. 3차원 데이터 획득 장치(200)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제2 포인트 클라우드 데이터를 획득할 수 있다.For example, the 3D data acquisition apparatus 200 determines which point on the object appearing in the 2D image scanned by the first image sensor of the 3D scanner 100 is one of the 2D images scanned by the second image sensor. You can determine if it corresponds to a point. Also, the 3D data acquisition apparatus 200 may calculate 3D coordinates of points matched between 2D images based on the irradiated point pattern and the modified point pattern shown in the 2D images. The 3D data acquisition apparatus 200 may obtain the second point cloud data by calculating 3D coordinates for each pixel included in the 2D images.

일 실시 예에 따른 3차원 스캐너(100)는, 제2 타입의 동일한 패턴 광을 대상체에게 조사하거나, 제2 타입의 상이한 패턴 광들을 순차적으로 대상체에게 조사할 수 있다. 예를 들어, 3차원 스캐너(100)는, 제2 타입의 상이한 패턴 광들 각각이 조사된 대상체의 표면에 대해서, 적어도 하나의 프레임을 획득할 수 있다.The 3D scanner 100 according to an embodiment may radiate the same pattern light of the second type to the object or sequentially radiate different pattern lights of the second type to the object. For example, the 3D scanner 100 may obtain at least one frame of the surface of the object to which each of the different pattern lights of the second type is irradiated.

일 실시 예에 따르면, 3차원 스캐너(100)는, 제1 타입의 패턴 광 및 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성될 수 있다. 3차원 스캐너(100)는, 제1 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제1 데이터를 획득하고, 제2 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제2 데이터를 획득할 수 있다. According to an embodiment, the 3D scanner 100 may be configured to alternately irradiate the first type of pattern light and the second type of pattern light. The 3D scanner 100 acquires first data based on a plurality of 2D image frames obtained using a first type of pattern light, and obtains a plurality of second data obtained using a second type of pattern light. Second data may be obtained based on the dimensional image frames.

본 개시에서는, 설명의 편의를 위하여 3차원 스캐너(100)가 제1 타입의 패턴 광을 조사한 후 제2 타입의 패턴 광을 조사하는 경우를 예로 들어 설명한다. 그러나 본 개시의 다양한 실시 예들은 이러한 예에 제한되지 않으며, 3차원 스캐너(100)가 제1 타입의 패턴 광과 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성되므로, 제2 타입의 패턴 광을 조사한 후 제1 타입의 패턴 광을 조사할 수 있다. 또는, 3차원 스캐너(100)는, 제1 타입의 패턴 광을 조사한 후, 제2 타입의 패턴 광을 조사하고, 다시 제1 타입의 패턴 광을 조사할 수 있다.In the present disclosure, for convenience of explanation, a case in which the 3D scanner 100 irradiates a first type of pattern light and then a second type of pattern light is described as an example. However, various embodiments of the present disclosure are not limited to this example, and since the 3D scanner 100 is configured to alternately irradiate the first type of pattern light and the second type of pattern light, the second type of pattern light may be emitted. After the irradiation, the first type of patterned light may be irradiated. Alternatively, the 3D scanner 100 may irradiate the first type of pattern light, then the second type of pattern light, and then the first type of pattern light again.

먼저, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제1 데이터를 획득할 수 있다. 예를 들어, 제1 데이터는, t 시간 당 n(n은 자연수)개의 프레임들을 반복하여 스캔하는 3차원 스캐너(100)에 의해 획득될 수 있다. 예를 들어, 3차원 스캐너(100)는, 초당 100~900 프레임들을 스캔할 수 있다.First, the 3D scanner 100 may obtain first data by continuously scanning frames of an object to which the first type of pattern light is irradiated. For example, the first data may be obtained by the 3D scanner 100 repeatedly scanning n (n is a natural number) frames per time t. For example, the 3D scanner 100 may scan 100 to 900 frames per second.

3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 프레임을 t 시간 당 a개(a는 n보다 작은 자연수) 획득할 수 있다. 예를 들어, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 제1 영상 센서가 스캔한 제1의 2차원 영상 및 제2 영상 센서가 스캔한 제2의 2차원 영상을 포함하는 프레임을 획득하고, 프레임 획득 과정을 t 시간 내에 a번 반복할 수 있다. 3차원 데이터 획득 장치(200)는, a개의 2차원 영상 프레임들에 기초하여 제1 데이터로서 제1 포인트 클라우드 데이터를 획득할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 20~30개의 2차원 영상 프레임들로부터 하나의 포인트 클라우드를 획득할 수 있다.The 3D scanner 100 may acquire a number of frames (a is a natural number less than n) including 2D images of different viewpoints per time t with respect to the surface of the object to which the first type of pattern light is irradiated. there is. For example, the 3D scanner 100 generates a first 2D image scanned by a first image sensor and a second image scanned by a second image sensor with respect to the surface of an object to which a first type of pattern light is irradiated. A frame including a 2D image may be obtained, and the process of obtaining the frame may be repeated a times within time t. The 3D data acquisition apparatus 200 may acquire first point cloud data as first data based on a number of 2D image frames. For example, the 3D data acquisition apparatus 200 may obtain one point cloud from 20 to 30 2D image frames.

다음으로, 3차원 스캐너(100)는, 제2 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제2 데이터를 획득할 수 있다. 3차원 스캐너(100)는, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 프레임을 t 시간 당 b개(b는 n-a보다 작은 자연수) 획득할 수 있다. 3차원 데이터 획득 장치(200)는, b개의 2차원 영상 프레임들에 기초하여 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.Next, the 3D scanner 100 may acquire second data by continuously scanning frames of the object to which the second type of pattern light is irradiated. The 3D scanner 100 may acquire b frames (b is a natural number smaller than n−a) per time t including 2D images of different viewpoints on the surface of the object to which the second type of pattern light is irradiated. there is. The 3D data acquisition apparatus 200 may acquire second point cloud data as second data based on the b number of 2D image frames.

일 실시 예에 따른 3차원 스캐너(100)가 제2 타입의 패턴 광을 이용한 제2 데이터를 획득함에 있어서, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 패턴 광, 녹색 패턴 광, 및 청색 패턴 광 중 적어도 하나를 대상체에게 조사할 수 있다. 일 실시 예에 따른 3차원 스캐너(100)는, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 패턴 광, 녹색 패턴 광, 및 청색 패턴 광을 각각 대상체에게 조사할 수 있다. When the 3D scanner 100 according to an embodiment acquires the second data using the second type of pattern light, in order to obtain color information on the object, red pattern light, green pattern light, and blue pattern light At least one of them may be irradiated to the subject. The 3D scanner 100 according to an embodiment may radiate red pattern light, green pattern light, and blue pattern light to the object, respectively, in order to obtain color information about the object.

예를 들어, 3차원 스캐너(100)는, 대상체에 제2 타입의 적색 패턴 광을 조사하고, 제2 타입의 적색 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 R 프레임을 획득할 수 있다. 3차원 스캐너(100)는, 대상체에 제2 타입의 녹색 패턴 광을 조사하고, 제2 타입의 녹색 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 G 프레임을 획득할 수 있다. 3차원 스캐너(100)는, 대상체에 제2 타입의 청색 패턴 광을 조사하고, 제2 타입의 청색 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 포함하는 B 프레임을 획득할 수 있다. 3차원 데이터 획득 장치(200)는, R 프레임, G 프레임, 및 B 프레임에 기초하여 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.For example, the 3D scanner 100 radiates a second type of red pattern light to an object, and includes 2D images of different viewpoints on the surface of the object to which the second type of red pattern light is irradiated. R frame can be obtained. The 3D scanner 100 radiates a second type of green pattern light to an object, and acquires G frames including 2D images of different viewpoints on the surface of the object to which the second type of green pattern light is irradiated. can do. The 3D scanner 100 radiates a second type of blue pattern light to an object, and obtains B frames including 2D images from different viewpoints on the surface of the object to which the second type of blue pattern light is irradiated. can do. The apparatus 200 for obtaining 3D data may obtain second point cloud data as second data based on the R frame, G frame, and B frame.

그러나, 본 개시는 3차원 스캐너(100)가 모든 광원 색상들(즉, 적색, 녹색, 및 청색)을 이용하여 포인트 패턴 광을 조사하는 실시 예에 제한되지 않는다. 일 실시 예에 따른 3차원 스캐너(100)는, 적색, 녹색, 및 청색 중 하나의 광원을 이용하여 라인 패턴 광을 조사하고, 포인트 패턴 광, 패턴이 없는 광, 또는 랜덤 패턴 광을 조사함에 있어서 적색, 녹색, 및 청색 중 나머지 광원들을 이용할 수 있다. 예를 들어, 3차원 스캐너(100)는, 라인 패턴의 청색 광을 조사하고, 포인트 패턴의 적색 광을 조사하고, 패턴이 없는 녹색 광(또는, 랜덤 패턴 녹색 광)을 조사할 수 있다.However, the present disclosure is not limited to an embodiment in which the 3D scanner 100 emits point pattern light using all light source colors (ie, red, green, and blue). In the 3D scanner 100 according to an embodiment, line pattern light is irradiated using one of red, green, and blue light sources, and point pattern light, non-pattern light, or random pattern light is irradiated. Other light sources among red, green, and blue may be used. For example, the 3D scanner 100 may emit blue light in a line pattern, red light in a point pattern, and green light without a pattern (or green light in a random pattern).

다른 일 실시 예에 따르면, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체를 스캔하다가, 금속 영역이 감지되면 제2 타입의 패턴 광을 조사하도록 구성될 수 있다.According to another embodiment, the 3D scanner 100 may be configured to irradiate a second type of pattern light when a metal area is detected while scanning an object to which the first type of pattern light is irradiated.

먼저, 3차원 스캐너(100)는, 제1 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제1 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제1 데이터로서 제1 포인트 클라우드 데이터를 획득할 수 있다. First, the 3D scanner 100 may obtain first data by continuously scanning frames of an object to which the first type of pattern light is irradiated. The 3D data acquisition apparatus 200 may obtain first point cloud data as first data based on a plurality of 2D image frames obtained from an object to which the first type of pattern light is irradiated.

일 예로서, 3차원 데이터 획득 장치(200)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 획득된 서로 다른 시점의 2차원 영상들을 포함하는 프레임과 이웃하는 이웃 프레임 간의 밝기 값의 차이가 임계 값 이상으로 많이 나는 경우, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.As an example, the 3D data acquisition apparatus 200 determines the brightness value between a frame including 2D images of different viewpoints acquired on the surface of an object to which the first type of pattern light is irradiated and a neighboring frame. When the difference is greater than the threshold value, it may be determined to irradiate the second type of pattern light instead of the first type of pattern light.

다른 예로서, 3차원 데이터 획득 장치(200)는, 인공 지능 모델을 이용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 3차원 데이터 획득 장치(200)는, 대상체로부터 획득된 2차원 영상 프레임 또는 3차원 프레임을 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 3차원 데이터 획득 장치(200)는, 대상체의 영역이 금속 영역이라고 판단되면, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.As another example, the 3D data acquisition apparatus 200 may determine whether the region of the object being scanned is a metal region by using an artificial intelligence model. The 3D data acquisition apparatus 200 may determine whether the region of the object being scanned is a metal region by applying the 2D image frame or the 3D frame acquired from the object to the artificial intelligence model as an input. The artificial intelligence model used to determine the metal region may be an artificial intelligence model trained on a large amount of scan data obtained from the metal region and the non-metal region of the object. If it is determined that the region of the object is a metal region, the 3D data acquisition apparatus 200 may determine to irradiate the second type of pattern light instead of the first type of pattern light.

다음으로, 3차원 스캐너(100)는, 제2 타입의 패턴 광을 대상체에게 조사하고, 제2 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제2 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.Next, the 3D scanner 100 may obtain second data by radiating the second type of pattern light to the object and continuously scanning frames of the object to which the second type of pattern light is radiated. The 3D data acquisition apparatus 200 may obtain second point cloud data as second data based on a plurality of 2D image frames acquired from an object to which the second type of pattern light is irradiated.

단계 S403에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다.In step S403, the 3D data acquisition apparatus 200 according to an embodiment may acquire 3D data of the object based on the first data and the second data.

3차원 스캐너(100)가 제1 타입의 패턴 광을 이용하여 획득한 제1 데이터는, 대상체의 제1 형상 정보를 포함할 수 있다. 그리고 3차원 스캐너(100)가 적색, 녹색, 및 청색 중 적어도 하나의 제2 타입의 패턴 광을 조사하여 획득한 제2 데이터는, 대상체의 제2 형상 정보 및 색상 정보를 포함할 수 있다. 예를 들어, 3차원 스캐너(100)는 제1 타입의 청색 패턴 광을 이용하여 대상체의 제1 형상 정보를 획득하고, 제2 타입의 적색 패턴 광, 제2 타입의 녹색 패턴 광, 및 제2 타입의 청색 패턴 광을 조사하여, 대상체의 제2 형상 정보 및 색상 정보를 포함할 수 있다.The first data acquired by the 3D scanner 100 using the first type of patterned light may include first shape information of the object. Further, the second data acquired by the 3D scanner 100 irradiating at least one second type of pattern light among red, green, and blue may include second shape information and color information of the object. For example, the 3D scanner 100 acquires first shape information of an object by using a blue pattern light of a first type, red pattern light of a second type, green pattern light of a second type, and second shape information of an object. The type of blue pattern light may be irradiated to include second shape information and color information of the object.

3차원 데이터 획득 장치(200)는, 제1 형상 정보, 제2 형상 정보 및 색상 정보에 기초하여 3차원 데이터를 획득할 수 있다.The 3D data acquisition device 200 may obtain 3D data based on the first shape information, the second shape information, and the color information.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터에 포함되는 제1 포인트 클라우드 데이터 및 제2 데이터에 포함되는 제2 포인트 클라우드 데이터를 병합함으로써, 3차원 데이터를 획득할 수 있다.The apparatus 200 for obtaining 3D data according to an embodiment may acquire 3D data by merging first point cloud data included in first data and second point cloud data included in second data. .

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터의 가중치 합에 기초하여 3차원 데이터를 획득할 수 있다. 예를 들어, 제1 데이터, 제2 데이터, 및 3차원 데이터는, 포인트 클라우드 데이터이거나 폴리곤 메쉬 데이터일 수 있다. The 3D data obtaining device 200 according to an embodiment may acquire 3D data based on the weighted sum of the first data and the second data. For example, the first data, the second data, and the 3D data may be point cloud data or polygon mesh data.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터의 신뢰도에 기초하여, 신뢰도가 높은 대상체의 적어도 일부 영역에 대해서는 제1 데이터를 이용하고, 신뢰도가 낮은 대상체의 나머지 영역에 대해서는 제2 데이터를 이용함으로써, 3차원 데이터를 획득할 수 있다.Based on the reliability of the first data, the 3D data acquisition apparatus 200 according to an embodiment uses the first data for at least a partial region of the object with high reliability and uses the first data for the remaining regions of the object with low reliability. By using the second data, 3D data may be obtained.

다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터의 신뢰도에 기초하여, 제1 데이터에 대해서 적용될 가중치를 결정할 수 있다. 3차원 데이터 획득 장치(200)는, 가중치에 기초하여 제1 데이터 및 제2 데이터를 병합함으로써, 3차원 데이터를 획득할 수 있다.The 3D data acquisition apparatus 200 according to another embodiment may determine a weight to be applied to the first data based on reliability of the first data. The 3D data obtaining device 200 may acquire 3D data by merging the first data and the second data based on the weight.

또 다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터에 포함되는 복수의 제1 포인트들 및 제2 데이터에 포함되는 복수의 제2 포인트들 간의 중첩 포인트들을 결정할 수 있다. 3차원 데이터 획득 장치(200)는, 중첩 포인트들에 대한 평균값을 이용하여 3차원 데이터를 획득할 수 있다.The 3D data acquisition apparatus 200 according to another embodiment may determine overlapping points between a plurality of first points included in the first data and a plurality of second points included in the second data. The 3D data acquisition apparatus 200 may acquire 3D data using an average value of overlapping points.

또 다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터 중에서 이웃하는 프레임들과 유사도가 높은 데이터에 높은 가중치를 할당할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 데이터 및 제2 데이터에 대해서, 할당된 가중치를 적용한 가중치 합에 기초하여 3차원 데이터를 획득할 수 있다.The apparatus 200 for acquiring 3D data according to another embodiment may assign a high weight to data having a high similarity to neighboring frames among the first data and the second data. The 3D data acquisition apparatus 200 may obtain 3D data based on a weight sum obtained by applying assigned weights to the first data and the second data.

도 5는 일 실시 예에 따른 3차원 데이터 획득 장치가 포인트 패턴 광 및 라인 패턴 광을 이용하여 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a method of obtaining 3D data of an object by using a point pattern light and a line pattern light by a 3D data acquisition apparatus according to an exemplary embodiment.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 복수의 2차원 영상 프레임들로부터 하나의 3차원 영상 프레임을 획득할 수 있다. 이 때, 하나의 3차원 영상 프레임을 획득하기 위해 이용되는 복수의 2차원 영상 프레임들은, 대상체의 색상 데이터(551) 및 형상 데이터(553)를 획득하기 위한 R 프레임(511), G 프레임(513), 및 B 프레임(515)과, 대상체의 형상 데이터(557)를 획득하기 위한 프레임들(521, 523, 525, 527)을 포함할 수 있다.The apparatus 200 for obtaining 3D data according to an embodiment may obtain one 3D image frame from a plurality of 2D image frames. In this case, the plurality of 2D image frames used to obtain one 3D image frame include an R frame 511 and a G frame 513 for acquiring color data 551 and shape data 553 of the object. ), a B frame 515, and frames 521, 523, 525, and 527 for obtaining the shape data 557 of the object.

3차원 스캐너(100)는, 포인트 패턴의 적색 광이 조사된 대상체의 표면에 대해서 R 프레임(511)을 획득하고, 포인트 패턴의 녹색 광이 조사된 대상체의 표면에 대해서 G 프레임(513)을 획득하고, 포인트 패턴의 청색 광이 조사된 대상체의 표면에 대해서 B 프레임(515)을 획득할 수 있다. 3차원 스캐너(100)는, 청색의 라인 패턴 광이 조사된 대상체의 표면에 대해서 복수의 프레임들(521, 523, 525, 527)을 획득할 수 있다.The 3D scanner 100 acquires an R frame 511 for the surface of the object to which point pattern red light is irradiated, and obtains a G frame 513 for the object surface to which point pattern green light is irradiated. And, a B frame 515 may be obtained for the surface of the object to which the blue light of the point pattern is irradiated. The 3D scanner 100 may acquire a plurality of frames 521 , 523 , 525 , and 527 of the surface of the object to which the blue line pattern light is irradiated.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 패턴 광을 이용하여 획득된 대상체의 형상 데이터(553) 및 라인 패턴 광을 이용하여 획득된 대상체의 형상 데이터(557)를 병합함으로써, 대상체의 3차원 데이터를 획득할 수 있다. 대상체의 형상 데이터(553) 및 형상 데이터(557)는, 대상체의 표면에 대응되는 포인트들의 3차원 공간 상의 위치를 나타내는 포인트 클라우드 데이터일 수 있다. 3차원 데이터 획득 장치(200)는, 형상 데이터(553) 및 형상 데이터(557)를 병합함으로써 하나의 3차원 데이터를 획득할 수 있다.The 3D data acquisition apparatus 200 according to an embodiment merges object shape data 553 obtained using point pattern light and object shape data 557 obtained using line pattern light, 3D data of the object may be acquired. The shape data 553 and shape data 557 of the object may be point cloud data indicating locations of points corresponding to the surface of the object in a 3D space. The 3D data acquisition device 200 may obtain one piece of 3D data by merging the shape data 553 and the shape data 557 .

도 6은 일 실시 예에 따른 3차원 데이터 획득 장치가 제1 데이터 및 제2 데이터를 병합함으로써 대상체에 대한 3차원 데이터를 획득하는 방법을 설명하기 위한 도면이다.6 is a diagram for explaining a method of acquiring 3D data of an object by merging first data and second data by a 3D data acquisition apparatus according to an exemplary embodiment.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 라인 패턴 광에 의해 획득되는 제1 포인트 클라우드(601) 및 포인트 패턴 광에 의해 획득되는 제2 포인트 클라우드(602)를 병합함으로써, 3차원 데이터(630)를 획득할 수 있다. 도 6에 도시된 바와 같이, 포인트 패턴을 이용하여 획득된 제2 포인트 클라우드(602)가 라인 패턴을 이용하여 획득된 제1 포인트 클라우드(601)에 비해 데이터의 양이 더 많을 수 있다.The apparatus 200 for acquiring 3D data according to an embodiment merges a first point cloud 601 obtained by line pattern light and a second point cloud 602 obtained by point pattern light, thereby obtaining 3D data. Data 630 may be obtained. As shown in FIG. 6 , a second point cloud 602 obtained using a point pattern may have more data than a first point cloud 601 obtained using a line pattern.

3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드(601)에 포함되는 포인트들 및 제2 포인트 클라우드(602)에 포함되는 포인트들 간의 중첩 포인트들을 결정할 수 있다. 제1 포인트 클라우드(601)의 포인트와 제2 포인트 클라우드(602)의 포인트가 3차원 공간 내에서 서로 인접한 경우, 중첩 포인트들로서 결정할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드(602)에 포함되는 포인트들 중에서, 제1 포인트 클라우드(601)에 포함되는 포인트로부터 소정 거리 내에 위치하는 포인트를 중첩 포인트로서 결정할 수 있다. 3차원 데이터 획득 장치(200)는, 중첩 포인트들에 기초하여 3차원 데이터를 획득할 수 있다.The 3D data acquisition apparatus 200 may determine overlapping points between points included in the first point cloud 601 and points included in the second point cloud 602 . When the points of the first point cloud 601 and the points of the second point cloud 602 are adjacent to each other in the 3D space, they may be determined as overlapping points. For example, the 3D data acquisition apparatus 200 sets a point located within a predetermined distance from a point included in the first point cloud 601 among points included in the second point cloud 602 as an overlapping point. can decide The 3D data acquisition device 200 may acquire 3D data based on overlapping points.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드(601)에 포함되는 포인트(611)와 인접한, 제2 포인트 클라우드(602)에 포함되는 포인트(622)에 기초하여, 3차원 데이터(630) 내의 포인트(633)의 위치를 결정할 수 있다.The 3D data acquisition apparatus 200 according to an embodiment is based on a point 622 included in a second point cloud 602 adjacent to a point 611 included in the first point cloud 601, The position of the point 633 in the 3D data 630 may be determined.

일 예로서, 도 6에 도시된 바와 같이, 3차원 데이터 획득 장치(200)는, 포인트(611)의 위치를 나타내는 좌표 값 (10, 21, 16)과 포인트(622)의 위치를 나타내는 좌표 값 (11, 20, 18)의 평균을 계산하여, 포인트(633)의 위치를 (10.5, 20.5, 17)로 결정할 수 있다.As an example, as shown in FIG. 6 , the 3D data acquisition device 200 includes coordinate values (10, 21, 16) representing the location of the point 611 and coordinate values representing the location of the point 622. By calculating the average of (11, 20, 18), the position of point 633 can be determined as (10.5, 20.5, 17).

다른 예로서, 3차원 데이터 획득 장치(200)는, 포인트(611)의 위치를 나타내는 좌표 값 (10, 21, 16)과 포인트(622)의 위치를 나타내는 좌표 값 (11, 20, 18)의 가중치 합을 계산하여 포인트(633)의 위치를 결정할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 포인트(611)에 0.7의 가중치를 부여하고, 포인트(622)에 0.3의 가중치를 부여하여, 포인트(633)의 위치를 (10.3, 20.7, 16.6)로 결정할 수 있다.As another example, the 3D data acquisition device 200 has coordinate values (10, 21, 16) representing the location of the point 611 and coordinate values (11, 20, 18) representing the location of the point 622. The location of point 633 can be determined by calculating the sum of the weights. For example, the 3D data acquisition apparatus 200 assigns a weight of 0.7 to the point 611 and a weight of 0.3 to the point 622, and the position of the point 633 is (10.3, 20.7, 16.6).

3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드(601) 및 제2 포인트 클라우드(602)를 포인트 병합하기 위하여 할당될 가중치를 결정함에 있어서, 다양한 방법을 이용할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 라인 패턴 광을 이용하여 획득되는 제1 포인트 클라우드(601)에 우선적으로 높은 가중치를 부여하고, 포인트 패턴 광을 이용하여 획득되는 제2 포인트 클라우드(602)에 상대적으로 낮은 가중치를 부여할 수 있다. The apparatus 200 for obtaining 3D data may use various methods in determining weights to be allocated for point merging the first point cloud 601 and the second point cloud 602 . For example, the 3D data acquisition apparatus 200 preferentially assigns a high weight to the first point cloud 601 obtained using line pattern light and second point cloud obtained using point pattern light. (602) can be given a relatively low weight.

또는, 3차원 데이터 획득 장치(200)는, 포인트 클라우드 형태의 3차원 프레임들을 연속적으로 획득함에 있어서, 이웃하는 3차원 프레임들과의 유사도가 높은 포인트 클라우드에 높은 가중치를 부여할 수 있다. Alternatively, the 3D data acquisition apparatus 200 may assign a high weight to a point cloud having a high similarity with neighboring 3D frames when continuously acquiring 3D frames in the form of a point cloud.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 소정 포인트 클라우드에 포함되는 적어도 하나의 포인트와, 이웃하는 포인트 클라우드에 포함되는 적어도 하나의 포인트 간의 거리에 기초하여, 소정 포인트 클라우드와 이웃 포인트 클라우드 간의 유사도를 판단하고, 유사도에 기초하여 소정 포인트 클라우드에게 부여되는 가중치를 결정할 수 있다. 이웃하는 포인트 클라우드란, 소정 포인트 클라우드를 획득하기 전에 스캔 된 데이터로부터 획득된 포인트 클라우드를 의미할 수 있다.The apparatus 200 for obtaining 3D data according to an embodiment is configured to determine a point cloud and a neighboring point based on a distance between at least one point included in a predetermined point cloud and at least one point included in a neighboring point cloud. A similarity between clouds may be determined, and a weight given to a predetermined point cloud may be determined based on the similarity. The neighboring point cloud may refer to a point cloud obtained from data scanned before acquiring a predetermined point cloud.

일 예로서 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드를 획득하기 이 전에 획득한 이웃 포인트 클라우드의 포인트에 대해 제1 포인트 클라우드의 포인트를 대응시킬 수 있다. 3차원 데이터 획득 장치(200)는, 서로 대응하는 포인트들 간의 거리가 가까운 경우, 제1 포인트 클라우드의 포인트와 이웃 포인트 클라우드의 포인트가 잘 얼라인(align) 된다고 판단할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드와 비교하여, 서로 대응하는 포인트들 간의 거리가 가까운 경우 제1 포인트 클라우드의 포인트에 높은 가중치를 부여하고, 서로 대응하는 포인트들 간의 거리가 먼 경우 제1 포인트 클라우드의 포인트에 낮은 가중치를 부여할 수 있다. As an example, the apparatus 200 for acquiring 3D data may correspond points of the first point cloud to points of neighboring point clouds obtained before acquiring the first point cloud. The 3D data acquisition apparatus 200 may determine that the points of the first point cloud and the points of the neighboring point cloud are well aligned when the distances between corresponding points are short. Compared to the second point cloud, the 3D data acquisition apparatus 200 assigns a high weight to the points of the first point cloud when the distances between the points corresponding to each other are short, and the distances between the points corresponding to each other are long. In this case, a low weight may be assigned to the points of the first point cloud.

그리고, 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드를 획득하기 이 전에 획득한 이웃 포인트 클라우드의 포인트에 대해 제2 포인트 클라우드의 포인트를 대응시키고, 제1 포인트 클라우드와 비교하여, 서로 대응하는 포인트들 간의 거리가 가까운 경우 제2 포인트 클라우드의 포인트에 높은 가중치를 부여하고, 서로 대응하는 포인트들 간의 거리가 먼 경우 제2 포인트 클라우드의 포인트에 낮은 가중치를 부여할 수 있다. 3차원 데이터 획득 장치(200)는, 결정된 가중치에 기초하여 제1 포인트 클라우드 및 제2 포인트 클라우드를 병합함으로써, 제1 포인트 클라우드 및 제2 포인트 클라우드 중에서 이웃 포인트 클라우드와 유사도가 높은 포인트 클라우드에 높은 가중치를 부여할 수 있다.In addition, the 3D data acquisition apparatus 200 corresponds points of a second point cloud to points of a neighboring point cloud obtained before acquiring the second point cloud, compares the points of the first point cloud, and corresponds to each other. A high weight may be assigned to a point of the second point cloud when the distance between the points to be selected is short, and a low weight may be assigned to a point of the second point cloud when the distance between corresponding points is long. The 3D data acquisition apparatus 200 merges the first point cloud and the second point cloud based on the determined weight, so that among the first point cloud and the second point cloud, a point cloud having a high similarity to a neighboring point cloud has a higher weight. can be granted.

다른 예로서, 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드의 포인트 및 제2 포인트 클라우드의 포인트 중에서 이웃 포인트 클라우드에 보다 근사하게(closely) 얼라인(align)되는 포인트를 선택하여 3차원 데이터에 포함시키는 방식을 이용할 수 있다. 제1 포인트 클라우드의 포인트 및 제2 포인트 클라우드의 포인트 중에서 이웃 포인트 클라우드에 보다 근사하게 얼라인되는 포인트는, 서로 대응하는 포인트들 간의 거리에 기초하여 결정될 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제1 포인트 클라우드의 제1 포인트와 이웃 포인트 클라우드의 대응 포인트 간의 제1 거리를 계산하고, 제2 포인트 클라우드의 제2 포인트와 이웃 포인트 클라우드의 대응 포인트 간의 제2 거리를 계산할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 거리 및 제2 거리를 비교하여, 대응하는 포인트들 간의 거리가 짧은 경우, 대응하는 포인트들 간에 얼라인이 잘된다고 판단할 수 있다.As another example, the 3D data acquisition apparatus 200 selects a point that is more closely aligned with a neighboring point cloud from among the points of the first point cloud and the points of the second point cloud to obtain 3D data. A method of including data can be used. Among the points of the first point cloud and the points of the second point cloud, a point more closely aligned with the neighboring point cloud may be determined based on a distance between corresponding points. For example, the 3D data acquisition apparatus 200 calculates a first distance between a first point of a first point cloud and a corresponding point of a neighboring point cloud, and calculates a first distance between a second point of a second point cloud and a corresponding point of a neighboring point cloud. A second distance between corresponding points may be calculated. The 3D data acquisition apparatus 200 compares the first distance and the second distance, and when the distance between the corresponding points is short, it may be determined that the corresponding points are well aligned.

또는, 3차원 데이터 획득 장치(200)는, 라인 패턴 광을 이용하여 획득되는 제1 포인트 클라우드(601)의 신뢰도에 기초하여, 제1 포인트 클라우드(601)의 신뢰도가 높을 경우 높은 가중치를 부여하고, 제1 포인트 클라우드(601)의 신뢰도가 낮을 경우 상대적으로 낮은 가중치를 부여할 수 있다. 예를 들어, 라인 패턴 광이 조사된 대상체의 표면으로부터 획득된 복수의 2차원 영상들 내에서 선(line) 간의 명암 대비가 뚜렷한 경우(즉, 선 영역과 다른 영역의 밝기 차이가 임계 값 이상인 경우), 3차원 데이터 획득 장치(200)는 복수의 2차원 영상들로부터 획득된 포인트 클라우드의 신뢰도가 높다고 판단할 수 있다.Alternatively, the 3D data acquisition apparatus 200 assigns a high weight when the reliability of the first point cloud 601 is high based on the reliability of the first point cloud 601 obtained using line pattern light, , when the reliability of the first point cloud 601 is low, a relatively low weight may be assigned. For example, when the contrast between lines is clear in a plurality of 2D images acquired from the surface of the object to which the line pattern light is irradiated (ie, when the brightness difference between the line area and other areas is greater than a threshold value) ), the 3D data obtaining device 200 may determine that the reliability of the point cloud obtained from the plurality of 2D images is high.

도 7은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.7 illustrates an example of 3D data obtained according to an exemplary embodiment.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)로부터 획득된 제1 데이터 및 제2 데이터를 결합함으로써 3차원 데이터를 획득할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)의 디스플레이(320)는, 3차원 데이터로부터 생성된 대상체의 3차원 영상(703)을 디스플레이 할 수 있다. 도 7에 도시된 바와 같이, 3차원 데이터는, 3차원 공간 상에 배치된 복수의 포인트들을 포함하는 포인트 클라우드 데이터일 수 있다.The 3D data obtaining device 200 according to an embodiment may acquire 3D data by combining first data and second data acquired from the 3D scanner 100 . The display 320 of the 3D data acquisition device 200 according to an embodiment may display a 3D image 703 of an object generated from 3D data. As shown in FIG. 7 , the 3D data may be point cloud data including a plurality of points arranged on a 3D space.

도 8은 일 실시 예에 따라 획득되는 3차원 데이터의 예를 도시한다.8 illustrates an example of 3D data obtained according to an exemplary embodiment.

일 실시 예에 따른 3차원 데이터 획득 장치(200)의 디스플레이(320)는, 3차원 데이터로부터 생성된 대상체의 3차원 영상(803)을 디스플레이 할 수 있다. 3차원 데이터는, 대상체의 형상 정보뿐만 아니라 색상 정보도 포함할 수 있다. 3차원 데이터 획득 장치(200)는, 포인트 클라우드 데이터를 폴리곤 메쉬 형태로 변환하거나, 복수의 포인트들에 대한 보간(interpolation)을 적용함으로써, 3차원 영상(803)을 생성할 수 있다.The display 320 of the 3D data acquisition device 200 according to an embodiment may display a 3D image 803 of an object generated from 3D data. The 3D data may include color information as well as shape information of the object. The 3D data acquisition apparatus 200 may generate a 3D image 803 by converting point cloud data into a polygon mesh form or by applying interpolation to a plurality of points.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 금속 영역을 포함하는 대상체에 대한 정확한 3차원 데이터를 획득하기 위하여, 제1 모드 및 제2 모드 각각에서 서로 다른 3차원 스캔 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다. 3차원 스캔이란, 카메라를 이용하여 대상체를 촬영함으로써 획득된 2차원 영상 데이터와 기하학적 정보(예를 들어, 캘리브레이션 데이터 등)를 이용하여, 일련의 3차원 포인트 클라우드를 획득하는 것을 의미할 수 있다. 따라서, 서로 다른 3차원 스캔 방식들이란, 대상체에 조사되는 패턴 광과 관련된 파라미터, 대상체로부터 2차원 영상을 획득하는 방식, 또는, 2차원 영상 데이터로부터 3차원 포인트 클라우드를 획득하는 방식 중 적어도 하나가 상이한 3차원 스캔 방식들을 의미할 수 있다. 예를 들어, 도 4를 참조하여 상술한 바와 같이, 3차원 데이터 획득 장치(200)는, 서로 다른 타입의 패턴 광들을 조사하여 대상체로부터 제1 데이터 및 제2 데이터를 획득하고, 제1 데이터 및 제2 데이터에 기초하여 금속 영역이 포함된 대상체에 관한 3차원 데이터를 획득할 수 있다.The 3D data obtaining device 200 according to an embodiment uses different 3D scanning methods in each of a first mode and a second mode to acquire accurate 3D data of an object including a metal region. First data and second data may be acquired. A 3D scan may mean acquiring a series of 3D point clouds using 2D image data and geometric information (eg, calibration data, etc.) obtained by photographing an object using a camera. Accordingly, different 3D scan methods refer to at least one of a parameter related to pattern light irradiated to an object, a method of obtaining a 2D image from an object, and a method of obtaining a 3D point cloud from 2D image data. It may mean different 3D scan schemes. For example, as described above with reference to FIG. 4 , the 3D data acquisition apparatus 200 acquires first data and second data from an object by irradiating different types of pattern lights, and obtains the first data and second data. Based on the second data, 3D data about the object including the metal region may be obtained.

다른 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체로부터 획득된 3차원 포인트 클라우드에 서로 다른 후-처리 방식을 적용함으로써 제1 데이터 및 제2 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 서로 다른 후-처리 방식이 적용된 제1 데이터 및 제2 데이터를 이용함으로써, 금속 영역을 포함하는 대상체에 대해서도 정확한 3차원 데이터를 획득할 수 있다. 후-처리란, 대상체로부터 획득된 포인트 클라우드 및 기타 정보를 이용하여, 포인트 클라우드를 변형(예를 들어, 새로운 포인트의 추가 혹은 삭제)하거나, 새로운 3차원 정보(예를 들어, 포인트 클라우드에 포함되는 포인트들 간의 연결 관계에 기초하여 생성되는 메쉬 데이터, 또는 포인트 클라우드의 곡률 혹은 신뢰도 등)를 생성하는 것을 의미한다. 따라서, 서로 다른 후-처리 방식들이란, 대상체로부터 획득된 3차원 포인트 클라우드를 변형하는 방식 또는 새로운 3차원 정보를 생성하는 방식 중 적어도 하나가 상이한 후-처리 방식들을 의미할 수 있다. The 3D data acquisition apparatus 200 according to another embodiment may acquire first data and second data by applying different post-processing methods to the 3D point cloud acquired from the object. The 3D data acquisition apparatus 200 may acquire accurate 3D data for an object including a metal region by using the first data and the second data to which different post-processing methods are applied. Post-processing refers to modifying a point cloud (eg, adding or deleting new points) using a point cloud and other information obtained from an object, or new 3D information (eg, a point cloud included in a point cloud). Mesh data generated based on a connection relationship between points, curvature or reliability of a point cloud, etc.) is generated. Accordingly, different post-processing methods may refer to post-processing methods in which at least one of a method of transforming a 3D point cloud obtained from an object or a method of generating new 3D information is different.

이하에서는, 3차원 데이터 획득 장치(200)가, 서로 다른 동작 모드들(예를 들어, 서로 다른 3차원 스캔 방식들을 이용하는 동작 모드들 또는 서로 다른 후-처리 방식들을 이용하는 동작 모드들)에서 획득된 제1 데이터 및 제2 데이터에 기초하여, 금속 영역이 포함된 대상체에 관한 3차원 데이터를 획득하는 구체적인 방법을 설명한다.Hereinafter, the 3D data acquisition apparatus 200 obtains data obtained in different operation modes (eg, operation modes using different 3D scan methods or operation modes using different post-processing methods). A specific method of acquiring 3D data about an object including a metal region based on the first data and the second data will be described.

일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 대상체 상에 금속 영역이 감지되면 동작 모드를 자동으로 변경하는 동작 옵션을 선택하는 사용자 입력을 수신할 수 있다. 사용자 입력에 기초하여, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체를 스캔하다가, 대상체 상에 금속 영역이 감지되면 금속 스캔 모드로 동작 모드를 전환하여 동작할 수 있다.According to an embodiment, the 3D data acquisition apparatus 200 may receive a user input for selecting an operation option for automatically changing an operation mode when a metal area is detected on the object. Based on a user input, the 3D data acquisition apparatus 200 according to an embodiment scans an object, and when a metal area is detected on the object, the 3D data acquisition apparatus 200 may switch the operation mode to the metal scan mode and operate.

도 9는 일 실시 예에 따른 3차원 데이터 획득 장치가 3차원 데이터를 획득하는 방법의 흐름도를 도시한다.9 is a flowchart of a method of obtaining 3D data by a 3D data obtaining device according to an embodiment.

단계 S910에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작할 수 있다. 일 실시 예에 따르면 제1 모드는, 치아 및 치은과 같은 비금속 영역을 스캔하기 적합하도록, 스캔 파라미터, 대상체로부터 2차원 데이터를 획득하는 스캔 방식, 및/또는 대상체로부터 획득된 데이터에 대한 후-처리(post-processing) 방식이 설정된 동작 모드를 의미할 수 있다. In step S910, the 3D data acquisition apparatus 200 according to an embodiment may operate in a first mode to acquire first data by scanning an object with a 3D scanner. According to an embodiment, the first mode may include a scan parameter, a scan method for obtaining 2D data from an object, and/or post-processing of data acquired from the object so as to be suitable for scanning non-metallic areas such as teeth and gingiva. It may refer to an operation mode in which a (post-processing) method is set.

단계 S920에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체 상에 금속 영역이 감지되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다. In operation S920, the 3D data acquisition apparatus 200 according to an embodiment may change the operation mode from the first mode to the second mode when a metal area is detected on the object.

3차원 데이터 획득 장치(200)는, 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 대상체 상에 금속 영역의 존재를 감지할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 대상체로부터 획득된 제1데이터를 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 인공 지능 모델 학습에 이용되는 대상체는, 3차원 데이터 획득 장치(200)가 스캔하고 있는 대상체와는 별개의 대상체일 수 있다. The 3D data obtaining device 200 may detect the presence of a metal region on the object by analyzing data acquired by the 3D scanner using an artificial intelligence model. For example, the 3D data acquisition apparatus 200 may apply first data acquired from the object to an artificial intelligence model as an input to determine whether the region of the object being scanned is a metal region. The artificial intelligence model used to determine the metal region may be an artificial intelligence model trained on a large amount of scan data obtained from the metal region and the non-metal region of the object. An object used for learning the artificial intelligence model may be a separate object from the object being scanned by the 3D data acquisition apparatus 200 .

3차원 데이터 획득 장치(200)는, 대상체 상에 금속 영역이 포함된다고 판단되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다.The 3D data acquisition apparatus 200 may change the operation mode from the first mode to the second mode when it is determined that the object includes a metal region.

일 실시 예에 따른 3차원 스캐너(100)는 대상체를 스캔함에 있어서, 대상체에 대한 형상 정보와 더불어 색상 정보를 획득하기 위하여, 적색 광, 녹색 광, 및 청색 광 중 적어도 하나를 대상체에게 조사할 수 있다. 일 실시 예에 따른 3차원 스캐너(100)는, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 광, 녹색 광, 및 청색 광을 각각 순차적으로 대상체에게 조사할 수 있다. 예를 들어, 색상 정보를 획득하기 위하여 대상체에게 조사되는 적색 광, 녹색 광, 또는 청색 광은, 소정 도형, 선, 및/또는 점 형태의 복수의 광들로 이루어진 패턴 광을 포함할 수 있다. 그러나 본 개시는, 대상체에 대한 색상 정보를 획득하기 위해 패턴 광을 대상체에게 조사하는 예에 제한되지 않으며, 패턴이 없는 적색 광, 녹색 광, 및 청색 광 중 적어도 하나가 대상체에게 조사될 수 있다.In scanning the object, the 3D scanner 100 according to an embodiment may radiate at least one of red light, green light, and blue light to the object in order to obtain color information as well as shape information about the object. there is. The 3D scanner 100 according to an embodiment may sequentially radiate red light, green light, and blue light to the object in order to obtain color information about the object. For example, red light, green light, or blue light radiated to an object to obtain color information may include pattern light composed of a plurality of lights in the form of a predetermined figure, line, and/or dot. However, the present disclosure is not limited to an example of radiating patterned light to the object to obtain color information about the object, and at least one of red light, green light, and blue light without a pattern may be radiated to the object.

일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 적색 광, 녹색 광 및 청색 광 각각에 기초하여 획득된 R 프레임, G 프레임, 및 B 프레임의 세기(intensity)를 결합하여 생성된 컬러 이미지를 분석할 수 있다. 3차원 데이터 획득 장치(200)는, 생성된 컬러 이미지를 분석함으로써, 대상체 상에 금속 영역의 존재를 감지하고, 금속 영역을 스캔하고 있는 지 여부를 판단할 수 있다.According to an embodiment, the 3D data acquisition apparatus 200 is a color image generated by combining intensities of the R frame, the G frame, and the B frame obtained based on the red light, the green light, and the blue light, respectively. can be analyzed. The 3D data acquisition apparatus 200 may detect the presence of a metal region on the object and determine whether the metal region is being scanned by analyzing the generated color image.

예를 들어, 일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 대상체를 스캔하여 획득한 컬러 이미지를 분석하여, 컬러 이미지 내에 소정 비율 이상의 영역이 금속 영역으로 판단되는 경우, 금속 영역을 스캔하고 있는 것으로 판단할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 컬러 이미지 내의 전체 픽셀들 중 40% 이상의 픽셀이 금속 영역에 대응하는 픽셀로 판단되는 경우, 금속 영역을 스캔하고 있는 것으로 판단할 수 있다. 그러나 본 개시는, 구체적인 수치에 제한되지 않으며, 다양한 구현 예에 따라 금속 영역을 판단하는 기준 값이 상이하게 적용될 수 있다. 3차원 데이터 획득 장치(200)는, 대상체의 금속 영역을 스캔하고 있는 것으로 판단한 결과에 기초하여, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다. For example, according to an embodiment, the 3D data acquisition apparatus 200 analyzes a color image obtained by scanning an object, and when an area of a predetermined ratio or more in the color image is determined to be a metal area, the metal area is scanned. can be judged to be doing. For example, the 3D data acquisition apparatus 200 may determine that the metal area is being scanned when 40% or more of the pixels in the color image are determined to correspond to the metal area. However, the present disclosure is not limited to specific numerical values, and different reference values for determining the metal region may be applied according to various embodiments. The 3D data acquisition apparatus 200 may change the operation mode from the first mode to the second mode based on a result of determining that the metal region of the object is being scanned.

단계 S930에서 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너에 의해 대상체를 스캔함으로써 제2 데이터를 획득하도록 제2 모드에서 동작할 수 있다. 일 실시 예에 따르면 제2 모드는, 금속 영역을 스캔하기 적합하도록, 스캔 파라미터, 스캔 방식, 및/또는 후-처리 방식이 설정된 동작 모드를 의미할 수 있다.In step S930, the 3D data acquisition apparatus 200 according to an embodiment may operate in a second mode to acquire second data by scanning an object with a 3D scanner. According to an embodiment, the second mode may refer to an operation mode in which a scan parameter, a scan method, and/or a post-processing method are set to be suitable for scanning a metal area.

예를 들어, 제1 모드 및 제2 모드는, 서로 다른 3차원 스캔 방식들을 이용하는 동작 모드들이거나, 서로 다른 후-처리 방식들을 이용하는 동작 모드들을 의미할 수 있다.For example, the first mode and the second mode may mean operation modes using different 3D scan schemes or operation modes using different post-processing schemes.

일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 제1 모드 및 제2 모드에서 서로 다른 3차원 스캔 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.According to an embodiment, the 3D data obtaining device 200 may acquire first data and second data using different 3D scanning methods in the first mode and the second mode.

일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 단계 S910에서 제1 타입의 패턴광이 조사된 대상체의 표면에 대한 제1 데이터를 획득하고, 단계 S930에서 제2 타입의 패턴광이 조사된 대상체의 표면에 대한 제2 데이터를 획득할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함하고, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다.According to an embodiment, the 3D data acquisition apparatus 200 acquires first data on the surface of the object to which the first type of pattern light is irradiated in step S910, and in step S930 the second type of pattern light is detected. Second data on the surface of the irradiated object may be obtained. For example, the first type of pattern light may include line pattern light, and the second type of pattern light may include point pattern light.

일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 서로 다른 후-처리 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다. According to an embodiment, the 3D data obtaining device 200 may obtain the first data and the second data using different post-processing methods.

일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 단계 S910에서 일반적인 삼각화 방식을 이용하여 대상체에 대한 제1 포인트 클라우드로부터 제1 메쉬 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 모드에서, 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 제1 데이터로서 획득할 수 있다. According to an embodiment, the 3D data obtaining device 200 may obtain first mesh data from the first point cloud of the object by using a general triangulation method in step S910. In the first mode, the 3D data acquisition apparatus 200 may obtain first mesh data as first data by acquiring a first point cloud of the surface of the object and connecting adjacent points in the first point cloud. there is.

반면에, 단계 S930에서 3차원 데이터 획득 장치(200)는, 들로네 삼각화(Delaunay Triangulation) 방식을 이용하여 대상체에 대한 제2 포인트 클라우드로부터 제2 메쉬 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제2 모드에서, 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 들로네 삼각화를 이용하여 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 제2 데이터로서 획득할 수 있다.On the other hand, in step S930, the 3D data acquisition apparatus 200 may obtain second mesh data from the second point cloud of the object by using a Delaunay triangulation method. In the second mode, the 3D data acquisition apparatus 200 obtains a second point cloud for the surface of the object, connects points in the second point cloud using Delaunay triangulation, and converts the second mesh data into the second mesh data. can be obtained as data.

일 예로서, 3차원 데이터 획득 장치(200)는, 제2 메쉬 데이터를 획득하기 위해서, 제2 포인트 클라우드 전체에 대해 들로네 삼각화를 적용할 수 있다.As an example, the 3D data acquisition apparatus 200 may apply Delaunay triangulation to the entire second point cloud in order to obtain second mesh data.

다른 예로서, 3차원 데이터 획득 장치(200)는, 제2 포인트 클라우드 내에서 금속 영역에 대응하는 포인트들을 식별하고, 식별된 포인트들에 대해서만 들로네 삼각화를 적용하고, 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결하는 일반적인 삼각화를 적용함으로써 제2 메쉬 데이터를 획득할 수 있다.As another example, the 3D data acquisition apparatus 200 identifies points corresponding to the metal region in the second point cloud, applies Delaunay triangulation only to the identified points, and applies Delaunay triangulation to the non-identified points. Second mesh data may be obtained by applying general triangulation that connects adjacent points.

일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 단계 S930에서 들로네 삼각화를 이용하여 획득된 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지 및/또는 이를 포함하는 메쉬를 삭제하는 필터링을 추가적으로 수행할 수 있다.According to an embodiment, the 3D data acquisition device 200 deletes an edge connecting two points of a predetermined distance or more and/or a mesh including the second mesh data obtained by using Delaunay triangulation in step S930. filtering may be additionally performed.

또한 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 단계 S910에서 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 제1 포인트 클라우드 내의 포인트들을 연결함으로써 제1 메쉬 데이터를 획득하고, 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 3차원 데이터 획득 장치(200)는, 필터링이 수행된 제1 메쉬 데이터를 포함하는 제1 데이터를 획득할 수 있다.In addition, the 3D data acquisition apparatus 200 according to an embodiment of the present disclosure obtains first mesh data by acquiring a first point cloud for the surface of the object in step S910 and connecting points in the first point cloud. and filtering may be performed to delete a group consisting of triangles having a number less than or equal to a first predetermined value in the first mesh data. The 3D data acquisition device 200 may obtain first data including first mesh data on which filtering is performed.

반면에, 단계 S930에서, 3차원 데이터 획득 장치(200)는, 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득하고, 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 3차원 데이터 획득 장치(200)는, 필터링이 수행된 제2 메쉬 데이터를 포함하는 제2 데이터를 획득할 수 있다. 이 때, 제2 모드에서 필터링을 위해 이용되는 제2소정값은, 제1 모드에서 필터링을 위해 이용되는 제1소정값보다 작을 수 있다. On the other hand, in step S930, the 3D data acquisition apparatus 200 acquires a second point cloud for the surface of the object, obtains second mesh data by connecting points in the second point cloud, and obtains the second mesh data. Filtering may be performed to delete a group consisting of triangles having a number equal to or less than a second predetermined value in the data. The 3D data obtaining device 200 may obtain second data including second mesh data on which filtering is performed. In this case, the second predetermined value used for filtering in the second mode may be smaller than the first predetermined value used for filtering in the first mode.

즉, 제1 모드에서 필터링에 의해 제거되는 삼각형 그룹도, 제2 모드에서는 제거되지 않을 수 있다. 따라서, 3차원 데이터 획득 장치(200)가 제1 모드에서 동작할 때와 비교하여, 제2 모드에서는 필터링에 의해 삭제되는 데이터의 양이 감소될 수 있다. 그 결과, 금속 영역에 관한 보다 많은 정보가, 삭제 되지 않고 보존될 수 있다.That is, triangle groups removed by filtering in the first mode may not be removed in the second mode. Therefore, compared to when the 3D data acquisition apparatus 200 operates in the first mode, the amount of data deleted by filtering in the second mode may be reduced. As a result, more information about the metal area can be preserved without being deleted.

단계 S940에서 일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 제1 모드에서 획득된 제1 데이터 및 제2 모드에서 획득된 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 제1 모드 및 제2 모드 각각에서 획득된 데이터를 위치 정렬함으로써, 비금속 영역과 금속 영역이 혼재된 대상체에 대한 3차원 데이터를 획득할 수 있다.According to an embodiment, in step S940, the 3D data obtaining device 200 obtains 3D data of the object based on the first data acquired in the first mode and the second data obtained in the second mode. can The 3D data acquisition apparatus 200 may acquire 3D data of an object having a mixture of non-metal and metal areas by aligning data acquired in each of the first mode and the second mode.

도 10은 일 실시 예에 따라 3차원 데이터 획득 장치가 디스플레이 하는 사용자 인터페이스의 예를 도시한다.10 illustrates an example of a user interface displayed by a 3D data acquisition device according to an embodiment.

도 10은, 일 실시 예에 따른 3차원 데이터 획득 장치(200)가 디스플레이 하는 화면(1001)의 예를 도시한다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)로 대상체를 스캔함으로써 3차원 데이터를 획득하고, 획득된 3차원 데이터에 기초하여 생성된 3차원 영상(1007)을 디스플레이 할 수 있다.10 illustrates an example of a screen 1001 displayed by the 3D data obtaining device 200 according to an embodiment. The 3D data acquisition device 200 according to an embodiment acquires 3D data by scanning an object with the 3D scanner 100, and displays a 3D image 1007 generated based on the obtained 3D data. can display

3차원 데이터 획득 장치(200)가 디스플레이 하는 화면(1001)은, 대상체를 스캔함으로써 획득된 2차원 이미지(1003) 및 대상체를 스캔함으로써 획득된 복수의 2차원 이미지들을 재구성하여 획득된 3차원 데이터를 렌더링한 3차원 영상(1007)을 포함할 수 있다.The screen 1001 displayed by the 3D data acquisition device 200 includes a 2D image 1003 obtained by scanning an object and 3D data obtained by reconstructing a plurality of 2D images obtained by scanning the object. A rendered 3D image 1007 may be included.

3차원 스캐너(100)는, 일정한 시간 간격(예를 들어, 수 ms~수십 ms)으로 대상체를 스캔함으로써 복수의 2차원 프레임들을 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 복수의 2차원 프레임들로부터 복수의 3차원 프레임들을 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 복수의 3차원 프레임들을 결합 또는 위치 정렬함으로써 대상체 전체에 대한 3차원 데이터를 재구성할 수 있다. 3차원 데이터 획득 장치(200)는, 대상체 상에서 3차원 스캐너(100)에 의해 현재 스캔되고 있는 영역(1009)을 화면(1001) 상에 표시할 수 있다.The 3D scanner 100 may acquire a plurality of 2D frames by scanning an object at regular time intervals (eg, several ms to several tens of ms). The 3D data acquisition apparatus 200 may acquire a plurality of 3D frames from a plurality of 2D frames. The 3D data acquisition apparatus 200 may reconstruct 3D data for the entire object by combining or aligning a plurality of 3D frames. The 3D data acquisition device 200 may display on the screen 1001 an area 1009 currently being scanned by the 3D scanner 100 on the object.

또한, 3차원 데이터 획득 장치(200)는, 대상체의 스캔과 관련된 설정 정보 및/또는 대상체 스캔에 의해 획득된 3차원 데이터의 처리와 관련된 설정 정보를 디스플레이 하고, 설정 정보를 변경하는 사용자 입력을 수신할 수 있도록 하는 메뉴 바를 화면(1001) 상에 표시할 수 있다. 도 10을 참조하면, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 금속 영역 스캔과 관련된 동작 옵션을 선택하는 사용자 입력을 수신하기 위한 사용자 인터페이스(1005)를 화면(1001) 상에 제공할 수 있다.Also, the 3D data acquisition apparatus 200 displays setting information related to scanning of an object and/or setting information related to processing of 3D data obtained by scanning the object, and receives a user input for changing the setting information. A menu bar allowing the user to do this may be displayed on the screen 1001 . Referring to FIG. 10 , the apparatus 200 for acquiring 3D data according to an embodiment provides a user interface 1005 on a screen 1001 for receiving a user input for selecting an operation option related to a metal area scan. can do.

사용자 인터페이스(1005)는, 금속 영역 스캔과 관련된 동작 옵션이 on 되었는지, off되었는 지 여부를 표시할 수 있다. 금속 영역 스캔과 관련된 동작 옵션이 on되는 경우, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는 대상체 상에 금속 영역이 감지되면 동작 모드를 제1 모드에서 제2 모드로 자동으로 변경할 수 있다. 반면에, 금속 영역 스캔과 관련된 동작 옵션이 off되는 경우, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는 대상체 상에 금속 영역이 감지되는지 여부를 판단하지 않고, 대상체 상의 금속 영역을 스캔하는 경우에도 동작 모드 변경 없이 항상 제1 모드에서 동작할 수 있다.The user interface 1005 may display whether an operation option related to the metal area scan is turned on or off. When an operation option related to scanning a metal area is turned on, the 3D data acquisition apparatus 200 according to an embodiment may automatically change an operation mode from the first mode to the second mode when a metal area is detected on the object. . On the other hand, when an operation option related to scanning the metal area is turned off, the 3D data acquisition apparatus 200 according to an embodiment scans the metal area on the object without determining whether the metal area is detected on the object. Even in this case, it can always operate in the first mode without changing the operation mode.

도 11은 일 실시 예에 따라 3차원 데이터 획득 장치가 제1 모드 및 제2 모드로 대상체를 스캔하여 획득되는 3차원 데이터의 예를 도시한다.11 illustrates an example of 3D data acquired by a 3D data acquisition device scanning an object in a first mode and a second mode according to an exemplary embodiment.

도 11에 도시된 바와 같이, 3차원 데이터 획득 장치(200)가 제1 모드에서 동작하여 3차원 데이터(1110)를 획득하는 경우, 대상체의 금속 영역에 대응되는 부분(1115)에는 3차원 데이터의 누락이 많이 발생할 수 있다. 이는, 금속 영역에 조사된 패턴 광은 대부분이 반사되기 때문에, 3차원 스캐너(100)가 금속 영역을 촬영하여 획득할 수 있는 3차원 형상 정보의 양이, 비금속 영역을 촬영하였을 때 획득되는 정보의 양보다 상대적으로 적기 때문이다.As shown in FIG. 11 , when the 3D data acquiring apparatus 200 operates in the first mode to obtain 3D data 1110, a portion 1115 corresponding to a metal region of an object includes 3D data. A lot of omissions can happen. This is because most of the pattern light irradiated to the metal area is reflected, so the amount of 3D shape information that can be obtained by the 3D scanner 100 photographing the metal area is equal to the amount of information obtained when the non-metal area is photographed. Because it is relatively less than the quantity.

따라서, 일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 금속 영역을 스캔하는 경우, 금속 영역에 대한 3차원 데이터를 획득하기 적합하도록 구성된(즉, 패턴 광이 조사된 금속 영역의 표면 정보를 손실 없이 최대한 많이 확보할 수 있도록 구성된) 제2 모드에서 동작하도록 동작 모드를 변경할 수 있다. 도 11에 도시된 바와 같이, 3차원 데이터 획득 장치(200)가 제2 모드에서 3차원 데이터(1130)를 획득하는 경우, 대상체의 금속 영역에 대응되는 부분(1135)에 대해서도 온전한 데이터를 획득할 수 있다.Accordingly, according to an embodiment, the 3D data acquisition device 200 is configured to acquire 3D data of the metal area when scanning the metal area (ie, surface information of the metal area to which the pattern light is irradiated). The operation mode may be changed to operate in the second mode) configured to secure as much as possible without loss. As shown in FIG. 11 , when the 3D data acquisition apparatus 200 acquires 3D data 1130 in the second mode, complete data may be obtained for a portion 1135 corresponding to the metal region of the object. can

이하에서는, 일 실시 예에 따른 3차원 데이터 획득 장치(200)가, 금속 영역에 대한 3차원 데이터를 획득하기 위하여, 제2 모드에서 동작하는 구체적인 방법을 설명한다.Hereinafter, a specific method of operating the 3D data acquisition apparatus 200 according to an embodiment in the second mode to acquire 3D data on a metal area will be described.

일 실시 예에 따르면 3차원 데이터 획득 장치(200)는, 스캔하는 대상체 상에 금속 영역이 감지되면, 대상체 상에 조사되는 패턴광을 변경함으로써 동작 모드를 변경할 수 있다.According to an embodiment, when a metal area is detected on an object to be scanned, the 3D data acquisition apparatus 200 may change an operation mode by changing pattern light irradiated onto the object.

예를 들어, 3차원 데이터 획득 장치(200)는, 제1 모드에서 라인 패턴광을 이용하여 대상체를 스캔하고, 제2 모드에서 포인트 패턴 광을 이용할 수 있다. 라인 패턴 광을 이용하는 방식에 비해, 포인트 패턴 광을 이용하는 방식이 빛 반사에 강인하므로, 금속으로 이루어진 영역에 대한 데이터 획득에 유리할 수 있다. 다만, 본 개시는 포인트 패턴 광에 제한되지 않으며, 금속 영역 스캔에 적합하게 설계된 다양한 패턴 광이 이용될 수 있다.For example, the 3D data acquisition apparatus 200 may scan an object using line pattern light in a first mode and use point pattern light in a second mode. Compared to the method using the line pattern light, the method using the point pattern light is more robust against light reflection, and thus may be advantageous in acquiring data for a region made of metal. However, the present disclosure is not limited to point pattern lights, and various pattern lights designed to be suitable for metal area scanning may be used.

또한, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 복수의 2차원 영상들로부터 대상체 표면의 3차원 형상 정보를 획득함에 있어서, 제2 모드에서 스테레오 매칭(Stereo Matching) 방식을 이용할 수 있다. 스테레오 매칭 방식에는, 예를 들어, 블록 매칭(Block Matching), 그래프 컷(Graph Cut), 또는 세미-글로벌 매칭(Semi-Global Matching) 등이 포함될 수 있다.In addition, the 3D data acquisition apparatus 200 according to an embodiment may use a stereo matching method in the second mode when obtaining 3D shape information of a surface of an object from a plurality of 2D images. there is. The stereo matching method may include, for example, block matching, graph cut, or semi-global matching.

또한, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 대상체로부터 3차원 포인트 클라우드 데이터를 획득한 이 후의 처리 방법인, 후-처리(post processing) 방식을 변경함으로써 동작 모드를 변경할 수 있다. 즉, 3차원 데이터 획득 장치(200)는, 제1 모드 및 제2 모드 각각에서 서로 다른 방식으로 후-처리를 수행할 수 있다.Also, the 3D data acquisition apparatus 200 according to an embodiment may change the operation mode by changing a post-processing method, which is a processing method after obtaining 3D point cloud data from an object. . That is, the 3D data acquisition apparatus 200 may perform post-processing in different ways in each of the first mode and the second mode.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 클라우드에 포함되는 포인트들을 연결하여 삼각 망을 구성하는 삼각화 방식을 이용하여 3차원 폴리곤 메쉬 데이터를 생성할 수 있다. The 3D data acquisition device 200 according to an embodiment may generate 3D polygon mesh data using a triangulation method of configuring a triangular network by connecting points included in a point cloud.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 클라우드로부터 메쉬 데이터를 생성하기 위해 다양한 방법을 사용할 수 있다. The 3D data acquisition device 200 according to an embodiment may use various methods to generate mesh data from a point cloud.

일 예로서, 3차원 데이터 획득 장치(200)는, 대상체를 스캔하여 획득된 2차원 영상 데이터를 이용하여 3차원 포인트 클라우드를 생성하고, 2차원 영상 데이터의 각 픽셀 간 연결 관계를 이용하여 3차원 포인트 클라우드로부터 메쉬 데이터를 생성할 수 있다. 3차원 데이터 획득 장치(200)는, 2차원 영상 데이터를 구성하는 픽셀들 중에서 인접한 픽셀들 간의 연결 관계를 이용하여 메쉬 데이터를 생성할 수 있다.As an example, the 3D data obtaining device 200 generates a 3D point cloud using 2D image data obtained by scanning an object, and uses a connection relationship between pixels of the 2D image data to create a 3D point cloud. Mesh data can be created from point clouds. The 3D data acquisition apparatus 200 may generate mesh data using a connection relationship between adjacent pixels among pixels constituting 2D image data.

다른 예로서, 3차원 데이터 획득 장치(200)는, 3차원 포인트 클라우드를 이용하여 메쉬 데이터를 생성할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 마칭 큐브(Marching Cubes)나 들로네 삼각화(Delaunay Triangulation) 등의 방법을 사용하여 3차원 포인트 클라우드로부터 메쉬 데이터를 생성할 수 있다. 들로네 삼각화란, 포인트들을 삼각형의 형태로 연결함에 있어서, 삼각형들의 내각의 최소값이 최대가 되도록 연결하는 방식을 의미할 수 있다.As another example, the 3D data obtaining device 200 may generate mesh data using a 3D point cloud. For example, the 3D data acquisition apparatus 200 may generate mesh data from a 3D point cloud using a method such as marching cubes or Delaunay triangulation. Delaunay triangulation may refer to a method of connecting points in such a way that the minimum value of the interior angles of the triangles is maximized when points are connected in the form of a triangle.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 동일한 포인트 클라우드로부터 메쉬 데이터들을 생성하더라도, 삼각화 방식 및 입력 인자에 따라 서로 다른 형태의 메쉬 데이터들을 생성할 수 있다.The 3D data acquisition apparatus 200 according to an embodiment may generate mesh data of different shapes according to a triangulation method and an input factor even when mesh data is generated from the same point cloud.

일 실시 예에 따른 3차원 데이터 획득 장치(200)가, 3차원 스캔에 의해 복수의 정점들로 구성된 포인트 클라우드를 생성함에 있어서, 스캔 시 사용한 카메라 및/또는 광학계의 해상도에 따라서 인접한 정점들 간의 물리적인 최소 거리가 정해질 수 있다. 하지만, 대상체의 재질, 대상체의 형상, 대상체와 3차원 스캐너 간의 기하적인 조건, 또는 대상체를 비추는 조명 조건 등으로 인해, 대상체의 적어도 일부에 대한 3차원 데이터를 획득하지 못하는 경우가 발생할 수 있다. When the 3D data acquisition apparatus 200 according to an embodiment generates a point cloud composed of a plurality of vertices by 3D scanning, the physical properties between adjacent vertices depend on the resolution of the camera and/or optical system used during scanning. A minimum distance may be determined. However, there may be cases in which 3D data for at least a part of the object cannot be acquired due to the material of the object, the shape of the object, the geometric condition between the object and the 3D scanner, or the lighting condition for illuminating the object.

대상체의 적어도 일부에 대한 3차원 데이터가 획득되지 않은 경우, 한 번의 스캔에 의해 획득한 3차원 데이터는, 인접한 정점들 간의 거리가 일정 기준 이상인 정점들을 포함할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 기준 거리 이상 이격된 정점들이 연결되는 경우, 해당 연결을 적합하지 않은 연결로 판단하여 해당 연결 관계를 제거할 수 있다. 그 결과, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 기준 거리 미만으로 이격된 정점들 만을 연결하여 구성된 삼각망을 포함하는 메쉬 데이터를 획득할 수 있다.When the 3D data for at least a part of the object is not obtained, the 3D data obtained through one scan may include vertices having distances between adjacent vertices equal to or greater than a predetermined standard. The 3D data acquisition apparatus 200 according to an embodiment, when vertices spaced apart by a reference distance or more are connected, determine the corresponding connection as an inappropriate connection and remove the corresponding connection relationship. As a result, the 3D data obtaining device 200 according to an embodiment may obtain mesh data including a triangular network configured by connecting only vertices spaced apart by less than a reference distance.

또한, 3차원 데이터 획득 장치(200)는, 메쉬 데이터 내에서 서로 인접한 삼각형들을 적어도 하나의 그룹으로 그룹화할 수 있다. 3차원 데이터 획득 장치(200)는, 각 그룹 별로, 그룹을 구성하는 삼각형의 수를 식별할 수 있다. 3차원 데이터 획득 장치(200)는, 그룹을 구성하는 삼각형의 수가 소정 값 이하인 경우, 해당 그룹을 스캔 과정에서 발생한 노이즈로 간주하여 필터링함으로써 해당 그룹을 메쉬 데이터로부터 제거할 수 있다.Also, the 3D data acquisition device 200 may group triangles adjacent to each other within the mesh data into at least one group. The 3D data acquisition apparatus 200 may identify the number of triangles constituting the group for each group. When the number of triangles constituting a group is less than or equal to a predetermined value, the 3D data acquisition apparatus 200 may consider the group as noise generated in the scanning process and remove the corresponding group from the mesh data by filtering.

도 12는 일 실시 예에 따라 3차원 데이터 획득 장치가 일반 영역을 스캔하여 획득되는 메쉬 데이터 및 메탈 영역을 스캔하여 획득되는 메쉬 데이터의 예를 도시한다.12 illustrates an example of mesh data obtained by scanning a general area and mesh data obtained by scanning a metal area by a 3D data obtaining device according to an embodiment.

일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 대상체의 비금속 영역으로부터 획득된 메쉬 데이터(1210)에 대해서, 소정 값 이하의 개수의 삼각형들로 이루어진 그룹을 제거하는 필터링을 수행할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 3개 이하의 삼각형들로 이루어진 그룹을 노이즈라고 간주할 수 있다. 도 12에 도시된 예를 참조하면, 3차원 데이터 획득 장치(200)는, 메쉬 데이터(1210)로부터 1개의 삼각형을 포함하는 삼각형 그룹(1211)을 삭제할 수 있다. According to an embodiment, the 3D data acquisition apparatus 200 may perform filtering to remove a group consisting of triangles having a number less than or equal to a predetermined value on the mesh data 1210 acquired from the non-metallic region of the object. there is. For example, the 3D data acquisition apparatus 200 may regard a group of 3 or less triangles as noise. Referring to the example shown in FIG. 12 , the 3D data obtaining device 200 may delete a triangle group 1211 including one triangle from the mesh data 1210 .

또한, 도 12에는 대상체의 금속 영역으로부터 획득된 메쉬 데이터(1230)가 도시 된다. 도 12의 메쉬 데이터(1230)에 도시된 바와 같이, 금속 영역에 대해서는 스캔에 의해 획득된 데이터가 부족하므로, 삼각형 그룹들(1231, 1233, 1235)이 듬성 듬성하게 포함된 메쉬 데이터(1230)가 생성될 수 있다. 일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 대상체의 금속 영역으로부터 획득된 메쉬 데이터(120)에 대해서, 소정 값 이하의 개수의 삼각형들로 이루어진 그룹을 제거하는 필터링을 수행할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 3개 이하의 삼각형들로 이루어진 그룹을 노이즈라고 간주할 수 있다. 3차원 데이터 획득 장치(200)가 메쉬 데이터(1230)에 대해 필터링을 수행하는 경우, 듬성 듬성하게 포함된 삼각형 그룹들(1231, 1233, 1235) 이 메쉬 데이터(1230)로부터 삭제될 수 있다. 3차원 데이터 획득 장치(200)가 메쉬 데이터(1230)로부터 삼각형 그룹들(1231, 1233, 1235)을 모두 노이즈로 간주하여 삭제할 경우, 데이터가 크게 손실될 수 있다.Also, in FIG. 12 , mesh data 1230 obtained from the metal region of the object is shown. As shown in the mesh data 1230 of FIG. 12, since the data obtained by scanning is insufficient for the metal region, the mesh data 1230 sparsely including the triangle groups 1231, 1233, and 1235 is can be created According to an embodiment, the 3D data obtaining device 200 may perform filtering to remove a group consisting of triangles having a number less than or equal to a predetermined value on the mesh data 120 acquired from the metal region of the object. there is. For example, the 3D data acquisition apparatus 200 may regard a group of 3 or less triangles as noise. When the 3D data acquisition device 200 performs filtering on the mesh data 1230, sparsely included triangle groups 1231, 1233, and 1235 may be deleted from the mesh data 1230. When the 3D data acquisition device 200 considers all triangle groups 1231 , 1233 , and 1235 as noise and deletes them from the mesh data 1230 , data may be significantly lost.

따라서, 본 개시의 일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 데이터의 손실을 줄이기 위하여, 필터링의 기준이 되는 기준 값을 변경함으로써 동작 모드를 제2 모드로 변경할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제1 모드에서 a개 이하의 삼각형들로 이루어진 그룹을 삭제하도록 설정되고, 금속 영역이 감지되어 동작 모드가 변경되는 경우, 제2 모드에서 b개 이상의 삼각형들로 이루어진 그룹을 삭제하도록 설정될 수 있다. 이 때, a, b는 자연수이고, b는 a보다 작은 수일 수 있다. Accordingly, according to an embodiment of the present disclosure, the 3D data acquisition apparatus 200 may change the operation mode to the second mode by changing a reference value serving as a filtering standard in order to reduce data loss. For example, the 3D data acquisition apparatus 200 is set to delete a group consisting of a or less triangles in the first mode, and when a metal area is detected and the operation mode is changed, in the second mode b It can be set to delete groups of three or more triangles. In this case, a and b are natural numbers, and b may be a number smaller than a.

예를 들어, 3차원 데이터 획득 장치(200)는, 제1 모드에서 동작하는 경우, b개보다 많고 a개보다 적은 수의 삼각형들을 포함하는 그룹을 데이터에서 삭제할 수 있다. 반면에, 3차원 데이터 획득 장치(200)는, 제2 모드에서 동작하는 경우, b개보다 많고 a개보다 적은 수의 삼각형들을 포함하는 그룹을 데이터에서 삭제하지 않는다. 따라서, 3차원 데이터 획득 장치(200)는, 제1 모드에서 동작할 때와 비교하여, 제2 모드에서 동작하는 경우, 금속 영역의 표면 정보를 손실 없이 최대한 많이 확보할 수 있다.For example, when operating in the first mode, the 3D data acquisition apparatus 200 may delete a group including more than b and less than a triangles from data. On the other hand, when operating in the second mode, the 3D data acquisition apparatus 200 does not delete a group including more than b and less than a triangles from data. Accordingly, when the 3D data obtaining device 200 operates in the second mode compared to operating in the first mode, it is possible to secure as much surface information of the metal region as possible without loss.

한편, 본 개시의 일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 데이터의 손실을 줄이기 위하여, 제1 모드에서는 일반적인 삼각화 방식을 수행하고, 제2 모드에서는 들로네 삼각화 방식을 이용하여 메쉬 데이터를 생성할 수 있다. 3차원 데이터 획득 장치(200)는, 들로네 삼각화 방식을 이용할 경우, 포인트들이 멀리 떨어져 있어도 서로 연결하여 메쉬를 구성할 수 있다. 따라서, 들로네 삼각화 방식에 의해 획득된 메쉬 데이터에는, 기준 값 이하의 삼각형들로 이루어진 그룹이 포함되기 어려우므로, 필터링에 의해 데이터가 삭제되지 않을 수 있다.Meanwhile, according to an embodiment of the present disclosure, in order to reduce data loss, the 3D data acquisition apparatus 200 performs a general triangulation method in a first mode and uses a Delaunay triangulation method in a second mode. to generate mesh data. When using the Delaunay triangulation method, the 3D data acquisition apparatus 200 may configure a mesh by connecting points even if they are far apart. Therefore, since it is difficult to include a group consisting of triangles smaller than the reference value in the mesh data obtained by the Delaunay triangulation method, the data may not be deleted by filtering.

도 13은 일 실시 예에 따라 3차원 데이터 획득 장치가 수행하는 들로네 삼각화를 설명하는 도면이다.13 is a diagram illustrating Delaunay triangulation performed by a 3D data acquisition apparatus according to an exemplary embodiment.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 패턴광이 조사된 대상체를 촬영함으로써 복수의 2차원 영상들을 획득하고, 복수의 2차원 영상들 및 패턴광에 대한 정보에 기초하여 대상체의 표면의 형상 정보를 포함하는 포인트 클라우드(1310)를 획득할 수 있다. 3차원 데이터 획득 장치(200)는, 포인트 클라우드(1310)에 포함되는 포인트들을 연결함으로써 메쉬 데이터(1320)를 생성할 수 있다. 이 때, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 포인트 클라우드(1310)로부터 메쉬 데이터(1320)를 생성함에 있어서, 제2 모드에서 들로네 삼각화 방식을 이용할 수 있다.The apparatus 200 for acquiring 3D data according to an embodiment acquires a plurality of 2D images by photographing an object to which pattern light is irradiated, and obtains a plurality of 2D images of the object based on the plurality of 2D images and information on the pattern light. A point cloud 1310 including surface shape information may be obtained. The 3D data acquisition device 200 may generate mesh data 1320 by connecting points included in the point cloud 1310 . In this case, when generating the mesh data 1320 from the point cloud 1310, the 3D data acquisition apparatus 200 according to an embodiment may use the Delaunay triangulation method in the second mode.

도 13에 도시된 바와 같이, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 들로네 삼각화 방식을 이용함으로써, 금속 영역으로부터 적은 양의 포인트 정보가 획득되는 경우에도, 데이터 손실을 최소화하면서 메쉬 데이터를 생성할 수 있다.As shown in FIG. 13, the 3D data acquisition apparatus 200 according to an embodiment uses the Delaunay triangulation method, even when a small amount of point information is obtained from a metal area, while minimizing data loss. Mesh data can be created.

다만, 노이즈 데이터는, 일반적으로 스캔하고자 하는 피대상체 데이터로부터 떨어져 존재한다. 그러므로, 들로네 삼각화 방식에 의하면, 노이즈로서 획득된 포인트까지도 메쉬로 연결되기 때문에, 소정 값 이하의 개수의 삼각형들로 구성된 그룹을 제거하는 필터링에 의해 노이즈가 필터링 되지 않는다. 따라서, 이를 방지하기 위해, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 들로네 삼각화 방식을 이용하여 메쉬 데이터를 생성할 때, 일정 길이 이상의 엣지 및/또는 이를 포함하는 메쉬는 삭제하도록 구성될 수 있다.However, noise data generally exists apart from object data to be scanned. Therefore, according to the Delaunay triangulation method, since even points obtained as noise are connected to a mesh, noise is not filtered by filtering to remove groups consisting of triangles having a number less than a predetermined value. Therefore, in order to prevent this, the 3D data acquisition apparatus 200 according to an embodiment deletes edges of a certain length and/or meshes including the same when generating mesh data using the Delaunay triangulation method. can be configured.

도 14는 일 실시 예에 따라 3차원 데이터 획득 장치가 메쉬 데이터에 수행하는 필터링의 예를 도시한다.14 illustrates an example of filtering performed on mesh data by a 3D data acquisition device according to an embodiment.

도 14는, 일 실시 예에 따른 3차원 데이터 획득 장치(200)가, 제2 모드로 동작하여 획득한 초기 메쉬 데이터(1410) 및 필터링을 수행한 메쉬 데이터(1430)를 도시한다. 도 14에 도시된 바와 같이, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 초기 메쉬 데이터(1410) 내에서 일정 길이 이상의 엣지 및/또는 이를 포함하는 메쉬들을 삭제하여 필터링된 메쉬 데이터(1430)를 획득할 수 있다. 도 14에서 일정 길이 이상의 엣지들은 점선으로 표시된다. 14 illustrates initial mesh data 1410 acquired by the 3D data obtaining device 200 operating in the second mode and mesh data 1430 after filtering, according to an embodiment. As shown in FIG. 14, the 3D data acquisition apparatus 200 according to an embodiment deletes an edge of a certain length or more and/or meshes including the same in the initial mesh data 1410 to filter the mesh data ( 1430) can be obtained. In FIG. 14 , edges longer than a certain length are indicated by dotted lines.

3차원 데이터 획득 장치(200)는, 일정 길이 이상의 엣지 및/또는 이를 포함하는 메쉬들이 제거된 필터링된 메쉬 데이터(1430)에 대해 소정 값 이하의 개수의 삼각형을 포함하는 그룹을 제거하는 필터링을 추가적으로 수행할 수 있다. 3차원 데이터 획득 장치(200)는, 필터링에 의해 삼각형 그룹들(1431, 1433)을 삭제함으로써, 도 15에 도시된 최종 메쉬 데이터(1510)를 획득할 수 있다.The 3D data acquisition device 200 additionally performs filtering to remove a group including a number of triangles equal to or less than a predetermined value for the filtered mesh data 1430 from which edges of a predetermined length or more and/or meshes including the same are removed. can be done The 3D data acquisition apparatus 200 may obtain the final mesh data 1510 shown in FIG. 15 by deleting the triangle groups 1431 and 1433 through filtering.

일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 제1 모드로 획득된 데이터와 제2 모드로 획득된 데이터를 위치 정렬함으로써, 비금속 영역과 금속 영역이 혼재된 대상체의 3차원 형상을 정확하게 표현하는 3차원 데이터를 획득할 수 있다.The 3D data acquisition apparatus 200 according to an embodiment accurately determines the 3D shape of an object in which non-metal and metal areas are mixed by aligning the data obtained in the first mode and the data acquired in the second mode. 3D data can be obtained.

일 실시 예에 따르면, 3차원 데이터 획득 장치(200)는, 제2 모드에서, 3차원 데이터 전체에 대해, 금속 영역을 스캔하기 적합하도록 설정된 후-처리 방식을 적용할 수 있다. 예를 들어, 3차원 데이터 획득 장치(200)는, 제2 모드로 동작하는 경우, 3차원 데이터 전체에 대해 들로네 삼각화를 적용하여 메쉬 데이터를 생성하거나, 3차원 데이터 전체에 대해서 변경된 기준 값을 이용하여 적은 숫자의 삼각형을 포함하는 그룹을 제거하는 필터링을 수행할 수 있다. According to an embodiment, in the second mode, the 3D data acquisition apparatus 200 may apply a post-processing scheme suitable for scanning a metal area to the entire 3D data. For example, when operating in the second mode, the 3D data acquisition apparatus 200 generates mesh data by applying Delaunay triangulation to the entire 3D data or uses a changed reference value for the entire 3D data. Filtering can be performed to remove groups containing a small number of triangles.

그러나 본 개시는 이에 제한되지 않으며, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 데이터에서 금속 영역으로 식별된 부분에 대해서만, 제2 모드에 따른 후-처리를 수행할 수 있다. 일반적인 삼각화 방식에 비해 들로네 삼각화 방식은 더 많은 연산량이 요구된다. 또한, 낮은 기준 값을 이용하는 필터링 방식 역시, 제거되지 않고 보존되는 데이터 양을 증가시킴으로써 결과적으로 연산량을 증가시킬 수 있다. 따라서, 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 데이터에서 금속 영역으로 식별된 부분에 대해서만, 제2 모드에 따른 포스트 프로세싱을 수행함으로써, 연산량 증가를 줄일 수 있다.However, the present disclosure is not limited thereto, and the 3D data acquisition apparatus 200 according to an embodiment may perform post-processing according to the second mode only on the portion identified as the metal region in the 3D data. . Compared to general triangulation, the Delaunay triangulation requires more computation. In addition, the filtering method using a low reference value may also increase the amount of computation by increasing the amount of data that is retained without being removed. Accordingly, the 3D data acquisition apparatus 200 according to an embodiment may reduce an increase in computational complexity by performing post-processing according to the second mode only on the portion identified as the metal region in the 3D data.

도 16은 일 실시 예에 따른 3차원 데이터 획득 장치의 블록도를 도시한다.16 is a block diagram of a 3D data acquisition device according to an embodiment.

도 16에 도시된 3차원 데이터 획득 장치(200)의 블록도는 상술한 3차원 데이터 획득 장치(200)의 일 예이다. 도 16에 도시된 3차원 데이터 획득 장치(200)는, 본 개시의 다양한 실시 예들에 따른 3차원 데이터 획득 방법을 수행할 수 있으며, 도 1 내지 도 15에 대한 설명이 적용될 수 있다. 따라서, 상술한 바와 중복되는 내용은 생략한다.The block diagram of the 3D data acquisition device 200 shown in FIG. 16 is an example of the 3D data acquisition device 200 described above. The 3D data acquisition apparatus 200 shown in FIG. 16 may perform a 3D data acquisition method according to various embodiments of the present disclosure, and descriptions of FIGS. 1 to 15 may be applied. Therefore, overlapping content with the above description will be omitted.

도 16에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100) 및 3차원 영상 디스플레이 장치(300)를 포함할 수 있다. 일 실시 예에 따른 3차원 데이터 획득 장치(200)는, 3차원 스캐너(100)를 이용하여 대상체를 스캔함으로써 대상체의 형상을 나타내는 3차원 데이터를 획득할 수 있다.As shown in FIG. 16 , a 3D data acquisition device 200 according to an embodiment of the present disclosure may include a 3D scanner 100 and a 3D image display device 300 . The 3D data acquisition apparatus 200 according to an embodiment may obtain 3D data representing the shape of an object by scanning the object using the 3D scanner 100 .

일 실시 예에 따른 3차원 스캐너(100)는, 대상체를 스캔한 2차원 영상 프레임 또는 2차원 영상 프레임으로부터 획득된 3차원 프레임을 3차원 영상 디스플레이 장치(300)에게 전송할 수 있다.The 3D scanner 100 according to an embodiment may transmit a 2D image frame obtained by scanning an object or a 3D frame obtained from the 2D image frame to the 3D image display device 300 .

3차원 영상 디스플레이 장치(300)는, 수신된 2차원 영상 프레임 또는 3차원 프레임에 기초하여, 대상체에 대한 3차원 영상을 생성, 처리, 디스플레이 및/또는 전송할 수 있는 모든 전자 장치가 될 수 있다. 본 개시의 다양한 실시 예들에 따른 3차원 영상 디스플레이 장치(300)는 고정형 단말이거나 이동형 단말일 수 있다. 3차원 영상 디스플레이 장치(300)는, 예를 들어, 스마트 폰(smart phone), 랩탑 컴퓨터, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 컴퓨팅 장치가 될 수 있으며, 이에 한정되지 않는다.The 3D image display device 300 may be any electronic device capable of generating, processing, displaying, and/or transmitting a 3D image of an object based on the received 2D image frame or 3D frame. The 3D image display device 300 according to various embodiments of the present disclosure may be a fixed terminal or a mobile terminal. The 3D image display device 300 may be, for example, a computing device such as a smart phone, a laptop computer, a desktop computer, a PDA, or a tablet PC, but is not limited thereto.

도 16을 참조하면, 3차원 영상 디스플레이 장치(300)는 프로세서(310), 디스플레이(320), 통신 인터페이스(330), 사용자 입력부(340), 및 메모리(350)를 포함할 수 있다.Referring to FIG. 16 , a 3D image display device 300 may include a processor 310, a display 320, a communication interface 330, a user input unit 340, and a memory 350.

일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 스캐너(100) 및 3차원 영상 디스플레이 장치(300)를 제어한다. 본 개시의 설명에서 3차원 데이터 획득 장치(200)가 수행하는 동작은, 3차원 영상 디스플레이 장치(300)에 의해 수행되거나, 3차원 스캐너(100) 또는 3차원 영상 디스플레이 장치(300)에 의해 수행되도록 프로세서(310)에 의해 제어되는 동작일 수 있다. 여기서, 적어도 하나의 인스트럭션은 프로세서(310) 내에 포함되는 내부 메모리(미도시) 또는 프로세서(310)와 별도로 3차원 영상 디스플레이 장치(300) 내에 포함되는 메모리(350)에 저장되어 있을 수 있다.The processor 310 according to an embodiment controls the 3D scanner 100 and the 3D image display device 300 to perform an intended operation by executing at least one instruction. In the description of the present disclosure, an operation performed by the 3D data acquisition device 200 is performed by the 3D image display device 300, the 3D scanner 100, or the 3D image display device 300. It may be an operation controlled by the processor 310 as much as possible. Here, at least one instruction may be stored in an internal memory (not shown) included in the processor 310 or in a memory 350 included in the 3D image display device 300 separately from the processor 310 .

일 실시 예에 따른 프로세서(310)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작을 수행하도록 3차원 데이터 획득 장치(200) 내부에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(310)가 소정 동작을 수행하는 경우를 예로 들어 설명하더라도, 3차원 데이터 획득 장치(200) 에 포함하는 적어도 하나의 구성들이 소정 동작을 수행하도록 프로세서(310)가 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다. The processor 310 according to an embodiment may control at least one component included in the 3D data acquisition device 200 to perform an intended operation by executing at least one instruction. Therefore, even though the case where the processor 310 performs a predetermined operation is described as an example, the processor 310 configures at least one component included in the 3D data acquisition apparatus 200 to perform a predetermined operation. It can mean to control.

일 실시 예에 따른 프로세서(310)는 3차원 영상 디스플레이 장치(300)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 3차원 영상 디스플레이 장치(300)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 3차원 영상 디스플레이 장치(300)의 제어를 위한 제어 프로그램 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 내부의 프로세서(미도시)를 포함할 수 있다. The processor 310 according to an embodiment stores signals or data input from the outside of the 3D image display device 300, or is used as a storage area corresponding to various tasks performed in the 3D image display device 300. RAM (not shown), a control program for controlling the 3D image display device 300 and/or a ROM (not shown) storing a plurality of instructions, and at least one internal processor (not shown) that executes at least one instruction city) may be included.

또한, 프로세서(310)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 또한, 프로세서(310)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다.In addition, the processor 310 may include a graphic processing unit (not shown) for graphic processing corresponding to video. In addition, the processor 310 may be implemented as a system on chip (SoC) in which a core (not shown) and a GPU (not shown) are integrated.

개시된 실시 예에서, 프로세서(310)는 3차원 스캐너(100)로부터 수신되는 데이터에 기초하여 대상체에 대한 3차원 데이터를 생성하고, 대상체에 대한 3차원 영상을 생성할 수 있다.In the disclosed embodiment, the processor 310 may generate 3D data of an object based on data received from the 3D scanner 100 and generate a 3D image of the object.

디스플레이(320)는 프로세서(310)에 제어에 따라서 소정 화면을 디스플레이 할 수 있다. 구체적으로, 디스플레이(320)는 3차원 스캐너(100) 가 대상체를 스캔하여 획득한 데이터에 기초하여 생성된 영상을 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. 또는, 디스플레이(320)는 대상체에 대한 진단 및 치료와 관련되는 정보를 포함하는 사용자 인터페이스 화면을 디스플레이 할 수 있다. The display 320 may display a predetermined screen according to the control of the processor 310 . Specifically, the display 320 may display a user interface screen including an image generated based on data acquired by the 3D scanner 100 scanning an object. Alternatively, the display 320 may display a user interface screen including information related to diagnosis and treatment of an object.

통신 인터페이스(330)는 적어도 하나의 외부 전자 장치(미도시)와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 구체적으로, 통신 인터페이스(330)는 프로세서(310)의 제어에 따라서 3차원 스캐너(100)와 통신을 수행할 수 있다. The communication interface 330 may perform communication with at least one external electronic device (not shown) through a wired or wireless communication network. Specifically, the communication interface 330 may communicate with the 3D scanner 100 under the control of the processor 310 .

사용자 입력부(340)는 3차원 데이터 획득 장치(200)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(340)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자 인터페이스 화면 상의 일 지점을 지칭 또는 선택하기 위한 마우스(mouse) 또는 키보드(key board) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.The user input unit 340 may receive a user input for controlling the 3D data acquisition device 200 . The user input unit 340 includes a touch panel that detects a user's touch, a button that receives a user's push manipulation, a mouse or a keyboard for indicating or selecting a point on a user interface screen, and the like. It may include a user input device, but is not limited thereto.

또한, 사용자 입력부(340)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치(미도시)는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(310)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다. Also, the user input unit 340 may include a voice recognition device (not shown) for voice recognition. For example, a voice recognition device (not shown) may be a microphone, and the voice recognition device may receive a user's voice command or voice request. Accordingly, the processor 310 may control an operation corresponding to the voice command or voice request to be performed.

일 실시 예에 따르면, 사용자 입력부(340)는, 대상체 상에 금속 영역이 감지되면 동작 모드를 제1 모드로부터 제2 모드로 자동으로 변경하는 동작 옵션을 선택하는 사용자 입력을 수신할 수 있다.According to an embodiment, the user input unit 340 may receive a user input for selecting an operation option for automatically changing an operation mode from the first mode to the second mode when a metal area is detected on the object.

메모리(350)는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리(350)는 프로세서(310)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 메모리(350)는 3차원 스캐너(100)로부터 수신되는 데이터(예를 들어, 대상체 스캔을 통하여 획득된 로우 데이터, 2차원 영상 데이터, 3차원 데이터 등)를 저장할 수 있다. 메모리(350)는 대상체를 3차원적으로 나타내는 대상체 영상을 저장할 수 있다. Memory 350 may store at least one instruction. Also, the memory 350 may store at least one instruction executed by the processor 310 . Also, the memory 350 may store at least one program executed by the processor 310 . The memory 350 may store data received from the 3D scanner 100 (eg, raw data, 2D image data, 3D data, etc. obtained through scanning of an object). The memory 350 may store an object image representing the object in 3D.

본 개시의 일 실시 예에 따른 프로세서(310)는, 메모리(350)에 저장된 프로그램을 실행함으로써 3차원 데이터 획득 장치(200)의 전체적인 동작을 제어할 수 있다. 프로세서(310)는 대상체에 대한 3차원 데이터를 획득하기 위하여 3차원 데이터 획득 장치(200)에 포함되는 다른 구성들을 제어할 수 있다. The processor 310 according to an embodiment of the present disclosure may control the overall operation of the 3D data acquisition device 200 by executing a program stored in the memory 350 . The processor 310 may control other components included in the 3D data acquisition device 200 to acquire 3D data of the object.

프로세서(310)가 3차원 데이터 획득 장치(200)의 전체적인 동작을 제어하여 3차원 데이터를 획득하는 구체적인 방법에 대해서는 도 4 또는 도 9에 대한 설명이 적용될 수 있고 중복되는 설명은 생략될 수 있다.4 or 9 may be applied to a specific method of obtaining 3D data by controlling the overall operation of the 3D data acquisition device 200 by the processor 310, and redundant description may be omitted.

일 실시 예에 따르면 프로세서(310)는, 사용자 입력에 기초하여, 대상체 상에 금속 영역이 감지되면 동작 모드를 제1 모드로부터 제2 모드로 자동으로 변경하도록 동작할 수 있다. According to an embodiment, the processor 310 may operate to automatically change an operation mode from the first mode to the second mode when a metal area is detected on the object based on a user input.

일 실시 예에 따르면 프로세서(310)는, 3차원 스캐너(100)에 의해 대상체를 스캔함으로써 제1 데이터를 획득하도록 제1 모드에서 동작하고, 대상체 상에 금속 영역이 감지되면, 동작 모드를 제2 모드로 변경할 수 있다. 프로세서(310)는, 대상체를 스캔함으로써 제2 데이터를 획득하도록 제2 모드에서 동작하고, 제1 모드에서 획득된 제1 데이터 및 제2 모드에서 획득된 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다.According to an embodiment, the processor 310 operates in a first mode to acquire first data by scanning an object with the 3D scanner 100, and when a metal area is detected on the object, the processor 310 changes the operation mode to a second mode. mode can be changed. The processor 310 operates in the second mode to acquire second data by scanning the object, and based on the first data acquired in the first mode and the second data obtained in the second mode, 3 data for the object are obtained. Dimensional data can be obtained.

일 실시 예에 따르면, 프로세서(310)는, 제1 모드 및 제2 모드에서 서로 다른 3차원 스캔 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.According to an embodiment, the processor 310 may obtain the first data and the second data by using different 3D scanning methods in the first mode and the second mode.

일 실시 예에 따르면 프로세서(310)는, 제1 모드에서, 제1 타입의 패턴광이 조사된 대상체의 표면에 대한 제1 데이터를 획득할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함할 수 있다. 일 실시 예에 따르면 프로세서(310)는, 제2 모드에서, 제2 타입의 패턴광이 조사된 대상체의 표면에 대한 제2 데이터를 획득할 수 있다. 예를 들어, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다.According to an embodiment, the processor 310 may obtain first data on the surface of the object to which the first type of pattern light is irradiated, in the first mode. For example, the first type of pattern light may include line pattern light. According to an embodiment, the processor 310 may obtain second data on the surface of the object to which the second type of pattern light is irradiated, in the second mode. For example, the pattern light of the second type may include point pattern light.

일 실시 예에 따른 프로세서(310)는, 대상체에 제1 타입의 패턴 광을 조사하여, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 제1 데이터를 획득하도록 3차원 데이터 획득 장치(200)를 제어할 수 있다.The processor 310 according to an embodiment may radiate a first type of patterned light to the object and obtain first data on the surface of the object to which the first type of patterned light is irradiated. ) can be controlled.

프로세서(310)는, 대상체에 제1 타입의 패턴 광을 조사하고, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 예를 들어, 제1 타입의 패턴 광은, 라인 패턴 광을 포함할 수 있다. The processor 310 controls the 3D scanner 100 to radiate the first type of pattern light to the object and acquire 2D images of the surface of the object to which the first type of pattern light is irradiated from different viewpoints. can do. For example, the first type of pattern light may include line pattern light.

프로세서(310)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제1 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제1 포인트 클라우드 데이터를 제1 데이터로서 획득할 수 있다. 예를 들어, 프로세서(310)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 상의 각 선이 제2 영상 센서가 스캔한 2차원 영상의 어느 선에 대응되는 지를 결정할 수 있다. 그리고, 프로세서(310)는, 조사된 라인 패턴 및 2차원 영상들에 보여지는 변형된 선에 기초하여, 2차원 영상들 간에 매칭되는 각 선을 이루는 점들의 3차원 좌표를 계산할 수 있다. 프로세서(310)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제1 포인트 클라우드 데이터를 획득할 수 있다.The processor 310 converts first point cloud data of the object to first data based on 2D images of the surface of the object to which the first type of pattern light is irradiated and information on the first type of pattern light. can be obtained as For example, the processor 310 determines whether each line on the object appearing in the 2D image scanned by the first image sensor of the 3D scanner 100 corresponds to a line in the 2D image scanned by the second image sensor. can decide whether Also, the processor 310 may calculate 3D coordinates of points constituting the lines matched between the 2D images, based on the irradiated line pattern and the deformed lines shown in the 2D images. The processor 310 may obtain first point cloud data by calculating 3D coordinates for each pixel included in the 2D images.

일 실시 예에 따른 프로세서(310) 는, 대상체에 제2 타입의 패턴 광을 조사하여, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 제2 데이터를 획득하도록 3차원 데이터 획득 장치(200)를 제어할 수 있다.The processor 310 according to an embodiment radiates a second type of pattern light to the object, and obtains second data on the surface of the object to which the second type of pattern light is irradiated. ) can be controlled.

프로세서(310)는, 대상체에 제2 타입의 패턴 광을 조사하고, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대해서 서로 다른 시점의 2차원 영상들을 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 예를 들어, 제2 타입의 패턴 광은, 포인트 패턴 광을 포함할 수 있다. The processor 310 controls the 3D scanner 100 to radiate the second type of pattern light to the object and acquire 2D images of the surface of the object to which the second type of pattern light is irradiated from different viewpoints. can do. For example, the pattern light of the second type may include point pattern light.

프로세서(310)는, 제2 타입의 패턴 광이 조사된 대상체의 표면에 대한 2차원 영상들 및 제2 타입의 패턴 광에 대한 정보에 기초하여, 대상체에 대한 제2 포인트 클라우드 데이터를 제2 데이터로서 획득할 수 있다. 예를 들어, 프로세서(310)는, 3차원 스캐너(100)의 제1 영상 센서가 스캔한 2차원 영상에 나타나는 대상체 표면의 각 포인트가 제2 영상 센서가 스캔한 2차원 영상의 어느 포인트에 대응되는 지를 결정할 수 있다. 그리고, 프로세서(310)는, 조사된 포인트 패턴 및 2차원 영상들에 보여지는 변형된 포인트 패턴에 기초하여, 2차원 영상들 간에 매칭되는 각 포인트의 3차원 좌표를 계산할 수 있다. 프로세서(310)는, 2차원 영상들에 포함되는 각 픽셀에 대한 3차원 좌표를 계산함으로써 제1 포인트 클라우드 데이터를 획득할 수 있다.The processor 310 converts second point cloud data of the object to second data based on 2D images of the surface of the object to which the second type of pattern light is irradiated and information on the second type of pattern light. can be obtained as For example, the processor 310 may determine that each point on the surface of the object appearing in the 2D image scanned by the first image sensor of the 3D scanner 100 corresponds to a point in the 2D image scanned by the second image sensor. can decide whether to Also, the processor 310 may calculate 3D coordinates of points matched between 2D images based on the irradiated point pattern and the modified point pattern shown in the 2D images. The processor 310 may obtain first point cloud data by calculating 3D coordinates for each pixel included in the 2D images.

일 실시 예에 따르면, 3차원 스캐너(100)는, 제1 타입의 패턴 광 및 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성될 수 있다. 프로세서(310)는 3차원 스캐너(100)를 이용하여, 제1 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제1 데이터를 획득하고, 제2 타입의 패턴 광을 이용하여 획득된 복수의 2차원 영상 프레임들에 기초하여 제2 데이터를 획득할 수 있다. According to an embodiment, the 3D scanner 100 may be configured to alternately irradiate the first type of pattern light and the second type of pattern light. The processor 310 obtains first data based on a plurality of 2D image frames obtained using the first type of pattern light using the 3D scanner 100, and generates the second type of pattern light. The second data may be obtained based on the plurality of 2D image frames obtained using the second data.

예를 들어, 3차원 스캐너(100)는, 제2 타입의 패턴 광을 이용한 제2 데이터를 획득함에 있어서, 대상체에 대한 색상 정보를 획득하기 위하여, 적색 패턴 광, 녹색 패턴 광, 및 청색 패턴 광을 각각 순차적으로 대상체에게 조사함으로써, R 프레임, G 프레임, 및 B 프레임을 획득할 수 있다. 프로세서(310)는, R 프레임, G 프레임, 및 B 프레임에 기초하여 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.For example, in acquiring second data using the second type of pattern light, the 3D scanner 100 acquires color information on an object, red pattern light, green pattern light, and blue pattern light. The R frame, G frame, and B frame may be obtained by sequentially irradiating each of the R frame to the object. The processor 310 may obtain second point cloud data as second data based on the R frame, the G frame, and the B frame.

다른 일 실시 예에 따르면, 프로세서(310)는 3차원 스캐너(100)를 이용하여 제1 타입의 패턴 광이 조사된 대상체를 스캔하다가, 금속 영역이 감지되면 제2 타입의 패턴 광을 조사하도록 구성될 수 있다.According to another embodiment, the processor 310 scans an object to which the first type of pattern light is irradiated using the 3D scanner 100, and irradiates the second type of pattern light when a metal area is detected. It can be.

먼저, 프로세서(310)는 제1 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제1 데이터를 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 프로세서(310)는, 제1 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제1 데이터로서 제1 포인트 클라우드 데이터를 획득할 수 있다. 프로세서(310)는, 제1 타입의 패턴 광이 조사된 대상체의 표면에 대해서 획득된 서로 다른 시점의 2차원 영상들을 포함하는 프레임과 이웃하는 이웃 프레임 간의 밝기 값의 차이가 임계 값 이상으로 많이 나는 경우, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.First, the processor 310 may control the 3D scanner 100 to acquire first data by continuously scanning frames of an object to which the first type of pattern light is irradiated. The processor 310 may obtain first point cloud data as first data based on a plurality of 2D image frames obtained from an object to which the first type of pattern light is irradiated. The processor 310 determines whether a difference in brightness value between a frame including 2D images of different viewpoints acquired on the surface of the object to which the first type of pattern light is irradiated and a neighboring frame is larger than a threshold value. In this case, it may be determined to irradiate the second type of pattern light instead of the first type of pattern light.

다른 일 실시 예에 따르면, 프로세서(310)는, 메모리(350)에 저장된 인공 지능 모델을 이용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 프로세서(310)는, 대상체로부터 획득된 2차원 영상 프레임 또는 3차원 프레임을 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 3차원 데이터 획득 장치(200)는, 대상체의 영역이 금속 영역이라고 판단되면, 제1 타입의 패턴 광 대신에 제2 타입의 패턴 광을 조사할 것을 결정할 수 있다.According to another embodiment, the processor 310 may use the artificial intelligence model stored in the memory 350 to determine whether the area of the object being scanned is a metal area. The processor 310 may determine whether an area of the object being scanned is a metal area by applying the 2D image frame or the 3D frame obtained from the object to the artificial intelligence model as an input. The artificial intelligence model used to determine the metal region may be an artificial intelligence model trained on a large amount of scan data obtained from the metal region and the non-metal region of the object. If it is determined that the region of the object is a metal region, the 3D data acquisition apparatus 200 may determine to irradiate the second type of pattern light instead of the first type of pattern light.

다음으로, 프로세서(310)는, 제2 타입의 패턴 광이 조사된 대상체에 대해서 연속적으로 프레임들을 스캔함으로써 제2 데이터를 획득하도록 3차원 스캐너(100)를 제어할 수 있다. 프로세서(310)는, 제2 타입의 패턴 광이 조사된 대상체로부터 획득된 복수의 2차원 영상 프레임들에 기초하여, 제2 데이터로서 제2 포인트 클라우드 데이터를 획득할 수 있다.Next, the processor 310 may control the 3D scanner 100 to obtain second data by continuously scanning frames of the object to which the second type of pattern light is irradiated. The processor 310 may obtain second point cloud data as second data based on a plurality of 2D image frames obtained from an object to which the second type of pattern light is irradiated.

일 실시 예에 따른 프로세서(310) 는, 제1 데이터 및 제2 데이터에 기초하여, 대상체에 대한 3차원 데이터를 획득할 수 있다.The processor 310 according to an embodiment may obtain 3D data of the object based on the first data and the second data.

일 실시 예에 따른 3차원 스캐너(100)가 제1 타입의 패턴 광 및 제2 타입의 패턴 광을 번갈아 가면서 조사하도록 구성되는 경우에 있어서, 3차원 스캐너(100)가 제1 타입의 패턴 광을 이용하여 획득한 제1 데이터는, 대상체의 제1 형상 정보를 포함할 수 있다. 그리고 3차원 스캐너(100)가 적색의 제2 타입의 패턴 광, 녹색의 제2 타입의 패턴 광 및 청색의 제2 타입의 패턴 광을 순차적으로 조사하여 획득한 제2 데이터는, 대상체의 제2 형상 정보 및 색상 정보를 포함할 수 있다. 프로세서(310)는, 제1 형상 정보, 제2 형상 정보 및 색상 정보에 기초하여 3차원 데이터를 획득할 수 있다.When the 3D scanner 100 according to an embodiment is configured to alternately irradiate the first type of pattern light and the second type of pattern light, the 3D scanner 100 emits the first type of pattern light. The first data acquired using the image may include first shape information of the object. Further, the second data acquired by the 3D scanner 100 sequentially irradiating the second type of red pattern light, the second type of green pattern light, and the second type of blue pattern light is It may include shape information and color information. The processor 310 may obtain 3D data based on the first shape information, the second shape information, and the color information.

일 실시 예에 따른 프로세서(310)는, 제1 데이터 및 제2 데이터의 가중치 합에 기초하여 3차원 데이터를 획득할 수 있다. 예를 들어, 제1 데이터, 제2 데이터, 및 3차원 데이터는, 포인트 클라우드 데이터이거나 폴리곤 메쉬 데이터일 수 있다. The processor 310 according to an embodiment may obtain 3D data based on a weighted sum of the first data and the second data. For example, the first data, the second data, and the 3D data may be point cloud data or polygon mesh data.

일 실시 예에 따른 프로세서(310)는, 제1 데이터의 신뢰도에 기초하여, 신뢰도가 높은 대상체의 적어도 일부 영역에 대해서는 제1 데이터를 이용하고, 신뢰도가 낮은 대상체의 나머지 영역에 대해서는 제2 데이터를 이용함으로써, 3차원 데이터를 획득할 수 있다.Based on the reliability of the first data, the processor 310 according to an embodiment uses first data for at least a partial region of the object with high reliability and second data for the remaining region of the object with low reliability. By using it, it is possible to obtain 3D data.

다른 일 실시 예에 따른 프로세서(310)는, 제1 데이터에 포함되는 복수의 제1 포인트들 및 제2 데이터에 포함되는 복수의 제2 포인트들 간의 중첩 포인트들을 결정할 수 있다. 프로세서(310)는, 중첩 포인트들에 대한 평균값을 이용하여 3차원 데이터를 획득할 수 있다.The processor 310 according to another embodiment may determine overlapping points between a plurality of first points included in the first data and a plurality of second points included in the second data. The processor 310 may obtain 3D data using an average value of overlapping points.

한편, 다른 일 실시 예에 따르면 프로세서(310)는, 서로 다른 후-처리 방식을 이용하여 제1 데이터 및 제2 데이터를 획득할 수 있다.Meanwhile, according to another embodiment, the processor 310 may obtain the first data and the second data using different post-processing methods.

일 예로서, 일 실시 예에 따르면 프로세서(310)는, 제1 모드에서, 대상체의 표면에 대한 제1 포인트 클라우드를 획득하고, 제1 포인트 클라우드 내의 인접한 포인트들을 연결함으로써 제1 메쉬 데이터를 획득할 수 있다. 또한, 프로세서(310)는, 제1 메쉬 데이터 내에서 제1 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 프로세서(310)는, 필터링이 수행된 제1 메쉬 데이터를 포함하는 제1 데이터를 획득할 수 있다.As an example, according to an embodiment, the processor 310 acquires first mesh data by acquiring a first point cloud of the surface of the object and connecting adjacent points in the first point cloud in a first mode. can In addition, the processor 310 may perform filtering to delete a group consisting of triangles having a number less than or equal to a first predetermined value in the first mesh data. The processor 310 may obtain first data including first mesh data on which filtering is performed.

일 실시 예에 따르면 프로세서(310)는, 제2 모드에서, 대상체의 표면에 대한 제2 포인트 클라우드를 획득하고, 제2 포인트 클라우드 내의 포인트들을 연결함으로써 제2 메쉬 데이터를 획득할 수 있다. 프로세서(310)는, 제2 메쉬 데이터 내에서 제2 소정 값 이하의 개수의 삼각형들로 이루어지는 그룹을 삭제하는, 필터링을 수행할 수 있다. 프로세서(310)는, 필터링이 수행된 제2 메쉬 데이터를 포함하는 제2 데이터를 획득할 수 있다. 이 때, 제2 모드에서 필터링을 위해 이용되는 제2소정값은, 제1 모드에서 필터링을 위해 이용되는 제1소정값보다 작을 수 있다. According to an embodiment, in the second mode, the processor 310 may obtain second mesh data by obtaining a second point cloud for the surface of the object and connecting points in the second point cloud. The processor 310 may perform filtering to delete a group consisting of triangles having a number less than or equal to a second predetermined value in the second mesh data. The processor 310 may obtain second data including second mesh data on which filtering is performed. In this case, the second predetermined value used for filtering in the second mode may be smaller than the first predetermined value used for filtering in the first mode.

다른 예로서, 일 실시 예에 따르면 프로세서(310)는, 제1 모드에서, 일반적인 삼각화 방식을 이용하여 대상체에 대한 제1 포인트 클라우드로부터 제1 메쉬 데이터를 제1 데이터로서 획득할 수 있다. 반면에, 프로세서(310)는, 제2 모드에서, 들로네 삼각화를 이용하여, 대상체에 대한 제2 포인트 클라우드로부터 제2 메쉬 데이터를 제2 데이터로서 획득할 수 있다.As another example, according to an embodiment, the processor 310 may obtain first mesh data as first data from a first point cloud of an object by using a general triangulation method in a first mode. On the other hand, in the second mode, the processor 310 may obtain second mesh data as the second data from the second point cloud of the object by using Delaunay triangulation.

일 실시 예에 따른 프로세서(310)는, 제2 메쉬 데이터를 획득하기 위해서, 제2 포인트 클라우드 내에서 금속 영역에 대응하는 포인트들을 식별하고, 들로네 삼각화를 이용하여 식별된 포인트들을 연결할 수 있다. 프로세서(310)는, 제2 포인트 클라우드 내에서 식별되지 않은 포인트들에 대해서는 인접한 포인트들을 연결함으로써 제2 메쉬 데이터를 획득할 수 있다.In order to obtain second mesh data, the processor 310 according to an embodiment may identify points corresponding to the metal region in the second point cloud and connect the identified points using Delaunay triangulation. The processor 310 may obtain second mesh data by connecting adjacent points to unidentified points in the second point cloud.

또한, 프로세서(310)는, 제2 메쉬 데이터 내에서 소정 거리 이상의 두 포인트들을 연결한 엣지 및/또는 이를 포함하는 메쉬를 삭제하는 필터링을 추가적으로 수행할 수 있다. In addition, the processor 310 may additionally perform filtering to delete an edge connecting two points having a predetermined distance or more within the second mesh data and/or a mesh including the edge.

일 실시 예에 따르면 프로세서(310)는, 대상체 상에 금속 영역이 감지되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다. According to an embodiment, the processor 310 may change an operation mode from the first mode to the second mode when a metal area is detected on the object.

일 실시 예에 따르면 프로세서(310)는, 3차원 스캐너에 의해 획득된 데이터를 인공 지능 모델을 이용하여 분석함으로써, 대상체 상에 금속 영역의 존재를 감지할 수 있다. 예를 들어, 프로세서(310)는, 대상체로부터 획득된 제1데이터를 입력으로서 인공 지능 모델에 적용하여, 스캔하고 있는 대상체의 영역이 금속 영역인지 여부를 판단할 수 있다. 금속 영역 판단에 이용되는 인공 지능 모델은, 대상체의 금속 영역 및 비금속 영역으로부터 획득된 많은 양의 스캔 데이터를 학습(train)한 인공 지능 모델일 수 있다. 프로세서(310)는, 대상체의 영역이 금속 영역이라고 판단되면, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다. According to an embodiment, the processor 310 may detect the existence of a metal region on the object by analyzing data acquired by the 3D scanner using an artificial intelligence model. For example, the processor 310 may apply the first data acquired from the object to the artificial intelligence model as an input to determine whether the region of the object being scanned is a metal region. The artificial intelligence model used to determine the metal region may be an artificial intelligence model trained on a large amount of scan data obtained from the metal region and the non-metal region of the object. When the processor 310 determines that the region of the object is a metal region, the processor 310 may change the operation mode from the first mode to the second mode.

일 실시 예에 따르면 프로세서(310)는, 적색 광, 녹색 광 및 청색 광 각각에 기초하여 획득된 R 프레임, G 프레임, 및 B 프레임의 세기(intensity)를 결합하여 생성된 컬러 이미지를 분석할 수 있다. 프로세서(310)는, 생성된 컬러 이미지를 분석함으로써, 대상체 상에 금속 영역의 존재를 감지할 수 있다.According to an embodiment, the processor 310 may analyze a color image generated by combining intensities of the R frame, the G frame, and the B frame obtained based on the red light, the green light, and the blue light, respectively. there is. The processor 310 may detect the presence of a metal region on the object by analyzing the generated color image.

예를 들어, 일 실시 예에 따르면 프로세서(310)는, 대상체를 스캔하여 획득한 컬러 이미지를 분석하여, 컬러 이미지 내에 소정 비율 이상의 영역이 금속 영역으로 판단되는 경우(예를 들어, 컬러 이미지 내의 전체 픽셀들 중 40% 이상의 픽셀이 금속 영역에 대응하는 픽셀로 판단되는 경우), 금속 영역을 스캔하고 있는 것으로 판단할 수 있다. 프로세서(310)는, 대상체의 금속 영역을 스캔하고 있는 것으로 판단한 결과에 기초하여, 동작 모드를 제1 모드에서 제2 모드로 변경할 수 있다. For example, according to an embodiment, the processor 310 analyzes a color image obtained by scanning an object and determines that an area of a predetermined ratio or more in the color image is a metal area (eg, the entire color image in the color image). If 40% or more of the pixels are determined to be pixels corresponding to the metal region), it may be determined that the metal region is being scanned. The processor 310 may change the operation mode from the first mode to the second mode based on a result of determining that the metal region of the object is being scanned.

본 개시의 일 실시 예에 따른 3차원 데이터 획득 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 본 개시의 실시 예에 따르면, 3차원 데이터 획득 방법을 실행하는 적어도 하나의 인스트럭션을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 저장 매체가 제공될 수 있다. A method for acquiring 3D data according to an embodiment of the present disclosure may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. Further, according to an embodiment of the present disclosure, a computer-readable storage medium having one or more programs including at least one instruction for executing a 3D data obtaining method may be provided.

상기 컴퓨터 판독 가능 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 여기서, 컴퓨터 판독 가능 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다. The computer readable storage medium may include program instructions, data files, data structures, etc. alone or in combination. Here, examples of computer-readable storage media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, floptical disks and Hardware devices configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like, may be included.

여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 저장 매체가 실재(tangible)하는 장치임을 의미할 수 있다. 또한, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.Here, the device-readable storage medium may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' may mean that the storage medium is a tangible device. Also, the 'non-temporary storage medium' may include a buffer in which data is temporarily stored.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 구강 영상의 디스플레이 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포될 수 있다. 또는, 어플리케이션 스토어(예: 플레이 스토어 등)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. According to an embodiment, a method for displaying an oral cavity image according to various embodiments disclosed in this document may be included in a computer program product and provided. A computer program product may be distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)). Alternatively, it may be distributed (eg, downloaded or uploaded) online through an application store (eg, play store, etc.) or directly between two user devices (eg, smartphones).

이상에서 실시 예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also within the scope of the present invention. belong

100: 3차원 스캐너
200: 3차원 데이터 획득 장치
300: 3차원 영상 디스플레이 장치
310: 프로세서
320: 디스플레이
330: 통신 인터페이스
340: 사용자 입력부
350: 메모리100: 3D scanner
200: 3D data acquisition device
300: 3D image display device
310: processor
320: display
330: communication interface
340: user input unit
350: memory

Claims

An apparatus for acquiring three-dimensional data,
a communication interface that communicates with the 3D scanner; and
A processor for executing at least one instruction to obtain the 3D data;
the processor,
Operating in a first mode to acquire first data by scanning an object by the 3D scanner;
When a metal area is detected on the object, switching an operation mode to a second mode;
Operating in the second mode to obtain second data by scanning the object by the 3D scanner;
Obtaining 3D data of the object based on the first data and the second data;
The first data includes data on a surface of the object to which a first type of pattern light including line pattern light is irradiated,
The second data includes data on a surface of the object to which a second type of pattern light including point pattern light is irradiated.

delete

According to claim 1,
The first data obtained in the first mode and the second data obtained in the second mode are obtained through different post-processing methods.

According to claim 4,
the processor,
Obtaining a first point cloud for the surface of the object, obtaining first mesh data by connecting adjacent points in the first point cloud, the first data including the first mesh data,
Obtaining a second point cloud of the surface of the object, connecting points in the second point cloud using Delaunay triangulation to obtain second mesh data, and the second data is the second mesh data Including, three-dimensional data acquisition device.

According to claim 5,
the processor,
Identifying points corresponding to a metal area on the object in the second point cloud;
Apparatus for acquiring the second mesh data by connecting the identified points using the Delaunay triangulation and connecting adjacent points for points not identified in the second point cloud.

According to claim 5,
the processor,
The 3D data acquisition device further performs filtering to delete an edge connecting two points of a predetermined distance or more in the second mesh data.

According to claim 4,
the processor,
A first point cloud for the surface of the object is acquired, first mesh data is acquired by connecting points in the first point cloud, and triangles of a number less than or equal to a first predetermined value are formed in the first mesh data. Filtering is performed to delete a group consisting of, and the first data includes the first mesh data on which filtering is performed,
A second point cloud for the surface of the object is acquired, second mesh data is obtained by connecting points in the second point cloud, and triangles of a number less than or equal to a second predetermined value are formed in the second mesh data. Filtering is performed to delete a group consisting of, and the second data includes the second mesh data on which filtering is performed,
The second predetermined value is smaller than the first predetermined value, the three-dimensional data acquisition device.

According to claim 1,
the processor,
The 3D data acquisition device detecting the presence of a metal region on the object by analyzing data acquired by the 3D scanner using an artificial intelligence model.

According to claim 1,
The apparatus further comprises a user input unit configured to receive a user input for selecting an operation option to automatically change the operation mode from the first mode to the second mode when a metal region is detected on the object.

operating in a first mode to acquire first data by scanning an object with a 3D scanner;
switching an operation mode to a second mode when a metal area is detected on the object;
operating in the second mode to acquire second data by scanning the object; and
Acquiring 3D data of the object based on the first data and the second data;
Operating in the first mode to obtain the first data comprises:
Acquiring the first data of the surface of the object to which a first type of pattern light including line pattern light is irradiated,
Operating in the second mode to obtain the second data comprises:
and acquiring the second data of a surface of the object to which a second type of pattern light including point pattern light is irradiated.

delete

According to claim 11,
The first data obtained in the first mode and the second data obtained in the second mode are obtained through different post-processing methods.

According to claim 14,
Operating in the first mode to obtain the first data comprises:
acquiring a first point cloud of the surface of the object; and
Acquiring first mesh data by connecting adjacent points in the first point cloud, wherein the first data includes the first mesh data,
Operating in the second mode to obtain the second data comprises:
acquiring a second point cloud of the surface of the object; and
Acquiring second mesh data by connecting points in the second point cloud using Delaunay triangulation, wherein the second data includes the second mesh data.

According to claim 15,
Obtaining the second mesh data,
identifying points corresponding to a metal area on the object in the second point cloud; and
Acquiring the second mesh data by connecting the identified points using the Delaunay triangulation and connecting adjacent points for points not identified in the second point cloud, 3D data How to get it.

According to claim 15,
Operating in the second mode to obtain the second data comprises:
Further comprising the step of performing filtering to delete an edge connecting two points of a predetermined distance or more in the second mesh data, 3D data acquisition method.

According to claim 14,
Operating in the first mode to obtain the first data comprises:
acquiring a first point cloud of the surface of the object;
obtaining first mesh data by connecting points in the first point cloud; and
and performing filtering of deleting a group consisting of triangles having a number less than or equal to a first predetermined value in the first mesh data, wherein the first data includes the first mesh data for which filtering has been performed, ,
Acquiring the second data in the second mode,
acquiring a second point cloud of the surface of the object;
obtaining second mesh data by connecting points in the second point cloud; and
and performing filtering by deleting a group consisting of triangles having a number less than or equal to a second predetermined value in the second mesh data, wherein the second data includes the second mesh data for which filtering has been performed,
Wherein the second predetermined value is smaller than the first predetermined value, three-dimensional data acquisition method.

According to claim 11,
The step of changing the operation mode to the second mode,
and detecting the presence of a metal region on the object by analyzing data acquired by the 3D scanner using an artificial intelligence model.

According to claim 11,
The method of obtaining 3D data further comprising receiving a user input for selecting an operation option to automatically change the operation mode from the first mode to the second mode when a metal region is detected on the object.