KR101822185B1 - Method and apparatus for poi detection in 3d point clouds - Google Patents

Method and apparatus for poi detection in 3d point clouds Download PDF

Info

Publication number
KR101822185B1
KR101822185B1 KR1020140012990A KR20140012990A KR101822185B1 KR 101822185 B1 KR101822185 B1 KR 101822185B1 KR 1020140012990 A KR1020140012990 A KR 1020140012990A KR 20140012990 A KR20140012990 A KR 20140012990A KR 101822185 B1 KR101822185 B1 KR 101822185B1
Authority
KR
South Korea
Prior art keywords
point
poi
shape description
description vector
point cloud
Prior art date
Application number
KR1020140012990A
Other languages
Korean (ko)
Other versions
KR20150051854A (en
Inventor
산동 왕
루진 공
휘 장
이형욱
이선민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/324,450 priority Critical patent/US9547901B2/en
Publication of KR20150051854A publication Critical patent/KR20150051854A/en
Application granted granted Critical
Publication of KR101822185B1 publication Critical patent/KR101822185B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

3D 포인트 클라우드 POI 검출 방법 및 장치가 제공된다. 3D 포인트 클라우드 POI 검출 장치는 3D 포인트 클라우드의 픽셀 포인트와 픽셀 포인트에 인접한 이웃 포인트가 포함된 표면의 형상을 기술하는 형상 기술 벡터를 이용하여 3D 포인트 클라우드에서 키 포인트인 POI(point of interest)를 추출할 수 있다.A 3D point cloud POI detection method and apparatus are provided. The 3D point cloud POI detection apparatus extracts the POI (point of interest) which is the key point in the 3D point cloud by using the shape point description vector describing the shape of the surface including the pixel point of the 3D point cloud and the neighboring point adjacent to the pixel point can do.

Description

3D 포인트 클라우드 POI 검출 방법 및 장치{METHOD AND APPARATUS FOR POI DETECTION IN 3D POINT CLOUDS}METHOD AND APPARATUS FOR POI DETECTION IN 3D POINT CLOUDS [0002]

아래의 설명은 컴퓨터 그래픽스 또는 컴퓨터 비전(computer vision) 기술에 관한 것이다.The following description relates to computer graphics or computer vision technology.

최근, 깊이 카메라 또는 3D(dimensional) 스캐너의 사용에 따라, 3D 포인트 클라우드 데이터(3D point cloud data)에 대한 수집 및 처리 기술에 관한 관심이 증가하고 있다. 컴퓨터 비전 및 스마트 로보틱스(robotics) 기술 분야에서, 3D 포인트 클라우드에서의 POI(point of interest) 검출 알고리즘은 표면 정합(surface registration) 또는 객체 인식(object recognition) 등의 기술에 이용된다.Recently, with the use of depth cameras or 3D scanners, interest in collection and processing techniques for 3D point cloud data is increasing. In the field of computer vision and smart robotics, point of interest (POI) detection algorithms in 3D point clouds are used in techniques such as surface registration or object recognition.

POI 검출 알고리즘은 다음과 같은 세 가지 중요한 특징을 가지고 있다. (1) 희소성(Sparseness): 기술 매칭 알고리즘(description matching algorithm)을 효율적으로 수행하기 위해 POI의 개수가 적어야 한다; (2) 구별성(Distinctiveness): POI들은 각각의 표면 구조의 정보를 구별되게 표시할 수 있어야 한다; (3) 반복성(Repeatability): POI들은 서로 다른 데이터 변환 조건에서 반복적으로 검출될 수 있어야 한다.The POI detection algorithm has three important features. (1) Sparseness: The number of POIs must be small to efficiently perform the description matching algorithm; (2) Distinctiveness: POIs should be able to distinguish the information of each surface structure; (3) Repeatability: POIs should be able to be repeatedly detected in different data conversion conditions.

일실시예에 따른 3D 포인트 클라우드 POI 검출 장치는, 3D 포인트 클라우드 데이터를 획득하는 3D 포인트 클라우드 데이터 획득부; 3D 포인트 클라우드의 픽셀 포인트와 상기 픽셀 포인트에 인접한 이웃 포인트가 포함된 표면의 형상을 기술하는 형상 기술 벡터를 생성하는 형상 기술부; 및 상기 형상 기술 벡터에 기초하여 POI를 추출하는 POI 추출부를 포함할 수 있다.A 3D point cloud POI detecting apparatus according to an exemplary embodiment includes a 3D point cloud data obtaining unit for obtaining 3D point cloud data; A shape description unit for creating a shape description vector describing a shape of a surface including a pixel point of the 3D point cloud and a neighboring point adjacent to the pixel point; And a POI extracting unit for extracting a POI based on the shape description vector.

일실시예에 따른 3D 포인트 클라우드 POI 검출 장치에서, 상기 형상 기술부는, 상기 3D 포인트 클라우드의 픽셀 포인트에 대한 로컬 참조 프레임을 생성하는 로컬 참조 프레임 생성부; 상기 픽셀 포인트에 인접한 이웃 포인트에서 상기 픽셀 포인트가 속한 접평면까지의 유향 거리 분산도를 계산하는 유향 거리 분산도 계산부; 및 상기 유향 거리 분산도를 유한 차원의 벡터로 나타내는 것에 의해 형상 기술 벡터를 생성하는 형상 기술 벡터 생성부를 포함할 수 있다.In the 3D point cloud POI detection apparatus according to an embodiment, the shape description unit may include: a local reference frame generation unit that generates a local reference frame for a pixel point of the 3D point cloud; A fiducial distance dispersion calculator for calculating a fiducial distance dispersion from a neighboring point adjacent to the pixel point to a tangent plane to which the pixel point belongs; And a shape description vector generation unit for generating the shape description vector by expressing the dihedral distance variance as a vector of a finite dimension.

일실시예에 따른 3D 포인트 클라우드 POI 검출 장치에서, 상기 POI 추출부는, 상기 생성된 형상 기술 벡터에 기초하여 이익 값을 계산하는 이익 값 계산부; 상기 형상 기술 벡터에서 제로 컴포넌트의 개수를 판단하고, 픽셀 포인트가 에지 포인트 또는 에지 근처에 속하는지 여부를 결정하는 에지 포인트 식별부; 및 상기 계산된 이익 값에 기초하여 POI를 식별하는 POI 식별부를 포함할 수 있다.In the 3D point cloud POI detection apparatus according to an embodiment, the POI extraction unit may include: a profit value calculation unit for calculating a profit value based on the generated shape description vector; An edge point identification unit for determining the number of zero components in the shape description vector and determining whether the pixel point belongs to an edge point or an edge; And a POI identification unit for identifying the POI based on the calculated profit value.

일실시예에 따른 3D 포인트 클라우드 POI 검출 방법은, 3D 포인트 클라우드 데이터를 획득하는 단계; 3D 포인트 클라우드의 픽셀 포인트와 상기 픽셀 포인트에 인접한 이웃 포인트가 포함된 표면의 형상을 기술하는 형상 기술 벡터를 생성하는 단계; 및 상기 생성된 형상 기술 벡터에 기초하여 POI를 추출하는 단계를 포함할 수 있다.A 3D point cloud POI detection method according to an embodiment includes: obtaining 3D point cloud data; Generating a shape description vector describing a shape of a surface including a pixel point of a 3D point cloud and a neighboring point adjacent to the pixel point; And extracting the POI based on the generated shape description vector.

일실시예에 따른 3D 포인트 클라우드 POI 검출 방법에서, 상기 형상 기술 벡터를 생성하는 단계는, 상기 3D 포인트 클라우드의 픽셀 포인트에 대한 로컬 참조 프레임을 생성하는 단계; 상기 픽셀 포인트에 인접한 이웃 포인트에서 상기 픽셀 포인트가 속한 접평면까지의 유향 거리 분산도를 계산하는 단계; 및 상기 유향 거리 분산도를 유한 차원의 벡터로 나타내는 것에 의해 형상 기술 벡터를 생성하는 단계를 포함할 수 있다.In a 3D point cloud POI detection method according to an embodiment, generating the shape description vector may include generating a local reference frame for a pixel point of the 3D point cloud; Calculating a drift distance dispersion from a neighboring point adjacent to the pixel point to a tangent plane to which the pixel point belongs; And generating the shape description vector by expressing the forward distance variance as a vector of finite dimensions.

일실시예에 따른 3D 포인트 클라우드 POI 검출 방법에서, 상기 POI를 추출하는 단계는, 상기 생성된 형상 기술 벡터에 기초하여 이익 값을 계산하는 단계; 상기 형상 기술 벡터에서 제로 컴포넌트의 개수를 판단하고, 픽셀 포인트가 에지 포인트 또는 에지 근처에 속하는지 여부를 결정하는 단계; 및 상기 계산된 이익 값에 기초하여 POI를 식별하는 단계를 포함할 수 있다.In the 3D point cloud POI detection method according to an embodiment, extracting the POI may include calculating a profit value based on the generated shape description vector; Determining a number of zero components in the shape description vector, and determining whether a pixel point belongs to an edge point or an edge; And identifying the POI based on the calculated profit value.

도 1은 일실시예에 따른 3D 포인트 클라우드 POI(point of interest) 검출 장치의 구성을 도시한 도면이다.
도 2는 일실시예에 따른 형상 기술부의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 내부 포인트의 로컬 참조 프레임 및 이웃 포인트의 일례를 도시한 도면이다.
도 4는 일실시예에 따른 에지 포인트의 로컬 참조 프레임 및 이웃 포인트의 일례를 도시한 도면이다.
도 5는 일실시예에 따른 내부 포인트의 유향 거리 분산도(directed distance scatter diagram)의 일례를 도시한 도면이다.
도 6은 일실시예에 따른 에지 포인트의 유향 거리 분산도의 일례를 도시한 도면이다.
도 7은 일실시예에 따른 내부 포인트의 형상 기술도(shape description diagram)의 일례를 도시한 도면이다.
도 8은 일실시예에 따른 에지 포인트의 형상 기술도의 일례를 도시한 도면이다.
도 9는 일실시예에 따른 POI 추출부의 세부 구성을 도시한 도면이다.
도 10은 일실시예에 따른 에지 포인트 식별부에 의해 수행된 에지 포인트의 검출 결과의 일례를 도시한 도면이다.
도 11은 일실시예에 따른 3D 포인트 클라우드 POI 검출 방법을 도시한 흐름도이다.
도 12는 일실시예에 따른 형상 기술 벡터를 생성하는 과정을 도시한 흐름도이다.
도 13은 일실시예에 따른 POI를 추출하는 과정을 도시한 흐름도이다.
도 14는 일실시예에 따른 3D 포인트 클라우드에서 POI를 검출한 결과의 일례를 도시한 도면이다.
1 is a diagram showing a configuration of a 3D point cloud POI (point of interest) detecting apparatus according to an embodiment.
2 is a view showing a detailed configuration of a shape description unit according to an embodiment.
3 is a diagram illustrating an example of a local reference frame and neighboring points of an internal point according to one embodiment.
4 is a diagram illustrating an example of a local reference frame and neighbor points of an edge point according to one embodiment.
5 is a diagram illustrating an example of a directed distance scatter diagram of an internal point according to an embodiment.
6 is a diagram showing an example of a directional dispersion of edge points of an edge point according to an embodiment.
7 is a view showing an example of a shape description diagram of an internal point according to an embodiment.
8 is a view showing an example of a shape description diagram of an edge point according to an embodiment.
9 is a diagram illustrating a detailed configuration of a POI extracting unit according to an embodiment.
10 is a diagram showing an example of the detection result of the edge point performed by the edge point identifying unit according to the embodiment.
11 is a flowchart illustrating a 3D point cloud POI detection method according to an embodiment.
12 is a flowchart illustrating a process of generating a shape description vector according to an embodiment.
13 is a flowchart illustrating a process of extracting a POI according to an embodiment.
FIG. 14 is a diagram illustrating an example of a result of detecting a POI in a 3D point cloud according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The specific structural or functional descriptions below are merely illustrative for purposes of illustrating embodiments of the invention and are not to be construed as limiting the scope of the invention to the embodiments described in the text. Like reference symbols in the drawings denote like elements.

도 1은 일실시예에 따른 3D 포인트 클라우드 POI 검출 장치(100)의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a 3D point cloud POI detecting apparatus 100 according to an embodiment.

3D 포인트 클라우드 POI 검출 장치(100)는 3D 포인트 클라우드에서 키 포인트(key point)로서 POI(point of interest)를 검출할 수 있다. 3D 포인트 클라우드는 객체의 형상에 관한 복수의 픽셀 포인트들을 포함할 수 있다. 픽셀 포인트는 형상의 에지 영역에 위치한 에지 포인트(edge point)와 에지 영역 이외의 영역에 위치한 내부 포인트로 구별될 수 있다.The 3D point cloud POI detecting apparatus 100 can detect a point of interest (POI) as a key point in the 3D point cloud. The 3D point cloud may include a plurality of pixel points related to the shape of the object. A pixel point can be distinguished by an edge point located in the edge region of the shape and an internal point located in an area other than the edge region.

도 1을 참조하면, 3D 포인트 클라우드 POI 검출 장치(100)는 3D 포인트 클라우드 데이터 획득부(110), 형상 기술부(120), 및 POI 추출부(130)를 포함할 수 있다.Referring to FIG. 1, the 3D point cloud POI detecting apparatus 100 may include a 3D point cloud data obtaining unit 110, a shape description unit 120, and a POI extracting unit 130.

3D 포인트 클라우드 데이터 획득부(110)는 3D 포인트 클라우드 데이터를 획득할 수 있다. 예를 들어, 3D 포인트 클라우드 데이터 획득부(110)는 3D 스캐너에 의하여 획득된 포인트 클라우드, 깊이 카메라에 의하여 획득된 깊이 영상, 소프트웨어에 의하여 생성된 3D 그리드 모델(grid model) 등 다양한 형태의 3D 포인트 클라우드 데이터를 획득할 수 있다. 3D 포인트 클라우드 데이터는 물체 표면의 위치 정보를 포함할 수 있다.The 3D point cloud data acquisition unit 110 may acquire 3D point cloud data. For example, the 3D point cloud data acquisition unit 110 may acquire various types of 3D points such as a point cloud obtained by a 3D scanner, a depth image acquired by a depth camera, a 3D grid model generated by software, Cloud data can be acquired. The 3D point cloud data may include position information of the object surface.

다른 실시예에 따르면, 3D 포인트 클라우드 데이터 획득부(110)는 3D 포인트 클라우드 전처리부(미도시)를 포함할 수 있다. 3D 포인트 클라우드 전처리부는 획득된 3D 포인트 클라이드 데이터에 전처리 과정을 수행할 수 있다. 3D 포인트 클라우드 전처리부는 3D 포인트 클라우드 데이터에 대해 노이즈 제거, 이상치 포인트(outlier point) 제거, 다운 샘플링(down sampling) 처리 등의 프로세스를 수행할 수 있다. 예를 들어, 3D 포인트 클라우드 전처리부는 이웃 포인트의 분산 상태를 분석함으로써 노이즈 포인트 및 희소(sparseness) 포인트를 식별할 수 있다. 3D 포인트 클라우드 전처리부는 가우시안 필터 등을 이용하여 노이즈를 필터링할 수 있다. 3D 포인트 클라우드 전처리부는 임계값 또는 기존의 포인트 클라우드 분할 방법을 이용하여 이상치 포인트를 제거할 수 있다. 3D 포인트 클라우드 전처리부는 각각의 포인트의 인접 영역에 대한 통계적인 분석에 기초하여 이상치 포인트를 제거할 수 있다. 3D 포인트 클라우드 전처리부는 이동 최소 자승(Moving Least Square) 기법에 기초하여 작은 홀(hole)들을 채울 수 있다. 3D 포인트 클라우드 전처리부는 계산 속도를 향상시키기 위해 3D 필터 알고리즘을 이용하여 3D 포인트 클라우드 데이터에 대해 다운 샘플링을 수행할 수 있다. 다운 샘플링이 수행된 경우, 이후의 과정은 다운 샘플링된 3D 포인트 클라우드 데이터에 기초하여 수행될 수 있다. 여기서, 목적하는 전처리 과정을 수행하기 위해 임의의 방법들이 모두 이용될 수 있다. 또한, 전처리 과정에서 수행되는 프로세서는 여기에 기재된 예들에 한정되지 않으며, 3D 포인트 클라우드 데이터의 전처리로서 다양한 프로세스가 수행될 수 있다.According to another embodiment, the 3D point cloud data acquiring unit 110 may include a 3D point cloud preprocessing unit (not shown). The 3D point cloud preprocessor can perform a preprocessing process on the obtained 3D point Clyde data. The 3D point cloud preprocessor can perform processes such as noise elimination, outlier point elimination, and down sampling processing on the 3D point cloud data. For example, the 3D point cloud preprocessor can identify noise points and sparseness points by analyzing the dispersion state of neighboring points. The 3D point cloud preprocessor can filter the noise using a Gaussian filter or the like. The 3D point cloud preprocessor can remove the outlier point using a threshold or an existing point cloud splitting method. The 3D point cloud preprocessing unit can remove the outlier points based on the statistical analysis of the adjacent areas of each point. The 3D point cloud preprocessor can fill small holes based on the Moving Least Square technique. The 3D point cloud preprocessor may perform downsampling on the 3D point cloud data using a 3D filter algorithm to improve the computation speed. If downsampling has been performed, subsequent processing may be performed based on downsampled 3D point cloud data. Here, any method can be used to perform the desired preprocessing process. In addition, the processor executed in the preprocessing process is not limited to the examples described herein, and various processes can be performed as the preprocessing of the 3D point cloud data.

형상 기술부(120)는 3D 포인트 클라우드의 픽셀 포인트와 픽셀 포인트에 인접한 이웃 포인트(neighborhood point)가 포함된 표면의 형상을 기술하는 형상 기술 벡터(shape description vector)를 생성할 수 있다. 형상 기술부(120)는 픽셀 포인트의 이웃 포인트에서 픽셀 포인트가 포함된 접평면(tangent plane)까지의 유향 거리(directed distance)에 관한 분산 정보를 이용하여 형상 기술 벡터를 생성할 수 있다.The shape description unit 120 may generate a shape description vector describing a shape of a surface including a pixel point of the 3D point cloud and a neighborhood point adjacent to the pixel point. The shape description unit 120 may generate the shape description vector using the variance information about the directed distance from the neighboring point of the pixel point to the tangent plane including the pixel point.

형상 기술 벡터는 픽셀 포인트와 이웃 포인트가 포함된 표면의 로컬 변화를 반영(reflect)할 수 있다. 형상 기술 벡터는 이웃 포인트들의 접평면까지의 유향 거리에 대한 통계적인 분석에 의해 구성될 수 있다. 형상 기술 벡터는 로컬 표면의 돌출 변화를 반영하여 표면의 변화가 클수록 이익 값이 크고, POI일 가능성이 높을 수 있다. 형상 기술 벡터를 통해 픽셀 포인트가 에지 포인트(edge point)에 속하는지 여부가 용이하게 판단될 수 있다. 또한, 형상 기술 벡터를 POI의 기술 연산자(description operator)로 설정하고, 특징 포인트 매칭 알고리즘에 적용할 수 있다.The shape description vector may reflect a local change in the surface including the pixel point and the neighboring point. The shape description vector may be constructed by statistical analysis of the drift distance to the tangent plane of the neighboring points. The shape description vector reflects the protrusion change of the local surface, and the larger the change of the surface, the larger the profit value and the more likely it is the POI. It can be easily determined whether or not the pixel point belongs to an edge point through the shape description vector. In addition, the shape description vector can be set as a description operator of the POI and applied to the feature point matching algorithm.

POI 추출부(130)는 형상 기술 벡터에 기초하여 POI를 추출할 수 있다. POI 추출부(130)는 형상 기술 벡터에 기초하여 이익 값을 계산하고, 계산된 이익 값에 기초하여 3D 포인트 클라우드 데이터에서 POI를 식별할 수 있다.The POI extracting unit 130 can extract the POI based on the shape description vector. The POI extracting unit 130 may calculate the profit value based on the shape description vector, and may identify the POI in the 3D point cloud data based on the calculated profit value.

위와 같은 과정을 통해, 3D 포인트 클라우드 POI 검출 장치(100)는 3D 포인트 클라우드 데이터로부터 POI를 빠르게 검출하고, POI의 특징을 기술하며 에지 포인트를 정확하게 식별한다. 또한, 3D 포인트 클라우드 POI 검출 장치(100)는 3D 포인트의 위치 정보를 통계 분석하므로 곡률과 같은 HOD(differential of higher order) 정보를 계산할 필요 없이 POI를 검출할 수 있다. 따라서, 3D 포인트 클라우드 POI 검출 장치(100)는, 노이즈, 데이터 미싱 홀(missing holes), 또는 포인트 밀도 변화(Point density variation)가 존재하는 3D 포인트 클라우드 데이터를 처리하는 경우에 높은 안정성을 제공하고, 계산의 효율을 향상시킨다.
Through the above process, the 3D point cloud POI detecting apparatus 100 quickly detects the POI from the 3D point cloud data, describes the characteristic of the POI, and accurately identifies the edge point. Also, the 3D point cloud POI detecting apparatus 100 can detect the POI without calculating the differential of higher order (HOD) information such as the curvature by statistically analyzing the position information of the 3D point. Thus, the 3D point cloud POI detection apparatus 100 provides high stability when processing 3D point cloud data in which noise, data missing holes, or point density variation exists, Thereby improving the efficiency of calculation.

도 2는 일실시예에 따른 형상 기술부(120)의 세부 구성을 도시한 도면이다.2 is a view showing a detailed configuration of the shape description unit 120 according to an embodiment.

도 2를 참고하면, 형상 기술부(120)는 로컬 참조 프레임 생성부(210), 유향 거리 분산도 계산부(220), 및 형상 기술 벡터 생성부(230)를 포함할 수 있다.Referring to FIG. 2, the shape description unit 120 may include a local reference frame generation unit 210, a forwarding distance variance calculation unit 220, and a shape description vector generation unit 230.

로컬 참조 프레임 생성부(210)는 3D 포인트 클라우드의 픽셀 포인트에 대한 로컬 참조 프레임(local reference frame)을 생성할 수 있다. 로컬 참조 프레임은 픽셀 포인트의 중심에서의 좌표계 X축, Y축, 및 Z축을 나타낸다.The local reference frame generation unit 210 may generate a local reference frame for the pixel point of the 3D point cloud. The local reference frame represents the coordinate system X-axis, Y-axis, and Z-axis at the center of the pixel point.

예를 들어, 로컬 참조 프레임 생성부(210)는 대상 영역의 중심에 위치한 중심 포인트에 인접한 작은 영역 내 픽셀 포인트들을 이용하여 접평면의 Z축 방향(normal 방향)을 결정할 수 있다. 로컬 참조 프레임 생성부(210)는 픽셀 포인트의 인접 영역 내의 이웃 포인트를 이용하여 X축 방향을 결정할 수 있다. 로컬 참조 프레임 생성부(210)는 복수의 이웃 포인트들에서 접평면까지의 유향 거리를 계산하고, 가장 큰 유향 거리에 대응하는 이웃 포인트를 접평면에 투영시킨 후, 중심 포인트에서 투영된 포인트로 가리키는 방향을 X축 방향으로 결정할 수 있다. 로컬 참조 프레임 생성부(210)는 결정된 Z축 및 X축에 기초하여 Y축 방향을 결정할 수 있다.For example, the local reference frame generation unit 210 may determine the z-axis direction (normal direction) of the tangent plane using pixel points in a small area adjacent to the center point located at the center of the target area. The local reference frame generation unit 210 can determine the X-axis direction using the neighbor point in the adjacent region of the pixel point. The local reference frame generation unit 210 calculates the yaw distance from the plurality of neighbor points to the tangent plane, projects the neighbor point corresponding to the largest yaw distance to the tangent plane, It can be determined in the X-axis direction. The local reference frame generation unit 210 can determine the Y-axis direction based on the determined Z-axis and X-axis.

도 3은 일실시예에 따른 내부 포인트의 로컬 참조 프레임 및 이웃 포인트의 일례를 도시한 도면이다. 도 3에 도시된 바와 같이, 로컬 참조 프레임에 중심 포인트(350)를 기준으로 X축(310), Y축(320), Z축(330)이 나타낸다. 딥 컬러(deep color)로 표시된 포인트들은 이웃 포인트(340)를 나타낸다. 이웃 포인트(340)의 범위를 결정하기 위한 기준(예를 들어, 반지름)은 사용자에 의하여 지정될 수 있다. 예를 들어, 이웃 포인트(340)의 범위를 결정하기 위한 반지름의 범위는 4mr-10mr로 설정될 수 있다. 중심 포인트를 기준으로 반지름 4mr-10mr 사이의 영역에 포함된 포인트들이 이웃 포인트(340)로 결정될 수 있다. 여기서, mr는 3D 포인트 클라우드의 메쉬 해상도(Mesh resolution)로서, 3D 포인트 클라우드에서 서로 인접한 포인트들 간의 평균 거리를 나타낸다. 도 4는 일실시예에 따른 에지 포인트의 로컬 참조 프레임 및 이웃 포인트의 일례를 도시한 도면이다.3 is a diagram illustrating an example of a local reference frame and neighboring points of an internal point according to one embodiment. 3, an X-axis 310, a Y-axis 320, and a Z-axis 330 are represented by a center point 350 in a local reference frame. Points indicated in deep color represent neighboring points 340. [ The criteria (e.g., radius) for determining the range of neighboring points 340 may be specified by the user. For example, the range of radii for determining the range of neighboring point 340 may be set to 4mr-10mr. Points included in an area between radius 4 and 10 mr with respect to the center point may be determined as neighbor point 340. Where mr is the Mesh resolution of the 3D point cloud and represents the average distance between points adjacent to each other in the 3D point cloud. 4 is a diagram illustrating an example of a local reference frame and neighbor points of an edge point according to one embodiment.

다시 도 2로 돌아오면, 유향 거리 분산도 계산부(220)는 픽셀 포인트에 인접한 이웃 포인트에서 픽셀 포인트가 속한 접평면까지의 유향 거리 분산도를 계산할 수 있다. 유향 거리 분산도는 이웃 포인트에서 접평면으로의 투영 방향과 X축의 방향 간의 각도 및 접평면까지의 유향 거리 중 적어도 하나에 관한 정보를 포함할 수 있다. 예를 들어, 각각의 이웃 포인트는 다음의 수학식 1과 같은 매핑 관계에 대응될 수 있다.Referring back to FIG. 2, the drift dispersion calculator 220 may calculate the drift distance dispersion from the neighboring point adjacent to the pixel point to the tangent plane to which the pixel point belongs. The drift dispersion may include information about at least one of an angle between the projection direction from the neighboring point to the tangent plane and the direction of the X axis and a drift distance to the tangent plane. For example, each neighbor point may correspond to a mapping relationship as: < EMI ID = 1.0 >

Figure 112014011301960-pat00001
Figure 112014011301960-pat00001

여기서,

Figure 112014011301960-pat00002
는 픽셀 포인트에서 접평면으로의 투영 방향과 X축의 방향 간의 각도를 나타내고(범위: -
Figure 112014011301960-pat00003
~ +
Figure 112014011301960-pat00004
), d는 픽셀 포인트에서 접평면까지의 유향 거리를 나타낸다. 유향 거리는 양(plus)의 값 또는 음(minus)의 값을 가질 수 있다.here,
Figure 112014011301960-pat00002
Represents the angle between the projection direction from the pixel point to the tangent plane and the direction of the X axis (range:
Figure 112014011301960-pat00003
~ +
Figure 112014011301960-pat00004
), and d represents the drift distance from the pixel point to the tangent plane. The fiducial distance may have a value of plus or a value of minus.

도 5는 일실시예에 따른 내부 포인트의 유향 거리 분산도(또는, distance-angle map)의 일례를 도시한 도면이다. 유향 거리 분산도에서 가로축은 접평면으로의 투영 방향과 X축의 방향 간의 각도(단위: 라디안(radian))를 나타내고, 세로축은 이웃 포인트에서 접평면까지의 유향 거리(단위: mr)를 나타낸다. 도 6은 일실시예에 따른 에지 포인트의 유향 거리 분산도의 일례를 도시한 도면이다.5 is a diagram illustrating an example of a distance-angle map of an internal point according to an embodiment. The abscissa represents the angle (unit: radian) between the projection direction to the tangent plane and the direction of the X axis, and the ordinate represents the yang distance (unit: mr) from the neighboring point to the tangent plane. 6 is a diagram showing an example of a directional dispersion of edge points of an edge point according to an embodiment.

다시 도 2로 돌아오면, 형상 기술 벡터 생성부(230)는 유향 거리 분산도에 기초하여 형상 기술 벡터를 생성할 수 있다. 형상 기술 벡터 생성부(230)는 유향 거리 분산도를 유한 차원(limited dimension)의 벡터로 나타내는 것에 의해 형상 기술 벡터를 생성할 수 있다. 형상 기술 벡터 생성부(230)는 유한 차원의 벡터로 전체의 변화를 표시할 수 있다.2, the shape description vector generation unit 230 may generate the shape description vector based on the direction distance variance. The shape description vector generation unit 230 may generate the shape description vector by expressing the direction distance variance as a vector of a finite dimension. The shape description vector generation unit 230 may display the entire change in the vector of the finite dimension.

형상 기술 벡터 생성부(230)는 유향 거리 분산도를 임의의 자연수 N 개의 구간(interval) 또는 빈(bin)으로 분할하고, 각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합을 계산할 수 있다. 예를 들어, 도 7에 도시된 형상 기술도(700)와 같이, 형상 기술 벡터 생성부(230)는 유향 거리 분산도를 18개(N=18)의 구간으로 분할하고, 각 구간의 포인트 개수(710) 및 각 구간에서의 유향 거리의 합(720)을 계산할 수 있다. 형상 기술 벡터 생성부(230)는 각 구간의 포인트 개수(710) 및 각 구간 내의 유향 거리의 합(720)에 기초하여 형상 기술 벡터를 결정할 수 있다. 도 5는 내부 포인트의 형상 기술도의 일례를 나타내고, 도 8은 에지 포인트의 형상 기술도의 일례를 나타낸다. 도 8에 도시된 형상 기술도(800)에서도, 각 구간의 포인트 개수(810) 및 각 구간에서의 유향 거리의 합(820)이 도시되어 있다.The shape description vector generation unit 230 may divide the direction distance variance into N arbitrary natural number intervals or bins and calculate the number of points in each interval and the sum of the directions distance in each interval. For example, as in the shape description diagram 700 shown in FIG. 7, the shape description vector generation unit 230 divides the directional dispersion degree into 18 sections (N = 18), and calculates the number of points (710) and the sum of the yaw distances (720) in each section. The shape description vector generation unit 230 can determine the shape description vector based on the number of points 710 of each section and the sum 720 of the directions distance 720 in each section. Fig. 5 shows an example of the shape description diagram of the internal points, and Fig. 8 shows an example of the shape description diagram of the edge points. In the shape description diagram 800 shown in FIG. 8, the number of points 810 in each section and the sum 820 of the directions distances in each section are shown.

로컬 참조 프레임이 명확하기 때문에, 형상 기술 벡터 생성부(230)는 유향 거리 분산도에 나타난 통계 정보(각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합)를 형상 기술 벡터로 확장시킬 수 있다. 예를 들어, 각 구간의 포인트 개수(710)들은 벡터

Figure 112014011301960-pat00005
로 정의되고, 각 구간 내의 유향 거리의 합(720)들은 벡터
Figure 112014011301960-pat00006
으로 정의될 수 있다. 여기서, ni는 제i 번째 구간의 포인트 개수를 나타내고, di는 제i 번째 구간의 유향 거리의 합을 나타낸다. 형상 기술 벡터는 N 차원의 벡터
Figure 112014011301960-pat00007
로 정의될 수 있다. 형상 기술 벡터의 각 컴포넌트는 각 구간에 대응하는 평균 유향 거리를 나타낸다. 여기서,
Figure 112014011301960-pat00008
이면, 대응하는 벡터 컴포넌트는 0이고, 형상 기술 벡터를 정규화한 최종의 형상 기술 벡터는
Figure 112014011301960-pat00009
로 나타낼 수 있다.
Since the local reference frame is clear, the shape description vector generating unit 230 can expand the statistical information (the number of points of each section and the sum of the directions distances in each section) shown in the directional dispersion diagram to the shape description vector. For example, the number of points 710 in each section may be a vector
Figure 112014011301960-pat00005
, And the sum of the drift distances 720 in each section is defined as a vector
Figure 112014011301960-pat00006
. ≪ / RTI > Here, n i represents the number of points of the i-th section, and d i represents the sum of the diversion distances of the i-th section. The shape description vector is an N-dimensional vector
Figure 112014011301960-pat00007
. ≪ / RTI > Each component of the shape description vector represents an average directional distance corresponding to each section. here,
Figure 112014011301960-pat00008
, The corresponding vector component is 0, and the final shape description vector obtained by normalizing the shape description vector is
Figure 112014011301960-pat00009
.

도 9는 일실시예에 따른 POI 추출부(130)의 세부 구성을 도시한 도면이다.FIG. 9 is a diagram showing a detailed configuration of the POI extracting unit 130 according to an embodiment.

도 9를 참조하면, POI 추출부(130)는 이익 값(interest value) 계산부(910), 에지 포인트 식별부(920), POI 식별부(930)를 포함할 수 있다. 이익 값이 클수록 POI에 해당될 가능성이 높다. POI는 로컬 표면의 변동이 크고, 형상이 명확하게 식별될 수 있는 영역에 위치할 수 있다.9, the POI extracting unit 130 may include an interest value calculating unit 910, an edge point identifying unit 920, and a POI identifying unit 930. The larger the profit value, the more likely it is to be a POI. The POI can be located in an area where the variation of the local surface is large and the shape can be clearly identified.

이익 값 계산부(910)는 형상 기술 벡터(예를 들어, N 차원의 형상 기술 벡터

Figure 112014011301960-pat00010
)에 기초하여 이익 값을 계산할 수 있다. 예를 들어, 이익 값 계산부(910)는 아래의 수학식 2 내지 수학식 4에 기초한 3가지 방법을 이용하여 이익 값을 계산할 수 있다.The profit value calculation unit 910 calculates the profit value of the shape description vector (for example,
Figure 112014011301960-pat00010
). ≪ / RTI > For example, the profit value calculation unit 910 may calculate the profit value using the three methods based on the following Equations (2) to (4).

Figure 112014011301960-pat00011
Figure 112014011301960-pat00011

수학식 2를 이용한 방법 (1)에서, 이익 값은 형상 기술 벡터 D i 의 평균 값과 분산의 곱으로 정의될 수 있다. 여기서,

Figure 112014011301960-pat00012
는 형상 기술 벡터의 컴포넌트
Figure 112014011301960-pat00013
의 평균값이고,
Figure 112014011301960-pat00014
는 형상 기술 벡터의 컴포넌트
Figure 112014011301960-pat00015
의 분산값이다.In the method (1) using Equation (2), the profit value can be defined as the product of the average value of the shape description vector D i and the variance. here,
Figure 112014011301960-pat00012
Is a component of the shape description vector
Figure 112014011301960-pat00013
≪ / RTI >
Figure 112014011301960-pat00014
Is a component of the shape description vector
Figure 112014011301960-pat00015
.

Figure 112014011301960-pat00016
Figure 112014011301960-pat00016

수학식 3을 이용한 방법 (2)에서, 이익 값은 형상 기술 벡터에 포함된 컴포넌트들

Figure 112014011301960-pat00017
쌍이 가지는 가장 큰 변화율로 정의될 수 있다. 여기서,
Figure 112014011301960-pat00018
,
Figure 112014011301960-pat00019
는 형상 기술 벡터의 컴포넌트를 나타내고, N은 형상 기술 벡터의 차원을 나타낸다.In the method (2) using Equation (3), the profit value is calculated using the components included in the shape description vector
Figure 112014011301960-pat00017
The pair can be defined as the greatest rate of change. here,
Figure 112014011301960-pat00018
,
Figure 112014011301960-pat00019
Denotes the component of the shape description vector, and N denotes the dimension of the shape description vector.

Figure 112014011301960-pat00020
Figure 112014011301960-pat00020

수학식 4를 이용한 방법 (3)에서, 이익 값은 형상 기술 벡터의 컴포넌트들 중 인접한 컴포넌트들 간의 차이를 누적한 값으로 정의될 수 있다. 여기서,

Figure 112014011301960-pat00021
,
Figure 112014011301960-pat00022
는 형상 기술 벡터의 컴포넌트를 나타내고, N은 형상 기술 벡터의 차원을 나타낸다.In the method (3) using Equation (4), the profit value can be defined as a value obtained by accumulating differences between adjacent components among the components of the shape description vector. here,
Figure 112014011301960-pat00021
,
Figure 112014011301960-pat00022
Denotes the component of the shape description vector, and N denotes the dimension of the shape description vector.

에지 포인트 식별부(920)는 형상 기술 벡터에서 제로 컴포넌트(zero component)의 개수를 판단하고, 픽셀 포인트가 에지 포인트 또는 에지 근처에 속하는지 여부를 결정할 수 있다. 예를 들어, 에지 포인트 식별부(920)는 N 차원 형상 기술 벡터에서 제로 컴포넌트의 개수를 판단하고, 판단된 제로 컴포넌트의 개수를 임계값과 비교할 수 있다. 에지 포인트 식별부(920)는 제로 컴포넌트의 개수가 임계값보다 크다고 판단되면, 픽셀 포인트가 에지 포인트에 속하거나 도는 에지 근처에 속한다고 결정할 수 있다. 임계값은 사용자에 의하여 설정되거나 임의로 변경될 수 있다. 도 10은 일실시예에 따른 에지 포인트 식별부(920)에 의해 수행된 에지 포인트의 검출 결과의 일례를 도시한 도면이다. 도 10에서, 영역(1010)은 에지 포인트 또는 에지 근처가 속하는 영역을 나타낸다.The edge point identification unit 920 can determine the number of zero components in the shape description vector and determine whether the pixel point is near the edge point or edge. For example, the edge point identification unit 920 can determine the number of zero components in the N-dimensional shape description vector, and compare the number of determined zero components with a threshold value. The edge point identification unit 920 can determine that the pixel point belongs to an edge point or belongs to an edge if it is determined that the number of zero components is larger than the threshold value. The threshold value may be set by the user or arbitrarily changed. 10 is a diagram showing an example of the detection result of the edge point performed by the edge point identification unit 920 according to the embodiment. In Fig. 10, an area 1010 represents an edge point or an area to which an edge vicinity belongs.

POI 식별부(930)는 계산된 이익 값에 기초하여 POI를 식별할 수 있다. POI 식별부(930)는 로컬 이웃 범위 내에서 큰 이익 값을 가진 포인트를 POI로 결정할 수 있다. 예를 들어, POI 식별부(930)는 로컬 이웃 범위 내에서 POI의 희소성(sparseness) 기준을 만족시키는 포인트를 선택하고, 선택된 포인트를 POI로 결정할 수 있다.The POI identification unit 930 can identify the POI based on the calculated profit value. The POI identification unit 930 can determine a POI having a large profit value within the local neighborhood range. For example, the POI identifier 930 may select a point that satisfies the sparseness criterion of the POI within the local neighborhood range and determine the selected point as a POI.

POI 식별부(930)는 가우스 스무스(Gauss smooth) 등의 스무스 기법을 이용하여 이익 값 계산부(910)에 의하여 계산된 이익 값에 스무스 처리를 수행할 수 있다. 스무스 처리에 의하여 노이즈로 인한 로컬 계산 에러(error)의 발생을 방지할 수 있다. The POI identification unit 930 may perform smoothing on the profit value calculated by the profit value calculation unit 910 using a smoothing technique such as Gauss smooth. It is possible to prevent occurrence of a local calculation error due to noise by the smoothing process.

POI 식별부(930)는 Non-maximum Suppression 기법을 이용하여 로컬 범위 내에서 가장 큰 이익 값을 가진 포인트를 선택할 수 있다. POI 식별부(930)는 이웃 반지름에 의하여 POI 간의 거리 간격을 제어할 수 있다. POI 식별부(930)는 가장 큰 이익 값을 가진 포인트를 초기 3D 포인트 클라우드에서 가장 가까운 픽셀 포인트에 매핑하여 최종의 POI를 결정할 수 있다. POI 식별부(930)는 Non-maximum Suppression 기법을 이용하여 선택된 포인트와 가장 거리가 가까운 초기 3D 포인트 클라우드 내 픽셀 포인트를 최종의 POI로 결정할 수 있다.The POI identification unit 930 can select a point having the largest profit value within the local range by using the non-maximum suppression technique. The POI identification unit 930 can control the distance between the POIs according to the neighbor radius. The POI identifying unit 930 can determine the final POI by mapping the point having the greatest profit value to the closest pixel point in the initial 3D point cloud. The POI identification unit 930 can determine the final POI in the initial 3D point cloud that is closest to the selected point using the non-maximum suppression technique.

여기서, 에지 포인트 또는 에지 근처의 포인트를 후보 POI로 설정할지 여부는 실제 응용의 필요성에 의해 결정될 수 있다. 내부 특징이 명확하지 않는 데이터에서 에지 포인트 또는 에지 근처의 포인트를 후보 POI로 설정하는 경우, 모든 포인트에 대한 이익 값을 계산하여 POI를 식별 및 포지셔닝(positioning)해야 할 필요가 있다. 또는, 임의의 기존 방법으로 이익 값을 계산하고, POI를 식별 및 포지셔닝할 수도 있다.
Here, whether to set an edge point or a point near the edge to the candidate POI can be determined by the necessity of an actual application. When setting an edge point or a point near an edge to a candidate POI in data whose internal characteristics are unclear, it is necessary to calculate and calculate a profit value for all points to identify and position the POI. Alternatively, the profit value may be calculated and any POI may be identified and positioned in any conventional manner.

도 11은 일실시예에 따른 3D 포인트 클라우드 POI 검출 방법을 도시한 흐름도이다.11 is a flowchart illustrating a 3D point cloud POI detection method according to an embodiment.

단계(1110)에서, 3D 포인트 클라우드 POI 검출 장치는 3D 포인트 클라우드 데이터를 획득할 수 있다. 3D 포인트 클라우드 데이터는 다양한 형식의 3D 포인트 클라우드 데이터를 포함할 수 있다.In step 1110, the 3D point cloud POI detection device may obtain 3D point cloud data. 3D point cloud data can include 3D point cloud data in various formats.

다른 실시예에 따르면, 3D 포인트 클라우드 POI 검출 장치는 3D 포인트 클라우드 데이터에 대하여 전처리 과정(미도시)을 수행할 수 있다. 예를 들어, 3D 포인트 클라우드 POI 검출 장치는3D 포인트 클라우드 데이터에 대해 노이즈 제거, 이상치 포인트 제거, 다운 샘플링 처리 등의 프로세스를 수행할 수 있다.According to another embodiment, the 3D point cloud POI detection apparatus may perform a preprocessing process (not shown) on the 3D point cloud data. For example, a 3D point cloud POI detection apparatus can perform processes such as noise elimination, outlier detection, and downsampling processing on 3D point cloud data.

단계(1120)에서, 3D 포인트 클라우드 POI 검출 장치는 3D 포인트 클라우드의 픽셀 포인트와 픽셀 포인트에 인접한 이웃 포인트가 포함된 표면의 형상을 기술하는 형상 기술 벡터를 생성할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 픽셀 포인트의 이웃 포인트에서 픽셀 포인트가 포함된 접평면까지의 유향 거리에 관한 분산 정보를 이용하여 형상 기술 벡터를 생성할 수 있다.In step 1120, the 3D point cloud POI detection device may generate a shape description vector that describes the shape of the surface including the pixel points of the 3D point cloud and neighboring points adjacent to the pixel points. The 3D point cloud POI detection apparatus can generate the shape description vector using the variance information about the yaw distance from the neighboring point of the pixel point to the tangent plane containing the pixel point.

단계(1130)에서, 3D 포인트 클라우드 POI 검출 장치는 형상 기술 벡터에 기초하여 POI를 추출할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 형상 기술 벡터에 기초하여 이익 값을 계산하고, 계산된 이익 값에 기초하여 3D 포인트 클라우드 데이터에서 POI를 식별할 수 있다.
In step 1130, the 3D point cloud POI detection device may extract the POI based on the shape description vector. The 3D point cloud POI detection apparatus can calculate the profit value based on the shape description vector, and can identify the POI in the 3D point cloud data based on the calculated profit value.

도 12는 일실시예에 따른 형상 기술 벡터를 생성하는 과정을 도시한 흐름도이다.12 is a flowchart illustrating a process of generating a shape description vector according to an embodiment.

단계(1210)에서, 3D 포인트 클라우드 POI 검출 장치는 3D 포인트 클라우드의 픽셀 포인트에 대한 로컬 참조 프레임을 생성할 수 있다. 로컬 참조 프레임은 픽셀 포인트의 중심에서의 좌표계 X축, Y축, 및 Z축을 나타낸다.In step 1210, the 3D point cloud POI detection device may generate a local reference frame for the pixel point of the 3D point cloud. The local reference frame represents the coordinate system X-axis, Y-axis, and Z-axis at the center of the pixel point.

단계(1220)에서, 3D 포인트 클라우드 POI 검출 장치는 픽셀 포인트의 이웃 포인트에서 픽셀 포인트가 속한 접평면까지의 유향 거리 분산도를 계산할 수 있다. 유향 거리 분산도는 이웃 포인트에서 접평면으로의 투영 방향과 X축의 방향 간의 각도 및 접평면까지의 유향 거리 중 적어도 하나에 관한 정보를 포함할 수 있다.In step 1220, the 3D point cloud POI detection device may calculate the drift distance variance from the neighboring point of the pixel point to the tangent plane to which the pixel point belongs. The drift dispersion may include information about at least one of an angle between the projection direction from the neighboring point to the tangent plane and the direction of the X axis and a drift distance to the tangent plane.

단계(1230)에서, 3D 포인트 클라우드 POI 검출 장치는 유향 거리 분산도에 기초하여 형상 기술 벡터를 생성할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 유향 거리 분산도를 유한 차원의 벡터로 나타내는 것에 의해 형상 기술 벡터를 생성할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 유향 거리 분산도를 임의의 자연수 N 개의 구간으로 분할하고, 각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합을 계산할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합에 기초하여 형상 기술 벡터를 결정할 수 있다.
In step 1230, the 3D point cloud POI detection device may generate the shape description vector based on the directional distance variance. The 3D point cloud POI detection apparatus can generate the shape description vector by expressing the direction distance variance as a vector of the finite dimension. The 3D point cloud POI detection apparatus can divide the drift dispersion into N arbitrary natural number intervals, and calculate the number of points in each section and the sum of the drift distances in each section. The 3D point cloud POI detection apparatus can determine the shape description vector based on the number of points in each section and the sum of the directions distances in each section.

도 13은 일실시예에 따른 POI를 추출하는 과정을 도시한 흐름도이다.13 is a flowchart illustrating a process of extracting a POI according to an embodiment.

단계(1310)에서, 3D 포인트 클라우드 POI 검출 장치는 형상 기술 벡터에 기초하여 이익 값을 계산할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 형상 기술 벡터의 평균값과 분산의 곱, 형상 기술 벡터에 포함된 컴포넌트들 쌍이 가지는 가장 큰 변화율, 및 형상 기술 벡터의 컴포넌트들 중 인접한 컴포넌트들 간의 차이를 누적한 값 중 어느 하나를 이익 값으로 계산할 수 있다.In step 1310, the 3D point cloud POI detection device may calculate the profit value based on the shape description vector. The 3D point cloud POI detection apparatus calculates the difference between the mean value of the shape description vector and the product of variance, the largest change rate of the pair of components included in the shape description vector, and the accumulated value of the differences between adjacent components among the components of the shape description vector. One can be calculated as a profit value.

단계(1320)에서, 3D 포인트 클라우드 POI 검출 장치는 형상 기술 벡터에서 제로 컴포넌트의 개수를 판단하고, 픽셀 포인트가 에지 포인트 또는 에지 근처에 속하는지 여부를 결정할 수 있다.In step 1320, the 3D point cloud POI detection device may determine the number of zero components in the shape description vector and determine whether the pixel point belongs to an edge point or edge.

단계(1330)에서, 3D 포인트 클라우드 POI 검출 장치는 계산된 이익 값에 기초하여 POI를 식별할 수 있다. 3D 포인트 클라우드 POI 검출 장치는 로컬 이웃 범위 내에서 큰 이익 값을 가진 포인트를 POI로 결정할 수 있다. 예를 들어, 3D 포인트 클라우드 POI 검출 장치는 로컬 이웃 범위 내에서 POI의 희소성 기준을 만족시키는 포인트를 선택하고, 선택된 포인트를 POI로 결정할 수 있다. 도 14는 일실시예에 따른 3D 포인트 클라우드에서 POI를 검출한 결과의 일례를 도시한 도면이다.In step 1330, the 3D point cloud POI detection device may identify the POI based on the calculated profit value. The 3D point cloud POI detection apparatus can determine a POI having a large profit value within the local neighborhood range. For example, the 3D point cloud POI detection device may select a point that satisfies the scarcity criterion of the POI within the local neighborhood range and determine the selected point as a POI. FIG. 14 is a diagram illustrating an example of a result of detecting a POI in a 3D point cloud according to an embodiment.

실시예에 따른 동작은 하나 이상의 프로세서(processor)에 의해 수행될 수 있고, 또는 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Operations according to embodiments may be performed by one or more processors, or may be implemented in the form of program instructions that may be executed on various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (18)

3D 포인트 클라우드 데이터(3D point cloud data)를 획득하는 3D 포인트 클라우드 데이터 획득부;
3D 포인트 클라우드의 픽셀 포인트와 상기 픽셀 포인트에 인접한 이웃 포인트(neighborhood point)가 포함된 표면의 형상을 기술하는 형상 기술 벡터(shape description vector)를 생성하는 형상 기술부; 및
POI(point of interest) 추출부를 포함하고,
상기 POI 추출부는,
상기 형상 기술 벡터에 기초하여 픽셀 포인트가 에지 포인트(edge point) 또는 에지 근처에 속하는지 여부를 결정하고,
상기 픽셀 포인트가 에지 포인트(edge point) 또는 에지 근처에 속하는지 여부, 상기 생성된 형상 기술 벡터에 기초하여 계산된 이익 값에 기초하여 POI를 식별하고,
상기 이익 값은 상기 표면의 변화를 나타내는, 3D 포인트 클라우드 POI 검출 장치.
A 3D point cloud data acquisition unit for acquiring 3D point cloud data;
A shape description unit for generating a shape description vector describing a shape of a surface including a pixel point of a 3D point cloud and a neighborhood point adjacent to the pixel point; And
A point of interest (POI) extraction unit,
The POI extracting unit,
Determining whether a pixel point is near an edge point or edge based on the shape description vector,
Determining whether the pixel point belongs to an edge point or an edge, identifying a POI based on a calculated profit value based on the generated shape description vector,
Wherein the gain value represents a change in the surface.
제1항에 있어서,
상기 형상 기술부는,
상기 이웃 포인트에서 상기 픽셀 포인트가 포함된 접평면(tangent plane)까지의 유향 거리(directed distance)에 관한 분산 정보를 이용하여 상기 형상 기술 벡터를 생성하는 3D 포인트 클라우드 POI 검출 장치.
The method according to claim 1,
The shape-
And generates the shape description vector using variance information about a directed distance from the neighbor point to a tangent plane including the pixel point.
제1항에 있어서,
상기 형상 기술부는,
상기 3D 포인트 클라우드의 픽셀 포인트에 대한 로컬 참조 프레임(local reference frame)을 생성하는 로컬 참조 프레임 생성부;
상기 픽셀 포인트에 인접한 이웃 포인트에서 상기 픽셀 포인트가 속한 접평면까지의 유향 거리 분산도(directed distance scatter diagram)를 계산하는 유향 거리 분산도 계산부; 및
상기 유향 거리 분산도를 유한 차원(limited dimension)의 벡터로 나타내는 것에 의해 형상 기술 벡터를 생성하는 형상 기술 벡터 생성부
를 포함하는 3D 포인트 클라우드 POI 검출 장치.
The method according to claim 1,
The shape-
A local reference frame generator for generating a local reference frame for a pixel point of the 3D point cloud;
Calculating a directed distance scatter diagram from a neighboring point adjacent to the pixel point to a tangent plane to which the pixel point belongs; And
And a shape description vector generation unit for generating shape description vectors by expressing the directivity dispersion degree as a vector of a finite dimension (limited dimension)
And a 3D point cloud POI detection device.
제3항에 있어서,
상기 로컬 참조 프레임은, 상기 픽셀 포인트의 중심에서의 좌표계 X축, Y축, 및 Z축을 나타내고,
상기 유향 거리 분산도는, 상기 이웃 포인트에서 접평면으로의 투영 방향과 X축의 방향 간의 각도, 및 상기 접평면까지의 유향 거리 중 적어도 하나에 관한 정보를 포함하는 3D 포인트 클라우드 POI 검출 장치.
The method of claim 3,
Wherein the local reference frame represents a coordinate system X-axis, Y-axis, and Z-axis at the center of the pixel point,
Wherein the drift dispersion diagram includes information about at least one of an angle between a projection direction from the neighboring point to a tangent plane and a direction of the X axis and a drift distance to the tangent plane.
제3항에 있어서,
상기 형상 기술 벡터 생성부는,
상기 유향 거리 분산도를 임의의 자연수 N 개의 구간(interval)으로 분할하고, 각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합에 기초하여 형상 기술 벡터를 결정하는 3D 포인트 클라우드 POI 검출 장치.
The method of claim 3,
The shape description vector generation unit may include:
Wherein the shape description vector is determined based on a sum of the number of points in each section and the number of directions in each section, and divides the FRDT into N arbitrary natural number intervals.
제1항에 있어서,
상기 POI 추출부는,
상기 생성된 형상 기술 벡터에 기초하여 상기 이익 값을 계산하는 이익 값 계산부;
상기 형상 기술 벡터에서 제로 컴포넌트(zero component)의 개수를 판단하고, 상기 픽셀 포인트가 상기 에지 포인트 또는 상기 에지 근처에 속하는지 여부를 결정하는 에지 포인트 식별부; 및
상기 계산된 이익 값에 기초하여 POI를 식별하는 POI 식별부
를 포함하는 3D 포인트 클라우드 POI 검출 장치.
The method according to claim 1,
The POI extracting unit,
A profit value calculator for calculating the profit value based on the generated shape description vector;
An edge point identification unit for determining the number of zero components in the shape description vector and determining whether the pixel point belongs to the edge point or the edge; And
A POI identification unit for identifying a POI based on the calculated profit value,
And a 3D point cloud POI detection device.
제6항에 있어서,
상기 이익 값 계산부는,
형상 기술 벡터의 평균값과 분산의 곱, 형상 기술 벡터에 포함된 컴포넌트들 쌍이 가지는 가장 큰 변화율, 및 형상 기술 벡터의 컴포넌트들 중 인접한 컴포넌트들 간의 차이를 누적한 값 중 어느 하나를 이익 값으로 계산하는 3D 포인트 클라우드 POI 검출 장치.
The method according to claim 6,
The profit value calculation unit may calculate,
One of the product of the average value and the variance of the shape description vector, the largest change rate of the pair of components included in the shape description vector, and the value of the difference between adjacent components among the components of the shape description vector is calculated as a profit value 3D point cloud POI detection device.
제1항에 있어서,
상기 3D 포인트 클라우드 데이터 획득부는,
상기 획득된 3D 포인트 클라우드 데이터에 전처리 과정을 수행하는 3D 포인트 클라우드 데이터 전처리부
를 포함하는 3D 포인트 클라우드 POI 검출 장치.
The method according to claim 1,
Wherein the 3D point cloud data obtaining unit comprises:
A 3D point cloud data preprocessing unit for preprocessing the obtained 3D point cloud data,
And a 3D point cloud POI detection device.
제8항에 있어서,
상기 3D 포인트 클라우드 데이터 전처리부는,
상기 획득된 3D 포인트 클라우드 데이터에 대해 노이즈 제거, 이상치 포인트(outlier point) 제거, 및 다운 샘플링 중 적어도 하나를 수행하는 3D 포인트 클라우드 POI 검출 장치.
9. The method of claim 8,
The 3D point cloud data pre-
And performs at least one of noise removal, outlier point removal, and downsampling on the obtained 3D point cloud data.
3D 포인트 클라우드 데이터(3D point cloud data)를 획득하는 단계;
3D 포인트 클라우드의 픽셀 포인트와 상기 픽셀 포인트에 인접한 이웃 포인트(neighborhood point)가 포함된 표면의 형상을 기술하는 형상 기술 벡터(shape description vector)를 생성하는 단계; 및
POI(point of interest)를 식별하는 단계를 포함하고,
상기 POI를 식별하는 단계는,
상기 형상 기술 벡터에 기초하여 픽셀 포인트가 에지 포인트(edge point) 또는 에지 근처에 속하는지 여부를 결정하고,
상기 픽셀 포인트가 에지 포인트(edge point) 또는 에지 근처에 속하는지 여부, 상기 생성된 형상 기술 벡터에 기초하여 계산된 이익 값에 기초하여 POI를 식별하고,
상기 이익 값은 상기 표면의 변화를 나타내는, 3D 포인트 클라우드 POI 검출 방법.
Obtaining 3D point cloud data;
Generating a shape description vector describing a shape of a surface including a pixel point of a 3D point cloud and a neighborhood point adjacent to the pixel point; And
Identifying a point of interest (POI)
Wherein identifying the POI comprises:
Determining whether a pixel point is near an edge point or edge based on the shape description vector,
Determining whether the pixel point belongs to an edge point or an edge, identifying a POI based on a calculated profit value based on the generated shape description vector,
Wherein the profit value is indicative of a change in the surface of the 3D point cloud.
제10항에 있어서,
상기 형상 기술 벡터를 생성하는 단계는,
상기 이웃 포인트에서 상기 픽셀 포인트가 포함된 접평면 (Tangent plane)까지의 유향 거리(directed distance)에 관한 분산 정보를 이용하여 상기 형상 기술 벡터를 생성하는 단계
를 포함하는 3D 포인트 클라우드 POI 검출 방법.
11. The method of claim 10,
Wherein the generating the shape description vector comprises:
Generating the shape description vector using variance information about a directed distance from the neighbor point to a tangent plane containing the pixel point;
Gt; POI < / RTI >
제10항에 있어서,
상기 형상 기술 벡터를 생성하는 단계는,
상기 3D 포인트 클라우드의 픽셀 포인트에 대한 로컬 참조 프레임(local reference frame)을 생성하는 단계;
상기 픽셀 포인트에 인접한 이웃 포인트에서 상기 픽셀 포인트가 속한 접평면까지의 유향 거리 분산도(directed distance scatter diagram)를 계산하는 단계; 및
상기 유향 거리 분산도를 유한 차원(limited dimension)의 벡터로 나타내는 것에 의해 형상 기술 벡터를 생성하는 단계
를 포함하는 3D 포인트 클라우드 POI 검출 방법.
11. The method of claim 10,
Wherein the generating the shape description vector comprises:
Generating a local reference frame for a pixel point of the 3D point cloud;
Calculating a directed distance scatter diagram from a neighboring point adjacent to the pixel point to a tangent plane to which the pixel point belongs; And
Generating the shape description vector by expressing the directional dispersion index as a vector of a finite dimension
Gt; POI < / RTI >
제12항에 있어서,
상기 로컬 참조 프레임은, 상기 픽셀 포인트의 중심에서의 좌표계 X축, Y축, 및 Z축을 나타내고,
상기 유향 거리 분산도는, 상기 이웃 포인트에서 접평면으로의 투영 방향과 X축의 방향 간의 각도, 및 상기 접평면까지의 유향 거리 중 적어도 하나에 관한 정보를 포함하는 3D 포인트 클라우드 POI 검출 방법.
13. The method of claim 12,
Wherein the local reference frame represents a coordinate system X-axis, Y-axis, and Z-axis at the center of the pixel point,
Wherein the directional scatter diagram includes information about at least one of an angle between a projection direction from the neighbor point to a tangent plane and a direction of the X axis and a directional distance to the tangent plane.
제12항에 있어서,
상기 형상 기술 벡터를 생성하는 단계는,
상기 유향 거리 분산도를 임의의 자연수 N 개의 구간(interval)으로 분할하는 단계;
각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합을 계산하는 단계; 및
상기 각 구간의 포인트 개수 및 각 구간 내의 유향 거리의 합에 기초하여 형상 기술 벡터를 결정하는 단계
를 포함하는 3D 포인트 클라우드 POI 검출 방법.
13. The method of claim 12,
Wherein the generating the shape description vector comprises:
Dividing the drift dispersion into N arbitrary natural number intervals;
Calculating the sum of the number of points in each section and the number of directions in each section; And
Determining a shape description vector based on the number of points of each section and the sum of the directions distances within each section
Gt; POI < / RTI >
제10항에 있어서,
상기 POI를 식별하는 단계는,
상기 생성된 형상 기술 벡터에 기초하여 상기 이익 값을 계산하는 단계;
상기 형상 기술 벡터에서 제로 컴포넌트(zero component)의 개수를 판단하고, 상기 픽셀 포인트가 상기 에지 포인트 또는 상기 에지 근처에 속하는지 여부를 결정하는 단계; 및
상기 계산된 이익 값에 기초하여 POI를 식별하는 단계
를 포함하는 3D 포인트 클라우드 POI 검출 방법.
11. The method of claim 10,
Wherein identifying the POI comprises:
Calculating the profit value based on the generated shape description vector;
Determining a number of zero components in the shape description vector and determining whether the pixel point belongs to the edge point or near the edge; And
Identifying the POI based on the calculated profit value
Gt; POI < / RTI >
제15항에 있어서,
상기 이익 값을 계산하는 단계는,
형상 기술 벡터의 평균값과 분산의 곱, 형상 기술 벡터에 포함된 컴포넌트들 쌍이 가지는 가장 큰 변화율, 및 형상 기술 벡터의 컴포넌트들 중 인접한 컴포넌트들 간의 차이를 누적한 값 중 어느 하나를 이익 값으로 계산하는 단계
를 포함하는 3D 포인트 클라우드 POI 검출 방법.
16. The method of claim 15,
Wherein the calculating the profit value comprises:
One of the product of the average value and the variance of the shape description vector, the largest change rate of the pair of components included in the shape description vector, and the value of the difference between adjacent components among the components of the shape description vector is calculated as a profit value step
Gt; POI < / RTI >
제10항에 있어서,
상기 3D 포인트 클라우드 데이터를 획득하는 단계는,
상기 획득된 3D 포인트 클라우드 데이터에 전처리 과정을 수행하는 단계를 포함하고,
상기 전처리 과정을 수행하는 단계는, 상기 획득된 3D 포인트 클라우드 데이터에 대해 노이즈 제거, 이상치 포인트(outlier point) 제거, 및 다운 샘플링 중 적어도 하나를 수행하는 3D 포인트 클라우드 POI 검출 방법.
11. The method of claim 10,
Wherein acquiring the 3D point cloud data comprises:
And performing a preprocessing process on the obtained 3D point cloud data,
Wherein the pre-processing step performs at least one of noise removal, outlier point removal, and down-sampling on the obtained 3D point cloud data.
제10항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the method of claim 10 is recorded.
KR1020140012990A 2013-11-05 2014-02-05 Method and apparatus for poi detection in 3d point clouds KR101822185B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/324,450 US9547901B2 (en) 2013-11-05 2014-07-07 Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310541258.8 2013-11-05
CN201310541258.8A CN104616278B (en) 2013-11-05 2013-11-05 Three-dimensional point cloud interest point detection method and system

Publications (2)

Publication Number Publication Date
KR20150051854A KR20150051854A (en) 2015-05-13
KR101822185B1 true KR101822185B1 (en) 2018-01-26

Family

ID=53150711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140012990A KR101822185B1 (en) 2013-11-05 2014-02-05 Method and apparatus for poi detection in 3d point clouds

Country Status (2)

Country Link
KR (1) KR101822185B1 (en)
CN (1) CN104616278B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101860A (en) * 2019-02-19 2020-08-28 인피니언 테크놀로지스 아게 Random hardware fault and degradation protection apparatus for time-of-flight receiver
KR20220144718A (en) * 2021-04-20 2022-10-27 아주대학교산학협력단 Method and system for classifying image

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640228B1 (en) * 2016-01-14 2016-07-22 와파시스템 주식회사 Pipe drawings generating system, pipe drawings generating method and recording medium
CN105844639B (en) * 2016-03-24 2019-04-12 四川大学 A kind of depth map fusion based on geometrical constraint and point cloud filter method
EP3444783A1 (en) * 2017-08-17 2019-02-20 ABB Schweiz AG Robotic systems and methods for operating a robot
CN108010116B (en) * 2017-11-30 2021-02-09 西南科技大学 Point cloud feature point detection method and point cloud feature extraction method
CN111327906B (en) * 2018-12-13 2022-08-09 华为技术有限公司 Point cloud coding and decoding method and coder-decoder
KR102276369B1 (en) * 2019-12-27 2021-07-12 중앙대학교 산학협력단 3D Point Cloud Reliability Determining System and Method
KR102354359B1 (en) 2020-02-11 2022-01-21 한국전자통신연구원 Method of removing outlier of point cloud and appraratus implementing the same
CN111626096B (en) * 2020-04-08 2023-08-08 南京航空航天大学 Three-dimensional point cloud data interest point extraction method
KR102295084B1 (en) * 2020-12-17 2021-08-27 주식회사 리안컴퍼니 A method of correcting scanned image for digital restoration of cultural properties and a system for the same
KR102655213B1 (en) * 2021-07-08 2024-04-05 한국과학기술원 Noise filtering method for point cloud of 4 dimensional radar and data processing apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003127A (en) 2009-06-22 2011-01-06 Toyota Industries Corp Method and device for determining shape coincidence in three dimensions
US20120075342A1 (en) * 2010-09-24 2012-03-29 Maha El Choubassi Augmenting image data based on related 3d point cloud data
US20120099782A1 (en) * 2010-10-20 2012-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20120206438A1 (en) * 2011-02-14 2012-08-16 Fatih Porikli Method for Representing Objects with Concentric Ring Signature Descriptors for Detecting 3D Objects in Range Images

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945289B (en) * 2012-11-30 2016-01-06 苏州搜客信息技术有限公司 Based on the image search method of CGCI-SIFT local feature
CN103065354A (en) * 2012-12-24 2013-04-24 中国科学院深圳先进技术研究院 Device and method for point cloud optimization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003127A (en) 2009-06-22 2011-01-06 Toyota Industries Corp Method and device for determining shape coincidence in three dimensions
US20120075342A1 (en) * 2010-09-24 2012-03-29 Maha El Choubassi Augmenting image data based on related 3d point cloud data
US20120099782A1 (en) * 2010-10-20 2012-04-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20120206438A1 (en) * 2011-02-14 2012-08-16 Fatih Porikli Method for Representing Objects with Concentric Ring Signature Descriptors for Detecting 3D Objects in Range Images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feature sensitive surface extraction from volume data, Proceedings of the 28th annual conference on Computer graphics and interactive techniques. ACM(2001)*
Point Feature Extraction on 3D Range Scans Taking into Account Object Boundaries, Robotics and automation(ICRA), 2011 ieee international conference(2011)*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101860A (en) * 2019-02-19 2020-08-28 인피니언 테크놀로지스 아게 Random hardware fault and degradation protection apparatus for time-of-flight receiver
KR102357873B1 (en) * 2019-02-19 2022-02-04 인피니언 테크놀로지스 아게 Random hardware fault and degradation protection apparatus for time-of-flight receiver
US11555899B2 (en) 2019-02-19 2023-01-17 Infineon Technologies Ag Random hardware fault and degradation protection apparatus for time-of-flight receiver
KR20220144718A (en) * 2021-04-20 2022-10-27 아주대학교산학협력단 Method and system for classifying image
KR102583675B1 (en) 2021-04-20 2023-09-27 아주대학교산학협력단 Method and system for classifying image

Also Published As

Publication number Publication date
CN104616278A (en) 2015-05-13
CN104616278B (en) 2020-03-17
KR20150051854A (en) 2015-05-13

Similar Documents

Publication Publication Date Title
KR101822185B1 (en) Method and apparatus for poi detection in 3d point clouds
US9547901B2 (en) Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds
EP2249311B1 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
Dinh et al. Computer vision-based method for concrete crack detection
JP5822255B2 (en) Object identification device and program
US9142011B2 (en) Shadow detection method and device
KR101283262B1 (en) Method of image processing and device thereof
KR101495333B1 (en) Apparatus and method for detecting obstacles
KR101609303B1 (en) Method to calibrate camera and apparatus therefor
EP2779025B1 (en) Method and system for detecting road edge
Cheng et al. Building boundary extraction from high resolution imagery and lidar data
CN111487641A (en) Method and device for detecting object by using laser radar, electronic equipment and storage medium
US20100315419A1 (en) Systems and Methods for Estimating a Parameter for a 3D model
CN107862735B (en) RGBD three-dimensional scene reconstruction method based on structural information
EP2757529B1 (en) Systems and methods for 3D data based navigation using descriptor vectors
EP3324359B1 (en) Image processing device and image processing method
Qu et al. Evaluation of SIFT and SURF for vision based localization
JP6172432B2 (en) Subject identification device, subject identification method, and subject identification program
Arachchige et al. Automatic processing of mobile laser scanner point clouds for building facade detection
EP2677462B1 (en) Method and apparatus for segmenting object area
JP5928010B2 (en) Road marking detection apparatus and program
KR102494552B1 (en) a Method for Indoor Reconstruction
JP6815793B2 (en) Rectangular area detection method, rectangular area detection device and program
KR101910256B1 (en) Lane Detection Method and System for Camera-based Road Curvature Estimation
Kovacs et al. Edge detection in discretized range images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant