KR20130128097A - Object recognition method and apparatus using depth information - Google Patents
Object recognition method and apparatus using depth information Download PDFInfo
- Publication number
- KR20130128097A KR20130128097A KR1020120051871A KR20120051871A KR20130128097A KR 20130128097 A KR20130128097 A KR 20130128097A KR 1020120051871 A KR1020120051871 A KR 1020120051871A KR 20120051871 A KR20120051871 A KR 20120051871A KR 20130128097 A KR20130128097 A KR 20130128097A
- Authority
- KR
- South Korea
- Prior art keywords
- recognition
- clusters
- recognized
- color
- depth
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 물체 인식 방법 및 장치에 관한 것으로, 더욱 상세하게는 깊이 정보를 이용한 물체 인식 방법 및 장치에 관한 것이다.
The present invention relates to an object recognition method and apparatus, and more particularly, to an object recognition method and apparatus using depth information.
촬영된 이미지에서 찾고자 하는 물체가 존재하는지 여부를 인식하기 위한 방법으로 특징점 매칭 기법이 주로 이용되고 있다.Feature point matching is mainly used as a method for recognizing whether an object to be found exists in a captured image.
이 기법은 이미지 상에서 찾고자 하는 물체의 존재여부는 물론 존재 위치까지 비교적 정확하게 알아낼 수 있지만, 경우에 따라 정확도가 떨어지는 문제를 드러내고 있다.This technique reveals the exact existence of the object to be found on the image as well as the location of the object, but in some cases reveals the problem of inaccuracy.
구체적으로, 배경에 의해 잘못된 물체 인식이 발생할 수 있는데, 이는 배경이 복잡할수록 더욱 그러하다. 뿐만 아니라, 특징 기술자가 식별력이 적은 경우나, 인식 물체가 균일한 경우에도 잘못된 특징점 대응이 나타나, 부정확한 인식을 유발한다.Specifically, false object recognition may occur due to the background, which is more so with the complexity of the background. In addition, even when the feature descriptor has a low discrimination ability or a recognition object is uniform, an incorrect feature point correspondence appears, causing incorrect recognition.
한편, 물체 인식을 위한 특징점 매칭은 이미지 전체에 대해 수행되기 때문에 처리량의 증가로 인한 인식 속도 저하를 유발하는데, 이미지의 해상도가 높아지는 추세를 고려한다면 속도 저하는 더욱 가중될 것이라는데 문제가 있다.
On the other hand, since feature point matching for object recognition is performed for the entire image, it causes a reduction in recognition speed due to an increase in throughput, and the problem is that the slowdown will be further increased if the resolution of the image is increased.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 특징점 기반의 물체 인식에서 물체의 특징점이 별로 없는 경우나 복잡 배경을 가진 물체의 경우에도, 보다 신뢰성 있게 물체 인식율을 높일 수 있는 물체 인식 방법 및 장치를 제공함에 있다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to reliably improve the object recognition rate even when there are few feature points of an object in a feature-based object recognition or an object having a complex background. It is to provide a method and apparatus for recognizing an object that can be increased.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 물체 인식 방법은, 컬러-이미지와 깊이-이미지를 획득하는 단계; 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링하는 단계; 및 클러스터링된 클러스터들을 기반으로, 물체 인식을 수행하는 단계;를 포함한다.In accordance with an aspect of the present invention, an object recognition method includes: obtaining a color image and a depth image; Clustering the color-image into a plurality of clusters based on the depth information presented in the depth-image; And performing object recognition based on the clustered clusters.
그리고, 물체 인식 수행 단계는, 클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계; 및 선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함할 수 있다.The object recognition may include performing feature point matching on each of the clusters and each of the recognition objects; Selecting some regions in the clusters as candidate regions; And eliminating feature point matching outside clusters including the selected candidate regions, and performing object recognition.
또한, 물체 인식 수행 단계는, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계; 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 및 특징점 매칭 결과를 이용하여, 물체 인식을 수행하는 단계;를 포함할 수 있다.In addition, performing the object recognition may include selecting some regions in the clusters as candidate regions; Performing feature point matching on each of the candidate areas and each of the recognition objects; And performing object recognition using the feature point matching result.
그리고, 후보 영역 선정 단계는, 클러스터들 각각에 대한 컬러-히스토그램들과 인식 물체들 각각에 대한 컬러-히스토그램들을 비교하여, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계; 및 제1 선정 단계에서 선정된 후보 영역과 인식 물체의 깊이 통계치들을 비교하고, 통계치 차가 임계치 미만인 후보 영역과 인식 물체를 선정하는 제2 선정단계;를 포함할 수 있다.The candidate region selecting step may include: a first selecting step of selecting some regions in the clusters as candidate regions by comparing color histograms for each of the clusters and color histograms for each of the recognition objects; And a second selecting step of comparing the depth statistics of the candidate region selected in the first selecting step and the recognition objects, and selecting the candidate region having the statistical difference less than the threshold and the recognized object.
또한, 물체 인식 수행 단계는, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계; 제1 선정단계에서 선정된 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 제1 선정단계에서 선정된 후보 영역들 중 일부를 다시 선정하는 제2 선정 단계; 및 제2 선정 단계에서 선정된 후보 영역들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함할 수 있다.The object recognition step may further include a first selecting step of selecting some areas in the clusters as candidate areas; Performing feature point matching on each of the candidate regions selected in the first selecting step and each of the recognition objects; A second selecting step of selecting again some of the candidate areas selected in the first selecting step; And eliminating feature point matching made outside the candidate regions selected in the second selection step, and performing object recognition.
그리고, 다수의 클러스터에서 인식된 인식 물체는 인식되지 않은 것으로 처리하는 단계;를 더 포함할 수 있다.The method may further include processing the recognized object recognized in the plurality of clusters as not recognized.
또한, 컬러-이미지에서 다수의 인식 물체가 인식되는 경우, 클러스터와 인식 물체들 간의 컬러-상관도를 비교하여, 하나의 인식 물체를 선정하여 인식된 것으로 처리하는 단계;를 더 포함할 수 있다.In addition, when a plurality of recognition objects are recognized in the color-image, comparing the color-correlation between the cluster and the recognition objects, selecting one recognition object and processing the recognized object.
한편, 본 발명의 다른 실시예에 따른, 물체 인식 장치는, 컬러-이미지와 깊이-이미지를 획득하는 카메라; 인식 물체들의 이미지가 DB화 되어 있는 저장부; 및 깊이-이미지에 나타난 깊이 정보를 기초로 컬러-이미지를 다수의 클러스터들로 클러스터링하고, 클러스터링된 클러스터들을 기반으로 물체 인식을 수행하는 프로세서;를 포함한다.
On the other hand, the object recognition apparatus according to another embodiment of the present invention, the camera to obtain a color-image and a depth-image; A storage unit in which images of recognition objects are made into a DB; And a processor that clusters the color-image into a plurality of clusters based on the depth information shown in the depth-image, and performs object recognition based on the clustered clusters.
이상 설명한 바와 같이, 본 발명에 따르면, 특징점 기반의 물체 인식에서 물체의 특징점이 별로 없는 경우나 복잡 배경을 가진 물체의 경우에도, 보다 신뢰성 있게 물체 인식율을 높일 수 있게 된다.As described above, according to the present invention, the object recognition rate can be more reliably increased even when the feature point-based object recognition has few feature points or an object having a complex background.
구체적으로, 깊이 정보를 이용하여 이미지를 클러스터링하고, 컬러-히스토그램 비교를 통해 클러스터 내의 후보 영역을 선정하여 영상 인식에 이용하기 때문에 물체 인식율이 높아짐은 물론, 특징점 매칭 및 그 후속 처리에 소요되는 연산량을 크게 줄일 수 있게 된다.Specifically, clustering an image using depth information, selecting candidate regions within a cluster through color-histogram comparison, and using them for image recognition, increases the object recognition rate and the amount of computation required for feature point matching and subsequent processing. It can be greatly reduced.
뿐만 아니라, 후보 영역과 인식 물체 간의 깊이 통계치 비교를 통해, 후보 영역을 검증할 수 있게 되어, 물체 인식율을 더욱 높일 수 있게 된다.In addition, by comparing the depth statistics between the candidate area and the recognition object, the candidate area can be verified, thereby further increasing the object recognition rate.
아울러, 깊이 정보를 이용하더라도 인식이 어려울 수 있는 비슷한 물체에 대해서는 컬러 상관도를 보조 지표로 활용하여 유사도를 더 측정하므로 인식율을 더욱 증가시킬 수 있게 된다.
In addition, since the similarity is further measured by using the color correlation as an auxiliary index for similar objects that may be difficult to recognize even using depth information, the recognition rate may be further increased.
도 1은 본 발명의 일 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도,
도 2는, 컬러-이미지, 깊이-이미지 및 Depth Proximity Clustering 결과를 나타낸 도면,
도 3은, 클러스터들 중에서 선정한 3개의 후보 영역을 컬러-이미지에 나타낸 도면,
도 4는 인식 물체들의 깊이 표준 편차를 예시한 도면,
도 5와 도 6은, 하나의 인식 물체가 다수의 클러스터에서 인식되는 경우를 예시한 도면,
도 7과 도 8은, 컬러-이미지에서 다수의 인식 물체가 인식되는 경우를 에 예시한 도면,
도 9는 본 발명의 따른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도,
도 10은 본 발명의 또 다른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도, 그리고,
도 11은, 도 1, 도 9 및 도 10에 도시된 물체 인식 방법을 수행할 수 있는 물체 인식 장치를 도시한 도면이다.1 is a flowchart provided to explain an object recognition method using depth information according to an embodiment of the present invention;
2 is a view showing the color-image, depth-image and Depth Proximity Clustering results,
3 is a view showing three candidate regions selected from clusters in a color-image,
4 is a diagram illustrating depth standard deviation of recognition objects;
5 and 6 are views illustrating a case where one recognition object is recognized in a plurality of clusters,
7 and 8 are views illustrating a case where a plurality of recognition objects are recognized in a color-image,
9 is a flowchart provided to explain an object recognition method using depth information according to an embodiment of the present invention;
10 is a flowchart provided to explain an object recognition method using depth information according to another embodiment of the present invention;
FIG. 11 is a diagram illustrating an object recognition apparatus capable of performing the object recognition method illustrated in FIGS. 1, 9, and 10.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
Hereinafter, the present invention will be described in detail with reference to the drawings.
1. 깊이 정보를 이용한 물체 인식 #11. Object Recognition Using
본 발명의 일 실시예에 따른 깊이 정보를 이용한 물체 인식 방법에서는 컬러-이미지를 클러스터링하고 클러스터 내에 인식하고자 하는 물체가 존재할 가능성이 높은 후보로 선정된 영역을 검증함에 있어 깊이 정보를 이용한다.The object recognition method using depth information according to an embodiment of the present invention uses depth information in clustering color-images and verifying a region selected as a candidate having a high probability of the object to be recognized in the cluster.
도 1은 본 발명의 일 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 제공되는 흐름도이다.1 is a flowchart provided to explain an object recognition method using depth information according to an exemplary embodiment of the present invention.
도 1에 도시된 바와 같이, 먼저 컬러-이미지와 깊이-이미지를 획득한다(S110). 컬러-이미지와 깊이-이미지는 RGB-카메라와 D-카메라를 이용하여 각각 생성가능하다.As shown in FIG. 1, first, a color-image and a depth-image are obtained (S110). Color- and depth-images can be generated using RGB cameras and D-cameras, respectively.
이후, 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링한다(S120). 엄밀하게, S120단계에서의 클러스터링에서는 깊이 정보 외에 위치 정보가 더 반영되는데, 반영율은 깊이 정보가 더 크다. 여기서, 위치 정보는 깊이(d)에 수직한 평면상의 위치(x,y)에 대한 정보를 말한다.Thereafter, the color-image is clustered into a plurality of clusters based on the depth information indicated in the depth-image (S120). Strictly, in the clustering at step S120, the positional information is further reflected in addition to the depth information, and the reflectance is greater in the depth information. Here, the position information refers to information on the position (x, y) on the plane perpendicular to the depth (d).
S120단계에서 수행되는 클러스터링은 깊이가 비슷하고 거리가 가까운 픽셀들을 하나의 클러스터에 클러스터링하는 것이다.Clustering performed in step S120 is to cluster pixels having similar depths and close distances to one cluster.
S120단계에 의해, 컬러-이미지 상에 존재하는 '인식하고자 하는 물체'(이하, '인식 물체'로 약칭)는 어느 한 클러스터에 소속될 가능성이 매우 높다. 이는, 하나의 인식 물체를 구성하는 픽셀들의 깊이는 비슷하고 거리가 가깝기 때문이다.By the step S120, the 'object to be recognized' (hereinafter, abbreviated as 'aware object') existing on the color-image is very likely to belong to any one cluster. This is because the pixels of one recognition object are similar in depth and close in distance.
인식 물체는 컬러-이미지에서 찾고자 하는 물체로, DB에 이미지가 저장되어 있다.The recognition object is an object to be found in the color-image, and the image is stored in the DB.
다음, 클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행한다(S130). 클러스터링된 클러스터가 k개이고, DB에 구축되어 있는 인식 물체의 개수가 n개인 경우, S130단계는,Next, feature point matching is performed on each of the clusters and each of the recognition objects (S130). If k clusters are clustered and the number of objects recognized in the DB is n, step S130 is performed.
11) 클러스터-1과 인식 물체-1 간의 특징점 매칭을 수행하고,11) perform feature point matching between cluster-1 and recognition object-1;
12) 클러스터-1과 인식 물체-2 간의 특징점 매칭을 수행하고,12) perform feature point matching between cluster-1 and recognition object-2;
......
1n) 클러스터-1과 인식 물체-n 간의 특징점 매칭을 수행하고,1n) perform feature point matching between cluster-1 and recognized object-n,
21) 클러스터-2와 인식 물체-1 간의 특징점 매칭을 수행하고,21) perform feature point matching between cluster-2 and recognition object-1;
22) 클러스터-2와 인식 물체-2 간의 특징점 매칭을 수행하고,22) perform feature point matching between cluster-2 and recognition object-2;
......
2n) 클러스터-2와 인식 물체-n 간의 특징점 매칭을 수행하고,2n) perform feature point matching between cluster-2 and recognized object-n,
......
k1) 클러스터-k와 인식 물체-1 간의 특징점 매칭을 수행하고,k1) perform feature point matching between cluster-k and recognition object-1,
k2) 클러스터-k와 인식 물체-2 간의 특징점 매칭을 수행하고,
k2) perform feature point matching between cluster-k and recognition object-2,
......
kn) 클러스터-k와 인식 물체-n 간의 특징점 매칭을 수행하는 절차로 수행된다.kn) performed by a procedure for performing feature point matching between the cluster-k and the recognition object-n.
이후, 클러스터들 내의 일부 영역들을 후보 영역들로 1차 선정한다(S140). S140단계는, S120단계에서 클러스터링된 클러스터들 각각에 대해 수행되며, 후보 영역 선정은 클러스터와 인식 물체의 컬러-히스토그램 비교를 통해 수행된다.Thereafter, some regions in the clusters are first selected as candidate regions (S140). Operation S140 is performed for each of the clustered clusters in operation S120, and candidate region selection is performed through color- histogram comparison between the cluster and the recognition object.
구체적으로 S140단계는,Specifically step S140,
11) 클러스터-1에서 인식 물체-1의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,11) In the cluster-1, if there is an area having a color- histogram similar to the color- histogram of the recognition object-1, the area is selected as a candidate area,
12) 클러스터-1에서 인식 물체-2의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,12) in the cluster-1, if there is an area having a color- histogram similar to the color- histogram of the recognition object-2, the area is selected as a candidate area,
......
1n) 클러스터-1에서 인식 물체-n의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,1n) If there is an area in the cluster-1 having a color- histogram similar to the color- histogram of the object-n, the area is selected as a candidate area,
21) 클러스터-2에서 인식 물체-1의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,21) In cluster-2, if there is an area having a color- histogram similar to that of recognition object-1, the area is selected as a candidate area,
22) 클러스터-2에서 인식 물체-2의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,22) If there is an area in the cluster-2 having a color- histogram similar to that of the recognition object-2, the area is selected as a candidate area,
......
2n) 클러스터-2에서 인식 물체-n의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,2n) in the cluster-2, if there is an area having a color histogram similar to the color histogram of the object-n, the area is selected as a candidate area;
......
k1) 클러스터-k에서 인식 물체-1의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,k1) If there is an area in the cluster-k that has a color- histogram similar to that of the recognition object-1, the area is selected as a candidate area,
k2) 클러스터-k에서 인식 물체-2의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정하고,k2) in the cluster-k, if there is a region having a color- histogram similar to that of the recognition object-2, the region is selected as a candidate region,
......
kn) 클러스터-k에서 인식 물체-n의 컬러-히스토그램과 유사한 컬러-히스토그램을 갖는 영역이 존재하는 경우, 그 영역을 후보 영역으로 선정한다.kn) If there is a region in the cluster-k having a color- histogram similar to the color- histogram of the object-n, the region is selected as the candidate region.
다음, S140단계에서 1차 선정된 후보 영역과 인식 물체 간의 깊이 표준 편차를 각각 비교하여, 후보 영역들을 2차로 선정한다(S150).Next, the depth standard deviation between the candidate region firstly selected in step S140 and the recognition object are compared, and the candidate regions are secondarily selected (S150).
여기서, 깊이 표준 편차는 픽셀들에 대한 깊이 값들의 표준 편차로, 후보 영역의 깊이 표준 편차는 후보 영역을 구성하는 픽셀들의 깊이 값들에 대한 표준편차이고, 인식 물체의 깊이 표준 편차는 인식 물체의 이미지를 구성하는 픽셀들의 깊이 값들에 대한 표준편차이다.Here, the depth standard deviation is the standard deviation of the depth values for the pixels, the depth standard deviation of the candidate area is the standard deviation of the depth values of the pixels constituting the candidate area, and the depth standard deviation of the recognition object is an image of the recognition object. The standard deviation of the depth values of the pixels constituting
인식 물체의 깊이 표준 편차는 미리 계산하여 DB에 저장해 놓는 것이 바람직하다. 한편, 표준 편차를 이외의 다른 통계치, 예를 들면, 분산, 평균, 중간값 등으로 대체하는 것도 가능하다.The depth standard deviation of the recognition object is preferably calculated in advance and stored in the DB. On the other hand, it is also possible to replace the standard deviation with other statistics, for example, variance, mean, median, and the like.
S140단계에서,In step S140,
1) 클러스터-1의 일부 영역이 '인식 물체-1'과 컬러-히스토그램이 유사하여 '후보 영역-1'로 선정되었고,1) Some areas of Cluster-1 were selected as 'candidate area-1' because 'recognition object-1' and color-histogram are similar.
2) 클러스터-3의 일부 영역이 '인식 물체-1'과 컬러-히스토그램이 유사하여 '후보 영역-2'로 선정되었고,2) Some areas of Cluster-3 were selected as 'candidate area-2' because 'cognitive object-1' and color-histogram are similar.
3) 클러스터-2의 일부 영역이 '인식 물체-2'와 컬러-히스토그램이 유사하여 '후보 영역-3'으로 선정되었으며,3) Some areas of Cluster-2 were selected as 'candidate area-3' because 'cognitive object-2' and color-histogram are similar.
4) 클러스터-4의 일부 영역이 '인식 물체-2'와 컬러-히스토그램이 유사하여 '후보 영역-4'으로 선정되었으며,4) Some areas of Cluster-4 were selected as 'candidate area-4' because 'cognitive object-2' and color-histogram are similar.
5) 클러스터-3의 일부 영역이 '인식 물체-3'과 컬러-히스토그램이 유사하여 '후보 영역-5'로 선정되었고,5) Some areas of Cluster-3 were selected as Candidate Area-5 because they are similar to 'Recognition Object-3' and color-histogram.
6) 클러스터-5의 일부 영역이 '인식 물체-4'와 컬러-히스토그램이 유사하여 '후보 영역-6'으로 선정었으며,6) Some areas of Cluster-5 were selected as 'candidate area-6' because 'cognitive object-4' and color-histogram are similar.
7) 클러스터-6의 일부 영역이 '인식 물체-4'와 컬러-히스토그램이 유사하여 '후보 영역-7'로 선정된 경우를 가정하면,7) Assuming that some areas of Cluster-6 are selected as Candidate Area-7 because the recognition object-4 and the color-histogram are similar.
S150에서는,In S150,
1) 후보 영역-1의 깊이 표준 편차와 인식 물체-1의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-1과 인식 물체-1'을 선정하고,1) If the difference between the depth standard deviation of the candidate area-1 and the depth standard deviation of the recognition object-1 is less than the threshold value, the candidate area-1 and the recognition object-1 are selected,
2) 후보 영역-2의 깊이 표준 편차와 인식 물체-1의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-2와 인식 물체-1'을 선정하며,2) If the difference between the depth standard deviation of the candidate area-2 and the depth standard deviation of the recognition object-1 is less than the threshold value, the candidate area-2 and the recognition object-1 are selected.
3) 후보 영역-3의 깊이 표준 편차와 인식 물체-2의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-3과 인식 물체-2'를 선정하며,3) If the difference between the depth standard deviation of the candidate area-3 and the depth standard deviation of the recognition object-2 is less than the threshold value, the candidate area-3 and the recognition object-2 are selected.
4) 후보 영역-4의 깊이 표준 편차와 인식 물체-2의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-4와 인식 물체-2'를 선정하고,4) If the difference between the depth standard deviation of the candidate area-4 and the depth standard deviation of the recognition object-2 is less than the threshold, select the candidate area-4 and the recognition object-2,
5) 후보 영역-5의 깊이 표준 편차와 인식 물체-3의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-5와 인식 물체-3'를 선정하며,5) If the difference between the depth standard deviation of the candidate area-5 and the depth standard deviation of the recognition object-3 is less than the threshold value, the candidate area-5 and the recognition object-3 are selected.
6) 후보 영역-6의 깊이 표준 편차와 인식 물체-4의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-6과 인식 물체-4'를 선정하고,6) If the difference between the depth standard deviation of the candidate area-6 and the depth standard deviation of the recognition object-4 is less than the threshold, select the candidate area-6 and the recognition object-4,
7) 후보 영역-7의 깊이 표준 편차와 인식 물체-4의 깊이 표준 편차의 차가 임계치 미만이면, '후보 영역-7과 인식 물체-4'를 선정하게 된다.7) If the difference between the depth standard deviation of the candidate area-7 and the depth standard deviation of the recognition object-4 is less than the threshold value, the candidate area-7 and the recognition object-4 are selected.
이후, S130단계에서의 특징점 매칭 결과에서 S150단계에서 선정된 후보 영역들을 포함하지 않는 클러스터들에 대한 특징점 매칭을 배제하고, 물체 인식을 수행한다(S160). 즉, S130단계에서의 특징점 매칭 결과 중 S150단계에서 선정된 후보 영역들을 포함하는 클러스터들에 대한 특징점 매칭만을 남기고, 물체 인식을 수행한다.Subsequently, the object recognition is performed by excluding feature point matching for clusters that do not include candidate regions selected in step S150 from the feature point matching result in step S130 (S160). That is, object recognition is performed while leaving only feature point matching for clusters including candidate regions selected in step S150 among feature point matching results in step S130.
S150단계에서, '후보 영역-1과 인식 물체-1', '후보 영역-2와 인식 물체-1', '후보 영역-3과 인식 물체-2', '후보 영역-5와 인식 물체-3' 및 '후보 영역-6과 인식 물체-4'가 선정된 경우,In step S150, 'candidate area-1 and recognition object-1', 'candidate area-2 and recognition object-1', 'candidate area-3 and recognition object-2', 'candidate area-5 and recognition object-3' 'And' candidate area-6 and recognition object-4 'are selected,
후보 영역-1은 클러스터-1에 포함되고, 후보 영역-3은 클러스터-2에 포함되며, 후보 영역-2와 후보 영역-5는 클러스터-3에 포함되고, 후보 영역-6은 클러스터-5에 포함되므로,Candidate region-1 is included in cluster-1, candidate region-3 is included in cluster-2, candidate region-2 and candidate region-5 are included in cluster-3, and candidate region-6 is included in cluster-5. As it is included,
S160단계에서는, 클러스터-1, 클러스터-2, 클러스터-3 및 클러스터-5에 대한 특징점 매칭만을 남기고, 나머지 클러스터들에 대한 특징점 매칭을 배제하고, 물체 인식을 수행한다In step S160, only feature point matching for Cluster-1, Cluster-2, Cluster-3, and Cluster-5 remains, excludes feature point matching for the remaining clusters, and performs object recognition.
한편, 하나의 인식 물체가 다수의 클러스터에서 인식되는 경우, 그 인식 물체는 인식되지 않은 것으로 처리할 수 있다(S170). 구체적으로, 특징점 매칭수가 첫 번째로 많은 클러스터와 두 번째로 많은 클러스터 간에 특징점 매칭수의 비율이 특정 범위 내인 인식 물체는, 인식되지 않은 것으로 처리하는 것이다.Meanwhile, when one recognized object is recognized in a plurality of clusters, the recognized object may be treated as not recognized (S170). Specifically, a recognition object in which the ratio of the feature point matching number between the first cluster with the highest feature point matching number and the second largest cluster within a specific range is treated as not recognized.
예를 들어, 인식 물체-1이 클러스터-1과의 특징점 매칭수(①)가 "100"이고, 클러스터-3과의 특징점 매칭수(②)가 "90"인 경우와 같이, 두 번째 매칭수(②)가 첫 번째 매칭수(①)의 80% 이상이서 인식 물체-1이 클러스터-1과 클러스터-3 모두에서 인식된 것으로 취급할 수 있는 경우, 인식 물체-1은 인식되지 않은 것으로 처리한다.For example, as in the case where the recognition object-1 has the feature
동일한 인식 물체가 다수의 클러스터에 인식되는 것은 실제 그런 것보다, 영상 인식 과정에서의 오류에 기인했을 확률이 더 높기 때문이며, 잘못된 인식을 미연에 방지하기 위함이다.The same recognition object is recognized in a plurality of clusters because it is more likely to be due to an error in the image recognition process than in reality, and to prevent false recognition in advance.
또한, 컬러-이미지의 적어도 하나의 클러스터에서 다수의 인식 물체가 인식되는 경우, 특징점 매칭수 상위 2개의 클러스터와 인식 물체들 간의 컬러-상관도를 비교하여 하나의 인식 물체만을 선정하고, 선정된 인식 물체가 인식된 것으로 처리한다(S180).In addition, when a plurality of recognition objects are recognized in at least one cluster of the color-image, only one recognition object is selected by comparing the color correlation between the two clusters having the highest feature point matching number and the recognition objects, and the selected recognition is performed. The object is processed as recognized (S180).
예를 들어, 인식 물체-2와 클러스터-2의 특징점 매칭수(③)가 "90"이고, 인식 물체-3과 클러스터-3의 특징점 매칭수(④)가 "60"이며, 인식 물체-4와 클러스터-5의 특징점 매칭수(⑤)가 "70"인 경우와 같이, 두 번째 매칭수(⑤)가 첫 번째 매칭수(③)의 70% 이상이서 컬러-이미지에서 인식 물체-2와 인식 물체-4가 모두 인식된 것으로 취급할 수 있는 경우이다.For example, the feature
이 경우에는, '인식 물체-2와 클러스터-2의 컬러-상관도'와 '인식 물체-4와 클러스터-5의 컬러-상관도'를 비교하고, 컬러-상관도가 큰 인식 물체가 컬러-이미지에서 인식된 것으로 처리하는 것이다.In this case, the color-correlation of recognition object-2 and cluster-2 and the color-correlation of recognition object-4 and cluster-5 are compared. It's what's recognized in the image.
만약, 인식 물체-2와 클러스터-2의 특징점 매칭수(③)가 "90"이고, 인식 물체-3과 클러스터-3의 특징점 매칭수(④)가 "40"이며, 인식 물체-4와 클러스터-5의 특징점 매칭수(⑤)가 "30"인 경우와 같이, 두 번째 매칭수(④)가 첫 번째 매칭수(③)의 70% 미만인 경우에는, 컬러-상관도 비교 없이, 매칭수가 가장 많은 인식 물체-2가 컬러-이미지의 클러스터-2에서 인식된 것으로 처리한다.If the feature
지금까지, 깊이 정보를 이용한 물체 인식 방법의 전체 과정에 대해 상세히 설명하였다. 이하에서, 물체 인식 방법을 구성하는 각 단계들에 대해 상세히 설명한다.
So far, the entire process of the object recognition method using the depth information has been described in detail. Hereinafter, each step of configuring the object recognition method will be described in detail.
2. 2. DepthDepth ProximityProximity Clustering(도 1의 Clustering (of FIG. 1 S120S120 ))
Depth Proximity Clustering은 S120단계에서의 클러스터링을 명명한 것으로, 복잡한 배경으로 인해 발생하는 특징점 매칭의 부정확도를 줄이기 위해, 컬러-이미지를 물체와 배경으로 분리하여 클러스터링한다.Depth Proximity Clustering refers to clustering in step S120. In order to reduce inaccuracy of feature point matching caused by a complex background, color-image is divided into an object and a background and clustered.
클러스터링은 K-means 클러스터링을 응용하여, 깊이 정보와 위치 정보를 참조로 깊이가 비슷하고 거리가 가까운 픽섹들이 하나의 클러스터에 클러스터링할 수 있는데, 구체적으로 아래의 수학식 1에 따라 수행가능하다.Clustering may be performed by applying K-means clustering so that pixels having similar depths and near distances may be clustered in one cluster with reference to depth information and location information. Specifically, clustering may be performed according to
여기서, k는 클러스터링의 개수, μi는 i번째 클러스터의 Si의 기하학적 중심, Xj는 [α1x, α2y, α3d]로 표현되는 벡터이다. x와 y는 픽셀의 x좌표와 y좌표이고, d는 깊이 값이다. α1, α2 및 α3은 가중치로, 픽셀의 위치(x,y) 보다 깊이에 의한 영향을 더 반영하기 위해, α1=0.05, α2 = 0.05 및 α3 = 0.9로 설정함이 바람직하지만, 필요에 따라 변경가능함은 물론이다.Where k is the number of clustering, μ i is the geometric center of S i of the i th cluster, and X j is a vector expressed by [α 1 x, α 2 y, α 3 d]. x and y are the x and y coordinates of the pixel, and d is the depth value. α 1 , α 2, and α 3 are weights, and are preferably set to α 1 = 0.05, α 2 = 0.05, and α 3 = 0.9 to further reflect the effect of depth than the position (x, y) of the pixel. However, it can be changed as needed.
도 2의 좌측 상부에는 특정 공간에 대한 컬러-이미지를 나타내었고, 좌측 하부에는 그 특정 공간에 대한 깊이-이미지를 나타내었으며, 우측에는 Depth Proximity Clustering 결과를 나타내었다.
The upper left side of FIG. 2 shows a color-image for a specific space, the lower left side shows a depth-image for that specific space, and the right side shows a Depth Proximity Clustering result.
3. 3. ColorColor HistogramHistogram basedbased ObjectObject Detection(도 1의 Detection (of FIG. 1 S140S140 ))
특징점이 많이 존재하지 않는 균일한 물체를 복잡한 배경에서 물체 인식을 할 경우 잘못된 특징점 매칭이 많이 나타난다. 따라서, 본 실시예에서는 color histogram back-projection을 이용한 물체 탐지 알고리즘을 사용하여, 클러스터 내에서도 인식 물체가 존재할 가능성이 높은 일부 영역을 후보 영역으로 선정하도록 하였다.When an object is recognized in a complex background with a uniform object that does not have many feature points, a lot of faulty feature point matching appears. Therefore, in the present embodiment, the object detection algorithm using color histogram back-projection is used to select a partial region in which a recognition object is likely to exist even in a cluster as a candidate region.
도 3에는 도 2의 클러스터링 결과에 나타난 클러스터들에 대해 Color Histogram based Object Detection 하여 선정한 3개의 후보 영역을 컬러-이미지에 나타내었다.
In FIG. 3, three candidate regions selected by Color Histogram based Object Detection for the clusters shown in the clustering result of FIG. 2 are illustrated in a color image.
4. 4. EqualityEquality TestTest ofof StandardStandard Deviation(도 1의 Deviation (of FIG. 1 S150S150 ))
Equality Test of Standard Deviation는 Color Histogram based Object Detection을 통해 선정된 후보 영역들과 인식 물체들에 대해 깊이 표준 편차를 비교하여, 인식 물체가 존재할 가능성이 높은 후보 영역들을 검증 또는 재선정하는 절차로 이해될 수 있다.The Equality Test of Standard Deviation can be understood as a procedure for verifying or reselecting candidate areas where recognition objects are likely to exist by comparing depth standard deviations between candidate areas selected through Color Histogram based Object Detection and recognition objects. have.
도 4에는 인식 물체들인 책, 인형, 쿠션에 대한 깊이 표준 편차를 나타내었다. 도 4에 도시된 바와 같이 하나의 물체에 대한 깊이 표준 편차는 물체의 모양과 상관없이 대부분 가우시안 분포(Gaussian distribution)를 따른다.Figure 4 shows the depth standard deviation for the recognition objects, books, dolls, cushions. As shown in FIG. 4, the depth standard deviation for an object mostly follows a Gaussian distribution regardless of the shape of the object.
따라서, 인식 물체와 후보 영역의 랜덤 샘플이 정규 분포를 따른다고 가정할 경우 표준편차의 비율은 F 분포를 따른다. 그리고, 신뢰도는 α이고, 자유도는 nx-1, ny-1이며, 자유도는 랜덤 샘플의 개수로 설정할 경우 다음과 같은 신뢰 구간을 갖는데, 신뢰 구간을 벗어나는 매칭은 제거되고 나머지가 신뢰할 수 있는 매칭으로 간주된다.Therefore, assuming that the random sample of the recognition object and the candidate region follows a normal distribution, the ratio of the standard deviation follows the F distribution. And, reliability is α, degrees of freedom is n x -1, n y -1, and degrees of freedom have the following confidence interval when set to the number of random samples, matching outside the confidence interval is removed and the rest is reliable It is considered a match.
신뢰 구간 : (F1-α/2,nx-1,ny-1 Fα/2,nx-1,ny-1)
Confidence interval: (F 1-α / 2 , n x -1, n y -1 F α / 2 , n x -1, n y -1)
5. 5. DepthDepth LayeredLayered FeatureFeature MatchingMatching withwith GeometricGeometric Constraints(도 1의 Constraints (FIG. 1 S160S160 ))
S130단계에서의 특징점 매칭으로, 스케일과 회전에 불변한 특징점 매칭 기법을 사용함이 바람직한데, 다른 종류의 특징점 매칭 기법을 사용하는 것을 배제하는 것은 아니다.As a feature point matching in step S130, it is preferable to use a feature point matching technique that is invariant to scale and rotation, but it does not exclude the use of another type of feature point matching technique.
한편, 렌즈에 의해 발생하는 radial distortion을 고려하지 않을 경우, 일반적으로 두 이미지 간의 관계는 하나의 행렬로 표현할 수 있다. 이미지에서 대응점들이 건물 벽과 같은 평면상에 여러 개가 존재하는 경우 하나의 평면상에 존재하는 것으로 근사할 수 있으며 이 관계를 Homography라고 한다.On the other hand, when not considering the radial distortion caused by the lens, in general, the relationship between the two images can be expressed as a matrix. In the case where there are several corresponding points on the plane such as the building wall in the image, it can be approximated to exist on one plane and this relationship is called Homography.
Depth Proximity Clustering을 통해 생성된 클러스터와 인식 물체 간의 homography는, 인식 물체와 배경의 특징점 매칭이 배제되기 때문에, 컬러-이미지와 인식 물체 간의 homography 보다 정확하다.The homography between the cluster and the recognition object generated by Depth Proximity Clustering is more accurate than the homography between the color-image and the recognition object because the matching of the feature point of the recognition object and the background is excluded.
이에 더 나아가, Color Histogram based Object Detection과 Equality Test of Standard Deviation(도 1의 S140 및 S150)을 통해 선정한 후보 영역들을 포함하는 클러스터들과 인식 물체 간의 homography는, 인식 물체와 배경의 특징점 매칭이 더욱 더 배제되기 때문에, 클러스터와 인식 물체 간의 homography 보다 정확하다.
Furthermore, homography between clusters containing candidate regions selected through Color Histogram based Object Detection and Equality Test of Standard Deviation (S140 and S150 of FIG. 1) and the recognition object, the feature point matching between the recognition object and the background is more and more. Because it is excluded, homography between clusters and recognized objects is more accurate.
6. 6. FinalFinal decisiondecision withwith consistencyconsistency check(도 1의 check (of FIG. 1 S170S170 및 And S180S180 ))
Final decision with consistency check는, 하나의 인식 물체가 다수의 클러스터에서 인식되는 경우와 컬러-이미지에서 다수의 인식 물체가 인식되는 경우, 최종적인 물체 인식을 위한 절차이다.Final decision with consistency check is a procedure for final object recognition when one recognition object is recognized in a plurality of clusters and when multiple recognition objects are recognized in a color-image.
하나의 인식 물체가 다수의 클러스터에서 인식되는 경우를 도 5와 도 6에 예시하였다. 도 5와 도 6에 도시된 바에 따르면, 인식 물체인 "쿠션"이 각기 다른 클러스터들에서 많은 특징점 매칭수를 보이고 있음을 확인할 수 있다. 전술했던 바와 같이, 양자 간에 특징점 매칭수의 비율이 특정 범위 내이면, 컬러-이미지에서 "쿠션"은 인식되지 않은 것으로 처리한다.5 and 6 illustrate a case in which one recognition object is recognized in a plurality of clusters. 5 and 6, it can be seen that the recognition object "cushion" shows a large number of feature point matchings in different clusters. As mentioned above, if the ratio of the number of feature point matches between both is within a certain range, the "cushion" in the color-image is treated as not recognized.
컬러-이미지에서 다수의 인식 물체가 인식되는 경우를 도 7과 도 8에 예시하였다. 도 7과 도 8에는, 컬러-이미지에서 특징점 매칭수가 상위 2개인 "책"과 "인형"에 대한 특징점 매칭이 나타나 있다.7 and 8 illustrate a case where a plurality of recognition objects are recognized in a color image. 7 and 8 show feature point matching for "book" and "doll" with the top two feature point matching numbers in the color-image.
양자 간에 특징점 매칭수의 비율이 특정 범위 밖이면, 예를 들어 "책"과 클러스터 간 특징점 매칭수가 "인형"과 클러스터 간 특징점 매칭수 보다 현저히 많은 경우, "책"이 인식된 것으로 취급한다.If the ratio of the number of feature point matches between both is outside the specified range, for example, if the number of feature book matches between the "book" and the cluster is significantly larger than the number of "doll" and the number of feature point matches between the clusters, the "book" is treated as recognized.
반면, 양자 간에 특징점 매칭수의 비율이 특정 범위 내이면, 클러스터와 "책" 간의 컬러-상관도와 클러스터와 "인형" 간의 컬러-상관도를 비교하여, 컬러-상관도가 큰 인식 물체가 클러스터 내에서 인식된 것으로 처리한다.
On the other hand, if the ratio of the number of feature point matches between the two is within a certain range, the color-correlation between the cluster and the "book" and the color-correlation between the cluster and the "doll" are compared so that a recognition object having a high color-correlation is in the cluster. Treat it as recognized by.
7. 깊이 정보를 이용한 물체 인식 #27. Object Recognition Using
이하에서는, 본 발명의 다른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 대해 도 9를 참조하여 설명하되, 전술한 설명과 동일한 부분에 대해서는 그 설명을 간략히 하겠다.Hereinafter, a description of the object recognition method using the depth information according to another embodiment of the present invention will be described with reference to FIG. 9, but the description will be briefly described for the same parts as the above description.
도 9에 도시된 바와 같이, 먼저 컬러-이미지와 깊이-이미지를 획득한다(S210). 이후, 깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링한다(S220).As shown in FIG. 9, first, a color-image and a depth-image are obtained (S210). Thereafter, the color-image is clustered into a plurality of clusters based on the depth information shown in the depth-image (S220).
이후, 클러스터들 내의 일부 영역들을 후보 영역들로 1차 선정한다(S230). S230단계는, S220단계에서 클러스터링된 클러스터들 각각에 대해 수행되며, 후보 영역 선정은 클러스터와 인식 물체의 컬러-히스토그램 비교를 통해 수행된다.Thereafter, some regions in the clusters are first selected as candidate regions (S230). In operation S230, each of the clustered clusters is performed in operation S220, and selection of a candidate region is performed through color- histogram comparison between the cluster and the recognition object.
다음, 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행한다(S240). 도 9의 S240단계에서의 특징점 매칭은 "후보 영역"과 인식 물체 간의 특징점 매칭이라는 점에서, 도 1의 S130단계에서의 "클러스터"와 인식 물체 간의 특징점 매칭과 차이가 있다.Next, feature point matching is performed on each of the candidate areas and each of the recognition objects (S240). The feature point matching in step S240 of FIG. 9 is a feature point matching between the "candidate area" and the recognition object, which is different from the feature point matching between the "cluster" and the recognition object in step S130 of FIG.
이후, S230단계에서 1차 선정된 후보 영역과 인식 물체 간의 깊이 표준 편차가 유사한 후보 영역들을 2차로 선정한다(S250).Subsequently, candidate regions similar in depth standard deviation between the candidate region firstly selected in step S230 and the recognition object are secondarily selected (S250).
다음, S240단계에서의 특징점 매칭 결과에서 S250단계에서 선정된 "후보 영역들" 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행한다(S260). 즉, S240단계에서의 특징점 매칭 결과 중 S250단계에서 선정된 후보 영역들에 포함된 특징점 매칭만을 남기고, 물체 인식을 수행한다.Next, the object recognition is performed by excluding feature point matching made outside the "candidate regions" selected in step S250 from the feature point matching result in step S240 (S260). That is, object recognition is performed while leaving only the feature point matchings included in the candidate regions selected in step S250 among the feature point matching results in step S240.
S260단계에서 배제되는 특징점 매칭들은 2차 선정된 후보 영역들 밖에서 이루어진 특징점 매칭이라는 점에서, 2차 선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하는 도 1의 S160단계와 차이가 있다.Feature point matching excluded in step S260 is different from step S160 of FIG. .
한편, 하나의 인식 물체가 다수의 "후보 영역"에서 인식되는 경우, 그 인식 물체는 인식되지 않은 것으로 처리할 수 있다(S270). 구체적으로, 특징점 매칭수가 첫 번째로 많은 후보 영역과 두 번째로 많은 후보 영역 간에 특징점 매칭수의 비율이 특정 범위 내인 인식 물체는, 인식되지 않은 것으로 처리하는 것이다.On the other hand, when one recognized object is recognized in a plurality of "candidate areas", the recognized object may be treated as not recognized (S270). Specifically, a recognition object having a ratio of the feature point matching number between the first candidate region with the highest number of feature point matches and the second candidate region within a specific range is treated as not recognized.
또한, 컬러-이미지의 적어도 하나의 후보 영역에서 다수의 인식 물체가 인식되는 경우, 특징점 매칭수가 상위 2개인 후보 영역과 인식 물체들 간의 컬러-상관도를 비교하여 하나의 인식 물체만을 선정하고, 선정된 인식 물체가 인식된 것으로 처리한다(S280).In addition, when a plurality of recognition objects are recognized in at least one candidate region of the color-image, only one recognition object is selected and selected by comparing the color correlation between the candidate regions having the top two feature point matching numbers and the recognition objects. The recognized object is processed as recognized (S280).
구체적으로, S280단계도, 특징점 매칭수가 첫 번째로 많은 인식 물체와 두 번째로 많은 인식 물체 간에 특징점 매칭수의 비율이 특정 범위 내인 후보 영역에 대해서만 수행한다. 그렇지 않으면, 특징점 매칭수가 첫 번째로 많은 인식 물체가 인식된 것으로 처리한다.In detail, in operation S280, only the candidate region having the ratio of the feature point matching number between the first recognition object with the greatest number of feature points and the second recognition object within a specific range is performed. Otherwise, the recognition object with the highest number of feature point matches is treated as recognized.
S270단계와 S280단계에서 처리 기준은 후보 영역이라는 점에서, 처리 기준이 클러스터인 도 1의 S170단계 및 S180단계와 차이가 있다.
The processing criteria in steps S270 and S280 are different from those in steps S170 and S180 of FIG. 1, in which the processing criteria are clusters.
8. 깊이 정보를 이용한 물체 인식 #38. Object Recognition Using
이하에서는, 본 발명의 또 다른 실시예에 따른 깊이 정보를 이용한 물체 인식 방법의 설명에 대해 도 10을 참조하여 설명한다.Hereinafter, an object recognition method using depth information according to another embodiment of the present invention will be described with reference to FIG. 10.
도 10에 도시된 물체 인식 방법은, 후보 영역 1차 선정 및 2차 선정을 수행한 후에(S330, S340), 2차 선정된 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하여(S350), 물체를 인식한다(S360)는 점에서, 도 9에 도시된 물체 인식 방법과 차이가 있을 뿐, 나머지 사항은 동일하므로 이에 대한 상세한 설명은 생략한다.
In the object recognition method illustrated in FIG. 10, after performing primary region selection and secondary selection (S330 and S340), feature point matching is performed on each of the secondary selected candidate regions and each of the recognition objects (S330 and S340). In operation S360, the object is recognized in operation S360, which is different from the object recognition method illustrated in FIG. 9, and the rest thereof are the same, and thus a detailed description thereof will be omitted.
9. 물체 인식 장치9. Object recognition device
도 11은 도 1, 도 9 및 도 10에 도시된 물체 인식 방법을 수행할 수 있는 물체 인식 장치를 도시한 도면이다. 도 11에 도시된 바와 같이, 본 발명이 적용가능한 물체 인식 장치는, RGB-카메라(210), D-카메라(420), 프로세서(430), 저장부(440) 및 디스플레이(450)를 구비한다.FIG. 11 is a diagram illustrating an object recognition apparatus capable of performing the object recognition method illustrated in FIGS. 1, 9, and 10. As shown in FIG. 11, an object recognition apparatus to which the present invention is applicable includes an RGB camera 210, a D-
RGB-카메라(410)는 컬러-이미지를 생성하고, D-카메라(420)는 깊이-이미지를 생성한다. RGB-카메라(410)와 D-카메라(420)는 도 11에 도시된 바와 같이 별도로 구성할 수도 있지만, 하나의 카메라로 구성할 수도 있다.RGB-
저장부(440)에는 인식 물체들의 이미지들이 DB화 되어 있다. 한편, 저장부(440)에는 인식 물체들에 대한 깊이 표준 편차들도 함께 DB화 되어 있다.In the
프로세서(430)는 RGB-카메라(410)에서 생성된 컬러-이미지, D-카메라(420)에서 생성된 깊이-이미지 및 저장부(440)에는 저장된 인식 물체들을 이용하여, 도 1, 도 9 및 도 10에 도시된 물체 인식 방법을 수행한다.The
디스플레이(450)에는 RGB-카메라(410)에 의해 생성된 컬러-이미지가 표시되는데, D-카메라(420)에 의해 생성된 깊이-이미지를 이용하여 입체-이미지로 표시될 수도 있다. 또한, 디스플레이(450)에는 프로세서(430)에 의해 수행된 물체 인식 결과가 디스플레이된다.
The
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.
410 : RGB-카메라
420 : D-카메라
430 : 프로세서
440 : 저장부
450 : 디스플레이410: RGB camera
420: D-camera
430: processor
440: storage unit
450: display
Claims (8)
깊이-이미지에 나타난 깊이 정보를 기초로, 컬러-이미지를 다수의 클러스터들로 클러스터링하는 단계; 및
클러스터링된 클러스터들을 기반으로, 물체 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 물체 인식 방법.
Obtaining a color-image and a depth-image;
Clustering the color-image into a plurality of clusters based on the depth information presented in the depth-image; And
Based on the clustered clusters, performing object recognition.
물체 인식 수행 단계는,
클러스터들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계;
클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계; 및
선정된 후보 영역들을 포함하는 클러스터들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 물체 인식 방법.
The method of claim 1,
The object recognition step is
Performing feature point matching on each of the clusters and each of the recognition objects;
Selecting some regions in the clusters as candidate regions; And
And performing object recognition excluding feature point matching made outside clusters including the selected candidate regions.
물체 인식 수행 단계는,
클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 단계;
후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계; 및
특징점 매칭 결과를 이용하여, 물체 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 물체 인식 방법.
The method of claim 1,
The object recognition step is
Selecting some regions in the clusters as candidate regions;
Performing feature point matching on each of the candidate areas and each of the recognition objects; And
And performing object recognition using the feature point matching result.
후보 영역 선정 단계는,
클러스터들 각각에 대한 컬러-히스토그램들과 인식 물체들 각각에 대한 컬러-히스토그램들을 비교하여, 클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계; 및
제1 선정 단계에서 선정된 후보 영역과 인식 물체의 깊이 통계치들을 비교하고, 통계치 차가 임계치 미만인 후보 영역과 인식 물체를 선정하는 제2 선정단계;를 포함하는 것을 특징으로 하는 물체 인식 방법.
4. The method according to claim 2 or 3,
Candidate area selection step,
A first selecting step of comparing the color histograms for each of the clusters with the color histograms for each of the recognition objects, and selecting some regions in the clusters as candidate regions; And
And a second selection step of comparing the depth statistics of the candidate area selected in the first selection step and the recognition objects, and selecting the candidate area and the recognition object having a statistical difference less than a threshold value.
물체 인식 수행 단계는,
클러스터들 내의 일부 영역들을 후보 영역들로 선정하는 제1 선정 단계;
제1 선정단계에서 선정된 후보 영역들 각각과 인식 물체들 각각에 대해 특징점 매칭을 수행하는 단계;
제1 선정단계에서 선정된 후보 영역들 중 일부를 다시 선정하는 제2 선정 단계; 및
제2 선정 단계에서 선정된 후보 영역들 밖에서 이루어진 특징점 매칭을 배제하고, 물체 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 물체 인식 방법.
The method of claim 1,
The object recognition step is
A first selecting step of selecting some regions in the clusters as candidate regions;
Performing feature point matching on each of the candidate regions selected in the first selecting step and each of the recognition objects;
A second selecting step of selecting again some of the candidate areas selected in the first selecting step; And
And performing object recognition, excluding a feature point matching made outside the candidate regions selected in the second selection step, and performing object recognition.
다수의 클러스터에서 인식된 인식 물체는 인식되지 않은 것으로 처리하는 단계;를 더 포함하는 것을 특징으로 하는 물체 인식 방법.
The method of claim 1,
And processing the recognized object recognized in the plurality of clusters as not recognized.
컬러-이미지에서 다수의 인식 물체가 인식되는 경우, 클러스터와 인식 물체들 간의 컬러-상관도를 비교하여, 하나의 인식 물체를 선정하여 인식된 것으로 처리하는 단계;를 더 포함하는 것을 특징으로 하는 물체 인식 방법.
The method of claim 1,
When a plurality of recognition objects are recognized in the color-image, comparing the color-correlation between the cluster and the recognition objects, selecting one recognition object, and processing the recognized object as a recognized object. Recognition method.
인식 물체들의 이미지가 DB화 되어 있는 저장부; 및
깊이-이미지에 나타난 깊이 정보를 기초로 컬러-이미지를 다수의 클러스터들로 클러스터링하고, 클러스터링된 클러스터들을 기반으로 물체 인식을 수행하는 프로세서;를 포함하는 것을 특징으로 하는 물체 인식 장치.
A camera for acquiring color- and depth-images;
A storage unit in which images of recognition objects are made into a DB; And
And a processor for clustering the color-image into a plurality of clusters based on the depth information shown in the depth-image and performing object recognition based on the clustered clusters.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120051871A KR101916460B1 (en) | 2012-05-16 | 2012-05-16 | Object recognition method and apparatus using depth information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120051871A KR101916460B1 (en) | 2012-05-16 | 2012-05-16 | Object recognition method and apparatus using depth information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130128097A true KR20130128097A (en) | 2013-11-26 |
| KR101916460B1 KR101916460B1 (en) | 2018-11-08 |
Family
ID=49855358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120051871A KR101916460B1 (en) | 2012-05-16 | 2012-05-16 | Object recognition method and apparatus using depth information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101916460B1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150116318A (en) * | 2014-04-07 | 2015-10-15 | 동의대학교 산학협력단 | System and Method for analyzing golf swing motion using Depth Information |
| US10726309B2 (en) | 2017-08-14 | 2020-07-28 | Samsung Electronics Co., Ltd. | Subject recognizing method and apparatus |
| KR20200101521A (en) * | 2019-01-31 | 2020-08-28 | 연세대학교 산학협력단 | Semantic matchaing apparatus and method |
| CN112860993A (en) * | 2021-02-04 | 2021-05-28 | 北京百度网讯科技有限公司 | Method, device, equipment, storage medium and program product for classifying points of interest |
| KR102289668B1 (en) * | 2020-02-21 | 2021-08-12 | 연세대학교 산학협력단 | Apparatus and method for semantic matching based on matching reliability |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050082252A (en) * | 2004-02-18 | 2005-08-23 | 삼성전자주식회사 | Object tracking method and apparatus |
| KR20110047814A (en) * | 2009-10-30 | 2011-05-09 | 한국전자통신연구원 | Apparatus and method for dividing moving picture data in moving picture system |
| KR20110053288A (en) * | 2009-11-09 | 2011-05-20 | 한국과학기술원 | System and method of 3d object recognition using a tree structure |
| JP2012083855A (en) * | 2010-10-07 | 2012-04-26 | Toyota Motor Corp | Object recognition device and object recognition method |
-
2012
- 2012-05-16 KR KR1020120051871A patent/KR101916460B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050082252A (en) * | 2004-02-18 | 2005-08-23 | 삼성전자주식회사 | Object tracking method and apparatus |
| KR20110047814A (en) * | 2009-10-30 | 2011-05-09 | 한국전자통신연구원 | Apparatus and method for dividing moving picture data in moving picture system |
| KR20110053288A (en) * | 2009-11-09 | 2011-05-20 | 한국과학기술원 | System and method of 3d object recognition using a tree structure |
| JP2012083855A (en) * | 2010-10-07 | 2012-04-26 | Toyota Motor Corp | Object recognition device and object recognition method |
Non-Patent Citations (2)
| Title |
|---|
| 논문:박경욱 외 4명 * |
| 논문:장영균 외 1명 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150116318A (en) * | 2014-04-07 | 2015-10-15 | 동의대학교 산학협력단 | System and Method for analyzing golf swing motion using Depth Information |
| US10726309B2 (en) | 2017-08-14 | 2020-07-28 | Samsung Electronics Co., Ltd. | Subject recognizing method and apparatus |
| US11423266B2 (en) | 2017-08-14 | 2022-08-23 | Samsung Electronics Co., Ltd. | Subject recognizing method and apparatus |
| KR20200101521A (en) * | 2019-01-31 | 2020-08-28 | 연세대학교 산학협력단 | Semantic matchaing apparatus and method |
| KR102289668B1 (en) * | 2020-02-21 | 2021-08-12 | 연세대학교 산학협력단 | Apparatus and method for semantic matching based on matching reliability |
| CN112860993A (en) * | 2021-02-04 | 2021-05-28 | 北京百度网讯科技有限公司 | Method, device, equipment, storage medium and program product for classifying points of interest |
| CN112860993B (en) * | 2021-02-04 | 2023-08-04 | 北京百度网讯科技有限公司 | Method, device, equipment, storage medium and program product for classifying points of interest |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101916460B1 (en) | 2018-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9704017B2 (en) | Image processing device, program, image processing method, computer-readable medium, and image processing system | |
| US8600162B2 (en) | Image identification device, image identification method and recording medium | |
| US8805077B2 (en) | Subject region detecting apparatus | |
| EP3249579B1 (en) | Object recognition apparatus, objection recognition method, and program | |
| US20140192158A1 (en) | Stereo Image Matching | |
| JP5521676B2 (en) | Image processing apparatus and image processing program | |
| US10339657B2 (en) | Character detection apparatus and method | |
| US9600745B2 (en) | Image recognition system, image recognition method, and non-transitory computer readable medium storing image recognition program | |
| US20210334998A1 (en) | Image processing method, apparatus, device and medium for locating center of target object region | |
| CN113793336B (en) | Method, device and equipment for detecting blood cells and readable storage medium | |
| US8923610B2 (en) | Image processing apparatus, image processing method, and computer readable medium | |
| EP2486514A1 (en) | Face recognition in digital images | |
| CN108710916B (en) | Picture classification method and device | |
| KR20130128097A (en) | Object recognition method and apparatus using depth information | |
| EP1488371B1 (en) | Comparing patterns | |
| KR101089847B1 (en) | Keypoint matching system and method using SIFT algorithm for the face recognition | |
| US8300927B2 (en) | Mouth removal method for red-eye detection and correction | |
| US20150063637A1 (en) | Image recognition method and robot | |
| KR101521136B1 (en) | Method of recognizing face and face recognition apparatus | |
| KR101391667B1 (en) | A model learning and recognition method for object category recognition robust to scale changes | |
| JP6855175B2 (en) | Image processing equipment, image processing methods and programs | |
| CN114882511A (en) | Handwritten Chinese character recognition method, system, equipment and storage medium based on AMNN and Chinese character structure dictionary | |
| Creusot et al. | 3D landmark model discovery from a registered set of organic shapes | |
| JP2008027130A (en) | Object recognition apparatus, object recognition means, and program for object recognition | |
| CN113095147A (en) | Skin area detection method, system, image processing terminal and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |