KR101234046B1 - Method for tracking object using features in object and apparatus thereof - Google Patents
Method for tracking object using features in object and apparatus thereof Download PDFInfo
- Publication number
- KR101234046B1 KR101234046B1 KR1020110117670A KR20110117670A KR101234046B1 KR 101234046 B1 KR101234046 B1 KR 101234046B1 KR 1020110117670 A KR1020110117670 A KR 1020110117670A KR 20110117670 A KR20110117670 A KR 20110117670A KR 101234046 B1 KR101234046 B1 KR 101234046B1
- Authority
- KR
- South Korea
- Prior art keywords
- feature points
- standard deviation
- internal
- features
- motion vector
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치에 관한 것으로서, 보다 상세하게는 영상에서 객체 내부의 특징점을 이용하여 객체의 위치를 추적하기 위한 방법 및 장치에 관한 것이다.The present invention relates to a method and an apparatus for tracking an object using feature points within an object, and more particularly, to a method and apparatus for tracking a location of an object using feature points inside an object in an image.
영상에서 객체를 추적하기 위한 방법으로서 영상에서의 특징점을 이용한 객체 추적 방법이 다양하게 사용되고 있다. 그 예로서 특허공개 제2010-0026123호에는 이동 물체의 특징점을 이용하는 영상 검지 방법이 개시되어 있다. 이는 영상으로부터 특징점을 추출하고 카메라 좌표계를 이용하여 실세계 3차원 좌표를 변환한 후 특징점의 높이와 움직임 방향을 추정하여 차량을 추적하는 방법이다.As an object tracking method in an image, an object tracking method using feature points in an image has been used in various ways. For example, Japanese Patent Laid-Open No. 2010-0026123 discloses an image detection method using feature points of a moving object. This method extracts feature points from an image, converts real-world three-dimensional coordinates using a camera coordinate system, and estimates the height and direction of movement of the feature points to track the vehicle.
그런데, 이러한 종래의 방법은 복잡한 외부 환경에서는 추적하고자 하는 객체뿐만 아니라 배경이나 다른 객체들에서도 특징점들이 추출되게 되는 문제점이 있다. 이렇게 잘못 추출된 외부 특징점들에 의하면 객체의 추적 오류가 누적되게 되고, 결과적으로 시간이 경과함에 따라 객체 추적에 실패하는 원인이 된다.However, this conventional method has a problem that feature points are extracted not only from the object to be tracked but also from the background or other objects in a complex external environment. According to the incorrectly extracted external feature points, the tracking error of the object accumulates, and as a result, tracking of the object fails as time passes.
본 발명은, 객체 내부에 해당되는 특징점들을 추출하여 해당 객체의 위치를 강건하게 추출할 수 있는 객체 내부의 특징점을 이용한 객체 추적 방법 및 장치를 제공하는데 목적이 있다.It is an object of the present invention to provide a method and apparatus for tracking an object using feature points within an object which can extract feature points corresponding to the inside of an object and robustly extract the location of the object.
본 발명은, 이전시점 및 현재시점의 영상 내의 관심영역에 대한 특징점들을 각각 추출하는 단계와, 상기 관심영역 내의 일부영역에 속하는 특징점들 중 임계거리 이상의 움직임 벡터를 갖는 특징점들의 개수를 연산하여 객체의 움직임 여부를 판단하는 단계와, 상기 관심영역 내의 특징점들 중 상기 임계거리 미만에 해당되는 특징점들을 제거하는 단계와, 상기 일부영역 내의 특징점들에 대한 움직임 벡터의 평균과 표준편차를 연산하는 단계, 및 상기 관심영역 내의 특징점들 중, 상기 평균을 기준으로 상기 표준편차에 의한 제1 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하는 단계를 포함하는 객체 내부의 특징점을 이용한 객체 추적 방법을 제공한다.According to an embodiment of the present invention, extracting feature points of a region of interest in an image of a previous view and a current view, and calculating a number of feature points having a motion vector greater than or equal to a critical distance among the feature points belonging to the partial region in the region of interest; Determining whether there is motion, removing feature points below the threshold distance among feature points in the region of interest, calculating an average and standard deviation of a motion vector with respect to feature points in the partial region, and Selecting among the feature points in the region of interest the internal feature points of the object some feature points that are similar in value to the motion vector within a first critical standard deviation range due to the standard deviation based on the mean. Provides an object tracking method using the feature points of.
여기서, 상기 객체의 움직임 여부를 판단하는 단계 이전에는, 상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들, 그리고 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들에 대하여, 서로 매칭되는 특징점 쌍들의 매칭 비용을 각각 연산하는 단계, 및 상기 매칭 비용의 연산 결과를 바탕으로 잘못 매칭된 특징점 쌍을 제거하는 단계를 더 포함할 수 있다.Here, before the determining of the movement of the object, the feature points matched with each other with respect to the feature points extracted from the ROI in the image of the previous viewpoint and the feature points extracted from the ROI in the image of the current viewpoint. Computing the matching costs of the pairs, respectively, and removing the mismatched feature point pair based on the calculation result of the matching cost.
그리고, 상기 객체의 움직임 여부를 판단하는 단계는, 상기 계산된 특징점들의 개수가 기준값 이상인 경우 상기 객체의 움직임이 있는 것으로 판단할 수 있다.In the determining of whether the object moves, when the calculated number of feature points is equal to or greater than a reference value, the object may be determined to be in motion.
또한, 상기 객체의 내부 특징점들을 선택하는 단계 이후에는, 상기 선택된 내부 특징점들에 대한 움직임 벡터의 평균과 표준편차를 재계산하는 단계, 및 상기 재계산된 표준편차와 기 설정된 임계치를 서로 비교하는 단계를 더 포함할 수 있으며, 이때, 상기 재계산된 표준편차가 상기 임계치 이상인 경우, 상기 객체의 내부 특징점들을 선택하는 단계를 재수행하되, 상기 관심영역 내의 특징점들 중, 상기 재계산된 평균을 기준으로 상기 재계산된 표준편차에 의한 제2 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하여 상기 내부 특징점들을 갱신할 수 있다.In addition, after selecting the internal feature points of the object, recalculating the mean and standard deviation of the motion vector with respect to the selected internal feature points, and comparing the recalculated standard deviation with a preset threshold. If the recalculated standard deviation is greater than or equal to the threshold value, the method may further include selecting internal feature points of the object, based on the recalculated average among the feature points in the ROI. The internal feature points may be updated by selecting some feature points having a similar value to the motion vector within the second critical standard deviation range due to the recalculated standard deviation as internal feature points of the object.
여기서, 상기 객체 내부의 특징점을 이용한 객체 추적 방법은, 상기 재계산된 표준편차가 상기 임계치 미만이 될 때까지, 상기 객체의 내부 특징점들을 선택하는 단계, 상기 평균과 표준편차를 재계산하는 단계, 및 상기 재계산된 표준편차와 상기 임계치를 서로 비교하는 단계를 반복 수행하면서 상기 내부 특징점들을 갱신할 수 있다.The object tracking method using the feature points within the object may include selecting internal feature points of the object until the recalculated standard deviation is less than the threshold value, recalculating the mean and standard deviation, And repeating the step of comparing the recalculated standard deviation and the threshold with each other to update the internal feature points.
그리고, 상기 객체 내부의 특징점을 이용한 객체 추적 방법은, 상기 내부 특징점들을 통해 추정되는 호모그래피 행렬을 이용하여 상기 객체의 위치를 판단하는 단계를 더 포함할 수 있다.The object tracking method using the feature points inside the object may further include determining a location of the object using a homography matrix estimated through the internal feature points.
그리고, 본 발명은 이전시점 및 현재시점의 영상 내의 관심영역에 대한 특징점들을 각각 추출하는 특징점 추출부와, 상기 관심영역 내의 일부영역에 속하는 특징점들 중 임계거리 이상의 움직임 벡터를 갖는 특징점들의 개수를 연산하여 객체의 움직임 여부를 판단하는 움직임 판단부와, 상기 관심영역 내의 특징점들 중 상기 임계거리 미만에 해당되는 특징점들을 제거하는 비움직임 특징점 제거부와, 상기 일부영역 내의 특징점들에 대한 움직임 벡터의 평균과 표준편차를 연산하는 연산부, 및 상기 관심영역 내의 특징점들 중, 상기 평균을 기준으로 상기 표준편차에 의한 제1 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하는 내부 특징점 선택부를 포함하는 객체 내부의 특징점을 이용한 객체 추적 장치를 제공한다.The present invention calculates a feature point extracting unit for extracting feature points of a region of interest in an image of a previous view and a current view, and a number of feature points having a motion vector greater than or equal to a threshold distance among the feature points belonging to a partial region in the region of interest. A motion determining unit for determining whether the object is moving, a non-moving feature point removing unit for removing feature points less than the threshold distance among the feature points in the ROI, and an average of motion vectors with respect to the feature points in the partial region And an operation unit for calculating a standard deviation, and some feature points in the ROI, having some feature points having similar values of the motion vector within a first threshold standard deviation range based on the standard deviation based on the average. Select a feature point inside the object that contains an internal feature point selection Yonghan provides an object-tracking device.
여기서, 상기 객체 내부의 특징점을 이용한 객체 추적 장치는, 상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들, 그리고 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들에 대하여, 서로 매칭되는 특징점 쌍들의 매칭 비용을 각각 연산하는 매칭 비용 연산부, 및 상기 매칭 비용의 연산 결과를 바탕으로 잘못 매칭된 특징점 쌍을 제거하는 비매칭 특징점 제거부를 더 포함할 수 있다.Here, the object tracking apparatus using the feature points inside the object, the feature points matched with each other with respect to the feature points extracted from the region of interest in the image of the previous time, and the feature points extracted from the region of interest in the image of the current time The apparatus may further include a matching cost calculator which calculates matching costs of pairs, and a mismatching feature point remover that removes a pair of feature points that are incorrectly matched based on the calculation result of the matching cost.
또한, 상기 움직임 판단부는, 상기 계산된 특징점들의 개수가 기준값 이상인 경우 상기 객체의 움직임이 있는 것으로 판단할 수 있다.The motion determiner may determine that there is motion of the object when the calculated number of feature points is greater than or equal to a reference value.
그리고, 상기 내부 특징점 선택부에서 상기 객체의 내부 특징점들을 선택한 이후, 상기 연산부는, 상기 선택된 내부 특징점들에 대한 움직임 벡터의 평균과 표준편차를 재계산한 다음, 상기 재계산된 표준편차와 기 설정된 임계치를 서로 비교할 수 있고, 이때 상기 내부 특징점 선택부는, 상기 재계산된 표준편차가 상기 임계치 이상인 경우, 상기 객체의 내부 특징점들을 선택하는 과정을 재수행하되, 상기 내부 특징점 선택부는, 상기 관심영역 내의 특징점들 중, 상기 재계산된 평균을 기준으로 상기 재계산된 표준편차에 의한 제2 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하여 상기 내부 특징점들을 갱신할 수행할 수 있다.After selecting the internal feature points of the object in the internal feature point selector, the calculator recalculates an average and a standard deviation of the motion vector with respect to the selected internal feature points, and then recalculates the standard deviation and the preset standard deviation. Threshold values may be compared with each other, wherein the internal feature point selector re-selects the internal feature points of the object when the recalculated standard deviation is greater than or equal to the threshold value, but the internal feature point selector selects the feature points within the ROI. Among them, the internal feature points are updated by selecting some feature points having similar values of the motion vector as the internal feature points of the object within a second critical standard deviation range due to the recalculated standard deviation based on the recalculated average. Can be done.
여기서, 상기 객체 내부의 특징점을 이용한 객체 추적 장치는, 상기 재계산된 표준편차가 상기 임계치 미만이 될 때까지, 상기 객체의 내부 특징점들을 선택하는 과정, 상기 평균과 표준편차를 재계산하는 과정, 및 상기 재계산된 표준편차와 상기 임계치를 서로 비교하는 과정을 반복 수행하면서 상기 내부 특징점들을 갱신할 수 있다.Here, the object tracking apparatus using the feature points inside the object, the process of selecting the internal feature points of the object, the process of recalculating the mean and standard deviation until the recalculated standard deviation is less than the threshold value, And repeating the process of comparing the recalculated standard deviation and the threshold with each other to update the internal feature points.
그리고, 상기 객체 내부의 특징점을 이용한 객체 추적 장치는, 상기 내부 특징점들을 통해 추정되는 호모그래피 행렬을 이용하여 상기 객체의 위치를 판단하는 객체 위치 판단부를 더 포함할 수 있다.The object tracking apparatus using the feature point inside the object may further include an object position determiner configured to determine the position of the object using a homography matrix estimated through the internal feature points.
본 발명에 따른 객체 내부의 특징점을 이용한 객체 추적 장치에 따르면, 객체 내부에 해당되는 특징점들을 선택하고 이를 이용하여 객체의 위치를 추정함에 따라, 복잡한 배경 환경에도 객체의 위치를 강건하게 추출할 수 있고 추정 오차를 최소화할 수 있는 이점이 있다.According to the object tracking apparatus using the feature points within the object according to the present invention, by selecting the feature points corresponding to the inside of the object and estimating the location of the object using the feature, the location of the object can be extracted robustly even in a complex background environment This has the advantage of minimizing the estimation error.
도 1은 본 발명의 실시예에 따른 객체 내부의 특징점을 이용한 객체 추적 장치의 구성도이다.
도 2는 도 1을 이용한 객체 추적 방법의 흐름도이다.1 is a block diagram of an object tracking apparatus using feature points within an object according to an embodiment of the present invention.
2 is a flowchart of an object tracking method using FIG. 1.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 실시예에 따른 객체 내부의 특징점을 이용한 객체 추적 장치의 구성도이다. 상기 객체 추적 장치(100)는 특징점 추출부(110), 매칭 비용 연산부(120), 비매칭 특징점 제거부(130), 움직임 판단부(140), 비움직임 특징점 제거부(150), 연산부(160), 내부 특징점 선택부(170), 객체위치 판단부(180)를 포함한다.1 is a block diagram of an object tracking apparatus using feature points within an object according to an embodiment of the present invention. The
도 2는 본 발명의 실시예에 따른 객체 내부의 특징점을 이용한 객체 추적 방법의 흐름도이다. 이하에서는 도 1 및 도 2를 참조로 하여 본 발명에 따른 객체 추적 방법에 관하여 상세히 알아본다.2 is a flowchart of an object tracking method using feature points inside an object according to an exemplary embodiment of the present invention. Hereinafter, an object tracking method according to the present invention will be described in detail with reference to FIGS. 1 and 2.
먼저, 상기 특징점 추출부(110)에서는 이전시점의 영상 내의 관심영역(ROI;Region Of Interest)에 대한 특징점들과, 현재시점의 영상 내의 상기 관심영역에 대한 특징점들을 각각 추출한다(S200). 여기서, 영상으로부터 특징점을 추출하는 것은 기존에 공지된 다양한 방식이 사용될 수 있다. First, the
이후, 매칭 비용 연산부(120)는 상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들, 그리고 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들에 대하여, 서로 매칭되는 특징점 쌍들의 매칭 비용을 각각 연산한다(S210).Thereafter, the matching
이는 이전 시점의 영상과 현재 시점의 영상에서 서로 매칭되는 특징점 쌍들 사이의 매칭 비용을 연산하는 과정이다. 예를 들어, KLT(Kanade-Lucas-Tamasi) 등과 같은 추적기를 통해 검출된 특징점 쌍들에 대하여 상기 매칭 비용을 계산한다.This is a process of calculating a matching cost between pairs of feature points that match each other in the image of the previous view and the image of the current view. For example, the matching cost is calculated for pairs of feature points detected through a tracker such as Kanade-Lucas-Tamasi (KLT).
여기서, 상기 매칭 비용의 연산은 NCC(Normalized cross correlation), HOG (Histogram of gradient)와 같은 디스크립터(descriptor)를 이용할 수 있다. 이러한 S210 단계는 추적기의 오류에 의하여 잘못 매칭된 특징점들을 우선적으로 제거하기 위한 것이다. The calculation of the matching cost may use a descriptor such as a normalized cross correlation (NCC) and a histogram of gradient (HOG). This step S210 is to first remove the feature points that are incorrectly matched by the tracker error.
따라서, S210 단계 이후에는, 상기 매칭 비용의 연산 결과를 바탕으로 잘못 매칭된 특징점 쌍을 제거한다(S220). 이는 비매칭 특징점 제거부(130)를 통해 수행한다.Therefore, after step S210, the pair of feature points that are incorrectly matched is removed based on the calculation result of the matching cost (S220). This is done through the mismatch
이후, 움직임 판단부(140)에서는 상기 관심영역 내의 일부영역(ex, 중심 영역)에 속하는 특징점들 중 임계거리 이상의 움직임 벡터를 갖는 특징점들의 개수를 연산하여 상기 객체의 움직임 여부를 판단한다(S230).Thereafter, the
여기서, 상기 일부영역은 상기 관심영역 내의 중심 영역에 해당될 수 있다. 상기 중심 영역은 관심영역의 중심으로부터 관심영역의 폭와 높이의 ±1/N에 해당되는 영역으로 정의하고, 통상적으로는 N=4로 정한다.The partial region may correspond to a central region within the ROI. The center region is defined as a region corresponding to ± 1 / N of the width and height of the region of interest from the center of the region of interest, and is usually defined as N = 4.
만약, 임계거리 이상의 움직임 벡터를 갖는 특징점들의 개수가 기준값(기준 개수) 이상인 경우, 상기 객체의 움직임이 있는 것으로 판단한다. 물론, 상기 계산된 특징점들의 개수가 기준값 미만이면 객체가 움직임이 없는 것으로 판단한다.If the number of feature points having a motion vector greater than or equal to a threshold distance is equal to or greater than a reference value (reference number), it is determined that there is motion of the object. Of course, if the calculated number of feature points is less than the reference value, it is determined that the object is not moving.
객체가 움직임 있다고 판단되면, 상기 관심영역 내의 모든 특징점들에 대해서, 움직임 벡터가 상기 임계거리 미만에 해당되는 특징점들을 모두 제거한다(S240). If it is determined that the object is in motion, all the feature points in the ROI are removed from the feature vector corresponding to the motion vector less than the threshold distance (S240).
이는 움직임이 없는 특징점들을 제거하는 단계에 해당되는 것으로서, 상기 비움직임 특징점 제거부(150)를 통해 수행한다. 이러한 S240 단계는 감시 카메라와 같이 고정 카메라를 이용하여 움직이는 객체를 추적할 때, 객체의 외곽 특징점들을 제거하기 위함이다. This corresponds to the step of removing the non-movement feature points, and is performed through the non-movement
이하에서는, 남아있는 특징점들 중에서도 유사 움직임 벡터를 갖는 내부 특징점들을 선택한다. In the following, internal feature points having a similar motion vector are selected among the remaining feature points.
이를 위해, 먼저 상기 연산부(160)에서는 상기 일부영역(ex, 관심영역 상의 중심영역) 내의 특징점들에 대한 움직임 벡터의 평균(Mavr)과 표준편차(σ)를 연산한다(S250). 이는 유사 움직임 벡터를 갖는 내부 특징점들의 선택 과정에 사용되는 초기값들에 해당된다.To this end, first, the
이후, 내부 특징점 선택부(170)에서는, 상기 관심영역 내에 존재하는 모든 특징점들 중에서, 상기 평균(Mavr)을 기준으로 제1 임계 표준편차 범위(ex, kσ) 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택한다(S260).Then, the internal
여기서, 상기 제1 임계 표준편차란 앞서 S250 단계에서 구하여진 표준편차(σ)에 의해 설정되는 것이다. 예를 들어, 상기 제1 임계 표준편차는 kσ 값에 해당된다. 즉, 표준편차(σ)에 k가 곱하여진 값으로서 k는 임의의 상수에 해당된다.Here, the first critical standard deviation is set by the standard deviation σ obtained in step S250. For example, the first critical standard deviation corresponds to a kσ value. That is, k is a value obtained by multiplying the standard deviation σ by k, and k corresponds to an arbitrary constant.
즉, 상기 S260 단계에 따르면, 상기 움직임 벡터의 평균(Mavr)으로부터 일정 범위(kσ) 이내에 존재하는 움직임 벡터를 갖는 특징점들을 상기 내부 특징점들로 선택하는 것이다. That is, according to the step S260, the feature points having a motion vector existing within a predetermined range kσ from the average M avr of the motion vector are selected as the internal feature points.
이러한 S260 단계 이후, 상기 연산부(160)에서는 앞서 S260 단계에서 선택된 내부 특징점들에 대한 움직임 벡터의 평균과 표준편차를 다시 재계산한다(S270).After this step S260, the
여기서, 상기 연산부(160)는 상기 재계산된 표준편차와 기 설정된 임계치(σmin)를 서로 비교한다(S280). 즉, 상기 재계산된 표준편차가 상기 임계치(σmin) 이상인 경우, 내부 특징점 선택부(170)에서는 앞서 S260단계와 같은 과정을 재수행하면서 내부 특징점들을 갱신하도록 한다.Here, the
이때, 내부 특징점 선택부(170)는 상기 S270단계에서 재계산된 평균과 재계산된 표준편차를 이용하여 내부 특징점들을 선택한다. 즉, 상기 관심영역 내의 특징점들 중에서, 상기 재계산된 평균을 기준으로 제2 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하여 상기 내부 특징점들을 갱신한다. 여기서, 제2 임계 표준편차란, S270 단계에서 재계산된 표준편차에 의해 설정되는 값으로서, 상기 재계산된 표준편차에 임의의 상수를 곱한 값에 해당된다.In this case, the internal
이러한 S260 단계 내지 S280 단계는 재계산된 표준편차가 상기 임계치(σmin) 미만이 될 때까지 반복 수행하면서, 상기 내부 특징점들을 갱신하도록 한다. 이러한 반복 과정을 통해 객체의 내부 특징점들의 선택에 대한 신뢰성 및 정확도를 높일 수 있다.These steps S260 to S280 are repeated until the recalculated standard deviation becomes less than the threshold σ min , thereby updating the internal feature points. This iterative process can increase the reliability and accuracy of the selection of the internal feature points of the object.
이후에는, 객체위치 판단부(180)를 이용하여, 상기 내부 특징점들을 통해 추정되는 호모그래피 행렬을 이용하여 상기 객체의 관심영역의 위치를 결정한다(S290). 즉, 재계산된 표준편차가 임계치(σmin) 미만이면, 최종 선택된 내부 특징점들을 이용하여 호모그래피 행렬을 추정하고 객체의 위치를 판단한다.Thereafter, the
이렇게 결정되는 객체의 관심영역이 곧 추정되는 객체의 위치에 해당될 수 있다. 여기서, 상기 호모그래피 행렬을 이용하는 과정은 기존에 공지된 기술로서 이에 관한 상세한 설명은 생략한다.The region of interest of the object thus determined may correspond to the estimated position of the object. Here, the process of using the homography matrix is a known technique and a detailed description thereof will be omitted.
이상과 같은 본 발명에 따르면, 객체 내부에 해당되는 특징점들을 선택하고, 선택된 특징점들을 이용하여 객체의 위치를 추정한다. 이에 따라, 복잡한 배경 환경에도 보행자, 차량, 얼굴 등의 다양한 객체의 위치를 강건하게 추출할 수 있고 추정 오차를 최소화할 수 있는 이점이 있다. 이러한 본 발명은 지능형 자동차, 영상 보안, 게임 등의 다양한 응용 분야에 활용될 수 있다.According to the present invention as described above, feature points corresponding to the inside of the object are selected, and the position of the object is estimated using the selected feature points. Accordingly, the location of various objects such as pedestrians, vehicles, and faces can be extracted robustly even in a complicated background environment, and there is an advantage of minimizing estimation errors. The present invention can be utilized in various application fields such as intelligent cars, video security, and games.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.While the present invention has been described with reference to exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.
100: 객체 내부의 특징점을 이용한 객체 추적 장치
110: 특징점 추출부 120: 매칭 비용 연산부
130: 비매칭 특징점 제거부 140: 움직임 판단부
150: 비움직임 특징점 제거부 160: 연산부
170: 내부 특징점 선택부 180: 객체위치 판단부100: object tracking device using feature points inside the object
110: feature point extractor 120: matching cost calculator
130: unmatched feature point removal unit 140: motion determination unit
150: non-movement feature point remover 160: calculator
170: internal feature point selector 180: object position determiner
Claims (12)
상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들과 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들을 이용하여, 상기 관심영역 내의 일부영역에 속하는 특징점들 중 임계거리 이상의 움직임 벡터를 갖는 특징점들의 개수를 연산하여 객체의 움직임 여부를 판단하는 단계;
상기 관심영역 내의 특징점들 중 상기 임계거리 미만에 해당되는 특징점들을 제거하는 단계;
상기 일부영역 내의 특징점들에 대한 움직임 벡터의 평균과 표준편차를 연산하는 단계; 및
상기 관심영역 내의 특징점들 중, 상기 평균을 기준으로 상기 표준편차에 의한 제1 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하는 단계를 포함하는 객체 내부의 특징점을 이용한 객체 추적 방법. Extracting feature points of a region of interest in an image of a previous time point and a current time point, respectively;
A feature point having a motion vector greater than or equal to a threshold distance among feature points belonging to the partial region in the ROI by using feature points extracted from the ROI in the image of the previous viewpoint and feature points extracted in the ROI in the image of the current viewpoint. Determining whether an object moves by calculating the number of pieces of the object;
Removing feature points of the feature points within the ROI that are less than the threshold distance;
Calculating an average and a standard deviation of a motion vector with respect to feature points in the partial region; And
Selecting among the feature points in the region of interest the internal feature points of the object some feature points that are similar in value to the motion vector within a first critical standard deviation range due to the standard deviation based on the mean. Object tracking method using feature points.
상기 객체의 움직임 여부를 판단하는 단계 이전에는,
상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들, 그리고 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들에 대하여, 서로 매칭되는 특징점 쌍들의 매칭 비용을 각각 연산하는 단계; 및
상기 매칭 비용의 연산 결과를 바탕으로 잘못 매칭된 특징점 쌍을 제거하는 단계를 더 포함하는 객체 내부의 특징점을 이용한 객체 추적 방법. The method according to claim 1,
Before determining whether the object is moving,
Calculating matching costs of feature point pairs that match each other with respect to the feature points extracted from the ROI in the image of the previous viewpoint and the feature points extracted from the ROI in the image of the current viewpoint; And
And removing a mismatched feature point pair based on a result of the calculation of the matching cost.
상기 객체의 움직임 여부를 판단하는 단계는,
상기 연산된 특징점들의 개수가 기준값 이상인 경우 상기 객체의 움직임이 있는 것으로 판단하는 객체 내부의 특징점을 이용한 객체 추적 방법. The method according to claim 1,
Determining whether the object is moving,
If the number of the calculated feature points is more than the reference value object tracking method using the feature points inside the object to determine that the movement of the object.
상기 객체의 내부 특징점들을 선택하는 단계 이후에는,
상기 선택된 내부 특징점들에 대한 움직임 벡터의 평균과 표준편차를 재계산하는 단계; 및
상기 재계산된 표준편차와 기 설정된 임계치를 서로 비교하는 단계를 더 포함하고,
상기 재계산된 표준편차가 상기 임계치 이상인 경우, 상기 객체의 내부 특징점들을 선택하는 단계를 재수행하되, 상기 관심영역 내의 특징점들 중, 상기 재계산된 평균을 기준으로 상기 재계산된 표준편차에 의한 제2 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하여 상기 내부 특징점들을 갱신하는 객체 내부의 특징점을 이용한 객체 추적 방법. The method according to claim 1,
After selecting the internal feature points of the object,
Recalculating the mean and standard deviation of the motion vector for the selected internal feature points; And
Comparing the recalculated standard deviation and a predetermined threshold with each other,
If the recomputed standard deviation is greater than or equal to the threshold, selecting the internal feature points of the object is performed again, and based on the recalculated average, among the feature points in the ROI, 2. The method of claim 2, wherein some feature points having similar values of the motion vector are selected as internal feature points of the object to update the internal feature points within a critical standard deviation range.
상기 재계산된 표준편차가 상기 임계치 미만이 될 때까지, 상기 객체의 내부 특징점들을 선택하는 단계, 상기 평균과 표준편차를 재계산하는 단계, 및 상기 재계산된 표준편차와 상기 임계치를 서로 비교하는 단계를 반복 수행하면서 상기 내부 특징점들을 갱신하는 객체 내부의 특징점을 이용한 객체 추적 방법. The method of claim 4,
Selecting internal feature points of the object, recalculating the mean and standard deviation, and comparing the recalculated standard deviation and the threshold until the recalculated standard deviation is less than the threshold Object tracking method using a feature point inside the object to update the internal feature points while repeating the step.
상기 내부 특징점들을 통해 추정되는 호모그래피 행렬을 이용하여 상기 객체의 위치를 판단하는 단계를 더 포함하는 객체 내부의 특징점을 이용한 객체 추적 방법.The method according to any one of claims 1 to 5,
And determining the position of the object by using a homography matrix estimated through the internal feature points.
상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들과 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들을 이용하여, 상기 관심영역 내의 일부영역에 속하는 특징점들 중 임계거리 이상의 움직임 벡터를 갖는 특징점들의 개수를 연산하여 객체의 움직임 여부를 판단하는 움직임 판단부;
상기 관심영역 내의 특징점들 중 상기 임계거리 미만에 해당되는 특징점들을 제거하는 비움직임 특징점 제거부;
상기 일부영역 내의 특징점들에 대한 움직임 벡터의 평균과 표준편차를 연산하는 연산부; 및
상기 관심영역 내의 특징점들 중, 상기 평균을 기준으로 상기 표준편차에 의한 제1 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하는 내부 특징점 선택부를 포함하는 객체 내부의 특징점을 이용한 객체 추적 장치.A feature point extracting unit for extracting feature points of a region of interest in an image of a previous view and a current view;
A feature point having a motion vector greater than or equal to a threshold distance among feature points belonging to the partial region in the ROI by using feature points extracted from the ROI in the image of the previous viewpoint and feature points extracted in the ROI in the image of the current viewpoint. A motion determination unit to determine whether the object is moving by calculating the number of pieces of light;
A non-moving feature point removal unit for removing feature points corresponding to less than the threshold distance among the feature points in the ROI;
A calculator for calculating an average and a standard deviation of a motion vector with respect to the feature points in the partial region; And
Among the feature points in the region of interest, an internal feature point selector for selecting some feature points having similar values of the motion vector within the first critical standard deviation range based on the standard deviation as internal feature points of the object. Object tracking device using feature points inside an object.
상기 이전시점의 영상 내의 관심영역에서 추출된 특징점들, 그리고 상기 현재시점의 영상 내의 상기 관심영역에서 추출된 특징점들에 대하여, 서로 매칭되는 특징점 쌍들의 매칭 비용을 각각 연산하는 매칭 비용 연산부; 및
상기 매칭 비용의 연산 결과를 바탕으로 잘못 매칭된 특징점 쌍을 제거하는 비매칭 특징점 제거부를 더 포함하는 객체 내부의 특징점을 이용한 객체 추적 장치.The method of claim 7,
A matching cost calculator configured to calculate matching costs of pairs of feature points matched with each other with respect to feature points extracted from a region of interest in the image of the previous viewpoint and the feature points extracted from the region of interest in the image of the current viewpoint; And
And a mismatching feature point removal unit for removing mismatched feature point pairs based on a result of the calculation of the matching cost.
상기 움직임 판단부는,
상기 연산된 특징점들의 개수가 기준값 이상인 경우 상기 객체의 움직임이 있는 것으로 판단하는 객체 내부의 특징점을 이용한 객체 추적 장치. The method of claim 7,
The motion determining unit,
The object tracking device using the feature point inside the object to determine that the movement of the object when the number of the calculated feature point is more than the reference value.
상기 내부 특징점 선택부에서 상기 객체의 내부 특징점들을 선택한 이후,
상기 연산부는,
상기 선택된 내부 특징점들에 대한 움직임 벡터의 평균과 표준편차를 재계산한 다음, 상기 재계산된 표준편차와 기 설정된 임계치를 서로 비교하고,
상기 내부 특징점 선택부는,
상기 재계산된 표준편차가 상기 임계치 이상인 경우, 상기 객체의 내부 특징점들을 선택하는 과정을 재수행하되, 상기 관심영역 내의 특징점들 중, 상기 재계산된 평균을 기준으로 상기 재계산된 표준편차에 의한 제2 임계 표준편차 범위 이내로 상기 움직임 벡터의 값이 유사한 일부 특징점들을 상기 객체의 내부 특징점들로 선택하여 상기 내부 특징점들을 갱신하는 객체 내부의 특징점을 이용한 객체 추적 장치.The method of claim 7,
After selecting the internal feature points of the object in the internal feature point selector,
The calculation unit,
Recompute the mean and standard deviation of the motion vector for the selected internal feature points, and then compare the recalculated standard deviation and a predetermined threshold with each other,
The internal feature point selector,
If the recalculated standard deviation is greater than or equal to the threshold, the process of selecting internal feature points of the object is performed again, and among the feature points in the ROI, based on the recalculated average, 2. The apparatus of claim 2, wherein some feature points having similar values of the motion vector are selected as internal feature points of the object to update the internal feature points within a critical standard deviation range.
상기 연산부 및 상기 내부 특징점 선택부를 이용하여, 상기 재계산된 표준편차가 상기 임계치 미만이 될 때까지, 상기 객체의 내부 특징점들을 선택하는 과정, 상기 평균과 표준편차를 재계산하는 과정, 및 상기 재계산된 표준편차와 상기 임계치를 서로 비교하는 과정을 반복 수행하면서 상기 내부 특징점들을 갱신하는 객체 내부의 특징점을 이용한 객체 추적 장치.The method of claim 10,
Selecting the internal feature points of the object, recalculating the mean and standard deviation until the recalculated standard deviation is less than the threshold value using the calculator and the internal feature point selector, and the re An object tracking apparatus using feature points within an object which updates the internal feature points while repeatedly performing a process of comparing the calculated standard deviation with the threshold.
상기 내부 특징점들을 통해 추정되는 호모그래피 행렬을 이용하여 상기 객체의 위치를 판단하는 객체 위치 판단부를 더 포함하는 객체 내부의 특징점을 이용한 객체 추적 장치.The method according to any one of claims 7 to 11,
And an object location determiner configured to determine the location of the object using a homography matrix estimated through the internal feature points.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110117670A KR101234046B1 (en) | 2011-11-11 | 2011-11-11 | Method for tracking object using features in object and apparatus thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110117670A KR101234046B1 (en) | 2011-11-11 | 2011-11-11 | Method for tracking object using features in object and apparatus thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101234046B1 true KR101234046B1 (en) | 2013-02-15 |
Family
ID=47899660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110117670A KR101234046B1 (en) | 2011-11-11 | 2011-11-11 | Method for tracking object using features in object and apparatus thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101234046B1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101885839B1 (en) | 2017-03-14 | 2018-08-06 | 중앙대학교 산학협력단 | System and Method for Key point Selecting for Object Tracking |
CN108596116A (en) * | 2018-04-27 | 2018-09-28 | 深圳市商汤科技有限公司 | Distance measuring method, intelligent control method and device, electronic equipment and storage medium |
WO2018182199A1 (en) * | 2017-03-27 | 2018-10-04 | 삼성전자주식회사 | Method for tracking object in image and electronic device therefor |
US10445924B2 (en) | 2016-11-14 | 2019-10-15 | Samsung Electronics Co., Ltd. | Method and device for processing DVS events |
CN112990105A (en) * | 2021-04-19 | 2021-06-18 | 北京优幕科技有限责任公司 | Method and device for evaluating user, electronic equipment and storage medium |
KR20210125371A (en) * | 2020-04-08 | 2021-10-18 | 한국전자통신연구원 | Method and apparatus for analyzing traffic situation |
KR20210126485A (en) * | 2020-04-09 | 2021-10-20 | 센스타임 인터내셔널 피티이. 리미티드. | Matching method, apparatus, electronic device, computer readable storage medium, and computer program |
US11461997B2 (en) | 2020-04-09 | 2022-10-04 | Sensetime International Pte. Ltd. | Matching method and apparatus, electronic device, computer-readable storage medium, and computer program |
KR102580683B1 (en) * | 2022-11-24 | 2023-09-21 | 한국전자기술연구원 | Network-based positioning system and method using thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110087595A (en) * | 2010-01-26 | 2011-08-03 | 삼성전자주식회사 | Apparatus for processing digital image and thereof method |
KR20120048958A (en) * | 2010-11-08 | 2012-05-16 | 재단법인대구경북과학기술원 | Method for tracking object and for estimating |
-
2011
- 2011-11-11 KR KR1020110117670A patent/KR101234046B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20110087595A (en) * | 2010-01-26 | 2011-08-03 | 삼성전자주식회사 | Apparatus for processing digital image and thereof method |
KR20120048958A (en) * | 2010-11-08 | 2012-05-16 | 재단법인대구경북과학기술원 | Method for tracking object and for estimating |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10445924B2 (en) | 2016-11-14 | 2019-10-15 | Samsung Electronics Co., Ltd. | Method and device for processing DVS events |
KR101885839B1 (en) | 2017-03-14 | 2018-08-06 | 중앙대학교 산학협력단 | System and Method for Key point Selecting for Object Tracking |
WO2018182199A1 (en) * | 2017-03-27 | 2018-10-04 | 삼성전자주식회사 | Method for tracking object in image and electronic device therefor |
CN108596116A (en) * | 2018-04-27 | 2018-09-28 | 深圳市商汤科技有限公司 | Distance measuring method, intelligent control method and device, electronic equipment and storage medium |
US11468581B2 (en) | 2018-04-27 | 2022-10-11 | Shenzhen Sensetime Technology Co., Ltd. | Distance measurement method, intelligent control method, electronic device, and storage medium |
CN108596116B (en) * | 2018-04-27 | 2021-11-05 | 深圳市商汤科技有限公司 | Distance measuring method, intelligent control method and device, electronic equipment and storage medium |
KR20210125371A (en) * | 2020-04-08 | 2021-10-18 | 한국전자통신연구원 | Method and apparatus for analyzing traffic situation |
KR102566525B1 (en) * | 2020-04-08 | 2023-08-21 | 한국전자통신연구원 | Method and apparatus for analyzing traffic situation |
KR20210126485A (en) * | 2020-04-09 | 2021-10-20 | 센스타임 인터내셔널 피티이. 리미티드. | Matching method, apparatus, electronic device, computer readable storage medium, and computer program |
KR102433313B1 (en) * | 2020-04-09 | 2022-08-18 | 센스타임 인터내셔널 피티이. 리미티드. | Matching method, apparatus, electronic device, computer readable storage medium, and computer program |
US11461997B2 (en) | 2020-04-09 | 2022-10-04 | Sensetime International Pte. Ltd. | Matching method and apparatus, electronic device, computer-readable storage medium, and computer program |
CN112990105B (en) * | 2021-04-19 | 2021-09-21 | 北京优幕科技有限责任公司 | Method and device for evaluating user, electronic equipment and storage medium |
CN112990105A (en) * | 2021-04-19 | 2021-06-18 | 北京优幕科技有限责任公司 | Method and device for evaluating user, electronic equipment and storage medium |
KR102580683B1 (en) * | 2022-11-24 | 2023-09-21 | 한국전자기술연구원 | Network-based positioning system and method using thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101234046B1 (en) | Method for tracking object using features in object and apparatus thereof | |
CN108388879B (en) | Target detection method, device and storage medium | |
US10339389B2 (en) | Methods and systems for vision-based motion estimation | |
US9672634B2 (en) | System and a method for tracking objects | |
WO2016034059A1 (en) | Target object tracking method based on color-structure features | |
KR101054736B1 (en) | Method for 3d object recognition and pose estimation | |
US9477887B2 (en) | Apparatus and method for analyzing trajectory | |
CN104517275A (en) | Object detection method and system | |
US20150310283A1 (en) | Lane recognition device | |
CN109658433B (en) | Image background modeling and foreground extracting method and device and electronic equipment | |
CN111512317A (en) | Multi-target real-time tracking method and device and electronic equipment | |
WO2013012091A1 (en) | Information processing apparatus, object tracking method, and program storage medium | |
CN110084830B (en) | Video moving object detection and tracking method | |
US10657625B2 (en) | Image processing device, an image processing method, and computer-readable recording medium | |
US20180173991A1 (en) | Feature value extraction method and feature value extraction apparatus | |
US9824449B2 (en) | Object recognition and pedestrian alert apparatus for a vehicle | |
US10242453B2 (en) | Simultaneous localization and mapping initialization | |
US20190114501A1 (en) | Target tracking method and system adaptable to multi-target tracking | |
CN113610967B (en) | Three-dimensional point detection method, three-dimensional point detection device, electronic equipment and storage medium | |
CN110751722A (en) | Method and device for simultaneously positioning and establishing image | |
CN109741370B (en) | Target tracking method and device | |
US20180307932A1 (en) | Outside Recognition Device for Vehicle | |
Jung et al. | A feature-based vehicle tracking system in congested traffic video sequences | |
JP5829155B2 (en) | Pedestrian detection device and program | |
CN110288633B (en) | Target tracking method and device, readable storage medium and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160122 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161213 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |