KR101303124B1 - 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법 - Google Patents

특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법 Download PDF

Info

Publication number
KR101303124B1
KR101303124B1 KR1020120058412A KR20120058412A KR101303124B1 KR 101303124 B1 KR101303124 B1 KR 101303124B1 KR 1020120058412 A KR1020120058412 A KR 1020120058412A KR 20120058412 A KR20120058412 A KR 20120058412A KR 101303124 B1 KR101303124 B1 KR 101303124B1
Authority
KR
South Korea
Prior art keywords
feature
descriptors
feature point
interest
descriptor
Prior art date
Application number
KR1020120058412A
Other languages
English (en)
Inventor
정용욱
허준희
이정선
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020120058412A priority Critical patent/KR101303124B1/ko
Priority to US13/906,783 priority patent/US9552642B2/en
Priority to CN201310213639.3A priority patent/CN103456003B/zh
Priority to PCT/KR2013/004840 priority patent/WO2013180530A1/ko
Application granted granted Critical
Publication of KR101303124B1 publication Critical patent/KR101303124B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법이 개시된다. 특징점 기술자 생성부는 관심객체를 검출하고자 하는 입력영상으로부터 추출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자를 생성한다. 매칭부는 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 목표객체에 대응하는 관심객체의 특징점 기술자를 결정한다. 특징점 제거부는 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다. 본 발명에 따르면, 입력영상으로부터 관심객체를 검출함에 있어 매칭에 의해 얻어진 특징점들에 기하학적 비교 조건을 적용하여 잘못 매칭된 특징점을 제거함으로써 객체 추적의 정확도를 향상시킬 수 있다.

Description

특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법{Apparatus and method for object tracking using feature descriptor, and apparatus and method for removing garbage feature}
본 발명은 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법에 관한 것으로, 보다 상세하게는, 입력영상으로부터 특징점 기술자를 생성하여 검출 대상인 목표객체에 대응하는 관심객체를 추적하기 위해 잘못 매칭된 특징점을 제거하는 장치 및 방법에 관한 것이다.
최근 모바일 기기의 성능 향상에 따라 모바일 기기에서 단독으로 영상의 관심객체를 검출 및 추적하기 위한 시도가 늘고 있다. 영상에 포함된 관심객체를 검출하는 기존의 알고리즘으로는 Scale Invariant Feature Transform(SIFT)와 Speeded Up Robust Features(SURF)가 있다.
SIFT 알고리즘은 영상으로부터 추출된 특징점을 중심으로 하는 세부영역에서 각 화소의 기울기 방향 히스토그램을 8개의 방향으로 구분하여 128차원의 벡터로 표현하는 방법이다. 이를 위해 원본영상으로부터 복수의 차분영상을 생성하고, 각각의 차분영상의 모든 화소들에 대해 벡터 산출 등의 연산을 수행하여야 하므로 관심객체를 추적할 때 다른 특징점 기반 알고리즘에 비해 정확도가 높은 대신 계산 복잡도가 높다는 단점이 있다.
또한 SURF 알고리즘은 SIFT 알고리즘의 속도를 향상시킨 것으로, 특징점을 추출하기 위해 근사화된 헤시안 검출기(Hessian detector)를 기반으로 적분영상과 고속 헤시안 검출기를 사용함으로써 처리속도를 향상시킨다. 그러나 이 방법은 SIFT 알고리즘에 비해 속도가 빨라진 대신 정확도 성능이 저하되었다는 단점을 가진다.
US 6711293 2004. 03. 23. 특허문헌 1은 영상에서 크기 불변 특징점을 식별하고, 특징점을 사용하여 영상에 포함된 객체의 위치를 파악하는 방법에 관한 것으로, SIFT 알고리즘에 대응된다. US 2009/0238460 2009. 09. 24. 특허문헌 2는 크기 및 회전 불변의 특징점을 빠른 속도로 찾기 위한 방법에 관한 것으로, SURF 알고리즘에 대응된다.
본 발명이 이루고자 하는 기술적 과제는, 계산 복잡도를 완화시켜 모바일 기기에서 실시간으로 영상의 관심객체를 검출 및 추적할 수 있는 특징점 기술자에 의한 객체 추적장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 계산 복잡도를 완화시켜 모바일 기기에서 실시간으로 영상의 관심객체를 검출 및 추적할 수 있는 특징점 기술자에 의한 객체 추적방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 흔들림이 많이 존재하는 모바일 환경에서 관심객체 검출 및 추적의 정확도를 향상시킬 수 있는 에러 특징점 제거장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 흔들림이 많이 존재하는 모바일 환경에서 관심객체 검출 및 추적의 정확도를 향상시킬 수 있는 에러 특징점 제거방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 특징점 기술자에 의한 객체 추적장치는, 관심객체를 검출하고자 하는 입력영상으로부터 추출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자(descriptor)를 생성하는 특징점 기술자 생성부; 상기 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대응하는 상기 관심객체의 특징점 기술자를 결정하는 매칭부; 및 상기 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 특징점 제거부;를 포함한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 특징점 기술자에 의한 객체 추적방법은, (a) 관심객체를 검출하고자 하는 입력영상으로부터 추출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자(descriptor)를 생성하는 단계; (b) 상기 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대응하는 상기 관심객체의 특징점 기술자를 결정하는 단계; 및 (c) 상기 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 단계;를 갖는다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 에러 특징점 제거장치는, 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특징점 기술자들을 입력받는 입력부; 상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용하는 특징점 처리부; 및 상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 특징점 확정부;를 포함한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 에러 특징점 제거방법은, (a) 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특징점 기술자들을 입력받는 단계; (b) 상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용하는 단계; 및 (c) 상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 단계;를 갖는다.
본 발명에 따른 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법에 의하면, 입력영상으로부터 관심객체를 검출함에 있어 매칭에 의해 얻어진 특징점들에 기하학적 비교 조건을 적용하여 잘못 매칭된 특징점을 제거함으로써 객체 추적의 정확도를 향상시킬 수 있으며, 연산량을 감소시켜 객체 추적 속도를 향상시킬 수 있으므로 모바일 기기에 구현하기 적합하다.
도 1은 본 발명에 따른 특징점 기술자에 의한 객체 추적장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 특징점 기술자 생성부에 대한 일 실시예의 구성을 도시한 블록도,
도 3은 입력영상에 가우시안 필터를 반복적으로 적용하여 영상 피라미드를 생성하는 일 실시예를 나타낸 도면,
도 4는 중심점 p를 중심으로 코너 특징점 여부를 결정하기 위한 일 예를 도시한 도면,
도 5는 FAST 기법에 의해 코너 특징점을 검출하는 일 실시예를 도시한 도면,
도 6은 화소영역을 9개의 서브영역으로 분할하여 특징점 기술자를 생성하는 일 예를 도시한 도면,
도 7은 본 발명에 따른 에러 특징점 제거장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 8은 기하학적 비교 조건 검사를 위한 위한 동일 평면상의 점들을 도시한 도면,
도 9는 기하학적 비교 조건을 사용하여 최종 특징점 기술자를 확정하는 예를 나타낸 도면,
도 10은 기하학적 비교 조건을 적용하기 전과 후의 특징점 매칭 결과를 나타낸 도면,
도 11은 본 발명에 따른 특징점 기술자에 의한 객체 추적방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도, 그리고,
도 12는 본 발명에 따른 에러 특징점 제거방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 특징점 기술자에 의한 객체 추적장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 객체 추적장치는 특징점 기술자 생성부(110), 매칭부(120), 특징점 제거부(130) 및 저장부(140)를 구비한다.
특징점 기술자 생성부(110)는 관심객체를 검출하고자 하는 입력영상으로부터 검출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자를 생성한다. 이를 위해 특징점 기술자 생성부(110)는 기존의 알려진 기법을 사용하거나, 알려진 기법을 변형하여 특징점 기술자를 생성할 수 있다.
도 2는 특징점 기술자 생성부(110)에 대한 일 실시예의 구성을 도시한 블록도이다. 도 2를 참조하면, 특징점 기술자 생성부(110)는 영상 피라미드 생성부(112), 코너점 검출부(114) 및 기술자 생성부(116)를 구비할 수 있다.
영상 피라미드 생성부(112)는 입력영상으로부터 단계적으로 해상도가 변화하는 차분영상들로 이루어진 영상 피라미드를 생성한다. 영상 피라미드는 입력영상에 가우시안 필터(Gaussian filter)와 같은 저역 통과 필터를 반복적으로 적용함으로써 생성될 수 있다.
도 3은 입력영상에 가우시안 필터를 반복적으로 적용하여 영상 피라미드를 생성하는 일 실시예를 나타낸 도면이다. 도 3을 참조하면, 가우시안 필터에 의해 입력영상이 단계적으로 블러링되어 결과적으로 입력영상이 축소되는 것과 같은 결과가 얻어지는 것을 확인할 수 있다. 영상 피라미드를 구성하는 차분영상의 개수, 즉 가우시안 필터의 적용 횟수는 적응적으로 사전에 설정될 수 있다.
코너점 검출부(114)는 영상 피라미드를 구성하는 각각의 차분영상으로부터 코너 특징점을 검출하고, 영상 피라미드의 각 차분영상으로부터 공통적으로 검출된 코너 특징점을 크기 불변의 특징점으로 결정한다.
일 실시예로서, 코너점 검출부(114)는 코너 특징점을 검출하기 위한 방법 중 하나인 FAST(Features from Accelerated Segment Test) 기법을 사용하여 코너 특징점 여부를 확인하기 위한 중심점을 기준으로 사전에 설정된 거리 내에 위치하는 원형 영역의 주변 화소들과 중심점의 값을 대비하여 중심점이 코너 특징점에 해당하는지 판단할 수 있다.
구체적으로, 코너점 검출부(114)는 연속하는 사전에 설정된 n개(예를 들면, n=12) 이상의 주변 화소들이 중심점에 비해 사전에 설정된 임계값 이상으로 높은 화소값을 가지는 경우 또는 연속하는 n개 이상의 주변 화소들이 중심점에 비해 임계값 이상으로 낮은 화소값을 가지는 경우에 해당 중심점을 차분영상의 코너 특징점으로 검출할 수 있다. 도 4에는 중심점 p를 중심으로 코너 특징점 여부를 결정하기 위한 일 예가 도시되어 있다.
또한 코너점 검출부(114)는 도 4에서 중심점 p로부터 일정 거리만큼 떨어져 원형으로 배열된 16개의 화소들을 모두 중심점 p와 대비하는 대신 코너 특징점 검출의 속도를 높이기 위하여 중심점 p에 대하여 수직 및 수평 방향으로 위치한 네 개의 화소들, 예를 들면, 도 4에서 1, 5, 9 및 13으로 표시된 화소들만을 중심점 p와 대비한 후 주변 화소들에 대해 기계 학습(Machine Learning) 방법 중 하나인 의사결정 트리(Decision Tree)를 적용하여 빠르게 코너 특징점을 검출할 수 있다.
도 5는 FAST 기법에 의해 코너 특징점을 검출하는 일 실시예를 도시한 도면이다. 도 5에서 적색으로 표시된 지점은 연속하는 9개의 연속하는 주변 화소들이 임계값 이상으로 높거나 낮은 화소값을 가지는 코너 특징점을 나타내며, 녹색으로 표시된 지점은 12개의 연속하는 주변 화소들이 임계값 이상으로 높거나 낮은 화소값을 가지는 코너 특징점을 나타낸다.
코너점 검출부(114)는 이상에서 설명한 방법에 의해 영상 피라미드의 각 차분영상으로부터 코너 특징점을 검출한 후, 모든 차분영상으로부터 공통적으로 검출되는 코너 특징점을 입력영상에 대한 크기 불변의 특징점으로 결정한다.
다음으로 기술자 생성부(116)는 코너점 검출부(114)에 의해 결정된 크기 불변의 특징점 각각에 대하여 특징점 기술자를 생성한다. 기존의 SIFT 알고리즘에서는 128차원 벡터 형태의 특징점 기술자가 생성되는 반면, 기술자 생성부(116)는 영상의 x축 및 y축에 대한 그라디언트 성분만을 가지는 36차원 벡터 형태의 특징점 기술자를 생성할 수 있다.
구체적으로, 기술자 생성부(116)는 각 코너 특징점을 중심으로 하는 사전에 설정된 크기의 화소영역을 복수의 서브영역으로 분할한 후, 각각의 서브영역마다 네 방향으로의 그라디언트를 계산하고 히스토그램으로 저장함으로써 크기 불변의 특징점 기술자를 생성할 수 있다. 여기서 그라디언트는 화소값의 변화 방향과 크기를 나타내는 벡터로서, 다음의 수학식 1에 의해 산출될 수 있다.
Figure 112012043735144-pat00001
여기서, I(x,y)는 영상의 (x,y) 좌표의 화소값을 의미하며, magnitude(x,y)는 (x,y) 화소에 대한 그라디언트의 크기, orientation(x,y)는 (x,y) 화소에 대한 그라디언트의 방향을 나타낸다.
기술자 생성부(116)는 각 코너 특징점을 중심으로 하는 화소영역을 3×3(화소) 크기의 9개의 서브영역으로 분할하고, 각각의 서브영역에 대하여 네 방향으로의 그라디언트에 대한 히스토그램을 생성하여 결과적으로 36차원의 특징점 기술자를 생성할 수 있다. 도 6은 화소영역을 9개의 서브영역으로 분할하여 특징점 기술자를 생성하는 일 예를 도시한 도면이다.
앞에서 언급한 바와 같이 본 발명은 모바일 기기에서 연산량을 감소시켜 빠른 속도로 관심객체를 추적하기 위한 것이므로, 기존의 SIFT 기법에서 128차원의 특징점 기술자를 생성하는 것과 대비하여 연산 속도를 향상시킬 수 있다.
매칭부(120)는 이상에서 설명한 방법에 의해 생성된 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 목표객체에 대응하는 관심객체의 특징점 기술자를 결정한다.
여기서 목표객체는 입력영상으로부터 관심객체를 검출하기 위한 비교 대상이 되며, 목표객체는 관심객체 추적을 위한 영상 촬영이 개시되기 이전에 데이터베이스에 미리 저장되어 있는 것일 수도 있고, 연속적인 영상 촬영에 의해 객체를 추적하는 경우 객체 검출이 개시된 첫 번째 영상 프레임으로부터 검출된 관심객체가 목표객체로서 데이터베이스에 저장된 것일 수도 있다.
또한 이상의 두 가지 목표객체를 함께 사용하여 관심객체를 추적할 경우, 영상 촬영시의 조도 변화와 같은 각종 환경 변화를 고려하여 정확한 관심객체 검출이 가능하다.
매칭부(120)는 현재 입력영상으로부터 생성된 특징점 기술자와 데이터베이스에 저장되어 있는 목표객체의 특징점 기술자 사이의 거리를 산출하고, 산출된 거리가 사전에 설정된 임계치 이하인 특징점 기술자만을 관심객체의 특징점 기술자로서 결정한다.
특징점 기술자 사이의 거리는 기존의 다양한 방법을 사용하여 산출할 수 있으며, 예를 들면 다음의 수학식 2와 같이 절대차 합(Sum of Absolute Difference : SAD)에 의해 산출할 수 있다.
Figure 112012043735144-pat00002
여기서, fn(i)는 입력영상으로부터 생성된 36차원 특징점 기술자의 i번째 값이고, fm'(i)는 목표객체에 대응하는 특징점 기술자의 i번째 값이다.
또한 관심객체의 특징점 기술자에 해당하는지 여부를 결정하기 위한 임계치는 다음의 수학식 3에 의해 산출될 수 있다.
Figure 112012043735144-pat00003
여기서, w는 가중치이고, dist는 입력영상으로부터 생성된 모든 특징점 기술자에 대하여 산출된 거리값을 의미한다.
한편, 이와 같이 목표객체와의 매칭에 의해 관심객체에 대응하는 특징점 기술자를 결정하더라도 특징점 기술자의 차원을 감소시킴에 따른 매칭 오차가 발생할 수 있다. 나아가 모바일 기기에 의해 촬영된 영상은 정지 상태에서 촬영된 영상에 비해 이러한 매칭 오차의 발생 확률이 높다.
따라서 본 발명에 따른 객체 추적장치의 특징점 제거부(130)는 관심객체의 특징점 기술자들 중 기하학적 비교 조건(perspective invariant)을 만족하지 않는 특징점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다. 이러한 추가적인 필터링 과정에 따라 목표객체와 잘못 매칭된 에러 특징점(garbage feature)이 제거될 수 있다.
한편, 특징점 제거부(130)는 이상에서 설명한 바와 같이 본 발명에 따른 객체 추적장치의 일부 구성요소로서 구현될 수도 있으며, 독립적인 하나의 장치로서 구현되어 기존의 객체 검출 및 추적 시스템의 성능을 향상시키기 위해 사용될 수도 있다.
도 7은 본 발명에 따른 에러 특징점 제거장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 7을 참조하면, 본 발명에 따른 에러 특징점 제거장치는, 입력부(210), 특징점 처리부(220) 및 특징점 확정부(230)를 구비한다. 이하에서는 본 발명에 따른 에러 특징점 제거장치가 이상에서 설명한 본 발명에 따른 객체 추적장치의 특징점 제거부(130)와 동일한 구성을 가지는 것으로 하여 구체적으로 설명한다.
본 발명에 따른 에러 특징점 제거장치의 입력부(210)는 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특징점 기술자들을 입력받는다. 이는 본 발명에 따른 객체 추적장치의 특징점 제거부(130)가 매칭부(120)에 의해 결정된 관심객체의 특징점 기술자들을 입력받는 것과 동일하다.
다음으로, 특징점 처리부(220)는 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용한다.
구체적으로, 특징점 처리부(220)는 관심객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비와 목표객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비를 대비함으로써 관심객체의 특징점 기술자들이 기하학적 비교 조건을 만족하는지 여부를 검사한다.
특징점 처리부(220)는 기하학적 비교 조건의 만족 여부를 검사하기 위해 관심객체 및 목표객체의 동일 평면상에 위치하는 5개의 점을 사용할 수 있다. 도 8은 기하학적 비교 조건 검사를 위한 위한 동일 평면상의 점들을 도시한 도면이다.
도 8에 도시된 것과 같은 P1 내지 P5의 5개 점은 다음의 수학식 4와 같이 나타낼 수 있다.
Figure 112012043735144-pat00004
여기서, Pi는 i번째 점(i는 1 내지 5의 값), (xi,yi)는 i번째 점의 영상에서의 좌표, 그리고 5개의 점이 동일 평면상에 위치하므로 zi의 값은 1로 설정된다.
다음으로 수학식 4와 같이 표현되는 3개의 점 Pi, Pj 및 Pk로부터 하나의 3×3 행렬을 생성할 수 있으며, 이는 다음의 수학식 5와 같이 나타낼 수 있다.
Figure 112012043735144-pat00005
수학식 5의
Figure 112012043735144-pat00006
를 관심객체의 Pi, Pj 및 Pk에 대하여 얻어진 행렬이라 하면, 이와 유사하게 목표객체에서 Pi, Pj 및 Pk에 대응하는 Pi', Pj' 및 Pk'에 대하여도 3×3 행렬
Figure 112012043735144-pat00007
를 생성할 수 있다.
이와 같이 3개의 점으로부터 생성된 행렬의 행렬식(determinant)의 비는 투영 변환(perspective transformation)에 불변(invariant)인 것으로 알려져 있다(P. Putjarupong, C. Pintavirooj, W. Withayachumnankul, and M. Sangworasil, "Image Registration Exploiting Five-point Coplanar Perspective Invariant and Maximum-Curvature Point", In Journal WSCG, volume 12, pages 341348, 2004). 즉, 두 개의 서로 다른 투영 변환에서 다음의 수학식 6이 성립한다.
Figure 112012043735144-pat00008
특징점 처리부(220)는 수학식 6과 같은 기하학적 비교 조건(perspective invariant)을 관심객체의 특징점 기술자들에 순차적으로 적용하고, 특징점 확정부(230)는 특징점 처리부(220)에 의해 기하학적 비교 조건을 만족하지 않는 것으로 결정된 특징점 기술자를 제거함으로써 관심객체의 최종 특징점 기술자를 확정한다.
구체적으로, 특징점 처리부(220)는 먼저 관심객체의 특징점 기술자들 중에서 5개의 특징점 기술자를 선택하여 초기 특징점 기술자로 설정한다. 다음으로 초기 특징점 기술자들 및 그에 대응하는 목표객체의 특징점 기술자에 수학식 6의 조건을 적용하여 기하학적 비교 조건 만족 여부를 검사한다. 바람직하게는, 특징점 처리부(220)는 관심객체의 특징점 기술자들 중에서 6개의 특징점 기술자를 선택한 후 6C5에 의해 5개씩의 점들로부터 총 6개의 기하학적 비교 조건식을 산출하여 비교함으로써 조건 만족 여부를 검사할 수 있다.
특징점 확정부(230)는 초기 특징점 기술자 중에서 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거한다. 이때 제거될 특징점 기술자의 개수는 사전에 설정될 수 있다.
특징점 확정부(230)에 의해 일부 특징점 기술자가 제거된 후, 특징점 처리부(220)는 나머지 특징점 기술자들에 새로운 특징점 기술자를 추가하여 다시 동일 평면상의 5개 점에 대한 기하학적 비교 조건을 적용한다.
이상의 과정을 관심객체의 특징점 기술자들 전체에 대해 반복함으로써, 특징점 확정부(230)는 관심객체의 최종 특징점 기술자를 확정할 수 있다. 앞에서 설명한 바와 같이 이상의 과정은 본 발명에 따른 객체 추적장치의 특징점 제거부(130)에 의해 동일하게 수행된다.
다시 도 1을 참조하면, 저장부(140)는 특징점 제거부(130)에 의해 결정된 관심객체의 최종 특징점 기술자를 데이터베이스(미도시)에 저장한다. 또한 저장부(140)는 특징점 제거부(130)에 의해 관심객체의 특징점 기술자들이 5개씩 선택되어 기하학적 비교 조건의 만족 여부를 검사하는 과정이 반복 수행될 때마다 실시간으로 새로운 최종 특징점 기술자를 데이터베이스(미도시)에 추가할 수 있다.
도 9는 기하학적 비교 조건을 사용하여 최종 특징점 기술자를 확정하는 예를 나타낸 도면이다. 도 9의 (a)의 경우 7개의 점으로부터 6개의 투영 변환 행렬식의 비를 산출하였으며, 목표객체와 평균 4.3%의 오차로 매칭되었다. 또한 도 9의 (b)의 경우 9개의 점으로부터 14개의 투영 변환 행렬식의 비를 산출하였으며, 목표객체와 평균 5.0%의 오차로 매칭되었다.
도 10은 기하학적 비교 조건을 적용하기 전과 후의 특징점 매칭 결과를 나타낸 것으로, 기하학적 비교 조건을 적용하기 이전인 도 10의 (a)에 비해 기하학적 비교 조건을 적용한 (b)에서 목표객체에 정확하게 매칭되는 특징점들만 선택되는 것을 확인할 수 있다.
도 11은 본 발명에 따른 특징점 기술자에 의한 객체 추적방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 10을 참조하면, 영상 피라미드 생성부(112)는 입력영상으로부터 단계적으로 해상도가 변화하는 차분영상들로 이루어진 영상 피라미드를 생성하고(S1010), 코너점 검출부(114)는 영상 피라미드의 각 차분영상으로부터 코너 특징점을 검출한다(S1020). 앞에서 설명한 바와 같이 영상 피라미드 생성 및 코너 특징점 검출은 기존의 알려진 기법들을 사용하여 수행될 수 있다.
기술자 생성부(116)는 각 차분영상에서 공통적으로 검출되는 코너 특징점인 크기 불변의 특징점 각각에 대응하는 특징점 기술자를 생성한다(S1030).
매칭부(120)는 생성된 특징점 기술자와 사전에 저장된 목표객체의 특징점 기술자 사이의 거리를 산출하는 방법에 의해 특징점 매칭을 수행하여 관심객체의 특징점 기술자를 결정한다(S1040). 특징점 제거부(130)는 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 관심객체의 최종 특징점 기술자를 확정한다(S1050).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 특징점 기술자 생성부
112 - 영상 피라미드 생성부
114 - 코너점 검출부
116 - 기술자 생성부
120 - 매칭부
130 - 특징점 제거부
140 - 저장부
210 - 입력부
220 - 특징점 처리부
230 - 특징점 확정부

Claims (26)

  1. 관심객체를 검출하고자 하는 입력영상으로부터 추출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자(descriptor)를 생성하는 특징점 기술자 생성부;
    상기 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대응하는 상기 관심객체의 특징점 기술자를 결정하는 매칭부; 및
    상기 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 특징점 제거부;를 포함하는 것을 특징으로 하는 객체 추적장치.
  2. 제 1항에 있어서,
    상기 특징점 기술자 생성부는,
    상기 입력영상으로부터 단계적으로 해상도가 변화하는 차분영상들로 이루어진 영상 피라미드를 생성하는 영상 피라미드 생성부;
    상기 영상 피라미드를 구성하는 각각의 차분영상으로부터 코너 특징점을 검출하고, 상기 영상 피라미드의 각 차분영상으로부터 공통적으로 검출된 코너 특징점을 크기 불변의 특징점으로 결정하는 코너점 검출부; 및
    상기 크기 불변의 특징점 각각에 대하여 상기 특징점 기술자를 생성하는 기술자 생성부;를 포함하는 것을 특징으로 하는 객체 추적장치.
  3. 제 2항에 있어서,
    상기 영상 피라미드 생성부는 상기 입력영상에 사전에 설정된 반복횟수만큼 가우시안 필터를 적용하여 상기 차분영상들을 생성하는 것을 특징으로 하는 객체 추적장치.
  4. 제 2항에 있어서,
    상기 코너점 검출부는 상기 차분영상으로부터 선택된 화소인 중심점으로부터 사전에 설정된 거리에 위치하는 화소들 중 사전에 설정된 개수의 연속하는 화소들이 상기 중심점에 비해 사전에 설정된 임계값 이상으로 크거나 작은 화소값을 가지면 상기 중심점을 상기 코너 특징점으로 결정하는 것을 특징으로 하는 객체 추적장치.
  5. 제 2항에 있어서,
    상기 기술자 생성부는 상기 크기 불변의 특징점을 중심으로 하는 사전에 설정된 크기의 화소영역을 복수의 서브영역으로 분할하고, 상기 각각의 서브영역에 대하여 생성된 그라디언트 값의 히스토그램을 기초로 상기 크기 불변의 특징점에 대응하는 벡터 형태의 상기 특징점 기술자를 생성하는 것을 특징으로 하는 객체 추적장치.
  6. 제 5항에 있어서,
    상기 기술자 생성부는 상기 화소영역을 9개의 서브영역으로 분할하고, 상기 각각의 서브영역에 대응하여 네 개의 그라디언트 방향에 대한 히스토그램을 산출함으로써 36차원 벡터 형태의 상기 특징점 기술자를 생성하는 것을 특징으로 하는 객체 추적장치.
  7. 제 1항에 있어서,
    상기 특징점 제거부는 상기 관심객체의 특징점 기술자들에 대하여 산출된 투영 변환(perspective transformation) 행렬식의 비와 상기 목표객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비가 동일하게 되는 기하학적 비교 조건을 사용하여 상기 관심객체의 최종 특징점 기술자들을 확정하는 것을 특징으로 하는 객체 추적장치.
  8. 제 7항에 있어서,
    상기 특징점 제거부는 상기 관심객체의 특징점 기술자들 중 임의로 선택된 5개의 특징점 기술자로부터 상기 기하학적 비교 조건을 만족하지 않는 사전에 설정된 개수의 특징점 기술자를 제거하고 새로운 특징점 기술자를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복하여 수행함으로써 상기 관심객체의 최종 특징점 기술자를 확정하는 것을 특징으로 하는 객체 추적장치.
  9. 제 1항에 있어서,
    상기 관심객체의 최종 특징점 기술자들을 데이터베이스에 저장하는 저장부를 더 포함하는 것을 특징으로 하는 객체 추적장치.
  10. 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특징점 기술자들을 입력받는 입력부;
    상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용하는 특징점 처리부; 및
    상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 특징점 확정부;를 포함하는 것을 특징으로 하는 에러 특징점 제거장치.
  11. 제 10항에 있어서,
    상기 특징점 처리부는 상기 관심객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비와 상기 관심객체의 특징점 기술자들에 대응하는 상기 목표객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비가 동일하게 되는 기하학적 비교 조건을 사용하는 것을 특징으로 하는 에러 특징점 제거장치.
  12. 제 10항에 있어서,
    상기 특징점 처리부는 상기 관심객체의 특징점 기술자들 중 임의로 선택된 5개의 특징점 기술자 및 그에 대응하는 상기 목표객체의 특징점 기술자들에 상기 기하학적 비교 조건을 적용하고, 상기 특징점 확정부에 의해 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자가 제거된 후 나머지 특징점 기술자에 새로운 특징점 기술자를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복하여 수행하는 것을 특징으로 하는 에러 특징점 제거장치.
  13. (a) 관심객체를 검출하고자 하는 입력영상으로부터 추출된 복수의 특징점 각각의 정보를 나타내는 복수의 특징점 기술자(descriptor)를 생성하는 단계;
    (b) 상기 특징점 기술자들과 사전에 저장된 목표객체의 특징점 기술자들을 대비하여 상기 목표객체에 대응하는 상기 관심객체의 특징점 기술자를 결정하는 단계; 및
    (c) 상기 관심객체의 특징점 기술자들 중 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 단계;를 포함하는 것을 특징으로 하는 객체 추적방법.
  14. 제 13항에 있어서,
    상기 (a) 단계는,
    (a1) 상기 입력영상으로부터 단계적으로 해상도가 변화하는 차분영상들로 이루어진 영상 피라미드를 생성하는 단계;
    (a2) 상기 영상 피라미드를 구성하는 각각의 차분영상으로부터 코너 특징점을 검출하고, 상기 영상 피라미드의 각 차분영상으로부터 공통적으로 검출된 코너 특징점을 크기 불변의 특징점으로 결정하는 단계; 및
    (a3) 상기 크기 불변의 특징점 각각에 대하여 상기 특징점 기술자를 생성하는 단계;를 포함하는 것을 특징으로 하는 객체 추적방법.
  15. 제 14항에 있어서,
    상기 (a1) 단계에서, 상기 입력영상에 사전에 설정된 반복횟수만큼 가우시안 필터를 적용하여 상기 차분영상들을 생성하는 것을 특징으로 하는 객체 추적방법.
  16. 제 14항에 있어서,
    상기 (a2) 단계에서, 상기 차분영상으로부터 선택된 화소인 중심점으로부터 사전에 설정된 거리에 위치하는 화소들 중 사전에 설정된 개수의 연속하는 화소들이 상기 중심점에 비해 사전에 설정된 임계값 이상으로 크거나 작은 화소값을 가지면 상기 중심점을 상기 코너 특징점으로 결정하는 것을 특징으로 하는 객체 추적방법.
  17. 제 14항에 있어서,
    상기 (a3) 단계에서, 상기 크기 불변의 특징점을 중심으로 하는 사전에 설정된 크기의 화소영역을 복수의 서브영역으로 분할하고, 상기 각각의 서브영역에 대하여 생성된 그라디언트 값의 히스토그램을 기초로 상기 크기 불변의 특징점에 대응하는 벡터 형태의 상기 특징점 기술자를 생성하는 것을 특징으로 하는 객체 추적방법.
  18. 제 17항에 있어서,
    상기 (a3) 단계에서, 상기 화소영역을 9개의 서브영역으로 분할하고, 상기 각각의 서브영역에 대응하여 네 개의 그라디언트 방향에 대한 히스토그램을 산출함으로써 36차원 벡터 형태의 상기 특징점 기술자를 생성하는 것을 특징으로 하는 객체 추적방법.
  19. 제 13항에 있어서,
    상기 (c) 단계에서, 상기 관심객체의 특징점 기술자들에 대하여 산출된 투영 변환(perspective transformation) 행렬식의 비와 상기 목표객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비가 동일하게 되는 기하학적 비교 조건을 사용하여 상기 관심객체의 최종 특징점 기술자들을 확정하는 것을 특징으로 하는 객체 추적방법.
  20. 제 19항에 있어서,
    상기 (c) 단계에서, 상기 관심객체의 특징점 기술자들 중 임의로 선택된 5개의 특징점 기술자로부터 상기 기하학적 비교 조건을 만족하지 않는 사전에 설정된 개수의 특징점 기술자를 제거하고 새로운 특징점 기술자를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복하여 수행함으로써 상기 관심객체의 최종 특징점 기술자를 확정하는 것을 특징으로 하는 객체 추적방법.
  21. 제 13항에 있어서,
    (d) 상기 관심객체의 최종 특징점 기술자들을 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적방법.
  22. (a) 사전에 저장된 목표객체의 특징점 기술자들과의 매칭에 의해 입력영상으로부터 추출된 관심객체의 특징점 기술자들을 입력받는 단계;
    (b) 상기 관심객체의 특징점 기술자들에 대하여 사전에 설정된 기하학적 비교 조건을 적용하는 단계; 및
    (c) 상기 관심객체의 특징점 기술자들 중 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자를 제거하여 상기 관심객체의 최종 특징점 기술자를 확정하는 단계;를 포함하는 것을 특징으로 하는 에러 특징점 제거방법.
  23. 제 22항에 있어서,
    상기 (b) 단계에서, 상기 관심객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비와 상기 관심객체의 특징점 기술자들에 대응하는 상기 목표객체의 특징점 기술자들에 대하여 산출된 투영 변환 행렬식의 비가 동일하게 되는 기하학적 비교 조건을 사용하는 것을 특징으로 하는 에러 특징점 제거방법.
  24. 제 22항에 있어서,
    상기 (b) 단계에서 상기 관심객체의 특징점 기술자들 중 임의로 선택된 5개의 특징점 기술자 및 그에 대응하는 상기 목표객체의 특징점 기술자들에 상기 기하학적 비교 조건을 적용하고, 상기 (c) 단계에서 상기 기하학적 비교 조건을 만족하지 않는 특징점 기술자가 제거된 후 나머지 특징점 기술자에 새로운 특징점 기술자를 추가하여 상기 기하학적 비교 조건을 적용하는 과정을 상기 관심객체의 특징점 기술자들 전체에 대해 반복하여 수행하는 것을 특징으로 하는 에러 특징점 제거방법.
  25. 제 13항 내지 제 21항 중 어느 한 항에 기재된 객체 추적방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  26. 제 22항 내지 제 24항 중 어느 한 항에 기재된 에러 특징점 제거방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120058412A 2012-05-31 2012-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법 KR101303124B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120058412A KR101303124B1 (ko) 2012-05-31 2012-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법
US13/906,783 US9552642B2 (en) 2012-05-31 2013-05-31 Apparatus and method for tracking object using feature descriptor, and apparatus and method for removing garbage feature
CN201310213639.3A CN103456003B (zh) 2012-05-31 2013-05-31 对象跟踪装置及方法以及错误特征点剔除装置及方法
PCT/KR2013/004840 WO2013180530A1 (ko) 2012-05-31 2013-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 에러 특징점 제거장치 및 방법, 그리고 이동 단말에 구현되는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120058412A KR101303124B1 (ko) 2012-05-31 2012-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법

Publications (1)

Publication Number Publication Date
KR101303124B1 true KR101303124B1 (ko) 2013-09-09

Family

ID=49454889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120058412A KR101303124B1 (ko) 2012-05-31 2012-05-31 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법

Country Status (4)

Country Link
US (1) US9552642B2 (ko)
KR (1) KR101303124B1 (ko)
CN (1) CN103456003B (ko)
WO (1) WO2013180530A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101760892B1 (ko) 2016-06-22 2017-07-24 재단법인 실감교류인체감응솔루션연구단 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법
KR20210051707A (ko) 2019-10-31 2021-05-10 한국항공대학교산학협력단 드론 정지 비행을 위한 영상 기반 특징점 추적 장치 및 그 방법
KR20220067351A (ko) * 2020-11-17 2022-05-24 한국항공우주연구원 Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템
WO2023121012A1 (ko) * 2021-12-22 2023-06-29 주식회사 포스코 특징점 추적 기반 거동 분석 방법 및 시스템

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091419B2 (en) 2013-06-14 2018-10-02 Qualcomm Incorporated Computer vision application processing
US9558426B2 (en) * 2014-04-24 2017-01-31 Nant Holdings Ip, Llc Robust feature identification for image-based object recognition
US10334150B2 (en) 2014-05-14 2019-06-25 Hanwha Aerospace Co., Ltd. Camera system and method of tracking object using the same
US9524432B1 (en) * 2014-06-24 2016-12-20 A9.Com, Inc. Fast interest point extraction for augmented reality
CN105224582B (zh) * 2014-07-03 2018-11-09 联想(北京)有限公司 信息处理方法和设备
US9940726B2 (en) 2014-12-19 2018-04-10 The Boeing Company System and method to improve object tracking using tracking fingerprints
US9791541B2 (en) 2014-12-19 2017-10-17 The Boeing Company System and method to improve object tracking using multiple tracking systems
US20170083790A1 (en) 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
WO2017053822A1 (en) * 2015-09-23 2017-03-30 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CA3014670A1 (en) 2016-03-08 2017-09-14 Nant Holdings Ip, Llc Image feature combination for image-based object recognition
DE102017107335A1 (de) * 2017-04-05 2018-10-11 Testo SE & Co. KGaA Verfahren zur Identifikation von korrespondierenden Bildbereichen in einer Folge von Bildern
US11856331B1 (en) * 2017-05-10 2023-12-26 Waylens, Inc. Extracting and transmitting video analysis metadata for a remote database
US11417098B1 (en) * 2017-05-10 2022-08-16 Waylens, Inc. Determining location coordinates of a vehicle based on license plate metadata and video analytics
CN109144043A (zh) * 2017-06-27 2019-01-04 金宝电子工业股份有限公司 追踪目标物的方法
CN111401239B (zh) * 2020-03-16 2021-04-20 科大讯飞(苏州)科技有限公司 一种视频分析方法、装置、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050063991A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
JP2005309782A (ja) 2004-04-21 2005-11-04 Toyota Motor Corp 画像処理装置
KR100972849B1 (ko) 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7343032B2 (en) * 2005-09-01 2008-03-11 Fujifilm Corporation Method and apparatus for automatic and dynamic vessel detection
EP1850270B1 (en) 2006-04-28 2010-06-09 Toyota Motor Europe NV Robust interest point detector and descriptor
US8005264B2 (en) * 2008-06-09 2011-08-23 Arcsoft, Inc. Method of automatically detecting and tracking successive frames in a region of interesting by an electronic imaging device
US8995758B1 (en) * 2008-06-20 2015-03-31 Google Inc. Classifying false positive descriptors
US8036425B2 (en) * 2008-06-26 2011-10-11 Billy Hou Neural network-controlled automatic tracking and recognizing system and method
KR20110064197A (ko) * 2009-12-07 2011-06-15 삼성전자주식회사 물체 인식 시스템 및 그 물체 인식 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050063991A (ko) * 2003-12-23 2005-06-29 한국전자통신연구원 영상 피라미드를 이용한 영상정합 처리방법 및 장치
JP2005309782A (ja) 2004-04-21 2005-11-04 Toyota Motor Corp 画像処理装置
KR100972849B1 (ko) 2009-10-16 2010-07-28 주식회사 쓰리디누리 객체 인식 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Journal of WSCG, Vol.12, No.1-3(2004.02.06)(Plzen, Czech Republic). *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101760892B1 (ko) 2016-06-22 2017-07-24 재단법인 실감교류인체감응솔루션연구단 옴니 카메라의 전방향 영상 기반 객체 추적 시스템 및 방법
KR20210051707A (ko) 2019-10-31 2021-05-10 한국항공대학교산학협력단 드론 정지 비행을 위한 영상 기반 특징점 추적 장치 및 그 방법
KR20220067351A (ko) * 2020-11-17 2022-05-24 한국항공우주연구원 Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템
KR102468927B1 (ko) 2020-11-17 2022-11-21 한국항공우주연구원 Sar 영상에서의 객체 변화 탐지 방법 및 sar 영상에서의 객체 변화 탐지 시스템
WO2023121012A1 (ko) * 2021-12-22 2023-06-29 주식회사 포스코 특징점 추적 기반 거동 분석 방법 및 시스템

Also Published As

Publication number Publication date
CN103456003A (zh) 2013-12-18
US20130322763A1 (en) 2013-12-05
WO2013180530A1 (ko) 2013-12-05
US9552642B2 (en) 2017-01-24
CN103456003B (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
KR101303124B1 (ko) 특징점 기술자에 의한 객체 추적장치 및 방법, 그리고 에러 특징점 제거장치 및 방법
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
JP5247646B2 (ja) 特徴記述子ベクトル生成方法、システムおよびプログラム
US8798377B2 (en) Efficient scale-space extraction and description of interest points
US20070058856A1 (en) Character recoginition in video data
CN105069457B (zh) 图像识别方法和装置
US20120057791A1 (en) Information processing apparatus and control method thereof
KR20140110586A (ko) 이미지 매칭 장치, 이미지 매칭 시스템 및 이미지 매칭 방법
CN109815823B (zh) 数据处理方法及相关产品
CN111950566A (zh) 一种旋转不变的hog红外图像电力设备识别方法
WO2023123924A1 (zh) 目标识别方法、装置、电子设备及存储介质
Desai et al. An efficient feature descriptor based on synthetic basis functions and uniqueness matching strategy
Zhou et al. Fast circle detection using spatial decomposition of Hough transform
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
Brogan et al. Spotting the difference: Context retrieval and analysis for improved forgery detection and localization
Choi et al. Real-time vanishing point detection using the Local Dominant Orientation Signature
CN115578392B (zh) 线条检测方法、装置及存储介质
Gürbüz et al. Detection of free-form copy-move forgery on digital images
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
CN114708420A (zh) 基于局部方差和后验概率分类器的视觉定位方法及装置
CN112487943A (zh) 关键帧去重的方法、装置和电子设备
Arsirii et al. Architectural objects recognition technique in augmented reality technologies based on creating a specialized markers base
Tahaoglu et al. A new approach for localization of copy-move forgery in digital images
Venkatesan et al. Supervised and unsupervised learning approaches for tracking moving vehicles
Angrish et al. A Survey on Feature Description Techniques

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 7