KR20000054329A - 동영상 데이터상의 객체 추적 방법 - Google Patents

동영상 데이터상의 객체 추적 방법 Download PDF

Info

Publication number
KR20000054329A
KR20000054329A KR1020000030175A KR20000030175A KR20000054329A KR 20000054329 A KR20000054329 A KR 20000054329A KR 1020000030175 A KR1020000030175 A KR 1020000030175A KR 20000030175 A KR20000030175 A KR 20000030175A KR 20000054329 A KR20000054329 A KR 20000054329A
Authority
KR
South Korea
Prior art keywords
tracking
frame
motion vector
camera
tracking reference
Prior art date
Application number
KR1020000030175A
Other languages
English (en)
Other versions
KR100331050B1 (ko
Inventor
이성환
이형석
Original Assignee
이성환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이성환 filed Critical 이성환
Priority to KR20000030175A priority Critical patent/KR100331050B1/ko
Publication of KR20000054329A publication Critical patent/KR20000054329A/ko
Application granted granted Critical
Publication of KR100331050B1 publication Critical patent/KR100331050B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라에 의해 촬상된 동화상의 이전 프레임과 현재 프레임으로부터 얻어진 움직임 정보를 이용하여 전처리 영역을 축소하여 처리하는 프레임 전처리단계와, 상기 프레임의 전경의 움직이는 객체와의 겹침 문제를 처리하는 객체겹침처리단계와, 상기 객체겹칩처리단계후에 추적 기준 영역의 움직임 벡터를 산출하는 움직임 벡터산출단계와, 상기 움직임 벡터 산출단계에 의해 산출된 움직임 벡터의 크기를 분석하여 이후 프레임에서의 탐색 윈도우 크기 설정과 추적 기준 영역간의 위치 관계를 분석하여 카메라 동작 정보를 추출하는 카메라 동작 정보추출단계와, 상기 카메라 동작 정보추출단계에 의해 추출된 추적 기준 영역의 동작 정보와 카메라 동작 정보를 이용하여 추적 대상 객체를 추적하는 객체추적단계로 이루어진 동영상 데이터상의 객체 추적 방법을 제공한다.
상기와 같은 본 발명은 입력된 동영상 프레임에 대해 이전 프레임화면과 현재 프레임화면으로부터 얻어진 움직임 정보를 이용하여 전처리한다음 산출된 움직임 벡터의 크기를 분석하여 이후 프레임화면에서의 탐색 윈도우 크기 설정과 카메라 동작 분석으로부터 얻어지는 정보를 이용하여 추적 대상 객체를 추적함으로써, 카메라와 객체의 움직임이 동시에 공존하더라도 신속히 객체를 추적할 수 있으므로 이에따라 객체추적의 효율성을 확보할 수 있음은 물론 추적대상 객체와 장애물이 겹치는 경우에도 정확한 객체 추적이 가능한 동영상 데이터상의 객체 추적 방법을 제공한다.

Description

동영상 데이터상의 객체 추적 방법{Object tracking method in the moving picture data}
본 발명은 동영상 데이터상의 객체 추적 방법에 관한 것으로, 특히 입력된 동영상 프레임에 대해 이전 프레임과 현재 프레임으로부터 얻어진 움직임 정보를 이용하여 전처리한다음 산출된 움직임 벡터의 크기를 분석하여 이후 프레임에서의 탐색 윈도우 크기 설정과 카메라 동작 분석으로부터 얻어지는 정보를 이용하여 추적 대상 객체를 추적함으로써, 카메라와 객체의 움직임이 동시에 공존하더라도 신속히 객체를 추적할 수 있는 동영상 데이터상의 이미지 객체 추적 방법에 관한 것이다.
일반적으로 객체추적시스템은 객체의 색상 정보를 이용하는 방식과 객체의 움직임 정보를 이용하여 추적하는 방식이 널리 사용되고 있는데, 그러한 객체추적시스템의 일례를 도 1을 참고로 살펴보면, 카메라(70)로부터 촬상된 영상화면(71)의 프레임 데이터를 입력받아 저장하는 제1 버퍼(72)와, 이 제1 버퍼(72)에 저장되어 있던 이전 프레임 데이터를 이동 저장하는 제2 버퍼(73)와, 상기 제1 버퍼(72)와 제2 버퍼(73)내에 저장된 영상화면(71)의 프레임 데이터내에 존재하는 객체의 움직임 벡터를 산출하는 움직임 벡터 계산부(74)와, 이 움직임 벡터 계산부(74)에 의해 산출된 객체 영역의 움직임 벡터 정보를 근거로 객체를 추적하는 객체추적부(75)로 이루어진다.
한편, 상기와 같은 구성으로된 종래 객체추적시스템의 동작은 먼저, 카메라(70)가 일정 대상의 영상화면 예컨데, 축구 경기장의 영상화면(71)을 촬상하여 객체추적시스템(76)의 제1 버퍼(72)로 입력시키게 되면 이 제1 버퍼(72)는 이전에 저장되어있던 프레임 데이터정보를 제2 버퍼(73)로 전송하고 현재 새로 입력된 영상화면의 프레임 데이터를 저장한다. 따라서, 이와같은 과정을 거쳐 상기 제1, 2 버퍼(72, 73)에 프레임 데이터들이 연속해서 채워지게 되면 움직임 벡터 계산부(74)가 이 제1 버퍼(72)와 제2 버퍼(73)내의 프레임 데이터상에 존재하는 객체영역들의 벡터 움직임 정보를 산출하여 객체추적부(75)로 연속해서 전송한다. 그러면, 이 객체추적부(75)는 입력된 움직임벡터 계산부(74)의 움직임 정보를 이용하여 객체추적을 디스플레이(77)상에 실행시킨다.
그러나, 상기와 같은 종래 객체추적시스템은 객체의 색상 정보를 이용하는 방식에 있어서 영상화면(71)의 배경색상과 추적 대상 객체의 색상이 유사한 경우 추적이 어려웠으며, 또한 객체의 움직임 정보를 이용하여 객체를 추적하는 경우 카메라(70)가 고정된 상황이 아닌 카메라(70) 자체가 움직임을 갖는 상황하에서는 객체의 움직임 정보만을 추출하기가 어려운 문제점을 갖고 있다. 뿐만아니라, 상기와 같은 종래 객체추적시스템은 추적 대상 객체와 다른 움직이는 객체와의 겹침 문제가 발생될 경우 객체 추적이 어렵다는 문제점이 있었다.
이에 본 발명은 상기와 같은 제반 문제점을 해결하기 위해 발명된 것으로, 동영상 데이터상의 객체 추적 방법에 관한 것으로, 특히 입력된 동영상 프레임에 대해 이전 프레임과 현재 프레임으로부터 얻어진 움직임 정보를 이용하여 전처리한다음 산출된 움직임 벡터의 크기를 분석하여 이후 프레임화면에서의 탐색 윈도우 크기 설정과 카메라 동작 분석으로부터 얻어지는 정보를 이용하여 추적 대상 객체를 추적함으로써, 카메라와 객체의 움직임이 동시에 공존하더라도 신속히 객체를 추적할 수 있으므로 이에따라 객체추적의 효율성을 확보할 수 있는 동영상 데이터상의 이미지 객체 추적 방법을 제공함에 그 목적이 있다.
본 발명의 다른 목적은 추적대상 객체와 장애물이 겹치는 경우에도 동영상 데이터 상에서의 정확한 객체 추적이 가능한 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 카메라에 의해 촬상된 동화상의 이전 프레임화면과 현재 프레임화면으로부터 얻어진 움직임 정보를 이용하여 전처리 영역을 축소하여 처리하는 프레임 전처리단계와, 상기 프레임의 전경의 움직이는 객체와의 겹침 문제를 처리하는 객체겹침처리단계와, 상기 객체겹칩처리단계후에 추적 기준 영역의 움직임 벡터를 산출하는 움직임 벡터산출단계와, 상기 움직임 벡터 산출단계에 의해 산출된 움직임 벡터의 크기를 분석하여 이후 프레임에서의 탐색 윈도우 크기 설정과 추적 기준 영역간의 위치 관계를 분석하여 카메라 동작 정보를 추출하는 카메라 동작 정보추출단계와, 상기 카메라 동작 정보추출단계에 의해 추출된 추적 기준 영역의 동작 정보와 카메라 동작 정보를 이용하여 추적 대상 객체를 추적하는 객체추적단계로 이루어진 동영상 데이터상의 객체 추적 방법을 제공한다.
도 1은 종래 객체추적시스템의 블록도.
도 2는 본 발명의 방법이 적용되는 객체추적시스템의 블록도.
도 3은 본 발명의 플로우차트.
도 4 및 도 5은 추적 기준 영역과 움직이는 객체와의 겹침 문제 해결을 설명하기 위한 설명도.
도 6은 추적 대상 영역 내부에 움직이는 객체 영역 검출을 설명하기 위한 설명도.
도 7 및 도 8은 움직임 정보를 이용한 탐색 윈도우 크기 설정을 설명하기 위한 설명도.
도 9 및 도 10은 카메라 동작 분석을 위한 추적 기준 영역을 설명하기 위한 설명도.
도 11은 추적 기준 영역의 재 설정을 설명하기 위한 설명도.
<부호의 상세한 설명>
1 : 카메라 2 : 영상화면
3 : 임시버퍼 4 : 프레임 전처리부
5 : 제1 버퍼 6 : 제2 버퍼
7 : 객체겹침처리부 8 : 움직임 벡터 계산부
9 : 움직임 벡터크기 분석부 10: 카메라 동작 분석부
11: 객체추적부 12: 디스플레이
이하 본 발명의 실시예를 예시도면을 참고로 상세히 살명한다.
먼저, 본 발명의 방법이 적용되는 객체추적시스템을 도 2을 참고 살펴보면, 카메라(1)로부터 촬상된 영상화면(2)의 프레임 데이터를 입력받아 임시 저장하는 임시버퍼(3)와, 이 임시버퍼(3)로부터 입력된 영상화면(2)의 프레임 데이터를 객체의 특징이 잘 나타나도록 전처리하는 프레임 전처리부(4)와, 이 프레임전처리부(4)에 의해 전처리된 현재의 프레임 데이터를 저장하는 제1 버퍼(5)와, 이 제1버퍼(5)에 저장되어 있던 이전 프레임 데이터를 이동 저장하는 제2 버퍼(6)와, 상기 제1, 2버퍼(5,6)에 프레임 데이터가 저장되면 이들 프레임 데이터를 분석하여 객체 추적에 방해가 되는 객체 겹침을 처리한다음 그 결과를 출력하는 객체겹침처리부(7)와, 이 객체겹침처리부(7)의 출력신호를 참조하여 상기 제1 버퍼(5)와 제2 버퍼(6)내에 저장된 영상화면(2)의 프레임 데이터내에 존재하는 추적 기준 영역의 객체 움직임 벡터를 산출하는 움직임 벡터 계산부(8)와, 이 움직임 벡터 계산부(8)에 의해 계산된 추적 대상 객체의 추적기준 영역의 객체 움직임 벡터정보의 크기를 분석하여 그 결과를 상기 프레임 전처리부(4)로 입력시키는 움직임 벡터 크기 분석부(9)와, 상기 움직임 벡터 계산부(8)의 추적 기준 영역의 움직임 정보를 이용하여 현재 카메라(1)의 촬상상태를 판단한 정보 예컨데, 카메라(1)가 팬, 틸트, 줌과 같은 여러 상황에서의 객체 추적이 가능하도록 하기 위한 정보를 산출하는 카메라동작 분석부(10)와, 이 카메라동작 분석부(10)로부터 입력된 정보를 이용하여 추적 대상 객체를 추적하는 객체추적부(11)로 이루어진다.
다음에는 상기와 같은 시스템에 적용되는 본 발명의 방법을 설명한다.
본 발명의 방법은 도 3에 도시된 바와같이 초기상태(S1)에서 프레임데이터 전처리단계(S2)로 진행하여 현재 입력된 영상화면의 프레임데이터를 객체의 특징이 잘 나타나도록 전처리과정을 실행한다음 임시버퍼로 이송하여 저장시킨다. 그리고, 상기 프레임데이터 전처리단계(S2)후에 시작프레임 데이터판단 단계(S3)로 진행하여 현재 처리과정에 있는 프레임 데이터가 시작 프레임 데이터일 경우는 전단계(S2)로 복귀하여 루프를 반복수행한다.
그러나, 상기 시작프레임 데이터판단단계(S3)중에 판단한 결과 현재 처리과정에 있는 프레임 데이터가 시작 프레임 데이터가 아닐 경우는 객체겹침판단단계(S4)로 진행하여 추적 대상 객체사이에 겹침현상이 발생되었는지를 판단한다. 이때, 상기 객체겹침 판단단계(S4)중에 판단한 결과 만약 추적대상 객체에 겹침현상이 발생되지 않았다면 탐색영역 변환실행단계(S5)로 진행하여 움직임벡터정보를 이용한 탐색영역의 변환을 실행한다.
그러나, 상기 객체겹침 판단단계(S4)중에 판단한 결과 만약 추적대상 객체에 겹침현상이 발생되었다면 추적기준영역 재설정단계(S6)로 진행하여 겹침현상이 발생된 추적기준영역을 재설정한다음 그 재설정된 추적기준영역를 탐색영역으로 변환한다.
한편, 상기 탐색영역 변환실행단계(S5)중에 현재 처리과정에 있는 프레임데이터가 시작 프레임 데이터가 아닐 경우는 움직임벡터 산출실행단계(S7)로 진행하여 추적기준영역의 움직임벡터의 산출을 실행한다. 그리고, 상기 움직임벡터 산출실행단계(S7)중에 위치관계분석단계(S8)로 진행하여 추적기준영역의 위치관계를 분석한다음 움직임벡터크기분석단계(S9)로 진행한다. 그러면, 이 움직임 벡터크기 분석단계(S9)에서는 추적기준영역의 움직임벡터의 크기를 분석한다음 상기 프레임데이터 전처리단계(S2)로 복귀하여 루프를 반복수행한다.
또한, 상기 움직임 벡터크기 분석단계(S9)후에 카메라동작 분석실행단계(S10)로 진행하여 현재 프레임 데이터(380)에서의 추적 기준 영역(305)과 추적 기준 영역(310), 추적 기준 영역(315)과 추적 기준 영역(320)의 좌표간 거리를 계산하고, 이 계산된 결과를 이전 프레임 데이터의 좌표간 거리와 비교한다. 그리고, 상기 카메라동작 분석실행단계(S10)후에 추적기준영역간 차이값 판단단계(S11)로 진행하여 이전 프레임에서의 좌표간 거리와 비교한다. 또한, 상기 추적기준영역간 차이값판단단계(S11)중에 판단한결과 만약 프레임 데이터 좌표간의 거리 차이값이 임계치 이하일 경우는 카메라 제1 동작인지단계(S12)로 진행하여 추적 기준 영역간의 거리가 유지되다는 의미로 판단하고 카메라의 팬, 틸트 동작상태를 인지한다.
그러나, 상기 추적기준영역간 차이값판단단계(S11)중에 판단한결과 만약 프레임 데이터 좌표간의 거리 차이값이 임계치 이상일 경우는 양 프레임 거리값 판단단계(S13)로 진행하여 이전 프레임 데이터의 거리값과 현 프레임 데이터의 거리값을 비교한다. 그리고, 상기 양 프레임 거리값 판단단계(S13)중에 판단한 결과 이전 프레임 데이터의 거리 값보다 현재 프레임 데이터의 거리 값이 더 큰 경우에는 카메라 줌인동작 인지단계(S14)로 진행하여 현재 카메라가 줌 인 동작상태에 있음을 인지한다.
그러나, 상기 양 프레임 거리값 판단단계(S13)중에 판단한 결과 이전 프레임 데이터의 거리 값보다 현데이터 프레임의 거리 값이 작은 경우에는 카메라 줌아웃동작 인지단계(S15)로 진행하여 현재 카메라가 줌 아웃 동작상태에 있음을 인지한다.
한편, 상기 카메라 줌아웃동작인지단계(S15)후에 객체추적단계(S16)로 진행하여 분석된 카메라 움직임 정보와 추적 기준 영역의 움직임 정보를 이용하여 배경에 존재하는 추적 대상 객체를 추적(500)한다. 그리고, 상기 객체추적단계(S16)후에 마지막 프레임 판단단계(S17)로 진행하여 현 프레임이 마지막 프레임이 아니라면 상기 단계(S2)로 복귀하여 루프를 반복수행하고 현 프레임이 마지막 프레임이라면 종료하게 된다.
즉, 카메라(1)가 도 2에 도시된 바와같이 일정 대상의 영상화면(2) 예컨데, 야구 경기장과 같은 영상화면을 촬상하여 객체추적시스템(13)의 임시버퍼(3)로 입력시키게 되면 프레임 전처리부(4)는 추적 성능의 향상을 위해 입력 프레임 상에서 객체의 특징이 잘 나타나도록 입력 프레임을 전처리하게 되는데, 이때 이 프레임 전처리부(4)는 효율적인 전처리를 위해 제2 버퍼(6)에 저장된 이전 프레임 데이터와 제1 버퍼(5)에 저장된 현재의 프레임테이터로부터 얻어진 움직임 정보를 이용하여 전처리 영역을 축소하여 처리한다. 또한, 상기 프레임 전처리부(4)는 추적 객체의 특징이 잘 나타나도록 하기 위해 rank변환 처리를 행한다.
그리고, 만약 상기 프레임 전처리부(4)의 전처리과정중에 입력된 프레임 데이터가 처음 시작 프레임 데이터인 경우에는 사용자에 의해 지정된 추적 기준 영역을 탐색영역 변환처리함으로써 프레임 전처리의 수행을 완료한다. 그러나, 상기 프레임 전처리부(4)로부터 제1 버퍼(5)로 입력되는 프레임데이터가 시작 프레임 데이터가 아닌 경우에는 객체겹침처리부(7)가 추적 대상 객체의 겹침 문제 발생 여부 판별한다. 이때 이 객체겹침처리부(7)는 겹침 문제 발생 여부의 판별을 위해 도 4에 도시된 바와같은 제2 버퍼(6)에 저장된 이전 프레임데이터(700)과 도 5에 도시된바와같은 현 프레임데이터(710)에서 추적 대상 객체의 영역(720)을 도 6에 도시된 바와같이 일정한 크기의 블록(730)으로 나누어 각각 대응 블록간 차이화면(740)을 계산하고 그차이 값이 임계치 이상이 되는 경우 그 블록(740)은 도 6에 도시된 바와같이 겹침 문제가 발생한 블록(750,760)으로 판단한다.
그러나, 이 객체겹침처리부(7)에서 판단한 결과 겹침 문제가 발생한 영역 중에서 추적 기준 영역이 포함되지 않은 부분에 발생된 겹침 문제 발생 영역(750)은 고려 대상이 아니다.
한편, 상기 객체겹침처리부(7)는 도 11에 도시된 바와같이 겹침 문제가 발생된 추적 기준 영역(760)의 인접 영역(770)을 새로운 추적 기준 영역으로 재 설정하고 이 재설정 정보를 움직벡터계산부(8)로 입력시킨다.
그러면, 이 움직임 벡터 계산부(8)는 객체 겹침처리부(7)로부터 입력된 정보에 의해 겹침 문제가 발생된 추적 기준 영역의 움직임 정보를 계산하는 대신 새로운 추적 기준 영역의 움직임 정보를 산출한다. 그리고 이 움직임벡터 계산부(8)는 산출된 추적 기준 영역의 움직임 정보를 움직임 벡터 크기 분석부(9)로 입력시켜 움직임 벡터 크기에 따라 탐색 영역의 크기를 설정하며, 프레임 전처리부(4)에서는 설정된 탐색 영역의 크기 정보를 이용하여 프레임 전처리를 수행한다.
반면에, 상기 객체겹침처리부(7)에서 판단한 결과 만약 겹침 문제가 발생되지 않았을 경우에는 프레임 전처리부(4)가 움직임벡터계산부(8)와 움직임벡터크기 분석부(9)를 경유하여 입력된 현 프레임 데이터의 추적 기준 영역의 움직임 벡터 정보를 이용하여, 다음 프레임에서의 추적 기준 영역의 탐색 윈도우 영역의 설정과 변환을 수행함으로써 프레임 전처리의 수행을 완료한다.
한편, 상기 과정에서와 같이 프레임 전처리과정의 수행이 완료 후, 제1 버퍼(5)로 입력된 프레임 데이터가 시작 프레임데이터가 아닌 경우 추적 기준 영역의 움직임 벡터를 산출하는 과정을 실행하게 되는데, 이때 움직임벡터계산부(8)는 일반적인 블록 매칭 방법을 이용하여 추적 기준 영역의 움직임 벡터를 산출한다.
여기서, 상기 도 7과 도 8은 추적 기준 영역의 움직임 정보를 이용한 탐색 윈도우 크기 설정을 설명하기 위한 도면이다.
따라서, 상기 움직임벡터계산부(8)에 의해 산출된 움직임 벡터 정보는 도 7과 도 8에 도시된 바와같은 블록매칭법에 의한 추적 기준 영역의 움직임 벡터 크기 분석과 추적 기준 영역간의 위치 관계 분석과정을 실행하여 움직임벡터크기 분석부(9)와 카메라동작 분석부(10)로 각각 출력한다.
이때, 상기 움직임벡터 계산부(8)에서는 추적 기준 영역(411)의 움직임 벡터를 구하기 위해서 추적 기준 영역(780)을 탐색 윈도우(790) 내의 모든 위치에서 유사도를 측정하여 가장 작은 차이 값을 갖는 위치(800)를 찾아내어 추적 기준 영역의 움직임 벡터(810)가 정해진다.
또한, 상기 과정의 전체 수행 시간은 탐색 윈도우 영역의 크기(790)에 비례하여 증감하게 된다. 따라서, 효율적 수행을 위해서는 탐색 윈도우내의 불필요한 위치에서의 매칭을 줄여야 한다.
그러므로, 본 발명에서는 이러한 효율적 연산을 위해서 현재 프레임데이터(710)에서 추적 기준 영역의 움직임 벡터(810)의 크기를 분석하여 다음 프레임(820)에서 추적 기준 영역에 대한 탐색 윈도우의 크기(830)를 설정하는 방법을 사용한다. 또한, 도 7에 도시된 바와같이 움직임 벡터의 크기가 큰 경우에는 탐색 윈도우의 크기를 움직임 벡터의 크기에 비례하여 확장(840)하며, 이때, 도 8에 도시된 바와같이 움직임 벡터의 크기가 작은 경우에는 다음 프레임(820)에서의 탐색 윈도우의 크기를 축소(850)시킴으로써 시간적 측면에 있어서 상당한 효율성을 기대할 수 있다.
한편, 상기 카메라동작 분석부(10)는 도 9와 도 10에 도시된 바와같이 추적 기준 영역(860),(870),(880),(890)의 좌표간 거리를 분석하여 카메라의 움직임 정보를 추출하여 추적 대상 객체(900)를 추적한다. 이때, 상기 도 9와 도 10에 도시된 바와같이 카메라 동작 분석부(10)는 추적 기준 영역(900)이 다른 움직이는 객체(760)와 겹치는 문제가 발생하는 경우에도 겹침 문제가 발생한 추적 기준 영역의 위치 추정을 가능하다.
따라서, 상기 카메라 동작 분석부(10)는 현재 프레임(710)에서의 추적 기준 영역(860)과 추적 기준 영역(870), 추적 기준 영역(880)과 추적 기준 영역(890)의 좌표간 거리를 계산한다음 이전 프레임데이터와의 좌표간 거리와 비교한다. 그리고, 이 카메라 동작 분석부(10)는 좌표간 거리 차이 값이 임계치 이하일 경우는 추적 기준 영역간의 거리가 유지된다는 의미로 인식하여 카메라의 팬, 틸트 동작(890)으로 해석할 수 있다.
그러나, 상기 카메라 동작 분석부(10)가 판단한 결과 차이 값이 임계치 이상일 경우, 이전 프레임 데이터와의 거리 값보다 현재 거리 값이 더 큰 경우에는 카메라의 줌 인 동작에 의한 현상으로 판단하며, 반면에, 이전 프레임 데이터의 거리 값보다 현재 프레임 데이터의 거리 값이 작은 경우에는 카메라의 줌 아웃에 의한 동작으로 판단한 다음 상기 판단정보를 객체추적부(11)로 입력시킨다.
그러면, 객체추적부(11)는 카메라 동작 분석부(10)로부터 입력된 분석 카메라 움직임 정보와 추적 기준 영역의 움직임 정보를 이용하여 도 11에 도시된 바와같이 영상화면의 배경에 존재하는 추적 대상 객체(900)를 추적할 수 있으며 위의 과정은 마지막 프레임까지 반복 수행되어진다.
즉, 상기 객체추적부(11)는 도 9에 도시된 바와같이 추적 기준 영역(860)이 추적 대상 객체(900)의 일부 영역이므로, 추적 기준 영역의 움직임 정보를 이용하여 추적 대상 객체를 추적하게 되는데, 현 프레임 데이터의 추적 기준 영역의 좌표간 거리와 이전 프레임 데이터의 좌표간 거리를 비교하여 거리의 차이가 임계치 이하일 경우에는 팬, 틸트와 같은 카메라 동작이므로 추적 기준 영역이 동일한 방향으로 동일한 크기만큼 움직여 조정한다. 반면에, 상기 객체추적부(11)는 좌표간 거리의 차가 커지는 경우는 카메라 줌 인에 의한 특성이므로 마주보는 추적 기준 영역은 서로 멀어지는 방향으로 동일한 크기만큼 움직여주게 된다. 또한, 상기 객체추적부(11)는 거리의 차가 작아지는 경우는 카메라 줌 아웃에 의한 특성이므로 마주보는 추적 기준 영역은 서로 가까워지는 방향으로 동일한 크기만큼 움직여주게 된다. 따라서, 이러한 과정을 이용하여 추적 대상 객체를 효과적으로 추적 할 수 있다.
그러므로, 본 발명에 의하면, 입력 프레임 데이터 상에서 객체의 특징이 잘 나타나도록 전처리를 수행하는데, 이때 프레임 전체에 대한 전처리가 아닌, 움직임 정보를 이용하여 전처리 영역을 축소하여 처리함으로써 수행 효율성을 높인다.
또한, 본 발명에 의하면, 추적 대상 객체의 일부 영역을 추적 기준 영역으로 사용하며, 추적 기준 영역의 움직임 정보는 객체 추적을 위한 정보로 사용하게 된다.
따라서, 추적 기준 영역이 다른 움직이는 객체와 겹치는 문제의 발생되면 겹침 문제가 발생된 추적 기준 영역의 정보는 사용하지 않는다. 그리고, 겹침 문제가 발생된 추적 기준 영역의 인접 영역을 겹침 문제가 발생된 추적 기준 영역의 기능을 대신 할 영역으로 설정한다. 새로 설정된 추적 기준 영역의 정보를 사용하여 추적 성능의 저하를 방지 할 수 있다.
그리고, 추적 기준 영역의 좌표간 거리를 분석하여 카메라의 동작 정보를 추출한다.
또한, 추적 기준 영역이 다른 움직이는 객체와 겹침 문제가 발생한 경우에도 추출된 카메라 동작 정보를 이용하여 겹침 문제가 발생된 추적 기준 영역의 위치를 예측하여 추적 할 수 있다.
따라서, 본 발명에 의하면, 종래의 경우 탐색 윈도우의 크기가 고정된 경우에는 추적 기준 영역의 움직임 벡터를 산출하기 위해 탐색 윈도우 내의 모든 위치에서의 매칭을 해야하는 비효율적인 수행을 행하였지만, 본 발명에서는 현재 프레임의 추적 기준 영역의 움직임 벡터 크기를 분석하여 이후 프레임에서의 탐색 윈도우 크기를 동적으로 설정하여 불필요한 매칭을 줄임으로써 효율적 수행을 가능하게 해준다.
이상 설명에서와 같이 본 발명은 입력된 동영상 프레임에 대해 이전 프레임과 현재 프레임으로부터 얻어진 움직임 정보를 이용하여 전처리한다음 산출된 움직임 벡터의 크기를 분석하여 이후 프레임화면에서의 탐색 윈도우 크기 설정과 카메라 동작 분석으로부터 얻어지는 정보를 이용하여 추적 대상 객체를 추적함으로써, 카메라와 객체의 움직임이 동시에 공존하더라도 신속히 객체를 추적할 수 있으므로 이에따라 객체추적의 효율성을 확보할 수 있음은 물론 추적대상 객체와 장애물이 겹치더라도 추적 대상 객체와 이전 프레임의 좌표간의 거리 및 크기를 비교계산하여 처리하므로 그에따라 동영상 데이터 상에서의 정확한 객체 추적이 가능하게 하는 효과가 있다.

Claims (4)

  1. 카메라에 의해 촬상된 동화상의 이전 프레임화면과 현재 프레임화면으로부터 얻어진 움직임 정보를 이용하여 전처리 영역을 축소하여 처리하는 프레임 전처리단계와, 상기 프레임의 전경의 움직이는 객체와의 겹침 문제를 처리하는 객체겹침처리단계와, 상기 객체겹칩처리단계후에 추적 기준 영역의 움직임 벡터를 산출하는 움직임 벡터산출단계와, 상기 움직임 벡터 산출단계에 의해 산출된 움직임 벡터의 크기를 분석하여 이후 프레임에서의 탐색 윈도우 크기 설정과 추적 기준 영역간의 위치 관계를 분석하여 카메라 동작 정보를 추출하는 카메라 동작 정보추출단계와, 상기 카메라 동작 정보추출단계에 의해 추출된 추적 기준 영역의 동작 정보와 카메라 동작 정보를 이용하여 추적 대상 객체를 추적하는 객체추적단계로 이루어진 것을 특징으로 하는 동영상 데이터상의 객체 추적 방법.
  2. 제1항에 있어서, 상기 프레임 전처리단계중에 전처리 대상 영역를 축소하여 처리하는 것을 특징으로 하는 동영상 데이터상의 객체 추적 방법.
  3. 제1항에 있어서, 상기 움직임 벡터 산출단계후에 현 프레임데이터의 추적 기준 영역의 움직임 벡터의 크기를 이용하여 다음 프레임에서 추적 기준 영역에 대한 동적 탐색 윈도우의 크기를 설정하는 단계를 더 포함하는 것을 특징으로 하는 동영상 데이터상의 객체 추적 방법.
  4. 제1항에 있어서, 상기 카메라 동작 정보추출단계중에 현 프레임 데이터에서의 추적 기준 영역들의 좌표간 거리를 계산하고, 이 계산된 결과를 이전 프레임 데이터의 좌표간 거리와 비교하는 카메라동작 분석실행단계와, 이 카메라동작 분석실행단계후에 이전 프레임에서의 좌표간 거리와 비교판단한다음 이러한 추적 기준 영역의 좌표간 거리 분석정보를 근거로 카메라 동작 정보 추출하는 카메라 동작정보추출단계를 더 포함하는 것을 특징으로 하는 동영상 데이터상의 객체 추적 방법.
KR20000030175A 2000-06-01 2000-06-01 동영상 데이터상의 객체 추적 방법 KR100331050B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20000030175A KR100331050B1 (ko) 2000-06-01 2000-06-01 동영상 데이터상의 객체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20000030175A KR100331050B1 (ko) 2000-06-01 2000-06-01 동영상 데이터상의 객체 추적 방법

Publications (2)

Publication Number Publication Date
KR20000054329A true KR20000054329A (ko) 2000-09-05
KR100331050B1 KR100331050B1 (ko) 2002-04-19

Family

ID=19671041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20000030175A KR100331050B1 (ko) 2000-06-01 2000-06-01 동영상 데이터상의 객체 추적 방법

Country Status (1)

Country Link
KR (1) KR100331050B1 (ko)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
KR100466587B1 (ko) * 2002-11-14 2005-01-24 한국전자통신연구원 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
KR100651034B1 (ko) * 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR100860988B1 (ko) * 2005-12-05 2008-09-30 삼성전자주식회사 시퀀스들에서의 객체 탐지를 위한 방법 및 장치
KR100910832B1 (ko) * 2007-08-29 2009-08-06 순환엔지니어링 주식회사 이송 궤적 실시간 추적 방법과 이를 구현하기 위한 추적장치 및 기록매체
KR100984953B1 (ko) * 2001-12-03 2010-10-01 엔엑스피 비 브이 데이터 검색 방법과 장치 및 이를 포함하는 비디오 재생장치
US8532191B2 (en) 2009-04-24 2013-09-10 Samsung Electronics Co., Ltd Image photographing apparatus and method of controlling the same
CN106980477A (zh) * 2017-04-11 2017-07-25 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪系统及方法
CN109478328A (zh) * 2016-09-30 2019-03-15 富士通株式会社 目标跟踪方法、装置以及图像处理设备
CN117218161A (zh) * 2023-11-09 2023-12-12 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100544677B1 (ko) * 2003-12-26 2006-01-23 한국전자통신연구원 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US8369406B2 (en) 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR101275869B1 (ko) 2011-03-22 2013-07-15 한국항공우주연구원 동적 프로그래밍과 캠쉬프트 알고리즘을 이용한 영상 센서 기반 항공기 탐지 장치 및 방법
KR101355976B1 (ko) 2012-11-13 2014-02-03 재단법인대구경북과학기술원 시공간 특징점 정합을 이용한 객체 추적방법 및 그 장치
KR101555876B1 (ko) 2015-03-31 2015-09-30 스타십벤딩머신 주식회사 영상 합성을 위한 객체 추적 방법 및 시스템

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
KR100443678B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법
KR100984953B1 (ko) * 2001-12-03 2010-10-01 엔엑스피 비 브이 데이터 검색 방법과 장치 및 이를 포함하는 비디오 재생장치
KR100466587B1 (ko) * 2002-11-14 2005-01-24 한국전자통신연구원 합성영상 컨텐츠 저작도구를 위한 카메라 정보추출 방법
KR100651034B1 (ko) * 2004-12-08 2006-11-29 한국전자통신연구원 대상 물체 검출 시스템 및 그 방법
KR100860988B1 (ko) * 2005-12-05 2008-09-30 삼성전자주식회사 시퀀스들에서의 객체 탐지를 위한 방법 및 장치
KR100777199B1 (ko) * 2006-12-14 2007-11-16 중앙대학교 산학협력단 이동 객체 추적 장치 및 그 방법
KR100910832B1 (ko) * 2007-08-29 2009-08-06 순환엔지니어링 주식회사 이송 궤적 실시간 추적 방법과 이를 구현하기 위한 추적장치 및 기록매체
US8532191B2 (en) 2009-04-24 2013-09-10 Samsung Electronics Co., Ltd Image photographing apparatus and method of controlling the same
CN109478328A (zh) * 2016-09-30 2019-03-15 富士通株式会社 目标跟踪方法、装置以及图像处理设备
CN106980477A (zh) * 2017-04-11 2017-07-25 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪系统及方法
CN106980477B (zh) * 2017-04-11 2018-01-02 华中科技大学 一种卫星序列图像中点目标实时检测与跟踪系统及方法
CN117218161A (zh) * 2023-11-09 2023-12-12 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统
CN117218161B (zh) * 2023-11-09 2024-01-16 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及系统

Also Published As

Publication number Publication date
KR100331050B1 (ko) 2002-04-19

Similar Documents

Publication Publication Date Title
KR100331050B1 (ko) 동영상 데이터상의 객체 추적 방법
US11423695B2 (en) Face location tracking method, apparatus, and electronic device
US8861784B2 (en) Object recognition apparatus and object recognition method
WO2019023921A1 (zh) 一种手势识别方法、装置及设备
KR100860988B1 (ko) 시퀀스들에서의 객체 탐지를 위한 방법 및 장치
US9208579B2 (en) Object tracking device
EP0896300A2 (en) Device and method for motion vector detection
US20040141633A1 (en) Intruding object detection device using background difference method
WO2020078140A1 (zh) 一种运动模型的优化系统及方法
US8194930B2 (en) Image processing apparatus and method for real-time motion detection
JP2002374521A (ja) 移動体の監視方法および装置
Dockstader et al. On the tracking of articulated and occluded video object motion
WO2022142416A1 (zh) 目标跟踪方法及相关设备
Liu et al. Mmx-accelerated real-time hand tracking system
CN112884803B (zh) 基于dsp的实时智能监控目标检测方法及装置
CN110634154B (zh) 一种面向速度大范围变化目标跟踪的模板匹配方法
US10880457B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
WO2018037479A1 (ja) 画像処理装置、ステレオカメラ装置及び画像処理方法
JP2007510994A (ja) ビデオ画像内でのオブジェクトトラッキング
KR100566629B1 (ko) 이동물체 검출 시스템 및 방법
US11210916B2 (en) Smoke detection method and apparatus
Hannuksela et al. Face tracking for spatially aware mobile user interfaces
US10708501B2 (en) Prominent region detection in scenes from sequence of image frames
Liu et al. Fast camera motion estimation for hand-held devices and applications
JPH11113003A (ja) 動きベクトル検出装置および動きベクトル検出方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
N231 Notification of change of applicant
LAPS Lapse due to unpaid annual fee