KR100604223B1 - 움직임 객체를 추출하는 방법 및 그 시스템 - Google Patents

움직임 객체를 추출하는 방법 및 그 시스템 Download PDF

Info

Publication number
KR100604223B1
KR100604223B1 KR1020040085040A KR20040085040A KR100604223B1 KR 100604223 B1 KR100604223 B1 KR 100604223B1 KR 1020040085040 A KR1020040085040 A KR 1020040085040A KR 20040085040 A KR20040085040 A KR 20040085040A KR 100604223 B1 KR100604223 B1 KR 100604223B1
Authority
KR
South Korea
Prior art keywords
edge
moving object
motion
generating
outline
Prior art date
Application number
KR1020040085040A
Other languages
English (en)
Other versions
KR20060035513A (ko
Inventor
이호석
Original Assignee
호서대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 호서대학교 산학협력단 filed Critical 호서대학교 산학협력단
Priority to KR1020040085040A priority Critical patent/KR100604223B1/ko
Publication of KR20060035513A publication Critical patent/KR20060035513A/ko
Application granted granted Critical
Publication of KR100604223B1 publication Critical patent/KR100604223B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20116—Active contour; Active surface; Snakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 움직임 객체를 추출하는 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 초기 움직임 객체에서부터 마지막 완전한 움직임 객체를 추출하기까지의 과정을 하나의 발전 과정으로 파악하는 것을 특징으로 하는 움직임 객체 추출 방법 및 그 시스템에 관한 것이다. 본 발명에 따르면, 객체의 경계가 더욱 분명하고, 다중 객체의 경우에도 그 경계가 분명하며, 내부에 구멍이 존재하는 객체의 경우에 있어 구멍과 객체를 명확히 분할하고, 또한 알고리즘들을 최적화하여 실용적으로 적용할 수 있는 움직임 객체 추출 방법 및 그 시스템이 제공된다.
본 발명의 일실시예에 따른 움직임 객체 추출 방법은 현재 프레임에 대한 캐니 에지(Canny edge)와 배경(background) 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성하는 단계, 상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선(boundary)을 생성하는 단계, 소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나타나는 단락된 부분을 연결하여 제1 움직임 객체 마스크를 생성하는 단계, 연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 상기 초기 움직임 객체의 에지에서 잡영을 제거하여 제2 움직임 객체 마스크를 생성하는 단계, 상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 단계를 포함하는 것을 특징으로 한다.
움직임 객체 추출, MPEG-4, 배경 변환 검출, 외곽선 연결, 움직임 객체 에지

Description

움직임 객체를 추출하는 방법 및 그 시스템{METHOD AND SYSTEM FOR EXTRACTING MOVING OBJECT}
도 1은 본 발명의 일실시예에 따른 움직임 객체 추출 방법을 도시한 흐름도이다.
도 2는 움직임 객체 에지를 생성하는 과정을 도시한 흐름도이다.
도 3은 객체 픽셀이 남아있는 배경 에지와 객체 픽셀이 제거된 배경 에지의 일례를 도시한 도면이다.
도 4는 움직임 객체 에지의 일례를 도시한 도면이다.
도 5는 움직임 객체 외곽선을 생성하는 모습의 일례를 도시한 도면이다.
도 6은 종단 픽셀을 설정하는 모습의 일례를 도시한 도면이다.
도 7은 움직임 객체 외곽을 연결하는 모습의 일례를 도시한 도면이다.
도 8은 움직임 객체 밑부분을 연결하는 모습의 일례를 도시한 도면이다.
도 9는 제1 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 모습의 일례를 도시한 도면이다.
도 10은 제2 움직임 객체 마스크를 생성하는 과정을 도시한 흐름도이다.
도 11 및 도 12는 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 모습의 일례를 도시한 도면이다.
도 13은 제1 움직임 객체 마스크와 제2 움직임 객체 마스크를 모두 이용하여 움직임 객체를 추출하는 모습의 일례를 도시한 도면이다.
도 14는 본 발명의 일실시예에 따른 움직임 객체 추출 시스템을 도시한 블록도이다.
도 15는 움직임 객체 추출 실험에서 나타난 에러 퍼센티지 그래프를 도시한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
1400 : 움직임 객체 추출 시스템 1401 : 객체 에지 생성 수단
1402 : 객체 외곽선 생성 수단 1403 : 제1 객체 마스크 생성 수단
1404 : 제2 객체 마스크 생성 수단 1405 : 객체 추출 수단
본 발명은 움직임 객체를 추출하는 방법 및 그 시스템에 관한 것으로, 더욱 상세하게는 초기 움직임 객체에서부터 마지막 완전한 움직임 객체를 추출하기까지의 과정을 하나의 발전 과정으로 파악하는 것을 특징으로 하는 움직임 객체 추출 방법 및 그 시스템에 관한 것이다.
본 발명의 핵심 내용은 "움직임 객체 추출"이다. 이 주제는 ISO/IEC의 MPEG-4에서 VOP(Video Object Plane) 개념을 발표하면서 본격적으로 연구되기 시작하였다. MPEG-2에서 MPEG-4로 발전하는 과정에서 MPEG-4의 기본 사양으로서 입력 영상 에 대하여 움직임 객체(Object) 단위를 인식하여 추출하고 부호하는 내용이 핵심내용으로 포함된 것이다. 즉, MPEG-4는 영상과 음향에서 객체 단위로 처리하고, 부호하고, 조작하는 것을 기본 사양으로 채택하였다.
그동안 움직임 객체 추출 및 부호 연구는 미국, 호주, 유럽(독일)에서 매우 활발하게 추진되었으며, 90년대에는 ETRI에서 연구 논문을 발표하기도 하였다. 그리고 최근에는 대만에서도 연구가 매우 활발하게 추진되고 있다. 따라서 매우 다양한 기술과 알고리즘이 개발되어 발표되었다. 대표적인 최근의 중요한 연구로는 미국 Washington 대학의 C. Kim 과 J-N. Hwang의 연구, 호주 Thomas Meier의 Hausdorff 거리 계산에 의한 움직임 객체 추출 연구가 있고, 독일의 H. Musmann, M. Hoetter, J. Ostermann의 연구 그리고 Hannover 대학의 P. Gerken, M. Wollborn, S. Schultz가 있다.
그러나 이러한 다양한 연구가 있었음에도 불구하고, 아직 "움직임 객체 추출"에 의한 MPEG-4 객체 기반 형상 부호는 실용화되지 않았다. 그 이유는 몇 가지 기본적인 문제가 해결되지 않았기 때문이다.
그 문제의 대표적인 것으로 아직 추출된 움직임 객체의 경계가 정확한(accurate) 상태가 아니고, 더욱이 다중 객체일 때에는 각 움직임 객체의 경계가 정확하지 않고, 내부에 구멍이 존재하는 객체의 경우에 구멍과 객체를 분할하지 못하고, 또한 실용적으로 적용할 만큼 수행시간이 빠르지가 않다는 점을 들 수 있다.
추출된 객체의 경계가 분명하지 않게 되는 가장 큰 이유는 소위 끊어진 에지(broken edge)가 대단히 빈번하게 발생하기 때문이다. 끊어진 에지가 발생하는 원 인은 여러 가지가 있는데 다음의 이유가 가장 큰 영향을 끼친다. 움직임 객체 전부 혹은 일부분이 프레임과 프레임 사이에 순간적으로 멈추는 경우, 객체와 배경 색이 일시적으로 유사하게 되는 경우, 일정하지 않는 빛이 배경이나 객체에 비추는 경우, 영상 입력에 사용되는 카메라가 생성하는 잡영(noise) 등이다.
현재 일부 연구자는 이러한 끊어진 에지를 연결시키기 위하여 형태 연산자(morphology operation)를 사용한다. 또 일부는 Dijkstra의 shortest path 알고리즘을 사용하기도 한다. 그러나 형태 연산자는 움직임 객체의 윤곽을 약간 변형시키는 현상을 초래하며, shortest path 알고리즘은 에지 픽셀이 존재하지 않는 경우 수행되지 않을 수도 있는 문제점이 있다.
그리고 Hausdorff 거리에 의한 움직임 객체 추출 방법은 비교적 넓게 단락된 에지가 있는 경우에는 거리 계산을 할 수가 없어, 궁극적으로 Hausdorff 거리 계산에 의한 에지 구축이 될 수 없다는 문제점이 있다.
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 본 발명은 객체의 경계가 더욱 분명하고, 다중 객체일 경우에도 경계가 분명하며, 내부에 구멍이 존재하는 객체의 경우에 구멍과 객체를 명확히 분할하고, 또한 알고리즘들을 최적화하여 실용적으로 적용할 수 있는 새로운 움직임 객체 추출 방법 및 그 시스템을 제공하는 것을 그 목적으로 한다.
상기의 목적을 달성하고, 상술한 종래기술의 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 움직임 객체 추출 방법은 현재 프레임에 대한 캐니 에지(Canny edge)와 배경(background) 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성하는 단계, 상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선(boundary)을 생성하는 단계, 소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나타나는 단락된 부분을 연결하여 제1 움직임 객체 마스크를 생성하는 단계, 연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 상기 초기 움직임 객체의 에지에서 잡영을 제거하여 제2 움직임 객체 마스크를 생성하는 단계, 상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일측에 따르면, 상기 움직임 객체 에지를 생성하는 상기 단계는 상기 현재 프레임에 대한 캐니 에지와 상기 초기 움직임 객체의 에지에 대해 논리 AND 연산을 적용하여 초기 움직임 객체 에지를 생성하는 단계, 현재 움직임 객체 에지와 이전 움직임 객체 에지의 논리 OR 연산 결과를 생성하는 단계, 상기 현재 프레임에 대한 캐니 에지와 상기 논리 OR 연산 결과에 대해 논리 AND 연산을 적용하여 중간 움직임 객체 에지를 생성하는 단계, 상기 중간 움직임 객체 에지에 대해 에지 추적(tracing)을 수행하여 최종 움직임 객체 에지를 생성하는 단계를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기 움직임 객체 외곽선을 조사하여 단락된 부분의 양단에 제1 종단 픽셀(terminating pixel)과 제2 종단 픽셀을 각각 설 정하는 단계를 더 포함하고, 상기 소정의 외곽선 연결 알고리즘은 상기 제1 종단 픽셀에 4분면을 설정하는 단계(상기 제1 종단 픽셀이 좌표의 원점에 위치됨), 상기 제1 종단 픽셀과 연결할 상기 제2 종단 픽셀을 주어진 반지름 범위 내에서 동심원을 형성하면서 탐색하는 단계, 상기 제1 종단 픽셀과 상기 제2 종단 픽셀을 연결하는 단계를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법이 제공된다.
한편, 본 발명의 일실시예에 따른 움직임 객체 추출 시스템은 현재 프레임에 대한 캐니 에지(Canny edge)와 배경(background) 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성하는 객체 에지 생성 수단, 상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선(boundary)을 생성하는 객체 외곽선 생성 수단, 소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나타나는 단락된 부분을 연결하여 제1 움직임 객체 마스크를 생성하는 제1 객체 마스크 생성 수단, 연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 상기 초기 움직임 객체의 에지에서 잡영을 제거하여 제2 움직임 객체 마스크를 생성하는 제2 객체 마스크 생성 수단, 상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 객체 추출 수단을 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 움직임 객체 추출 방법 및 그 시스템에 대하여 상세히 설명한다.
도 1은 본 발명의 일실시예에 따른 움직임 객체 추출 방법을 도시한 흐름도이다. 본 실시예에 따른 움직임 객체 추출 방법은 소정의 움직임 객체 추출 시스 템에서 수행될 수 있고, 본 발명에서는 초기 움직임 객체에서부터 마지막 완전한 움직임 객체 추출까지를 하나의 발전 과정으로 파악하여 움직임 객체 추출 방법 및 그 시스템을 구현하였다.
본 발명에서는 변환 검출(change detection) 방법을 사용하였다. 흔히 변환 검출은 현재의 프레임과 이전 프레임 사이의 픽셀 차이를 지칭하며 이것을 전방(foreground) 변환 검출이라고 한다. 그러나 본 발명에서는 고정 배경 필터링(stationary background filtering)과 배경 저장(registration)에 의하여 배경을 저장하며 현재의 프레임과 배경과의 차이를 계산한다. 이것을 배경(background) 변환 검출이라고 하며, 이 배경 변환 검출을 초기 움직임 객체로 하여 초기화를 수행하게 된다.
즉, 본 실시예에 따른 움직임 객체 추출 시스템은 현재 프레임과 이전 프레임 사이의 프레임 차(frame difference)를 계산하고(S101), 상기 프레임 차를 소정의 배경 버퍼(background buffer)로 전송하면 상기 배경 버퍼에서 상기 프레임 차에 따른 배경을 저장하며(S102), 상기 현재 프레임과 상기 배경 사이의 배경 차(background difference)를 계산하고(S103), 이러한 과정을 통해 초기 움직임 객체가 초기화된다(S104).
본 발명에서 배경 변환 검출을 사용하는 이유는 전방 변환 검출에 비하여 더욱 정확한 에지를 생성하는 것을 실험에서 관찰하여 파악하였기 때문이다.
위와 같이 초기화된 움직임 에지는 서로 보완적인 두 가지 방법으로 처리되어 2개의 객체 마스크를 생성하게 된다. 하나는 움직임 객체 에지와 외곽선 (boundary) 연결에 제1 움직임 객체 마스크 생성이고, 다른 하나는 잡영(noise) 제거에 의한 제2 움직임 객체 마스크 생성이다.
제1 움직임 객체 마스크 생성 과정에서 생성된 움직임 객체 경계는 단락된 에지(broken edge)를 보이게 되며, 본 발명에서는 새로운 형태의 외곽선 연결 알고리즘을 통해 단락된 움직임 객체 에지를 모두 연결하여 제1 움직임 객체 마스크를 생성한다. 다음으로, 초기 움직임 객체 에지에서 연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 잡영을 제거하여 제2 움직임 객체 마스크를 생성하고, 이 2개의 서로 보완적인 움직임 객체 마스크를 사용하여 움직임 객체를 성공적으로 추출한다.
한편, 상기 움직임 객체 추출 시스템은 현재 프레임에 대한 캐니 에지(Canny edge)를 생성하고(S105), 현재 프레임에 대한 캐니 에지와 배경 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성한다(S106).
도 2는 움직임 객체 에지를 생성하는 과정을 도시한 흐름도이다. 움직임 객체 에지는 아래의 과정을 거쳐서 생성된다.
상기 움직임 객체 추출 시스템은 상기 현재 프레임에 대한 캐니 에지와 상기 초기 움직임 객체의 에지에 대해 논리 AND 연산을 적용하여 초기 움직임 객체 에지(initial MOE(Moving Object Edge))를 생성한다(S201). 또한, 상기 움직임 객체 추출 시스템은 현재 움직임 객체 에지와 이전 움직임 객체 에지의 논리 OR 연산 결과를 생성하고, 상기 현재 프레임에 대한 캐니 에지와 상기 논리 OR 연산 결과에 대해 논리 AND 연산을 적용하여 중간 움직임 객체 에지(intermediate MOE)를 생성한다(S202). 또한, 상기 움직임 객체 추출 시스템은 상기 중간 움직임 객체 에지에 대해 에지 추적(tracing)을 수행하여(S203) 최종 움직임 객체 에지(final MOE)를 생성한다(S204).
초기 움직임 객체 에지(MOEinitial )는 다음의 식에 의하여 구한다.
MOEinitial = {e = e1 & e2 | e1 ∈ Enc, e 2 ∈ IMO}
<수식 1>
여기서, Enc는 현재 프레임에 대한 캐니 에지이고, IMO(Initial Moving Object)는 초기 움직임 객체이다. e, e1, 그리고 e2는 모두 에지를 나타낸다. &는 논리 AND 연산자를 나타낸다.
중간 움직임 객체 에지(MOEintermediate)는 다음 식에 의하여 구한다.
MOEintermediate= {e = e1 & e2 | e1 ∈ Enc, e2 ∈ MOEn || e2 ∈ MOEn-1 }
<수식 2>
여기서, MOEn은 현재의 움직임 객체 에지를 나타내고, MOEn-1 은 이전 단계의 움직임 객체 에지를 나타낸다. || 연산자는 논리 OR 연산자이다. 이 연산은 MOEn의 에지와 MOEn-1의 에지를 합하는 에지 합 연산이다. 이 연산은 MOEn에서 객체의 움직임이 감소하여 나타나는 단락된 에지를 MOEn-1을 이용하여 연결하는 기능을 한다.
다음은 최종 움직임 객체 에지(MOEfinal )를 구하는 식이다.
Figure 112004048450267-pat00001
<수식 3>
여기서, En b는 배경 에지를 나타낸다. 이 식은 MOEintermediate 에지를 배경 에지를 제외한 현재 프레임의 Canny 에지와 논리 OR 연산을 하는 것을 의미한다. 이 과정을 에지 추적이라고 부른다. 실험을 통해 에지 추적은 배경에 잡영이 거의 없거나 혹은 영상의 품질이 우수한 "Akiyo" 와 "Claire"와 같은 영상에 매우 효과적임을 알 수 있었다.
상기 움직임 객체 추출 시스템이 중간 움직임 객체 에지에 대해 에지 추적을 수행하여 최종 움직임 객체 에지를 생성하는 과정(S203, S204)에 대하여 설명한다.
상기 움직임 객체 추출 시스템은 현재 프레임에 대한 캐니 에지와 상기 중간 움직임 객체 에지간 차이값에 해당하는 배경 에지를 생성한다. 이 경우, 다음 식에 의하여 배경 에지 En b(x,y)를 자동으로 구할 수 있다.
En b(x,y) = En c(x,y) - MOEn intermediate (x,y)
<수식 4>
그러나 이렇게 구한 배경 에지 En b(x,y)는 도 3의 (a)가 보여주는 것과 같이 아직도 완전히 제거되지 않고 남아있는 객체의 픽셀들을 포함하고 있다. 이에, 본 발명에서는 이러한 픽셀들을 연결 요소 방법을 사용하여 모두 제거하여 도 3의 (b)처럼 깨끗한 배경만을 나타내는 En b(x,y)를 구하였다.
다음으로 상기 움직임 객체 추출 시스템은 상기 중간 움직임 객체 에지를 수평으로 조사하여 상기 에지 추적을 시작할 첫 번째 픽셀을 검색하고, 상기 첫 번째 픽셀을 8-connected 방식으로 조사하여 상기 중간 움직임 객체 에지에서 상기 에지 추적을 시작하며, 상기 추적된 프레임의 캐니 에지와 상기 중간 움직임 객체 에지를 합산하여 상기 최종 움직임 객체 에지를 생성한다.
도 4의 (a)는 "Hall monitor", (b)는 "Akiyo", 그리고 (c)는 "Claire"의 움직임 객체 에지 결과를 보여준다. 도 4의 (a)와 (b)의 왼쪽 열은 전방 변환 검출 결과이고 오른쪽 열은 배경 변환 검출을 사용한 결과이다. 이를 통해, 배경 변환 검출을 사용한 경우의 결과가 더 우수한 것을 알 수 있다. 또한, (a)와 (b)에 대하여서는 중간 움직임 객체 에지 MOEintermediate 를 최종 결과로 사용하였다. 그러나 (c) "Claire"는 에지 추적을 사용한 움직임 객체 에지 생성 과정을 보여준다. (c4)는 또 다른 그림의 예로서 제시하였다.
움직임 객체 에지를 생성한 상기 움직임 객체 추출 시스템은 상기 움직임 객 체 에지를 통해 움직임 객체 외곽선을 생성한다(S107). 완전하게 연결된 움직임 객체 외곽선은 정확한 움직임 객체의 추출을 위하여 매우 중요하다.
상기 움직임 객체 추출 시스템은 상기 움직임 객체 에지에서 일정 크기 미만인 픽셀들의 군을 잡영으로 인식하여 제거한다. 다음으로, 상기 움직임 객체 에지를 수평으로 스캔하여 도 5의 (a2)에 도시된 것과 같은 제1 움직임 객체 외곽선을 생성한다. 또한, 상기 움직임 객체 에지를 수직으로 스캔하여 도 5의 (a3)에 도시된 것과 같은 제2 움직임 객체 외곽선을 생성한다. 그리고, 상기 제1 움직임 객체 외곽선과 상기 제2 움직임 객체 외곽선을 조합하여 도 5의 (a4)에 도시된 것과 같은 최종 움직임 객체 외곽선을 생성한다.
위와 같이 생성된 움직임 객체 외곽선은 에지 검출 실패에 의하여 단락된 에지(broken edge)를 보여주게 되는데, 본 발명에서는 이러한 단락된 객체의 외곽선을 외곽선 연결(boundary linking) 알고리즘을 통해 모두 연결한다.
우선, 상기 움직임 객체 추출 시스템은 움직임 객체 외곽선을 조사하여 단락된 부분의 양단에 제1 종단 픽셀(terminating pixel)과 제2 종단 픽셀을 각각 설정한다. 도 6의 (a1)과 (a2)는 종단 픽셀이 설정된 "Hall monitor"이고, 도 6의 (b)는 종단 픽셀이 설정된 "Akiyo"이며, 도 6의 (c)는 종단 픽셀이 설정된 "Claire" 영상이다. 실제 종단 픽셀은 하나의 일반 픽셀이지만 도 6에서는 종단 픽셀을 분명하게 보여주기 위하여 이를 크게 도시하였다.
본 발명에서 제안된 외곽선 연결 알고리즘은 외곽선의 픽셀 방향을 고려한 공간 기반 알고리즘이다. 상기 외곽선 연결 알고리즘은 제1 종단 픽셀에서 시작하 여 다른 종단 픽셀인 제2 종단 픽셀과의 사이에 픽셀을 삽입하면서 단락된 부분을 연결한다(S108).
상기 외곽선 연결 알고리즘은 먼저 연결 방향을 고려하여, 제1 종단 픽셀에 4분면을 설정한다. 다음으로 동심원을 형성하면서 주어진 반지름 범위 내에서 제2 종단 픽셀을 탐색하기 위해 앞으로 전진한다. 상기 외곽선 연결 알고리즘은 최단 거리로 제1 종단 픽셀과 제2 종단 픽셀을 연결하며, 외곽선 연결 과정에서 사이클(cycle)을 만들지 않는다. 상기 외곽선 연결 알고리즘에 의하여 구성된 움직임 객체의 외곽선을 보면, 상기 외곽선 연결 알고리즘이 상당히 정확하게 단락된 부분들을 연결한 것을 알 수 있다.
본 발명의 일실시예에 따르면, 상기 외곽선 연결 알고리즘은 외곽선 픽셀의 연결 방향을 고려하여 가상 픽셀을 설정한다. 즉, 시작 종단 픽셀인 제1 종단 픽셀 TO =(O,0)로부터 가상 픽셀 VO =(Vx,Yy)방향으로 탐색을 시작한다. 상기 외곽선 연결 알고리즘은 먼저 제1 종단 픽셀을 좌표의 원점에 위치시키고, 제1 종단 픽셀 TO 와 가상 픽셀 VO사이의 각도 θv를 다음과 같이 계산한다.
Figure 112004048450267-pat00002
<수식 5>
다음에, TO 와 연결할 제2 종단 픽셀 T1을 주어진 반지름 범위 내에서 동심원 을 형성하면서 탐색하고, T1 =(Tx,TY)과 TO 사이의 각도 θs를 다음과 같이 계산한다.
Figure 112004048450267-pat00003
<수식 6>
만일, (2π + θv - π/4 ≤ θs ≤ 2π + θv + π/4)인 경우에 상기 외곽선 연결 알고리즘은 제1 종단 픽셀인 TO 와 제2 종단 픽셀 T1을 연결할 수 있다.
상기 외곽선 연결 알고리즘은 더 이상 연결할 다른 종단 픽셀이 존재하지 않을 때까지 수행될 수 있으며, 도 7은 도 6의 영상에 대하여 외곽 연결을 수행하여 완전하게 구성된 움직임 객체 외곽을 도시하고 있다.
상기 외곽선 연결 알고리즘은 주어진 반지름 보다 멀리 있는 종단 픽셀에 대해서는 연결을 시도하지 않는다. 이런 경우에는 잘못된 종단 픽셀을 연결할 가능성이 있기 때문이다. 일례로, "Hall monitor" 경우에 반지름은 8로 설정되어 있고, "Akiyo"의 경우는 12, 그리고 "Mother&Daughter"의 탐색 반지름은 24로 설정되어 있을 수 있다.
본 발명에 대한 실험에서 상기 외곽선 연결 알고리즘은 도 6의 (a1) "Hall monitor 54th''의 경우 20개의 종단 픽셀을 설정하였으며 11번의 외곽선 연결을 수행하여 도 7의 (a1)을 생성하였다. 또한, 상기 외곽선 연결 알고리즘은 도 6의 (b) "Akiyo"의 경우, 39개의 종단 픽셀을 설정하였고 18번의 외곽선 연결을 수행하였다.
도 6의 (a1)에서 몇 개의 단락된 외곽선을 볼 수 있으나, 도 7의 (a1)에서 이러한 단락된 외곽선들이 완전히 연결된 것을 볼 수 있다. 그리고 도 6의 (a2), (b), (c)에서도 단락된 외곽선을 볼 수 있으나 도 7의 (a2), (b), (c)에서 이러한 단락된 외관선들이 완전히 연결된 것을 볼 수 있다. 상기 외곽선 연결 알고리즘은 움직임 객체의 텍스처를 가장 바깥쪽의 외곽선까지 매핑한다.
도 7에서 움직임 객체의 하단 부분(움직임 객체와 영상 프레임이 접하는 부분)에 외곽선이 연결되지 않고 남아있는 부분이 있는데, 원래 이 부분은 움직임 객체 에지의 일부분이 아니다. 도 7의 (b)와 (c)를 보면 이러한 부분을 볼 수 있다. 이 부분은 이 영역에 원래 외곽선이 존재하지 않기 때문에 발생한다. 움직임 객체 추출 시스템은 이러한 부분을 연결할 수 있으며, 도 8의 (a)와 (b)를 보면 도 7의 (b)와 (c)에서 움직임 객체 밑부분이 연결된 것을 알 수 있다.
본 발명에 따른 움직임 객체 추출은 2개의 객체 마스크를 이용하여 이루어진다. 하나의 객체 마스크는 외곽선 연결을 통하여 생성된 것이며 본 명세서에서 제1 움직임 객체 마스크로 지칭된다. 다른 하나의 객체 마스크는 초기 움직임 객체를 통하여 만들어지며 본 명세서에서 제2 움직임 객체 마스크로 지칭된다.
일반적으로 제1 움직임 객체 마스크는 "Claire" 혹은 "Akiyo"와 같이 소위 머리와 어깨만을 움직이고 오직 하나의 움직임 객체만이 존재할 때 사용된다. 제1 움직임 객체 마스크의 장점은 더욱 정확한 움직임 객체의 윤곽을 나타낼 수 있다는 것이다. 그러나 제1 움직임 객체 마스크는 연결되지 않은 객체의 외곽선과 내부에 구멍이 존재하는 객체의 경우에는 객체 추출에 효과적이지 못하다. 제2 움직임 객체 마스크는 이러한 경우에 효과적이나, 객체의 윤곽이 다소 정확하게 되지 못하는 경향이 있다.
따라서, 본 발명에서는 정확한 객체의 경계를 얻고 내부에 구멍이 존재하는 움직임 객체를 추출하기 위해 제1 움직임 객체 마스크와 제2 움직임 객체 마스크를 함께 사용하며, 움직임 객체를 추출함에 있어서 상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크는 상호 보완적으로 기능한다.
도 9는 제1 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 모습의 일례를 도시한 것이다. 도 9의 (a1)은 "Hall monitor"에 대한 제1 움직임 객체 마스크이고, 도 9의 (a2)는 텍스처 매핑 결과이다. 또한, 도 9의 (b1)은 "Akiyo"에 대한 제1 움직임 객체 마스크의 객체 마스크이고, 도 9의 (b2)는 텍스처 매핑 결과이다.
외곽선 연결을 통해 제1 움직임 객체 마스크를 생성한 움직임 객체 추출 시스템은 소정의 연결 요소 방법과 형태 연산을 통해 초기 움직임 객체의 에지에서 잡영을 제거하여 제2 움직임 객체 마스크를 생성한다(S109, S110). 여기서, 초기 움직임 객체는 배경 변환 검출로 초기화된 것임을 앞서 설명한 바 있다(S101 내지 S104).
도 10은 제2 움직임 객체 마스크를 생성하는 과정을 도시한 흐름도이다. 도 10에 도시한 것과 같이, 상기 움직임 객체 추출 시스템은 초기 움직임 객체에 대해 연결 요소(connected component) 방법을 적용하여 배경 및 객체에 존재하는 잡영을 제거하고(S1001), 잡영이 제거된 상기 초기 움직임 객체에 대해 형태 연산(morphological operation)을 적용하여 상기 제2 움직임 객체 마스크를 생성한다(S1002).
도 11은 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 모습의 일례를 도시한 것이다. 도 11의 (a)는 솔트 앤 페퍼(salt-and-pepper) 잡영을 포함하는 초기 움직임 객체이고, 도 11의 (b)는 연결 요소 방법과 형태 연산에 의하여 잡영이 제거된 객체 마스크이며, 도 11의 (c)는 텍스처 매핑 결과이다.
도 12는 제2 움직임 객체 마스크를 이용하여 추출한 "Hall monitor"와 "Akiyo"를 도시한 것이다. 도 12에서 보는 것과 같이, 추출된 움직임 객체는 약간 거친 객체 외곽을 보여준다.
제1 움직임 객체 마스크와 제2 움직임 객체 마스크를 생성한 움직임 객체 추출 시스템은 양자를 모두 이용하여 움직임 객체를 추출한다(S111).
도 13은 제1 움직임 객체 마스크와 제2 움직임 객체 마스크를 모두 이용하여 움직임 객체를 추출하는 모습의 일례를 도시한 도면이다. 도 13의 (a)와 (b)는 "Mother&Daughter"의 움직임 객체 추출 모습을 도시한 것이다. 여기서, 도 13의 (a)는 넓게 끊어진 객체의 외곽을 도시하고 있음에도, 상기 움직임 객체 추출 시스템이 양자를 모두 이용하여 움직임 객체를 추출함으로 인해 도 13의 (b)에서 움직임 객체가 아무 문제없이 정확한 외곽을 보여주며 추출되었음을 알 수 있다. 또한, 도 13의 (c)와 (d)는 내부에 구멍이 존재하는 경우에도 구멍의 모양이 뚜렷한 상태로 움직임 객체가 추출된 것을 보여주고 있다.
한편, 움직임 그림자는 진한 그림자 부분과 객체 주변의 옅은 부분으로 구성되는데, 본 발명에서는 이러한 움직임 그림자를 Roberts 기울기 연산자를 사용하여 거의 제거할 수 있다. Roberts 연산자는 차이가 크지 않은 픽셀들에 대해 거의 아무런 응답을 하지 않기 때문에 움직임 그림자를 제거하는데 사용될 수 있고, 이러한 그림자 제거는 영상 입력 초기부분에 적용될 수 있다.
본 발명에 따른 움직임 객체 추출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
도 14는 본 발명의 또 다른 실시예에 따른 움직임 객체 추출 시스템을 도시한 블록도이다. 본 실시예에 따른 움직임 객체 추출 시스템(1400)은 객체 에지 생성 수단(1401), 객체 외곽선 생성 수단(1402), 제1 객체 마스크 생성 수단(1403), 제2 객체 마스크 생성 수단(1404) 및 객체 추출 수단(1405)을 포함한다.
객체 에지 생성 수단(1401)은 현재 프레임에 대한 캐니 에지(Canny edge)와 배경(background) 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성한다.
객체 외곽선 생성 수단(1402)은 상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선을 생성한다.
제1 객체 마스크 생성 수단(1403)은 소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나타나는 단락된 부분을 연결하여 제1 움직임 객체 마스크를 생성한다.
제2 객체 마스크 생성 수단(1404)은 연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 상기 초기 움직임 객체의 에지에서 잡영을 제거하여 제2 움직임 객체 마스크를 생성한다.
객체 추출 수단(1405)은 상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출한다.
이하에서는 "Akiyo", "Claire", "Grandma", "Weather", "Hall monitor", 그리고 "Silence"와 같은 표준 MPEG-4 비디오 테스트와 "Junki" 실제 비디오 입력을 사용하여 수행한 본 발명에 따른 움직임 객체 추출 방법에 대한 실험 결과를 제시한다.
본 실험에서는 객관적인 검사를 위하여 다음과 같은 에러 퍼센티지(error percentage) 수식을 사용하였다. 이 수식은 간단하지만 효과적으로 객체 추출 성능을 나타낸다. 이 수식으로 원래 영상의 알파 영상과 추출된 영상 사이의 누적 차이값을 구할 수 있다.
Figure 112004048450267-pat00004
<수식 7>
여기서 a(x, y)는 원래 영상의 알파맵이고,
Figure 112004048450267-pat00005
는 Exclusive-OR 연산이며, OM(x, y)는 추출된 영상의 알파맵이다. 또한, W는 넓이(width)이고, H는 높이(height)이다.
도 15는 "Claire", "Akiyo", 그리고 "Weather"에 대하여 1 프레임부터 전체 298 프레임까지의 에러 퍼센티지를 도시한 그래프이다.
입력 영상의 포맷은 CIF이고 초당 25 프레임이 입력되었다. a(x, y)는 참조영상으로서 PHOTOSHOP을 사용하여 입력 영상에서 구하였고, OM(x, y)은 본 발명에서 제안한 움직임 객체 추출 방법에 의하여 추출한 움직임 객체이다.
만약, a(x, y)와 OM(x, y) 사이에 차이가 없으면 에러 퍼센티지는 0%이다. 만약 차이가 1.5% 이상이면, 추출된 움직임 객체는 시각적으로 인지할 수 있는 차이를 보이게 된다.
실험에서 얻은 에러 퍼센티지값은 몇 개의 프레임을 제외하면 0.8% 보다 낮았다. 이 값은 본 발명에서 제안한 움직임 객체 추출 방법에 의하여 추출된 움직임 객체는 참조 영상 a(x, y)와 거의 유사하다는 것을 나타낸다. 또한 이 값은 본 발명에서 제안한 움직임 객체 추출 방법이 매우 객관적으로 객체를 정확하게 추출하는 것을 나타낸다.
이상에서 설명한 것과 같이, 본 발명은 움직임 객체 에지 생성을 하나의 과정으로 파악하여, 초기 움직임 객체에서 중간 단계를 거쳐 최종 움직임 객체 에지를 생성하는 알고리즘을 제시한다. 본 발명에서의 외곽선 연결 알고리즘은 시작 종단 픽셀 주변에 4분면을 설정하고, 시계방향으로 동심원을 구성하면서 설정된 반지름 범위 내에서 다른 종단 픽셀을 탐색하여 단락된 객체의 외곽을 연결한다. 상기 알고리즘은 사이클(cycle)을 형성하지 않으며, 가장 짧은(shortest) 거리로 단락된 부분을 연결한다.
본 발명에서 제안된 움직임 객체 추출 방법의 성능을 표준 MPEG-4 영상과 카메라 입력 영상을 사용하여 실험한 결과, 본 발명에 따른 움직임 객체 추출 방법은 매우 효율적이며 2.0GHz Pentium-IV 컴퓨터에서 QCIF 영상을 초당 48 프레임 이상 처리하며 CIF 영상을 초당 19 프레임 이상 처리할 수 있어 실시간 응용에 적합하다는 것을 알 수 있었다.
한편, 이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명에 따르면, 객체의 경계가 더욱 분명하고, 다중 객체일 경우에도 경계가 분명하며, 내부에 구멍이 존재하는 객체의 경우에 구멍과 객체를 명확히 분할하고, 또한 알고리즘들을 최적화하여 실용적으로 적용할 수 있는 새로운 움직임 객체 추출 방법 및 그 시스템이 제공된다.

Claims (12)

  1. 움직임 객체(moving object)를 추출하는 방법에 있어서,
    현재 프레임에 대한 캐니 에지(Canny edge)와 배경(background) 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성하는 단계;
    상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선(boundary)을 생성하는 단계;
    소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나타나는 단락된 부분을 연결하여 제1 움직임 객체 마스크를 생성하는 단계;
    연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 상기 초기 움직임 객체의 에지에서 잡영(noise)을 제거하여 제2 움직임 객체 마스크를 생성하는 단계; 및
    상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 단계
    를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법.
  2. 제1항에 있어서,
    상기 제1 움직임 객체 마스크를 생성하는 상기 단계는
    상기 소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나 타나는 단락된 부분을 모두 연결하는 단계인 것을 특징으로 하는 움직임 객체 추출 방법.
  3. 제1항에 있어서,
    상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 상기 단계에서,
    상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크는 상호 보완적으로 기능하는 것을 특징으로 하는 움직임 객체 추출 방법.
  4. 제1항에 있어서,
    상기 초기 움직임 객체는,
    상기 현재 프레임과 이전 프레임 사이의 프레임 차(frame difference)를 계산하는 단계;
    상기 프레임 차를 소정의 배경 버퍼(background buffer)로 전송하는 단계;
    상기 배경 버퍼에서 상기 프레임 차에 따른 배경을 저장하는 단계; 및
    상기 현재 프레임과 상기 배경 사이의 배경 차(background difference)를 계산하는 단계
    를 통해 초기화되는 것을 특징으로 하는 움직임 객체 추출 방법.
  5. 제1항에 있어서,
    상기 움직임 객체 에지를 생성하는 상기 단계는
    상기 현재 프레임에 대한 캐니 에지와 상기 초기 움직임 객체의 에지에 대해 논리 AND 연산을 적용하여 초기 움직임 객체 에지를 생성하는 단계;
    현재 움직임 객체 에지와 이전 움직임 객체 에지의 논리 OR 연산 결과를 생성하는 단계;
    상기 현재 프레임에 대한 캐니 에지와 상기 논리 OR 연산 결과에 대해 논리 AND 연산을 적용하여 중간 움직임 객체 에지를 생성하는 단계; 및
    상기 중간 움직임 객체 에지에 대해 에지 추적(tracing)을 수행하여 최종 움직임 객체 에지를 생성하는 단계
    를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법.
  6. 제5항에 있어서,
    상기 중간 움직임 객체 에지에 대해 에지 추적(tracing)을 수행하여 최종 움직임 객체 에지를 생성하는 상기 단계는
    상기 현재 프레임에 대한 캐니 에지와 상기 중간 움직임 객체 에지간 차이값에 해당하는 배경 에지를 생성하고, 상기 배경 에지에 대해 연결 요소 알고리즘을 적용하여 객체 픽셀을 제거하는 단계;
    상기 중간 움직임 객체 에지를 수평으로 조사하여 상기 에지 추적을 시작할 첫 번째 픽셀을 검색하는 단계;
    상기 첫 번째 픽셀을 8방향 연결(8-connected) 방식으로 조사하여 상기 중간 움직 임 객체 에지에서 상기 에지 추적을 시작하는 단계; 및
    상기 추적된 프레임의 캐니 에지와 상기 중간 움직임 객체 에지를 합산하여 상기 최종 움직임 객체 에지를 생성하는 단계
    를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법.
  7. 제1항에 있어서,
    상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선을 생성하는 상기 단계는
    상기 움직임 객체 에지에서 일정 크기 미만인 픽셀들의 군을 잡영으로 인식하여 제거하는 단계;
    상기 움직임 객체 에지를 수평으로 스캔하여 제1 움직임 객체 외곽선을 생성하는 단계;
    상기 움직임 객체 에지를 수직으로 스캔하여 제2 움직임 객체 외곽선을 생성하는 단계; 및
    상기 제1 움직임 객체 외곽선과 상기 제2 움직임 객체 외곽선을 조합하여 최종 움직임 객체 외곽선을 생성하는 단계
    를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법.
  8. 제1항에 있어서,
    상기 움직임 객체 외곽선을 조사하여 단락된 부분의 양단에 제1 종단 픽셀 (terminating pixel)과 제2 종단 픽셀을 각각 설정하는 단계를 더 포함하고,
    상기 소정의 외곽선 연결 알고리즘은
    상기 제1 종단 픽셀에 4분면을 설정하는 단계 - 상기 제1 종단 픽셀이 좌표의 원점에 위치됨 -;
    상기 제1 종단 픽셀과 연결할 상기 제2 종단 픽셀을 주어진 반지름 범위 내에서 동심원을 형성하면서 탐색하는 단계; 및
    상기 제1 종단 픽셀과 상기 제2 종단 픽셀을 연결하는 단계
    를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법.
  9. 제8항에 있어서,
    상기 소정의 외곽선 연결 알고리즘은 최단 거리로 상기 제1 종단 픽셀과 상기 제2 종단 픽셀을 연결하며, 상기 연결 과정에서 사이클(cycle)이 형성되지 않는 것을 특징으로 하는 움직임 객체 추출 방법.
  10. 제1항에 있어서,
    상기 제2 움직임 객체 마스크를 생성하는 상기 단계는
    상기 초기 움직임 객체에 대해 연결 요소 방법을 적용하여 배경 및 객체에 존재하는 잡영을 제거하는 단계; 및
    잡영이 제거된 상기 초기 움직임 객체에 대해 형태 연산을 적용하여 상기 제2 움직임 객체 마스크를 생성하는 단계
    를 포함하는 것을 특징으로 하는 움직임 객체 추출 방법.
  11. 제1항 내지 제10항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  12. 움직임 객체를 추출하는 방법에 있어서,
    현재 프레임에 대한 캐니 에지(Canny edge)와 배경(background) 변환 검출에 의해 초기화된 초기 움직임 객체의 에지를 이용하여 움직임 객체 에지를 생성하는 객체 에지 생성 수단;
    상기 움직임 객체 에지에 기초하여 움직임 객체 외곽선(boundary)을 생성하는 객체 외곽선 생성 수단;
    소정의 외곽선 연결 알고리즘을 통해 상기 움직임 객체 외곽선에서 나타나는 단락된 부분을 연결하여 제1 움직임 객체 마스크를 생성하는 제1 객체 마스크 생성 수단;
    연결 요소(connected component) 방법과 형태 연산(morphological operation)을 통해 상기 초기 움직임 객체의 에지에서 잡영을 제거하여 제2 움직임 객체 마스크를 생성하는 제2 객체 마스크 생성 수단; 및
    상기 제1 움직임 객체 마스크와 상기 제2 움직임 객체 마스크를 이용하여 움직임 객체를 추출하는 객체 추출 수단
    을 포함하는 것을 특징으로 하는 움직임 객체 추출 시스템.
KR1020040085040A 2004-10-22 2004-10-22 움직임 객체를 추출하는 방법 및 그 시스템 KR100604223B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040085040A KR100604223B1 (ko) 2004-10-22 2004-10-22 움직임 객체를 추출하는 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040085040A KR100604223B1 (ko) 2004-10-22 2004-10-22 움직임 객체를 추출하는 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
KR20060035513A KR20060035513A (ko) 2006-04-26
KR100604223B1 true KR100604223B1 (ko) 2006-07-28

Family

ID=37144067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040085040A KR100604223B1 (ko) 2004-10-22 2004-10-22 움직임 객체를 추출하는 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR100604223B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165192B2 (en) 2010-08-09 2015-10-20 Hanwha Techwin Co., Ltd. Apparatus and method for separating foreground from background
KR102348375B1 (ko) * 2021-04-27 2022-01-06 신용석 이미지 내 객체 추출 방법, 장치 및 컴퓨터-판독가능 기록 매체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023207B1 (ko) * 2007-09-05 2011-03-18 한국전자통신연구원 영상 객체 추출 장치 및 그 방법
US9311550B2 (en) 2013-03-06 2016-04-12 Samsung Electronics Co., Ltd. Device and method for image processing
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
KR101527962B1 (ko) * 2014-03-27 2015-06-11 전남대학교산학협력단 비디오 영상의 움직임 객체 추출 방법
KR101999338B1 (ko) * 2017-06-27 2019-07-11 주식회사 아이피엘 실시간 객체 트래킹 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000013212A (ko) * 1998-08-05 2000-03-06 정선종 윤곽선 추적에 의한 동영상 객체 분할 방법
JP2001236512A (ja) 2000-02-24 2001-08-31 Nippon Hoso Kyokai <Nhk> 動オブジェクト抽出装置
JP2002056393A (ja) 2000-08-14 2002-02-20 Canon Inc 画像処理方法及び装置並びに記憶媒体
KR20030027575A (ko) * 2001-09-29 2003-04-07 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000013212A (ko) * 1998-08-05 2000-03-06 정선종 윤곽선 추적에 의한 동영상 객체 분할 방법
JP2001236512A (ja) 2000-02-24 2001-08-31 Nippon Hoso Kyokai <Nhk> 動オブジェクト抽出装置
JP2002056393A (ja) 2000-08-14 2002-02-20 Canon Inc 画像処理方法及び装置並びに記憶媒体
KR20030027575A (ko) * 2001-09-29 2003-04-07 엘지전자 주식회사 영상내의 오브젝트 영역 추출방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9165192B2 (en) 2010-08-09 2015-10-20 Hanwha Techwin Co., Ltd. Apparatus and method for separating foreground from background
KR102348375B1 (ko) * 2021-04-27 2022-01-06 신용석 이미지 내 객체 추출 방법, 장치 및 컴퓨터-판독가능 기록 매체

Also Published As

Publication number Publication date
KR20060035513A (ko) 2006-04-26

Similar Documents

Publication Publication Date Title
Chien et al. Efficient moving object segmentation algorithm using background registration technique
JP4755202B2 (ja) 顔特徴の検出方法
US8233661B2 (en) Object tracking apparatus and object tracking method
JP4739355B2 (ja) 統計的テンプレートマッチングによる高速な物体検出方法
US8077969B2 (en) Contour finding in segmentation of video sequences
US8126268B2 (en) Edge-guided morphological closing in segmentation of video sequences
EP1969560B1 (en) Edge-controlled morphological closing in segmentation of video sequences
JP4612760B2 (ja) 画像処理装置およびその方法
US10600158B2 (en) Method of video stabilization using background subtraction
Phan et al. A gradient vector flow-based method for video character segmentation
JP2008257713A (ja) 透視変換歪み発生文書画像補正装置および方法
He et al. A novel cloud-based trust model for pervasive computing
JP2007034733A (ja) 対象物領域検出装置、方法およびプログラム
CN113221925A (zh) 一种基于多尺度图像的目标检测方法及装置
KR100604223B1 (ko) 움직임 객체를 추출하는 방법 및 그 시스템
JP2007025900A (ja) 画像処理装置、画像処理方法
KR101195978B1 (ko) 동영상에 포함된 오브젝트를 처리하는 방법 및 장치
Pang et al. Single image deraining via scale-space invariant attention neural network
WO2010083021A1 (en) Detection of field lines in sports videos
CN112883940A (zh) 静默活体检测方法、装置、计算机设备及存储介质
JP4898655B2 (ja) 撮像装置及び画像合成プログラム
CN115019241B (zh) 一种行人识别与追踪方法、装置、可读存储介质及设备
CN115239551A (zh) 视频增强方法和装置
JP2005309772A (ja) 文字成分抽出装置
Ma et al. Stereo-based object segmentation combining spatio-temporal information

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130618

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140618

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee