KR100443678B1

KR100443678B1 - 영상내의 오브젝트 영역 추출방법

Info

Publication number: KR100443678B1
Application number: KR10-2001-0060928A
Authority: KR
Inventors: 이진수; 유재신
Original assignee: 엘지전자 주식회사
Priority date: 2001-09-29
Filing date: 2001-09-29
Publication date: 2004-08-09
Also published as: EP1300801A2; CN1224262C; US7313254B2; US20030063669A1; KR20030027575A; EP1300801A3; CN1411281A

Abstract

본 발명에 따른 영상내의 오브젝트 영역 추출방법은, 이전 프레임과 현재 프레임 간의 영상 변화량를 참조하여 영상내의 오브젝트 영역을 추출함에 있어서, 영상내 오브젝트의 픽셀 변화량이 설정된 임계값 보다 작은 경우에는 이전 프레임에서의 오브젝트 경계 영역 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출하고, 영상내 오브젝트의 픽셀 변화량이 설정된 임계값 보다 큰 경우에는 현재 프레임과 이전 프레임간의 차이를 이용한 움직임 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출한다.

여기서, 영상내 오브젝트의 움직임 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임과 현재 프레임 간의 차이를 구한 영상(차영상)과, 이전 프레임에서의 오브젝트 영역을 비교하고, 그 비교 결과 외곽선의 위치에 변화가 발생된 경우에는, 이전 오브젝트 영역의 경계를 현재 차이를 구한 영상에서 나타난 외곽선의 위치로 수축 또는 팽창시켜 현재 프레임의 오브젝트 영역을 추출한다.

Description

영상내의 오브젝트 영역 추출방법{Object domain detecting method for image}

본 발명은 영상의 오브젝트 영역 추출에 관한 것으로서, 특히 화상통신 영상에서 화자(사용자) 영역을 빠르게 추출/추적할 수 있으며, 통신 영상의 오브젝트 기반 코딩 및 배경 전환 등에 응용될 수 있는 영상내의 오브젝트 영역 추출방법에 관한 것이다.

오늘날, 동영상에서 오브젝트(객체)를 추적하는 기술은 감시 카메라에서의 영상 검색 분야, 화상 통신에서의 압축 분야나 MPEG-4 등 오브젝트 기반 코딩 분야에 전반적으로 중요하게 응용되는 기술이다. 따라서 이에 대한 많은 연구가 보고되고 있다.

감시 카메라 환경에서는 대부분 움직이는 오브젝트(물체)가 없는 상황에서, 순간적인 움직임이 포착되면 이를 이용하여 오브젝트(객체)가 등장했다고 여기고, 오브젝트(객체) 영역을 추출하고, 움직임이 발생된 영역을 중심으로 오브젝트(객체) 영역을 추적하는 방법을 사용한다. 이와 같이, 감시 카메라 환경에서는 대부분의 배경이 고정되고 움직임이 없는 경우가 많으므로, 움직임 정보를 이용하면 상대적으로 쉽게 오브젝트(객체)를 추적할 수 있다.

한편, 근래에는 화상 통신 등에서 보다 적은 데이터 양으로 화상 통신을 하기 위한 목적이나, 배경 전환과 같은 다른 목적을 위해 객체 중심의 코딩 방식이 관심을 받고 있다. 이러한 방식의 표준으로는 MPEG-4가 있으며, 그 밖에도 객체 영역과 배경 영역을 다르게 코딩함으로써, 보다 효과적인 데이터 네트워킹을 가능하게 하려는 시도가 많이 이루어지고 있다.

이와 같이, 화상 통신 환경에서는 대부분 영상이 디스플레이되는 동안 사용자가 등장하므로 움직이는 객체(여기서는 사용자)가 대부분 화면에 등장하게 되며, 화면 크기에 비해 움직이는 객체가 차지하는 비율도 감시 카메라의 그것에 비해 크기 때문에 움직임 정보를 사용하여 객체 영역을 추출하고, 추적하는 것은 상대적으로 어려운 문제가 되고 있다.

이에 따라, 객체 영역을 추출하고 추적하는 방법으로 다음과 같은 여러 가지 방식들이 제안되고 있다.

그러한 하나의 방식으로서, 초기에 움직임 정보와 에지(edge) 정보를 사용하여 사용자 영역을 초기화한 이후, 다음과 같은 방법으로 사용자 영역을 추적하는 방법이다. 먼저, 이전 프레임에서의 사용자 영역을 임의의 방향으로 변이(shift)시킨 후, 현재 프레임에서의 에지들과 겹쳐 놓아, 가장 많이 겹쳐진 방향을 이동 방향으로 보고, 겹쳐지는 에지들을 새로운 사용자 영역의 가장자리 중 일부라고 가정한다. 다음, 이전 프레임과 현재 프레임과의 차이를 구하여 차이가 발생한 영역 중 현재 프레임에서 에지가 존재하는 영역을 역시 사용자 영역의 가장자리 중 일부라고 가정한다. 앞서 두 가지 방법을 사용하여 구한 가장자리 영역들에 대하여 'OR' 연산을 수행함으로써, 현재 프레임에서의 사용자 영역을 구하게 된다. 이와 같은 방법은 실재 적용할 경우에, 에지가 복잡한 배경 영상에서는 정확한 에지를 찾지 못해 제대로 동작하지 못하는 단점이 있다.

또한 다른 방식으로서, 주어진 영상에서 칼라를 기반으로 영역을 분리한 후, 이를 다시 병합함으로써 사용자 영역을 구성하는 방법이 있다. 이때, 'Watershed' 방법을 사용하여 세부 영역을 분리하고, 모션과 칼라의 유사도를 같이 고려하여 비슷한 모션 정보와 칼라 정보를 갖는 영역들을 하나로 병합하는 방법을 사용할 수도 있으며, 칼라 정보를 사용하여 영역들을 병합하는 방법을 사용할 수도 있다. 하지만, 영역분리/병합 기반의 알고리즘은 대부분 처리 시간이 많이 요구되므로, 실시간 오브젝트 추적 알고리즘에는 적용하기가 어려운 단점이 있다. 또한, 복잡한 무늬가 있는 옷을 착용한 사용자의 경우, 칼라 기반으로 영역을 병합하기가 어려운 문제점이 있다.

또 다른 방식으로서, 초기에 사용자의 도움으로 초기 오브젝트 영역을 추출한 이후, 추출된 영역이 시간이 지남에 따라, 어떻게 움직이는 지를 추적하는 방법이 소개되고 있다. 하지만 이와 같은 방법 역시, 많은 시간을 요구하여 실시간에 적용하기에는 어렵다는 단점이 있다.

본 발명은 상기와 같은 여건을 감안하여 창출된 것으로서, 화상통신 영상에서 화자(사용자) 영역을 실시간으로 빠르게 추출/추적할 수 있으며, 통신 영상의 오브젝트 기반 코딩 및 배경 전환 등에 응용될 수 있는 영상내의 오브젝트 영역 추출방법을 제공함에 그 목적이 있다.

도 1은 일반적으로 동영상에서 오브젝트 영역을 추출하는 방법을 개념적으로 나타낸 도면.

도 2는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하여, 오브젝트 영역을 추출하는 과정을 나타낸 순서도.

도 3은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 현재 프레임에서 획득된 원영상의 예를 나타낸 도면.

도 4는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 이전 프레임으로부터 획득된 영상인 'Previous Model'의 예를 나타낸 도면.

도 5는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 'Change Detected Image'의 예를 나타낸 도면.

도 6은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 'Closed Image'의 예를 나타낸 도면.

도 7은 일반적인 모폴로지 알고리즘 중의 하나인 클로징 과정을 나타낸 도면.

도 8은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서,'Refined Model'의 예를 나타낸 도면.

도 9는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 'Previous Model'과 'Closed Image'간의 영역 수축과 영역 팽창을 개념적으로 나타낸 도면.

도 10은 일반적인 모폴로지 알고리즘 중의 하나인 오프닝 과정을 나타낸 도면.

도 11은 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 'Simplified Model'의 예를 나타낸 도면.

도 12는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 'Reshaped Model'의 예를 나타낸 도면.

상기의 목적을 달성하기 위하여 본 발명에 따른 영상내의 오브젝트 영역 추출방법은, 이전 프레임과 현재 프레임 간의 영상 변화량를 참조하여 영상내의 오브젝트 영역을 추출함에 있어서, 영상내 오브젝트의 픽셀 변화량이 설정된 임계값 보다 작은 경우에는 이전 프레임에서의 오브젝트 경계 영역 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출하고, 영상내 오브젝트의 픽셀 변화량이 설정된 임계값 보다 큰 경우에는 현재 프레임과 이전 프레임간의 차이를 이용한 움직임 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출하는 점에 그 특징이 있다.

여기서, 상기 영상내 오브젝트의 움직임 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임과 현재 프레임 간의 차이를 구한 영상(차영상)과, 이전 프레임에서의 오브젝트 영역을 비교하고, 그 비교 결과 외곽선의 위치에 변화가 발생된 경우에는, 이전 오브젝트 영역의 경계를 현재 차이를 구한 영상에서 나타난 외곽선의 위치로 수축 또는 팽창시켜 현재 프레임의 오브젝트 영역을 추출하는 점에 그 특징이 있다.

또한, 상기 이전 오브젝트 영역을 팽창 또는 수축시켜 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 없다가 만나는 위치('off' 픽셀이 'on' 픽셀로 전환)에서는, 이전 프레임(Previous Model)이 차영상(Closed Image)보다 스캔 방향으로 먼저 세팅된 픽셀을 가지고 있는 경우에 한해서 차영상(Closed Image)에서의 세팅된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'on'으로 세팅된 픽셀을 'off' 시켜 오브젝트 영역을 수축시킴으로써, 현재 프레임의 오브젝트 영역을 추출하는 점에 그 특징이 있다.

또한, 상기 이전 오브젝트 영역을 팽창 또는 수축시켜 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 있다가 없어지는 위치('on' 픽셀이 'off' 픽셀로 전환)라면, 이전 프레임(Previous Model)이 차영상(Closed Image) 보다 스캔 방향으로 먼저 'off'된 픽셀을 가지고 있는 경우에 한해서, 차영상(Closed Image)에서의 'off'된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'off'된 픽셀을 'on'으로 세팅시켜 오브젝트 영역을 팽창시킴으로써, 현재 프레임의 오브젝트 영역을 추출하는 점에 그 특징이 있다.

또한, 상기 이전 오브젝트 영역의 외곽을 현재 차이를 구한 영상(차영상)에서 나타난 외곽으로 축소 또는 확장시키는 단계에 있어, 잡음에 의해 잘못된 처리가 발생되는 것을 방지하기 위하여, 팽창/수축을 수행하는 단계 이전에, 두 프레임의 차이를 구한 영상(차영상)을 클로징 모폴로지(closing morphology)를 사용하여 단순화시키는 단계를 더 구비하는 점에 그 특징이 있다.

또한, 상기 이전 오브젝트 영역의 외곽을 현재 차이를 구한 영상(차영상)에서 나타난 외곽으로 수축 또는 팽창시키는 단계에 있어, 추출된 오브젝트 영역의 경계를 단순화하기 위하여 수축/팽창시킨 결과를 오프닝 모폴로지(opening morphology)를 사용하여 단순화하는 단계를 더 구비하는 점에 그 특징이 있다.

또한, 상기 오프닝 모폴로지에 의해 단순화된 오브젝트 영역에 대하여, 상기 오브젝트 영역의 경계에서 아직 다듬어 지지 못한 부분을 더 단순화하기 위하여, 클로징 모폴로지를 사용하여 단순화하는 단계를 더 구비하는 점에 그 특징이 있다.

또한, 상기 영상내 오브젝트의 움직임 정보를 참조하여 오브젝트 영역을 추출함에 있어, 이전 프레임과 현재 프레임 간의 차이를 구한 영상(차영상)과, 이전 프레임에서의 오브젝트 영역을 비교하여, 외곽선의 위치가 달라지지 않았을 경우에는 이전 오브젝트 영역의 외곽을 현재 오브젝트 영역의 경계로 사용하고, 위치가 달라졌을 경우에는 차영상에 나타난 오브젝트 영역의 외곽을 사용하여 오브젝트 영역을 추출하는 점에 그 특징이 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 영상내의 오브젝트 영역 추출방법은, 동영상에서 오브젝트 영역을 추출하고 추적하기 위하여, 시간적으로 다른 두 프레임 간의 차이를 구한 차영상을 구하는 단계; 및 차영상과 이전 프레임에서의 오브젝트 영역을 비교하여, 이전 프레임에서의 오브젝트 영역을 팽창또는 수축시키는 단계; 를 포함하는 점에 그 특징이 있다.

여기서, 상기 이전 프레임에서의 오브젝트 영역을 팽창 또는 수축하는 단계는, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 없다가 만나는 위치('off' 픽셀이 'on' 픽셀로 전환)에서는, 이전 프레임(Previous Model)이 차영상(Closed Image)보다 스캔 방향으로 먼저 세팅된 픽셀을 가지고 있는 경우에 한해서 차영상(Closed Image)에서의 세팅된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'on'으로 세팅된 픽셀을 'off' 시켜 오브젝트 영역을 수축시키는 점에 그 특징이 있다.

또한, 상기 이전 프레임에서 오브젝트 영역을 팽창 또는 수축하는 단계는, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 있다가 없어지는 위치('on' 픽셀이 'off' 픽셀로 전환)라면, 이전 프레임(Previous Model)이 차영상(Closed Image) 보다 스캔 방향으로 먼저 'off'된 픽셀을 가지고 있는 경우에 한해서, 차영상(Closed Image)에서의 'off'된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'off'된 픽셀을 'on'으로 세팅시켜 오브젝트 영역을 팽창시키는 점에 그 특징이 있다.

또한, 상기 차영상의 잡음으로 인한 오류를 방지하기 위하여, 두 프레임 간의 차영상을 클로징 모폴로지(closing morphology)를 사용하여 단순화시키는 단계를 더 구비하는 점에 그 특징이 있다.

또한, 상기 이전 프레임에서 오브젝트 영역을 팽창 또는 수축한 단계 이후에, 새로 획득된 오브젝트 영역을 단순화시키기 위해, 오프닝 모폴로지를 사용하여 수축/팽창된 오브젝트 영역의 영상을 단순화시키는 단계를 더 구비하는 점에 그 특징이 있다.

또한, 상기 오프닝 모폴로지를 사용하여 수축/팽창된 오브젝트 영역의 영상을 단순화시킨 단계 이후에, 클로징 모폴로지를 사용하여 오브젝트 영역을 영상을 단순화시키는 단계를 더 구비하는 점에 그 특징이 있다.

이와 같은 본 발명에 의하면, 화상통신 영상에서 화자(사용자) 영역을 실시간으로 빠르게 추출/추적할 수 있으며, 통신 영상의 오브젝트 기반 코딩 및 배경 전환 등에 응용될 수 있는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

일반적으로, 동영상에서 오브젝트 영역을 추출하는 방법은, 도 1에 나타낸 바와 같이, 초기 오브젝트 영역을 추출하는 단계와, 오브젝트 영역을 추적하는 단계로 구성된다. 이때, 초기 오브젝트 영역 추출 단계에서는 오브젝트 영역에 대한 아무런 정보가 없는 상태에서 오브젝트 영역을 추출하는 단계로서, 자동 또는 반자동 알고리즘을 사용하여 오브젝트 영역을 추출한다.

그리고, 오브젝트 영역 추적 단계는 이전 프레임에서 이미 추출된 오브젝트 영역을 기반으로 현재 프레임에서의 오브젝트 영역을 추적하는 단계로서 초기 오브젝트 영역 추출보다는 빠른 알고리즘을 사용하게 된다.

또한, 필수적인 이 두 단계 이외에 오브젝트 영역 재추출(re-modeling) 단계가 필요할 수도 있다. 이는, 오브젝트 영역에 대한 추적을 오랫동안 수행할 경우, 추적과정에서 발생되는 오류가 누적됨으로써, 오류가 점점 증가되는 문제점을 방지하기 위하여 주기적, 또는 특정 조건에 다다랐을 때마다 재추출을 행하는 과정이다.

그리고, 앞서 기술한 모든 단계에서는 경계 영역 세밀화(refining) 단계가 요구될 수도 있다. 이는 움직임 기반으로 추출한 오브젝트 영역의 경계 영역이 정확하지 않을 수 있으므로, 이를 세밀하게 보정하는 단계를 의미한다.

한편, 앞서 기술한 대부분의 기존 기술들은 대상 데이터를 뉴스 데이터 같이, 인위적으로 잘 구성된 조명 아래에서 취득된 동영상을 대상으로 하였다. 하지만, 화상 통신과 같은 실재 환경에서는 다음과 같은 문제점으로 인하여 위 기술들을 적용하기 어려운 문제점이 있다.

이러한 문제점으로는 조명 자체의 잡음에 의하여 발생되는 것과, 영상 취득 장치에 의해 발생되는 문제점 등이 있다. 이러한 문제점에 대한 설명과 함께, 그 대응방안에 대하여 서술하기로 한다.

대부분의 화상 통신은 실내에서 이루어지며, 대부분의 실내 조명은 형광등을 사용하고 있다. 형광등은 조명 특성이 깜빡거림이 매우 심하다. 이는 눈으로는 잘 감지되지 않으나 촬영된 데이터를 분석하면 형광등의 조명 특성에 의하여 움직이지 않는 영역에서도 시간이 다른 두 프레임간에 차이가 발생된다. 이러한 차이는 특히 에지 영역에서 심하게 나타난다.

또한, PC 카메라는 캠코더와는 달리 영상의 질이 좋지 못한 단점을 가지고있다. 따라서 영상에 전체적인 잡음이 생길 수도 있고, 특히 사용자가 움직임에 따라 전체적인 조명 등이 변하기도 한다.

한편, 일반적으로 움직임이 크면 클수록 두 프레임 간의 차이가 해당 위치에서 심하게 발생하고 적은 움직임에서는 그만큼 작은 차이가 난다. 상기 발생한 문제로 인하여 움직임이 전혀 없는 위치에서도 두 프레임 간의 차이가 발생되는데, 차이의 크기는 움직임이 작은 오브젝트의 경계 영역에서 발생하는 차이에 비해 크게 나타날 수 있으며, 움직임이 큰 오브젝트의 경계에 비해서는 작게 나타난다. 따라서, 상기 기술한 문제로 인하여 발생되는 잡음을 제거하기 위해 차이의 크기가 클 경우에만 차이가 발생했다고 가정하면, 움직임이 작을 경우 이를 놓칠 수 있고, 작은 움직임까지 찾고자 할 경우 배경 영상의 잡음까지도 찾아지는 문제가 발생된다.

본 발명에서는 이러한 현상을 이용하여 다음과 같은 방법으로 문제점을 해결하고자 한다. 먼저, 움직임이 적은 부분에서는 한 두 픽셀 이동한 경우이므로 이전 프레임에서의 오브젝트 경계 영역을 이용하여 영역을 찾도록 하고, 움직임이 큰 부분에서는 두 프레임간의 차이가 큰 부분만을 추출함으로써 잡음에 의해 발생되는 차이는 무시하도록 한다.

그러면, 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하여, 오브젝트 영역을 추출하는 과정에 대하여 도 2를 참조하여 설명해 보기로 한다. 도 2는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하여, 오브젝트 영역을 추출하는 과정을 나타낸 순서도이다.

먼저, 현재 (t + Δt) 프레임이 입력되면(단계 201), 이전 (t) 프레임과의 픽셀 값 차이를 구하여, 일정 임계치를 넘는 픽셀만을 셋팅(setting)하는 'Change Detected Image(CDI)'를 구한다(단계 202). CDI의 예는 도 5에 도시되어 있으며, 원영상이 도 3이고, 이전 프레임과의 차이가 발생된 부분만을 명시한 영상이 도 5이다. 여기서, 도 4는 이전 프레임의 영상으로부터 획득된 'Previous Model'을 나타낸다. 도 5에 나타낸 바와 같이, 에지(edge)가 존재하는 영역 중 움직임이 크게 발생하는 부분만이 명시되어 있다.

다음 과정으로, CDI를 모폴로지 알고리즘 중의 하나인 클로징(closing) 오퍼레이션을 사용하여 도 6에 나타낸 바와 같은 'Closed Image'를 획득한다(단계 203). 여기서 클로징은, 도 7에 나타낸 바와 같이, 'dilation'과 'erosion' 과정을 사용함으로써 작은 홈이나 홀 등을 제거하고, 작게 떨어진 구간을 연결해 주는 역할을 수행한다. 도 6에서 알 수 있듯이, 도 5에서 점들로 구성된 부분들이 클로징을 통하여 면으로 바뀌어 있음을 알 수 있다. 본 예에서는 엘리먼트의 지름을 15픽셀로 정의하여 처리하였다.

또한, 상기 단계 203에서 'Closed Image'를 구한 후에는, 이전 오브젝트 영역을 사용하여 재구성한다(단계 204). 이전 오브젝트 영역(Previous Model)은 도 4에 나타낸 바와 같으며, 이러한 이전 오브젝트 영역(Previous Model)과 'Closed Image'를 사용하여 재구성된 'Refined Image'는 도 8에 나타내었다. 'Refined Image'는 이전 영역의 외곽 영역과 'Closed Image'에 나타난 외곽 영역을 비교하여 'Closed Image' 영역이 더 안으로 들어가 있으면 이전 영역을 들어간 만큼 축소시키고, 더 나와 있으면 나온 만큼 더 확장시킴으로써 이루어진다.

여기서, 상기 단계 204에서 'Refined Image'를 획득하는 과정을 부연하여 설명해 보기로 한다. 먼저, 화상통신에서 오브젝트 영역의 외곽에 대해 이와 같은 오퍼레이션을 행하기 위하여 4 방향 가장자리부터 안쪽으로(예컨데, 왼쪽에서 오른쪽으로, 오른쪽에서 왼쪽으로, 윗쪽에서 아래쪽으로, 아래쪽에서 윗쪽으로) 스캔 (scan)하여 'Previous Model'과 'Closed Image' 중에서 어떤 것이 먼저 세팅된 픽셀(오브젝트 영역의 경계)을 만나는지를 검출하게 된다.

이때, 스캔하는 방향 쪽을 고려하였을 때, 먼저 'Previous Model'에서 오브젝트 영역이 없다가 만나는 위치('off' 픽셀이 'on' 픽셀로 전환)에서는, 'Previous Model'이 'Closed Image'보다 스캔 방향으로 먼저 세팅된 픽셀을 가지고 있는 경우에 한해서 'Closed Image'에서의 세팅된 픽셀을 만날 때까지 'Previous Model'의 세팅된 픽셀을 오프(off = unsetting)시킨다.

만일, 'Previous Model'에서 오브젝트 영역이 있다가 없어지는 위치('on' 픽셀이 'off' 픽셀로 전환)라면, 'Previous Model'이 'Closed Image'보다 스캔 방향으로 먼저 'off'된 픽셀을 가지고 있는 경우에 한해서, 'Closed Image'에서의 'off'된 픽셀을 만날 때까지 'Previous Model'의 'off'된 픽셀을 'on'으로 세팅시킨다.

즉, 전자의 경우는 영역의 수축이 되고, 후자의 경우는 영역의 팽창이 되는데, 이러한 영역의 축소 및 확장에 대한 개념적인 설명을 도 9에 나타내었다. 도 9는 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 있어서, 'Previous Model'과 'Closed Image'간의 영역 수축과 영역 팽창을 개념적으로 나타낸 도면이다. 도 9에서는 좌, 우측에 대한 오브젝트 영역의 수축 및 팽창에 대하여 나타내었으나, 이는 상, 하측에 대한 오브젝트 영역의 수축 및 팽창에 대하여도 동일하게 적용된다. 또한, 줌인(zoom-in) 또는 줌아웃(zoom-out)이 발생되는 경우에는 모든 방향에 대하여 팽창 또는 수축이 발생될 수도 있다.

한편, 이와 같은 과정을 통하여 얻어진 'Refined Image'는 오프닝(Opening)(도 10 참조)에 의해 경계 영역 세밀화(refining) 과정에서 발생되는 잔가지를 제거하여, 도 11에 나타낸 바와 같이, 'Simplified Image'를 획득한다(단계 205).

그리고, 'Simplified Image'는 다시 클로징에 의해 경계 영역 세밀화 (refining) 과정에서 발생되는 잔 홀들을 제거하여, 도 12에 나타낸 바와 같이, 'Reshaped Image'를 획득한다(단계 206). 이와 같이 얻어진 'Reshaped Image'는 현재에서의 오브젝트 영역이 된다.

한편, 일반적으로 오브젝트 영역을 추출하는 알고리즘은 이전 영역 정보를 사용하여 현재의 영역을 추적하는 방법을 사용하게 된다. 이 경우 추적과정에서 조금씩 발생될 수 있는 오류가 시간이 증가하면서 누적되는데, 초당 약 15 프레임이 디스플레이되는 실제 영상에서 오류 증가 속도는 매우 빠르다. 따라서 주기적, 또는 특정 조건을 만족할 때마다 정확한 오브젝트 영역을 새로 추출하는 것이 필요하다.

그런데, 주기적으로 재추출을 할 경우 오류 증가가 빠른 경우에는 주기가 더 짧아야 하는데 오류 증가에 대한 정보를 얻을 수 없으므로 이러한 문제점을 해결할수 없다. 또한, 재추출 알고리즘은 초기 영역 추출 알고리즘과 비슷하여 추적 알고리즘보다 많은 시간을 요구하게 된다.

본 발명에서는 움직임이 적을 때에는 그만큼 오류 증가가 적고, 움직임이 클 때에는 오류 증가가 빨라지므로, 움직임이 클 때에 재추출을 행하도록 한다. 본 발명에서는 움직임이 크면 오류 증가가 큰 대신에 영역에 대한 정보가 많아지므로, 이 정보를 사용하여 간단하게 재추출을 행한다.

상기에서 도 2를 참조하여 기술한 영상내의 오브젝트 영역 추출방법에서는 두 프레임 간의 차이를 이용하는데, 두 프레임 간의 차이가 클 경우 영역에 대한 정보는 비교적 정확해 지므로, 앞서 기술한 추적 알고리즘을 사용하면 자연스럽게 움직임이 클수록 이전 영역 정보보다는 현재의 움직임 정보만을 사용하여 재추출하는 효과가 발생된다. 이는 도 6에 예시된 바와 같이 움직임이 클 때, 대부분의 영역 경계가 CDI에 뚜렷하게 나타나기 때문이다. 반면 움직임이 적을 때에는 영역 경계가 잘 나타나지 않으므로 이전 모델에서의 경계를 그대로 사용하게 된다. 이러한 방법을 이용하는 경우에는, 추적 알고리즘과 재추출 알고리즘이 동일하므로 처리에 있어 시간적인 문제도 발생되지 않는 장점이 있다.

이상의 설명에서와 같이 본 발명에 따른 영상내의 오브젝트 영역 추출방법에 의하면, 화상통신 등 동영상에서 오브젝트 기반 코딩에 효과적으로 응용될 수 있으며, 실시간 처리가 가능하고, 픽셀 단위의 영역 분리를 행하므로써, 배경 전환과 같이 정교한 분리 기술이 필요한 응용에 적용될 수 있다.

또한, 본 발명은 초기 영역을 추출하는 알고리즘과, 이전 영역에서 현재 영역으로 영역을 추적하는 오브젝트 영역 추적 알고리즘을 독립적으로 제시함으로써, 효과적으로 각 알고리즘을 적용할 수 있는 장점이 있다.

또한, 영상내 오브젝트의 움직임이 많을 경우, 자동으로 오브젝트의 움직임 정보를 많이 사용하여 보다 정확한 영역으로 재추출하는 효과를 얻으므로, 상황에 따라 최적화된 방법에 의해 오브젝트 영역을 추출할 수 있는 장점이 있다.

Claims

이전 프레임과 현재 프레임 간의 영상 변화량를 참조하여 영상내의 오브젝트 영역을 추출함에 있어서,

영상내 오브젝트의 픽셀 변화량이 설정된 임계값 보다 작은 경우에는 이전 프레임에서의 오브젝트 경계 영역 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출하고,

영상내 오브젝트의 픽셀 변화량이 설정된 임계값 보다 큰 경우에는 현재 프레임과 이전 프레임간의 차이를 이용한 움직임 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 1항에 있어서,

상기 영상내 오브젝트의 움직임 정보를 참조하여 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임과 현재 프레임 간의 차이를 구한 영상(차영상)과, 이전 프레임에서의 오브젝트 영역을 비교하고, 그 비교 결과 외곽선의 위치에 변화가 발생된 경우에는, 이전 오브젝트 영역의 경계를 현재 차이를 구한 영상에서 나타난 외곽선의 위치로 수축 또는 팽창시켜 현재 프레임의 오브젝트 영역을 추출하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 2항에 있어서,

상기 이전 오브젝트 영역을 팽창 또는 수축시켜 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 없다가 만나는 위치('off' 픽셀이 'on' 픽셀로 전환)에서는, 이전프레임(Previous Model)이 차영상(Closed Image)보다 스캔 방향으로 먼저 세팅된 픽셀을 가지고 있는 경우에 한해서 차영상(Closed Image)에서의 세팅된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'on'으로 세팅된 픽셀을 'off' 시켜 오브젝트 영역을 수축시킴으로써, 현재 프레임의 오브젝트 영역을 추출하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 2항에 있어서,

상기 이전 오브젝트 영역을 팽창 또는 수축시켜 현재 프레임의 오브젝트 영역을 추출함에 있어, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 있다가 없어지는 위치('on' 픽셀이 'off' 픽셀로 전환)라면, 이전 프레임(Previous Model)이 차영상(Closed Image) 보다 스캔 방향으로 먼저 'off'된 픽셀을 가지고 있는 경우에 한해서, 차영상(Closed Image)에서의 'off'된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'off'된 픽셀을 'on'으로 세팅시켜 오브젝트 영역을 팽창시킴으로써, 현재 프레임의 오브젝트 영역을 추출하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 2항에 있어서,

상기 이전 오브젝트 영역의 외곽을 현재 차이를 구한 영상(차영상)에서 나타난 외곽으로 축소 또는 확장시키는 단계에 있어, 잡음에 의해 잘못된 처리가 발생되는 것을 방지하기 위하여, 팽창/수축을 수행하는 단계 이전에, 두 프레임의 차이를 구한 영상(차영상)을 클로징 모폴로지(closing morphology)를 사용하여 단순화시키는 단계를 더 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 2항에 있어서,

상기 이전 오브젝트 영역의 외곽을 현재 차이를 구한 영상(차영상)에서 나타난 외곽으로 수축 또는 팽창시키는 단계에 있어, 추출된 오브젝트 영역의 경계를 단순화하기 위하여 수축/팽창시킨 결과를 오프닝 모폴로지(opening morphology)를 사용하여 단순화하는 단계를 더 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 6항에 있어서,

상기 오프닝 모폴로지에 의해 단순화된 오브젝트 영역에 대하여, 상기 오브젝트 영역의 경계에서 아직 다듬어 지지 못한 부분을 더 단순화하기 위하여, 클로징 모폴로지를 사용하여 단순화하는 단계를 더 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 1항에 있어서,

상기 영상내 오브젝트의 움직임 정보를 참조하여 오브젝트 영역을 추출함에 있어, 이전 프레임과 현재 프레임 간의 차이를 구한 영상(차영상)과, 이전 프레임에서의 오브젝트 영역을 비교하여, 외곽선의 위치가 달라지지 않았을 경우에는 이전 오브젝트 영역의 외곽을 현재 오브젝트 영역의 경계로 사용하고, 위치가 달라졌을 경우에는 차영상에 나타난 오브젝트 영역의 외곽을 사용하여 오브젝트 영역을 추출하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
동영상에서 오브젝트 영역을 추출하고 추적하기 위하여,

시간적으로 다른 두 프레임 간의 차이를 구한 차영상을 구하는 단계; 및

차영상과 이전 프레임에서의 오브젝트 영역을 비교하여, 이전 프레임에서의 오브젝트 영역을 팽창 또는 수축시키는 단계; 를 포함하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 9항에 있어서,

상기 이전 프레임에서의 오브젝트 영역을 팽창 또는 수축하는 단계는, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 없다가 만나는 위치('off' 픽셀이 'on' 픽셀로 전환)에서는, 이전 프레임(Previous Model)이 차영상(Closed Image)보다 스캔 방향으로 먼저 세팅된 픽셀을 가지고 있는 경우에 한해서 차영상(Closed Image)에서의 세팅된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'on'으로 세팅된 픽셀을 'off' 시켜 오브젝트 영역을 수축시키는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 9항에 있어서,

상기 이전 프레임에서 오브젝트 영역을 팽창 또는 수축하는 단계는, 이전 프레임(Previous Model)과 차영상(Closed Image)의 4 방향 가장자리부터 안쪽으로 스캔하면서, 이전 프레임(Previous Model)에서 오브젝트 영역이 있다가 없어지는 위치('on' 픽셀이 'off' 픽셀로 전환)라면, 이전 프레임(Previous Model)이 차영상(Closed Image) 보다 스캔 방향으로 먼저 'off'된 픽셀을 가지고 있는 경우에 한해서, 차영상(Closed Image)에서의 'off'된 픽셀을 만날 때까지 이전 프레임(Previous Model)의 'off'된 픽셀을 'on'으로 세팅시켜 오브젝트 영역을 팽창시키는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 9항에 있어서,

상기 차영상의 잡음으로 인한 오류를 방지하기 위하여, 두 프레임 간의 차영상을 클로징 모폴로지(closing morphology)를 사용하여 단순화시키는 단계를 더 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 9항에 있어서,

상기 이전 프레임에서 오브젝트 영역을 팽창 또는 수축한 단계 이후에, 새로 획득된 오브젝트 영역을 단순화시키기 위해, 오프닝 모폴로지를 사용하여 수축/팽창된 오브젝트 영역의 영상을 단순화시키는 단계를 더 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.
제 13항에 있어서,

상기 오프닝 모폴로지를 사용하여 수축/팽창된 오브젝트 영역의 영상을 단순화시킨 단계 이후에, 클로징 모폴로지를 사용하여 오브젝트 영역을 영상을 단순화시키는 단계를 더 구비하는 것을 특징으로 하는 영상내의 오브젝트 영역 추출방법.