KR100436593B1 - 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경보상 장치 및 방법 - Google Patents

Abstract

본 발명은 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경 보상 장치 및 방법에 관한 것으로서, 보다 상세하게는 카메라의 움직임에 따라 발생하는 전역 움직임과 물체의 움직임이 동시에 존재하는 상태에서 물체의 고속 움직임 검출을 위하여 제한된 탐색 영역에서 적은 계산량으로 배경의 움직임을 효과적으로 예측하여 물체의 움직임을 빠르게 찾아내는 배경 보상 장치 및 방법에 관한 것이다.

Description

능동 카메라 환경에서의 고속 움직임 검출을 위한 배경 보상 장치 및 방법{Global motion compensation apparatus and method for detecting a motion of an object}

본 발명은 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경 보상 장치 및 방법에 관한 것으로서, 보다 상세하게는 카메라의 움직임에 따라 발생하는 전역 움직임(global motion)과 물체의 움직임(local motion)이 동시에 존재하는 상태에서 물체의 고속 움직임 검출을 위하여 제한된 탐색 영역에서 적은 계산량으로 배경의 움직임을 효과적으로 예측하여 물체의 움직임을 빠르게 찾아내는 배경 보상 장치 및 방법에 관한 것이다.

인터넷 이용의 보편화와 함께 관련된 분야의 기술이 급속도로 발달해 왔고, 그 속에서 이미 여러가지 형태의 고속 광대역 전송 기술이 인터넷 이용자들로 하여금 음성 및 영상을 포함하는 멀티미디어 형태의 대용량 데이터를 스트리밍 서비스를 통해 제공받는 것을 가능하게 하고 있는 가운데, 상기 스트리밍 서비스의 응용 분야는 인터넷 방송에서부터 웹 카메라를 통한 동영상 서비스까지 매우 다양하다.

상기 웹 카메라는 일반적으로 미리 지정한 위치에 설치되어 고정된 영역내의 영상을 제공하는데 그쳐 능동적으로 관심 대상을 관찰하는데 있어서 문제점으로 작용한다. 따라서, 보다 넓은 영역의 영상을 얻기 위해서는 다수개의 카메라를 설치해 놓고 관찰자가 선택적으로 주시하는 방법을 이용하는데, 이는 다수개의 카메라를 설치하는데 수반되는 고비용 문제가 발생한다는 단점이 있었다. 또한, 상기 웹카메라가 보안 및 감시 시스템에 적용되고 있는 경우 침입자가 설치된 카메라의 위치를 파악하게 되면 카메라가 무용지물이 된다는 문제점이 있었다.

따라서, 카메라가 능동적(active)으로 움직이면서 움직이는 물체를 추적하는 개선된 시스템이 여러가지 형태로 제공되고 있는 바, 이하 이러한 능동 카메라 환경에서의 물체의 움직임을 검출하는 종래 기술을 설명한다.

종래 기술에 의한 움직임 검출 기법에는 차(difference)영상을 이용하는 방법과 움직임 벡터를 이용하는 방법이 있다.

상기 차영상을 이용하는 방법은 획득한 현재 영상과 이전 영상의 밝기 차이를 구하여 차영상을 얻고, 차영상의 각 픽셀의 밝기 값을 소정의 임계값과 비교하여 임계값보다 클 때 현재 영상에 움직임이 있는 물체가 나타난 것으로 인식하는 방법이다. 이 방법은 구현이 간단하고, 움직임을 검출하는데 소요되는 시간이 적게 걸린다는 장점이 있는 반면, 배경의 밝기 값이 시간에 따라 일정값 이상 변화하는 경우에 배경의 밝기 값의 차이에 의해 생성된 차영상이 움직임 검출에 의한 차영상으로 오인되어 움직임 검출에 오류가 발생할 수 있다는 문제점이 있다.

상기 움직임 벡터를 이용한 방법은 획득한 현재 영상과 이전 영상으로부터 움직임 추정을 수행하여 얻은 움직임 벡터들을 이용하여 움직임을 검출하는 방법이다. 이 방법에 의하면 배경의 밝기 값이 비슷한 경우에 움직임 추정을 위한 척도 중 하나인 SAD(Sum of Absolute Difference)가 비슷하여 결과적으로 움직임 벡터가 임의의 방향성을 갖기 때문에 이를 실제 움직임과 구분할 수 있는 방법이 필요하다. 예컨대, 제로 모션(zero motion)을 선호하는 쪽으로 SAD에 웨이트(weight)를두어 움직임 추정을 수행하는 것도 한 방법이 될 수 있다.

이와 관련하여, 엠펙(MPEG) 계열이나 H.263 등의 표준 압축 방식으로 압축된 비트 스트림이 존재하는 경우에 이들 정보는 이미 계산된 값으로 이루어진 정보로서, 움직임 추정 등을 위해 별도로 계산하지 않아도 되므로 움직임 검출에 이용하기 좋다. 상기한 기법을 포함하는 대부분의 압축 기법들에서는 움직임 벡터를 추정하고 보상하는 과정을 거쳐 비트 스트림에 저장하여 두므로 이를 이용하면 해당 영상 내부의 물체의 움직임을 용이하게 검출할 수 있다.

한편, 움직이는 카메라로부터 획득한 영상에는 배경의 전역 움직임과 물체의 움직임이 동시에 존재하게 되므로 영상마다 전역 움직임을 계산하여 물체의 움직임을 검출하는 것이 일반적인데 상기한 과정을 수행하는데 이용되는 종래 기술에는 블록 정합 기법(Block Matching Algorithm), 프레임 정합 기법(Frame Matching Algorithm) 및 라인 정합 기법(Line Matching Algorithm)이 있다.

상기 블록 정합 기법은 획득한 현재 영상과 이전 영상을 일정한 크기의 작은 블록으로 나누어 각각의 블록에 대하여 움직임을 예측하여 움직임 벡터를 얻고, 각 움직임 벡터의 빈도 수를 이용하여 작성된 히스토그램을 바탕으로 배경의 움직임과 물체의 움직임을 결정하는 방법으로서, 계산량이 적다는 장점이 있고, 이로써 실시간으로 영상을 구현해야 하는 경우에 필수적으로 이용된다.

상기 프레임 정합 기법은 전역 움직임이 하나의 움직임 벡터로 표현될 수 있다는 가정하에서 현재 프레임을 하나의 블록으로 간주하고 이전 영상과 블록 정합하여 전역 움직임 벡터를 얻는다. 그리고, 얻은 움직임 벡터를 이용하여 배경 영역을 보상하여 보상 영상을 얻고 현재 영상으로부터 에지 영상을 얻은 뒤 두 영상 즉, 보상 영상과 에지 영상을 픽셀끼리 AND 연산하여 영상을 얻는다.

그러나 상기에서 사용한 가정은 카메라의 지아메트리(geometry)를 고려하지 않은 것으로서 현재 영상의 배경 영역에 해당하는 에지 부분이 보상 영상에서 잘못 검출될 수 있다는 문제점이 있다. 따라서 이와 같은 노이즈 성분을 최소화 하기 위하여 수리형태학적 열기(morphological opening) 연산을 수행한 후 상기 AND 연산하여 얻은 영상에 대해서 수평 및 수직 방향으로 '0'이 아닌 화소를 투영(projection)하고 각각 투영된 횟수를 조사하여 움직이는 물체의 위치와 면적을 계산하고 추적하는 것이다.

또한, 상기 프레임 정합 기법은 배경 영역보다 물체가 차지하는 영역이 더 큰 경우 올바른 전역 움직임 벡터를 구할 수 없다는 단점이 있다.

상기 라인 정합 기법은 상기 프레임 정합 기법과 마찬가지로 전역 움직임이 하나의 전역 움직임 벡터로 표현될 수 있다는 가정하에서 출발하는데, 우선, 획득한 이전 영상과 현재 영상 각각으로부터 에지 영상을 얻고, 두 에지 영상을 라인 정합하여 전역 움직임을 구한다. 만일 카메라가 수평방향으로만 이동한다고 가정하면 영상을 이루는 각 수평 라인들의 라인 정합만으로 각 라인에 해당하는 움직임 벡터를 계산할 수 있다. 이 때, 각 수평라인에 대한 움직임 벡터를 계산한 뒤 가장 빈도 수가 많은 움직임 벡터를 전역 움직임 벡터로 결정한다. 따라서, 전역 움직임 추정시에 내부의 움직이는 물체에 의해 생길 수 있는 오류를 최소화 할 수 있다는 장점이 있다. 또한, 카메라가 수직방향으로만 이동한다고 가정해도 각 수직라인에대하여 라인 정합하여 동일한 방법으로 전역 움직임 벡터를 구할 수 있다. 그러나, 이 방법 역시 전역 움직임이 하나의 전역 움직임 벡터로 표현될 수 있다는 가정을 하고 있으므로 계산량이 많은 수리형태학적 열기 연산이 요구된다. 따라서 경우에 따라 블록 정합보다 연산량이 많아질 수 있다.

이하, 도면을 참조하여 상술한 종래 기술을 채용하여 물체의 움직임을 검출하는 장치 구성의 일예를 상세히 설명한다.

도 1은 종래의 배경 보상 기법을 사용한 움직임 추적을 위한 장치의 구성도로서, 도 1에 도시한 바와 같이 영상 획득부(100), 프레임/선 영상 정합부(110), 배경 보상부(120), 후처리부(130) 및 이동 물체 변수 추출부(140)를 구비한다.

상기 영상 획득부(100)는 현재 영상 및 이전 영상을 획득하는 수단이고, 프레임/선 영상 정합부(110)는 프레임 정합(frame matching) 또는 선정합(line matching)을 이용하여 배경의 움직임 벡터를 예측하는 수단이고, 상기 배경 보상부(120)는 배경의 움직임을 보상하여 현재 영상과의 차를 구하는 수단이고, 상기 후처리부(130)는 차영상(frame difference)으로부터 노이즈(noise) 성분을 제거하기 위해 수리형태학적 열기(morphological opening) 연산을 하는 수단이고, 상기 이동 물체 변수 추출부(140)는 이동 물체의 중심 영역과 면적 등을 계산하여 이동 물체의 변수를 얻는 수단이다.

상기한 수단들은 아래와 같이 동작한다. 즉, 상기 영상 획득부(100)가 연속한 두 영상을 얻은 후 상기 프레임/선 영상 정합부(110)가 프레임 또는 선별로 일정한 크기의 탐색 영역을 대상으로 SAD(Sum of Absolute Difference)를 구하여 이값이 가장 작은 변위 즉, 움직임 벡터를 찾아냄으로써 배경의 움직임을 예측한다. 이어서,상기 배경 보상부(120)가 이 움직임 벡터를 이용하여 이전 영상의 프레임 또는 선을 보상하여 현재 영상과의 차영상을 구하고, 이 과정에서 차영상을 이루는 픽셀 값의 크기가 임계값(threshold value) 이상이면 이동 물체 위의 픽셀이라고 간주된다. 이 때 상기 후처리부(130)가 배경의 움직임을 하나의 움직임 벡터로 근사하는 과정에서 발생하는 차영상 내의 노이즈를 제거하기 위하여 수리형태학적 열기 연산을 수행한다. 마지막으로, 상기 이동 물체 변수 추출부(140)가 이동 물체 위의 픽셀로 간주된 부분을 클러스터링(clustering)하여 물체의 중심의 좌표와 면적을 구한다.

상기한 바와 같은 종래 기술은 배경의 움직임을 예측하기 위하여 프레임별 또는 선별로 일정한 탐색 영역을 대상으로 SAD(Sum of Absolute Difference)를 구하여 이 값이 가장 작은 변위를 찾아내는 방식을 취하므로 움직이는 물체의 면적이 비교적 큰 경우에는 배경 움직임 예측에 오류가 있을 확률이 높다는 단점이 있다.

또한, 배경의 움직임을 하나의 움직임 벡터로 근사하는 과정에서 발생하는 차영상내의 노이즈를 제거하기 위하여 필수적으로 요구되는 수리형태학적 열기 연산은 픽셀별로 반복적으로 수행되기 때문에 많은 계산량이 필요하여 고속의 움직임 검출을 어렵게 한다.

이로써 고속의 움직임 검출을 위하여 아주 제한된 탐색 영역에서 배경의 움직임을 효과적으로 예측하여 물체의 움직임 영역만을 빠르게 찾아내는 배경 보상 장치 및 방법에 대한 요구가 있었다.

본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서, 능동 카메라 환경에서의 물체의 움직임을 추적함에 있어서, 적은 계산량으로 배경의 움직임을 정교하게 찾아 차영상의 잡음을 제거함으로써 많은 계산량을 요구하는 수리형태학적 열기(morphological opening) 연산을 피하고, 이동 물체가 위치하는 것으로 예측되는 영역을 가려냄으로써 배경의 움직임을 잘못 예측하는 확률을 낮추는 동시에, 배경의 움직임을 찾기 위해 필요한 탐색 영역을 줄일 수 있는 고속의 배경 보상 장치 및 방법을 제공하는 것을 목적으로 한다.

도 1은 종래 기술에 의한 물체의 움직임 검출을 위한 배경 보상 장치의 블록도,

도 2는 본 발명에 의한 장치의 구성을 나타내는 블록도,

도 3은 본 발명에 의한 전역 움직임 추정부의 구성을 나타내는 블록도,

도 4는 본 발명에 의한 방법의 구성을 나타내는 블록도,

도 5는 본 발명에 의한 전역 움직임 벡터를 예측하는 방법의 구성을 나타내는 블록도,

도 6은 본 발명에 의한 블록을 선택하는 방법의 구성을 나타내는 블록도이다.

<도면의 주요부분의 부호에 대한 간단한 설명>

200...영상 획득부, 210...전처리부,

220...전역 움직임 추정부, 221...블록 선택부,

222...전역 탐색 움직임 추정부, 223...예측된 움직임 벡터 선택부,

230...블록 기반 움직임 보상부, 240...움직임 검출부,

250...이동 물체 변수 추출부.

상기한 목적을 달성하기 위하여 본 발명은 능동 카메라 환경에서의 물체의 고속 움직임 검출 장치에 있어서, 영상을 획득하는 영상 획득부와, 저역 통과 필터를 포함하며, 상기 영상 획득부가 획득한 현재 영상을 저역 통과 필터를 통해 필터링시킴으로써 공간적 고주파 성분을 제거하는 전처리부와, 상기 영상 획득부로부터 현재 영상 및 이전 영상을 입력받아 배경의 움직임 벡터를 예측하는 전역 움직임 추정부와, 상기 전처리부를 통해 공간적 고주파 성분이 제거된 현재 영상 및 이전 영상을 입력받아, 상기 전역 움직임 추정부로부터 구해진 예측된 움직임 벡터를 이용하여 블록 기반의 움직임 보상을 수행하여 보상 영상을 구한 후, 상기 보상 영상과 공간적 고주파 성분이 제거된 현재 영상과의 차영상인 움직임 보상 에러 영상을 얻는 블록 기반 움직임 보상부와, 상기 블록 기반 움직임 보상부로부터 얻은 움직임 보상 에러 영상의 각 블록의 움직임 보상 에러값의 합과 소정의 임계값을 비교하여 움직임 보상 에러값의 합이 임계값을 초과하는 블록을 물체가 존재하는 영역으로 판단하는 움직임 검출부 및 상기 움직임 검출부로부터 검출된 블록을 대상으로 이동 물체의 중심과 면적 등을 계산하여 물체의 변수를 얻는 이동 물체 변수 추출부를 구비하는 것을 특징으로 한다.

또한, 상기 장치에 있어서, 상기 전역 움직임 추정부는, 일정한 크기의 작은 블록으로 나누어진 현재 영상으로부터 움직임 추정을 위해 필요한 블록을 선택하는 수단인 블록 선택부와, 선택된 블록을 대상으로 움직임 추정을 수행한 뒤 움직임 벡터를 계산하는 전역 탐색 움직임 추정부 및 선택되지 않은 나머지 블록의 움직임 벡터 추정시에 사용되는 예측된 움직임 벡터(PMV)를 상기 추정된 움직임 벡터들로부터 결정하는 예측된 움직임 벡터 선택부를 구비하는 것을 다른 특징으로 한다.

한편, 능동 카메라 환경에서 물체의 고속 움직임 검출 방법에 있어서, 현재 영상 및 이전 영상을 획득하고, 저역 통과 필터를 통해 공간적 고주파 성분을 제거하는 제1단계와, 획득한 현재 영상 및 이전 영상으로부터 전역 움직임 벡터를 예측하는 제2단계와, 상기 공간적 고주파 성분이 제거된 현재 영상 및 이전 영상과 예측된 움직임 벡터를 이용하여 블록 기반의 움직임 추정 및 움직임 보상을 수행하여 보상 영상을 생성한 후, 상기 보상 영상과 공간적 고주파 성분이 제거된 현재 영상과의 차영상인 움직임 보상 에러 영상을 얻는 제3단계와, 상기 움직임 보상 에러 영상의 각 블록의 움직임 보상 에러값의 합과 임계값을 비교하여 움직임 보상 에러값의 합이 임계값을 초과하는 블록을 물체가 존재하는 영역으로 판단하여 이동 물체의 움직임을 검출하는 제4단계 및 검출된 블록을 대상으로 이동 물체의 중심과면적 등을 계산하여 물체의 변수를 얻는 제5단계를 구비하는 것을 다른 특징으로 한다.

또한, 상기 방법에 있어서, 상기 제2단계는, 현재 영상을 일정한 크기의 작은 블록으로 나누어 그 블록들로부터 움직임 추정을 하는데 필요한 블록을 선택하는 제21단계와, 선택된 블록과 이전 영상으로부터 전역 탐색하여 움직임을 추정하여 움직임 벡터를 계산하는 제22단계 및 추정된 움직임 벡터로부터 선택되지 않은 나머지 모든 블록의 해당 움직임 벡터 추정시에 사용될 예측된 움직임 벡터(PMV)를 정하는 제22단계로 이루어지는 것을 다른 특징으로 한다.

또한, 상기 방법에 있어서, 상기 제21단계는, 일정한 크기의 작은 블록으로 나누어진 현재 영상으로부터 첫번째 블록을 얻는 제211단계와, 얻은 블록의 영상을 고역 통과 필터(HPF: High Pass Filtering)를 통해 필터링시켜 그 결과 에지(Edge) 성분이 충분히 포함되어 있는지 파악하여 에지 여부를 판단하고, 판단 결과 에지가 아닌 경우에는 제215단계를 수행하는 제212단계와, 판단 결과 에지인 경우, 움직임 보상 에러값의 합과 임계치를 비교하고, 비교한 결과 움직임 보상 에러값의 합이 큰 경우에는 제215단계를 수행하는 제213단계와, 비교한 결과 움직임 보상 에러값의 합이 작은 경우, 현재 블록의 위치를 버퍼에 기억시키는 제214단계와, 버퍼에 빈 공간이 존재하는지 판단하고, 판단 결과 빈 공간이 존재하지 않는 경우에는 종료하는 제215단계와, 판단 결과 빈 공간이 존재하는 경우, 잔여 블록이 존재하는지 판단하고, 잔여 블록이 존재하지 않는 경우에는 종료하는 제216단계 및 판단 결과 잔여 블록이 존재하는 경우, 다음 블록을 얻고, 잔여블록이 존재하지 않는 경우에는 종료하는 제217단계로 이루어지는 것을 또 다른 특징으로 한다.

이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명한다.

도 2는 본 발명에 의한 장치 구성의 전체적인 블록도이며, 도 2에 도시한 바와 같이, 본 발명이 구현되는 장치는 영상 획득부(200), 전처리부(210), 전역 움직임 추정부(220), 블록 기반 움직임 보상부(230), 움직임 검출부(240) 및 이동 물체 변수 추출부(250)로 이루어져 있다.

상기 영상 획득부(200)는 영상을 획득하는 수단이고, 상기 전처리부(210)는 저역 통과 필터(Low Pass Filter, LPF)를 포함하며, 상기 영상 획득부(200)로부터 현재 영상을 입력받아 이동 물체가 존재하는 영역의 검출 기준이 되는 배경의 움직임 보상(Motion Compensation, MC) 에러를 최소화하기 위하여 획득한 현재 영상을 저역 통과 필터를 통하여 영상의 공간적 고주파 성분 즉, 체크무늬처럼 세밀하고 변화가 많은 성분이 제거된 영상으로 만드는 수단이다. 상기 움직임 보상 에러에 대해서는 관련된 부분에서 후술한다.

상기 전역 움직임(global motion, 이하 배경과 혼용한다) 추정부(220)는 상기 영상획득부(200)를 거쳐 입력되는 서로 연속하는 이전 영상 및 현재 영상인 두 개의 영상으로부터 전역 움직임 벡터(Motion Vector, MV)를 예측하는 수단으로서, 도 3에 그 내부 구성을 도시하였다.

도 3은 상기 전역 움직임 추정부(220)의 내부 구성을 나타낸 블록도로서, 도시한 바와 같이, 전역 움직임 추정부(220)는 블록 선택부(221), 전역 탐색(FS: Full Search) 움직임 추정부(222) 및 예측된 움직임 벡터(Predicted MotionVector, PMV) 선택부(223)로 이루어진다.

상기 블록 선택부(221)는 영상 획득부(200)로부터 현재 영상을 입력받아 일정한 크기로 분할한 몇 개의 블록 중에서 배경의 움직임 추정(Motion Estimation, ME)을 하는데 필요한 블록을 선택하는 수단이고, 상기 전역 탐색 움직임 추정부(222)는 선택된 블록을 대상으로 전역 탐색과 같은 정교한 움직임 추정을 수행한 뒤 움직임 벡터를 계산하는 수단이고, 상기 예측된 움직임 벡터 선택부(223)는 선택되지 않은 나머지 모든 블록의 해당 움직임 벡터 즉, 예측된 움직임 벡터(PMV)를 추정된 움직임 벡터로부터 정하는 수단이다.

다시 도2로 돌아가서, 상기 블록 기반 움직임 보상부(230)는 상기 전처리부(210)로부터 공간적 고주파 성분이 제거된 현재 영상 및 이전 영상을 입력받아 전역 움직임 추정부(220)에서 예측된 움직임 벡터를 이용하여 블록 기반의 움직임 추정 및 움직임 보상을 거쳐 공간적 고주파 성분이 제거된 현재 영상과 움직임 보상된 영상과의 차영상(difference image)인 움직임 보상 에러 영상을 얻는다. 상기 움직임 보상 중에 매우 작은 탐색 영역을 대상으로 하는 국부 탐색(local search)을 수행하므로 사실상 각 블록별로 독립적인 움직임 예측이 가능하기 때문에 하나의 배경 움직임 벡터로 전체 배경을 보상했을 때 발생하는 오차를 없애기 위해 수행하는 수리형태학적 열기(morphological opening) 연산이 불필요하게 된다.

상기 움직임 검출부(240)는 상기 움직임 보상 에러 영상의 각 블록의 움직임 보상 에러값의 합과 소정의 임계값(threshold value)을 비교하여 움직임 보상 에러값의 합이 임계값을 초과하는 블록을 물체가 존재하는 영역으로 판단하는 수단이다.

상기 이동 물체 변수 추출부(250)는 이동 물체의 중심과 면적 등을 계산하여 이동 물체의 변수를 얻는 수단이다.

도 4는 본 발명에 의한 방법의 일실시예를 나타낸 흐름도로서, 이하에서는 도 4의 흐름도를 참조하여 본 발명에 의한 방법의 실시예들을 상세하게 설명한다.

우선, 영상 획득부(200)가 이전 영상 및 현재 영상을 획득한다(S300).

이어서, 전처리부(210)가 이동 물체가 존재하는 영역의 검출 기준이 되는 배경의 움직임 보상 에러를 최소화하기 위하여 획득한 이전영상 및 현재 영상을 저역 통과 필터를 통해 필터링하여 공간적 고주파 성분을 제거한다(S310).

계속해서, 전역 움직임 추정부(220)가 획득한 이전 영상 및 현재 영상으로부터 전역 즉, 배경 움직임 벡터를 예측한다(S320). 상기 전역 움직임 벡터를 예측하는 방법의 일실시예를 도 5에 나타내었다.

도 5는 배경 움직임 벡터를 예측하는 방법의 일 실시예를 나타내는 흐름도로서, 우선, 블록 선택부(221)가 현재 영상을 일정한 크기의 작은 블록으로 나누어 그 블록들 중에서 움직임 추정을 하는데 사용할 블록을 선택한다(S321). 상기 블록 선택 방법의 일실시예를 도 6에 나타내었다.

도 6은 움직임 추정을 위한 블록을 선택하는 방법의 일 실시예를 나타내는 흐름도로서, 우선, 블록 선택부(221)가 일정한 크기의 작은 블록으로 나누어진 현재 영상으로부터 첫번째 블록을 얻고(S321-1), 얻은 블록의 영상을 고역 통과필터(High Pass Filtering, HPF)를 통하여 필터링시켜 그 결과 에지(Edge) 성분이 충분히 포함되어 있는지 즉, 에지 여부를 판단하고(S321-2), 판단 결과 에지가 아닌 경우에는 단계(S321-6)를 수행한다. 이 때 에지 여부를 판단하는 이유는 에지인 블록을 선택함으로써 움직임을 추정했을 때 실제 배경의 움직임을 구할 수 있도록 하기 위한 것이다.

판단 결과 에지인 경우, 얻은 블록의 움직임 보상 에러값의 합과 소정의 임계치와 비교한다(S321-3). 비교한 결과 움직임 보상 에러값의 합이 큰 경우에는 단계(S321-6)를 수행한다. 이 때 두 값을 비교하는 이유는 움직임 보상 에러값의 합이 작은 블록을 선택함으로써 이동 물체 위의 블록을 피하고 배경 영역 위의 블록을 선택할 확률을 높이도록 하기 위한 것이다.

비교한 결과 움직임 보상 에러값의 합이 작은 경우, 현재 블록의 위치를 버퍼에 기억하고(S321-4), 버퍼에 빈 공간이 존재하는지 판단한다(S321-5). 빈 공간이 존재하지 않는 경우에는 블록 선택을 위한 작업을 종료한다(S321-8).

판단 결과 버퍼에 빈 공간이 존재하는 경우, 잔여 블록이 존재하는지 판단한다(S321-6). 잔여 블록이 존재하지 않는 경우에는 블록을 선택하는 작업을 종료한다(S321-8).

판단 결과 잔여 블록이 존재하는 경우, 다음 블록을 얻고(S321-7), 잔여 블록이 존재하지 않는 경우에는 블록을 선택하는 작업을 종료한다(S321-8). 이와 같은 방법으로 블록 선택 작업을 수행하여 약 3~4개의 움직임 추정을 위한 블록을 얻게 된다.

도 5로 돌아가서, 단계(S321)에 이어서, 전역 탐색 움직임 추정부(222)가 선택된 블록과 이전 영상으로부터 정교하게 전역 탐색하여 움직임을 추정한 뒤 움직임 벡터를 계산한다(S322). 이 때, 단지 몇 개의 블록에 대해 전역 탐색을 수행하더라도 탐색 영역이 큰 경우에는 계산에 적지 않은 부담을 주므로 움직임 벡터를 신속하게 얻기 위하여 이전과 현재의 전역 움직임 벡터의 상관성을 이용하여 탐색 영역을 줄이도록 하는 것이 바람직하다.

마지막으로, PMV 선택부(223)가 추정된 움직임 벡터로부터 선택되지 않은 나머지 모든 블록의 해당 움직임 벡터 추정시에 사용될 예측된 움직임 벡터를 선택한다(S322). 이 때, 배경의 움직임을 잘 묘사할 수 있는 정확한 예측된 움직임 벡터를 구하는 것이 중요한데, 예측된 움직임 벡터를 결정하기 위해 선택된 몇 개의 블록이 평탄한(homogeneous)밝기 값을 갖는 배경 영역에 위치해 있다면 배경의 움직임과는 거리가 먼 랜덤 모션(random motion)을 예측된 움직임 벡터로 정하게 되어 배경만 존재하는 경우에도 배경 보상 후 움직임 보상 에러 값이 크게 계산된다. 이와 같은 이유로, 상기한 바와 같이 예측된 움직임 벡터를 구하기 위해 블록을 선택할 때에는 에지 성분이 포함되고, 움직임 보상 에러값이 작은 것을 선택하도록 한다.

도 4로 돌아가서, 단계 (S320)에 이어서, 블록 기반 움직임 보상부(230)가 공간적 고주파 성분이 제거된 영상을 예측된 움직임 벡터를 이용하여 블록 기반의 움직임 보상을 한다(S330). 이 과정에서 공간적 고주파 성분이 제거된 현재 영상과 움직임 보상된 영상의 차영상(difference image)인 움직임 보상 에러 영상을 생성한다.

상기 움직임 보상은 모든 블록에 대해 수행되며, 배경의 움직임을 잘 묘사하는 전역 움직임 벡터를 이용하여 매우 작은 탐색 영역을 가지는 국부 탐색(local search)을 함으로써 배경 영역에 대해서는 움직임 보상 에러값을 극소화하고 이동 물체 영역에 대해서는 움직임 보상 에러값을 극대화함으로써 움직임 보상을 하게 된다.

또한, 상기한 바와 같이, 움직임 보상은 모든 블록에 대해 수행되며, 배경의 움직임을 잘 묘사하는 전역 움직임 벡터를 이용하여 매우 작은 탐색 영역을 가지는 국부 탐색(local search)을 함으로써 사실상 각 블록별로 독립적인 움직임 예측이 가능하기 때문에 하나의 배경 움직임 벡터로 전체 배경을 보상했을 때 발생하는 오차를 없애기 위해 필요한 많은 계산량을 요구하는 수리형태학적 열기(morphological opening) 연산을 피할 수 있다.

이어서, 움직임 검출부(240)가 상기 움직임 보상 에러 영상의 각 블록의 움직임 보상 에러값의 합과 임계값을 비교하여 움직임 보상 에러값의 합이 임계값을 초과하는 블록을 물체가 존재하는 영역으로 판단하여 이동 물체의 움직임을 검출한다(S340). 상기 움직임 보상 에러값의 합은 상술한 배경 움직임 추정 및 움직임 보상 과정에서 이미 구해진 값이므로 추가적인 계산이 불필요하다.

마지막으로, 이동 물체 변수 추출부(250)가 물체의 중심과 면적 등을 계산하여 물체의 변수를 획득한다(S350).

상술한 바와 같이 본 발명은 제한된 탐색 영역에서 적은 계산량으로 배경의움직임을 효과적으로 예측하여 물체의 움직임을 빠르게 찾아낼 수 있다.

본 발명에 의하면, 능동 카메라 환경에서의 고속 움직임 검출을 위한 배경 보상 장치 및 방법에 있어서, 배경의 움직임을 잘 묘사하는 전역 움직임 벡터를 고속으로 예측하고 이를 이용하여 매우 작은 탐색 영역을 가지는 국부 탐색을 함으로써 배경 영역에 대해서는 움직임 보상 에러를 극소화하고 이동 물체 영역에 대해서는 움직임 보상 에러를 극대화함으로써 움직임 검출을 위한 탐색 영역을 대폭 축소시킬 수 있다.

또한, 본 발명에 의하면, 각 블록별로 독립적인 움직임 예측이 가능하기 때문에 하나의 배경 움직임 벡터로 전체 배경을 보상했을 때 발생하는 오차를 없애기 위해 수행하고 또한, 많은 계산량을 요구하는 수리형태학적 열기(morphological opening) 연산을 피할 수 있다.

또한, 본 발명에 의하면, 계산량이 적어 비교적 저가의 시스템에서 실시간 동영상 추적 구현이 가능하고 시중의 DSP(Digital signal processor)를 이용하여 독립시스템을 구현할 수 있다.

Claims (5)

1. 능동 카메라 환경에서의 물체의 고속 움직임 검출 장치에 있어서,

   영상을 획득하는 영상 획득부;

   저역 통과 필터를 포함하며, 상기 영상 획득부가 획득한 현재 영상을 저역 통과 필터를 통해 필터링시킴으로써 공간적 고주파 성분을 제거하는 전처리부;

   상기 영상 획득부로부터 현재 영상 및 이전 영상을 입력받아 배경의 움직임 벡터를 예측하는 전역 움직임 추정부;

   상기 전처리부를 통해 공간적 고주파 성분이 제거된 현재 영상 및 이전 영상을 입력받아, 상기 전역 움직임 추정부로부터 구해진 예측된 움직임 벡터를 이용하여 블록 기반의 움직임 보상을 수행하여 보상 영상을 구한 후, 상기 보상 영상과 공간적 고주파 성분이 제거된 현재 영상과의 차영상인 움직임 보상 에러 영상을 얻는 블록 기반 움직임 보상부;

   상기 블록 기반 움직임 보상부로부터 얻은 움직임 보상 에러 영상의 각 블록의 움직임 보상 에러값의 합과 소정의 임계값을 비교하여 움직임 보상 에러값의 합이 임계값을 초과하는 블록을 물체가 존재하는 영역으로 판단하는 움직임 검출부; 및

   상기 움직임 검출부로부터 검출된 블록을 대상으로 이동 물체의 중심과 면적 등을 계산하여 물체의 변수를 얻는 이동 물체 변수 추출부

   를 구비하는 것을 특징으로 하는 능동 카메라 환경에서 물체의 고속 움직임검출을 위한 배경 보상 장치.
2. 제1항에 있어서, 상기 전역 움직임 추정부는,

   일정한 크기의 작은 블록으로 나누어진 현재 영상으로부터 움직임 추정을 위해 필요한 블록을 선택하는 수단인 블록 선택부;

   선택된 블록을 대상으로 움직임 추정을 수행한 뒤 움직임 벡터를 계산하는 전역 탐색 움직임 추정부; 및

   선택되지 않은 나머지 블록의 움직임 벡터 추정시에 사용되는 예측된 움직임 벡터(PMV)를 상기 추정된 움직임 벡터들로부터 결정하는 예측된 움직임 벡터 선택부

   를 구비하는 것을 특징으로 하는 능동 카메라 환경에서 물체의 고속 움직임 검출을 위한 배경 보상 장치.
3. 능동 카메라 환경에서 물체의 고속 움직임 검출 방법에 있어서,

   현재 영상 및 이전 영상을 획득하고, 저역 통과 필터를 통해 공간적 고주파 성분을 제거하는 제1단계;

   획득한 현재 영상 및 이전 영상으로부터 전역 움직임 벡터를 예측하는 제2단계;

   상기 공간적 고주파 성분이 제거된 현재 영상 및 이전 영상과 예측된 움직임 벡터를 이용하여 블록 기반의 움직임 추정 및 움직임 보상을 수행하여 보상 영상을생성한 후, 상기 보상 영상과 공간적 고주파 성분이 제거된 현재 영상과의 차영상인 움직임 보상 에러 영상을 얻는 제3단계;

   상기 움직임 보상 에러 영상의 각 블록의 움직임 보상 에러값의 합과 임계값을 비교하여 움직임 보상 에러값의 합이 임계값을 초과하는 블록을 물체가 존재하는 영역으로 판단하여 이동 물체의 움직임을 검출하는 제4단계; 및

   검출된 블록을 대상으로 이동 물체의 중심과 면적 등을 계산하여 물체의 변수를 얻는 제5단계

   를 구비하는 것을 특징으로 하는 능동 카메라 환경에서 물체의 고속 움직임 검출을 위한 배경 보상 방법.
4. 제3항에 있어서,

   상기 제2단계는,

   현재 영상을 일정한 크기의 작은 블록으로 나누어 그 블록들로부터 움직임 추정을 하는데 필요한 블록을 선택하는 제21단계;

   선택된 블록과 이전 영상으로부터 전역 탐색하여 움직임을 추정하여 움직임 벡터를 계산하는 제22단계; 및

   추정된 움직임 벡터로부터 선택되지 않은 나머지 모든 블록의 해당 움직임 벡터 추정시에 사용될 예측된 움직임 벡터(PMV)를 정하는 제23단계

   로 이루어지는 것을 특징으로 하는 능동 카메라 환경에서 물체의 고속 움직임 검출을 위한 배경 보상 방법.
5. 제4항에 있어서,

   상기 제21단계는,

   일정한 크기의 작은 블록으로 나누어진 현재 영상으로부터 첫번째 블록을 얻는 제211단계;

   얻은 블록의 영상을 고역 통과 필터(HPF)를 통해 필터링시켜 그 결과 에지(Edge) 성분이 충분히 포함되어 있는지 파악하여 에지 여부를 판단하고, 판단 결과 에지가 아닌 경우에는 제215단계를 수행하는 제212단계;

   판단 결과 에지인 경우, 움직임 보상 에러값의 합과 임계치를 비교하고, 비교한 결과 움직임 보상 에러값의 합이 큰 경우에는 제215단계를 수행하는 제213단계;

   비교한 결과 움직임 보상 에러값의 합이 작은 경우, 현재 블록의 위치를 버퍼에 기억시키는 제214단계;

   버퍼에 빈 공간이 존재하는지 판단하고, 판단 결과 빈 공간이 존재하지 않는 경우에는 종료하는 제215단계;

   판단 결과 빈 공간이 존재하는 경우, 잔여 블록이 존재하는지 판단하고, 잔여 블록이 존재하지 않는 경우에는 종료하는 제216단계; 및

   판단 결과 잔여 블록이 존재하는 경우 다음 블록을 얻은 후 상기 212단계로 돌아가서 이후 단계를 수행하고, 잔여블록이 존재하지 않는 경우에는 종료하는 제217단계

   로 이루어지는 것을 특징으로 하는 능동 카메라 환경에서 물체의 고속 움직임 검출을 위한 배경 보상 방법.