KR19990060993A - 상관기법에 의한 영상 추적창 조절방법 - Google Patents

Abstract

본 발명은 카메라를 통해 처음 입력된 영상에서 추적할려는 물체를 중심으로 임의의 크기의 추적창을 설정한후 매 입력되는 영상에서 추적창의 크기를 자동으로 변화시키는 영상 추적창 조절방법에 관한 것으로서, (a) 영상카메라를 통해 입력되는 영상신호를 영상획득 장치에 의해 디지털 신호로 변환한 후 입력영상의 외곽성분에 해당하는 경계영상을 추출하는 단계와; (b) 움직인 물체만을 추출하기 위하여 현재의 경계영상에서 이전 경계영상을 뺀 차 영상을 구하는 단계와; (c) 상기 차영상의 경계성분에 대하여 추적창(30)의 평균값과 분산값이 경계창(20)과 배경창(10)의 평균값과 분산값 보다 클 경우 추적창(30)을 한 화소 감소시키고, 경계창(20)의 평균값과 분산값이 추적창(30)과 배경창(10)의 평균값과 분산값 보다 클 경우 추적창(30)을 한 화소 증가시키며, 배경창(10)내의 평균값과 분산값이 추적창(30)에 상응할 경우 추적창(30) 크기를 고정시키는 단계; 및 (d) 크기가 조절된 추적창에 상관기법을 적용하여 표적의 실제 이동거리를 계산하고 계산된 이동거리에 근거하여 영상추적기를 구동시키는 단계를 포함하는 것을 특징으로 한다.

따라서, 본 발명은 입력 영상에서 추적할려는 물체를 중심으로 임의의 크기의 추적창을 설정한 후 자동으로 추적창의 크기를 변화시켜 물체의 크기, 회전변화 등에도 물체를 견실하게 추적하는 것이 가능하다.

Description

상관기법에 의한 영상 추적창 조절방법

본 발명은 상관기법에 의한 영상 추적방법에 관한 것으로서, 특히 카메라를 통해 처음 입력된 영상에서 추적할려는 물체를 중심으로 임의의 크기의 추적창을 설정한후 매 입력되는 영상에서 추적창의 크기를 자동으로 변화시키는 영상 추적창 조절방법에 관한 것이다.

영상 추적장치는 지상이나 대공에서 움직이는 물체를 포착하여 추적하기 위한 장치로서, 영상 카메라로 부터 입력되는 영상에 추적기법을 적용하여 이동거리를 추정하고 이 추정된 이동거리에 근거하여 시스템을 구동시켜 표적의 움직임을 추종하는 것이다.

이러한 추적장치에는 현재 입력영상에 이전 입력영상을 사상시켜 그 표적의 중심을 찾아내고 이로부터 표적의 움직임 정도를 추정하는 상관기법이 하나의 추적기법으로서 사용된다.

상기의 상관기법에 의해 표적을 추적하는 방법의 일 예가 도 1에 도시되어져 있다. 즉, 영상 카메라를 통해 입력된 영상신호를 영상 획득장치에 의해 디지털 신호로 변환하고, 변환된 디지털 영상신호에 근거하여 표적영상을 복수개의 화소로 이루어지는 화면상에 추적창을 설정한 후 상관기법을 통해 표적의 중심을 찾아 이동거리를 추정하여 시스템을 구동하는 과정으로 이루어진다.

상기 이동거리의 추정은 이전 영상처리에서 구한 표적의 중심과 현 영상처리에서 구한 표적의 중심의 차이를 구하는 것에 의해 달성된다. 또한, 상기 시스템의 구동은 상기 이동거리 추정에서 구한 거리를 실제 표적의 거리와 비교하여 영상추적기를 구동시키는 과정이다.

상술한 종래의 영상 추적방법에 있어서는 영상 획득장치로 입력되는 각각의 영상에 대하여 추적창을 매번 조절하지 않는다. 따라서, 추적할려는 표적이 멀어지거나 가까이 접근시 또는 회전 등과 같은 표적의 상태변화에 즉각적인 대응이 없으므로 영상추적에 에러가 나타날 수 있는 문제점이 있다. 또한, 배경이 복잡한 영상에서는 배경의 정보를 최소화할 수 없어 견실한 영상 추적이 어려웠다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로서, 본 발명은 입력영상에서 추적할려는 물체를 중심으로 임의의 크기의 추적창을 설정한 후 자동으로 추적창의 크기를 변화시켜 물체의 크기, 회전변화 등에도 물체를 견실하게 추적하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명은 (a) 영상카메라를 통해 입력되는 영상신호를 영상획득 장치에 의해 디지털 신호로 변환한 후 입력영상의 외곽성분에 해당하는 경계영상을 추출하는 단계와; (b) 움직인 물체만을 추출하기 위하여 현재의 경계영상에서 이전 경계영상을 뺀 차 영상을 구하는 단계와; (c) 상기 차영상의 경계성분에 대하여 추적창(30)의 평균값과 분산값이 경계창(20)과 배경창(10)의 평균값과 분산값 보다 클 경우 추적창(30)을 한 화소 감소시키고, 경계창(20)의 평균값과 분산값이 추적창(30)과 배경창(10)의 평균값과 분산값 보다 클 경우 추적창(30)을 한 화소 증가시키며, 배경창(10)내의 평균값과 분산값이 추적창(30)에 상응할 경우 추적창(30) 크기를 고정시키는 단계; 및 (d) 크기가 조절된 추적창에 상관기법을 적용하여 표적의 실제 이동거리를 계산하고 계산된 이동거리에 근거하여 영상추적기를 구동시키는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시에 의해 알게될 것이다. 또한, 본 발명의 목적 및 장점들은 첨부된 특허청구범위에 나타낸 수단 및 조합에 의해서 실현될수 있다.

도 1은 종래의 영상 추적방법에 대한 블록 흐름도를 나타낸다.

도 2는 본 발명의 영상 추적창 조절방법에 관한 블록 흐름도를 도시한 것이다.

도 3은 본 발명에 적용되는 영상 추적창의 형태를 도시한 것이다.

도 4는 본 발명에 따른 영상 추적창 조절방법의 플로우 챠트를 도시한 것이다.

도면의 주요 부분에 대한 부호의 설명

10: 배경창 20: 경계창

30: 추적창

이하에서 본 발명의 바람직한 실시 예를 첨부된 도면에 의거 상세히 설명하기로 한다.

첨부도면 도 2에는 본 발명의 영상 추적창 조절방법에 관한 블록 흐름도가 도시되어져 있다. 도면을 참조하여 살펴보면, 카메라를 통해 입력된 영상신호는 영상획득장치에 의해 디지털 신호로 변환된다. 디지털 신호로 변환된 영상은 경계 추출 연산자에 의해 물체의 외곽성분 만이 추출된다. 이렇게 물체의 외곽성분 만을 추출하는 이유는 지상 영상과 같은 복잡한 영상에서 배경의 정보를 좀더 줄이기 위함이다.

상기 경계 추출 연산자에 의해 추출된 경계영상은 메모리에 저장되고, 이미 메모리에 저장되어 있던 이전경계 영상은 메모리로 부터 판독된다. 메모리로 부터 이전경계 영상이 판독되면 현 경계영상과 이전 경계영상 사이에서 차(빼기) 연산자를 작동하여 두 영상 사이의 차이만을 얻는다. 이는 입력된 영상에서 배경이 복잡할 경우 가능한 배경의 영상을 제거하여 움직인 물체만을 추출하기 위함이다.

이렇게 얻어진 차영상을 가지고 간단한 상관기법을 이용하여 표적의 움직임 정도를 추정한다. 표적의 움직임 정도가 구해지면 표적의 중심을 기준으로 하여 추적창 크기를 조절한다. 추적창의 조절은 한 방향으로 하는 것이 아니고 4방향 모두에 대해서 각각 이루어진다.

도 3에는 본 발명에 적용된 추적창(30)의 형태가 도시되어져 있다. 도 3에 인용된 추적창(30), 경계창(20), 배경창(10)은 가로, 세로 각기 256개의 화소를 가지는 정사각형의 화면에 설정된다. 또한, 상기 화면상의 경계영상은 밝고, 어두운 화소의 조합에 의해 형성되는바, 화소의 밝기는 0 - 255 사이의 값을 가진다. 만약, 화면의 한 지점에서 밝기값이 255이면 완전한 화이트(WHITE)이고 0이면 블랙(BLACK)이다.

화면상에 임의의 크기로 설정되는 상기 추적창(30)은 4등분으로 나뉘어 왼쪽 윗편 부터 반시계 방향으로 A, B, C, D로 표기한다.

상기 경계창(20)은 표적의 크기가 이전 표적 크기에 비하여 커졌는지, 작아졌는지를 확인하기 위한 것으로서, 상기 추적창(30)의 둘레에 소정의 두께로 형성된다. 상기 경계창(20) 역시 4방향으로 설정되는바, 윗쪽에서 부터 반 시계 방향으로 A, B, C, D로 표기한다.

상기 배경창(10)은 도 3에 도시된 바와같이 경계창(20)의 둘레에 소정의 두께로 형성되는바, 4방향으로 나뉘어 위쪽에서 부터 반 시계 방향으로 A, B, C, D로 표기한다. 상기 배경창(10)은 표적 주위에서 잡음이 발생하였는지를 확인하기 위한 것이다.

따라서, 차영상의 경계성분이 경계창(20)내에 위치할 때에는 그 방향의 추적창(30) 크기를 한 화소 증가시켜 경계성분이 추적창(30)에 적절히 씌워 지도록 조절하여야 하고, 차영상의 경계성분이 추적창(30)내에 포함될 때에는 그 방향의 추적창(30)의 크기를 한 화소 감소시켜 경계성분이 추적창(30)에 적절히 씌워 지도록 조절하여야 한다.

이러한 원리를 이용하여 추적창(30)을 조절하는 과정이 도 4의 플로우 챠트에 잘 나와있다. 이를 참고하여 살펴보면, 먼저 추적창(30)의 평균값과 배경창(10)의 평균값의 대소를 비교한다. 여기서, 추적창(30)의 평균값이라 함은 추적창(30)내에 존재하는 화소의 밝기값의 합에 화소수를 나눈값을 말한다. 마찬가지로 배경창(10)의 평균값 역시 배경창(10)내에 존재하는 화소의 밝기값의 합에 화소수를 나눈값을 의미한다.

여기서, 추적창(30)과 배경창(10)의 평균값의 대소를 비교하는 이유는 만약 배경창(10)의 평균값이 더 크다면 표적의 주위에 잡음이 존재함을 뜻하기 때문에 추적창(30)을 한 화소 증가시키면 잡음이 추적창(30)내에 포함될 우려가 있어 추적창(30)의 크기 조절에 앞서 배경창(10)내에 잡음이 존재하는지 여부를 살펴보는 것이다.

추적창(30)과 배경창(10)의 평균값 비교에서 배경창(10)의 평균값이 더 큰 경우에는 각 창의 분산값을 비교하여 추적창(30) 분산값이 배경창(10)이나 경계창(20) 분산값 보다 크면 추적창(30)의 크기를 고정시키고 그 반대의 경우에는 추적창(30)의 크기를 한 화소 감소시킨다. 여기서, 추적창(30)의 분산값이라 함은 추적창(30)내에 포함되어 있는 화소의 밝기가 그 평균값에 대하여 어느 정도 넓게 분포되어 있는가를 나타내는 것이다. 따라서, 추적창(30)의 분산값이 크다는 것은 포함된 화소가 화이트 내지 블랙으로 분포되는 것을 의미하고 이는 경계영상의 위치를 표시하는 지표가 된다. 왜냐하면, 경계영상은 표적의 외곽성분을 추출한 것이므로 화소가 화이트나 블랙으로 선명이 나누어지기 때문이다.

또한, 추적창(30)과 배경창(10)의 평균값 비교에서 추적창(30)의 평균값이 더 큰 경우에는 배경창(10)내에 고려해야할 정도로 큰 잡음이 존재하지 않는 것이므로 추적창(30)의 조절을 자유롭게 할 수 있다. 추적창(30)의 평균값이 배경창(10)의 평균값 뿐만 아니라 경계창(20)의 평균값 보다 큰 경우(도면에는 절대치의 비교로 표시하였다)에는 경계영상이 추적창(30)내에 포함된 상태를 의미하므로 추적창(30)의 크기를 한 화소 감소시킨다.

반대로 추적창(30)의 평균값이 경계창(20)의 평균값 보다 더 작은 경우에는 그 분산값의 대소를 비교하여 추적창(30)의 분산값이 경계창(20)의 분산값 보다 크면 추적창(30)의 크기를 한 화소 감소시키고, 경계창(20)의 분산값이 추적창(30)의 분산값 보다 크면 추적창(30)의 크기를 한 화소 증가시킨다.

상술한 추적창(30)의 조절은 한 방향으로 하는 것이 아니고 4방향 모두에 대해서 각기 행해진다.

상기와 같이 조절된 추적창(30)에 상관기법을 적용하여 표적이 실제 이동한 거리를 추정함으로써 시스템을 구동하여 표적의 추적을 수행한다.

상술한 실시예에 본 발명이 한정되는 것은 아니며 본 발명이 속하는 기술분야에서 통상의 지식을 갖는자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위내에서 다양한 수정 및 변형이 가능함은 물론이다.

이상에서 설명한 바와 같이 본 발명은 입력 영상에서 추적할려는 물체를 중심으로 임의의 크기의 추적창을 설정한 후 자동으로 추적창의 크기를 변화시켜 물체의 크기, 회전변화 등에도 물체를 견실하게 추적하는 것이 가능하다.

또한, 배경이 복잡한 영상에서도 배경의 정보를 최소화할 수 있어 견실한 영상 추적이 가능한 장점을 가진다.

Claims (2)

1. (a) 영상카메라를 통해 입력되는 영상신호를 영상획득 장치에 의해 디지털 신호로 변환한 후 입력영상의 외곽성분에 해당하는 경계영상을 추출하는 단계와;

   (b) 움직인 물체만을 추출하기 위하여 현재의 경계영상에서 이전 경계영상을 뺀 차 영상을 구하는 단계와;

   (c) 상기 차영상의 경계성분에 대하여 추적창(30)의 평균값과 분산값이 경계창(20)과 배경창(10)의 평균값과 분산값 보다 클 경우 추적창(30)을 한 화소 감소시키고, 경계창(20)의 평균값과 분산값이 추적창(30)과 배경창(10)의 평균값과 분산값 보다 클 경우 추적창(30)을 한 화소 증가시키며, 배경창(10)내의 평균값과 분산값이 추적창(30)에 상응할 경우 추적창(30) 크기를 고정시키는 단계; 및

   (d) 크기가 조절된 추적창(30)에 상관기법을 적용하여 표적의 실제 이동거리를 계산하고 계산된 이동거리에 근거하여 영상추적기를 구동시키는 단계를 포함하는 것을 특징으로 하는 상관기법에 의한 영상 추적창 조절방법.
2. 제1항에 있어서,

   상기 추적창(30)이 전, 후, 좌, 우의 4방향으로 크기 조절이 가능한 것을 특징으로 하는 상관기법에 의한 영상 추적창 조절방법.