KR102471543B1

KR102471543B1 - 표적 탐지 추적 시스템 및 표적 탐지 추적 방법

Info

Publication number: KR102471543B1
Application number: KR1020210106614A
Authority: KR
Inventors: 장철희
Original assignee: 엘아이지넥스원 주식회사
Priority date: 2021-08-12
Filing date: 2021-08-12
Publication date: 2022-11-28

Abstract

고속으로 이동하는 표적을 자동으로 탐지 추적하는 표적 탐지 추적 시스템 및 표적 탐지 추적 방법이 개시될 수 있다. 일 실시예에 따른 표적 탐지 추적 시스템은 광각의 FOV(field of view)로 표적을 포함하는 영역의 제1 영상 데이터를 획득하고, 협각의 FOV로 표적을 확대한 제2 영상 데이터를 획득하는 카메라 모듈; 제1 영상 데이터 및 제2 영상 데이터에 데이터 처리를 수행하여 표적의 탐지 및 추적을 수행하며, 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 데이터 처리부; 및 추적 오차 정보에 기초하여 표적을 추적하도록 카메라 모듈을 제어하는 제어부를 포함할 수 있다.

Description

표적 탐지 추적 시스템 및 표적 탐지 추적 방법{TARGET DETECTING AND TRACKING SYSTEM AND TARGET DETECTING AND TRACKING METHOD}

본 발명은 고속으로 이동하는 표적을 자동으로 탐지 추적하는 표적 탐지 추적 시스템 및 표적 탐지 추적 방법에 관한 것이다.

일반적으로, 원거리에서 고속으로 이동하는 표적은 감시하는데 어려움이 있다. 즉, 원거리의 표적은 표적에 해당하는 영역이 작기 때문에 감시대상으로써 많은 정보를 획득하기가 어렵다. 협각 카메라를 이용하여 표적을 더 크게 하여 감시하기에는 표적의 이동 속도가 빨라 카메라의 FOV(field of view)를 벗어나기가 쉽고, 순간적인 가림이나 순간적으로 추적이 실패했을 경우에 표적에 대한 LOS(line of sight)를 유지할 수 없어 지속적인 정보 획득이 어렵다.

종래의 시스템은 광각 카메라와 줌 기능이 가능한 카메라를 이용하여 넓은 영역의 복수의 표적을 추적하고 있다. 즉, 종래의 시스템은 광각 영역의 복수의 표적을 추적함에 있어서 추적 대상이 되는 복수의 표적을 동시에 추적하며 주밍(zooming) 하여 표적 정보를 획득하고 있다. 그러나, 종래의 시스템은 원거리의 고속 이동 표적에 대한 지속적인 정보를 획득하는데 효과적이지 못한 문제점이 있다.

본 발명은 다중 FOV(field of view)를 이용하여 원거리의 고속 이동 표적에 대한 정보 효과적으로 획득할 수 있는 시스템 및 방법을 제공할 수 있다.

본 발명의 일 실시예에 따르면, 표적 탐지 추적 시스템이 개시될 수 있다. 일 실시예에 따른 표적 탐지 추적 시스템은 광각의 FOV(field of view)로 표적을 포함하는 영역의 제1 영상 데이터를 획득하고, 협각의 FOV로 상기 표적을 확대한 제2 영상 데이터를 획득하는 카메라 모듈; 상기 카메라 모듈에 연결되고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하며, 상기 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 데이터 처리부; 및 상기 데이터 처리부 및 상기 카메라 모듈에 연결되고 상기 추적 오차 정보에 기초하여 상기 표적을 추적하도록 상기 카메라 모듈을 제어하는 제어부를 포함할 수 있다.

일 실시예에 있어서, 상기 카메라 모듈은 상기 제1 영상 데이터를 획득하는 광각 카메라를 포함하는 제1 카메라; 상기 제2 영상 데이터를 획득하는 협각 카메라를 포함하는 제2 카메라; 및 상기 제1 카메라 및 상기 제2 카메라가 장착되고, 상기 제어부의 제어에 따라 상기 표적을 추적하도록 상기 제1 카메라 및 상기 제2 카메라를 상기 표적에 지향시키는 짐벌을 포함할 수 있다.

일 실시예에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 상기 표적에 대해 광축(line of sight)이 정렬될 수 있다.

일 실시예에 있어서, 상기 짐벌은 3축 짐벌을 포함할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 제1 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제1 데이터 처리 결과 정보를 생성하고, 상기 제2 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제2 데이터 처리 결과 정보를 생성하고, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 현재 모드가 상기 표적을 탐지하는 탐지 모드인지 여부를 판단하고, 상기 현재 모드가 상기 탐지 모드인 것으로 판단되면, 영상 데이터에 상기 표적을 탐지하기 위한 제1 영상 전처리를 수행하고, 상기 제1 영상 전처리된 상기 영상 데이터에 기초하여 복수의 제1 표적 후보를 결정하고, 상기 복수의 제1 표적 후보에 기초하여 상기 표적을 확정하고, 상기 확정된 표적을 지속적으로 추적하도록 상기 현재 모드를 추적 모드로 변환할 수 있다.

일 실시예에 있어서, 상기 영상 데이터는 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 포함할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 복수의 제1 표적 후보에서 상기 표적이 존재하지 않는 것으로 판단되면, 상기 영상 데이터가 다시 수신될 때까지 대기할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 현재 모드가 상기 표적을 추적하기 위한 추적 모드인지 여부를 판단하고, 상기 현재 모드가 상기 추적 모드인 것으로 판단되면, 상기 영상 데이터에 제2 영상 전처리를 수행하고, 상기 제2 영상 전처리된 상기 영상 데이터로부터 복수의 제2 표적 후보를 결정하고, 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는지 여부를 판단하고, 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는 것으로 판단되면, 상기 표적의 정보를 갱신하고, 상기 표적 및 상기 영상 데이터에 기초하여 위치 오차를 결정하고, 상기 위치 오차를 포함하는 데이터 처리 결과 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 상기 위치 오차를 산출할 수 있다.

일 실시예에 있어서, 상기 데이터 처리 결과 정보는 상기 제1 영상 데이터에 대한 상기 제1 데이터 처리 결과 정보 또는 상기 제2 영상 데이터에 대한 상기 제2 데이터 처리 결과 정보를 포함할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하지 않는 것으로 판단되면, 상기 표적의 재탐지를 수행할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 표적의 재포착을 수행하고, 상기 표적의 재포착을 통해 상기 표적이 재포착되었는지 여부를 판단하고, 상기 표적의 재포착을 통해 상기 표적이 재포착된 것으로 판단되면, 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 위치 오차를 산출하고, 상기 산출된 위치 오차를 포함하는 상기 데이터 처리 결과 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 표적의 재포착을 통해 상기 표적이 재포착되지 않은 것으로 판단되면, 상기 표적의 재포착 횟수가 제1 임계값을 초과하였는지 여부를 판단하고, 상기 표적의 재포착 횟수가 상기 제1 임계값을 초과한 것으로 판단되면, 상기 표적의 정보를 초기화하고, 상기 현재 모드를 상기 탐지 모드로 변환할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 제1 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하고, 상기 제1 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인지 여부를 판단하고, 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 미만인지 여부를 판단하고, 상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제2 임계값 미만인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 및 상기 추적 모드를 수행하고, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값을 초과한 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값을 초과하는지 여부를 판단하고, 상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값을 초과하는 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값 이하인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하고, 상기 제2 영상 데이터에 대해 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성할 수 있다.

일 실시예에 있어서, 상기 데이터 처리부는 상기 제2 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 표적 탐지 추적 시스템에서의 표적 탐지 추적 방법이 개시될 수 있다. 일 실시예에 따른 표적 탐지 추적 방법은 표적 탐지 추적 시스템의 카메라 모듈에서, 광각의 FOV로 표적을 포함하는 영역의 제1 영상 데이터를 획득하는 단계; 상기 카메라 모듈에서, 협각의 FOV로 상기 표적을 확대한 제2 영상 데이터를 획득하는 단계; 상기 표적 탐지 추적 시스템의 데이터 처리부에서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계; 상기 데이터 처리부에서, 상기 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 단계; 및 상기 표적 탐지 추적 시스템의 제어부에서, 상기 추적 오차 정보에 기초하여 상기 표적을 추적하도록 상기 카메라 모듈을 제어하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 상기 표적에 대해 광축이 정렬될 수 있다.

일 실시예에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는 상기 제1 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제1 데이터 처리 결과 정보를 생성하는 단계; 및 상기 제2 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제2 데이터 처리 결과 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는 현재 모드가 상기 표적을 탐지하는 탐지 모드인지 여부를 판단하는 단계; 상기 현재 모드가 상기 탐지 모드인 것으로 판단되면, 영상 데이터에 상기 표적을 탐지하기 위한 제1 영상 전처리를 수행하는 단계; 상기 제1 영상 전처리된 상기 영상 데이터에 기초하여 복수의 제1 표적 후보를 결정하는 단계; 상기 복수의 제1 표적 후보에 기초하여 상기 표적을 확정하는 단계; 및 상기 확정된 표적을 지속적으로 추적하도록 상기 현재 모드를 추적 모드로 변환하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는 상기 복수의 제1 표적 후보에서 상기 표적이 존재하지 않는 것으로 판단되면, 상기 영상 데이터가 다시 수신될 때까지 대기하는 단계를 더 포함할 수 있다.

일 실시예에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는 상기 현재 모드가 상기 표적을 추적하기 위한 추적 모드인지 여부를 판단하는 단계; 상기 현재 모드가 상기 추적 모드인 것으로 판단되면, 상기 영상 데이터에 제2 영상 전처리를 수행하는 단계; 상기 제2 영상 전처리된 상기 영상 데이터로부터 복수의 제2 표적 후보를 결정하는 단계; 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는지 여부를 판단하는 단계; 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는 것으로 판단되면, 상기 표적의 정보를 갱신하는 단계; 상기 표적 및 상기 영상 데이터에 기초하여 위치 오차를 결정하는 단계; 및 상기 위치 오차를 포함하는 데이터 처리 결과 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 표적 및 상기 영상 데이터에 기초하여 위치 오차를 결정하는 단계는 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 상기 위치 오차를 산출하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하지 않는 것으로 판단되면, 상기 표적의 재탐지를 수행하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 표적의 재탐지를 수행하는 단계는 상기 표적의 재포착을 수행하는 단계; 상기 표적의 재포착을 통해 상기 표적이 재포착되었는지 여부를 판단하는 단계; 상기 표적의 재포착을 통해 상기 표적이 재포착된 것으로 판단되면, 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 위치 오차를 산출하는 단계; 및 상기 산출된 위치 오차를 포함하는 상기 데이터 처리 결과 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 표적의 재탐지를 수행하는 단계는 상기 표적의 재포착을 통해 상기 표적이 재포착되지 않은 것으로 판단되면, 상기 표적의 재포착 횟수가 제1 임계값을 초과하였는지 여부를 판단하는 단계; 상기 표적의 재포착 횟수가 상기 제1 임계값을 초과한 것으로 판단되면, 상기 표적의 정보를 초기화하는 단계; 및 상기 현재 모드를 상기 탐지 모드로 변환하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 단계는 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는 상기 제1 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하는 단계; 상기 제1 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인지 여부를 판단하는 단계; 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 미만인지 여부를 판단하는 단계; 상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제2 임계값 미만인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 및 상기 추적 모드를 수행하는 단계; 및 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값을 초과한 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값을 초과하는지 여부를 판단하는 단계; 및 상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값을 초과하는 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는 상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값 이하인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하는 단계; 및 상기 제2 영상 데이터에 대해 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는 상기 제2 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 다양한 실시예에 따르면, 광각 영상 데이터 및 협각 영상 데이터의 표적에 대하여 탐지 및 추적을 모두 수행하여 원거리에서 고속으로 이동하는 표적에 대해 효과적으로 대응 가능하다.

또한, 광각 영상 데이터를 이용하여 표적의 탐지 및 추적을 수행하여 짐벌을 제어하여 협각 영상 데이터의 내부로 표적이 나타날 때까지 제어를 수행할 수 있고, 협각 영상 데이터를 이용하여 표적의 탐지 및 추적을 수행할 수 있다. 따라서, 협각 영상 데이터를 이용한 표적의 탐지 및 추적의 결과에 기초하여 추적 오차를 산출하고 산출된 추적 오차에 기초하여 표적에 대한 미세 추적을 수행할 수 있다.

또한, 표적이 급격하게 움직이거나 외부 요인으로 인해 협각 영상 데이터 내에서 표적이 사라지거나 추적이 불가능한 경우가 발생하여도, 광각 카메라의 추적 오차를 이용하여 짐벌을 제어할 수 있다. 이를 위해서는 협각 영상 데이터를 이용한 표적의 탐지 및 추적을 수행하는 중일 때에도 광각 영상 데이터를 이용한 표적의 탐지 및 추적을 계속 구동한다.

협각 영상 데이터를 이용한 표적의 추적 중에도 광각 영상 데이터의 추적 오차가 계속 커져 일정치 이상 커지는 경우에도 광각 영상 데이터의 추적 결과를 이용하여 짐벌을 제어할 수 있다. 이는 협각 영상 데이터의 FOV(field of view)가 매우 작고, 광각 영상 데이터에 비해 표적의 움직임이 커서 추적이 불안정할 수 있기 때문에 광각 영상 데이터의 추적 결과를 이용하여 추적의 안정성을 확보할 수 있다(협각 영상 데이터에 비해 광각 영상 데이터에서의 표적의 움직임이 상대적으로 적음). 이를 이용하여 원거리에서 고속으로 이동하는 표적에 대한 정보를 안정적으로 획득할 수 있다.

도 1은 본 발명의 일 실시예에 따른 표적 탐지 추적 시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 모듈에 의해 획득되는 영상 데이터를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 표적 탐지 추적 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 탐지 모드에서 영상 데이터를 처리하는 방법을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시예에 따라 추적 모드에서 영상 데이터를 처리하는 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 표적 재탐지를 수행하는 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 추적 오차 정보를 생성하는 방법을 나타낸 흐름도이다.

본 발명의 실시예들은 본 발명의 기술적 사상을 설명하기 위한 목적으로 예시된 것이다. 본 발명에 따른 권리범위가 이하에 제시되는 실시예들이나 이들 실시예들에 대한 구체적 설명으로 한정되는 것은 아니다.

본 발명에 사용되는 모든 기술적 용어들 및 과학적 용어들은, 달리 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 일반적으로 이해되는 의미를 갖는다. 본 발명에 사용되는 모든 용어들은 본 발명을 더욱 명확히 설명하기 위한 목적으로 선택된 것이며 본 발명에 따른 권리범위를 제한하기 위해 선택된 것이 아니다.

본 발명에서 사용되는 "포함하는", "구비하는", "갖는" 등과 같은 표현은, 해당 표현이 포함되는 어구 또는 문장에서 달리 언급되지 않는 한, 다른 실시예를 포함할 가능성을 내포하는 개방형 용어(open-ended terms)로 이해되어야 한다.

본 발명에서 기술된 단수형의 표현은 달리 언급하지 않는 한 복수형의 의미를 포함할 수 있으며, 이는 청구범위에 기재된 단수형의 표현에도 마찬가지로 적용된다.

본 발명에서 사용되는 "제1", "제2" 등의 표현들은 복수의 구성요소들을 상호 구분하기 위해 사용되며, 해당 구성요소들의 순서 또는 중요도를 한정하는 것은 아니다.

본 발명에서 사용되는 용어 "부"는, 소프트웨어, 또는 FPGA(field-programmable gate array), ASIC(application specific integrated circuit)과 같은 하드웨어 구성요소를 의미한다. 그러나, "부"는 하드웨어 및 소프트웨어에 한정되는 것은 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서, "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스, 함수, 속성, 프로시저, 서브루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조, 테이블, 어레이 및 변수를 포함한다. 구성요소와 "부" 내에서 제공되는 기능은 더 작은 수의 구성요소 및 "부"로 결합되거나 추가적인 구성요소와 "부"로 분리될 수 있다.

본 발명에서 사용되는 "~에 기초하여"라는 표현은, 해당 표현이 포함되는 어구 또는 문장에서 기술되는, 결정 판단의 행위 또는 동작에 영향을 주는 하나 이상의 인자를 기술하는데 사용되며, 이 표현은 결정, 판단의 행위 또는 동작에 영향을 주는 추가적인 인자를 배제하지 않는다.

본 발명에서, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 경우, 어떤 구성요소가 다른 구성요소에 직접적으로 연결될 수 있거나 접속될 수 있는 것으로, 또는 새로운 다른 구성요소를 매개로 하여 연결될 수 있거나 접속될 수 있는 것으로 이해되어야 한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 설명한다. 첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응하는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나, 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.

도 1은 본 발명의 일 실시예에 따른 표적 탐지 추적 시스템을 개략적으로 나타낸 블록도이다. 도 1을 참조하면, 표적 탐지 추적 시스템(100)은 카메라 모듈(110), 데이터 처리부(120) 및 제어부(130)를 포함할 수 있다.

카메라 모듈(110)은 표적에 대한 영상 데이터를 획득할 수 있다. 일 실시예에 있어서, 카메라 모듈(110)은 고속으로 이동하는 표적에 대한 영상 데이터를 획득할 수 있다. 일 실시예에 있어서, 카메라 모듈(110)은 광각 및 협각의 이종 FOV(field of view)로 구성된 카메라를 포함할 수 있다. 예를 들면, 카메라 모듈(110)은 도 1에 도시된 바와 같이 제1 카메라(111), 제2 카메라(112) 및 짐벌(113)을 포함할 수 있다.

제1 카메라(111)는 표적을 포함하는 넓은 영역의 영상 데이터(이하, "제1 영상 데이터"라 함)를 획득할 수 있다. 일 실시예에 있어서, 제1 카메라(111)는 표적을 포함하는 넓은 영역의 제1 영상 데이터를 획득할 수 있는 광각 카메라를 포함할 수 있다.

제2 카메라(112)는 원거리의 표적을 확대한 영상 데이터(이하, "제2 영상 데이터"라 함)를 획득할 수 있다. 일 실시예에 있어서, 제2 카메라(112)는 표적이 확대된 제2 영상 데이터를 획득할 수 있는 협각 카메라를 포함할 수 있다.

짐벌(113)은 제1 카메라(111) 및 제2 카메라(112)가 장착될 수 있다. 짐벌(113)은 제어부(130)의 제어에 따라 제1 카메라(111) 및 제2 카메라(112)가 표적을 추적하도록 제1 카메라(111) 및 제2 카메라(112)를 표적에 지향시킬 수 있다. 일 실시예에 있어서, 짐벌(113)은 3축 짐벌을 포함할 수 있다. 그러나, 짐벌(113)은 반드시 이에 한정되는 것은 아니다.

일 실시예에 있어서, 제1 카메라(111) 및 제2 카메라(112)는 원거리의 표적에 대해 광축(line of sight)이 정렬될 수 있다. 따라서, 도 2에 도시된 바와 같이, 제1 카메라(111)에 의해 획득된 영상과 제2 카메라(112)에 의해 획득된 영상의 중심은 동일한 표적의 동일한 부위를 지향할 수 있다.

데이터 처리부(120)는 카메라 모듈(110)에 연결될 수 있다. 데이터 처리부(120)는 카메라 모듈(110)에 의해 획득된 영상 데이터에 기초하여 데이터 처리를 수행할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 영상 데이터에 데이터 처리를 수행하여 표적을 탐지 및 추적하여 데이터 처리 결과 정보를 생성할 수 있다.

일 실시예에 있어서, 데이터 처리부(120)는 카메라 모듈(110)로부터 제1 영상 데이터를 수신하고, 수신된 제1 영상 데이터에 기초하여 표적의 탐지 및 추적을 수행하며, 표적의 탐지 및 추적에 대한 데이터 처리 결과 정보(이하, "제1 데이터 처리 결과 정보"라 함)를 생성할 수 있다.

일 실시예에 있어서, 데이터 처리부(120)는 카메라 모듈(110)로부터 제2 영상 데이터를 수신하고, 수신된 제2 영상 데이터에 기초하여 표적의 탐지 및 추적을 수행하며, 표적의 탐지 및 추적에 대한 데이터 처리 결과 정보(이하, "제2 데이터 처리 결과 정보"라 함)를 생성할 수 있다.

일 실시예에 있어서, 데이터 처리부(120)는 제1 데이터 처리 결과 정보 및 제2 데이터 처리 결과 정보에 기초하여 추적 오차 정보를 생성할 수 있다. 예를 들면, 데이터 처리부(120)는 제1 데이터 처리 결과 정보 및 제2 데이터 처리 결과 정보에 기초하여 카메라 모듈(110)의 짐벌(113)을 제어하기 위한 추적 오차 정보를 생성할 수 있다.

제어부(130)는 데이터 처리부(120) 및 카메라 모듈(110)에 연결될 수 있다. 제어부(130)는 데이터 처리부(120)에 의해 생성된 추적 오차 정보에 기초하여 카메라 모듈(110)을 제어할 수 있다. 일 실시예에 있어서, 제어부(130)는 데이터 처리부(120)로부터 추적 오차 정보를 수신하고, 수신된 추적 오차 정보에 기초하여 카메라 모듈(110)의 제1 카메라(111) 및 제2 카메라(112)가 표적을 추적하도록 카메라 모듈(110)의 짐벌(113)을 제어할 수 있다.

도 2는 본 발명의 일 실시예에 따른 카메라 모듈에 의해 획득되는 영상 데이터를 나타낸 도면으로서, 도 2의 (a)는 제1 카메라(111)에 의해 획득된 제1 영상 데이터(210)를 나타내고, 도 2의 (b)는 제2 카메라(112)에 의해 획득된 제2 영상 데이터(220)를 나타낸다. 이때, 제1 영상 데이터(210)의 FOV 및 제2 영상 데이터(220)의 FOV는 특정 수치로 정해져 있지 않고, 일정한 비율을 가질 수 있다. 즉, 제1 영상 데이터(210)의 FOV 및 제2 영상 데이터(220)의 FOV의 비율은 변동될 수 있다.

도 2의 (a)는 광각에 대한 제1 영상 데이터(210)를 나타내고, 원거리의 표적이 화면상에서 작게 나타난다. 표적의 영역이 작아 표적에 대한 정보는 적은 반면 상대적으로 고속 이동 표적의 움직임이 적게 표현되고 외부 요인에 의해 표적이 순간적으로 보이지 않게 되더라도 대응이 가능하다. 한편, 도 2의 (b)는 협각에 대한 제2 영상 데이터(220)를 나타내고, 표적이 확대되어 표적에 대한 많은 정보를 획득할 수 있는 반면 고속으로 이동하는 표적일 경우, 추적이 잠깐이라도 불안정해 질 경우, FOV의 밖으로 표적이 사라질 확률이 높다.

본 발명에 도시된 흐름도에서 프로세스 단계들, 방법 단계들, 알고리즘들 등이 순차적인 순서로 설명되었지만, 그러한 프로세스들, 방법들 및 알고리즘들은 임의의 적합한 순서로 작동되도록 구성될 수 있다. 다시 말하면, 본 발명의 다양한 실시예들에서 설명되는 프로세스들, 방법들 및 알고리즘들의 단계들이 본 발명에서 기술된 순서로 수행될 필요는 없다. 또한, 일부 단계들이 비동시적으로 수행되는 것으로서 설명되더라도, 다른 실시예에서는 이러한 일부 단계들이 동시에 수행될 수 있다. 또한, 도면에서의 묘사에 의한 프로세스의 예시는 예시된 프로세스가 그에 대한 다른 변화들 및 수정들을 제외하는 것을 의미하지 않으며, 예시된 프로세스 또는 그의 단계들 중 임의의 것이 본 발명의 다양한 실시예들 중 하나 이상에 필수적임을 의미하지 않으며, 예시된 프로세스가 바람직하다는 것을 의미하지 않는다.

도 3은 본 발명의 일 실시예에 따른 표적 탐지 추적 방법을 나타낸 흐름도이다. 도 3을 참조하면, 단계 S302에서, 카메라 모듈(110)은 광각의 FOV로 표적을 포함하는 영역의 제1 영상 데이터를 획득할 수 있다. 일 실시예에 있어서, 카메라 모듈(110)의 제1 카메라(111)는 광각의 FOV로 표적을 포함하는 영역의 제1 영상 데이터를 획득할 수 있다.

단계 S304에서, 카메라 모듈(110)은 협각의 FOV로 표적을 확대한 제2 영상 데이터를 획득할 수 있다. 일 실시예에 있어서, 카메라 모듈(110)의 제2 카메라(112)는 협각의 FOV로 표적을 확대한 제2 영상 데이터를 획득할 수 있다.

단계 S306에서, 데이터 처리부(120)는 제1 영상 데이터 및 제2 영상 데이터에 기초하여 표적의 탐지 및 추적을 수행할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 제1 영상 데이터에 데이터 처리를 수행하여 표적의 탐지 및 추적을 수행하고, 표적의 탐지 및 추적에 대한 제1 데이터 처리 결과 정보를 생성할 수 있다. 데이터 처리부(120)는 제2 영상 데이터에 데이터 처리를 수행하여 표적의 탐지 및 추적을 수행하고, 표적의 탐지 및 추적에 대한 제2 데이터 처리 결과 정보를 생성할 수 있다.

단계 S308에서, 데이터 처리부(120)는 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 제1 데이터 처리 결과 정보 및 제2 데이터 처리 결과 정보에 기초하여 추적 오차 정보를 생성할 수 있다.

단계 S310에서, 제어부(130)는 추적 오차 정보에 기초하여 표적을 추적하도록 카메라 모듈을 제어할 수 있다. 일 실시예에 있어서, 제어부(130)는 추적 오차 정보에 기초하여 카메라 모듈(110)의 제1 카메라(111) 및 제2 카메라(112)가 표적을 추적하도록 카메라 모듈(110)의 짐벌(113)을 제어할 수 있다.

도 4는 본 발명의 일 실시예에 따라 탐지 모드에서 영상 데이터를 처리하는 방법을 나타낸 흐름도이다. 도 4를 참조하면, 단계 S402에서, 데이터 처리부(120)는 카메라 모듈(110)로부터 영상 데이터를 수신할 수 있다. 일 실시예에 있어서, 영상 데이터는 제1 영상 데이터 또는 제2 영상 데이터를 포함할 수 있다.

단계 S404에서, 데이터 처리부(120)는 현재 모드가 탐지 모드인지 여부를 판단할 수 있다. 데이터 처리부(120)는 현재 모드가 표적을 탐지하는 탐지 모드 또는 표적을 추적하는 추적 모드인지를 판단할 수 있다.

단계 S404에서 현재 모드가 탐지 모드가 아닌 것으로 판단되면, 도 5에 도시된 단계가 수행될 수 있다. 즉, 현재 모드가 추적 모드인 것으로 판단되면, 도 5에 도시된 추적 모드에서 영상 데이터를 처리하는 방법이 수행될 수 있다.

한편, 단계 S404에서 현재 모드가 탐지 모드인 것으로 판단되면, 단계 S406에서, 데이터 처리부(120)는 영상 데이터에 영상 전처리(이하, "제1 영상 전처리"라 함)를 수행할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 영상 데이터에 표적을 탐지하기 위한 제1 영상 전처리를 수행할 수 있다. 일 실시예에 있어서, 제1 영상 전처리는 제1 영상 데이터, 제2 영상 데이터 및 표적의 특성에 따라 서로 다르게 구현될 수 있다. 또한, 제1 영상 전처리는 탐지 모드의 특성에 따라 추적 모드와 다르게 구현될 수 있다.

단계 S408에서, 데이터 처리부(120)는 제1 영상 전처리된 영상 데이터에 기초하여 복수의 표적 후보(이하, "제1 표적 후보"라 함)를 결정할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 제1 영상 전처리된 영상 데이터로부터 복수의 제1 표적 후보를 검출하기 위한 기능을 수행할 수 있다.

일 실시예에 있어서, 제1 표적 후보의 검출은 제1 영상 데이터, 제2 영상 데이터 및 표적의 특성에 따라 서로 다르게 구현될 수 있다. 또한, 제1 표적 후보의 검출은 탐지 모드의 특성에 따라 추적 모드와 다르게 구현될 수 있다.

단계 S410에서, 데이터 처리부(120)는 복수의 제1 표적 후보에서 표적이 존재하는지 여부를 판단할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 복수의 제1 표적 후보 중에서 탐지하고자 하는 표적이 존재하는지 여부를 판단할 수 있다.

단계 S410에서 복수의 제1 표적 후보에서 표적이 존재하는 것으로 판단되면, 단계 S412에서, 데이터 처리부(120)는 표적의 확정을 수행하고, 단계 S414에서, 데이터 처리부(120)는 확정된 표적을 지속적으로 추적하도록 현재 모드를 추적 모드로 변환할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 확정된 표적을 지속적으로 추적하도록 현재 모드를 탐지 모드에서 추적 모드로 변환할 수 있다.

한편, 단계 S410에서 복수의 제1 표적 후보에서 표적이 존재하지 않는 것으로 판단되면, 다시 영상 데이터가 수신될 때까지 대기하여 단계 S404 내지 S410이 수행될 수 있다.

도 5는 본 발명의 일 실시예에 따라 추적 모드에서 영상 데이터를 처리하는 방법을 나타낸 흐름도이다. 도 5를 참조하면, 단계 S502에서, 데이터 처리부(120)는 현재 모드가 추적 모드인지 여부를 판단할 수 있다.

단계 S502에서 현재 모드가 추적 모드가 아닌 것으로 판단되면, 단계 S504에서, 데이터 처리부(120)는 현재 모드가 미정의(undefined) 모드인 것으로 판단하고 표적의 탐지 및 추적을 종료할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 현재 모드가 탐지 모드 및 추적 모드가 아닌 미정의 모드인 것으로 판단할 수 있다.

한편, 단계 S502에서 현재 모드가 추적 모드인 것으로 판단되면, 단계 S506에서, 데이터 처리부(120)는 수신된 영상 데이터에 영상 전처리(이하, "제2 영상 전처리"라 함)를 수행할 수 있다. 일 실시예에 있어서, 영상 데이터는 제1 영상 데이터 또는 제2 영상 데이터일 수 있다. 일 실시예에 있어서, 제2 영상 전처리는 제1 영상 데이터, 제2 영상 데이터 및 표적의 특성에 따라 서로 다르게 구현될 수 있다. 또한, 제2 영상 전처리는 추적 모드의 특성에 따라 탐지 모드와 다르게 구현될 수 있다.

단계 S508에서, 데이터 처리부(120)는 영상 전처리된 영상 데이터에 기초하여 복수의 표적 후보(이하, "제2 표적 후보"라 함)를 결정할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 제2 영상 전처리된 영상 데이터로부터 복수의 제2 표적 후보를 검출하기 위한 기능을 수행할 수 있다.

단계 S510에서, 데이터 처리부(120)는 복수의 제2 표적 후보에서 추적 중인 표적이 존재하는지 여부를 판단할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 복수의 제2 표적 후보 중에서 추적을 유지하는 표적이 존재하는지 여부를 판단할 수 있다.

일 실시예에 있어서, 제2 표적 후보의 검출은 제1 영상 데이터, 제2 영상 데이터 및 표적의 특성에 따라 서로 다르게 구현될 수 있다. 또한, 제2 표적 후보의 검출은 추적 모드의 특성에 따라 탐지 모드와 다르게 구현될 수 있다.

단계 S510에서 복수의 제2 표적 후보에서 추적 중인 표적이 존재하는 것으로 판단되면, 단계 S512에서, 데이터 처리부(120)는 현재 추적중인 표적의 정보를 갱신할 수 있다.

단계 S514에서, 데이터 처리부(120)는 표적 및 영상 데이터에 기초하여 위치 오차를 결정할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 표적의 위치와 영상 데이터의 중심 위치 간의 위치 오차를 산출하고, 산출된 위치 오차를 포함하는 데이터 처리 결과 정보를 생성할 수 있다. 일 실시예에 있어서, 데이터 처리 결과 정보는 제1 영상 데이터에 대한 제1 데이터 처리 결과 정보 또는 제2 영상 데이터에 대한 제2 데이터 처리 결과 정보를 포함할 수 있다.

한편, 단계 S510에서 복수의 제2 표적 후보에서 추적 중인 표적이 존재하지 않은 것으로 판단되면, 단계 S516에서, 데이터 처리부(120)는 표적 재탐지를 수행할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 추적중인 표적의 정보를 초기화하고, 현재 모드를 탐지 모드로 변환하여, 표적 탐지를 다시 수행할 수 있다.

도 6은 본 발명의 일 실시예에 따라 표적 재탐지를 수행하는 방법을 나타낸 흐름도이다. 도 6을 참조하면, 단계 S602에서, 데이터 처리부(120)는 복수의 제2 표적 후보에서 추적 중인 표적이 존재하지 않은 것으로 판단되면, 표적의 재포착을 수행할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 표적의 재포착 기능을 동작시켜, 카메라 모듈(110)로부터 수신되는 다음 영상 데이터에 대해 도 4 및 도 5에 도시된 절차를 수행할 수 있다.

단계 S604에서, 데이터 처리부(120)는 표적 재포착을 통해 표적이 재포착되었는지 여부를 판단할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 사전 설정된 영상 데이터가 수신되는 동안 표적 재포착을 통해 표적의 재포착이 성공되었는지 여부를 판단할 수 있다.

단계 S604에서 표적 재포착을 통해 표적이 재포착된 것으로 판단되면, 도 5의 단계 S514가 수행될 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 표적 재포착을 통해 표적의 재포착이 성공된 것으로 판단되면, 표적의 위치와 영상 데이터의 중심 위치 간의 위치 오차를 산출하고, 산출된 위치 오차를 포함하는 데이터 처리 결과 정보를 생성할 수 있다.

한편, 단계 S604에서 표적 재포착을 통해 표적이 재포착되지 않은 것으로 판단되면, 단계 S606에서, 데이터 처리부(120)는 표적 재포착의 횟수가 제1 임계값을 초과하였는지 여부를 판단할 수 있다. 일 실시예에 있어서, 제1 임계값은 0일 수 있다. 그러나, 제1 임계값은 반드시 이에 한정되는 것은 아니다.

단계 S606에서 표적 재포착의 횟수가 제1 임계값을 초과한 것으로 판단되면, 단계 S608에서, 데이터 처리부(120)는 표적의 정보를 초기화할 수 있다. 단계 S610에서, 데이터 처리부(120)는 현재 모드를 탐지 모드로 변환할 수 있다. 따라서, 데이터 처리부(120)는 도 4 및 도 5에 도시된 절차를 다시 수행할 수 있다.

한편, 단계 S606에서 표적 재포착의 횟수가 제1 임계값을 초과하지 않은 것으로 판단되면, 데이터 처리부(120)는 도 4 및 도 5에 도시된 절차를 다시 수행할 수 있다.

도 7은 본 발명의 일 실시예에 따라 추적 오차 정보를 생성하는 방법을 나타낸 흐름도이다. 도 7을 참조하면, 단계 S702에서, 데이터 처리부(120)는 데이터 처리 결과 정보를 수신할 수 있다. 일 실시예에 있어서, 데이터 처리 결과 정보는 제1 데이터 처리 결과 정보 또는 제2 데이터 처리 결과 정보를 포함할 수 있다.

단계 S704에서, 데이터 처리부(120)는 제1 영상 데이터에 대해 추적 모드인지 여부를 판단할 수 있다. 일 실시예에 있어서, 데이터 처리부(120)는 제1 영상 데이터에 대해 현재 모드가 추적 모드인지 여부를 판단할 수 있다.

본 실시예에서는 제1 영상 데이터에 대한 제1 데이터 처리 결과 정보와 제2 영상 데이터에 대한 제2 데이터 처리 결과 정보는 비동기 방식으로 생성되기 때문에, 제1 데이터 처리 결과 정보 및 제2 데이터 처리 결과 정보는 비동기 방식으로 수신될 수 있다. 따라서, 제1 데이터 처리 결과 정보 및 제2 데이터 처리 결과 정보는 일 실시예에 따른 세부 조건에 해당하지 않으면 카메라 모듈(110)의 짐벌(113)의 구동 제어를 위한 추적 오차 정보의 생성이 수행되지 않을 수 있다.

일 실시예에 있어서, 데이터 처리부(120)는 제1 영상 데이터에 대해 현재 모드가 추적 모드인 경우에만 제1 데이터 처리 결과 정보 및 제2 데이터 처리 결과 정보에 기초하여 추적 오차 정보를 생성할 수 있다. 이는 제1 영상 데이터가 제2 영상 데이터보다 표적을 안정적으로 추적할 수 있기 때문이며, 현재 짐벌(113)의 구동 제어를 위한 추적 오차를 제2 영상 데이터에 대한 제2 데이터 처리 결과를 이용하여 산출하더라도, 제1 영상 데이터에서 추적 오차가 일정치 이상 커지는 경우 강제로 제1 영상 데이터의 추적 오차를 이용하여 짐벌(113)의 구동 제어를 위한 추적 오차를 산출할 수 있음을 의미한다.

단계 S704에서 제1 영상 데이터에 대해 추적 모드인 것으로 판단되면, 단계 S706에서, 데이터 처리부(120)는 제2 영상 데이터에 대해 탐지 모드 또는 추적 모드인지 여부를 판단할 수 있다.

단계 S706에서 제2 영상 데이터에 대해 탐지 모드 또는 추적 모드가 아닌 것으로 판단되면, 단계 S708에서, 데이터 처리부(120)는 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 미만인지 여부를 판단할 수 있다.

단계 S708에서 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 미만인 것으로 판단되면, 단계 S710에서, 데이터 처리부(120)는 제2 영상 데이터에 대해 탐지 모드 및 추적 모드를 수행할 수 있다.

단계 S712에서, 데이터 처리부(120)는 제1 데이터 처리 결과 정보에 기초하여 카메라 모듈(110)의 짐벌(113)을 제어하기 위한 추적 오차 정보를 생성할 수 있다.

한편, 단계 S708에서 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 이상인 것으로 판단되면, 단계 S712가 수행될 수 있다. 즉, 데이터 처리부(120)는 제1 데이터 처리 결과 정보에 기초하여 카메라 모듈(110)의 짐벌(113)을 제어하기 위한 추적 오차 정보를 생성할 수 있다.

한편, 단계 S706에서 제2 영상 데이터에 대해 탐지 모드 또는 추적 모드인 것으로 판단되면, 단계 S714에서, 데이터 처리부(1210)는 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값을 초과하는지 여부를 판단할 수 있다.

단계 S714에서 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값을 초과하는 것으로 판단되면, 단계 S712가 수행될 수 있다. 즉, 데이터 처리부(120)는 제1 데이터 처리 결과 정보에 기초하여 카메라 모듈(110)의 짐벌(113)을 제어하기 위한 추적 오차 정보를 생성할 수 있다.

한편, 단계 S714에서 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값 이하인 것으로 판단되면, 단계 S716에서, 데이터 처리부(120)는 제2 영상 데이터에 대해 추적 모드인지 여부를 판단할 수 있다.

단계 S716에서 제2 영상 데이터에 대해 추적 모드가 아닌 것으로 판단되면, 단계 S712가 수행될 수 있다. 즉, 데이터 처리부(120)는 제1 데이터 처리 결과 정보에 기초하여 카메라 모듈(110)의 짐벌(113)을 제어하기 위한 추적 오차 정보를 생성할 수 있다.

한편, 단계 S716에서 제2 영상 데이터에 대해 추적 모드인 것으로 판단되면, 단계 S718에서, 데이터 처리부(120)는 제2 데이터 처리 결과 정보에 기초하여 카메라 모듈(110)의 짐벌(113)을 제어하기 위한 추적 오차 정보를 생성할 수 있다.

위 방법은 특정 실시예들을 통하여 설명되었지만, 위 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 위 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상 일부 실시예들과 첨부된 도면에 도시된 예에 의해 본 발명의 기술적 사상이 설명되었지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 이해할 수 있는 본 발명의 기술적 사상 및 범위를 벗어나지 않는 범위에서 다양한 치환, 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 치환, 변형 및 변경은 첨부된 청구범위 내에 속하는 것으로 생각되어야 한다.

100: 표적 탐지 추적 시스템, 110: 카메라 모듈, 111: 제1 카메라, 112: 제2 카메라, 113: 짐벌, 120: 데이터 처리부, 130: 제어부

Claims

표적 탐지 추적 시스템으로서,
광각의 FOV(field of view)로 표적을 포함하는 영역의 제1 영상 데이터를 획득하고, 협각의 FOV로 상기 표적을 확대한 제2 영상 데이터를 획득하는 카메라 모듈;
상기 카메라 모듈에 연결되고, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하며, 상기 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 데이터 처리부; 및
상기 데이터 처리부 및 상기 카메라 모듈에 연결되고 상기 추적 오차 정보에 기초하여 상기 표적을 추적하도록 상기 카메라 모듈을 제어하는 제어부를 포함하고,
상기 데이터 처리부는
상기 제1 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제1 데이터 처리 결과 정보를 생성하고,
상기 제2 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제2 데이터 처리 결과 정보를 생성하고,
상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하고,
상기 데이터 처리부는
현재 모드가 상기 표적을 탐지하는 탐지 모드인지 여부를 판단하고,
상기 현재 모드가 상기 탐지 모드인 것으로 판단되면, 영상 데이터에 상기 표적을 탐지하기 위한 제1 영상 전처리를 수행하고,
상기 제1 영상 전처리된 상기 영상 데이터에 기초하여 복수의 제1 표적 후보를 결정하고,
상기 복수의 제1 표적 후보에 기초하여 상기 표적을 확정하고,
상기 확정된 표적을 지속적으로 추적하도록 상기 현재 모드를 추적 모드로 변환하는 표적 탐지 추적 시스템.
제1항에 있어서, 상기 카메라 모듈은
상기 제1 영상 데이터를 획득하는 광각 카메라를 포함하는 제1 카메라;
상기 제2 영상 데이터를 획득하는 협각 카메라를 포함하는 제2 카메라; 및
상기 제1 카메라 및 상기 제2 카메라가 장착되고, 상기 제어부의 제어에 따라 상기 표적을 추적하도록 상기 제1 카메라 및 상기 제2 카메라를 상기 표적에 지향시키는 짐벌
을 포함하는 표적 탐지 추적 시스템.
제2항에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 상기 표적에 대해 광축(line of sight)이 정렬되는 표적 탐지 추적 시스템.
제2항에 있어서, 상기 짐벌은 3축 짐벌을 포함하는 표적 탐지 추적 시스템.
삭제
삭제
제1항에 있어서, 상기 영상 데이터는 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 포함하는 표적 탐지 추적 시스템.
제1항에 있어서, 상기 데이터 처리부는 상기 복수의 제1 표적 후보에서 상기 표적이 존재하지 않는 것으로 판단되면, 상기 영상 데이터가 다시 수신될 때까지 대기하는 표적 탐지 추적 시스템.
제1항에 있어서, 상기 데이터 처리부는
상기 현재 모드가 상기 표적을 추적하기 위한 추적 모드인지 여부를 판단하고,
상기 현재 모드가 상기 추적 모드인 것으로 판단되면, 상기 영상 데이터에 제2 영상 전처리를 수행하고,
상기 제2 영상 전처리된 상기 영상 데이터로부터 복수의 제2 표적 후보를 결정하고,
상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는지 여부를 판단하고,
상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는 것으로 판단되면, 상기 표적의 정보를 갱신하고,
상기 표적 및 상기 영상 데이터에 기초하여 위치 오차를 결정하고,
상기 위치 오차를 포함하는 데이터 처리 결과 정보를 생성하는 표적 탐지 추적 시스템.
제9항에 있어서, 상기 영상 데이터는 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 포함하는 표적 탐지 추적 시스템.
제10항에 있어서, 상기 데이터 처리부는 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 상기 위치 오차를 산출하는 표적 탐지 추적 시스템.
제11항에 있어서, 상기 데이터 처리 결과 정보는 상기 제1 영상 데이터에 대한 상기 제1 데이터 처리 결과 정보 또는 상기 제2 영상 데이터에 대한 상기 제2 데이터 처리 결과 정보를 포함하는 표적 탐지 추적 시스템.
제9항에 있어서, 상기 데이터 처리부는 상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하지 않는 것으로 판단되면, 상기 표적의 재탐지를 수행하는 표적 탐지 추적 시스템.
제13항에 있어서, 상기 데이터 처리부는
상기 표적의 재포착을 수행하고,
상기 표적의 재포착을 통해 상기 표적이 재포착되었는지 여부를 판단하고,
상기 표적의 재포착을 통해 상기 표적이 재포착된 것으로 판단되면, 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 위치 오차를 산출하고,
상기 산출된 위치 오차를 포함하는 상기 데이터 처리 결과 정보를 생성하는 표적 탐지 추적 시스템.
제14항에 있어서, 상기 데이터 처리부는
상기 표적의 재포착을 통해 상기 표적이 재포착되지 않은 것으로 판단되면, 상기 표적의 재포착 횟수가 제1 임계값을 초과하였는지 여부를 판단하고,
상기 표적의 재포착 횟수가 상기 제1 임계값을 초과한 것으로 판단되면, 상기 표적의 정보를 초기화하고,
상기 현재 모드를 상기 탐지 모드로 변환하는 표적 탐지 추적 시스템.
제1항에 있어서, 상기 데이터 처리부는
상기 제1 영상 데이터에 대해 추적 모드인지 여부를 판단하고,
상기 제1 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인지 여부를 판단하고,
상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 미만인지 여부를 판단하고,
상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제2 임계값 미만인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 및 상기 추적 모드를 수행하고,
상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 표적 탐지 추적 시스템.
제16항에 있어서, 상기 데이터 처리부는 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값을 초과한 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 표적 탐지 추적 시스템.
제16항에 있어서, 상기 데이터 처리부는
상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값을 초과하는지 여부를 판단하고,
상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값을 초과하는 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 표적 탐지 추적 시스템.
제18항에 있어서, 상기 데이터 처리부는
상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값 이하인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하고,
상기 제2 영상 데이터에 대해 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 표적 탐지 추적 시스템.
제19항에 있어서, 상기 데이터 처리부는 상기 제2 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 표적 탐지 추적 시스템.
표적 탐지 추적 시스템에서의 표적 탐지 추적 방법으로서,
표적 탐지 추적 시스템의 카메라 모듈에서, 광각의 FOV로 표적을 포함하는 영역의 제1 영상 데이터를 획득하는 단계;
상기 카메라 모듈에서, 협각의 FOV로 상기 표적을 확대한 제2 영상 데이터를 획득하는 단계;
상기 표적 탐지 추적 시스템의 데이터 처리부에서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계;
상기 데이터 처리부에서, 상기 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 단계; 및
상기 표적 탐지 추적 시스템의 제어부에서, 상기 추적 오차 정보에 기초하여 상기 표적을 추적하도록 상기 카메라 모듈을 제어하는 단계를 포함하고,
상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는
상기 제1 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제1 데이터 처리 결과 정보를 생성하는 단계; 및
상기 제2 영상 데이터에 기초하여 상기 표적의 탐지 및 추적을 수행하고, 상기 표적의 탐지 및 추적에 대한 제2 데이터 처리 결과 정보를 생성하는 단계를 포함하고,
상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는
현재 모드가 상기 표적을 탐지하는 탐지 모드인지 여부를 판단하는 단계;
상기 현재 모드가 상기 탐지 모드인 것으로 판단되면, 영상 데이터에 상기 표적을 탐지하기 위한 제1 영상 전처리를 수행하는 단계;
상기 제1 영상 전처리된 상기 영상 데이터에 기초하여 복수의 제1 표적 후보를 결정하는 단계;
상기 복수의 제1 표적 후보에 기초하여 상기 표적을 확정하는 단계; 및
상기 확정된 표적을 지속적으로 추적하도록 상기 현재 모드를 추적 모드로 변환하는 단계
를 포함하는 표적 탐지 추적 방법.
제21항에 있어서, 상기 카메라 모듈은
상기 제1 영상 데이터를 획득하는 광각 카메라를 포함하는 제1 카메라;
상기 제2 영상 데이터를 획득하는 협각 카메라를 포함하는 제2 카메라; 및
상기 제1 카메라 및 상기 제2 카메라가 장착되고, 상기 제어부의 제어에 따라 상기 표적을 추적하도록 상기 제1 카메라 및 상기 제2 카메라를 상기 표적에 지향시키는 짐벌
을 포함하는 표적 탐지 추적 방법.
제22항에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 상기 표적에 대해 광축이 정렬되는 표적 탐지 추적 방법.
제22항에 있어서, 상기 짐벌은 3축 짐벌을 포함하는 표적 탐지 추적 방법.
삭제
삭제
제21항에 있어서, 상기 영상 데이터는 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 포함하는 표적 탐지 추적 방법.
제21항에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는
상기 복수의 제1 표적 후보에서 상기 표적이 존재하지 않는 것으로 판단되면, 상기 영상 데이터가 다시 수신될 때까지 대기하는 단계
를 더 포함하는 표적 탐지 추적 방법.
제21항에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는
상기 현재 모드가 상기 표적을 추적하기 위한 추적 모드인지 여부를 판단하는 단계;
상기 현재 모드가 상기 추적 모드인 것으로 판단되면, 상기 영상 데이터에 제2 영상 전처리를 수행하는 단계;
상기 제2 영상 전처리된 상기 영상 데이터로부터 복수의 제2 표적 후보를 결정하는 단계;
상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는지 여부를 판단하는 단계;
상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하는 것으로 판단되면, 상기 표적의 정보를 갱신하는 단계;
상기 표적 및 상기 영상 데이터에 기초하여 위치 오차를 결정하는 단계; 및
상기 위치 오차를 포함하는 데이터 처리 결과 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제29항에 있어서, 상기 영상 데이터는 상기 제1 영상 데이터 또는 상기 제2 영상 데이터를 포함하는 표적 탐지 추적 방법.
제30항에 있어서, 상기 표적 및 상기 영상 데이터에 기초하여 위치 오차를 결정하는 단계는
상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 상기 위치 오차를 산출하는 단계
를 포함하는 표적 탐지 추적 방법.
제31항에 있어서, 상기 데이터 처리 결과 정보는 상기 제1 영상 데이터에 대한 상기 제1 데이터 처리 결과 정보 또는 상기 제2 영상 데이터에 대한 상기 제2 데이터 처리 결과 정보를 포함하는 표적 탐지 추적 방법.
제29항에 있어서, 상기 제1 영상 데이터 및 상기 제2 영상 데이터에 데이터 처리를 수행하여 상기 표적의 탐지 및 추적을 수행하는 단계는
상기 복수의 제2 표적 후보에서 추적 중인 상기 표적이 존재하지 않는 것으로 판단되면, 상기 표적의 재탐지를 수행하는 단계
를 포함하는 표적 탐지 추적 방법.
제33항에 있어서, 상기 표적의 재탐지를 수행하는 단계는
상기 표적의 재포착을 수행하는 단계;
상기 표적의 재포착을 통해 상기 표적이 재포착되었는지 여부를 판단하는 단계;
상기 표적의 재포착을 통해 상기 표적이 재포착된 것으로 판단되면, 상기 표적의 위치와 상기 영상 데이터의 중심 위치 간의 위치 오차를 산출하는 단계; 및
상기 산출된 위치 오차를 포함하는 상기 데이터 처리 결과 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제34항에 있어서, 상기 표적의 재탐지를 수행하는 단계는
상기 표적의 재포착을 통해 상기 표적이 재포착되지 않은 것으로 판단되면, 상기 표적의 재포착 횟수가 제1 임계값을 초과하였는지 여부를 판단하는 단계;
상기 표적의 재포착 횟수가 상기 제1 임계값을 초과한 것으로 판단되면, 상기 표적의 정보를 초기화하는 단계; 및
상기 현재 모드를 상기 탐지 모드로 변환하는 단계
를 포함하는 표적 탐지 추적 방법.
제35항에 있어서, 상기 표적의 탐지 및 추적에 기초하여 추적 오차 정보를 생성하는 단계는
상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제36항에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는
상기 제1 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하는 단계;
상기 제1 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인지 여부를 판단하는 단계;
상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값 미만인지 여부를 판단하는 단계;
상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제2 임계값 미만인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 탐지 모드 및 상기 추적 모드를 수행하는 단계; 및
상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제37항에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는
상기 제1 데이터 처리 결과 정보가 사전 설정된 제2 임계값을 초과한 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제37항에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는
상기 제2 영상 데이터에 대해 상기 탐지 모드 또는 상기 추적 모드인 것으로 판단되면, 상기 제1 데이터 처리 결과 정보가 사전 설정된 제3 임계값을 초과하는지 여부를 판단하는 단계; 및
상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값을 초과하는 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제39항에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는
상기 제1 데이터 처리 결과 정보가 상기 사전 설정된 제3 임계값 이하인 것으로 판단되면, 상기 제2 영상 데이터에 대해 상기 추적 모드인지 여부를 판단하는 단계; 및
상기 제2 영상 데이터에 대해 상기 추적 모드가 아닌 것으로 판단되면, 상기 제1 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.
제40항에 있어서, 상기 제1 데이터 처리 결과 정보 또는 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계는
상기 제2 영상 데이터에 대해 상기 추적 모드인 것으로 판단되면, 상기 제2 데이터 처리 결과 정보에 기초하여 상기 추적 오차 정보를 생성하는 단계
를 포함하는 표적 탐지 추적 방법.