KR101731243B1

KR101731243B1 - A video surveillance apparatus for identification and tracking multiple moving objects with similar colors and method thereof

Info

Publication number: KR101731243B1
Application number: KR1020150178724A
Authority: KR
Inventors: 주영훈; 이정식
Original assignee: 군산대학교 산학협력단
Priority date: 2015-12-15
Filing date: 2015-12-15
Publication date: 2017-04-28

Abstract

The present invention relates to a video surveillance apparatus and method for identifying and tracking multiple moving objects having similar colors, which can overcome a disadvantage of insufficient tracking performance when a tracking target has a color similar to that of background or moving objects having similar colors are tracked. According to the method in which a video surveillance system monitors multiple moving objects, modeling is performed on a background included in input video, and at least two movement regions separated from the modeled background are detected. The detected movement regions are recognized, the recognized movement regions are divided into a unique region of a moving object and a background region. Moving objects of different frames are correlated through color matching based on unique regions of the moving objects which are separated from background regions with respect to video of different frames, and thus the moving objects are identified. The location of the identified moving object is predicted and corrected by using a filter, thereby tracking the moving object.

Description

The present invention relates to a video surveillance apparatus for identifying and tracking multiple moving objects having similar colors,

본 발명은 영상 감시 기술에 관한 것으로, 특히 영상을 입력받아 영상 내의 다중 이동 물체를 식별하되 이러한 다중 이동 물체가 서로 유사한 색상 정보를 지닐 경우 각각의 이동 물체를 지속적으로 추적할 수 있는 영상 감시 장치 및 방법, 그 방법을 기록한 기록매체에 관한 것이다.The present invention relates to a video surveillance technique, and more particularly, to an image surveillance technique capable of continuously capturing moving objects when multiple moving objects having similar color information are input, And a recording medium on which the method is recorded.

최근 영상 처리 기술의 발달 및 감시 시스템의 설치비용 저하와 함께 통합 관제 시설이 구축되면서 수요가 확대되고 있는 추세이다. 과거의 영상 감시 시스템은 CCTV(Closed Circuit Television)로부터 실시간으로 영상을 받아와 운영요원이 직접 감시하거나, DVR(Digital Video Recorder)에 저장한 후, 저장된 영상의 사후 분석을 통해 사건을 해결하는 방법으로 이용되었다. 그러나 CCTV 보급 개수에 따른 감시 인력 부족과 오랜 시간 모니터링 할 경우 집중력 저하 등으로 인해 사건 발생 시 즉각적인 대응이 불가능하다는 분석결과가 나왔다.Recently, with the development of the image processing technology and the installation cost of the surveillance system, the demand for the integrated control facility has been increasing. In the past, the video surveillance system receives the video from the closed circuit television (CCTV) in real time and the operation staff directly monitors it, or stores it in the DVR (Digital Video Recorder) and then resolves the incident through post analysis of the stored video Respectively. However, analysts say the shortage of surveillance workers due to the number of CCTV replenishment and the lack of concentration when monitoring for long periods of time make it impossible to respond immediately to incidents.

이러한 문제점을 보완하기 위해 영상 처리를 이용한 지능형 영상 감시 시스템(Intelligent video surveillance system)이 각광 받고 있다. 지능형 영상 감시 시스템은 무인 감시가 가능하고 사건이 발생할 경우 각 상황에 맞는 이벤트(Event)를 발생시켜 즉각적인 사건 대응이 가능하므로 실시간 도난 감시, 도로의 교통 감시, 건물 내/외부, 기반 시설 관리 등 다양한 분야에서 활용되고 있다. 특히, 현재 상용화된 CCTV 카메라 중 이동 물체 감지 기술은 방화, 절도, 폭행 등 잠재적 범죄인으로 하여금 경각심을 불러 일으켜 범죄에 대한 사전 예방을 할 수 있다는 것 또한 효과적이다. 최근에는 이동 물체 감지 기술과 함께 식별 및 추적에 관한 기술 개발을 위해 국내외에서 많은 연구가 진행 중에 있다.To overcome this problem, an intelligent video surveillance system using image processing is attracting attention. The intelligent video surveillance system enables unmanned surveillance and it can generate events according to each situation in case of an incident, so it can respond to an incident instantly. Therefore, it can be used for real time theft monitoring, road traffic monitoring, It is used in the field. Particularly, it is also effective that the moving object detection technology among the commercialized CCTV cameras can prevent the criminals by causing potential criminals such as fire, theft and assault, to raise awareness. In recent years, many researches are underway at home and abroad to develop technology for identification and tracking along with moving object detection technology.

따라서, 이러한 지능형 영상 감시 시스템의 요소 기술로서, 다수의 객체가 포함된 영상 내에서 실시간으로 복수 개의 이동 물체를 특정하고, 이러한 이동 물체의 움직임을 자율적으로 추적, 감시할 수 있는 고도화된 기술적 수단의 제시가 요구된다.Therefore, as an elemental technology of such an intelligent video surveillance system, it is possible to specify a plurality of moving objects in real time in an image including a plurality of objects, and to provide advanced technical means for autonomously tracking and monitoring the movement of such moving objects Presentation is required.

한국특허공개공보 10-2010-0077662, 2010.07.08 공개, 주식회사 에디텍Korean Patent Laid-Open Publication No. 10-2010-0077662, Published Jul. 2010,

본 발명이 해결하고자 하는 기술적 과제는, 종래의 비디오 영상을 이용한 지능형 감시 시스템이 이동 물체를 인식하여 추적함에 있어서, 잡음에 민감하고 이동 물체가 겹쳐지거나 인식하기 위한 물체의 모양에서 벗어날 경우에는 인식률이 현저하게 저하되는 약점을 극복하며, 추적 대상의 색상이 배경과 유사한 경우나 유사한 색상을 지닌 이동 물체들의 추적 성능이 불충분하다는 문제점을 해소하고자 한다.SUMMARY OF THE INVENTION The object of the present invention is to provide an intelligent surveillance system using a conventional video image that recognizes and tracks a moving object and is sensitive to noise and when a moving object overlaps or deviates from the shape of an object for recognition, Overcoming the weak points which are remarkably degraded, and solving the problem that the tracking performance of the moving object having the similar color or the similar color to the background is inadequate.

상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다중 이동 물체의 감시 방법은, 영상 감시 시스템이 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 움직임 영역을 검출하는 단계; 상기 영상 감시 시스템이 검출된 상기 움직임 영역을 인식하고, 상기 인식된 움직임 영역으로부터 이동 물체의 고유 영역과 배경 영역을 분류하는 단계; 상기 영상 감시 시스템이 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역에 기초한 색상 매칭을 통해 프레임들 간의 이동 물체를 대응시킴으로써 이동 물체를 식별하는 단계; 및 상기 영상 감시 시스템이 필터를 이용하여 식별된 상기 이동 물체의 위치를 예측 보정함으로써 이동 물체를 추적하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method for monitoring multiple moving objects, the method comprising: detecting at least two motion regions distinguished from the modeled background by modeling a background from an input image of the video surveillance system; ; Recognizing the motion region in which the video surveillance system is detected, and classifying the inherent region and the background region of the moving object from the recognized motion region; Identifying a moving object by associating moving objects between frames through color matching based on a unique area of the moving object classified from the background area for images of different frames by the video surveillance system; And tracking the moving object by predicting and correcting the position of the moving object identified using the filter by the video surveillance system.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 움직임 영역을 검출하는 단계는, RGB 색상 정보에 대한 상호 관계를 확률 모델 기반으로 하여 상기 입력된 영상의 배경(background)을 모델링하는 단계; 상기 모델링된 배경에서 분류된 전경(foreground)인 움직임 영역을 검출하는 단계; 및 상기 입력된 영상의 값을 미리 설정된 임계값과 비교하여 배경 모델을 이진화하는 단계를 포함할 수 있다. 또한, 상기 움직임 영역을 검출하는 단계는, 이진화된 영상으로부터 모폴로지(morphology) 기법인 침식(erosion) 연산을 이용하여 잡음을 제거하는 단계; 및 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실 또는 분리를 모폴로지 기법인 팽창(dilation) 연산을 통해 방지하는 단계를 더 포함할 수 있다.In the method of monitoring multiple moving objects according to an exemplary embodiment, the step of detecting the moving region may include modeling a background of the input image based on a correlation model of RGB color information based on a probability model; Detecting a motion region that is a foreground classified in the modeled background; And binarizing the background model by comparing the value of the input image with a preset threshold value. The detecting the motion region may include removing noise from a binarized image using an erosion operation, which is a morphology technique; And preventing the partial loss or separation of the moving object region generated in the erosion calculation process through dilation operation which is a morphology technique.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 움직임 영역은, 검출된 상기 움직임 영역에 고유 식별자를 부여하는 라벨링(labeling)을 통해 인식될 수 있다.In the method for monitoring multiple moving objects according to an exemplary embodiment, the moving area may be recognized through labeling that gives a unique identifier to the detected moving area.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체의 고유 영역은, 상기 인식된 움직임 영역 내에 포함된 배경 영역이 제외된 이동 물체만의 색상 정보를 포함하는 영역으로서, 상기 이동 물체의 고유 영역과 배경 영역을 분류하는 단계는, 상기 인식된 움직임 영역을 소정 개수의 블록으로 분할하는 단계; 및 분할된 상기 블록의 화소를 각각 분석하여 배경 영역이 아닌 블록만을 선택하여 이동 물체의 고유 영역으로 분류하는 단계를 포함할 수 있다. 또한, 상기 이동 물체의 고유 영역은, 분할된 상기 블록 내에 포함된 화소들 중 그 값이 '0'이 아닌 화소의 개수가 기준치 이상인 블록을 선택함으로써 분류되고, 상기 배경 영역은, 분할된 상기 블록 내에 포함된 화소들 중 그 값이 '0'이 아닌 화소의 개수가 기준치 미만인 블록을 선택함으로써 분류될 수 있다.In the method of monitoring multiple moving objects according to an embodiment, the inherent area of the moving object is an area including color information of only a moving object excluding a background area included in the recognized moving area, The step of classifying the inherent region and the background region includes: dividing the recognized motion region into a predetermined number of blocks; And analyzing each of the pixels of the divided blocks to select only blocks that are not background areas and classifying the blocks as a unique area of the moving object. In addition, the inherent region of the moving object is classified by selecting a block in which the number of pixels whose value is not '0' is equal to or larger than a reference value among the pixels included in the divided block, By selecting a block in which the number of pixels whose value is not '0' is less than the reference value.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체를 식별하는 단계는, 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출하는 단계; 및 산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단하는 단계를 포함할 수 있다. 또한, 상기 제 1 프레임의 영상과 상기 제 2 프레임의 영상에서 선정된 블록들의 상기 평균값의 차이가 미리 설정된 임계 범위 내인 경우 상기 블록이 일치한다고 판단할 수 있다.In the method of monitoring multiple moving objects according to an exemplary embodiment, the step of identifying the moving object may include the steps of: identifying, as an HSV color space, an RGB color space in a unique area of the moving object classified from the background area, And calculating an average value for each of H, S, and V; And determining whether the blocks are matched by matching the selected blocks in the images of the first frame and the images of the second frame using the calculated average values. If the difference between the average values of the blocks selected in the first frame image and the second frame image is within a preset threshold range, it can be determined that the blocks match.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체를 식별하는 단계는, 복수 개의 인식된 움직임 영역이 소정 거리 내에 분포된 경우, 복수 개의 영역들을 포함하는 하나의 군집(cluster)으로서 이동 물체를 식별하는 단계를 더 포함할 수 있다. 또한, 상기 하나의 군집으로서 이동 물체를 식별하는 단계는, 상기 인식된 움직임 영역의 중심 위치로부터 군집의 위치를 설정하는 단계; 설정된 상기 군집의 위치로부터 상기 이동 물체의 고유 영역의 중심 위치까지의 거리를 산출하는 단계; 및 산출된 상기 거리가 미리 설정한 임계값 미만인 영역을 하나의 군집으로 형성하고 군집의 중심 위치를 재설정하는 단계를 포함할 수 있다.In the method of monitoring multiple moving objects according to an exemplary embodiment, the step of identifying the moving object may include moving a plurality of recognized moving regions as a cluster including a plurality of regions when the plurality of recognized moving regions are distributed within a predetermined distance And identifying the object. In addition, the step of identifying the moving object as the one cluster may include the steps of: setting the position of the cluster from the center position of the recognized moving area; Calculating a distance from a position of the set cluster to a center position of a characteristic region of the moving object; And forming an area having the calculated distance less than a predetermined threshold value as one cluster and resetting the center position of the cluster.

일 실시예에 따른 다중 이동 물체의 감시 방법에서, 상기 이동 물체를 추적하는 단계는, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 연속하는 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 서로 미리 지정된 거리 내에 존재하지 않을 경우 동일한 이동 물체가 아니라고 판단할 수 있다. 또한, 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 동일한 이동 물체가 아니라고 판단된 경우, 현재 프레임에 앞서 연속하는 두 개의 프레임의 영상에서의 추적 위치 간의 이동 거리를 이용하여 직전 프레임의 영상에서의 추적 위치로부터 현재 프레임의 영상에서의 식별 위치를 예측하는 단계를 더 포함할 수 있다. 나아가, 상기 이동 물체를 추적하는 단계는, 적어도 둘 이상의 이동 물체가 식별된 경우, 템플릿 매칭(template matching)을 통해 이동 물체의 특정 영역을 인식하고, 인식된 특정 영역, 식별된 상기 이동 물체 및 상기 이동 물체 간의 중심 위치를 이용하여 상기 이동 물체가 오버랩(overlap)되었는지 여부를 판단하는 단계를 더 포함할 수 있다.In the method of monitoring multiple moving objects according to an exemplary embodiment, the step of tracking the moving object includes predicting a position of the moving objects using a Kalman filter, If the recognized moving object does not exist within a predetermined distance from each other, it can be determined that the moving object is not the same moving object. In addition, when it is determined that the recognized moving object is not the same moving object, the moving distance between the tracking positions in the images of the two consecutive frames preceding the current frame is used to calculate the distance And a step of predicting an identification position in an image of the current frame from the tracking position. Further, the step of tracking the moving object may include: recognizing a specific area of the moving object through template matching when at least two moving objects are identified; and recognizing the recognized specific area, the identified moving object, And determining whether the moving object is overlapped using the center position between the moving objects.

한편, 이하에서는 상기 기재된 다중 이동 물체의 감시 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.The present invention also provides a computer-readable recording medium having recorded thereon a program for causing a computer to execute the method for monitoring multiple moving objects described above.

상기 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 다중 이동 물체 감시 장치는, 카메라로부터 촬영된 영상을 입력받는 입력부; 입력된 영상 내에 포함된 적어도 둘 이상의 이동 물체의 움직임을 감시하는 영상 감시 프로그램을 저장하는 메모리; 및 상기 영상 감시 프로그램을 구동하는 적어도 하나의 프로세서를 포함하되, 상기 메모리에 저장된 영상 감시 프로그램은, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 움직임 영역을 검출하고, 검출된 상기 움직임 영역을 인식하고, 상기 인식된 움직임 영역으로부터 이동 물체의 고유 영역과 배경 영역을 분류하고, 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역에 기초한 색상 매칭을 통해 프레임들 간의 이동 물체를 대응시킴으로써 이동 물체를 식별하며, 필터를 이용하여 식별된 상기 이동 물체의 위치를 예측 보정함으로써 이동 물체를 추적하는 명령어를 포함한다.According to another aspect of the present invention, there is provided an apparatus for monitoring a moving object, the apparatus comprising: an input unit for receiving an image captured by a camera; A memory for storing a video surveillance program for monitoring movement of at least two moving objects included in the input video; And at least one processor for driving the video surveillance program, wherein the video surveillance program stored in the memory detects at least two motion regions distinguished from the modeled background by modeling the background from the input video, Recognizing the moving region, classifying the inherent region and the background region of the moving object from the recognized moving region, and performing color matching based on the inherent region of the moving object classified from the background region with respect to images of different frames And identifying the moving object by mapping the moving object between the frames, and tracking the moving object by predictively correcting the position of the moving object identified using the filter.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 검출된 상기 움직임 영역에 고유 식별자를 부여하는 라벨링(labeling)을 통해 상기 움직임 영역을 인식하고, 상기 인식된 움직임 영역을 소정 개수의 블록으로 분할하며, 분할된 상기 블록의 화소를 각각 분석하여 배경 영역이 아닌 블록만을 선택하여 이동 물체의 고유 영역으로 분류할 수 있다.In the multiple moving object monitoring apparatus according to another embodiment, the video surveillance program stored in the memory may recognize the moving area through labeling to give a unique identifier to the detected moving area, Is divided into a predetermined number of blocks and the pixels of the divided blocks are respectively analyzed to select only the blocks that are not the background areas and can be classified into the unique areas of the moving object.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출하며, 산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단할 수 있다.In the multiple moving object monitoring apparatus according to another embodiment, the video surveillance program stored in the memory may convert RGB color spaces in a unique area of the moving object classified from the background area into HSV color space for images of different frames And calculates the average value for each of H, S, and V. Using the calculated average value, it is possible to determine whether or not the blocks are matched by matching the selected blocks in the images of the first frame and the images of the second frame.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 복수 개의 인식된 움직임 영역이 소정 거리 내에 분포된 경우, 복수 개의 영역들을 포함하는 하나의 군집(cluster)으로서 이동 물체를 식별할 수 있다.In the multiple moving object monitoring apparatus according to another embodiment, when the plurality of recognized moving regions are distributed within a predetermined distance, the video surveillance program stored in the memory stores, as a cluster including a plurality of regions, Can be identified.

다른 실시예에 따른 다중 이동 물체 감시 장치에서, 상기 메모리에 저장된 영상 감시 프로그램은, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 연속하는 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 서로 미리 지정된 거리 내에 존재하지 않을 경우 동일한 이동 물체가 아니라고 판단하며, 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 동일한 이동 물체가 아니라고 판단된 경우, 현재 프레임에 앞서 연속하는 두 개의 프레임의 영상에서의 추적 위치 간의 이동 거리를 이용하여 직전 프레임의 영상에서의 추적 위치로부터 현재 프레임의 영상에서의 식별 위치를 예측하고, 적어도 둘 이상의 이동 물체가 식별된 경우, 템플릿 매칭(template matching)을 통해 이동 물체의 특정 영역을 인식하고, 인식된 특정 영역, 식별된 상기 이동 물체 및 상기 이동 물체 간의 중심 위치를 이용하여 상기 이동 물체가 오버랩(overlap)되었는지 여부를 판단할 수 있다.In the multiple moving object monitoring apparatus according to another embodiment, the video monitoring program stored in the memory may predict and correct the position of the moving objects using a Kalman filter, If it is determined that the recognized moving object is not the same moving object, it is determined that the moving object is not the same moving object, The method comprising the steps of: predicting an identification position in an image of a current frame from a tracking position in an image of a previous frame using a moving distance between tracking positions in an image of the frame; Recognizes a specific area of the moving object through the touch panel, Using the center position between the station and the identified moving object and the moving object is a moving object it can be determined whether or not the overlap (overlap).

본 발명의 실시예들에 따르면, 배경과 이동 물체 간의 영역 분류를 통해 이동 물체만의 고유 색상 정보를 활용한 물체 식별이 가능하고, 분류된 영역들을 하나의 군집으로 모델링함으로써 이동 물체 영역이 배경 색상과 유사하거나 조명이 변화하는 환경에서도 강인한 검출 성능을 보장하며, 가상 영역을 이용한 이동 물체의 동일성 판단을 통해 유사한 색상을 지닌 다수의 이동 물체를 효과적으로 추적할 수 있을 뿐만 아니라, 템플릿 매칭을 통해 이동 물체의 겹쳐짐과 분리 과정에서도 지속적인 추적이 가능하다.According to embodiments of the present invention, it is possible to identify an object using unique color information of only a moving object through background classification between a background and a moving object. By modeling the classified regions into one cluster, It is possible to effectively track a plurality of moving objects having similar colors through the determination of the identity of the moving object using the virtual area, It is possible to keep track of the overlapping and separation process.

도 1은 본 발명의 일 실시예에 따른 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 다중 이동 물체의 감시 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 움직임 영역을 검출하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 3은 이진화 및 모폴로지를 이용한 이동 물체의 영역 검출 및 잡음 제거 결과를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 이동 물체의 고유 영역과 배경 영역을 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 5는 라벨링을 이용하여 이동 물체 영역을 검출하는 과정을 예시한 도면이다.
도 6은 관심 영역인 움직임 영역을 분할한 결과를 예시한 도면이다.
도 7은 도 6의 영상에 기초하여 이동 물체의 고유 영역과 배경 영역을 분류한 결과를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 이동 물체를 식별하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 9는 블록 매칭 결과를 예시한 도면이다.
도 10은 모델링된 군집의 무게 중심의 위치를 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 이동 물체를 추적하는 과정을 보다 구체적으로 도시한 흐름도이다.
도 12는 이동 물체에 대한 인식 실패의 경우를 예시한 도면이다.
도 13은 가상 영역을 이용하여 이동 물체의 동일성을 판단하는 과정을 설명하기 위한 도면이다.
도 14는 이동 물체의 식별된 위치를 예측하는 과정을 설명하기 위한 도면이다.
도 15는 도 13 및 도 14의 방법을 이용한 추적 결과를 예시한 도면이다.
도 16은 칼만 필터를 이용한 이동 물체의 추적 결과를 예시한 도면이다.
도 17은 템플릿 매칭을 이용한 머리 영역의 인식 결과를 예시한 도면이다.
도 18은 이동 물체 간의 각도를 산출하는 과정을 설명하기 위한 도면이다.
도 19는 이동 물체 간의 겹침 여부를 판단하는 결과를 예시한 도면이다.
도 20은 본 발명의 일 실시예에 따른 영상 감시 방법을 구현한 프로그램이 채택하고 있는 알고리즘을 도시한 흐름도이다.
도 21은 본 발명의 다른 실시예에 따른 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 다중 이동 물체의 감시 장치를 도시한 블록도이다.1 is a flow chart illustrating a method for monitoring multiple moving objects for identification and tracking of multiple moving objects having similar hues according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a method for detecting a moving area in the method of monitoring multiple moving objects in FIG. 1 according to an exemplary embodiment of the present invention. Referring to FIG.
3 is a diagram illustrating a result of region detection and noise removal of a moving object using binarization and morphology.
FIG. 4 is a flowchart illustrating a process of classifying a unique region and a background region of a moving object in the method of monitoring multiple moving objects in FIG. 1 according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a process of detecting a moving object region using labeling.
6 is a diagram illustrating a result obtained by dividing a moving region that is an area of interest.
FIG. 7 is a diagram illustrating a result obtained by classifying a unique area and a background area of a moving object based on the image of FIG. 6;
FIG. 8 is a flowchart illustrating a process for identifying a moving object in the method for monitoring multiple moving objects in FIG. 1 according to an exemplary embodiment of the present invention.
9 is a diagram illustrating the result of block matching.
FIG. 10 is a view illustrating the position of the center of gravity of the modeled community.
FIG. 11 is a flowchart illustrating a process of tracking a moving object in the method of monitoring multiple moving objects in FIG. 1 according to an embodiment of the present invention.
FIG. 12 is a diagram illustrating a case of a recognition failure for a moving object.
13 is a diagram for explaining a process of determining the identity of a moving object using a virtual area.
14 is a diagram for explaining a process of predicting an identified position of a moving object.
FIG. 15 is a diagram illustrating a tracking result using the method of FIGS. 13 and 14. FIG.
16 is a diagram illustrating the tracking result of a moving object using a Kalman filter.
FIG. 17 is a diagram illustrating recognition results of a head region using template matching. FIG.
18 is a view for explaining a process of calculating an angle between moving objects.
FIG. 19 is a diagram illustrating a result of determining whether or not overlapping of moving objects exists.
20 is a flowchart illustrating an algorithm adopted by a program implementing a video surveillance method according to an embodiment of the present invention.
Figure 21 is a block diagram illustrating a monitoring system for multiple moving objects for identification and tracking of multiple moving objects having similar hues in accordance with another embodiment of the present invention.

본 발명의 실시예들을 설명하기에 앞서, 지능형 영상 감시 기술과 관련한 기존의 영상 처리 과정에서 발생하는 문제점들을 개괄적으로 살펴보고, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 소개하도록 한다.Prior to describing the embodiments of the present invention, the problems occurring in the existing image processing related to the intelligent video surveillance technology will be briefly reviewed. In order to solve these problems, technical means adopted by the embodiments of the present invention We introduce them sequentially.

일반적으로 보안 및 범죄 예방을 위한 지능형 영상 감시 시스템에서 이동 물체의 움직임 영역 검출(Moving object detection)은 CCTV 영상 분석의 가장 기본적 요소이며, 고정된 카메라에서 입력받은 영상으로부터 배경을 제거하기 위한 기법으로 다양하게 연구되고 있다. 이와 관련하여 배경 영상에서 특정 위치의 화소 밝기 값의 변화를 가우시안 분포를 이용한 배경 모델링 기법이 제안될 수 있다. 그러나 이러한 방법은 정적인 배경에서는 기존의 방법보다 우수한 검출 성능을 보이지만, 바람에 흔들리는 나뭇가지나 환경적인 변화로 인한 동적인 배경에는 다소 한계가 있다. 한편으로, 학습된 영상의 화소(pixel)들을 양자화하여 배경을 모델링하는 코드북(codebook) 방법을 이용한 동적인 배경에 강인한 방법이 제안 가능하나 이 방법은 많은 계산량으로 인해 속도가 느린 단점이 있다. 또한, 각 화소의 최소 밝기 값과 최대 밝기 값, 그리고 표준 편차를 이용한 방법이 제안 가능하나, 이 방법은 배경 모델링 이후 빠른 속도로 이동 물체 검출이 가능함에도 불구하고, 잡음에 민감한 약점을 갖는다.In general, moving object detection of moving objects in the intelligent video surveillance system for security and crime prevention is the most basic element of CCTV image analysis. It is a technique to remove background from images input from fixed cameras . In this regard, a background modeling technique using the Gaussian distribution of the change in the pixel brightness value at a specific position in the background image can be proposed. However, this method has better detection performance than the conventional method in static background, but there is a limit to the dynamic background due to windy shaking or environment change. On the other hand, it is possible to propose a robust method for a dynamic background using a codebook method of modeling a background by quantizing pixels of a learned image, but this method has a drawback that it is slow due to a large amount of computation. In addition, it is possible to propose a method using the minimum brightness value, the maximum brightness value, and the standard deviation of each pixel. However, this method has a weak sensitivity to noise even though it can detect a moving object at a high speed after background modeling.

한편, 이동 물체 인식 기술에는 적용 목적에 따라 사람, 동물, 차량 등을 분류하기 위한 방법과 각각의 분류된 특정 물체를 식별하기 위한 방법이 존재한다. 이와 관련하여 검출된 움직임 영역을 인식하기 위해 윤곽선 및 블롭(Blob)들의 데이터 집합을 이용하여 움직임 영역을 분류하는 것이 가능하다. 또한 이를 응용하여 움직임 영역들이 갖는 이동 벡터를 이용한 식별 방법을 제안 가능하며, 사람을 모델로 한 계층적 구조를 이용한 분류 기법 역시 활용 가능하다. 나아가 템플릿(template)을 기반으로 하여 하르(haar) 웨이블릿과 SVM(support vector machine)을 이용한 분류 기법이나 기울기 방향 히스토그램을 이용한 방법도 활용 가능하다. 그러나 상기 방법들은 이동 물체가 겹쳐진 경우나 인식하기 위한 물체의 모양에서 벗어날 경우에는 인식률이 현저하게 저하되는 약점을 갖는다.On the other hand, a moving object recognition technique includes a method for classifying people, animals, vehicles, and the like according to application purpose and a method for identifying each classified specific object. In this regard, it is possible to classify the motion regions using a data set of contours and blobs to recognize the detected motion regions. In addition, it is possible to propose an identification method using motion vectors of motion regions by applying it, and a classification method using a hierarchical structure based on a human model can also be utilized. Furthermore, based on a template, a classification method using a haar wavelet and support vector machine (SVM) or a method using a gradient direction histogram can be utilized. However, the above methods have a drawback in that the recognition rate is remarkably lowered when the moving object is overlapped or when it is out of the shape of the object to be recognized.

다른 한편으로, 이동 물체 추적은 식별된 물체의 위치를 지속적으로 추적하기 위함이며, 영상 내에서 물체가 겹쳐지거나 가려질 경우의 문제점을 해결하기 위해 사용된다. 식별된 이동 물체를 추적하는 방법으로는 대표적으로 색상 정보를 이용한 Mean Shift와 CAMshift 알고리즘 등이 존재한다. 먼저, Mean Shift는 색상 정보를 기반으로 커널을 사용하여 데이터 집합의 밀도분포(색상)를 기반으로 고속으로 추적하는 알고리즘이나, 탐색 윈도우의 크기를 스스로 갱신하지 못하기 때문에 지역 최대값에 수렴되기 쉬운 단점이 있다. 이를 보완하기 위해 CAMshift 알고리즘이 제안되었으며, 빠른 학습을 통해 추적 위치를 탐색하고, 탐색 윈도우의 크기를 스스로 조정하는 장점이 있지만, 이 방법 역시 초기 탐색 윈도우를 지정해 줘야 하는 문제점이 있다. 또한 추적 대상의 색상이 배경과 유사한 경우나 유사한 색상을 지닌 이동 물체들의 추적 성능은 만족스럽지 않다는 점이 단점으로 지적되었다.On the other hand, moving object tracking is used to continuously track the position of the identified object and is used to solve the problem of overlapping or obscuring objects in the image. As a method of tracking the identified moving object, there are representative mean shift and CAMshift algorithms using color information. First, Mean Shift is an algorithm that uses a kernel based on color information to track the data set at high speed based on the density distribution (color) of the data set. However, since the size of the search window can not be updated by itself, There are disadvantages. The CAMshift algorithm has been proposed to solve this problem. The CAMshift algorithm has an advantage of searching the tracking position through quick learning and adjusting the size of the search window by itself. However, this method also has a problem of specifying an initial search window. It is also pointed out that the tracking performance is not satisfactory when the color of the tracking object is similar to the background or moving objects having similar colors.

따라서, 이하에서 제안되는 본 발명의 실시예들은 상기된 문제점을 보완하여, 유사한 색상 정보를 지닌 다수의 이동 물체가 검출되었을 경우 지속적인 추적이 가능한 영상 감시 시스템을 제안하고자 한다. 제안된 기법은 크게 네 부분으로 구성된다. 움직임 영역 검출(detection), 인식(recognition) 및 분류(classification), 식별(identification), 그리고 추적(tracking) 기법이 바로 그것이다.Accordingly, embodiments of the present invention, which are proposed below, are intended to supplement the above-described problems and propose a video surveillance system capable of continuously tracking when a plurality of moving objects having similar color information are detected. The proposed method consists of four parts. This is the motion area detection, recognition and classification, identification, and tracking techniques.

이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. Incidentally, throughout the specification, " including " means not including other elements unless specifically stated to the contrary, it may include other elements.

또한, 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.Also, the terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms may be used for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprise", "having", and the like are intended to specify the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be construed as meaning consistent with meaning in the context of the relevant art and are not to be construed as ideal or overly formal in meaning unless expressly defined in the present application .

도 1은 본 발명의 일 실시예에 따른 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 다중 이동 물체의 감시 방법을 도시한 흐름도이다.1 is a flow chart illustrating a method for monitoring multiple moving objects for identification and tracking of multiple moving objects having similar hues according to an embodiment of the present invention.

S110 단계에서, 영상 감시 시스템은 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 움직임 영역을 검출한다. 이 과정에서는 움직임 영역 검출을 위해 조명 변화나, 이동 물체의 모양 변화 등에 적응적이고 강인한 가우시안 혼합 모델(GMM, Gaussian Mixture Model) 기법을 이용하여 배경을 모델링할 수 있다. 그런 다음, 모델링된 배경에서 움직임 영역을 검출할 때 발생하는 그림자 및 잡음을 제거하기 위해 영상의 이진화(binary) 및 모폴로지(morphology) 기법을 수행하는 것이 바람직하다.In step S110, the video surveillance system detects at least two motion regions distinguished from the modeled background by modeling the background from the input image. In this process, it is possible to model the background using an adaptive and robust Gaussian Mixture Model (GMM) technique for illumination change and shape change of a moving object. Then, it is desirable to perform image binary and morphology techniques to remove shadows and noise that occur when detecting motion regions in the modeled background.

S120 단계에서, 상기 영상 감시 시스템은 S110 단계를 통해 검출된 상기 움직임 영역을 인식하고, 상기 인식된 움직임 영역으로부터 이동 물체의 고유 영역과 배경 영역을 분류한다. 여기서, 상기 움직임 영역은 검출된 상기 움직임 영역에 고유 식별자를 부여하는 라벨링(labeling)을 통해 인식될 수 있으며, 상기 이동 물체의 고유 영역은 상기 인식된 움직임 영역 내에 포함된 배경 영역이 제외된 이동 물체만의 색상 정보를 포함하는 영역을 나타낸다. 보다 구체적인 과정은 이후 도 4를 참조하여 설명하도록 한다.In step S120, the video surveillance system recognizes the motion area detected in step S110, and classifies the inherent area and background area of the moving object from the recognized motion area. Here, the motion area may be recognized through labeling that gives a unique identifier to the detected motion area, and the inherent area of the moving object may be recognized as a moving object, Quot ;, and " color information " A more detailed process will be described later with reference to FIG.

S130 단계에서, 상기 영상 감시 시스템은 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역에 기초한 색상 매칭을 통해 프레임들 간의 이동 물체를 대응시킴으로써 이동 물체를 식별한다. 이 과정에서는 앞서 S120 단계를 통해 인식된 이동 물체 영역과 배경 영역의 분류하는 기법과, 분류된 이동 물체 영역을 효과적으로 식별하기 위한 방법이 채택되었으며, 보다 구체적인 과정은 이후 도 8을 참조하여 설명하도록 한다.In step S130, the video surveillance system identifies a moving object by mapping moving objects between frames through color matching based on a unique area of the moving object classified from the background area with respect to images of different frames. In this process, a technique of classifying the moving object area and the background area recognized in step S120 and a method of effectively identifying the classified moving object area are adopted, and a more detailed process will be described with reference to FIG. 8 .

S140 단계에서, 상기 영상 감시 시스템은 필터를 이용하여 식별된 상기 이동 물체의 위치를 예측 보정함으로써 이동 물체를 추적한다. 이를 위해 본 발명의 실시예들에서는 식별된 위치를 칼만 필터를 이용하여 추적하는 것이 바람직하다. 또한, 유사한 색상 정보를 지닌 다수의 이동 물체를 추적하는 기술적 수단을 채택하였으며, 보다 구체적인 과정은 이후 도 11을 참조하여 설명하도록 한다.In step S140, the video surveillance system tracks the moving object by predictively correcting the position of the moving object identified using the filter. For this, in the embodiments of the present invention, it is preferable to track the identified position using a Kalman filter. Further, a technical means for tracking a plurality of moving objects having similar color information is adopted, and a more detailed process will be described with reference to FIG.

이하에서는, 각 과정을 보다 구체적으로 기술한다.Hereinafter, each process will be described in more detail.

(1) 입력 영상에서의 움직임 영역 검출(1) Motion area detection in the input image

도 2는 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 움직임 영역을 검출하는 과정을 보다 구체적으로 도시한 흐름도이다.FIG. 2 is a flowchart illustrating a method for detecting a moving area in the method of monitoring multiple moving objects in FIG. 1 according to an exemplary embodiment of the present invention. Referring to FIG.

S111 단계에서는 RGB 색상 정보에 대한 상호 관계를 확률 모델 기반으로 하여 상기 입력된 영상의 배경(background)을 모델링한다. 구현의 관점에서, 이 과정은 영상의 배경(background)로부터 전경(foreground)을 추출하기 위해 RGB(Red-Green-Blue) 색상 정보에 대한 상호 관계를 GMM 기반으로 하여 배경을 모델링하는 것이 바람직하다.In step S111, the background of the input image is modeled based on the correlation between the RGB color information and the probability model. From an implementation point of view, it is desirable to model the background based on the GMM correlation of the red-green-blue (RGB) color information in order to extract the foreground from the background of the image.

S112 단계에서는 상기 모델링된 배경에서 분류된 전경(foreground)인 움직임 영역을 검출한다. 모델링된 배경에서 분류된 전경 즉, 움직임 영역을 검출하였을 때 검출 과정에서 빛의 반사로 인한 그림자가 같이 검출될 경우에는 이동 물체 외의 의미 없는 영역까지 함께 인식되어 이동 물체의 식별 결과에 영향을 끼칠 수 있다. In step S112, a foreground movement region classified on the modeled background is detected. In the case of detecting the foreground or movement area classified in the modeled background, when the shadow due to the reflection of light is detected in the detection process, the area other than the moving object is recognized together, which may affect the identification result of the moving object have.

이를 해결하기 위해, S113 단계에서는 상기 입력된 영상의 값을 미리 설정된 임계값과 비교하여 배경 모델을 이진화한다. 여기서 임계값은 다음의 수학식 1과 같이 식별 오류를 최소화하기 위해 도입되었다.In order to solve this problem, in step S113, the background model is binarized by comparing the value of the input image with a preset threshold value. Here, the threshold value is introduced to minimize the identification error as shown in the following equation (1).

여기서, M(x,y)는 배경 모델을 나타내며, D(x,y)은 입력 영상을 나타낸다.Here, M (x, y) denotes a background model, and D (x, y) denotes an input image.

한편, 본 발명의 실시예들은, 이진화를 통해 그림자 영역을 제거한 영상에서 CCTV의 일반적인 잡음이나 미세한 흔들림으로 인해 발생할 수 있는 잡음 요소를 제거하기 위해 추가적인 모폴로지(morphology) 기법을 처리해 줄 수 있다.Embodiments of the present invention can provide an additional morphology technique to remove noise components that may occur due to general noise or fine shaking of CCTV in an image in which a shadow region is removed through binarization.

이를 위해, S114 단계에서는, 전체 영상에서 아주 작은 잡음을 제거하기 위해 이진화된 영상으로부터 모폴로지(morphology) 기법인 침식(erosion) 연산을 이용하여 잡음을 제거하고, 상기 침식 연산 과정에서 발생하는 이동 물체 영역의 부분적 손실 또는 분리를 모폴로지 기법인 팽창(dilation) 연산을 통해 방지하는 과정을 선택적으로 더 포함하는 것이 바람직하다.For this purpose, in step S114, in order to remove a very small noise from the entire image, noise is removed from the binarized image using erosion, which is a morphology technique, and a moving object region To prevent a partial loss or separation of the input signal by a dilation operation which is a morphology technique.

도 3은 이상에서 제안된 방법에 따른 이진화 및 모폴로지를 이용한 이동 물체의 영역 검출 및 잡음 제거 결과를 예시한 도면이다. 도 3의 (a)는 모델링 될 배경 영상이며, 도 3의 (b)는 입력 영상을 나타낸다. 도 3의 (c)는 모델링된 배경 영상에서 입력된 움직임 물체 영역을 검출한 결과 영상이다. 도 3의 (c)에 도시된 결과 영상을 보면 움직임 물체 영역 외의 의미 없는 영역들까지 함께 검출된 것을 알 수 있다. 도 3의 (d)는 움직임 물체 영역과 불필요한 영역을 분리하기 위해 영상의 이진화와 모폴로지 기법을 적용한 결과 영상이다. 도 3의 (d) 영상은 라벨링을 이용해서 움직임 영역을 인식하는데 이용된다.FIG. 3 is a diagram illustrating a region detection and noise removal result of a moving object using binarization and morphology according to the method described above. 3 (a) shows a background image to be modeled, and FIG. 3 (b) shows an input image. FIG. 3 (c) is a result image obtained by detecting the moving object region inputted from the modeled background image. The result image shown in FIG. 3 (c) shows that the meaningless regions other than the moving object region are detected together. FIG. 3 (d) is a result image obtained by applying image binarization and a morphology technique in order to separate a moving object region and an unnecessary region. The image (d) of FIG. 3 is used for recognizing a moving area using labeling.

(2) 이동 물체 인식 및 영역 분류(2) Moving object recognition and area classification

도 4는 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 이동 물체의 고유 영역과 배경 영역을 분류하는 과정을 보다 구체적으로 도시한 흐름도이다.FIG. 4 is a flowchart illustrating a process of classifying a unique region and a background region of a moving object in the method of monitoring multiple moving objects in FIG. 1 according to an exemplary embodiment of the present invention.

S121 단계에서는 상기 인식된 움직임 영역을 소정 개수의 블록으로 분할한다. 이 과정에서는 이동 물체를 인식하고 영역을 분류하기 위해 앞서 S110 단계를 통해 검출된 결과 영상을 라벨링(labeling)을 통해 인식하고, 인식된 영역은 이동 물체 영역으로 간주하여

라고 정의한다. 또한, 일정한 크기 이하의 라벨은 잡음으로 간주한다. 도 5는 라벨링을 이용하여 하나의 이동 물체 영역을 검출하는 과정을 예시한 도면이다.In step S121, the recognized motion area is divided into a predetermined number of blocks. In this process, in order to recognize the moving object and classify the area, the resultant image detected in step S110 is recognized through labeling, and the recognized area is regarded as the moving object area

. Labels below a certain size are considered noise. 5 is a diagram illustrating a process of detecting one moving object region using labeling.

도 5의 (a)에 도시된 이동 물체 영역에 대하여 라벨링된 결과 영상인 도 5의 (b)를 참조하면, 충분히 이동 물체를 나타내는 영역으로 정의할 수 있다. 그러나 이동 물체 식별에 있어서 색상 정보를 이용한다면 라벨링된 영역 안의 모든 색상 정보가 이동 물체의 특징 정보로 사용될 것이며 이는 이동 물체만의 고유 색상 정보라고 할 수 없다. 따라서, 본 발명의 실시예들에서는 이동 물체만의 고유 색상 정보를 얻기 위한 방법으로 배경과 이동 물체간의 영역 분류 기법을 제안한다. Referring to FIG. 5B, which is a resultant image labeled for the moving object region shown in FIG. 5A, it can be defined as a region sufficiently representing a moving object. However, if color information is used in moving object identification, all the color information in the labeled area will be used as feature information of the moving object, which is not unique color information of the moving object. Therefore, in the embodiments of the present invention, a method of obtaining a color information of only a moving object is proposed as a method of region classification between a background and a moving object.

먼저, 도 6의 (a)와 같이 라벨링을 통해 인식된 이동 물체 영역을 관심 영역(ROI: Region of interest)(RGB 영상이 될 수 있다.)로 지정하며, 지정된 ROI를 도 6의 (b)와 같이 영역 분할 과정을 거친다. 이를 위해 본 실시예에서는 여러 실험 결과를 거쳐 실시간 연산 처리를 위해 분할된 블록 사이즈는 '10x10[pixels]'이 가장 적합하다는 결과를 얻을 수 있었으나, 이에 한정되지 않음은 당연하다.6 (a), a moving object region recognized through labeling is designated as a region of interest (ROI) (which may be an RGB image), and a designated ROI is designated as a region of interest (ROI) As shown in FIG. For this, in the present embodiment, it is possible to obtain a result that the divided block size is '10x10 [pixels]' for the real-time calculation processing through various experimental results, but it is not limited thereto.

다시 도 4로 돌아오면, S122 단계에서는 S121 단계를 통해 분할된 상기 블록의 화소를 각각 순차적으로 분석하여 배경 영역이 아닌 블록만을 선택하여 이동 물체의 고유 영역으로 분류한다.Referring back to FIG. 4, in step S122, the pixels of the block segmented in step S121 are sequentially analyzed to select only blocks other than the background area, and classified into a unique area of the moving object.

앞서 소개된 도 6의 실험 영상은 이진 영상에서 ROI만을 컬러 공간으로 변환한 영상이며, ROI 외의 모든 영역의 화소 값은 '0'으로 정의된다. 다음의 수학식 2는 이동 물체 영역과 배경 영역을 분류하기 위한 조건을 나타낸다.In the experiment image of FIG. 6, the ROI is converted into the color space only in the binary image, and the pixel values of all regions except the ROI are defined as '0'. The following equation (2) represents a condition for classifying the moving object area and the background area.

여기서, B_n(x_k,y_k)는 n번째 블록 B를 의미하고, (x_k,y_k)는 k번째 화소 값을 의미하며, l은 블록의 사이즈를 의미한다. 또한, 블록 내에 존재하는 화소 '0' 값의 개수가 아주 적을 경우에는 이동 물체 검출 과정에서 소실된 이동 물체 영역으로 판단한다. 상기 조건식을 만족하는 블록은

로 정의한다.Here, B _n (x _k , y _k ) denotes an n-th block B, (x _k , y _k ) denotes a k-th pixel value, and 1 denotes a block size. If the number of pixel '0' values existing in the block is very small, it is determined that the moving object region is lost in the moving object detection process. The block satisfying the conditional expression

.

도 7은 도 6의 영상에 기초하여 배경 영역으로부터 이동 물체의 고유 영역을 분류한 결과를 예시한 도면이다. 이 결과, 블록

의 색상 정보를 통해 이동 물체 영역의 고유 특성 정보를 분석할 수 있다. FIG. 7 is a diagram illustrating a result obtained by classifying a unique region of a moving object from a background region on the basis of the image of FIG. 6. FIG. As a result,

The characteristic information of the moving object region can be analyzed through the color information of the moving object region.

요약하건대, 상기 이동 물체의 고유 영역은, 분할된 상기 블록 내에 포함된 화소들 중 그 값이 '0'이 아닌 화소의 개수가 기준치 이상인 블록을 선택함으로써 분류되고, 상기 배경 영역은, 분할된 상기 블록 내에 포함된 화소들 중 그 값이 '0'이 아닌 화소의 개수가 기준치 미만인 블록을 선택함으로써 분류될 수 있다.In summary, the characteristic region of the moving object is classified by selecting a block in which the number of pixels whose value is not '0' among the pixels included in the divided block is equal to or greater than a reference value, By selecting a block in which the number of pixels whose value is not '0' is less than a reference value among the pixels included in the block.

(3) 이동 물체 식별(3) Moving object identification

이동 물체 식별이란 하나의 물체가 아닌 다수의 물체가 검출될 경우 이전 영상에서의 이동 물체와 현재 영상에서의 이동 물체를 서로 일치시키기 위한 과정을 말하며, 본 실시예에서는 앞서 얻어진 이동 물체 영역의 블록

의 색상 정보를 이용한 식별 방법을 제안한다.Moving object identification is a process for matching a moving object in a previous image with a moving object in a current image when a plurality of objects other than an object are detected. In the present embodiment,

And the color information of the user.

도 8은 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 이동 물체를 식별하는 과정을 보다 구체적으로 도시한 흐름도이다.FIG. 8 is a flowchart illustrating a process for identifying a moving object in the method for monitoring multiple moving objects in FIG. 1 according to an exemplary embodiment of the present invention.

S131 단계에서는 서로 다른 프레임의 영상에 대하여 배경 영역으로부터 분류된 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV(Hue-Saturation- Value) 컬러 공간으로 변환하고, H, S, V 각각에 대해 다음의 수학식 3을 이용하여 평균값 H^a, S^a, V^a을 산출한다.In step S131, the RGB color space in the unique area of the moving object classified from the background area is converted into the HSV (Hue-Saturation-Value) color space for the images of different frames, and the following mathematical expression The average values H ^a , S ^a , and V ^a are calculated using Equation (3).

여기서, h_k, s_k, v_k는 HSV 컬러 공간으로 변환된 k번째 화소 정보를 의미한다. Here, h _k , s _k , and v _k represent k-th pixel information converted into the HSV color space.

그런 다음, S132 단계에서는 산출된 평균값을 이용하여 제 1 프레임(예를 들어 현재 프레임이 될 수 있다.)의 영상과 제 2 프레임(예를 들어 현재 프레임에 시간적으로 앞서는 이전 프레임이 될 수 있다.)의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단한다. 이를 위해, 상기 제 1 프레임의 영상과 상기 제 2 프레임의 영상에서 선정된 블록들의 상기 평균값의 차이가 미리 설정된 임계 범위 내인 경우 상기 블록이 일치한다고 판단할 수 있다. 즉, 계산된 평균값들은 이전 영상을 기준으로 현재 영상에서 선정된 블록들에 대한 평균값을 모두 매칭함으로써 블록이 얼마나 일치하는지를 평가한다. 평가를 위한 방법은 다음의 수학식 4를 이용하며, 이전 영상과 현재 영상의 블록 평균값의 차이가 사용자가 지정한 임계값 (α,β,γ)보다 작을 경우 일치하다고 평가한다.Then, in step S132, the calculated average value may be used to represent a first frame (for example, a current frame) and a second frame (for example, a previous frame temporally preceding the current frame). ) To determine the coincidence of the blocks. For this, if the difference between the average value of the selected blocks in the image of the first frame and the image of the second frame is within a predetermined threshold range, it can be determined that the blocks match. That is, the calculated average values evaluate how much the blocks are matched by matching all the average values of the selected blocks in the current image with reference to the previous image. The method for evaluation uses the following Equation (4), and evaluates whether the difference between the block average value of the previous image and the current image is smaller than the threshold value (?,?,?) Specified by the user.

여기서

,

는 이전 영상에서의 평균값을 의미하고,

,

는 현재 영상에서의 평균값을 의미한다.here

,

Means an average value in the previous image,

,

Means the average value in the current image.

도 9는 상기 수학식 4를 통해 수행된 블록 매칭 결과를 예시한 도면으로서, 순서대로 (a) 59 frame, (b) 60 frame, (c) 80 frame 및 (d) 81 frame의 영상을 나타낸다.FIG. 9 is a diagram illustrating the result of block matching performed using Equation (4), which shows (a) 59 frames, (b) 60 frames, (c) 80 frames and (d) 81 frames.

도 9의 (a)와 같이 이동 물체 영역이 비교적 잘 검출되면 도 9의 (b)와 같이 일치하는 영역이 일정하지만, 반면 도 9의 (c)와 같이 이동 물체 영역이 비교적 잘 검출되지 않으면 도 9의 (d)와 같이 일치하는 영역이 일정하지 않거나 일치된 영역의 분포가 다수로 형성되어 있음을 볼 수 있다. 그 원인은 이동 물체 영역이 배경 색상과 유사함으로 인해 인식된 영역이 소실되거나, 조명의 변화 등이 있을 수 있다. 이 문제의 해결을 위해 본 발명의 실시예에서는 매칭된 영역들을 효율적으로 분류하고, 분류된 영역들을 한 개의 군집(cluster)으로 모델링하는 방법을 제안한다.As shown in FIG. 9A, if the moving object region is relatively well detected, the matching region is constant as shown in FIG. 9B, whereas if the moving object region is relatively not detected as shown in FIG. 9C As shown in (d) of Fig. 9, it can be seen that the matching regions are not uniform or the distribution of the matching regions is formed in a large number. The cause may be the disappearance of the recognized area due to the similarity of the moving object area with the background color, or a change in illumination. To solve this problem, in the embodiment of the present invention, a method of effectively classifying matched regions and modeling the classified regions into one cluster is proposed.

다시 도 8로 돌아오면, S133 단계에서는, 복수 개의 인식된 움직임 영역이 소정 거리 내에 분포된 경우, 복수 개의 영역들을 포함하는 하나의 군집(cluster)으로서 이동 물체를 식별하는 과정을 더 포함할 수 있다. 보다 구체적인 과정은 다음과 같다.Referring back to FIG. 8, in step S133, when a plurality of recognized motion regions are distributed within a predetermined distance, the moving object may be identified as a cluster including a plurality of regions . The more specific process is as follows.

단계 1 : 군집을 O⁽ ^x,y ⁾라고 정의하고, 앞서 지정된 ROI 중심 위치를 R^C(x,y)로 정의한다. 여기서 R^C의 위치를 O의 초기 위치로 지정하며,

의 중심 위치를

라고 정의한다. Step 1 : Define the cluster as O ⁽ ^{x, y} ⁾ , and define the previously specified ROI center position as R ^{C (x, y)} . Here, the position of R ^C is designated as the initial position of O,

Center position of

.

단계 2 : O로부터 모든

와의 거리를 계산하고, 계산된 거리값이 사용자가 지정한 임계값 δ보다 작을 경우

을 O에 포함시킨다. Step 2 : All from O

And if the calculated distance value is smaller than the user-specified threshold value?

Is included in O.

단계 3 : O에 포함된

들의 중심 위치를 계산하고, 계산된 중심 위치에 O를 이동시킨다. Step 3 : Include in O

And moves O to the calculated center position.

상기에 의해 계산된 O의 무게 중심(COG, Center of gravity) 위치 결과는 모델링된 군집의 무게 중심의 위치를 예시한 도 10과 같다.The center of gravity (COG) position result of O calculated above is shown in FIG. 10 illustrating the position of the center of gravity of the modeled cluster.

여기서, 모델링된 군집의 무게 중심 위치는 원으로 도시하였다. O는 이동 물체의 최종적인 식별 위치를 의미하며,

라고 정의한다. 여기서

는 i번째 이동 물체의 식별된 위치 O^(x,y)를 의미한다.Here, the center of gravity of the modeled community is shown in a circle. O denotes a final identification position of the moving object,

. here

Denotes the identified position O ^{(x, y)} of the i-th moving object.

요약하건대, 상기 인식된 움직임 영역의 중심 위치로부터 군집의 위치를 설정하고, 설정된 상기 군집의 위치로부터 상기 이동 물체의 고유 영역의 중심 위치까지의 거리를 산출하며, 산출된 상기 거리가 미리 설정한 임계값 미만인 영역을 하나의 군집으로 형성하고 군집의 중심 위치를 재설정함으로써, 이동 물체 영역이 배경 색상과 유사함으로 인해 인식된 영역이 소실되거나 조명의 변화로 인해 일치 영역 검출 과정에서 발생하는 문제를 해결할 수 있다.In summary, the position of the cluster is set from the center position of the recognized movement region, the distance from the set cluster position to the center position of the unique region of the moving object is calculated, and the calculated distance is set to a predetermined threshold By resetting the center position of the cluster, it is possible to solve the problems that occur in the matching region detection process due to the disappearance of the recognized region or the change of lighting due to the similarity of the moving object region with the background color have.

(4) 이동 물체 추적(4) Moving object tracking

도 11은 본 발명의 일 실시예에 따른 도 1의 다중 이동 물체의 감시 방법에서 이동 물체를 추적하는 과정을 보다 구체적으로 도시한 흐름도이다.FIG. 11 is a flowchart illustrating a process of tracking a moving object in the method of monitoring multiple moving objects in FIG. 1 according to an embodiment of the present invention.

S141 단계에서는, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정한다. 이러한 칼만 필터는, 식별된 이동 물체의 위치를 지속적으로 추적하고, 이전 영상에서의 정보를 토대로 다음 영상에서 나타날 수 있는 추적 위치를 예측, 보정하기 위해 도입된 것으로서, 먼저 이동 물체의 식별 위치인 O와 속도 v로 구성된 상태벡터는 다음의 수학식 5와 같이 나타낸다.In step S141, the position of the moving objects is predictively corrected using a Kalman filter. This Kalman filter is introduced to continuously track the position of the identified moving object and to predict and correct the tracking position that can appear in the next image based on the information in the previous image. And the velocity v is expressed by the following equation (5).

다음, 시간 (t-1)에서의 상태 방정식을 나타내면 수학식 6과 같다.Next, the state equation at time (t-1) is expressed by Equation (6).

여기서, A는 상태 변환 행렬을 의미하고, w_t는 프로세스 잡음을 의미한다.Here, A denotes a state transformation matrix, and w _t denotes process noise.

그 다음 측정 방정식은 수학식 7과 같이 나타낼 수 있다. 여기서, H는 측정 벡터의 변환 행렬을 의미하고, v_t는 측정 잡음을 의미한다. The next measurement equation can be expressed as Equation (7). Where H denotes the transformation matrix of the measurement vector and v _t denotes the measurement noise.

이제 칼만 상태 방정식과 측정 모델은 각각 다음과 같이 표현된다.Now the Kalman equation and the measurement model are expressed as follows.

여기서, Δt는 영상간의 시간 간격을 의미하며, 상기와 같은 모델을 적용하여 추적한 다수의 이동 물체들의 위치는

로 정의한다. 여기서,

는 추적중인 i번째 이동 물체의 위치를 의미한다. Here,? T denotes a time interval between images, and the position of a plurality of moving objects tracked by applying the above-described model is

. here,

Means the position of the ith moving object being tracked.

다음으로 본 발명의 일 실시예에서는 유사한 색상을 지닌 다수의 이동 물체가 검출되었을 경우에도 강인한 추적 방법을 제안한다.Next, an embodiment of the present invention proposes a robust tracking method even when a large number of moving objects having similar colors are detected.

도 12는 이동 물체를 추적하는 도중에 인식에 실패하여 다른 이동 물체를 동일 물체로 인식하게 된 경우를 나타낸다. 여기서, 이전 영상(t-1_frame)에서는 인식된 이동 물체

(빨강)와

(노랑)에 대하여 식별(

), 추적(

)에 성공한 것을 나타낸다. 그리고 현재 영상(t_frame)에서는 어떠한 환경적인 변수로 인해 이동 물체

가 인식에 실패하여 다른 이동 물체가 동일 물체로 인식된 결과(주황)를 도시하였다.Fig. 12 shows a case in which the recognition of another moving object is recognized as the same object while the moving object is being tracked. Here, in the previous image (t-1_frame)

(Red) and

(Yellow)

), Tracking(

). In the current image (t_frame), due to some environmental variable,

(Orange) that the other moving object is recognized as the same object.

여러 실험에 의하면, 인식에 실패한 이유는 크게 두 가지 경우가 있다.According to various experiments, there are two main reasons for failure in recognition.

첫째, 검출된 움직임 영역을 이동 물체 영역으로 인식하기 위한 라벨링 과정에서 물체가 오랫동안 움직이지 않거나, 이동 물체 영역이 가려져 배경의 잡음으로 간주 될 경우가 있다.First, in the labeling process for recognizing the detected motion region as a moving object region, the object may not move for a long time, or the moving object region may be hidden as background noise.

둘째, 유사한 색상을 지닌 이동 물체가 동일한 물체로 인식되는 경우가 있다.Second, moving objects with similar colors may be recognized as the same object.

본 발명의 실시예들에서는 상기와 같은 경우로 인해 동일한 물체로 인식되는 것을 방지하기 위해, 연속하는 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 서로 미리 지정된 거리 내에 존재하지 않을 경우 동일한 이동 물체가 아니라고 판단하는 기법을 제안한다.In the embodiments of the present invention, in order to prevent recognition as the same object due to the above-mentioned case, when the moving objects recognized for the images of successive different frames do not exist within a predetermined distance from each other, We suggest a technique to judge that it is not.

먼저, 도 13과 같이 인식, 식별, 추적에 성공한 모든 이동 물체들의 위치에 대하여 사용자가 지정한 거리 λ만큼의 가상 영역을 지정한다. 이때, 도 12의 현재영상(t_frame)에서 인식에 실패한 이동 물체의 위치는 이전 영상에서 지정한 가상 영역 안에 있다고 가정하며, 만약 가상 영역 안에 인식된 위치가 존재 하지 않을 경우에는 동일한 물체가 아니라고 판단하였으며, 그 결과를 (X)로 도시하였다.First, as shown in FIG. 13, a virtual area corresponding to a distance .lambda. Designated by the user is specified for the position of all moving objects that are recognized, identified, and tracked. In this case, it is assumed that the position of the moving object which failed to recognize in the current image (t_frame) of FIG. 12 is within the virtual region specified in the previous image. If no recognized position exists in the virtual region, The results are shown in (X).

다음, 인식된 이동 물체의 위치가 동일하지 않다고 판단되었을 경우에는 식별 위치 또한 정확하지 않다. 즉, 본 발명의 실시예들에서는 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 동일한 이동 물체가 아니라고 판단된 경우, 현재 프레임에 앞서 연속하는 두 개의 프레임의 영상에서의 추적 위치 간의 이동 거리를 이용하여 직전 프레임의 영상에서의 추적 위치로부터 현재 프레임의 영상에서의 식별 위치를 예측할 수 있다. 따라서, 이동 물체의 식별 위치

를 예측하기 위해 도 14와 같이 이전 영상(t-2_frame)에서의 추적 위치

(Previous object)로부터 이전 영상(t-1_frame)의 칼만 필터가 적용된 추적 위치인

의 거리 d만큼 이동한 위치를 현재 영상에서의 식별 위치로 예측한다. Next, when the position of the recognized moving object is judged not to be the same, the identification position is also not accurate. In other words, in the embodiments of the present invention, when it is determined that the recognized moving object is not the same moving object, the moving distance between the tracking positions in the images of two consecutive frames preceding the current frame is used So that the identification position in the image of the current frame can be predicted from the tracking position in the image of the immediately preceding frame. Therefore, the identification position of the moving object

(T-2_frame) as shown in Fig. 14,

(T-1_frame) from the previous object (previous object)

In the current image is predicted as the identification position in the current image.

도 15는 상기 제안된 방법에 따라 도 13 및 도 14의 방법을 이용한 추적 결과를 예시한 도면이다. 이러한 방법을 통해 인식되지 않은 이동 물체의 식별 위치를 예측함으로써 지속적인 추적이 가능하도록 한다. FIG. 15 is a view illustrating a result of tracking using the method of FIGS. 13 and 14 according to the above-described method. Through this method, it is possible to keep track of the unidentified moving object by predicting the identification position.

도 16은 이상에서 제안된 칼만 필터를 이용하여 인식되지 않은 이동 물체의 식별 위치를 예측하고 추적한 결과를 예시한 도면으로서, 여기서 추적된 위치는 숫자로 도시하였다.FIG. 16 is a diagram illustrating a result of predicting and tracking an identification position of an unrecognized moving object using the Kalman filter proposed above, wherein the tracked positions are shown in numerals.

도 16의 (a)는 두 이동 물체 모두 인식이 잘된 경우의 추적 결과를 나타내고, 도 16의 (b)는 하나의 물체만 인식된 결과를 볼 수 있다. 본 발명의 실시예들에 따른 실험 결과를 참조하면 이동 물체가 인식되지 않은 경우에도 추적 위치를 예측함으로써 지속적으로 추적에 성공한 결과를 보여준다. 16 (a) shows the tracking result when both moving objects are well recognized, and FIG. 16 (b) shows the result of recognizing only one object. Referring to the experimental results according to the embodiments of the present invention, even if the moving object is not recognized, the tracking position is predicted and the tracking success is continuously shown.

한편, 본 발명의 실시예들은 이동 물체 간의 겹쳐지고, 분리되는 과정에서도 지속적인 추적이 가능한 방법을 제안한다.Meanwhile, the embodiments of the present invention propose a method capable of continuous tracking even in the process of overlapping and separating moving objects.

다시 도 11로 돌아오면, S142 단계에서는, 적어도 둘 이상의 이동 물체가 식별된 경우, 템플릿 매칭(template matching)을 통해 이동 물체의 특정 영역을 인식하고, 인식된 특정 영역, 식별된 상기 이동 물체 및 상기 이동 물체 간의 중심 위치를 이용하여 상기 이동 물체가 오버랩(overlap)되었는지 여부를 판단한 후, S143 단계를 통해 예측 결과에 기초하여 이동 물체를 추적한다.Referring back to FIG. 11, in step S142, when at least two moving objects are identified, a specific region of the moving object is recognized through template matching, and the recognized specific region, the identified moving object, After determining whether or not the moving object overlaps using the center position between the moving objects, the moving object is tracked based on the prediction result in step S143.

보다 구체적으로, 제안하는 방법은 먼저, 입력된 영상에서 검출된 이동 물체의 머리 이미지를 인식하기 위해 입력 영상에서 템플릿 이미지를 찾아내는 템플릿 매칭 기법을 이용한다. 특히 이하에서는 템플릿 매칭 기법 중 NCC(Normalized Cross Correlation) 기법을 예로서 이용하였으나, 이에 한정되지 않음은 당연하다. 이때, 앞서 분류된 이동 물체가 사람이라는 전제하에서 이용할 템플릿 이미지로서 이동 물체 영역 내의 머리 영역을 채택하였다. 본 실시예에서는 머리 영역을 인식하기 위한 여러 실험 결과를 통하여 이동 물체의 영역 중 축을 기준으로 상위 25%에 해당하는 블록을 해당 물체의 머리로 인식하였다. 적용할 템플릿 이미지와 입력 영상과의 관계 맵 R(x,y)는 다음의 수학식 10과 같다. More specifically, the proposed method first uses a template matching technique for finding a template image in an input image in order to recognize a head image of a moving object detected in the input image. In particular, the NCC (Normalized Cross Correlation) technique is used as an example of the template matching technique, but it is not limited thereto. At this time, the head region in the moving object region is adopted as the template image to be used under the premise that the previously classified moving object is a person. In this embodiment, the upper 25% of the area of the moving object is recognized as the head of the moving object based on various experimental results for recognizing the head area. The relation map R (x, y) between the template image to be applied and the input image is expressed by Equation (10).

여기서, 관계 맵이란 계산하여 나온 R(x,y)에 해당하는 실수 값을 0~255단계의 음영 값으로 변환하여 화소별로 적용한 것을 말한다. 수학식 10에서 I는 입력 영상, T는 템플릿 이미지를 의미하며, 상기 과정을 통해 생성된 관계 맵에서 최대값을 갖는 좌표가 템플릿 이미지와 가장 일치하는 지점이다.Here, the relationship map means that a real value corresponding to the calculated R (x, y) is converted into a shade value of 0 to 255 steps and applied to each pixel. In Equation (10), I denotes an input image and T denotes a template image, and the coordinates having the maximum value in the relationship map generated through the above process are the points at which the coordinates coincide with the template image.

템플릿 매칭 기법을 이용해 머리 영역을 인식한 결과 영상은 도 17과 같으며, 이러한 영상을 이용하여 이동 물체간의 겹침 여부를 판단하게 된다. 자세한 과정은 다음과 같다.The result of recognizing the head region using the template matching technique is as shown in FIG. 17, and it is judged whether or not the moving objects overlap with each other using such an image. The detailed procedure is as follows.

먼저, 도 17에서 템플릿 매칭을 이용해 머리로 인식된 영역과 추적중인 두 이동 물체간의 중심 위치를 이용하여 두 이동 물체간의 겹침을 판단하기 위해 θ를 계산한다. 두 이동 물체간의 겹침 여부를 판단하는 θ를 구하기 위한 방법은 도 18에 도시된다.First, in FIG. 17, θ is calculated to determine overlap between two moving objects using the center position between the region recognized as a head and the two moving objects being tracked using template matching. A method for determining &thetas; to determine whether or not there is overlap between two moving objects is shown in Fig.

도 18을 참조하면, 먼저

와

간의 중심 위치를

로 정의하고, 머리로 인식된 영역의 중심 위치를 각각

,

라고 정의한다. 여기서

는 i번째 머리 영역 H의 중심 위치를 의미한다.Referring to FIG. 18,

Wow

Center position of

, And the center position of the region recognized as the head is defined as

,

. here

Indicates the center position of the i-th head area H.

본 실시예에서는

와

위치에 대한 유클리디언 거리 값이 사용자가 정의한 거리 η보다 작을 경우 두 이동 물체를 그룹(group)으로 인식한다. 그리고 각각의 이동 물체에 대한 θ_i와 θ_i ₊ ₁를 계산하기 위한 수식은 수학식 11과 같으며, 계산된 θ는 수학식 12를 적용하여 이동 물체 간의 겹침 여부를 판단한다.In this embodiment,

Wow

If the Euclidean distance value for the position is smaller than the user defined distance η, the two moving objects are recognized as a group. Equation (11) is used to calculate θ _i and θ _i ₊ ₁ for each moving object, and the calculated θ is used to determine whether or not the moving objects are overlapped by applying Equation (12).

도 19는 이동 물체 간의 겹침 여부를 판단하는 결과를 예시한 도면으로서, 도 19의 (a)는 겹침(occlusion) 영상을 나타내고, 도 19의 (b)는 비겹침(non-occlusion) 영상을 나타낸다. 여기서, 빨간색 직선은 수학식 12를 통해 이동 물체가 겹침으로 판단된 것을 의미하고, 흰색 직선은 비겹침으로 판단된 것을 의미한다.FIG. 19 is a diagram illustrating a result of determining whether or not overlapping moving objects exist. FIG. 19 (a) shows an occlusion image and FIG. 19 (b) shows a non-occlusion image . Here, the red straight line means that the moving object is judged to be overlapped through Equation (12), and the white straight line means that it is judged to be non-overlapping.

또한, 본 실시예에서는 도 19의 (a)의 결과 영상에서 두 이동 물체 중 하나의 물체가 겹쳤으므로 두 물체가 교차한다고 판단한다. 여기서, 교차됨으로써 인식되지 않은 이동 물체의 식별 위치를 얻기 위해 앞서 제안한 식별된 위치 예측 방법을 이용한다. 상기와 같은 겹침 판단은 두 이동 물체가 교차, 또는 비교차 여부를 알 수 있기 때문에 더욱 강인한 추적이 가능하다.Further, in this embodiment, since one object of two moving objects is overlapped in the result image of FIG. 19 (a), it is determined that two objects cross each other. Here, the identified position prediction method is used to obtain the identification position of the moving object which is not recognized by crossing. The overlapping determination as described above makes it possible to trace more robustly because the two moving objects can be crossed or compared.

도 20은 본 발명의 일 실시예에 따른 영상 감시 방법을 구현한 프로그램이 채택하고 있는 유사한 색상의 지닌 다수의 이동 물체의 영역을 분류하고 식별하여 추적하는 알고리즘을 도시한 흐름도이다. 도 20은 크게 이동 물체 검출, 인식, 분류, 식별, 그리고 추적 등으로 구성되어 있으며, 각 연산의 흐름을 중심으로 그 구성을 개괄적으로 소개한다.20 is a flowchart illustrating an algorithm for classifying, identifying, and tracking regions of a plurality of moving objects having similar colors adopted by a program implementing the video monitoring method according to an embodiment of the present invention. Fig. 20 mainly shows moving object detection, recognition, classification, identification, and tracking.

1) 이동 물체 검출 : 입력 영상에서 움직임 영역을 검출하기 위해 S2011 단계를 통해 GMM 기반으로 배경을 모델링한다. 모델링된 배경에서 움직임 물체를 검출하였을 때 검출 과정에서 나타나는 빛의 반사나 잡음 등을 제거하기 위해 S2012 단계를 통한 영상의 이진화와 모폴로지 연산 기법을 이용한다. 1) Moving Object Detection : In order to detect the moving area in the input image, the background is modeled on the GMM basis through step S2011. In order to remove light reflections or noises in the detection process when a motion object is detected on the modeled background, image binarization and morphology operation techniques are used through step S2012.

2) 이동 물체 인식 : 모폴로지 연산을 통해 얻어진 움직임 영역을 인식하기 위한 방법으로 S2021 단계의 라벨링을 수행한다. 라벨링 수행 결과 S2022 단계에서 인식된 이동 물체가 있다면 S2031 단계의 이동 물체 분류 단계로 넘어가며, 인식된 결과가 없고, S2023 단계의 검사를 통해 이전 영상에서 추적중인 이동 물체가 있을 경우 식별된 위치를 예측하기 위한 S2024 단계로 진행한다. 반면, S2023 단계의 검사를 통해 추적중인 이동 물체가 없을 경우에는 다시 S2011 단계로 돌아가 이동 물체 검출 단계가 수행된다. 2) Moving Object Recognition : Labeling in step S2021 is performed as a method for recognizing a moving area obtained through a morphology operation. If there is a recognized moving object in step S2022, the process goes to the moving object classification step in step S2031. If there is no recognized result and if there is a moving object being tracked in the previous image through the check in step S2023, The process proceeds to step S2024. On the other hand, if there is no moving object being tracked through the inspection in step S2023, the process returns to step S2011 and the moving object detection step is performed.

3) 이동 물체 분류 : 라벨링을 통해 인식된 영역을 이동 물체 영역으로 간주하여 ROI를 지정한다. 그리고 S2031 단계를 통해 지정된 ROI 영역을 분할하고, S2032 단계의 이동 물체 고유 영역과 배경을 분류하기 위한 기법을 수행한다. 3) Moving object classification : The ROI is defined by considering the recognized area as moving object area through labeling. In step S2031, the designated ROI area is divided, and a technique for classifying the moving object specific area and background in step S2032 is performed.

4) 이동 물체 식별 : 다수의 이동 물체 검출시 배경으로부터 분류된 이동 물체 영역을 식별하기 위해 S2041 단계를 통해 HSV 컬러 공간 기반의 색상 비교 매칭 기법을 수행한다. 그 다음 S2042 단계를 통해 색상 매칭이 완료된 영역들을 분류하고, 한 개의 군집으로 모델링한다. 여기서, 모델링된 군집에서의 무게 중심 위치를 이동 물체의 식별 된 위치로 선정한다. 4) Moving object identification : When multiple moving objects are detected, the HSV color space based color matching method is performed through step S2041 to identify moving object areas classified from the background. Next, the regions where the color matching is completed are classified through the step S2042 and modeled into one cluster. Here, the center of gravity position in the modeled cluster is selected as the identified position of the moving object.

5) 이동 물체 추적 : 식별된 이동 물체의 위치를 효과적으로 추적하기 위해 S2051 단계의 칼만 필터를 이용하며, S2052 단계의 검사를 통해 추적중인 이동 물체들이 그룹인 경우 S2053 단계의 템플릿 매칭을 이용하여 S2054 단계의 이동 물체들의 겹침 유무를 판별한다. 만약 겹쳐진 경우 식별 위치를 예측하기 위한 S2055 단계로 진행한 후, 다시 S2056 단계의 추적을 수행한다. 5) Moving Object Tracking : In order to effectively track the position of the identified moving object, the Kalman filter of step S2051 is used. If the moving objects being tracked are inspected through step S2052, the process of step S2054 Of the moving objects. If it is overlapped, the process proceeds to step S2055 for predicting the identification position, and then the tracking is performed again in step S2056.

도 21은 본 발명의 다른 실시예에 따른 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 다중 이동 물체의 감시 장치(100)를 도시한 블록도로서, 앞서 도 1을 통해 설명한 각 수행 과정을 하드웨어 간의 연결 관계를 중심으로 기술하였다. 따라서, 여기서는 설명의 중복을 피하기 위해 각 구성의 수행 기능을 약술하도록 한다.FIG. 21 is a block diagram illustrating a moving object monitoring apparatus 100 for identifying and tracking multiple moving objects having similar colors according to another embodiment of the present invention. Referring to FIG. 21, We describe the connection relation between hardware. Therefore, in order to avoid duplication of explanations, the performance function of each configuration is outlined here.

입력부(10)는, 카메라(200)로부터 촬영된 영상을 입력받는다.The input unit 10 receives a photographed image from the camera 200. [

메모리(30)는, 입력된 영상 내에 포함된 적어도 둘 이상의 이동 물체의 움직임을 감시하는 영상 감시 프로그램을 저장한다.The memory 30 stores a video surveillance program for monitoring the movement of at least two or more moving objects included in the input video.

프로세서(20)는, 상기 영상 감시 프로그램을 구동하는 주체로서, 적어도 하나의 하드웨어로서 구현되어 메모리(30)에 접근하여 영상 감시 프로그램에 정의된 명령을 수행, 제어할 수 있다. 여기서, 메모리(30)에 저장된 영상 감시 프로그램은, 입력된 영상으로부터 배경을 모델링함으로써 상기 모델링된 배경과 구분되는 적어도 둘 이상의 움직임 영역을 검출하고, 검출된 상기 움직임 영역을 인식하고, 상기 인식된 움직임 영역으로부터 이동 물체의 고유 영역과 배경 영역을 분류하고, 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역에 기초한 색상 매칭을 통해 프레임들 간의 이동 물체를 대응시킴으로써 이동 물체를 식별하며, 필터를 이용하여 식별된 상기 이동 물체의 위치를 예측 보정함으로써 이동 물체를 추적하는 명령어를 포함한다.The processor 20 is implemented as at least one piece of hardware as a main body for driving the video surveillance program and accesses the memory 30 to execute and control commands defined in the video surveillance program. Here, the video surveillance program stored in the memory 30 may detect at least two motion regions distinguished from the modeled background by modeling the background from the input image, recognize the detected motion region, By matching a moving object between frames through color matching based on the inherent region of the moving object classified from the background region with respect to images of different frames from the region of the moving object from the region, And tracks the moving object by predicting and correcting the position of the moving object identified using the filter.

보다 구체적으로, 메모리(30)에 저장된 영상 감시 프로그램은, 검출된 상기 움직임 영역에 고유 식별자를 부여하는 라벨링(labeling)을 통해 상기 움직임 영역을 인식하고, 상기 인식된 움직임 영역을 소정 개수의 블록으로 분할하며, 분할된 상기 블록의 화소를 각각 분석하여 배경 영역이 아닌 블록만을 선택하여 이동 물체의 고유 영역으로 분류할 수 있다.More specifically, the video surveillance program stored in the memory 30 recognizes the motion area through labeling to give a unique identifier to the detected motion area, and outputs the recognized motion area as a predetermined number of blocks And the pixels of the divided blocks are respectively analyzed to select only the blocks that are not the background regions, and can be classified into the unique regions of the moving object.

또한, 메모리(30)에 저장된 영상 감시 프로그램은, 서로 다른 프레임의 영상에 대하여 상기 배경 영역으로부터 분류된 상기 이동 물체의 고유 영역 내의 RGB 컬러 공간을 HSV 컬러 공간으로 변환하고, H, S, V 각각에 대해 평균값을 산출하며, 산출된 평균값을 이용하여 제 1 프레임의 영상과 제 2 프레임의 영상에서 선정된 블록들을 매칭함으로써 블록의 일치 여부를 판단할 수 있다.Also, the video surveillance program stored in the memory 30 converts RGB color spaces in a unique area of the moving object classified from the background area into HSV color space for images of different frames, and outputs H, S, V And the matching of the blocks can be determined by matching the selected blocks in the image of the first frame and the image of the second frame using the calculated average value.

또한, 메모리(30)에 저장된 영상 감시 프로그램은, 복수 개의 인식된 움직임 영역이 소정 거리 내에 분포된 경우, 복수 개의 영역들을 포함하는 하나의 군집(cluster)으로서 이동 물체를 식별하는 것이 바람직하다.The video surveillance program stored in the memory 30 preferably identifies a moving object as a cluster including a plurality of regions when a plurality of recognized motion regions are distributed within a predetermined distance.

나아가, 메모리(30)에 저장된 영상 감시 프로그램은, 칼만 필터(Kalman filter)를 이용하여 상기 이동 물체들의 위치를 예측 보정하되, 연속하는 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 서로 미리 지정된 거리 내에 존재하지 않을 경우 동일한 이동 물체가 아니라고 판단하며, 서로 다른 프레임의 영상에 대하여 인식된 이동 물체가 동일한 이동 물체가 아니라고 판단된 경우, 현재 프레임에 앞서 연속하는 두 개의 프레임의 영상에서의 추적 위치 간의 이동 거리를 이용하여 직전 프레임의 영상에서의 추적 위치로부터 현재 프레임의 영상에서의 식별 위치를 예측하고, 적어도 둘 이상의 이동 물체가 식별된 경우, 템플릿 매칭(template matching)을 통해 이동 물체의 특정 영역을 인식하고, 인식된 특정 영역, 식별된 상기 이동 물체 및 상기 이동 물체 간의 중심 위치를 이용하여 상기 이동 물체가 오버랩(overlap)되었는지 여부를 판단할 수 있다.Further, the video surveillance program stored in the memory 30 predicts and corrects the positions of the moving objects by using a Kalman filter, and recognizes the moving objects recognized for the consecutive images of different frames at a predetermined distance It is determined that the moving object is not the same moving object. If it is determined that the moving object recognized for the images of the different frames is not the same moving object, the position of the tracking position in the images of two consecutive frames preceding the current frame The moving distance is used to predict an identification position in the image of the current frame from the tracking position in the image of the immediately preceding frame and, when at least two moving objects are identified, a specific area of the moving object is detected through template matching Recognizes the recognized specific region, the identified moving object, and the moving object It is possible to determine whether or not the moving object is overlapped using the center position of the moving object.

상기된 본 발명의 실시예들은, 유사한 색상을 지닌 다수의 이동 물체 영역 분류 및 식별과 추적 알고리즘을 제안했다. 먼저, 이동 물체를 검출하기 위한 방법으로 GMM 기반 배경 모델링 방법을 이용하였으며, 검출된 이동 물체 영역에서 그림자 및 잡음 제거를 위해 영상의 이진화와 모폴로지 기법을 이용하였다. 최종적으로 검출된 이동 물체 영역은 라벨링을 통해 인식하였으며 인식된 이동 물체 영역으로부터 배경 영역을 제거하기 위한 영역 분류 기법을 제안하였다. 또한, 분류된 이동 물체 영역을 식별하기 위한 방법과 식별된 위치를 칼만 필터를 이용하여 추적하였다. 마지막으로 유사한 색상 정보를 지닌 다수의 이동 물체들이 검출되었을 경우 효율적인 추적 방법을 제안하였다.The embodiments of the invention described above have proposed a number of moving object zone classification and identification and tracking algorithms with similar colors. First, a GMM - based background modeling method is used to detect moving objects, and image binarization and morphology techniques are used to remove shadow and noise in the detected moving object area. Finally, the detected moving object area is recognized through labeling and the area classification method for removing the background area from the recognized moving object area is proposed. Also, the method for identifying the classified moving object area and the identified position were tracked using a Kalman filter. Finally, we propose an efficient tracking method when a large number of moving objects with similar color information are detected.

한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the embodiments of the present invention can be embodied as computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.

이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100 : 영상 감시 장치
200 : 카메라
10 : 입력부
20 : 프로세서
30 : 메모리100: Video surveillance system
200: camera
10: Input unit
20: Processor
30: Memory

Claims

Detecting at least two motion regions distinguished from the modeled background by modeling a background from an input image of the video surveillance system and removing a shadow region through binarization;
Wherein the video monitoring system recognizes the motion region in which the video surveillance system is detected, divides the recognized motion region into a predetermined number of blocks, analyzes each of the pixels of the divided blocks, Classifying each block into a unique area and a background area of the moving object;
Identifying a moving object by associating moving objects between frames through color matching based on a unique area of the moving object classified from the background area for images of different frames by the video surveillance system; And
And tracking the moving object by predicting and correcting the position of the moving object identified using the filter by the video surveillance system.

The method according to claim 1,
Wherein the step of detecting the motion region comprises:
Modeling a background of the input image based on a correlation model of RGB color information based on a probability model;
Detecting a motion region that is a foreground classified in the modeled background; And
And comparing the value of the input image with a predetermined threshold value to binarize the background model to remove shadow regions due to reflection of light.

3. The method of claim 2,
Wherein the step of detecting the motion region comprises:
Removing noise from the binarized image using erosion, which is a morphology technique; And
Further comprising the step of preventing a partial loss or separation of a moving object zone occurring in the erosion calculation process through a dilation operation which is a morphology technique.

The method according to claim 1,
Wherein the movement region comprises:
And recognizing the moving object by labeling that gives a unique identifier to the detected moving area.

The method according to claim 1,
Wherein the inherent region of the moving object comprises:
Wherein the background is a region including color information of only a moving object excluding a background region included in the recognized movement region.

The method according to claim 1,
Wherein classifying the inherent region and the background region of the moving object comprises:
Converting the recognized motion region into a color space; And
And setting a pixel value of all the areas other than the recognized moving area as '0'.

The method according to claim 6,
The inherent region of the moving object is classified by selecting a block in which the number of pixels whose value is not '0' among the pixels included in the divided block is equal to or larger than a reference value,
Wherein the background area is classified by selecting a block in which the number of pixels whose value is not '0' is less than a reference value among pixels included in the divided block.

The method according to claim 1,
Wherein identifying the moving object comprises:
Converting an RGB color space in a unique area of the moving object classified from the background area into an HSV color space with respect to images of different frames, and calculating an average value for each of H, S, V; And
And determining whether the blocks are matched by matching the selected blocks in the images of the first frame and the images of the second frame using the calculated average value.

9. The method of claim 8,
If the difference between the average value of the selected blocks in the image of the first frame and the image of the second frame is within a predetermined threshold range, determines that the blocks match.

The method according to claim 1,
Wherein identifying the moving object comprises:
Further comprising the step of identifying a moving object as one cluster including a plurality of regions when a plurality of recognized motion regions are distributed within a predetermined distance.

11. The method of claim 10,
Wherein identifying the moving object as the one cluster comprises:
Setting a position of a cluster from a center position of the recognized movement area;
Calculating a distance from a position of the set cluster to a center position of a characteristic region of the moving object; And
And forming a region having the calculated distance less than a predetermined threshold value as one cluster and resetting the center position of the cluster.

The method according to claim 1,
Wherein tracking the moving object comprises:
The Kalman filter predicts and corrects the positions of the moving objects and determines that the moving objects are not the same moving object if the recognized moving objects do not exist within a predetermined distance from each other The method comprising the steps of:

13. The method of claim 12,
When it is determined that the recognized moving object is not the same moving object, the moving distance between the tracking positions in the images of the two consecutive frames preceding the current frame is used to determine the tracking position Further comprising the step of: predicting an identification position in an image of the current frame.

13. The method of claim 12,
Wherein tracking the moving object comprises:
Recognizing a specific area of the moving object through template matching when at least two moving objects are identified and using the recognized specific area, the identified moving object, and the center position between the moving objects, The method comprising the steps of: determining whether or not an overlapping object is overlapped.

A computer-readable recording medium storing a program for causing a computer to execute the method according to any one of claims 1 to 14.

An input unit for receiving an image photographed by the camera;
A memory for storing a video surveillance program for monitoring movement of at least two moving objects included in the input video; And
At least one processor for driving the video surveillance program,
The video surveillance program stored in the memory,
Detecting at least two motion regions distinguished from the modeled background by modeling the background from the input image and eliminating shadow regions due to reflection of light through binarization, recognizing the detected motion regions, Wherein each of the pixels of the divided block is classified into a unique area and a background area of the moving object in accordance with pixel values of pixels included in the divided block, Identifying a moving object by mapping a moving object between frames through color matching based on a unique area of the moving object classified from the background area with respect to an image of another frame and determining a position of the moving object identified using the filter And includes instructions for tracking the moving object by predictive correction Multiple moving object monitoring apparatus, characterized by.

17. The method of claim 16,
The video surveillance program stored in the memory,
Recognizes the motion area through labeling to give a unique identifier to the detected motion area, converts the recognized motion area into a color space, and sets the pixel value of all areas except the recognized motion area as' 0 ',
Selecting a block having a number of pixels not equal to '0' among the pixels included in the divided block as a characteristic region of the moving object, and if the value of the pixels included in the divided block is' 0 " is less than a reference value as the background area. &Lt; IMAGE >

17. The method of claim 16,
The video surveillance program stored in the memory,
An RGB color space in a unique area of the moving object classified from the background area is converted into an HSV color space for images of different frames, an average value is calculated for each of H, S, V, and using the calculated average value Wherein the matching of the blocks is determined by matching the selected blocks in the images of the first frame and the images of the second frame.

17. The method of claim 16,
The video surveillance program stored in the memory,
Wherein when the plurality of recognized motion regions are distributed within a predetermined distance, the moving object is identified as one cluster including a plurality of regions.

17. The method of claim 16,
The video surveillance program stored in the memory,
A position of the moving object is estimated and corrected using a Kalman filter. If the recognized moving object does not exist within a predetermined distance with respect to the images of successive different frames, it is determined that the moving object is not the same moving object,
When it is determined that the recognized moving object is not the same moving object, the moving distance between the tracking positions in the images of the two consecutive frames preceding the current frame is used to determine the tracking position Predicts the identification position in the video of the current frame,
Recognizing a specific area of the moving object through template matching when at least two moving objects are identified and using the recognized specific area, the identified moving object, and the center position between the moving objects, Wherein the control unit determines whether or not the first and second moving objects overlap each other.