KR102367782B1

KR102367782B1 - Apparatus for Tracking Objects and Driving Method Thereof

Info

Publication number: KR102367782B1
Application number: KR1020210090709A
Authority: KR
Inventors: 최준호; 장정훈
Original assignee: 주식회사 인텔리빅스
Priority date: 2021-07-12
Filing date: 2021-07-12
Publication date: 2022-02-25

Abstract

The present invention relates to an object tracking apparatus and a method for driving the apparatus. An object tracking apparatus according to an embodiment of the present invention may include: a storage part for storing information on the transformation relationship of a first ground area on map data of an arbitrary local area, and a second ground area included in the captured image of each camera for monitoring the monitoring sector of the arbitrary local area and corresponding to the first ground area; and a control part for extracting location and attribute information of objects matching the map coordinates on the map data of tracked objects based on the tracking result of the objects in the captured image of each camera and the information on the stored transformation relationship, and processing an event related to the tracking objects based on the extracted location and attribute information.

Description

Apparatus for Tracking Objects and Driving Method Thereof

본 발명은 객체추적장치 및 그 장치의 구동방법에 관한 것으로서, 더 상세하게는 가령 복수의 카메라의 영상을 맵 좌표계로 맵핑을 용이하게 하기 위해 라인을 기반으로 한 캘리브레이션 방법으로 개별 카메라와 맵에서의 2쌍 이상의 대응 라인을 설정하고 개별 카메라의 객체 좌표의 오차를 최소화하기 위해 맵좌표로 변환하여 맵상에서 객체를 검출하고 추적하는 객체추적장치 및 그 장치의 구동방법에 관한 것이다.The present invention relates to an object tracking apparatus and a method of driving the apparatus, and more particularly, in a line-based calibration method to facilitate mapping of images of a plurality of cameras to a map coordinate system, in individual cameras and maps. An object tracking apparatus for detecting and tracking objects on a map by setting two or more pairs of corresponding lines and converting them into map coordinates in order to minimize the error of object coordinates of individual cameras, and a method of driving the apparatus.

최근에는 딥러닝 객체 검출 기술을 바탕으로 많은 응용기술이 개발되고 있으며 기존의 CCTV 카메라 영상을 활용하여 실시간으로 분석하고, 그 결과를 이용한 서비스 분야가 점점 확대되고 있다. 이러한 분야에는 외곽 감시, 지능형 교통 시스템, 매장 고객 분석 및 산업 안전 등이 있다. 현재는 카메라 단위에서만 주로 객체를 모니터링하고 사건을 검출하는 방식으로 활용이 되고 있으나 컴퓨터비전 기반의 인식기술이나 또는 딥러닝 객체 인식 기술 등이 고도화되면서 카메라 단위에서 벗어나 복수의 카메라에서의 객체를 추적하고 모니터링하려는 요구사항이 증대되고 있다. 기존에도 얼굴인식, 번호인식을 통하여 맵상에서의 이동 동선을 표출하는 솔루션이 이미 운용되고 있지만 해당 카메라에서 인식이 된 이후에만 객체를 인지하는 방식이기 때문에 실시간성이 떨어질 수밖에 없다.Recently, many application technologies are being developed based on deep learning object detection technology, and real-time analysis using existing CCTV camera images, and service fields using the results are gradually expanding. These areas include perimeter surveillance, intelligent transportation systems, store customer analytics and industrial safety. Currently, it is mainly used as a method of monitoring objects and detecting events only in the camera unit. The need to monitor is increasing. In the past, solutions that express movement lines on the map through face recognition and number recognition are already in operation, but real-time performance is inevitably lowered because the method recognizes objects only after being recognized by the camera.

사회 안전의 목적 또는 다양한 이유로 특정한 관심 객체를 지속적으로 추적하려는 요구사항은 지속적으로 증대되고 있으며 멀티카메라 또는 멀티센서를 통하여 객체를 지속적으로 추적하는 시스템은 이미 시도되었거나 운영이 되고 있다.The requirement to continuously track a specific object of interest for the purpose of social safety or for various reasons is continuously increasing, and a system for continuously tracking an object through a multi-camera or multi-sensor has already been tried or operated.

예를 들어 매장 내에서는 카메라 또는 TOF(Time of Flight) 센서들을 촘촘하게 설치한 후 대칭점을 맵핑하는 방법으로 카메라 캘리브레이션을 하여 개별 센서의 검출된 객체의 좌표를 기준 맵좌표로 맵핑하게 하여 고객의 동선을 맵상에서 끊김없이 추적하는 시스템이 개발되어 운영이 되고 있다. 하지만 여전히 기술적 한계와 시스템 설정과 구성의 어려움으로 보편화되어 있지 않다.For example, in a store, cameras or TOF (Time of Flight) sensors are installed densely and the camera is calibrated by mapping a symmetric point. A system that tracks seamlessly on the map has been developed and is being operated. However, it is still not universal due to technical limitations and difficulties in setting up and configuring the system.

지능형 교통시스템에서도 영상 또는 센서를 통하여 검출된 좌표를 GPS 좌표로 맵핑하여 주변 차량에 정보를 전달하거나 지도상에서 객체의 이동 경로를 모니터링하는 솔루션이 속속 도입이 되고 있으나 영상의 지면과 지도상의 위치를 맵핑하는 방식이 어렵거나 맵핑을 하더라도 지면은 항상 평면이 아니고 고도 차이가 존재하는 곡면일 수 있기 때문에 이를 고려하지 않는 경우 많은 오차가 발생하는 문제가 있다.Even in intelligent transportation systems, solutions that map the coordinates detected through images or sensors to GPS coordinates to deliver information to nearby vehicles or monitor the movement path of objects on the map are being introduced one after another. Even if it is difficult to do or mapping, the ground is not always flat and may be a curved surface with a difference in elevation, so if this is not taken into account, many errors occur.

한국등록특허공보 제10-0544677호(2006.01.12)Korean Patent Publication No. 10-0544677 (2006.01.12) 한국등록특허공보 제10-1645959호(2016.08.01)Korean Patent Publication No. 10-1645959 (2016.08.01) 한국등록특허공보 제10-1856488호(2018.05.03)Korean Patent Publication No. 10-1856488 (2018.05.03) 한국공개특허공보 제10-2021-0041213호(2021.04.15)Korean Patent Application Laid-Open No. 10-2021-0041213 (2021.04.15)

본 발명의 실시예는 가령 복수의 카메라의 영상을 맵 좌표계로 맵핑을 용이하게 하기 위해 라인을 기반으로 한 캘리브레이션 방법으로 개별 카메라와 맵에서의 2쌍 이상의 대응 라인을 설정하고 개별 카메라의 객체 좌표의 오차를 최소화하기 위해 맵좌표로 변환하여 맵상에서 객체를 검출하고 추적하는 객체추적장치 및 그 장치의 구동방법을 제공함에 그 목적이 있다.An embodiment of the present invention sets two or more pairs of corresponding lines in an individual camera and a map in a line-based calibration method to facilitate mapping of images from a plurality of cameras to a map coordinate system, for example, and sets the object coordinates of individual cameras. It is an object of the present invention to provide an object tracking device for detecting and tracking an object on a map by converting it into map coordinates in order to minimize an error, and a method for driving the device.

본 발명의 실시예에 따른 객체추적장치는, 임의 지역의 맵(map) 데이터상의 제1 지면(ground) 영역과, 상기 임의 지역의 감시 구역을 감시하는 각 카메라의 촬영영상에 포함되어 상기 제1 지면 영역에 대응하는 제2 지면 영역의 변환 관계에 대한 정보를 저장하는 저장부, 및 상기 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 상기 저장한 변환 관계에 대한 정보를 근거로 상기 추적 객체들의 상기 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 상기 추출한 위치 및 속성 정보를 근거로 상기 추적 객체들과 관련한 이벤트를 처리하는 제어부를 포함한다.The object tracking apparatus according to an embodiment of the present invention is included in a first ground area on map data of an arbitrary area and a captured image of each camera that monitors a monitoring area of the arbitrary area to include the first A storage unit for storing information on a transformation relationship of a second ground region corresponding to the ground region, and a tracking result for objects in the captured image of each camera and the tracking object based on the stored information on the transformation relationship and a control unit for extracting location and property information of objects matching map coordinates on the map data of the users, and processing an event related to the tracking objects based on the extracted location and property information.

상기 제어부는, 상기 맵 데이터상에 설정되는 제1 라인과 상기 촬영영상에 설정되는 제2 라인을 근거로 서로 대응하는 상기 제1 지면 영역 및 상기 제2 지면 영역을 생성해 변환 관계를 계산할 수 있다.The controller may calculate a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on a first line set on the map data and a second line set on the captured image. .

상기 제어부는, 상기 제1 지면 영역에 설정되는 2개의 수평 라인과 상기 제2 지면 영역에 설정되는 2개의 수평 라인을 상기 제1 라인과 상기 제2 라인으로 각각 이용할 수 있다.The controller may use two horizontal lines set in the first ground area and two horizontal lines set in the second ground area as the first line and the second line, respectively.

상기 저장부는, 상기 위치 및 속성정보로서 상기 맵 데이터상의 물체들에 대한 속도, 크기 및 실측 단위의 위치값을 맵핑하여 저장할 수 있다.The storage unit may map and store velocity, size, and measurement unit position values of objects on the map data as the position and attribute information.

상기 제어부는, 상기 임의 지역 내의 제1 카메라와 제2 카메라의 사이에 복수의 지면 영역이 설정되는 경우, 상기 설정된 복수의 지면 영역을 평면이 아닌 곡면으로 판단하여 상기 변환 관계에 대한 정보를 생성할 수 있다.When a plurality of ground areas are set between the first camera and the second camera in the arbitrary area, the controller determines that the plurality of set ground areas are curved rather than flat to generate information on the transformation relationship. can

상기 제어부는, 상기 추적 객체들이 포함되는 대응 영역이 없는 경우 거리가 가까운 대응 영역을 이용해 좌표 변환 동작을 수행할 수 있다.When there is no corresponding area including the tracking objects, the controller may perform a coordinate transformation operation using a corresponding area having a close distance.

상기 제어부는, 상기 복수의 카메라의 촬영 영상에서 각각 추적되는 추적 객체들에 대하여 하나의 맵 데이터를 근거로 상기 추출한 위치 및 속성 정보를 통합 관리하여 각 추적객체의 이벤트를 처리할 수 있다.The controller may process the event of each tracking object by managing the extracted location and attribute information based on one map data for each tracking object in the captured image of the plurality of cameras.

또한, 본 발명의 실시예에 따른 객체추적장치의 구동방법은, 저장부가, 임의 지역의 맵 데이터상의 제1 지면 영역과, 상기 임의 지역의 감시 구역을 감시하는 각 카메라의 촬영영상에 포함되어 상기 제1 지면 영역에 대응하는 제2 지면 영역의 변환 관계에 대한 정보를 저장하는 단계, 및 제어부가, 상기 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 상기 저장한 변환 관계에 대한 정보를 근거로 상기 추적 객체들의 상기 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 상기 추출한 위치 및 속성 정보를 근거로 상기 추적 객체들과 관련한 이벤트를 처리하는 단계를 포함한다.In addition, in the method of driving an object tracking apparatus according to an embodiment of the present invention, the storage unit is included in the first ground area on the map data of the arbitrary area and the captured image of each camera for monitoring the monitoring area of the arbitrary area. Storing information on a transformation relationship of a second ground region corresponding to the first ground region, and, by the controller, based on the tracking result for objects in the captured image of each camera and the stored information on the transformation relationship and extracting location and property information of the objects matching the map coordinates on the map data of the tracked objects, and processing an event related to the tracked objects based on the extracted location and property information.

상기 처리하는 단계는, 상기 맵 데이터상에 설정되는 제1 라인과 상기 촬영영상에 설정되는 제2 라인을 근거로 서로 대응하는 상기 제1 지면 영역 및 상기 제2 지면 영역을 생성해 변환 관계를 계산할 수 있다.The processing may include calculating a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on the first line set on the map data and the second line set on the captured image. can

상기 처리하는 단계는, 상기 제1 지면 영역에 설정되는 2개의 수평 라인과 상기 제2 지면 영역에 설정되는 2개의 수평 라인을 상기 제1 라인과 상기 제2 라인으로 각각 이용할 수 있다.In the processing, two horizontal lines set in the first ground area and two horizontal lines set in the second ground area may be used as the first line and the second line, respectively.

상기 저장하는 단계는, 상기 위치 및 속성정보로서 상기 맵 데이터상의 물체들에 대한 속도, 크기 및 실측 단위의 위치값을 맵핑하여 저장할 수 있다.The storing may include mapping and storing velocity, size, and actual measurement unit position values of objects on the map data as the position and attribute information.

상기 처리하는 단계는, 상기 임의 지역 내의 제1 카메라와 제2 카메라의 사이에 복수의 지면 영역이 설정되는 경우, 상기 설정된 복수의 지면 영역을 평면이 아닌 곡면으로 판단하여 상기 변환 관계에 대한 정보를 생성할 수 있다.In the processing, when a plurality of ground areas are set between the first camera and the second camera in the arbitrary area, it is determined that the set plurality of ground areas are curved rather than flat, and information about the transformation relationship is obtained. can create

상기 처리하는 단계는, 상기 추적 객체들이 포함되는 대응 영역이 없는 경우 거리가 가까운 대응 영역을 이용해 좌표 변환 동작을 수행할 수 있다.In the processing, when there is no corresponding area including the tracking objects, a coordinate transformation operation may be performed using a corresponding area having a close distance.

상기 처리하는 단계는, 상기 복수의 카메라의 촬영 영상에서 각각 추적되는 추적 객체들에 대하여 하나의 맵 데이터를 근거로 상기 추출한 위치 및 속성 정보를 통합 관리하여 각 추적객체의 이벤트를 처리할 수 있다.In the processing, the event of each tracking object may be processed by integrating and managing the extracted location and attribute information based on one map data for each of the tracking objects tracked in the captured images of the plurality of cameras.

본 발명의 실시예에 따르면 맵상의 지면과 카메라 영상에서의 지면과의 관계를 가령 단 2개의 라인으로 설정하는 방식이기 때문에 설정이 간단하고 설정 시간을 최소화할 수 있을 것이다.According to the embodiment of the present invention, since the relationship between the ground on the map and the ground in the camera image is set by, for example, only two lines, the setting is simple and the setting time can be minimized.

또한, 본 발명의 실시예에 따르면, 지면이 평면이 아닌 곡면이라 가정하면 맵상의 지면과 카메라 영상에서의 지면을 맵핑하기 위한 방식이 복잡해지므로, 이를 위하여 각 카메라별로 라인을 3개 이상 지정하게 되면 2개 이상의 4정점으로 이루어진 대칭 영역을 얻을 수 있기 때문에 다수의 대응 평면들로 나뉘어지고 각 대응 평면 단위로 변환행렬을 구하는 방식을 적용하므로 정확도를 높일 수 있다.In addition, according to an embodiment of the present invention, assuming that the ground is a curved surface rather than a flat surface, the method for mapping the ground on the map to the ground in the camera image becomes complicated. For this purpose, if three or more lines are designated for each camera, Since it is possible to obtain a symmetric region composed of two or more four vertices, it is divided into a plurality of corresponding planes and the method of obtaining a transformation matrix for each corresponding plane is applied, so that the accuracy can be improved.

나아가, 본 발명의 실시예는 카메라 영상에서 검출된 객체의 좌표를 맵 좌표계로 변환하고 이렇게 생성된 객체들을 전역객체로 통합 관리하게 되면 복수의 카메라에서 촬영된 객체들이라고 하더라도 객체의 동선을 끊김없이 추적할 수 있으며 설령 두개의 카메라가 맵 상에서 겹치는 부분이 없더라도 맵 상에서 공통된 좌표로 관리하기 때문에 추후 물체의 재인식을 하기 위한 정보로도 활용할 수 있다.Furthermore, according to an embodiment of the present invention, if the coordinates of the objects detected in the camera image are converted into the map coordinate system and the created objects are integrated and managed as global objects, the movement of the objects is seamlessly It can be tracked, and even if there is no overlap between the two cameras on the map, they are managed with common coordinates on the map, so it can be used as information for re-recognition of an object in the future.

특히 전역 물체의 좌표 궤적 정보는 카메라 별로의 투영변환(projective transformaton)이 제거된 정보이기 때문에 이를 통한 이벤트 정의도 쉽게 정의되고 관리될 수 있다. 대표적인 예로 교통분야에서 좌회전 차량 탐지 및 불법 유턴 등은 일반 카메라에서는 정의되기 어려운 이벤트이지만 맵 상에서는 이벤트 규칙을 정규화할 수 있게 된다. 정규화할 수 있다는 것은 예를 들어 유턴의 궤적을 탐지한다고 가정하였을 때 일반 카메라에서는 투영변환을 하기 때문에 유턴의 궤적을 정의하기가 어렵지만 맵 좌표로 변환된 좌표계에서는 유턴의 궤적을 쉽게 적용하고 이벤트를 검출할 수 있다.In particular, since the coordinate trajectory information of the global object is information from which the projection transformation for each camera has been removed, the event definition through this information can also be easily defined and managed. For example, in the traffic field, detection of left-turning vehicles and illegal U-turns are events that are difficult to define with a general camera, but event rules can be normalized on the map. For example, when it is assumed that the trajectory of a U-turn is detected, it is difficult to define the trajectory of the U-turn because a normal camera performs projection transformation. can do.

도 1은 본 발명의 실시예에 따른 객체 추적 시스템을 나타내는 도면,
도 2는 맵과 카메라에서의 대칭 라인을 설정하는 방법을 설명하기 위한 도면,
도 3은 도 1의 복수의 카메라 기반 객체 추적 시스템에서의 카메라 관계 및 대칭 라인을 설정하고, 호모그래피를 구하는 과정을 설명하기 위한 도면,
도 4는 맵과 카메라에서 설정한 대응되는 2개 라인으로 대응되는 4개의 정점으로 구성되는 대응 평면을 구성하고 각 평면마다 맵 좌표로 변환하기 위한 호모그래피를 구하기 위한 방법을 설명하기 위한 도면,
도 5는 도 1의 복수 카메라 기반 객체 추적시스템에서의 각 카메라의 추적 물체를 맵 좌표로 변환하는 과정을 설명하기 위한 도면,
도 6은 본 발명의 다른 실시예에 따른 도 1의 객체추적장치의 세부구성을 예시한 블록다이어그램, 그리고
도 7은 본 발명의 다른 실시예에 따른 도 1의 객체추적장치의 구동과정을 나타내는 흐름도이다.1 is a diagram illustrating an object tracking system according to an embodiment of the present invention;
2 is a diagram for explaining a method of setting a symmetric line in a map and a camera;
3 is a view for explaining a process of setting a camera relationship and a symmetric line in the plurality of camera-based object tracking system of FIG. 1, and obtaining a homography;
4 is a diagram for explaining a method for obtaining a homography for constructing a corresponding plane consisting of four vertices corresponding to two corresponding lines set in a map and a camera, and converting into map coordinates for each plane;
5 is a diagram for explaining a process of converting a tracking object of each camera into map coordinates in the multiple camera-based object tracking system of FIG. 1;
6 is a block diagram illustrating a detailed configuration of the object tracking apparatus of FIG. 1 according to another embodiment of the present invention, and
7 is a flowchart illustrating a driving process of the object tracking apparatus of FIG. 1 according to another embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 객체 추적 시스템을 나타내는 도면이다.1 is a diagram illustrating an object tracking system according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 객체 추적 시스템(90)은 복수의 카메라 기반의 객체 추적 시스템으로서, 복수의 카메라(100), 영상분석장치(110), 통신망(미도시) 및 객체추적장치(120)의 일부 또는 전부를 포함한다.As shown in FIG. 1 , the object tracking system 90 according to an embodiment of the present invention is a plurality of camera-based object tracking system, and includes a plurality of cameras 100 , an image analysis device 110 , and a communication network (not shown). ) and some or all of the object tracking device 120 .

여기서, "일부 또는 전부를 포함한다"는 것은 영상분석장치(110)와 같은 일부 구성요소가 생략되어 객체 추적 시스템(90)이 구성되거나 영상분석장치(110)와 같은 일부 구성요소가 객체추적장치(120)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다. 또한, 영상분석장치(110)나 객체추적장치(120)는 영상처리장치라 명명될 수 있다.Here, “including some or all” means that some components such as the image analysis device 110 are omitted to configure the object tracking system 90 or some components such as the image analysis device 110 are configured as an object tracking device It is described as including all in order to help a sufficient understanding of the invention as meaning that it can be configured by being integrated with other components such as (120). Also, the image analysis apparatus 110 or the object tracking apparatus 120 may be referred to as an image processing apparatus.

촬영장치 즉 카메라(100)는 본 발명의 실시예에 따라 2개 이상의 카메라로 구성된다. 카메라(100)는 실내 또는 실외에 설치된 카메라들로서 지면에서 일정 이상의 높이에 설치되어 있으면서 카메라 뷰(view)가 서로 겹치거나 겹치지 않을 수 있다. 단 카메라 뷰는 관계를 설정하게 될 맵의 영역과는 지면 영역이 겹쳐 있어야 한다. 물론 여기서 맵은 지도 데이터일 수 있으며, "겹쳐"있다는 것은 서로 대응되거나 매칭(matching)되는 것으로 이해될 수 있다. 각 카메라는 영상만 송신하는 카메라와, 영상 분석을 통하여 영상과 객체 정보를 전송할 수 있는 카메라로 구성될 수 있다. 또한 별도의 영상분석장치(110)를 통하여 영상과 객체 정보를 수신할 수 있다. 영상분석장치(110)는 카메라 내부에 탑재되는 영상분석모듈, 카메라(100)의 주변에 별도로 구비되는 에지장치, 나아가 유무선 통신망과 같은 별도의 통신망에 연결되어 서버로서 동작하는 영상분석장치를 모두 의미할 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.The photographing apparatus, that is, the camera 100 is configured of two or more cameras according to an embodiment of the present invention. The camera 100 is installed indoors or outdoors, and the camera views may or may not overlap each other while being installed at a height above a certain level from the ground. However, for the camera view, the ground area should overlap the area of the map where the relationship will be established. Of course, here the map may be map data, and "overlapping" may be understood as corresponding to or matching with each other. Each camera may be composed of a camera that transmits only images and a camera that can transmit images and object information through image analysis. In addition, the image and object information may be received through a separate image analysis device 110 . The image analysis device 110 refers to an image analysis module mounted inside the camera, an edge device separately provided around the camera 100, and an image analysis device connected to a separate communication network such as a wired/wireless communication network and operating as a server. can do. Therefore, the embodiment of the present invention will not be particularly limited to any one form.

카메라(100)는 건물이나 건물 내의 매장과 같은 곳에 설치되어 건물이나 매장의 내부 또는 그 주변(예: 외부)을 촬영한다. 또한 카메라(100)는 안전지역이나 교통감시 등 실외의 다양한 곳에 설치되어 촬영 동작을 수행한다. 카메라(100)는 건물 또는 매장, 또 실외의 지정 장소를 촬영하는 감시카메라로서 일반 CCTV(Closed Circuit Television) 카메라나 IP(Internet Protocol) 카메라 등을 포함할 수 있으며 고정식 카메라뿐 아니라 팬(Pan), 틸트(Tilt) 및 줌(Zoom) 동작이 가능한 PTZ(Pan-Tilt-Zoom) 카메라를 포함할 수 있다. 나아가 2D 카메라 이외에 3D 카메라가 사용될 수도 있을 것이다. 3D 카메라를 적용하는 경우 메타 데이터를 획득하기에 용이할 수 있다. 예를 들어, 촬영 영상 내의 객체들에 대한 속성 정보 등을 얻기가 쉬울 수 있다. 본 발명의 실시예에서는 카메라(100)에 의해 촬영되는 실환경에서의 대상물은 물체라 명명할 수 있으며, 해당 물체가 카메라(100)에 의해 촬영되어 촬영 영상 내에 반영되는 물체는 객체라 명명할 수 있다.The camera 100 is installed in a building or a store within the building to photograph the inside or its surroundings (eg, outside) of the building or store. In addition, the camera 100 is installed in various places outdoors, such as a safe area or traffic monitoring, to perform a photographing operation. The camera 100 is a surveillance camera that shoots a building or store, or a designated place outdoors, and may include a general CCTV (Closed Circuit Television) camera or IP (Internet Protocol) camera, and includes a fixed camera as well as a fan, It may include a Pan-Tilt-Zoom (PTZ) camera capable of tilting and zooming. Furthermore, a 3D camera may be used in addition to the 2D camera. When a 3D camera is applied, it may be easy to obtain metadata. For example, it may be easy to obtain attribute information about objects in a captured image. In an embodiment of the present invention, an object in a real environment photographed by the camera 100 may be named an object, and an object photographed by the camera 100 and reflected in the photographed image may be named an object. there is.

통신망은 도면에 별도로 도시하지는 않았지만, 복수의 카메라(100)를 영상분석장치(110) 및 객체추적장치(120)와 유무선으로 연결하여 통신이 이루어지도록 다. 다시 말해, 영상분석장치(110)와 객체추적장치(120)의 경우에도 인트라넷 등의 내부 통신망을 통해 서로 연결될 수 있지만, 통신사(예: SKT 등)에서 운용하는 유무선의 사설 통신망을 통해 서로 연결될 수 있으므로, 본 발명의 실시예에서는 도 1의 객체 추적 시스템(90)이 어떠한 형태로 구성되는지에 대하여는 특별히 한정하지 않을 것이다.Although not shown separately in the drawing, the communication network is connected to the image analysis apparatus 110 and the object tracking apparatus 120 by wire or wireless to communicate with the plurality of cameras 100 . In other words, the image analysis device 110 and the object tracking device 120 may also be connected to each other through an internal communication network such as an intranet, but may be connected to each other through a wired/wireless private communication network operated by a communication company (eg, SKT, etc.) Therefore, in the embodiment of the present invention, the configuration of the object tracking system 90 of FIG. 1 will not be particularly limited.

좀더 구체적으로, 통신망은 유무선 통신망을 모두 포함한다. 가령 통신망으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서, 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망은 이에 한정되는 것이 아니며, 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transmissive Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.More specifically, the communication network includes both wired and wireless communication networks. For example, a wired/wireless Internet network may be used or linked as a communication network. Here, the wired network includes an Internet network such as a cable network or a public telephone network (PSTN), and the wireless communication network includes CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), Wibro network, etc. is meant to include Of course, the communication network according to the embodiment of the present invention is not limited thereto, and may be used, for example, in a cloud computing network under a cloud computing environment, a 5G network, and the like. For example, if the communication network is a wired communication network, an access point within the communication network can connect to a switching center of a telephone company, etc., but in the case of a wireless communication network, it accesses the SGSN or GGSN (Gateway GPRS Support Node) operated by the communication company to process data, or BTS (Base Transmissive Station), NodeB, e-NodeB, etc. can be connected to various repeaters to process data.

통신망은 액세스포인트(AP)를 포함할 수 있다. 여기서의 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 펨토 또는 피코 기지국은 소형 기지국의 분류상 카메라(100)나, 에지장치와 같은 영상분석장치(110) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 카메라(100)나 에지장치와 같은 영상분석장치(110) 등과 지그비 및 와이파이 등의 근거리 통신을 수행하기 위한 근거리 통신모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선, UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 서버로서 동작하는 영상분석장치(110) 및 객체추적장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.The communication network may include an access point (AP). Here, the access point includes a small base station, such as a femto or pico base station, which is often installed in a building. Femto or pico base stations are classified according to the maximum number of cameras 100 or image analysis devices 110, such as edge devices, that can be connected to each other according to the classification of small base stations. Of course, the access point may include a short-range communication module for performing short-distance communication such as Zigbee and Wi-Fi, such as the camera 100 or the image analysis device 110 such as an edge device. The access point may use TCP/IP or Real-Time Streaming Protocol (RTSP) for wireless communication. Here, short-distance communication may be performed in various standards such as Bluetooth, Zigbee, infrared, radio frequency (RF) such as ultra high frequency (UHF) and very high frequency (VHF), and ultra-wideband communication (UWB) in addition to Wi-Fi. Accordingly, the access point extracts the location of the data packet, designates the best communication path for the extracted location, and transmits the data packet along the designated communication path to the next device, for example, the image analysis device 110 operating as a server and object tracking. may be delivered to device 120 . The access point may share several lines in a general network environment, and includes, for example, a router, a repeater, and a repeater.

도 1의 영상분석장치(110)는 카메라(100)에 탑재되는 영상분석모듈, 카메라(100)의 주변에 구비되어 동작하는 에지장치, 그리고 서버로서 동작하는 영상분석장치 등 다양한 형태의 장치를 의미할 수 있다. 카메라(100)에서 촬영된 촬영영상은 영상분석장치(110)를 통해 영상분석 동작이 이루어질 수 있으며, 대표적으로 사람이나 사물 등을 각 비디오 프레임에서 추출하고, 추출한 각 비디오 프레임의 객체들에 대하여 객체의 오검출 및 분류 등의 동작을 수행할 수 있다. 객체의 오검출은 객체 검출기를 통해 이루어질 수 있으며, 객체 검출기는 템플릿(template) 기반이나 DCNN 기반의 딥러닝 기술을 적용하여 객체의 검출 즉 인식 동작이 이루어질 수 있다. 따라서, 객체 검출과 함께 사람, 사물 등의 객체 유형을 분류하고, 이의 과정에서 오검출 객체를 분류할 수도 있다.The image analysis device 110 of FIG. 1 refers to various types of devices such as an image analysis module mounted on the camera 100, an edge device that is provided and operates around the camera 100, and an image analysis device that operates as a server can do. An image analysis operation may be performed on the captured image taken by the camera 100 through the image analysis device 110, representatively, a person or an object is extracted from each video frame, and an object of each extracted video frame is an object. operations such as erroneous detection and classification of False detection of an object may be performed through an object detector, and the object detector may perform an object detection, ie, recognition operation, by applying a template-based or DCNN-based deep learning technology. Accordingly, it is possible to classify object types such as people and things together with object detection, and classify erroneous detection objects in the process.

그리고, 영상분석장치(110)에서 이루어지는 영상 분석 결과 즉 객체의 정보는 객체추적장치(120)로 제공되어 객체 추적 동작이 이루어진다. 여기서, 객체 추적이란, 가령 초당 60장의 비디오 프레임이 수신되었다고 가정할 때, 영상분석장치(110)에서는 각 비디오프레임에서 객체를 추출하고, 추출한 객체의 검출 및 분류 동작을 수행하였다. 이러한 데이터를 객체추적장치(120)에 제공하게 되면, 객체추적장치는 전체 60장의 비디오 프레임에서 지정 객체가 어떠한 형태로 움직임이 발생하는지를 추적할 수 있다. 이러한 추적은 영상 내에서 움직임 거리 및 방향을 나타내는 벡터값으로 설정될 수 있지만, 영상 내의 화소들에 대한 좌표값의 형태로 설정될 수 있다. 본 발명의 실시예에서는 후자의 경우와 같이 카메라 좌표계에 의한 방법을 사용할 수 있다. 예를 들어, 촬영영상의 분석 결과 특정 사용자가 쓰레기를 들고 와서 지정 장소에 배출한다고 가정할 때, 이러한 사용자의 움직임을 추적하게 되며, 촬영영상에서 해당 사용자의 객체를 추적함으로써 실 환경에서의 해당 사용자의 움직임 동향을 영상을 통해 판단할 수 있게 된다. 이러한 객체의 추출이나 인식 및 분류 등은 이미 당업자에게 자명하므로 더 이상의 설명은 생략한다.Then, the image analysis result performed by the image analysis device 110, that is, information on the object is provided to the object tracking device 120 to perform the object tracking operation. Here, the object tracking refers to, for example, assuming that 60 video frames per second are received, the image analysis apparatus 110 extracts an object from each video frame, and detects and classifies the extracted object. When such data is provided to the object tracking device 120 , the object tracking device can track the shape of the movement of the designated object in a total of 60 video frames. Such tracking may be set as a vector value indicating a movement distance and direction in the image, but may be set in the form of coordinate values for pixels in the image. In an embodiment of the present invention, a method using a camera coordinate system may be used as in the latter case. For example, assuming that a specific user brings garbage and discharges it to a designated place as a result of analysis of the captured image, the movement of such a user is tracked, and by tracking the user's object in the captured image, the user in the real environment It is possible to judge the movement trend of Since the extraction, recognition, and classification of such objects are already apparent to those skilled in the art, further description will be omitted.

객체추적장치(120)는 본 발명의 실시예에 따라 복수의 카메라 영상 좌표를 맵 좌표로 변환하기 위한 라인 기반 캘리브레이션 방법 즉 동작을 수행한다. 다시 말해, 객체추적장치(120)는 복수의 카메라 영상 좌표를 맵 좌표로 변환하기 위한 라인 기반 캘리브레이션 방법을 수행하기 위하여 맵과 각 카메라(100)가 지면 영역을 공유하고 있는 경우 맵과 카메라(100) 간의 관계를 설정하고, 관계가 맺어진 맵과 각 카메라(100) 간의 최소 2개 이상의 대칭 라인을 지정하며, 각 대칭라인으로부터 4개의 정점으로 이루어지는 대칭 영역을 구하고, 카메라 좌표계에서 맵 좌표계로 변환하기 위한 호모그래피 매트릭스를 구한다. 또한, 객체추적장치(120)는 각각의 카메라(100)에서 객체를 검출하고(혹은 기검출된 객체를) 추적한 후 각 객체 위치를 호모그래피 매트릭스를 통하여 맵 좌표계 위치로 변환하고, 맵 좌표계로 변환된 지역 추적 물체의 위치 정보를 이용하여 전역물체를 생성하며, 전역 물체의 추적 및 궤적 정보를 이용하여 이벤트를 검출하고 이러한 전역물체의 정보를 화면에 표출하거나 저장하여 검색하는 동작을 수행한다.The object tracking device 120 performs a line-based calibration method, that is, an operation for converting a plurality of camera image coordinates into map coordinates according to an embodiment of the present invention. In other words, the object tracking device 120 performs a line-based calibration method for converting a plurality of camera image coordinates into map coordinates when the map and each camera 100 share a ground area. ), specify at least two symmetric lines between the related map and each camera 100, obtain a symmetric area consisting of four vertices from each symmetric line, and transform from the camera coordinate system to the map coordinate system Find a homography matrix for In addition, the object tracking device 120 detects an object from each camera 100 (or tracks a previously detected object), and then converts the position of each object into a map coordinate system position through a homography matrix, and into the map coordinate system. A global object is created using the converted location information of the local tracking object, an event is detected using the tracking and trajectory information of the global object, and the information of the global object is displayed or stored on the screen to perform a search operation.

이를 위하여, 객체추적장치(120)는 도 1에 도시된 바와 같이, 영상기반 지역객체 추적부(121a) 및/또는 카메라별 지역객체 수신부(121b), 좌표계 변환부(122), 맵기반 전역객체 생성부(123), 라인기반 캘리브레이션 도구(부)(124), 전역 추적객체기반 이벤트 검출부(125), 전역객체 화면 표출부(126), 그리고 전역객체 데이터 저장 및 검색부(127)의 일부 또는 전부를 포함한다. 여기서, "일부 또는 전부를 포함한다"는 것은 영상기반 지역객체 추적부(121a)나 카메라별 지역객체 수신부(121b)의 일부 구성요소가 생략되어 객체추적장치(120)가 구성되거나, 영상기반 지역객체 추적부(121a)와 같은 일부 구성요소가 카메라별 지역객체 수신부(121b)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.To this end, as shown in FIG. 1 , the object tracking device 120 includes an image-based local object tracking unit 121a and/or a local object receiving unit for each camera 121b, a coordinate system conversion unit 122, and a map-based global object. Part of the generation unit 123, the line-based calibration tool (unit) 124, the global tracking object-based event detection unit 125, the global object screen display unit 126, and the global object data storage and search unit 127 or includes all Here, "including some or all" means that some components of the image-based local object tracking unit 121a or the camera-specific local object receiving unit 121b are omitted to configure the object tracking device 120, or an image-based area It means that some components such as the object tracking unit 121a can be configured by being integrated with other components such as the local object receiving unit 121b for each camera, and all are included to help a sufficient understanding of the invention Explain.

본 발명의 실시예에 따른 영상기반 지역객체 추적부(121a) 및/또는 카메라별 지역객체 수신부(121b), 좌표계 변환부(122), 맵기반 전역객체 생성부(123), 라인기반 캘리브레이션 도구부(124), 전역 추적객체기반 이벤트 검출부(125), 전역객체 화면 표출부(126), 그리고 전역객체 데이터 저장 및 검색부(127)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 세부 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 어느 하나의 형태 특별히 한정하지는 않을 것이다.An image-based local object tracking unit 121a and/or a local object receiving unit for each camera 121b, a coordinate system transformation unit 122, a map-based global object generation unit 123, and a line-based calibration tool unit according to an embodiment of the present invention 124, the global tracking object-based event detection unit 125, the global object screen display unit 126, and the global object data storage and search unit 127 are composed of hardware modules physically separated from each other, but each module has an internal You can store software for performing detailed operations in the . However, since the software is a set of software modules, and each module can be formed of hardware, it will not be particularly limited to the configuration of software or hardware. For example, the storage unit may be a hardware storage (storage) or a memory (memory). However, since it is possible to store information in software (repository), any one form will not be particularly limited.

지역객체 추적부(121a)는 서로 감시하는 구역이 겹치거나 겹치지 않더라도 하나의 맵에 맵핑될 수 있는 카메라 영상을 입력받아 객체를 검출 및 추적한다. 물론 기검출된 객체의 분석 결과가 제공되는 경우에는 이를 이용해 객체 추적 동작을 수행할 수 있다. 또는 직접 분석을 하지 않더라도 지역객체 수신부(121b)는 외부 영상분석장치(110)로부터 객체 정보를 수신할 수 있다.The local object tracking unit 121a detects and tracks an object by receiving a camera image that can be mapped to one map even if the areas monitored by each other overlap or do not overlap. Of course, when an analysis result of a previously detected object is provided, an object tracking operation can be performed using the result. Alternatively, even without direct analysis, the local object receiving unit 121b may receive object information from the external image analyzing apparatus 110 .

객체추적장치(120)는 자체적으로 영상분석 기능을 탑재하여 카메라 영상을 입력받아 실시간으로 직접 객체를 검출하고 추적을 수행할 수 있으며, 각 카메라 단위로 분석된 객체들을 지역 객체 리스트로 관리한다. 지역객체 수신부(121b)는 외부의 영상분석 카메라 또는 영상분석장치(110)를 통하여 수신된 객체 정보를 수신하고 관리한다. 지역객체 수신부(121b)는 기본적으로 객체의 정보만 수신하면 되지만 라이브 화면 출력 및 라인기반 캘리브레이션을 위해 정지영상 또는 실시간 영상을 수신할 수 있다.The object tracking device 120 is equipped with its own image analysis function to receive a camera image, directly detect an object in real time, and perform tracking, and manages the objects analyzed in units of each camera as a local object list. The local object receiving unit 121b receives and manages object information received through an external image analysis camera or image analysis device 110 . The local object receiver 121b basically only needs to receive object information, but may receive a still image or a real-time image for live screen output and line-based calibration.

좌표 변환부(122)는 복수의 카메라(100)부터 분석된 객체의 좌표들을 맵상에서의 좌표로 변환하는 카메라 영상과 맵 사이에서의 좌표 변환 동작을 수행한다. 카메라 좌표를 맵 좌표로 변환하는 좌표 변환부(122)는 각각의 카메라(100)에서 검출된 객체들을 맵 좌표로 변환하는 부분이다. 본 발명의 실시예에서는 대칭 라인 쌍에서 생성되는 영역을 통한 호모그래피 관계로 변환을 한다. 이와 관련한 자세한 내용은 이후에 좀더 다루기로 한다. 여기서 맵은 일반적인 정지영상 또는 동영상일 수 있으며 GPS 좌표에 기반한 GIS(Geographic Information System) 맵일 수 있다.The coordinate transformation unit 122 performs a coordinate transformation operation between the camera image and the map by converting the coordinates of the object analyzed from the plurality of cameras 100 into coordinates on the map. The coordinate converter 122 that converts camera coordinates into map coordinates is a part that converts objects detected by each camera 100 into map coordinates. In an embodiment of the present invention, a transformation is performed into a homography relationship through a region generated from a pair of symmetric lines. More details on this will be discussed later. Here, the map may be a general still image or moving image, and may be a Geographic Information System (GIS) map based on GPS coordinates.

맵기반 전역객체 추적부(123)는 카메라(100)별 객체 추적 결과 및 맵상의 지역 객체의 좌표를 이용하여 전역 객체 추적 결과를 생성한다. 즉 맵기반 전역객체 추적부(123)는 맵 좌표로 변환된 지역 객체 정보들을 기반으로 전역객체 리스트를 생성하게 된다. 이때 두 카메라(100)가 동일한 지역의 동일한 물체를 검출하였고 이 물체가 맵상에서 인접 또는 겹쳐 있으면서 객체의 종류와 속성이 유사한 경우에는 동일한 물체로 간주하는 방식으로 전역물체를 생성하게 된다. 맵 좌표상에서 생성되는 전역객체는 고유의 식별정보(ID)를 가지게 되고 각 카메라(100)에서 분석된 객체의 속성 정보들을 유지하게 된다. 여기서, 속성은 모양이나 컬러, 특징점 등의 다양한 정보를 포함할 수 있다.The map-based global object tracking unit 123 generates a global object tracking result by using the object tracking result for each camera 100 and the coordinates of a local object on the map. That is, the map-based global object tracking unit 123 creates a global object list based on local object information converted into map coordinates. At this time, if the two cameras 100 detect the same object in the same area and the object is adjacent or overlapped on the map and the types and properties of the objects are similar, the global object is generated in such a way that it is regarded as the same object. The global object created on the map coordinates has unique identification information (ID) and maintains the attribute information of the object analyzed by each camera 100 . Here, the attribute may include various information such as shape, color, and feature point.

라인기반 캘리브레이션 도구(부)(124)는 각 카메라(100)의 영상과 맵 영상을 입력받아 대칭 라인을 설정하기 위한 UI(User Interface)에 기반한 도구, 또는 해당 도구를 실행시키는 부분이다. 이 도구에서 대칭라인 설정이 완료되면 설정 정보를 (맵) 좌표 변환부(122)에 전달하게 된다. The line-based calibration tool (unit) 124 receives an image and a map image of each camera 100 and receives a UI (User Interface)-based tool for setting a symmetric line, or a part that executes the corresponding tool. When the setting of the symmetric line in this tool is completed, the setting information is transmitted to the (map) coordinate conversion unit 122 .

전역 추적객체기반 이벤트 검출부(125)는 전역 객체 추적 결과를 이용하여 이벤트를 검출한다. 전역 추적객체기반 이벤트 검출부(125)는 가령 전역 물체의 추적 궤적 정보와 물체의 속성 정보를 기반으로 이벤트를 검출할 수 있다. 검출할 수 있는 이벤트의 예로는 특정 관심영역(ROI)별로의 관심객체 포함여부 또는 관심객체의 궤적 유형 등으로 검출할 수 있다.The global tracking object-based event detection unit 125 detects an event using the global object tracking result. The global tracking object-based event detection unit 125 may detect an event based on, for example, tracking trajectory information of the global object and property information of the object. As an example of a detectable event, it may be detected by whether the object of interest is included in each specific region of interest (ROI) or the trajectory type of the object of interest.

전역객체 화면 표출부(126)는 추적 중인 전역 객체의 위치를 사이트 맵 상에 (실시간으로) 표출한다. 전역객체 화면 표출부(126)는 전역객체 생성부(123)가 생성한 실시간 물체 추적 결과를 이용하여 화면에 실시간으로 표출되거나 전역객체 데이터 저장 및 검색부(127)에 저장된 객체 정보를 이용하여 녹화된 객체 추적정보를 재생하거나 검색할 수 있다. 예를 들어, 데스크탑 컴퓨터, 랩탑컴퓨터, 태블릿PC 및 스마트폰 등의 사용자 단말장치나 관리자 단말장치에서 객체추적장치(120)에 접속하여 검색 서비스를 요청하는 경우, 해당 검색 조건에 따라 본 발명의 실시예에 따른 객체 추적 정보를 검색하여 재생시킬 수 있을 것이다.The global object screen display unit 126 displays (in real time) the location of the global object being tracked on the site map. The global object screen display unit 126 is displayed on the screen in real time using the real-time object tracking result generated by the global object generation unit 123 or recorded using object information stored in the global object data storage and search unit 127 . You can play or search the object tracking information. For example, when a search service is requested by accessing the object tracking device 120 from a user terminal device or an administrator terminal device such as a desktop computer, a laptop computer, a tablet PC, and a smart phone, the implementation of the present invention is performed according to the search condition. The object tracking information according to the example may be retrieved and reproduced.

전역객체 데이터 저장 및 검색부(127)는 실시간으로 발생된 객체 추적정보들을 스트림의 형태로 저장하게 되며 전역객체에 이벤트가 발생한 경우 이벤트 정보도 함께 저장하게 된다.The global object data storage and search unit 127 stores the object tracking information generated in real time in the form of a stream, and when an event occurs in the global object, the event information is also stored.

상기의 구성 결과 본 발명의 실시예에 따른 객체 추적 시스템(90)은 맵상의 지면과 카메라 영상에서의 지면과의 관계를 단 2개의 라인으로 설정하는 방식이기 때문에 설정이 간단하고 설정 시간을 최소화할 수 있게 된다. 이는 가령 대응 점을 입력하는 방식과는 차별화될 수 있는데, 대응점을 입력하는 방식의 경우 점을 지정하는 방식이기 때문에 설정된 대응점을 찾기 어렵다. 따라서, 이러한 대응점들로 하는 경우 적용되는 대상 평면을 지정하기가 번거로울 수 있으며 대개 문제를 간단히 해결하기 위하여 단일 평면으로 가정하고 단 하나의 변환 관계를 가지도록 하기 때문에 정확도가 떨어질 수밖에 없다.As a result of the above configuration, the object tracking system 90 according to the embodiment of the present invention is a method of setting the relationship between the ground on the map and the ground in the camera image with only two lines, so setting is simple and setting time is minimized. be able to This may be differentiated from, for example, a method of inputting a corresponding point. Since the method of inputting a corresponding point is a method of designating a point, it is difficult to find a set corresponding point. Therefore, in case of using these corresponding points, it may be cumbersome to designate an applied target plane, and in order to solve the problem simply, it is assumed that a single plane is assumed and has only one transformation relation, so the accuracy is inevitably reduced.

따라서, 가령 지면이 평면이 아닌 곡면이라고 가정하면 이를 맵핑하기 위한 방식이 복잡해질 수 있기 때문에 본 발명의 실시예에서는 각 카메라 별로 라인을 3개 이상 지정하게 되면 2개 이상의 4정점으로 이루어진 대칭 영역을 얻을 수 있기 때문에 다수의 대응 평면들로 나뉘어지고 각 대응 평면 단위로 변환행렬을 구하는 방식을 제공하기 때문에 정확도를 증가시킬 수 있다. Therefore, for example, if it is assumed that the ground is a curved surface rather than a flat surface, the method for mapping it may be complicated. Therefore, in the embodiment of the present invention, if three or more lines are designated for each camera, a symmetrical area consisting of two or more four vertices is formed. Since it can be obtained, it is divided into a number of corresponding planes, and the accuracy can be increased because a method of finding a transformation matrix in units of each corresponding plane is provided.

카메라 영상에서 검출된 객체의 좌표를 맵 좌표계로 변환하고 이렇게 생성된 객체들을 전역객체로 통합 관리하게 되면 복수의 카메라에서 촬영된 객체들이라고 하더라도 객체의 동선을 끊김없이 추적할 수 있으며 설령 두개의 카메라가 맵 상에서 겹치는 부분이 없더라도 맵 상에서 공통된 좌표로 관리하기 때문에 추후 물체의 재인식을 하기 위한 정보로도 활용할 수 있다.If the coordinates of the objects detected in the camera image are converted into the map coordinate system and the objects thus created are integrated and managed as global objects, the movement of objects can be tracked seamlessly even if they are captured by multiple cameras, and even if two cameras Even if there is no overlapping part on the map, since it is managed with common coordinates on the map, it can be used as information for re-recognizing an object in the future.

특히 전역 물체의 좌표 궤적 정보는 카메라 별로의 투영변환이 제거된 정보이기 때문에 이를 통한 이벤트 정의도 쉽게 정의되고 관리될 수 있다. 대표적인 예로 교통분야에서 좌회전 차량 탐지 및 불법 유턴 등은 일반 카메라에서는 정의되기 어려운 이벤트이지만 맵 상에서는 이벤트 규칙을 정규화할 수 있게 된다. 정규화할 수 있다는 것은 예를 들어 유턴의 궤적을 탐지한다고 가정하였을 때 일반 카메라에서는 투영변환을 하기 때문에 유턴의 궤적을 정의하기가 어렵지만 맵 좌표로 변환된 좌표계에서는 유턴의 궤적을 쉽게 적용하고 이벤트를 검출할 수 있다.In particular, since the coordinate trajectory information of the global object is information from which the projection transformation for each camera is removed, event definition can be easily defined and managed through this information. For example, in the traffic field, detection of left-turning vehicles and illegal U-turns are events that are difficult to define with a general camera, but event rules can be normalized on the map. For example, when it is assumed that the trajectory of a U-turn is detected, it is difficult to define the trajectory of the U-turn because a normal camera performs projection transformation. can do.

도 2는 맵과 카메라에서의 대칭 라인을 설정하는 방법을 설명하기 위한 도면이다.2 is a diagram for explaining a method of setting a symmetric line in a map and a camera.

도 2에서 볼 수 있는 바와 같이, 도 1의 카메라(100)는 맵상에서 2개 이상 설치되어 있으며 설치의 위치는 도 2의 카메라(100)와 같이 동일 위치에 설치하거나 서로 다른 위치에 설치될 수 있다. 도 2의 예에서는 관심 도로의 근거리(예: 100m 이내)를 모니터링하는 카메라와 원거리(예: 80m이상-200m 이내)를 줌인하여 관찰하는 카메라가 있다. As can be seen in FIG. 2 , two or more cameras 100 of FIG. 1 are installed on the map, and the installation location may be installed at the same location as the camera 100 of FIG. 2 or installed at different locations. there is. In the example of FIG. 2 , there are a camera that monitors a short distance (eg, within 100 m) of a road of interest and a camera that observes by zooming in at a long distance (eg, 80 m or more - within 200 m).

맵에서 기준을 삼을 대칭 라인들을 지정한다. 도 2의 예에서는 3개의 라인을 추가하였다. 그리고 각각의 카메라(100)마다 맵에서 설정한 대칭 라인과 대응되는 라인을 설정한다. 첫번째 카메라에서는 2개의 대칭라인(예: ①, ②)을 지정하였다. 두번째 카메라에서도 2개의 대칭라인(예: ②, ③)을 지정하였다.Specifies the symmetric lines to use as a reference in the map. In the example of FIG. 2, three lines are added. In addition, a line corresponding to the symmetric line set in the map is set for each camera 100 . In the first camera, two symmetric lines (eg ①, ②) were specified. In the second camera, two symmetric lines (eg, ②, ③) were designated.

각 카메라 영상에서 대칭라인을 지정할 때 맵에서 지정된 라인과의 연관 관계를 알 수 있도록 인덱스 값을 지정해야 한다.When designating a symmetric line in each camera image, you must designate an index value so that you can know the relationship with the designated line on the map.

그리고 각 라인을 지정할 때에는 라인의 지정 방향이 동일해야 한다. 지정 방향이 동일해야 하는 이유는 라인쌍으로 구성되는 4개의 정점으로 호모그래피를 구하려면 대응점 들이 각각 일치해야 하기 때문이다. 이를 위하여 라인을 구성하는 각 정점에 방향을 알 수 있도록 별도의 표식을 하여 구분할 수 있다. 도 2에서는 시작점을 원형, 종료점을 마름모로 하였다. 라인의 지정 방향이 맞는지 쉽게 알 수 있도록 하는 또다른 방법에는 두 라인쌍에 의하여 구성되는 평면을 그리는 방법이 사용될 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.And when designating each line, the designation direction of the lines must be the same. The reason why the designation direction must be the same is that the corresponding points must coincide to obtain a homography with four vertices composed of a line pair. To this end, each vertex constituting the line can be distinguished by putting a separate mark so that the direction can be known. In Fig. 2, the starting point is a circle, and the ending point is a rhombus. Another method of making it easy to know whether the specified direction of a line is correct may be a method of drawing a plane composed of two line pairs. Therefore, the embodiment of the present invention will not be particularly limited to any one form.

도 3은 도 1의 복수의 카메라 기반 객체 추적 시스템에서의 카메라 관계 및 대칭 라인을 설정하고, 호모그래피를 구하는 과정을 설명하기 위한 도면이다.FIG. 3 is a diagram for explaining a process of setting a camera relationship and a symmetric line and obtaining a homography in the plurality of camera-based object tracking system of FIG. 1 .

설명의 편의상 도 3을 도 1과 함께 참조하면, 객체 추적 시스템(90)에서는 맵은 하나 이상으로 구성될 수 있으며 카메라(100)들도 복수 개의 카메라들로 구성될 수 있다.Referring to FIG. 3 together with FIG. 1 for convenience of description, in the object tracking system 90, one or more maps may be configured, and the cameras 100 may also include a plurality of cameras.

카메라(100)와 맵의 관계 등록에서는 맵과 연관되어 있는 카메라를 지정하는 단계이다(S300). 각 맵은 연관되어 있는 카메라 정보를 리스트로 관리된다. 복수의 맵을 등록하기 위한 사용자 인터페이스가 제공된다. 복수의 카메라(100)를 등록할 수 있는 사용자 인터페이스가 제공된다. 또한 맵과 카메라를 관계를 맺어주는 사용자 인터페이스가 제공될 수 있다. 예를 들어, 객체추적장치(120)에 연계하여 동작하는 관리자 등의 사용자 단말장치 또는 관리자 단말장치로부터 사용자 인터페이스(예: 서비스 화면 등)를 통해 설정이 이루어질 수 있다.In the registration of the relationship between the camera 100 and the map, a camera associated with the map is designated (S300). Each map is managed as a list of related camera information. A user interface for registering a plurality of maps is provided. A user interface capable of registering a plurality of cameras 100 is provided. In addition, a user interface for associating the map with the camera may be provided. For example, setting may be made through a user interface (eg, a service screen, etc.) from a user terminal device such as a manager operating in connection with the object tracking device 120 or a manager terminal device.

맵 영상(혹은 맵 데이터)에서의 캘리브레이션 라인 추가 단계(S310)에서는 맵 영상에서 캘리브레이션 라인을 추가하면서 추가한 라인별로 식별정보(ID)가 부여된다. 또한 라인이 지정되는 방향이 표시될 수 있어야 한다. 따라서, 라인의 방향이 지정될 수 있다.In the step of adding a calibration line to the map image (or map data) ( S310 ), identification information (ID) is given to each line added while adding the calibration line to the map image. It must also be possible to indicate the direction in which the line is to be drawn. Thus, the direction of the line can be specified.

카메라 영상에서의 캘리브레이션 라인들 추가하는 단계(S320)에서는 맵 영상에서 설정하는 라인과 대응되는 라인을 설정하는 단계이다. 맵에서 지정한 라인과 대응되는 라인을 지정할 때 라인의 방향을 알 수 있도록 정점별로 표시하는 기능을 제공한다.The step of adding calibration lines in the camera image ( S320 ) is a step of setting a line corresponding to a line set in the map image. When designating the line corresponding to the line specified on the map, it provides a function to display each vertex so that the direction of the line can be known.

대응 라인쌍 별로 대칭 영역을 구하는 단계(S330)에서는 호모그래피 행렬을 얻기 위하여 4개의 대칭 점으로 구성된 폴리곤(polygon) 영역을 구하는 단계이다. 올바른 순서와 방향으로 대응 라인을 지정하였는지를 알 수 있도록 폴리곤 영역을 화면에 표출하는 방법을 제공한다.In step S330 of obtaining a symmetric area for each pair of corresponding lines, a polygon area composed of four symmetric points is obtained in order to obtain a homography matrix. It provides a method of displaying the polygon area on the screen so that you can know whether the corresponding lines are specified in the correct order and direction.

마지막으로 대응 영역 별로 호모그래피 매트릭스를 계산하는 단계(S340)이다. 각 카메라(100)의 영상에서 맵 영상으로 대응되는 영역정보와 호모그래피 정보는 함께 저장되어야 한다. 카메라에서 정의된 4정점으로 구성된 폴리곤 좌표는 카메라의 객체 좌표가 어떠한 변환행렬에 적용할지에 대한 판단 용도이고, 맵에서 정의된 4정점으로 구성된 폴리곤 좌표는 맵 영상내에서 실측 위치 좌표값으로 변환할 때 사용된다.Finally, it is a step of calculating a homography matrix for each corresponding region (S340). Region information and homography information corresponding to the map image in the image of each camera 100 should be stored together. The polygon coordinates composed of 4 vertices defined in the camera are used to determine which transformation matrix the object coordinates of the camera are to be applied, and the polygon coordinates composed of 4 vertices defined in the map can be converted into actual location coordinate values in the map image. used when

상기한 내용 이외에도 도 3의 객체추적장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신한다.In addition to the above, the object tracking apparatus 120 of FIG. 3 can perform various operations, and since other detailed information has been sufficiently described above, those contents are substituted.

도 4는 맵과 카메라에서 설정한 대응되는 2개 라인으로 대응되는 4개의 정점으로 구성되는 대응 평면을 구성하고 각 평면마다 맵 좌표로 변환하기 위한 호모그래피를 구하기 위한 방법을 설명하는 도면이다.4 is a view for explaining a method for obtaining a homography for constructing a corresponding plane composed of four vertices corresponding to two corresponding lines set in a map and a camera, and converting the corresponding planes into map coordinates for each plane.

설명의 편의상 도 4를 도 1 및 도 2와 함께 참조하면, 도 2에서 설정된 라인들로부터 각 카메라(100)와 맵과의 대응되는 평면을 구성한다. 첫번째 카메라에서 생성된 영역과 맵 카메라(혹은 맵 데이터)의 대응영역으로 맵핑되는 호모그래피 매트릭스 H1을 구한다. 두번째 카메라에서 생성된 영역과 맵 카메라의 대응영역으로 맵핑되는 호모그래피 매트릭스 H2을 구한다.For convenience of explanation, referring to FIG. 4 together with FIGS. 1 and 2 , a corresponding plane between each camera 100 and the map is configured from the lines set in FIG. 2 . A homography matrix H1 mapped to the region generated by the first camera and the corresponding region of the map camera (or map data) is obtained. A homography matrix H2 mapped to the region generated by the second camera and the corresponding region of the map camera is obtained.

도 2에서의 호모그래피 매트릭스는 카메라 영상과 맵 영상에서 라인설정방식에 의하여 생성된 4정점으로 구성된 평면상의 좌표를 변환하며 <수학식1>과 같이 투영변환(Projective Transformation)에 의하여 표현될 수 있다. The homography matrix in FIG. 2 transforms the coordinates on a plane composed of 4 vertices generated by the line setting method in the camera image and the map image, and can be expressed by projection transformation as in <Equation 1>. .

위의 수학식에서 (x,y)는 카메라 영상에서의 좌표이고 (X,Y)는 맵 영상에서의 좌표이다. (a₁, ...., a₈)는 (x,y)와 (X,Y) 사이의 맵핑 관계를 정의하는 변환 파라미터들이고, λ는 0이 아닌 임의의 값을 갖는 스케일 값이다. 상기에서 한 개의 특징점 대응쌍이 주어지면 미지수 (a₁, ...., a₈)로 구성된 2개의 방정식을 얻을 수 있다. 따라서 4개의 정점 대응쌍들이 주어지면 총 8개의 연립 방정식으로부터 변환 파라미터 (a₁, ...., a₈)를 구할 수 있다.In the above equation, (x,y) is the coordinates in the camera image, and (X,Y) is the coordinates in the map image. (a ₁ , ...., a ₈ ) are transformation parameters defining a mapping relationship between (x,y) and (X,Y), and λ is a scale value having an arbitrary non-zero value. In the above, if one pair of feature points is given, two equations composed of unknowns (a ₁ , ...., a ₈ ) can be obtained. Therefore, given four pairs of vertices, the transformation parameters (a ₁ , ...., a ₈ ) can be obtained from a total of eight simultaneous equations.

도 5는 도 1의 복수 카메라 기반 객체 추적시스템(90)에서의 각 카메라(100)의 추적 물체를 맵 좌표로 변환하는 과정을 설명하는 도면으로서, 카메라 좌표계를 맵 좌표로 변환하는 부 즉 좌표 변환부(122)와 맵기반 전역객체 생성부(123), 그리고 전역 추적객체 기반 이벤트 검출부(125)에서 수행되는 과정을 설명하기 위한 도면이다.5 is a diagram for explaining a process of converting a tracking object of each camera 100 into map coordinates in the multiple camera-based object tracking system 90 of FIG. It is a diagram for explaining a process performed by the unit 122 , the map-based global object generator 123 , and the global tracking object-based event detector 125 .

설명의 편의상 도 5를 도 1과 함께 참조하면, 도 1에 도시한 객체추적장치(120)의 객체 검출 추적부(121)에서 각 카메라 영상을 기반으로 물체를 검출하고 추적하는 단계이다(S500). 복수 카메라 기반 객체 검출 시스템(90)을 구성하는 객체 추적 장치(120) 내에서 검출할 수도 있고, 또한 외부에서 검출한 객체를 수신받을 수 있다. 따라서, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.Referring to FIG. 5 together with FIG. 1 for convenience of explanation, it is a step of detecting and tracking an object based on each camera image in the object detection and tracking unit 121 of the object tracking apparatus 120 shown in FIG. 1 (S500) . It may be detected within the object tracking device 120 constituting the multi-camera-based object detection system 90 , and may also receive an externally detected object. Therefore, the embodiment of the present invention will not be particularly limited to any one form.

각 카메라(100)에서 검출된 객체가 각 카메라 영상에서 설정된 대응 영역 내에 있는지를 판단한다(S501). 해당 객체의 좌표를 변환하게 될 H 매트릭스를 찾기 위함이다. 객체가 각 카메라(100)에 설정된 대응 영역 내에 존재하지 않는 경우 해당 객체와 가장 인접한 영역을 검색한다(S502). It is determined whether the object detected by each camera 100 is within a corresponding area set in each camera image (S501). This is to find the H matrix that will transform the coordinates of the object. If the object does not exist within the corresponding area set in each camera 100, the area closest to the corresponding object is searched (S502).

객체를 변환할 대응 영역을 찾았으면 대칭 영역에 대응되는 호모그래피 행렬을 적용해 맵 좌표로 변환한다(S503).When the corresponding area to transform the object is found, the homography matrix corresponding to the symmetric area is applied to convert the object into map coordinates (S503).

맵 좌표로 변환된 지역 객체 좌표는 카메라 단위로 묶어서 전역 객체 생성부(123)에 전달되게 된다. The local object coordinates converted into map coordinates are grouped in camera units and transmitted to the global object generator 123 .

맵기반 전역객체 생성부(123)에서는 카메라 단위로 전달된 객체 좌표를 전달받아 관리한다(S505). 각 카메라(100)에서 수신받은 객체의 객체 좌표들이 정확하게 맵좌표로 맵핑되면 동일 물체에 대해서는 위치 및 객체의 속성 정보를 이용하여 병합하게 된다(S506). The map-based global object generation unit 123 receives and manages the object coordinates transmitted in units of cameras (S505). When the object coordinates of the object received from each camera 100 are accurately mapped to the map coordinates, the same object is merged using the location and attribute information of the object (S506).

통합 객체 리스트 생성 및 관리 단계(S506)에서는 물체를 병합한 후 전역 객체를 생성하고 관리하게 된다. In the integrated object list creation and management step (S506), after merging objects, a global object is created and managed.

통합된 객체는 맵 좌표계로 운영되기 때문에 이 좌표계를 기준으로 한 물체의 속성을 추출한다(S507). 맵 좌표계가 GIS를 기반한 데이터의 경우 GPS 좌표 정보를 통하여 실측 정보를 얻어낼 수 있다. 또한 GIS 기반이 아닌 경우에도 사용자가 실측 정보를 수동으로 입력하는 방식도 실측 단위의 정보를 얻어낼 수 있다. 사용자가 수동으로 입력하는 방법은 라인을 설정할 때 실측 위치 값을 지정하는 방식이 사용될 수 있다. 실측 정보(혹은 실환경에서의 물체 정보)에는 물체속도(km/h), 물체의 크기, 물체의 실측단위의 위치값을 얻어낼 수 있으며 이러한 정보는 향후 이벤트를 검출하거나 물체의 속성을 추출하여 정보를 제공하는 데 사용될 수 있다.Since the integrated object is operated in the map coordinate system, the properties of the object are extracted based on this coordinate system (S507). In the case of data whose map coordinate system is GIS-based, actual measurement information can be obtained through GPS coordinate information. In addition, even when not based on GIS, the method in which the user manually inputs the measurement information can also obtain information in the measurement unit. A method of manually input by the user may be a method of designating a measured position value when setting a line. Object speed (km/h), size of object, and location value of the actual measurement unit of the object can be obtained from the actual measurement information (or object information in the real environment). It can be used to provide information.

상기한 내용 이외에도 도 1의 객체추적장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 살명하였으므로 그 내용들로 대신한다.In addition to the above, the object tracking apparatus 120 of FIG. 1 may perform various operations, and other detailed information is substituted for the contents since it has been sufficiently described above.

도 6은 본 발명의 다른 실시예에 따른 객체추적장치의 세부구성을 예시한 블록다이어그램이다.6 is a block diagram illustrating a detailed configuration of an object tracking apparatus according to another embodiment of the present invention.

도 6에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 객체추적장치(120')는 통신 인터페이스부(600), 제어부(610), 라인기반 캘리브레이션부(620) 및 저장부(630)의 일부 또는 전부를 포함한다.As shown in FIG. 6 , the object tracking apparatus 120 ′ according to another embodiment of the present invention includes a communication interface unit 600 , a control unit 610 , a line-based calibration unit 620 , and a storage unit 630 . includes some or all.

여기서, "일부 또는 전부를 포함한다"는 것은 저장부(630)와 같은 일부 구성요소가 생략되어 구성되거나, 라인기반 캘리브레이션부(620)와 같은 일부 구성요소가 제어부(610)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.Here, “including some or all” means that some components such as the storage unit 630 are omitted, or some components such as the line-based calibration unit 620 are other components such as the control unit 610 . It is described as including all in order to help a sufficient understanding of the invention as meaning that it can be configured by being integrated with the present invention.

통신 인터페이스부(600)는 가령 통신망을 경유하여 도 1의 카메라(100) 또는 영상분석장치(110)와 각각 통신한다. 물론 통신 인터페이스부(600)는 데스크탑컴퓨터, 랩탑컴퓨터, 태블릿PC, 차량용 블랙박스 등을 사용하는 사용자 단말장치나 관리자 단말장치와 통신하여 USB 등에 저장되어 있는 촬영영상을 수신하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 통신 인터페이스부(600)는 카메라(100)나 영상분석장치(110)로부터 제공되는 촬영영상 또는 영상분석결과를 수신하여 제어부(610)로 제공한다.The communication interface unit 600 communicates, for example, with the camera 100 or the image analysis device 110 of FIG. 1 via a communication network, respectively. Of course, the communication interface unit 600 communicates with a user terminal device or an administrator terminal device using a desktop computer, a laptop computer, a tablet PC, a vehicle black box, etc. to receive the captured image stored in the USB, etc. In the embodiment of the invention, it will not be particularly limited to any one form. The communication interface unit 600 receives the captured image or the image analysis result provided from the camera 100 or the image analysis device 110 and provides it to the control unit 610 .

이의 과정에서 통신 인터페이스부(600)는 변/복조, 먹싱/디먹싱, 인코딩/디코딩, 해상도를 변환하는 스케일링 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다.In this process, the communication interface unit 600 may perform operations such as modulation/demodulation, muxing/demuxing, encoding/decoding, and scaling for converting resolution, which are obvious to those skilled in the art, and thus further description will be omitted.

제어부(610)는 도 6의 객체추적장치(120')를 구성하는 통신 인터페이스부(600), 라인기반 캘리브레이션부(620) 및 저장부(630)의 전반적인 제어 동작을 담당한다. 제어부(610)는 통신 인터페이스부(600)에서 제공되는 촬영영상이나 영상분석결과를 저장부(630)에 임시 저장한 후 불러내어 라인기반 캘리브레이션부(620)에 제공할 수 있다. 또한, 제어부(610)는 라인기반 캘리브레이션부(620)의 요청에 따라 관리자 단말장치 등으로 UI 화면을 제공하여 사용자 인터페이스 동작이 이루어지도록 한다.The control unit 610 is in charge of overall control operations of the communication interface unit 600 , the line-based calibration unit 620 , and the storage unit 630 constituting the object tracking device 120 ′ of FIG. 6 . The control unit 610 may temporarily store the captured image or the image analysis result provided from the communication interface unit 600 in the storage unit 630 , then call it and provide it to the line-based calibration unit 620 . In addition, the control unit 610 provides a UI screen to the manager terminal device or the like in response to the request of the line-based calibration unit 620 so that the user interface operation is performed.

이외에도 제어부(610)는 라인기반 캘리브레이션부(620)와 본 발명의 실시예에 따른 다양한 동작을 수행할 수 있다. 예를 들어, 도 3에서와 같이 데이터 구축 동작이 이루어질 수 있다. 다시 말해, 임의 지역(혹은 전역)에 대한 맵 데이터를 확보하여 해당 지역에서 감시 동작을 수행하는 카메라와 관계를 등록할 수 있다. 여기서, 임의 지역은 복수의 카메라에 의해 감시되는 감시 구역을 포함하는 영역이다. 예를 들어, 맵 데이터를 확보할 때 행정구역상 가령 시나 군, 또는 구 단위의 맵 데이터를 사용할 수 있으나, 이의 경우에는 데이터량이 많아 연산 처리 부담이 있을 수 있으므로, 해당 지역의 맵 데이터를 확보하여 복수의 영역으로 분할하여 사용하는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다. 물론 분할 영역 또한 복수의 카메라에 의한 감시 구역을 포함하는 영역일 수 있다.In addition, the control unit 610 may perform various operations according to the embodiment of the present invention with the line-based calibration unit 620 . For example, a data construction operation may be performed as shown in FIG. 3 . In other words, it is possible to secure map data for an arbitrary region (or the entire region) and register a relationship with a camera that performs a monitoring operation in the region. Here, the arbitrary area is an area including a monitoring area monitored by a plurality of cameras. For example, when securing map data, map data of a city, county, or gu unit can be used in administrative districts, but in this case, there is a large amount of data and there may be a burden of arithmetic processing. Since it is possible to divide and use a plurality of regions, the embodiment of the present invention will not be limited to any one form. Of course, the divided area may also be an area including a monitoring area by a plurality of cameras.

따라서, 제어부(610)는 확보한 임의 지역의 맵 데이터상에, 더 정확하게는 맵 데이터에 반영되는 있는 실환경에서 어떠한 카메라가 배치되어 사용되고 있는지 사용자 또는 관리자와의 인터페이스에 의해 관계를 등록한다. 물론 특정 조건을 만족할 때 자동으로 등록되는 것도 얼마든지 가능하므로 본 발명의 실시예에서는 수동으로 관계를 등록하는 것에 특별히 한정하지는 않을 것이다. 데이터에 식별번호를 부여하고, 카메라에 식별번호를 부여하여 서로 매칭하는 형태로 관계 등록이 이루어질 수 있다. 그리고, 제어부(610)는 맵에 라인을 추가하고, 또 카메라의 촬영 영상에서 라인을 추가하고 서로 대응되는 라인 쌍별로 대칭영역을 구한다. 이는 도 4에서 이미 설명한 바 있다. 나아가, 제어부(610)는 구한 대칭영역, 다시 말해 맵 데이터상의 제1 지면영역과, 촬영영상 내의 제2 지면영역의 대응 관계를 계산한다. 호모그래피(H)를 계산하며, 이는 <수학식 1>에서 변환 파라미터 (a₁, ...., a₈)의 형태로 생성될 수 있다.Accordingly, the control unit 610 registers a relationship through an interface with a user or an administrator regarding which cameras are arranged and used in the real environment reflected in the map data, more precisely, on the secured map data of an arbitrary area. Of course, since it is possible to automatically register when a specific condition is satisfied, the embodiment of the present invention will not be particularly limited to manually registering a relationship. Relationship registration can be made in the form of matching with each other by assigning an identification number to the data and assigning an identification number to the camera. Then, the control unit 610 adds a line to the map, adds a line to the image captured by the camera, and obtains a symmetric area for each pair of lines corresponding to each other. This has already been described in FIG. 4 . Furthermore, the control unit 610 calculates a corresponding relation between the obtained symmetrical area, that is, the first ground area on the map data and the second ground area in the captured image. A homography (H) is calculated, which may be generated in the form of transformation parameters (a ₁ , ...., a ₈ ) in <Equation 1>.

따라서, 임의 지역의 감시 구역을 촬영하는 각 카메라의 촬영영상 내의 객체들에 대하여 카메라 좌표값, 더 정확하게는 카메라에 의해 촬영된 촬영영상 내의 좌표값에 호모그래피(H)의 변환 행렬을 적용하게 되면, 맵 데이터상의 좌표값을 얻을 수가 있고, 해당 좌표값의 맵 데이터상에는 촬영영상 내의 객체들에게 대응되는 물체들의 실제 위치, 크기 및 속도 등의 값이 맵핑되어 있을 수 있다. 따라서, 영상 내에서의 추적 객체들에 대한 이벤트 판단시 맵 데이터상에서 특정 물체에 맵핑되어 있는 값들을 이용하게 되면, 실환경에서와 같은 정확한 이벤트의 도출이 가능하다. 이를 통해 촬영영상만을 통해 이벤트를 판단하는 것에 비해 이벤트 검출 등의 정확도를 높일 수 있을 것이다. 제어부(610)는 이러한 동작에 관여할 수 있다.Therefore, when the transformation matrix of homography (H) is applied to the camera coordinate values for the objects in the captured image of each camera that shoot the monitoring area of an arbitrary area, or more precisely, to the coordinate values in the captured image captured by the camera, , coordinate values on the map data may be obtained, and values such as actual positions, sizes, and speeds of objects corresponding to objects in the captured image may be mapped on the map data of the corresponding coordinate values. Accordingly, if the values mapped to the specific object on the map data are used when determining the event for the tracking objects in the image, it is possible to derive the exact event as in the real environment. Through this, it will be possible to increase the accuracy of event detection compared to judging an event through only the captured image. The controller 610 may participate in this operation.

라인기반 캘리브레이션부(620)는 본 발명의 실시예에 따른 다양한 동작을 수행한다. 예를 들어, 데이터 구축을 위한 사용자 인터페이스 동작을 수행한다. 맵 데이터상의 지면을 기준으로 하는 제1 지면영역과 해당 제1 지면영역에 대응되는 카메라별 제2 지면영역을 관계짓기 위한 동작을 수행한다. 이를 위하여 라인기반 캘리브레이션부(620)는 사용자로부터 수신되는 2개의 수평라인을 이용한 방식으로 서로 대응되는 대응 영역을 정의하고, 대응 영역별로 호모그래피를 계산하여 매트릭스 형태의 변환 행렬값을 기저장한다.The line-based calibrator 620 performs various operations according to an embodiment of the present invention. For example, it performs user interface operations for building data. An operation is performed to relate the first ground area based on the ground on the map data and the second ground area for each camera corresponding to the first ground area. To this end, the line-based calibrator 620 defines corresponding regions corresponding to each other in a manner using two horizontal lines received from the user, calculates homography for each corresponding region, and pre-stores a matrix-type transformation matrix value.

또한, 라인기반 캘리브레이션부(620)는 촬영영상의 분석결과로서 객체의 추적 결과가 수신되면, 물론 촬영영상이 수신되는 경우에는 객체를 영상 내에서 검출하고, 검출한 객체의 추적 결과를 생성할 수 있지만, 어떠한 방식으로든 객체 추적 결과를 수신한다는 가정하에 라인기반 캘리브레이션부(620)는 해당 추적 객체들에 위의 기저장한 변환 행렬을 적용하여 맵 데이터 상의 좌표값을 얻어낸다. 다시 말해, 카메라 촬영영상 내의 a 객체는 맵 데이터의 좌표값을 변환되는 경우 해당 a 객체를 나타내는 실환경에서의 a' 객체 즉 물체가 되는 것이므로, 영상 내의 추적 객체와 관련한 실환경에서의 정확한 위치나 속성을 알기 위하여 맵 데이터의 좌표값에 맵핑되어 있는 물체의 위치나 속성 데이터를 이용함으로써 이벤트 검출의 정확도를 증가시킬 수 있게 된다. 물론 라인기반 캘리브레이션부(620)는 추적 객체가 대응 영역 내에 없는 경우에는 도 5에서와 같이 객체가 가장 근접한 대응 영역을 검색하고 이를 이용하여 맵 좌표 변환을 수행하고, 변환된 맵 좌표값을 이용한다.In addition, the line-based calibrator 620 detects an object in the image when the tracking result of the object is received as an analysis result of the captured image, of course, when the captured image is received, and can generate a tracking result of the detected object. However, on the assumption that the object tracking result is received in any way, the line-based calibrator 620 obtains coordinate values on the map data by applying the above-stored transformation matrix to the corresponding tracking objects. In other words, when the coordinate value of the map data is converted, the object a in the camera-captured image becomes the object a' in the real environment representing the object a, that is, the exact location or In order to know the properties, it is possible to increase the accuracy of event detection by using the location or property data of the object mapped to the coordinate values of the map data. Of course, when the tracking object is not within the corresponding area, the line-based calibrator 620 searches for the closest corresponding area to the object as shown in FIG. 5, performs map coordinate transformation using this, and uses the converted map coordinate value.

저장부(630)는 제어부(610)의 제어하에 처리되는 다양한 유형의 데이터를 임시 저장한 후 출력할 수 있다. 저장부(630)는 롬(ROM), 램(RAM), HDD 형태의 메모리를 포함할 수 있으며, 소프트웨어적인 레지스트리 등의 메모리를 포함할 수도 있다. 저장부(630)는 위의 호모그래피 변환 행렬을 이용하여 좌표변환을 위한 연산 동작을 수행할 수 있지만, 해당 변환행렬이 적용된 값들을 룩업테이블(LUT) 형태로 생성하여 저장한 후 이를 이용할 수 있다. 이의 경우에는 연산 처리 속도가 빠르게 증가할 수 있을 것이다.The storage unit 630 may temporarily store and then output various types of data processed under the control of the control unit 610 . The storage unit 630 may include a memory in the form of a ROM, a RAM, and an HDD, and may include a memory such as a software registry. The storage unit 630 may perform an operation for coordinate transformation using the above homography transformation matrix, but it may be used after generating and storing the values to which the transformation matrix is applied in the form of a lookup table (LUT). . In this case, the operation processing speed may be rapidly increased.

상기한 내용 이외에도 도 6의 통신 인터페이스부(600), 제어부(610), 라인기반 캘리브레이션부(620) 및 저장부(630)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the communication interface unit 600, the control unit 610, the line-based calibration unit 620, and the storage unit 630 of FIG. 6 may perform various operations, and other details have been sufficiently described above. instead of content.

본 발명의 실시예에 따른 도 6의 통신 인터페이스부(600), 제어부(610), 라인기반 캘리브레이션부(620) 및 저장부(630)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(630)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.The communication interface unit 600, the control unit 610, the line-based calibration unit 620, and the storage unit 630 of FIG. 6 according to an embodiment of the present invention are composed of hardware modules physically separated from each other, but each module is It may be possible to store software for performing the above operation therein and execute it. However, since the software is a set of software modules, and each module can be formed of hardware, it will not be particularly limited to the configuration of software or hardware. For example, the storage unit 630 may be a hardware storage (storage) or a memory (memory). However, since it is possible to store information in software (repository), it will not be particularly limited to the above.

한편, 본 발명의 다른 실시예로서 제어부(610)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 객체추적장치(120)의 동작 초기에 라인기반 캘리브레이션부(620)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다.Meanwhile, as another embodiment of the present invention, the control unit 610 may include a CPU and a memory, and may be formed as a single chip. The CPU includes a control circuit, an arithmetic unit (ALU), a command interpreter and a registry, and the memory may include a RAM. The control circuit performs a control operation, the operation unit performs an operation operation of binary bit information, and the instruction interpretation unit converts a high-level language into a machine language and a machine language into a high-level language, including an interpreter or compiler. , the registry may be involved in software data storage. According to the above configuration, for example, at the beginning of the operation of the object tracking device 120, a program stored in the line-based calibration unit 620 is copied, loaded into a memory, that is, a RAM, and then executed to increase the data operation processing speed. can be increased quickly.

도 7은 본 발명의 다른 실시예에 따른 도 1의 객체추적장치의 구동과정을 나타내는 흐름도이다.7 is a flowchart illustrating a driving process of the object tracking apparatus of FIG. 1 according to another embodiment of the present invention.

설명의 편의상 도 7을 도 1과 함께 참조하면, 본 발명의 실시예에 따른 객체추적장치(120)는 임의 지역의 맵 데이터상의 제1 지면 영역과, 임의 지역의 감시 구역을 감시하는 각 카메라의 촬영영상에 포함되어 제1 지면 영역에 대응하는 제2 지면 영역의 변환 관계에 대한 정보를 저장한다(S700).For convenience of explanation, referring to FIG. 7 together with FIG. 1 , the object tracking device 120 according to an embodiment of the present invention includes a first ground area on map data of an arbitrary area, and each camera for monitoring a monitoring area of an arbitrary area. Information on the transformation relationship of the second ground area corresponding to the first ground area included in the captured image is stored (S700).

이를 위하여 객체추적장치(120)는 제1 지면 영역과 제2 지면 영역의 생성에 필요한 정보를 사용자 인터페이스에 의해 제공할 수 있으며, 여기서 필요 정보는 2개 이상의 수평 라인 또는 대칭 라인일 수 있다. 여기서, 수평 라인은 동일 지면 영역에 형성되는 것을 의미하며, 대칭 라인은 서로 다른 지면 영역에서 서로 대응하는 라인을 의미할 수 있다. 그러나, 본 발명의 실시예에서는 그러한 용어의 개념에 특별히 한정하지는 않을 것이다.To this end, the object tracking device 120 may provide information necessary for generating the first ground area and the second ground area through a user interface, wherein the necessary information may be two or more horizontal lines or symmetric lines. Here, the horizontal line may mean formed in the same ground area, and the symmetric line may mean lines corresponding to each other in different ground areas. However, in the embodiment of the present invention, it will not be particularly limited to the concept of such terms.

또한, 객체추적장치(120)는 각 카메라의 촬영 영상 내 객체들에 대한 추적 결과 및 저장한 변환 관계에 대한 정보를 근거로 추적 객체들의 맵 데이터상의 맵 좌표에 매칭되는 물체들의 위치 및 속성 정보를 추출하며, 추출한 위치 및 속성 정보를 근거로 추적 객체들과 관련한 이벤트를 처리한다(S710).In addition, the object tracking device 120 determines the location and property information of objects matching the map coordinates on the map data of the tracking objects based on the tracking result for the objects in the captured image of each camera and the information on the stored transformation relationship. Extracts, and processes events related to tracking objects based on the extracted location and attribute information (S710).

예를 들어, 본 발명의 실시예에 따른 객체추적장치(120) 더 정확하게는 영상처리장치는 임의 지역에 대한 맵 데이터를 획득하여, 획득 맵 데이터를 바닥판과 같이 복수의 소영역으로 구분하여 각 영역마다 좌표를 설정하여 좌표값을 생성할 수 있다. 각 좌표에는 맵 데이터상의 실제 물체, 가령 건물이나 신호등 등의 사물 등이 있을 수 있으며, 위의 맵 좌표의 설정에 따라 맵 데이터상의 물체들에는 좌표값이 부여될 수 있다. 따라서, 해당 맵 좌표값과 매칭시켜 해당 물체의 실측 위치 좌표값, 가령 GPS 좌표값, 물체 속도, 물체의 크기와 관련한 실측정보 즉 실환경에서의 실제 정보를 저장하고 이를 이용하면 이벤트 검출시 정확도를 높일 수 있다. 위에서와 같은 맵핑 방식이라 명명될 수 있다. 다시 말해, 카메라에서 촬영된 촬영영상 내의 객체들에 대응하는 실제 물체를 맵 데이터상에서 찾고, 그 찾은 실제 물체에 맵핑되어 있는 실측 정보 또는 실측 데이터를 이용하는 경우, 이벤트의 판단이 더욱 정밀해 질 수 있다. 물론, 이벤트를 판단하기 위하여 룰(rule) 기반으로 설정되는 정책을 이용하거나, 딥러닝 등을 통해 이벤트를 검출한다. 예를 들어, 카메라 영상의 분석 결과 2대의 차량이 접촉하고 있는 경우 접촉 사고로 판단하는 것이 대표적이며, 실환경의 실측 데이터를 이용하는 경우에는 그 접촉 사고의 판단 정확도가 더욱 증가할 수 있을 것이다.For example, the object tracking apparatus 120 according to an embodiment of the present invention, more precisely, the image processing apparatus obtains map data for an arbitrary area, divides the obtained map data into a plurality of small areas such as a floor plate, and divides each Coordinate values can be created by setting coordinates for each area. Each coordinate may include an actual object on the map data, for example, an object such as a building or a traffic light, and coordinate values may be assigned to objects on the map data according to the setting of the map coordinates above. Therefore, by matching with the map coordinate value, the actual measurement information related to the actual measurement position coordinate value of the object, such as the GPS coordinate value, the object speed, and the size of the object, that is, the actual information in the real environment, is stored and used to improve the accuracy of event detection. can be raised It may be called the mapping method as above. In other words, when a real object corresponding to the objects in the captured image captured by the camera is found on the map data, and actual measurement information or data mapped to the found real object is used, the determination of the event can be more precise. . Of course, in order to determine an event, a policy set based on a rule is used, or an event is detected through deep learning or the like. For example, as a result of analyzing a camera image, when two vehicles are in contact, it is typical to determine that it is a contact accident, and when actual environment measurement data is used, the accuracy of determining the contact accident may be further increased.

상기한 내용 이외에도 도 1의 객체추적장치(120)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.In addition to the above, the object tracking apparatus 120 of FIG. 1 may perform various operations, and since other detailed information has been sufficiently described above, those contents will be replaced.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.On the other hand, even though it has been described that all components constituting the embodiment of the present invention are combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, all of the components may be implemented as one independent hardware, but a part or all of each component is selectively combined to perform some or all of the combined functions in one or a plurality of hardware program modules It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily inferred by those skilled in the art of the present invention. Such a computer program is stored in a computer-readable non-transitory computer readable media, read and executed by the computer, thereby implementing an embodiment of the present invention.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.Here, the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium that stores data for a short moment, such as a register, cache, memory, etc. . Specifically, the above-described programs may be provided by being stored in a non-transitory readable recording medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

100: 카메라(혹은 촬영장치) 110: 영상분석장치
120, 120': 객체추적장치 121a: 지역객체 추적부
121b: 지역객체 수신부 122: 좌표 변환부
123: 맵기반 전역객체 생성부 124: 라인기반 캘리브레이션 도구(부)
125: 전역추적 객체기반 이벤트 검출부 126: 전역객체 화면 표출부
127: 전역객체 데이터 저장 및 검색부 600: 통신 인터페이스부
610: 제어부 620: 라인기반 캘리브레이션부
630: 저장부100: camera (or recording device) 110: image analysis device
120, 120': object tracking device 121a: local object tracking unit
121b: local object receiving unit 122: coordinate transformation unit
123: map-based global object generator 124: line-based calibration tool (part)
125: global tracking object-based event detection unit 126: global object screen display unit
127: global object data storage and search unit 600: communication interface unit
610: control unit 620: line-based calibration unit
630: storage

Claims

A transformation relationship between a first ground area on map data of an arbitrary area and a second ground area included in the captured image of each camera monitoring the monitoring area of the arbitrary area and corresponding to the first ground area a storage unit for storing information about the; and
Extracting location and property information of objects matching the map coordinates on the map data of the tracking objects based on the tracking result of the objects in the captured image of each camera and the stored transformation relationship information, A control unit that processes an event related to the tracking objects based on location and attribute information; including,
The control unit is
When a plurality of ground areas are set between the first camera and the second camera in the arbitrary area, it is determined that the plurality of set ground areas are curved rather than flat, and information about the transformation relationship is generated,
The control unit is
Processes an event of each tracking object by integrating and managing the extracted location and attribute information based on one map data for each tracking object tracked in the captured images of the plurality of cameras,
The control unit is
calculating a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on the first line set on the map data and the second line set on the captured image;
The control unit is
When the second line is set in the second ground area included in the captured image of each camera, an index value is set for identifying a correlation with the first line set in the first ground area on the map data, , an object tracking device that designates the same direction of the line when designating each line.

delete

According to claim 1,
The control unit may be configured to use two horizontal lines set in the first ground area and two horizontal lines set in the second ground area as the first line and the second line, respectively.

According to claim 1,
The storage unit, as the location and attribute information, an object tracking device for mapping and storing the speed, size, and location values of the measured units of the objects on the map data.

According to claim 1,
The control unit, when there is no corresponding area in which the tracking objects are included, an object tracking device for performing a coordinate transformation operation using a corresponding area having a close distance.

Information on a transformation relationship between a storage unit, a first ground area on map data of an arbitrary area, and a second ground area corresponding to the first ground area included in a captured image of each camera monitoring the monitoring area of the arbitrary area saving the; and
The control unit extracts location and property information of objects that match the map coordinates on the map data of the tracking objects based on the tracking result for the objects in the captured image of each camera and the stored information on the transformation relationship, , processing an event related to the tracking objects based on the extracted location and attribute information;
The processing step is
generating information on the transformation relationship by determining that the plurality of set ground areas are curved rather than flat, when a plurality of ground areas are set between the first camera and the second camera in the arbitrary area;
processing an event of each tracking object by integrating and managing the extracted location and attribute information based on one map data for each tracking object tracked in the images captured by the plurality of cameras;
calculating a transformation relationship by generating the first ground area and the second ground area corresponding to each other based on a first line set on the map data and a second line set on the captured image; and
When the second line is set in the second ground area included in the captured image of each camera, an index value is set for identifying a correlation with the first line set in the first ground area on the map data, , when designating each line, designating the designation direction of the line in the same way;
A method of driving an object tracking device, including.

delete

7. The method of claim 6,
The processing step is
A method of driving an object tracking apparatus using two horizontal lines set in the first ground area and two horizontal lines set in the second ground area as the first line and the second line, respectively.

7. The method of claim 6,
The storing step is
A method of driving an object tracking apparatus for mapping and storing velocity, size, and measurement unit position values for objects on the map data as the position and attribute information.

7. The method of claim 6,
The processing step is
When there is no corresponding area including the tracking objects, a method of driving an object tracking device for performing a coordinate conversion operation using a corresponding area having a close distance.