KR101709701B1

KR101709701B1 - Integrated security service system and method based on tracking object

Info

Publication number: KR101709701B1
Application number: KR1020160098539A
Authority: KR
Inventors: 정경호; 박재용
Original assignee: 주식회사 베스트디지탈
Priority date: 2016-08-02
Filing date: 2016-08-02
Publication date: 2017-02-24

Abstract

The present invention relates to an integrated security service system and method based on object tracking. More particularly, the present invention relates to an integrated security service system and method based on object tracking. An object where an event has occurred is identified by using a plurality of auxiliary cameras that provide different images for the same surveillance region and a plurality of beacons disposed in the surveillance region. The terminal identifier of a terminal corresponding to the object is assigned to the object to track. An object having clustered history with the object is automatically set as an event association object, thereby automatically tracking all objects related to the event. Therefore, safety on a surveillance area can be ensured in response to various events.

Description

Technical Field [0001] The present invention relates to an integrated security service system based on object tracking,

본 발명은 객체 추적 기반 통합 안전 서비스 시스템 및 방법에 관한 것으로서, 더욱 상세히는 동일 감시 영역에 대한 서로 상이한 영상을 제공하는 복수의 보조 카메라 및 감시 영역에 배치된 복수의 비콘을 이용하여 이벤트가 발생한 객체를 식별하고, 상기 객체에 대응되는 단말의 단말 식별자를 객체에 부여하여 추적하며, 상기 객체와 군집한 이력이 있는 객체를 이벤트 연관 객체로 자동 설정하여 추적함으로써 이벤트와 연관된 모든 객체를 자동 추적할 수 있도록 지원하여 다양한 이벤트에 대응되어 감시 영역에 대한 안전을 보장하는 객체 추적 기반 통합 안전 서비스 시스템 및 방법에 관한 것이다.The present invention relates to an integrated security service system and method based on object tracking. More particularly, the present invention relates to a system and method for an integrated security service based on object tracking, The terminal identifier of the terminal corresponding to the object is tracked to the object and the object having the cluster history is automatically set as the event related object to track all the objects related to the event automatically The present invention relates to an object-tracking-based integrated safety service system and method for ensuring safety against a surveillance area by supporting various events.

다양한 영상 장비의 발전과 더불어, 해당 영상 장비를 이용하여 촬영된 영상의 분석을 통해 객체를 검출하거나 객체를 추적하면서 소정의 기준에 따라 영상 내의 객체 움직임에 따른 이벤트를 감시하는 지능형 영상 감시 기술 또한 발전하고 있다. 특히, 이러한 객체의 검출과 추적, 이벤트 감지 방식 등은 다양한 알고리즘의 개발로 인하여 더욱 정밀하고 다양한 감지가 가능해지고 있어 지능형 영상 감시 시장은 날로 확장되고 있다.In addition to the development of various video equipment, an intelligent video surveillance technology that monitors an object according to a motion of an object in an image according to a predetermined criterion while detecting an object or analyzing an object by analyzing the captured image using the video equipment, . In particular, the detection and tracking of such objects and the event detection method are becoming more and more precise and variously detectable due to the development of various algorithms, and the market for intelligent video surveillance is expanding day by day.

현재 지능형 영상 감시 시스템에 적용되는 카메라의 경우 가시광 카메라가 주로 이용되고 있으며, 가시광 카메라에서 획득되는 영상의 분석을 통해 객체의 이동을 감지하여 추적하거나 기지정된 이벤트가 발생하는 경우 이에 대한 알람을 제공하는 방식으로 감시가 이루어지고 있다.Currently, visible light cameras are mainly used for intelligent video surveillance systems. They detect and track movement of objects through analysis of images acquired from visible light cameras, provide alarms when predefined events occur Monitoring is being carried out.

최근 전염병이나 테러의 위협이 지속적으로 증가하면서 이를 방지하기 위한 감시 시스템에 대한 요구가 증가하고 있다.Recently, there has been a growing demand for surveillance systems to prevent the spread of infectious diseases or terrorist threats.

그러나, 기존의 지능형 영상 감시 시스템은 가시광 카메라를 이용한 영상 분석에 특화되어 객체를 감시하는 기능에 한정되어 있어 전염병의 확산 방지를 위해 바이러스 보균자의 검출을 위한 열화상 카메라를 이용한 전염병 감지 용도를 위한 별도의 감시 시스템을 지정된 지역에 설치하여 운용함으로써 시스템 운용 비용이 증가하며, 이러한 전염병 감지 용도의 감시 시스템이 지능형 영상 감시 시스템과의 연동을 지원하지 않기 때문에 바이러스 보균자가 검출되면 해당 바이러스 보균자와 접촉한 의심자를 관리자가 직접 지능형 영상 감시 시스템에서 제공하는 영상을 통해 확인해야 하므로 지능형 영상 감시 시스템의 이벤트 기반 객체 추적 기능이 무용해지는 문제가 있다.However, the existing intelligent video surveillance system is limited to the ability to monitor objects, which are specialized in image analysis using visible light cameras. To prevent the spread of infectious diseases, The surveillance system for the infectious disease detection does not support interworking with the intelligent video surveillance system. Therefore, if a virus carrier is detected, the suspicion of contact with the virus carrier There is a problem that the event-based object tracking function of the intelligent video surveillance system becomes useless because the manager must directly check the images provided by the intelligent video surveillance system.

즉, 기존의 지능형 영상 감시 시스템은 전염병과 같은 이벤트에 대해서는 이벤트 검출이 어려울 뿐만 아니라 바이러스 보균자로 확인된 객체를 지정하더라도 이와 접촉하여 의심자로 확인된 객체도 추적 대상에 포함시켜야 하나 이와 같은 기능을 기존의 지능형 영상 감시 시스템에서는 기대하기 어려우므로 전염병과 같은 이벤트에 대해서는 기존의 지능형 영상 감시 시스템이 무용한 문제가 있다.In other words, the existing intelligent video surveillance system is not only difficult to detect events such as infectious diseases, but should also include objects identified as suspects in contact with them even if they are identified as virus carriers. However, The intelligent video surveillance system of the present invention has a problem that the conventional intelligent video surveillance system is useless for events such as infectious diseases.

또한, 테러와 같이 범죄가 의심되는 이벤트가 발생한 객체에 대해서 기존의 지능형 영상 감시 시스템을 통해 해당 객체에 대한 이벤트 발생 판단을 통한 추적을 지원할 수는 있으나, 해당 객체가 범죄 모의를 위해 접촉하는 다수의 객체가 존재하는 경우 이를 추적하는데 어려움이 있으며, 이러한 경우 역시 관리자가 직접 영상을 통해 이벤트 발생 객체와 연관된 객체를 확인해야 하므로 기존의 지능형 영상 감시 시스템에서 제공하는 객체 추적 기능의 효용성이 지극히 떨어지는 문제가 있다.In addition, although it is possible to support tracking of an object in which a suspected crime is suspected, such as terrorism, by using an existing intelligent video surveillance system, In this case, since the manager must directly check the object related to the event generating object through the image, the object tracking function provided by the existing intelligent video monitoring system is extremely ineffective. have.

더군다나, 기존의 지능형 영상 감시 시스템은 이벤트가 발생한 객체를 동시 추적하는 과정에서 복수의 객체가 군집을 이룬 후 군집에서 특정 객체가 이탈한 경우와 같이 동일 객체를 연속 추적하기 위해 기계 학습 방식을 통해서 영상 내 객체를 식별하고, 이를 활용하여 추적 시 동일 객체 여부를 지속하여 관찰하는 방법을 이용하고 있으나, 기존 기계 학습 방식의 객체 인식 기술의 경우 전체 영상을 기준으로 학습된 객체와 유사한 객체를 검출하는 방식이어서 객체 추적을 위한 알고리즘의 복잡도 및 처리 부하가 너무 높은 문제가 있으며 객체 특징을 기반으로 하는 객체 추적 과정에서 오류가 빈번히 발생하여 정확도가 떨어지는 문제가 있다.In addition, the existing intelligent video surveillance system simultaneously tracks the objects that are generated by the event, and after a plurality of objects are clustered, In this paper, we propose a method to detect object which is similar to learned object based on whole image in case of existing machine learning method. However, There is a problem that the complexity of the algorithm for object tracking and the processing load are too high, and the accuracy is low due to frequent errors in object tracking based on object characteristics.

또한, 가시광 카메라를 이용한 기존의 지능형 영상 감시 시스템은 저조도 환경에서 객체 감시가 어려우며 이로 인해 잘못된 알람을 출력하는 경우가 빈번히 발생하므로 시스템 신뢰도가 떨어지는 문제가 있다.In addition, the conventional intelligent video surveillance system using a visible light camera is difficult to observe an object in a low-illuminance environment, and therefore, a false alarm is frequently generated, thereby causing a problem of low system reliability.

따라서, 전염병이나 테러와 같은 특수한 이벤트와 연관된 모든 객체를 감시 대상 객체로 자동 설정하여 추적할 수 있으며, 저조도 환경에서도 시스템 신뢰도를 보장할 수 있는 시스템 개발이 요구되고 있다.Therefore, all objects related to special events such as infectious diseases and terrorism can be automatically set and monitored as objects to be monitored, and development of a system capable of ensuring system reliability even in a low-light environment is required.

한국등록특허 제10-1038940호Korean Patent No. 10-1038940

본 발명은 카메라의 감시 영역에 배치된 복수의 비콘을 통해 감시 영역에 위치하는 관리 대상이 소지한 단말의 단말 식별자를 획득하고, 이를 관리 대상에 대응되는 영상 내 객체에 부여한 후 비콘과의 통신을 통해 단말의 위치를 정확히 파악하여 이를 기반으로 객체를 추적할 수 있도록 지원하는 동시에 가시광 카메라와 동일한 감시 영역에 대한 서로 다른 영상을 제공하는 복수의 보조 카메라를 이용하여 다양한 이벤트를 검출할 수 있도록 지원하고, 이벤트가 발생한 객체와 군집을 형성하는 객체를 이벤트와 연관된 객체로 자동 설정한 후 동시 추적하여 이벤트와 연관되는 복수의 객체를 자동 식별하고 관리할 수 있도록 지원함으로써 전염병이나 테러 범죄와 같은 특수 상황에 대처할 수 있도록 지원할 수 있는 시스템을 제공하는데 그 목적이 있다.The present invention relates to an apparatus and method for acquiring a terminal identifier of a terminal possessed by a management object located in a surveillance region through a plurality of beacons disposed in a surveillance region of a camera, It is possible to detect various events by using a plurality of auxiliary cameras which provide different images for the same surveillance area as the visible light camera , The object that generates the event and the object that forms the cluster are automatically set as the object associated with the event and then simultaneously tracked to automatically identify and manage the plurality of objects related to the event, It is the purpose of this system to provide a system that can support .

또한, 본 발명은 이벤트와 연관된 객체와 군집을 형성하는 객체를 이벤트 연관 객체로 설정하여 자동 추적하고, 이벤트와 연관된 객체의 계층을 구분하여 동시 추적 가능하도록 지원하는 동시에 계층 구분을 통해 최초 이벤트가 발생한 객체 및 군집 형성에 따른 이벤트 전달 과정을 용이하게 식별 및 추적할 수 있도록 지원하여 테러 모의 과정 및 전염병 확산 과정을 식별하고 이벤트 원인이 된 객체에 대한 신속 조치가 이루어지도록 함으로써 범죄나 질병의 조기 차단을 보장하는 통합 안전 서비스 시스템을 제공하는데 그 목적이 있다.In addition, the present invention sets an object associated with an event and a cluster together as an event-related object, automatically tracks the object, and supports the simultaneous tracking of the hierarchy of objects associated with the event. It helps to identify and track the event delivery process according to object and cluster formation to identify terrorism simulation process and spreading process of infectious disease, The purpose of this paper is to provide an integrated safety service system that guarantees

본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 시스템은 감시 영역에 대한 가시광 영상을 제공하는 카메라부와, 상기 감시 영역에 대한 열화상 영상 및 저조도 영상을 포함하는 서로 다른 복수의 보조 영상을 제공하는 복수의 보조 카메라부와, 상기 감시 영역에 구성되며, 상기 감시 영역에 위치하는 단말과 근거리 통신을 통한 연결시 상기 단말에 대응되는 단말 식별자를 획득하여 전송하는 복수의 비콘 및 상기 복수의 비콘 중 동일한 상기 단말 식별자를 전송하는 각 비콘과의 통신망을 통한 통신을 통해 상기 단말 식별자에 대응되는 상기 단말에 대한 위치를 측정하고, 상기 가시광 영상 및 복수의 보조 영상에 각각 대응되는 가상 공간과 상기 감시 영역을 상호 매핑한 미리 저장된 영상별 매핑 정보 및 상기 단말의 측정 위치를 기초로 상기 카메라부 및 보조 카메라부로부터 수신된 서로 다른 각 영상에서 영상 분석을 통해 상기 단말에 대응되는 객체를 식별한 후 상기 단말 식별자를 해당 객체에 부여하여 추적하고, 상기 각 영상 중 어느 하나에서 미리 설정된 이벤트 조건에 따른 이벤트가 발생한 감시 대상 객체에 대응되어 인덱스 정보를 생성하여 상기 감시 대상 객체에 설정하고, 나머지 영상에서 상기 감시 대상 객체와 동일한 객체를 상기 단말 식별자를 기초로 식별하여 상기 인덱스 정보를 설정하는 영상 관리부를 포함할 수 있다.The object tracking-based integrated safety service system according to an embodiment of the present invention includes a camera unit for providing a visible light image to a surveillance region, and a plurality of different auxiliary images including a thermal image and a low-illuminance image for the surveillance region A plurality of beacons which are configured in the surveillance area and acquire and transmit a terminal identifier corresponding to the terminal when the terminal is located in the surveillance area through a short distance communication; The position of the terminal corresponding to the terminal identifier is measured through communication through a communication network with each beacon transmitting the same terminal identifier, and the position of the terminal corresponding to the visible light image and the plurality of auxiliary images, Based on the previously stored mapping information for each image and the measured position of the terminal An object corresponding to the terminal is identified through image analysis in different images received from the camera unit and the auxiliary camera unit, and the terminal identifier is assigned to and tracked by the corresponding object, The index information is generated corresponding to the monitored object in which an event occurs according to the event condition and is set in the monitored object and the index information is identified by identifying the same object as the monitored object in the remaining images based on the terminal identifier And the like.

본 발명과 관련된 일 예로서, 상기 복수의 비콘은 상기 감시 영역에 방사 형태로 배치되어 상기 단말과 BLE를 통해 근거리 통신하는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the plurality of beacons are radially arranged in the surveillance region, and are communicated with each other through the BLE.

본 발명과 관련된 일 예로서, 상기 영상 관리부는 상기 동일한 단말 식별자를 전송하는 각 비콘으로부터 수신되는 거리 관련 정보를 기초로 상기 단말 식별자에 대응되는 단말의 위치를 측정하는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the video manager measures a position of a terminal corresponding to the terminal identifier based on distance-related information received from each beacon transmitting the same terminal identifier.

본 발명과 관련된 일 예로서, 상기 영상 관리부는 복수 감시 영역에 설치된 상기 비콘 및 상기 카메라부 및 보조 카메라부로부터 수신된 정보를 토대로 동일한 단말 식별자가 부여된 객체를 동일 객체로 연속하여 감시하는 것을 특징으로 할 수 있다.As an example related to the present invention, the video management unit continuously monitors the beacons installed in a plurality of surveillance regions and the objects to which the same terminal identifier is assigned based on the information received from the camera unit and the auxiliary camera unit, .

본 발명과 관련된 일 예로서, 상기 영상 관리부는 최초 이벤트가 발생하는 감시 대상 객체에 대응되는 계층에 대한 계층정보를 상기 인덱스 정보에 포함시키고, 상기 감시 대상 객체와 군집을 형성하는 하나 이상의 객체 각각을 이벤트 연관 객체로 설정하며, 상기 감시 대상 객체에 대응되는 계층과 상이한 계층에 대한 계층 정보를 포함하는 인덱스 정보를 상기 각 이벤트 연관 객체에 부여하는 것을 특징으로 할 수 있다.In one embodiment of the present invention, the image management unit may include hierarchical information on a hierarchy corresponding to a supervisory object in which a first event occurs, the index information may include one or more objects forming a cluster with the supervisory object, And associates index information including layer information on a layer different from a layer corresponding to the monitored object to each of the event related objects.

본 발명과 관련된 일 예로서, 상기 영상 관리부는 상기 계층정보가 부여된 상기 이벤트 연관 객체와 군집을 형성하는 각 객체에 대하여 상기 이벤트 연관 객체의 계층정보에 따른 계층의 다음 순서에 해당되는 계층에 대한 계층정보를 포함하는 인덱스 정보를 부여한 후 이벤트 연관 객체로 설정하는 것을 특징으로 할 수 있다.In an exemplary embodiment of the present invention, the image management unit may classify, for each object forming the cluster with the event related object to which the layer information is assigned, a layer corresponding to the next order of the layer according to the layer information of the event- The index information including the layer information is set, and then the event information is set as the event related object.

본 발명과 관련된 일 예로서, 상기 영상 관리부는 상기 계층정보에 따른 계층별로 미리 설정된 표식에 따라 상기 감시 대상 객체 및 서로 다른 계층의 이벤트 연관 객체에 상기 표식을 적용하여 상기 감시 대상 객체 및 계층별 이벤트 연관 객체를 구분 가능하도록 표시하는 것을 특징으로 할 수 있다.According to an embodiment of the present invention, the image management unit applies the markers to the monitored object and the event-related objects of different hierarchies according to a mark previously set for each hierarchical layer according to the hierarchical information, And displaying the associated object so as to be distinguishable.

본 발명과 관련된 일 예로서, 상기 영상 관리부는 복수의 객체가 군집 후 분산하거나 상기 감시 영역을 이탈한 후 재등장한 각 객체에 대하여 부여된 단말 식별자 중 기존 단말 식별자와 동일한 단말 식별자가 부여된 객체를 기존 객체와 동일한 객체로 연속하여 감시하며, 상기 단말 식별자와 인덱스 정보를 매칭 저장하여 상기 단말 식별자가 동일한 객체에 대하여 동일한 상기 인덱스 정보를 부여하는 것을 특징으로 할 수 있다.In an exemplary embodiment of the present invention, the image management unit may include an object to which a terminal identifier identical to an existing terminal identifier is assigned among the terminal identifiers assigned to each re-introduced object after a plurality of objects are distributed after clustered, And continuously indexes the same object as the existing object, stores the terminal identifier and the index information in a matching manner, and gives the same index information to the object having the same terminal identifier.

본 발명과 관련된 일 예로서, 상기 영상 관리부는 서로 다른 이벤트 종류가 미리 설정되며 상기 감시 대상 객체에 대응되는 이벤트 종류에 대한 이벤트 정보를 상기 인덱스 정보에 포함시키는 것을 특징으로 할 수 있다.In an exemplary embodiment of the present invention, the image management unit may include event information for an event type corresponding to the monitored object in the index information.

본 발명의 실시예에 따른 감시 영역에 대한 가시광 영상을 제공하는 카메라부 및 상기 감시 영역에 대한 열화상 영상 및 저조도 영상을 포함하는 서로 다른 복수의 보조 영상을 제공하는 복수의 보조 카메라부와 연결되고, 상기 감시 영역에 구성되어 상기 감시 영역에 위치하는 단말과 근거리 통신을 통한 연결시 상기 단말에 대응되는 단말 식별자를 획득하여 전송하는 복수의 비콘과 통신하는 영상 관리 장치의 객체 추적 기반 통합 안전 서비스 방법은, 상기 복수의 비콘 중 동일한 상기 단말 식별자를 전송하는 각 비콘과의 통신망을 통한 통신을 통해 상기 단말 식별자에 대응되는 상기 단말에 대한 위치를 측정하는 단계와, 상기 가시광 영상 및 복수의 보조 영상에 각각 대응되는 가상 공간과 상기 감시 영역을 상호 매핑한 미리 저장된 영상별 매핑 정보 및 상기 단말의 측정 위치를 기초로 상기 카메라부 및 보조 카메라부로부터 수신된 서로 다른 각 영상에서 영상 분석을 통해 상기 단말에 대응되는 객체를 식별한 후 상기 단말 식별자를 해당 객체에 부여하여 추적하는 단계 및 상기 각 영상 중 어느 하나에서 미리 설정된 이벤트 조건에 따른 이벤트가 발생한 감시 대상 객체에 대응되어 인덱스 정보를 생성하여 상기 감시 대상 객체에 설정하고, 나머지 영상에서 상기 감시 대상 객체와 동일한 객체를 상기 단말 식별자를 기초로 식별하여 상기 인덱스 정보를 설정하는 단계를 포함할 수 있다.A camera unit providing a visible light image for a surveillance region according to an exemplary embodiment of the present invention and a plurality of auxiliary camera units providing a plurality of different sub-images including a thermal image and a low-illuminance image for the surveillance region, And an object tracking based integrated security service method of a video management apparatus configured to communicate with a plurality of beacons which are formed in the surveillance area and acquire and transmit a terminal identifier corresponding to the terminal in a connection through a short distance communication with the terminal located in the surveillance area Measuring a position of the terminal corresponding to the terminal identifier through communication via a communication network with each beacon transmitting the same terminal identifier among the plurality of beacons; And mapping the corresponding virtual space and the surveillance region to each other, Identifying the object corresponding to the terminal through image analysis in each of the different images received from the camera unit and the auxiliary camera unit based on the information and the measurement position of the terminal, And generating index information corresponding to a monitored object in which an event is generated according to a preset event condition in any one of the images and setting the detected index information in the monitored object, And identifying the index information based on the identifier, and setting the index information.

본 발명은 전염병에 대한 검열이 요구되는 감시 지역이나 저조도의 감시 지역에서 가시광 영상을 통해 이벤트 검출이 어려운 객체에 대해서 열화상 카메라 및 저조도 카메라를 기반으로 비정상적인 온도가 검출되는 객체 또는 미리 설정된 이벤트가 발생된 객체이나 가시광 영상에서 식별이 어려운 객체를 용이하게 이벤트가 발생된 감시 대상 객체로 식별할 수 있으며, 감시 대상 객체에 대응되는 감시 대상이 소지한 단말의 감시 영역 상 위치에 대응되는 서로 다른 각 영상 내 위치를 용이하게 식별한 후 감시 대상에 대응되는 감시 대상 객체에 단말 식별자를 부여하여 가시광 영상과 열화상 영상 및 저조도 영상에서 동일 감시 대상 객체를 복잡한 알고리즘을 이용할 필요없이 상기 단말 식별자를 기반으로 용이하게 식별하여 추적함으로써 객체 추적에 대한 정확도를 높이는 동시에 전염병이나 테러와 같은 다양한 이벤트 상황에 대처할 수 있도록 지원하고 저조도 환경의 감시 영역에 대한 안전을 보장할 수 있도록 지원하는 효과가 있다.The object of the present invention is to provide an object detecting abnormality based on an infrared camera and a low-illuminance camera for an object which is difficult to detect an event through a visible light image in a surveillance region requiring observation of infectious diseases or a low- It is possible to easily identify an object that is difficult to identify in the object or visible light image as a monitored object in which the event is generated. Also, it is possible to identify each object corresponding to the position on the surveillance region of the terminal, And a terminal identifier is assigned to the monitored object corresponding to the monitored object so that the same monitored object in the visible light image, the thermal image, and the low-illuminance image can be easily displayed on the basis of the terminal identifier without using a complicated algorithm By identifying and tracking objects, At the same time helping to increase the accuracy to cope with various situations, such as an epidemic or a terrorist event and to have the effect of helping to ensure the safety of the examining area of low light environment.

또한, 본 발명은 바이러스 보균자의 접촉에 의한 전염 의심자를 검출하거나 이상 행동을 보이는 테러 용의자를 검출하고 이와 연관된 공모자 등을 용이하게 검출하여 영상을 통해 제공하는 등과 같은 다양한 이벤트의 확산 과정을 객체에 인덱싱하여 표시함으로써, 전염병의 확산 경로를 용이하게 파악하거나 테러 모의와 같은 안전 위협이 우려되는 다양한 이벤트를 용이하게 파악하고 이벤트 확산의 원인이 된 객체를 추적할 수 있도록 지원하는 동시에 이벤트 연관 객체에 대응되어 영상에 표시된 단말 식별자를 기초로 이벤트 연관 객체에 대응되는 감시 대상에 대한 신속한 조치가 이루어지도록 지원함으로써 감시 영역에서 안전을 보장하는 효과가 있다.In addition, the present invention provides a method for detecting a suspicious person due to contact with a virus carrier or detecting a terrorist suspect having an abnormal behavior and easily detecting a conspirator related thereto and providing the detected information through an image, , It is possible to easily identify the spreading path of an infectious disease, easily identify various events where safety threats such as terrorism simulations are likely to be apprehended, support the tracking of the object causing the event diffusion, It is possible to assure safety in the surveillance area by assisting the surveillance object corresponding to the event-related object to be promptly performed based on the terminal identifier displayed on the image.

도 1은 본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 시스템의 서로 다른 영상별 객체 식별 및 단말 식별자 부여 과정에 대한 동작 예시도.
도 3은 본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 시스템의 이벤트 발생 객체별 인덱싱 정보의 설정에 대한 동작 예시도.
도 4는 본 발명의 실시예에 따른 영상 관리 장치의 상세 구성도.
도 5는 본 발명의 실시예에 따른 영상 관리 장치의 객체 식별 및 객체에 대응되는 단말 식별자 부여에 대한 동작 예시도.
도 6 내지 도 7은 본 발명의 실시예에 따른 영상 관리 장치의 동일 객체 관리 및 추적에 대한 예시도.
도 8은 본 발명의 실시예에 따른 영상 관리 장치의 군집 형성에 따른 이벤트 연관 객체 설정에 대한 동작 예시도.
도 9는 본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 방법에 대한 순서도.1 is a block diagram of an integrated security service system based on object tracking according to an embodiment of the present invention;
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an object-tracking-based integrated safety service system, and more particularly,
3 is a diagram illustrating an operation of setting index information for each event generating object in an object tracking based integrated safety service system according to an embodiment of the present invention;
4 is a detailed configuration diagram of a video management apparatus according to an embodiment of the present invention;
5 is a diagram illustrating an example of an operation of object identification of a video management apparatus and terminal identifier assignment corresponding to an object according to an embodiment of the present invention.
FIG. 6 through FIG. 7 illustrate examples of the same object management and tracking of a video management apparatus according to an embodiment of the present invention; FIG.
8 is a diagram illustrating an example of an operation for setting an event-related object according to the formation of a cluster of a video management apparatus according to an embodiment of the present invention.
FIG. 9 is a flow chart of an object tracking based integrated security service method according to an embodiment of the present invention; FIG.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 시스템의 구성도로서, 도시된 바와 같이 감시 영역에 대한 가시광 영상을 제공하는 카메라부(30)와, 상기 감시 영역에 대한 열화상 영상 및 저조도 영상을 포함하는 서로 다른 복수의 보조 영상을 제공하는 복수의 보조 카메라부(40)와, 상기 감시 영역에 배치되어 감시 영역 내에 위치하는 관리 대상이 소지한 단말(10)과 근거리 통신을 통해 연결되는 복수의 비콘(beacon)(20) 및 상기 카메라부(30) 및 보조 카메라부(40)와 연결되어 상기 카메라부(30) 및 보조 카메라부(40)로부터 수신된 상기 가시광 영상 및 각 보조 영상에 대한 영상 분석을 통해 각 영상 내에 포함된 객체를 식별하고, 상기 비콘(20)으로부터 통신망을 통해 수신되는 정보를 기초로 상기 객체에 대응되는 관리 대상이 소지한 단말(10)에 대한 단말 식별자를 객체에 대한 객체 식별자로서 부여하여 추적하는 영상 관리 장치(100)를 포함할 수 있다.FIG. 1 is a block diagram of an object tracking-based integrated safety service system according to an embodiment of the present invention. As shown in FIG. 1, a camera unit 30 for providing a visible light image to a surveillance region, A plurality of auxiliary camera units 40 for providing a plurality of different auxiliary images including a low-illuminance image, and a plurality of auxiliary camera units 40, which are disposed in the surveillance region and are located in the surveillance region, A plurality of beacons 20 connected to the camera unit 30 and the auxiliary camera unit 40 and connected to the camera unit 30 and the auxiliary camera unit 40 to receive the visible light image and each auxiliary (20) to identify the object included in each image through image analysis of the image, and based on the information received through the communication network from the beacon (20) 10 as an object identifier for the object and tracking the terminal identifier.

이때, 상기 카메라부(30) 및 각 보조 카메라부(40)는 PTZ(PAN/TILT/ZOOM) 카메라로 구성될 수 있으며, 상기 영상 관리 장치(100)는 상기 카메라부(30) 및 각 보조 카메라부(40)의 PTZ 기능을 제어하여 영상을 통해 객체를 추적할 수 있다.The camera unit 30 and each of the auxiliary camera units 40 may be constituted by a PTZ camera and the image management apparatus 100 may include a camera unit 30, The PTZ function of the unit 40 can be controlled to track the object through the image.

또한, 상기 카메라부(30)는 가시광 카메라로 구성될 수 있으며, 복수의 보조 카메라부(40) 각각은 열화상 카메라 및 저조도 카메라로 구성될 수 있다.In addition, the camera unit 30 may be a visible light camera, and each of the plurality of auxiliary camera units 40 may include a thermal camera and a low-illuminance camera.

또한, 상기 영상 관리 장치(100)는 DVR(Digital Video Recorder), NVR(Network Video Recorder), 서버 등과 같은 다양한 장치로 구성될 수 있으며, 이에 한정되지 않는다.The video management apparatus 100 may include various devices such as a DVR (Digital Video Recorder), a NVR (Network Video Recorder), a server, and the like, but the present invention is not limited thereto.

또한, 상기 각 비콘(20)은 상기 단말(10)과의 양방향 통신을 지원하는 BLE(bluetooth low energy) 비콘, IoT(Internet of Things) 지원 통신장치, 지그비(Zigbee) 모듈 또는 WiFi 모듈과 같은 근거리 무선 통신 장치, 광량 측정 장치, 음향 측정 장치 중 적어도 하나로 구성될 수 있으며, 상기 단말(10)에 대하여 BLE 신호, 센싱신호, 무선신호, 광신호 또는 음향신호 등을 검출하고 RSSI(Received Signal Strength Indicator)를 기준으로 거리를 산출하여 단말(10)에 대한 거리정보를 생성할 수 있다.Each of the beacons 20 may be a Bluetooth low energy beacon (BLE) supporting communication with the terminal 10, a communication device supporting IoT (Internet of Things), a Zigbee module or a WiFi module A sensing signal, a radio signal, an optical signal, or an acoustic signal with respect to the terminal 10, and outputs the received signal strength indicator (RSSI) to the terminal 10, The distance information to the terminal 10 can be generated.

더하여, 상기 복수의 비콘(20)은 감시 영역에 방사 형태로 배치될 수 있으며, 상기 감시 영역의 천장 또는 바닥에 배치될 수 있다.In addition, the plurality of beacons 20 may be disposed radially in the surveillance area, and may be disposed on the ceiling or the bottom of the surveillance area.

상술한 구성에 따라, 상기 영상 관리 장치(100)는 카메라부(30)의 감시 영역 내에 위치하는 단말(10)과 근거리 통신이 연결된 각 비콘(20)으로부터 단말 식별자와 상기 거리 정보를 수신하여, 동일한 단말 식별자를 전송하는 각 비콘(20)의 거리 정보를 통해 감시 영역 내 단말(10)의 위치를 측정할 수 있다.The video management apparatus 100 receives the terminal identifier and the distance information from each beacon 20 connected to the terminal 10 located within the surveillance region of the camera unit 30, The position of the terminal 10 in the surveillance region can be measured through the distance information of each beacon 20 transmitting the same terminal identifier.

한편, 상기 영상 관리 장치(100)는 상기 가시광 영상 및 보조 영상에 각각 대응되는 가상 공간과 상기 감시 영역을 상호 매핑한 미리 저장된 영상별 매핑 정보를 기초로 상기 카메라부(30) 및 각 보조 카메라부(40)로부터 수신된 서로 다른 각 영상(가시광 영상 및 각 보조 영상)에서 영상 분석을 통해 식별된 복수의 객체 중 상기 단말(10)의 측정 위치에 대응되는 객체를 식별한 후 상기 단말 식별자를 해당 객체에 부여하여 추적할 수 있다.On the other hand, the video management apparatus 100 may include a camera unit 30 and each of the auxiliary camera units 30 and 30, based on mapping information for each video, which maps the virtual space corresponding to the visible light image and the auxiliary video, Identifies an object corresponding to a measurement position of the terminal 10 among a plurality of objects identified through image analysis in different angles (visible light images and auxiliary images) received from the terminal 40, It can be assigned to an object and tracked.

이를 통해, 상기 영상 관리 장치(100)는 감시 영역 내 위치하며 단말(10)을 소지한 관리 대상에 대응되는 영상 내 객체를 단말의 측정 위치에 대응되는 영상 내 위치를 기반으로 용이하게 식별하여 관리 대상에 대응되는 영상 내 객체를 정확히 매칭시킬 수 있다.Accordingly, the video management apparatus 100 can easily identify the object in the video corresponding to the management object that is located in the surveillance region and has the terminal 10 based on the position in the video corresponding to the measurement position of the terminal, It is possible to accurately match the object in the image corresponding to the object.

또한, 상기 영상 관리 장치(100)는 카메라부(30) 및 각 보조 카메라부(40)로부터 수신된 서로 다른 상기 각 영상 중 어느 하나의 영상에서 미리 설정된 이벤트(event) 조건에 따라 이벤트가 발생한 감시 대상 객체에 부여된 단말 식별자를 식별하고, 해당 단말 식별자를 기반으로 다른 영상에서 상기 감시 대상 객체에 부여된 단말 식별자와 동일한 단말 식별자가 부여된 객체를 용이하게 식별할 수 있다.In addition, the image management apparatus 100 may be configured to monitor the occurrence of an event according to an event condition preset in any one of the different images received from the camera unit 30 and each of the auxiliary camera units 40 It is possible to identify the terminal identifier assigned to the target object and easily identify an object to which the terminal identifier identical to the terminal identifier assigned to the monitored object in another image based on the terminal identifier is assigned.

즉, 상기 영상 관리 장치(100)는 가시광 영상과 열화상 영상 및 저조도 영상 각각에 포함된 동일 감시 대상 객체를 복잡한 알고리즘을 이용할 필요 없이 단말 식별자를 기반으로 용이하게 식별하여 추적할 수 있으며, 서로 다른 영상을 스위칭하면서 이벤트가 발생한 동일 객체를 용이하게 식별하여 추적할 수 있다.That is, the image management apparatus 100 can easily identify and track the same monitored objects included in the visible light image, the thermal image, and the low-illuminance image based on the terminal identifier without using a complicated algorithm, The same object in which an event occurs can be easily identified and tracked while switching images.

이를 통해, 본 발명은 전염병에 대한 검열이 요구되는 감시 지역이나 저조도의 감시 지역에서 가시광 영상을 통해 이벤트 검출이 어려운 객체에 대해서 열화상 카메라 및 저조도 카메라를 기반으로 비정상적인 온도가 검출되는 객체 또는 미리 설정된 이벤트가 발생된 객체이나 가시광 영상에서 식별이 어려운 객체를 용이하게 이벤트가 발생된 감시 대상 객체로 식별할 수 있으며, 감시 대상 객체에 대응되는 감시 대상이 소지한 단말의 감시 영역 상 위치를 비콘과의 통신을 통해 정확히 측정하고, 측정 위치에 대응되는 서로 다른 각 영상 내 객체 위치를 용이하게 식별한 후 감시 대상에 대응되는 감시 대상 객체에 단말 식별자를 부여하여 서로 다른 영상 간 상호 매칭을 통해 가시광 영상과 열화상 영상 및 저조도 영상에서 동일 감시 대상 객체를 복잡한 알고리즘을 이용할 필요없이 상기 단말 식별자를 기반으로 용이하게 식별하여 추적함으로써 객체 추적에 대한 정확도를 높이는 동시에 전염병이나 테러(terror) 범죄와 같은 다양한 이벤트 상황에 대처할 수 있도록 지원하고 저조도 환경의 감시 영역에 대한 안전을 보장할 수 있도록 지원한다.
Accordingly, it is an object of the present invention to provide an object in which an abnormal temperature is detected on the basis of an infrared camera and a low-illuminance camera for an object which is difficult to detect an event through a visible light image in a surveillance region requiring observation of infectious diseases or a low- It is possible to easily identify an object in which an event is generated or an object difficult to identify in a visible light image as a monitored object in which an event is generated, Communication, accurately identifies object positions in different images corresponding to the measurement positions, assigns terminal identifiers to the objects to be monitored corresponding to the objects to be monitored, In the thermal image and low light image, It is possible to easily identify and track based on the terminal identifier without using an algorithm, thereby improving the accuracy of object tracking and coping with various event situations such as infectious diseases and terror crime, And to ensure the safety of Korea.

이하, 상술한 구성을 토대로 본 발명의 상세 실시예를 도면을 참고하여 설명한다.Hereinafter, detailed embodiments of the present invention will be described with reference to the drawings on the basis of the above-described configuration.

도 2는 본 발명의 실시예에 따른 객체 추적 기반 통합 안전 서비스 시스템의 객체에 대한 식별자 부여 과정에 대한 동작 예시도이다.FIG. 2 is a diagram illustrating an operation of assigning an identifier to an object of an object tracking-based integrated safety service system according to an embodiment of the present invention.

도시된 바와 같이, 도시된 바와 같이 상기 카메라부(30) 및 각 보조 카메라부(40)의 감시 영역에 배치된 복수의 비콘(20) 중 감시 영역 내에 위치하는 관리 대상이 소지한 단말(10)과 통신 연결된 각 비콘(20)은 상기 단말(10)과의 통신 연결에 따라 상기 단말(10)로부터 단말 식별자를 수신할 수 있으며, 상기 단말(10)과의 통신을 통해 거리 정보를 생성하여 상기 단말 식별자 및 거리 정보를 포함하는 단말 정보를 상기 영상 관리 장치(100)로 통신망을 통해 전송할 수 있다.As shown in the figure, among the plurality of beacons 20 disposed in the surveillance region of the camera unit 30 and the respective auxiliary camera units 40, the terminal 10, Each beacon 20 connected to the terminal 10 can receive the terminal identifier from the terminal 10 according to a communication connection with the terminal 10 and generates distance information through communication with the terminal 10, Terminal information including the terminal identifier and the distance information to the video management apparatus 100 through the communication network.

이때, 상기 관리 대상은 관리 대상자일 수 있으며, 상기 단말(10)은 관리 대상자가 소지하는 단말(10)일 수 있다. 또한, 단말(10)은 통신 기능을 구비한 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함) 등과 같은 다양한 단말기를 포함할 수 있다.At this time, the management subject may be a management subject, and the terminal 10 may be a terminal 10 carried by the management subject. The terminal 10 may be a smart phone having a communication function, a portable terminal, a mobile terminal, a personal digital assistant (PDA), a wearable device, For example, a smartwatch, a smart glass, a head mounted display (HMD), and the like), and the like.

또한, 상기 영상 관리 장치(100)와 비콘(20) 사이의 통신은 널리 알려진 다양한 유무선 통신 방식이 적용될 수 있으며, 상기 각 비콘(20)을 관리하는 별도의 장치가 상기 비콘(20)으로부터 상기 단말 정보를 수신하여 통신망을 통해 상기 영상 관리 장치(100)로 상기 단말 정보를 전송할 수도 있다.The communication between the video management apparatus 100 and the beacon 20 may be implemented by various wired and wireless communication methods known in the art and a separate device for managing the beacons 20 may be connected to the beacon 20 from the beacon 20, And transmits the terminal information to the video management apparatus 100 through a communication network.

또한, 상기 단말 식별자는 단말(10)의 MAC(media access control address) 정보 또는 단말(10)에 미리 설정된 고유 ID(일례로, 도시된 abc123) 등을 포함할 수 있다.The terminal identifier may include media access control address (MAC) information of the terminal 10 or a unique ID (for example, abc 123) preset in the terminal 10.

한편, 상기 영상 관리 장치(100)는 상기 카메라부(30) 및 각 보조 카메라부(40)의 가시광 영상 및 서로 다른 보조 영상 각각에 대응되는 가상 공간과 상기 감시 영역을 캘리브레이션(calibration)을 통해 상호 매핑하여 상기 감시 영역 내의 특정 위치(지점)를 상기 가시광 영상 및 서로 다른 보조 영상 내의 위치로 식별하거나 상기 가시광 영상 및 서로 다른 보조 영상 내의 특정 위치를 감시 영역 내의 위치로 식별할 수 있도록 상기 카메라부(30) 및 서로 다른 보조 카메라부(40) 각각에 대하여 매핑 정보를 생성할 수 있다.The image management apparatus 100 calibrates the virtual space corresponding to each of the visible light images and the different auxiliary images of the camera unit 30 and the auxiliary camera units 40 and the surveillance region, (S) to identify a specific position (point) in the surveillance region as a position in the visible light image and different sub-images, or to identify a specific position in the visible light image and different sub-images as a position in the surveillance region 30 and the different auxiliary camera units 40, respectively.

이를 통해, 상기 영상 관리 장치(100)는 상기 단말(10)과 BLE(Bluetooth Low Energy), Zigbee 등과 같은 근거리 통신을 통해 연결된 각 비콘(20)으로부터 상기 단말(10)에 대응되는 객체의 식별에 필요한 단말 정보를 수신할 수 있으며, 상기 단말 정보를 기초로 동일한 단말 식별자를 전송하는 복수의 비콘(20)을 선택하고, 선택된 각 비콘(20)으로부터 수신된 단말 정보에 포함되는 거리 정보를 기초로 상기 감시 영역 내에서 상기 단말(10)의 위치를 측정할 수 있다.Accordingly, the image management apparatus 100 identifies an object corresponding to the terminal 10 from each beacon 20 connected to the terminal 10 through short-range communication such as BLE (Bluetooth Low Energy), Zigbee, (20) for transmitting the same terminal identifier based on the terminal information, and based on the distance information included in the terminal information received from each selected beacon (20) The position of the terminal 10 can be measured within the monitoring area.

또한, 상기 영상 관리 장치(100)는 상기 가시광 영상 및 서로 다른 보조 영상 각각에 대응되는 매핑 정보를 기초로 상기 단말(10)의 측정 위치에 대응되는 상기 각 영상(가시광 영상 및 서로 다른 보조 영상) 내 위치를 식별하고, 상기 각 영상에서 상기 단말(10)의 측정 위치에 대응되는 위치에 있는 객체를 상기 단말(10)을 소지하는 관리 대상에 대응되는 객체로 식별할 수 있다.In addition, the image management apparatus 100 may display the images (the visible light image and the different auxiliary images) corresponding to the measurement position of the terminal 10 based on the mapping information corresponding to the visible light image and the different auxiliary images, And identify an object at a position corresponding to the measurement position of the terminal 10 in each of the images as an object corresponding to the management subject having the terminal 10.

이때, 상기 영상 관리 장치(100)는 상기 매핑정보를 기초로 상기 측정 위치를 상기 영상 내 좌표로 환산한 후 상기 감시 영역 내의 단말(10) 위치에 대응되는 상기 영상 내 좌표를 기초로 상기 영상 내에서 상기 단말(10)의 위치를 식별하고, 상기 단말(10)에 대응되는 객체를 식별할 수 있다.At this time, the image management apparatus 100 converts the measurement position into the in-image coordinates based on the mapping information, and then, based on the intra-image coordinates corresponding to the position of the terminal 10 in the surveillance region, The terminal 10 can identify the location of the terminal 10 and identify the object corresponding to the terminal 10.

한편, 상기 영상 관리 장치(100)는 상기 카메라부(30) 및 각 보조 카메라부(40)로부터 수신된 각 영상에 대한 영상 분석을 통해 상기 각 영상 내의 객체를 식별하고, 상기 각 영상 내에서 식별된 단말(10)의 위치에 대응되는 객체에 상기 단말(10)의 단말 식별자를 부여하여 추적할 수 있다.The image management apparatus 100 identifies objects in the respective images through image analysis of the images received from the camera unit 30 and the respective auxiliary camera units 40, The terminal identifier of the terminal 10 can be assigned to an object corresponding to the location of the terminal 10 and tracked.

이때, 상기 영상 관리 장치(100)는 상기 각 영상에서 단말(10)의 위치와 각 객체의 위치를 비교하여 단말(10)의 위치와 기준 거리 이내인 객체를 단말(10)에 대응되는 객체로 식별하고, 식별된 객체에 대하여 상기 비콘(20)으로부터 수신된 단말 식별자를 부여할 수 있다.The image management apparatus 100 compares the position of the terminal 10 with the position of each object in each of the images so that the object within the reference distance from the position of the terminal 10 is an object corresponding to the terminal 10 And assign a terminal identifier received from the beacon 20 to the identified object.

또한, 상기 영상 관리 장치(100)는 상기 단말 식별자가 부여된 각 객체를 상기 카메라부(30) 및 각 보조 카메라부(40)의 PTZ 기능을 제어하여 미리 설정된 추적 알고리즘에 따라 추적할 수 있다.In addition, the image management apparatus 100 can track each object to which the terminal identifier is assigned according to a predetermined tracking algorithm by controlling the PTZ functions of the camera unit 30 and the respective auxiliary camera units 40. [

더하여, 상기 영상 관리 장치(100)는 상기 단말(10)을 소지한 관리 대상의 이동에 따른 단말(10)의 이동에 따라 상기 각 비콘(20)으로부터 수신되는 단말 정보를 기초로 상기 각 영상에서 단말(10)에 대응되는 객체의 위치를 정확하게 추적하거나 보정할 수 있으며, 이를 통해 영상 분석에 의한 객체 추적 뿐만 아니라 비콘(20)과의 통신을 통해 단말(10)에 대응되는 객체의 위치를 정확하게 파악할 수 있다.In addition, the video management apparatus 100 may be configured to display, on the basis of the terminal information received from each beacon 20 according to the movement of the terminal 10 according to the movement of the management object having the terminal 10, The position of the object corresponding to the terminal 10 can be precisely tracked or corrected and the position of the object corresponding to the terminal 10 can be precisely detected through communication with the beacon 20, .

이를 통해, 상기 영상 관리 장치(100)는 가시광 영상 및 서로 다른 보조 영상 간에 상호 매칭할 필요 없이 단말 식별자를 기반으로 서로 다른 영상에 포함된 동일 객체를 용이하게 식별할 수 있다.Accordingly, the image management apparatus 100 can easily identify the same objects included in different images based on the terminal identifier without having to match the visible light image and the different auxiliary images.

한편, 도 3에 도시된 바와 같이 상기 영상 관리 장치(100)는 카메라부(30) 및 복수의 보조 카메라부(40)로부터 제공된 상기 각 영상에 대한 영상 분석을 통해 영상 내 객체를 추적 감시하고, 상기 객체 중 미리 설정된 이벤트 조건에 따른 이벤트가 발생한 객체를 감시 대상 객체로 설정할 수 있다.3, the image management apparatus 100 tracks and monitors an object in an image through image analysis of each image provided from the camera unit 30 and the plurality of auxiliary camera units 40, An object in which an event is generated according to a preset event condition among the objects can be set as a monitoring object.

일례로, 상기 영상 관리 장치(100)는 상기 보조 카메라부(40) 중 열화상 카메라를 통해 수신된 열화상 영상에서 객체별 온도를 식별하고, 온도가 미리 설정된 기준치 이상인 객체를 이벤트가 발생한 감시 대상 객체로 설정할 수 있다.For example, the image management apparatus 100 may identify the temperature of each object in the thermal image received through the thermal camera of the auxiliary camera unit 40, It can be set as an object.

또한, 상기 영상 관리 장치(100)는 상기 보조 카메라부(40) 중 저조도인 감시 영역에서 저조도 카메라를 통해 미리 설정된 이벤트 조건에 따른 이벤트가 발생한 객체를 감시 대상 객체로 설정할 수도 있다.In addition, the image management apparatus 100 may set, as a monitoring target object, an object in which events according to preset event conditions are generated through a low-illuminance camera in a surveillance area in the low-illuminance monitoring area of the auxiliary camera unit 40. [

이에 따라, 상기 영상 관리 장치(100)는 이벤트가 발생한 영상 내 객체에 대하여 인덱스(index) 정보를 생성한 후 인덱싱(indexing)할 수 있다.Accordingly, the image management apparatus 100 may generate index information for an object in an image where an event occurs, and then index the object.

이때, 상기 영상 관리 장치(100)는 복수의 서로 다른 이벤트 종류별 이벤트 조건이 설정될 수 있으며, 상기 감시 대상 객체에 대응되는 이벤트 종류에 대한 이벤트 정보를 생성하고, 최초 이벤트가 발생한 감시 대상 객체에 대응되는 미리 설정된 계층에 대한 계층 정보를 생성하며, 상기 계층정보 및 이벤트 정보를 포함하는 인덱스 정보를 생성하여 상기 이벤트가 발생한 영상 내 객체에 상기 인덱스 정보를 설정할 수 있다.At this time, the video management apparatus 100 may set a plurality of event conditions according to different event types, generate event information for an event type corresponding to the monitored object, And generates index information including the layer information and the event information to set the index information on an object in the image where the event occurs.

또한, 상기 영상 관리 장치(100)는 인덱스 정보를 영상 내에 가시적으로 표시할 수 있음은 물론이다.It is needless to say that the image management apparatus 100 can visually display index information in an image.

한편, 상기 영상 관리 장치(100)는 가시광 영상 및 서로 다른 보조 영상 중 이벤트가 검출된 특정 영상에서 객체에 인덱스 정보 설정시 상기 특정 영상을 제외한 나머지 영상에서 상기 감시 대상 객체에 부여된 단말 식별자를 기초로 동일 단말 식별자가 부여된 객체를 용이하게 식별할 수 있으며, 상기 나머지 영상에서 상기 감시 대상 객체에 대응되는 객체에 상기 특정 영상 내 감시 대상 객체에 부여된 인덱스 정보와 동일한 인덱스 정보를 설정(인덱싱)하여 서로 다른 영상 간 인덱스 정보를 상호 동기화할 수 있다.On the other hand, when the index information is set for an object in a specific image in which an event is detected among the visible light image and the different auxiliary images, the image management apparatus 100 sets a terminal identifier assigned to the monitored object in the remaining images, (Indexing) the same index information as the index information given to the object in the specific image to the object corresponding to the monitored object in the remaining image, So that index information of different images can be synchronized with each other.

이를 통해, 상기 영상 관리 장치(100)는 가시광 영상 및 서로 다른 보조 영상에서 동일한 감시 대상 객체를 관리자가 용이하게 식별할 수 있도록 제공할 수 있으며, 서로 다른 영상에서 동일 객체에 대한 추적이 가능하도록 제공할 수 있다.Accordingly, the image management apparatus 100 can easily provide the administrator with the same monitoring target object in the visible light image and the different auxiliary images, and can perform tracking of the same object in different images can do.

상술한 구성을 토대로 상기 영상 관리 장치(100)의 상세 구성 및 다양한 동작 실시예를 이하 도면을 참고하여 설명한다.The detailed configuration and various operation examples of the video management device 100 based on the above-described configuration will be described with reference to the drawings.

도 4는 상기 영상 관리 장치(100)의 상세 구성도로서, 도시된 바와 같이 수신부(110), 위치 측정부(120), 비교부(130), 객체 매칭부(140), 영상 분석부(150), 공간정보 매칭부(160), 객체 추적부(170) 및 인덱싱부(180)를 포함할 수 있다.4 is a detailed block diagram of the video management apparatus 100. As shown in FIG. 4, the receiving unit 110, the position measuring unit 120, the comparing unit 130, the object matching unit 140, the image analyzing unit 150 A spatial information matching unit 160, an object tracking unit 170, and an indexing unit 180.

이때, 상기 영상 관리 장치(100)의 각 구성부(110, 120, 130, 140, 150, 160, 170, 180) 중 어느 하나가 나머지 구성부를 제어하는 제어부로서 동작하거나 영상 관리 장치(100)에 상기 각 구성부(110, 120, 130, 140, 150, 160, 170, 180)를 제어하는 별도의 제어부(미도시)가 더 포함될 수 있으며, 상기 제어부는 상기 영상 관리 장치(100)에 포함되어 상기 영상 관리 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 저장부(미도시)의 프로그램 및 데이터를 이용하여 상기 영상 관리 장치(100)의 전반적인 제어 기능을 실행할 수 있다.At this time, any one of the components 110, 120, 130, 140, 150, 160, 170, and 180 of the image management apparatus 100 operates as a control unit for controlling the remaining components, (Not shown) for controlling the respective components 110, 120, 130, 140, 150, 160, 170 and 180. The controller may be included in the image management apparatus 100 The overall control function of the video management apparatus 100 can be executed using a program and data of a storage unit (not shown) for storing programs and data necessary for the operation of the video management apparatus 100. [

또한, 상기 제어부로 동작하는 상기 구성부 또는 상기 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부에 액세스하여, 저장부에 저장된 O/S(operating system)를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 본 발명에서 설명하는 다양한 동작을 수행할 수 있다.The component or the control unit operating as the control unit may include a RAM, a ROM, a CPU, a GPU, and a bus, and the RAM, the ROM, the CPU, and the GPU may be connected to each other via a bus. The CPU accesses the storage unit and performs booting using an operating system (OS) stored in the storage unit. The CPU can perform various operations described in the present invention using various programs, contents, data, Can be performed.

우선, 수신부(110)는 상기 카메라부(30)로부터 감시 영역에 대한 가시광 영상을 수신하고, 상기 복수의 보조 카메라부(40)로부터 상기 감시 영역에 대한 열화상 영상 및 저조도 영상을 포함하는 서로 다른 복수의 보조 영상을 수신할 수 있다.First, the receiving unit 110 receives a visible light image for the surveillance region from the camera unit 30, and acquires, from the plurality of sub-camera units 40, different images including a thermal image for the surveillance region and a low- A plurality of auxiliary images can be received.

또한, 상기 수신부(110)는 상기 감시 영역 내에 위치하는 관리 대상이 소지하는 단말(10)과 인접하며 상기 단말(10)과 근거리 통신이 연결된 상기 복수의 비콘(20)으로부터 상기 감시 영역 내 위치하는 상기 단말(10)의 단말 식별자 및 거리정보를 포함하는 단말 정보를 수신할 수 있다.The receiving unit 110 is located in the monitoring area from the plurality of beacons 20 adjacent to the terminal 10 held by the management object located in the monitoring area and connected to the terminal 10 by short- Terminal information including the terminal identifier and the distance information of the terminal 10 can be received.

또한, 상기 위치 측정부(120)는 상기 감시 영역 내 배치된 복수의 비콘(20) 중 동일한 단말 식별자를 전송하는 각 비콘(20)을 선택하고, 선택된 각 비콘(20)으로부터 수신된 단말 정보에 포함되는 거리 정보를 기초로 삼각 측량법을 이용하여 2차원 평면으로 구성된 감시 영역 상의 단말(10)의 위치를 측정한 측정 위치에 대한 위치정보를 생성한 후 상기 비교부(130)로 제공할 수 있다.In addition, the position measuring unit 120 may select each beacon 20 that transmits the same terminal identifier among the plurality of beacons 20 disposed in the monitoring area, and may determine the terminal information received from each selected beacon 20 The positional information on the measurement position where the position of the terminal 10 on the surveillance area composed of the two-dimensional plane is measured using the triangulation method based on the included distance information, and then provides the positional information to the comparison unit 130 .

이때, 상기 각 비콘(20)은 거리 정보 대신 상기 단말(10)과의 근거리 통신에 따른 신호 세기에 대한 신호 세기 정보를 전송할 수 있으며, 상기 위치 측정부(120)는 동일한 단말 식별자를 전송하는 각 비콘(20)으로부터 수신된 신호 세기 정보를 기초로 각 비콘(20)과 단말(10) 사이의 거리를 연산한 후 삼각 측량을 통해 상기 감시 영역 상의 단말(10) 위치에 대한 상기 위치 정보를 생성할 수도 있다.Instead of the distance information, each beacon 20 may transmit signal strength information for signal strength according to short-distance communication with the terminal 10, and the position measuring unit 120 may transmit the signal strength information Calculates the distance between each beacon 20 and the terminal 10 based on the signal strength information received from the beacon 20 and then generates the position information on the position of the terminal 10 on the surveillance region through triangulation You may.

또한, 상기 공간정보 매칭부(160)는 3차원 캘리브레이션을 통해 상기 카메라부(30)의 가시광 영상 및 상기 각 보조 카메라부(40)의 보조 영상에 각각 대응되는 가상 공간과 상기 감시 영역에 대응되는 감시 공간을 상호 매핑하는 방식 등과 같은 영상과 감시 영역의 상호 매핑을 통해 감시 영역의 위치에 대응되는 영상 내 위치를 식별할 수 있도록 서로 다른 각 영상에 대한 매핑 정보를 생성하여 상기 비교부(130)로 제공할 수 있다.In addition, the spatial information matching unit 160 may include a virtual space corresponding to the visible light image of the camera unit 30 and the auxiliary image of each of the auxiliary camera units 40 through three-dimensional calibration, The mapping unit 130 generates mapping information for each different image so as to identify a position in the image corresponding to the position of the surveillance region through mutual mapping between the image and the surveillance region, .

한편, 상기 영상 분석부(150)는 수신부(110)를 통해 상기 카메라부(30) 및 각 보조 카메라부(40)로부터 수신된 각 영상에 배경 모델링을 위한 다양한 영상 분석 알고리즘을 적용할 수 있으며, 이를 통해 각 영상 내의 객체를 식별하고, 식별된 객체에 대하여 객체 추적 알고리즘을 이용하여 추적할 수 있다. The image analysis unit 150 may apply various image analysis algorithms for background modeling to the images received from the camera unit 30 and the respective auxiliary camera units 40 through the receiving unit 110, This allows objects in each image to be identified and tracked using an object tracking algorithm for the identified objects.

또한, 상기 영상 분석부(150)는 상기 각 영상 내에서 식별된 객체별 위치에 대한 객체 관련 정보를 상기 비교부(130)로 제공할 수 있다.In addition, the image analyzer 150 may provide the object-related information on the position of each object identified in each image to the comparator 130.

일례로, 상기 영상 분석부(150)는 차분영상 방법, GMM(Gaussian Mixture Models)을 이용하는 MOG(Model of Gaussian) 알고리즘, 코드북(Codebook) 알고리즘 등을 적용하여 객체를 식별할 수 있으며, 칼만 필터(Kalman filter)를 이용하여 객체에 대한 지속적인 추적을 수행할 수도 있다.For example, the image analyzer 150 can identify an object by applying a difference image method, a MOG (Model of Gaussian) algorithm using a Gaussian Mixture Models (GMM), a codebook algorithm, Kalman filter can be used to perform continuous tracking on objects.

이때, 상기 영상 분석부(150)는 카메라부(30) 및 보조 카메라부(40)에 각각 구성될 수도 있으며, 상기 카메라부(30) 및 보조 카메라부(40)에서 영상 정보 및 영상 내 객체의 위치를 포함하는 객체 관련 정보를 생성하여 상기 영상 관리 장치(100)의 상기 비교부(130)로 제공할 수도 있다.The image analyzing unit 150 may be configured in the camera unit 30 and the auxiliary camera unit 40. The camera unit 30 and the assistant camera unit 40 may be configured to store image information, And provides the generated object-related information to the comparison unit 130 of the image management apparatus 100.

상술한 구성에 따라, 상기 비교부(130)는 상기 공간정보 매칭부(160)로부터 상기 카메라부(30) 및 각 보조 카메라부에 대응되는 상기 매핑 정보를 수신하여 저장하고, 상기 위치 측정부(120)로부터 수신된 위치 정보를 상기 매핑 정보에 따라 상기 각 영상 내 위치로 매핑한 후 상기 영상 분석부(150)와 연동하여 상기 각 영상에서 식별된 객체별 위치와 상호 비교할 수 있다.According to the above-described configuration, the comparison unit 130 receives and stores the mapping information corresponding to the camera unit 30 and the auxiliary camera units from the spatial information matching unit 160, 120 to the positions in the respective images according to the mapping information, and then compare the positions of the objects identified in the respective images by interlocking with the image analysis unit 150.

이를 통해, 상기 비교부(130)는 상기 영상 분석부(150) 및 위치 측정부(120)와 연동하여 도 5에 도시된 바와 같이 상기 각 비콘(20)의 거리 정보를 통해 상기 위치 측정부(120)로부터 제공되는 위치 정보를 상기 매핑 정보에 따라 각 영상 내 위치로 매핑하여 상기 각 영상에서 객체 A에 대한 추정 위치인 객체 B의 위치(단말(10)의 위치)를 식별한 후 상기 영상 분석부(150)로부터 제공되는 객체 관련 정보에 따라 상기 각 영상에서 식별된 상기 객체 A의 위치와 상호 비교하여, 객체 A와 객체 B의 거리 차이가 미리 설정된 기준 거리 이내인 경우 객체 A 및 객체 B를 동일 객체로 판단할 수 있다.5, the comparator 130 interlocks with the image analysis unit 150 and the position measurement unit 120 to measure the position of the beacon 20 using the distance information of each beacon 20, 120) is mapped to a position in each image according to the mapping information to identify the position of the object B (the position of the terminal 10) as an estimated position for the object A in the respective images, If the distance difference between the object A and the object B is within a predetermined reference distance, the object A and the object B are compared with each other, It can be judged to be the same object.

즉, 상기 비교부(130)는 상기 위치 측정부(120)를 통해 측정된 위치에 대응되는 객체를 상기 카메라부(30) 및 각 보조 카메라부(40)에서 제공되는 각 영상에서 식별할 수 있으며, 이를 통해 서로 다른 영상별로 단말(10)에 대응되는 영상 내 객체를 식별할 수 있다.That is, the comparison unit 130 can identify the object corresponding to the position measured through the position measurement unit 120 from the images provided by the camera unit 30 and the auxiliary camera unit 40 , Thereby identifying objects in an image corresponding to the terminal 10 for different images.

이후, 상기 객체 매칭부(140)는 비교부(130)의 판단에 따라 객체 A에 대하여 상기 위치 측정부(120)를 통해 측정된 위치에 대응되는 비콘(20)으로부터 수신된 단말 정보에 포함되는 단말 식별자를 상기 객체 A에 매칭하여 상기 객체 A에 단말 식별자를 부여할 수 있으며, 상기 각 영상에 대하여 상기 객체 A에 대한 단말 식별자를 포함하는 객체 정보를 생성할 수 있다.The object matching unit 140 then determines whether the object A is included in the terminal information received from the beacon 20 corresponding to the position measured through the position measurement unit 120 with respect to the object A according to the determination of the comparison unit 130 The terminal identifier can be assigned to the object A by matching the terminal identifier with the object A and object information including the terminal identifier for the object A can be generated for each image.

또한, 상기 객체 매칭부(140)는 상기 영상 관리 장치(100)의 내부에 구성되거나 외부에 구성된 DB 또는 저장부에 상기 각 영상에 대하여 객체 정보를 저장하여 관리할 수 있다.The object matching unit 140 may store and manage object information for each image in a DB or a storage unit configured in the image management apparatus 100 or configured externally.

이를 통해, 상기 영상 관리 장치(100)는 상기 객체의 위치 정보에 따른 객체 위치와 상기 비콘(20)을 통해 측정된 단말(10)의 위치정보에 따른 단말(10)의 위치를 비교하여, 단말(10)에 대응되는 관리 대상이 소지한 단말(10)과 상기 관리 대상에 대응되는 객체의 위치의 거리 차이가 미리 설정된 기준 거리 이내인지 판단하여 기준 거리 이내이면 상기 객체가 상기 단말(10)을 소지한 관리 대상인 것으로 판단할 수 있다.The video management apparatus 100 compares the position of the terminal 10 with the position of the object 10 according to the location information of the terminal 10 measured through the beacon 20, It is judged whether the distance difference between the position of the object corresponding to the management object and the terminal 10 carried by the management object corresponding to the management object 10 is within a preset reference distance, It can be judged that it is a managed object possessed.

한편, 상기 객체 매칭부(140)는 상기 비교부(130)의 판단 결과에 따라 상기 객체에 대하여 상기 단말 식별자를 매칭시켜, 객체를 상기 단말(10)의 단말 식별자로 관리하기 위한 객체 정보를 생성할 수 있으며, 상기 객체 정보는 상기 단말(10)의 단말 식별자와 상기 영상에서 식별된 상기 단말(10)에 대응되는 객체에 대한 객체 식별정보 및 상기 각 영상 중 어느 하나에 대한 영상 식별정보를 포함할 수 있다.The object matching unit 140 matches the terminal identifier with respect to the object according to the determination result of the comparison unit 130 and generates object information for managing the object as the terminal identifier of the terminal 10 And the object information includes object identification information for an object corresponding to the terminal 10 identified in the image and image identification information for any one of the images, can do.

이를 통해, 상기 객체 매칭부(140)는 상기 도 2에서 설명한 바와 같이 서로 다른 영상에서 단말(10)에 대응되어 식별된 동일 객체에 대하여 동일한 단말 식별자를 부여하여 서로 다른 영상에서 단말(10)에 대응되는 동일 객체를 식별할 수 있다.2, the object matching unit 140 assigns the same terminal identifiers to the same object identified corresponding to the terminal 10 in different images, as described with reference to FIG. 2, The corresponding identical object can be identified.

상술한 바에 따라, 상기 영상 관리 장치(100)에 포함된 객체 추적부(170)는 상기 객체 정보를 기초로 카메라부(30) 및 복수의 보조 카메라부(40)에서 제공되는 서로 다른 각 영상의 동일 객체에 대하여 연속성을 유지하면서 영상별로 동일 객체를 추적할 수 있는데, 이를 도 6을 통해 상세히 설명한다.The object tracking unit 170 included in the image management apparatus 100 may determine whether or not each of the different images provided from the camera unit 30 and the plurality of auxiliary camera units 40 The same object can be tracked for each image while continuity is maintained for the same object, which will be described in detail with reference to FIG.

우선, 도 6에 도시된 바와 같이 상기 객체 추적부(170)는 상기 수신부(110)를 통해 수신된 각 영상에서 상기 DB 또는 저장부에 저장된 객체 정보에 대응되는 객체를 식별하고 지속적으로 추적할 수 있으며, 이때 상술한 칼만 필터와 같은 추적 알고리즘을 이용하여 추적할 수도 있다.6, the object tracking unit 170 identifies and continuously tracks an object corresponding to the object information stored in the DB or the storage unit in each image received through the receiver 110 And may be tracked using a tracking algorithm such as the Kalman filter described above.

또한, 객체 추적부(170)는 상기 객체 정보를 기초로 상기 객체별로 부여된 단말 식별자를 상기 각 영상에서 단말 식별자에 대응되는 객체에 표시할 수 있다.In addition, the object tracking unit 170 may display the terminal identifier assigned for each object on the basis of the object information in the object corresponding to the terminal identifier in each image.

이에 따라, 상기 객체 추적부(170)는 도 6(a)에 도시된 바와 같이 객체 정보에 포함된 단말 식별자에 매칭되는 객체를 추적하는 과정에서, 객체(A)가 감시 영역을 이탈하여 소실된 후 신규 객체(A)로서 감시 영역으로 재진입(재등장)하는 경우 상기 객체 매칭부(140)로부터 상기 신규 객체(A)에 대하여 상술한 바에 따라 생성한 신규 객체 정보를 수신하고, 이를 DB 또는 저장부에 저장된 이전 객체에 대한 기존 객체 정보와 비교하여, 신규 객체 정보 및 기존 객체 정보에 각각 포함된 단말 식별자가 상호 동일한 경우 상기 신규 객체(A)를 이전 객체(A)와 동일한 동일 객체(단일 객체)로 판단하고 신규 객체 정보를 기존 객체 정보로 대체하여 동일 객체에 대한 연속적인 추적을 수행할 수 있다.6A, the object tracking unit 170 tracks an object matched with the terminal identifier included in the object information. When the object A leaves the surveillance region and disappears (Re-entry) to the surveillance area as a new object A after receiving the new object information from the object matching unit 140. The new object information is received from the object matching unit 140 according to the above- If the new object information and the terminal identifiers included in the existing object information are equal to each other, the new object A is compared with the same object (the same object as the previous object A) ) And replace the new object information with existing object information to perform continuous tracking on the same object.

또한, 객체 추적부(170)는 도 6(b)에 도시된 바와 같이 객체 정보가 생성된 복수의 객체가 군집한 후 분산되는 경우 분산된 객체(A)에 대하여 신규 객체로 간주하고, 해당 신규 객체에 대하여 객체 매칭부(140)로부터 제공되는 신규 객체 정보를 DB나 저장부에 저장된 이전 객체(A)에 대한 기존 객체 정보와 비교하여, 신규 객체 정보 및 기존 객체 정보에 각각 포함된 단말 식별자가 상호 동일한 경우 신규 객체(A)를 이전 객체(A)와 동일한 동일 객체(단일 객체)로 판단하고 신규 객체 정보를 기존 객체 정보로 대체하여 군집 상태에서 분산된 객체에 대해서도 용이하게 동일 객체에 대한 연속적인 추적을 수행할 수 있다.6 (b), the object tracking unit 170 regards the distributed object A as a new object when a plurality of objects generated from the object information are clustered and then distributed, The new object information provided from the object matching unit 140 with respect to the object is compared with the existing object information about the previous object A stored in the DB or the storage unit so that the new object information and the terminal identifier (A) is determined to be the same object (single object) same as the previous object (A), and the new object information is replaced with the existing object information, so that the distributed objects in the cluster state can be easily Can be performed.

한편, 상기 영상 관리 장치(100)는 서로 다른 감시 영역에 각각 대응되어 설치되는 복수의 비콘(20)과 카메라부(30) 및 복수의 보조 카메라부(40)와 연결될 수 있으며, 이에 따라 서로 다른 감시 영역을 이동하는 객체에 대한 연속적인 추적을 수행할 수 있다.The video management apparatus 100 may be connected to a plurality of beacons 20, a camera unit 30, and a plurality of auxiliary camera units 40, which are installed corresponding to different surveillance regions. It is possible to perform continuous tracking on the object moving the surveillance region.

이를 도 7을 통해 상세히 설명하면, 도시된 바와 같이 감시 영역 A에서 감시 영역 B로 이동하는 객체에 대하여, 상기 객체 매칭부(140)는 감시 영역 A에 대한 감시 영역 정보를 생성하고, 감시 영역 A에서 식별된 객체 A에 대하여 감시 영역 A에 대응되어 설치된 카메라부(31)와 복수의 보조 카메라부(41, 42) 및 복수의 비콘(21, 22, 23)으로부터 제공되는 정보를 이용하여 생성된 객체A 정보를 상기 감시 영역 A에 대한 감시 영역 정보와 매칭하여 DB나 저장부에 저장할 수 있다.7, for the object moving from the monitoring area A to the monitoring area B, the object matching part 140 generates monitoring area information for the monitoring area A, Generated by using the information provided from the camera unit 31, the plurality of auxiliary camera units 41 and 42 and the plurality of beacons 21, 22, and 23, which are provided in correspondence with the surveillance region A, The object A information may be matched with the monitoring area information for the monitoring area A and stored in the DB or the storage unit.

또한, 상기 객체 매칭부(140)는 감시 영역 B에서 식별된 객체 B에 대하여 감시 영역 B에 대응되어 설치된 카메라부(32)와 복수의 보조 카메라부(43, 44) 및 복수의 비콘(24, 25, 26)으로부터 제공되는 정보를 이용하여 객체B 정보 생성시 상기 객체 추적부(170)에 상기 객체B 정보와 감시 영역 B에 대한 감시 영역 정보를 제공할 수 있다.The object matching unit 140 includes a camera unit 32, a plurality of auxiliary camera units 43 and 44, and a plurality of beacons 24, 25 and 26 to provide the object B information and the monitoring area information for the monitoring area B to the object tracking unit 170 when the object B information is generated.

이에 따라, 상기 객체 추적부(170)는 서로 다른 감시 영역 정보를 기초로 상기 객체B 정보에 따른 객체B가 다른 감시 영역 A에서 식별된 객체와 동일한 객체인지를 판단하기 위하여, 객체B 정보에 포함된 단말 식별자를 기초로 상기 DB 또는 저장부를 검색하여 동일한 단말 식별자를 가진 객체A 정보가 검출되는 경우 상기 객체 B를 객체 A와 동일한 객체로 판단할 수 있으며, 객체B 정보를 객체A 정보로 대체하여 DB 또는 저장부에 저장할 수 있다.Accordingly, the object tracking unit 170 may include in the object B information to determine whether the object B according to the object B information is the same object as the object identified in the other monitoring area A based on different monitoring area information If the object A information having the same terminal identifier is detected by searching the DB or the storage unit based on the terminal identifier, the object B can be determined to be the same object as the object A, and the object B information can be replaced with the object A information DB or a storage unit.

마찬가지로, 객체 추적부(170)는 객체 매칭부(140)로부터 감시 영역 C에 대응되어 설치된 카메라부(33)와 복수의 보조 카메라부(45, 46) 및 복수의 비콘(27, 28, 29)으로부터 제공되는 정보를 이용하여 생성된 객체 C에 대한 객체C 정보를 수신하는 경우 객체C 정보에 포함된 단말 식별자를 이용하여 DB나 저장부를 검색할 수 있으며, 이를 통해 동일한 단말 식별자를 가진 객체A 정보가 검출되면, 상기 객체 C가 객체 A와 동일한 객체로 판단할 수 있다.Similarly, the object tracking unit 170 includes a camera unit 33, a plurality of auxiliary camera units 45 and 46, and a plurality of beacons 27, 28, and 29 provided in correspondence with the monitoring area C from the object matching unit 140. [ When receiving the object C information about the object C generated using the information provided from the object C, the DB or the storage unit can be searched using the terminal identifier included in the object C information, The object C can be determined to be the same object as the object A.

이를 통해, 객체 추적부(170)는 서로 다른 감시 영역을 이동하는 객체에 대하여 단말 식별자를 통해 서로 다른 감시 영역의 객체에 대한 동일여부를 판단할 수 있으며, 동일 객체에 대한 연속적인 추적을 지원할 수 있다.Accordingly, the object tracking unit 170 can determine whether the objects moving in different surveillance regions are the same or not for the objects in different surveillance regions through the terminal identifier, and can support continuous tracking of the same object have.

한편, 상기 객체 추적부(170)는 상기 이벤트 종류별 이벤트 조건이 미리 설정될 수 있으며, 상기 객체 추적 과정에서 이벤트가 발생한 감시 대상 객체에 대한 객체 정보를 상기 DB 또는 저장부로부터 추출하고, 상기 추출된 객체 정보를 기초로 서로 다른 감시 영역에서 상기 추출된 객체 정보와 동일한 단말 식별자를 가진 객체 정보에 대응되는 객체를 연속 추적할 수 있다.The object tracking unit 170 may be configured to set an event condition according to the event type. The object tracking unit 170 extracts object information about the monitored object in which the event occurred, from the DB or the storage unit, The object corresponding to the object information having the same terminal identifier as the extracted object information can be continuously traced in different surveillance regions based on the object information.

또한, 상기 객체 추적부(170)는 동일 감시 영역에 대응되는 각 영상별로 동일한 단말 식별자를 가진 감시 대상 객체를 식별하여 추적할 수 있으며, 이를 통해 서로 다른 영상 내 감시 대상 객체의 동일성을 유지하면서 용이하게 동일한 감시 대상 객체를 추적할 수 있다.In addition, the object tracking unit 170 can identify and track the monitoring object having the same terminal identifier for each image corresponding to the same surveillance region, The same monitored object can be traced.

한편, 상기 인덱싱부(180)는 상기 객체 추적부(170)와 연동하여 상기 도 3에서 설명한 바와 같이 이벤트가 발생한 감시 대상 객체에 대하여 상기 인덱스 정보를 생성하여 상기 각 영상의 감시 대상 객체에 설정(인덱싱)할 수 있다.3, the indexing unit 180 generates the index information for the monitored object in which the event occurs, and sets the index information to the monitored object of each image Indexing).

이때, 상기 인덱싱부(180)는 상기 인덱스 정보를 영상 출력시 영상을 통해 확인 가능하도록 가시적으로 표시할 수 있으며, 일례로 상기 감시 대상 객체에 별도의 플래그(flag)를 표시할 수 있다.At this time, the indexing unit 180 may visually display the index information so that the index information can be viewed through the image at the time of video output. For example, the indexing unit 180 may display a flag on the monitored object.

한편, 상기 객체 추적부(170) 및 인덱싱부(180)는 이벤트가 발생한 감시 대상 객체와 군집을 형성한 복수의 객체를 감시 대상 객체의 이벤트와 연관된 이벤트 연관 객체로 설정하여 감시 대상 객체와 동일하게 추적하여 감시할 수 있으며, 이를 통해 감시 대상 객체가 열화상 영상을 통해 바이러스 보균자로 의심되는 이벤트로서 검출되거나 상기 각 영상 중 어느 하나를 통해 테러 용의자로 의심되는 이벤트로서 검출되어 해당 감시 대상 객체와 군집을 형성하여 접촉하는 객체를 이벤트와 연관된 객체로서 검출하여 관리함으로써 이벤트와 연관되는 모든 객체를 동시 추적할 수 있을 뿐 아니라 감시 영역의 다양한 이벤트를 통합 관리할 수 있도록 동작할 수 있다.Meanwhile, the object tracking unit 170 and the indexing unit 180 may set a plurality of objects forming a cluster with a monitored object in which an event occurs, as an event related object related to the event of the monitored object, The surveillance object can be detected as an event suspected of being a virus carrier through a thermal image or detected as an event suspecting a terrorist suspect through any of the images, It is possible to simultaneously track all the objects related to the event and to manage the various events of the surveillance area in an integrated manner by detecting and managing the contact object as an object associated with the event.

특히, 상기 객체 추적부(170) 및 인덱싱부(180)는 전염병 확산 방지를 위해 이벤트 연관 객체와 군집을 형성하는 객체 역시 연쇄적으로 검출하고 이벤트 연관 객체로 설정된 객체에 대한 이벤트 발생의 원인을 제공한 이벤트 원인 제공 객체에 따라 이벤트 연관 객체에 계층을 설정하되, 이벤트 연관 객체에 설정되는 계층을 이벤트 원인 제공 객체의 계층과 달리(상이하게) 구분하여 설정함으로써 전염병 확산 경로 및 이벤트 확산의 원인이 된 객체를 파악할 수 있도록 지원할 수 있는데 이를 도 8을 참고하여 상세히 설명한다.In particular, the object tracking unit 170 and the indexing unit 180 may simultaneously detect an object forming a cluster with the event related object to prevent the spread of an epidemic disease, and provide the cause of the event occurrence to the object set as the event related object A hierarchy is set up for an event-related object according to an event-cause-provided object, but a hierarchy set for an event-related object is set differently from (different from) It can support to grasp the object, which will be described in detail with reference to FIG.

도시된 바와 같이, 상기 인덱싱부(180)는 상기 객체 추적부(170)와 연동하여 상기 카메라부(30) 및 각 보조 카메라부(40)의 영상 중 어느 하나를 통해 최초 이벤트가 검출된 감시 대상 객체(A)에 대응되는 이벤트 종류에 대한 이벤트 정보를 포함하는 인덱싱 정보를 해당 감시 대상 객체에 설정하고, 이벤트 발생 순서(또는 이벤트 검출 순서)에 따라 서로 다른 계층이 미리 설정되어 최초 이벤트 검출시 해당 이벤트가 검출된 상기 감시 대상 객체(A)의 인덱스 정보에 최초 이벤트에 대응되는 제 1 계층에 대한 계층정보를 포함시킬 수 있다.As shown in the figure, the indexing unit 180 detects the first event through the image of the camera unit 30 and the auxiliary camera unit 40 in cooperation with the object tracking unit 170, Indexing information including event information for the event type corresponding to the object A is set in the corresponding monitored object and different layers are set in advance according to the event occurrence order (or event detection order) The layer information on the first layer corresponding to the first event may be included in the index information of the monitored object (A) in which the event is detected.

이를 통해, 상기 인덱싱부(180)는 최초 이벤트가 검출된 객체의 인덱스 정보에 포함된 계층정보를 기초로 가장 처음에 이벤트가 발생한 객체임을 알 수 있도록 상기 영상 내 감시 대상 객체(A)에 대응되어 인덱스 정보를 표시할 수 있다.Accordingly, the indexing unit 180 corresponds to the in-vivo monitored object A so that it can be known that the first event is an object based on the layer information included in the index information of the object in which the first event is detected Index information can be displayed.

한편, 상기 객체 추적부(170)는 상기 감시 대상 객체(A)를 추적하고, 상기 감시 대상 객체(A)의 위치를 기준으로 영상 내에서 미리 설정된 설정 거리 이내에 위치하는 하나 이상의 객체를 확인하여 군집을 설정할 수 있으며, 상기 군집 내에 포함된 각 객체를 이벤트가 발생한 객체로 판단하고 상기 감시 대상 객체의 인덱스 정보에 포함된 이벤트 정보에 따른 이벤트(이벤트 종류)와 연관된 이벤트 연관 객체(B)로서 설정할 수 있다.The object tracking unit 170 tracks the monitored object A and identifies one or more objects located within a predetermined set distance in the image based on the position of the monitored object A, And determines each of the objects included in the cluster as an object in which the event occurs and sets it as an event related object (B) associated with an event (event type) according to the event information included in the index information of the monitored object have.

이때, 상기 객체 추적부(170)는 다양한 군집 설정 조건이 미리 설정될 수 있으며, 상기 군집 설정 조건에 따라 감시 대상 객체(A)와 군집을 형성하는 객체를 이벤트 연관 객체(B)로 설정할 수 있다.At this time, the object tracking unit 170 may set various cluster setting conditions, and may set an object forming the cluster with the monitored object A as an event related object B according to the cluster setting condition .

또한, 상기 인덱싱부(180)는 상기 객체 추적부(170)와 연동하여 상기 이벤트 연관 객체(B)가 속한 군집에 포함된(속하는) 감시 대상 객체(A)의 인덱스 정보로부터 계층정보 및 이벤트 정보를 추출하고, 상기 계층 정보에 따른 제 1 계층의 다음 순서에 해당되는 미리 설정된 제 2 계층에 대한 계층정보 및 상기 이벤트 정보를 포함하는 인덱스 정보를 생성한 후 상기 이벤트 연관 객체(B)에 설정할 수 있다.The indexing unit 180 may associate the index information of the monitored object A included in the cluster to which the event related object B belongs with the hierarchy information and the event information A, The layer information for the second layer and the index information including the event information corresponding to the next layer of the first layer according to the layer information are generated and then set in the event related object B have.

즉, 상기 인덱싱부(180)는 이벤트 연관 객체의 이벤트 발생 원인을 제공한 객체에 대응되는 계층의 다음 순서에 해당되는 계층과 이벤트 발생 원인을 제공한 객체에 대응되는 이벤트 종류와 동일 이벤트 종류를 이벤트 연관 객체에 인덱싱할 수 있으며, 이를 통해 이벤트 연관 객체가 어떤 객체로 인해 이벤트가 발생하였는지에 대한 객체 간 연관관계를 인덱싱하여 영상에 표시함으로써 상호 관련성이 있는 객체를 영상을 통해 제공할 수 있다.That is, the indexing unit 180 may classify the event type of the event-related object into a hierarchy corresponding to the next order of the hierarchy corresponding to the object providing the event- The indexed object association indexes can be indexed on the associated object, thereby displaying the indexed association between the object on which the event occurred due to which object and displaying the indexed image on the image.

또한, 상기 인덱싱부(180)는 이벤트 연관 객체(B)가 이벤트와 관련 없는 하나 이상의 이벤트 무관 객체와 군집을 형성하는 경우 해당 이벤트 무관 객체를 이벤트 연관 객체로 설정하고, 상기 이벤트 무관 객체의 이벤트 발생 원인이 된 이벤트 연관 객체(B)에 설정된 인덱스 정보를 기초로 상기 이벤트 연관 객체(B)의 계층의 다음 순서에 해당되는 미리 설정된 제 3 계층에 대한 계층 정보 및 이벤트 종류에 대한 이벤트 정보를 포함하는 인덱스 정보를 생성한 후 상기 이벤트 무관 객체를 이벤트 연관 객체로 변경하면서 상기 이벤트 무관 객체에 상기 인덱스 정보를 설정할 수 있다.The indexing unit 180 sets an event-related object as an event-related object when the event-related object B forms a cluster with one or more event-related objects not related to the event, Layer information on a preset third layer corresponding to the next order of the layer of the event-related object (B) based on the index information set in the causal event-related object (B) After the index information is generated, the index-related object can be set to the event-related object by changing the event-related object to the event-related object.

한편, 상기 인덱싱부(180)는 상기 카메라부(30) 및 복수의 보조 카메라부(40)로부터 제공되는 각 영상 중 어느 하나에서 객체에 대한 인덱스 정보 설정시 상기 인덱스 정보가 설정된 객체에 부여된 단말 식별자를 기초로 나머지 영상에서 동일한 단말 식별자를 가진 객체를 식별하여 동일 인덱스 정보를 설정함으로써, 각 영상의 동일 객체에 대하여 인덱스 정보를 동기화할 수 있다.When the index information is set for the object in any one of the images provided from the camera unit 30 and the plurality of auxiliary camera units 40, The index information can be synchronized with respect to the same object of each image by identifying an object having the same terminal identifier in the remaining images based on the identifier and setting the same index information.

이를 통해, 상기 영상 관리 장치(100) 중 어느 하나의 구성부가 외부 출력 장치를 통해 상기 카메라부(30) 및 복수의 보조 카메라부(40)로부터 제공된 서로 다른 복수의 영상 중 적어도 하나를 제공시 어느 영상을 통해서든 동일 객체에 대하여 동일 단말 식별자와 동일 인덱스 정보를 확인할 수 있도록 제공할 수 있다.Accordingly, when any one of the components of the image management apparatus 100 provides at least one of a plurality of different images provided from the camera unit 30 and the plurality of auxiliary camera units 40 through the external output device, It is possible to provide the same terminal identifier and the same index information for the same object regardless of the image.

또한, 상기 영상 관리 장치(100)의 인덱싱부(180)는 상기 감시 대상 객체 또는 이벤트 연관 객체에 대응되는 객체 정보와 상기 인덱스 정보를 상호 매칭하여 상기 저장부나 DB에 저장할 수 있다.In addition, the indexing unit 180 of the image management apparatus 100 may match the object information corresponding to the monitored object or the event related object and the index information and store the same in the storage unit or DB.

더하여, 상기 영상 관리 장치(100)는 사용자 입력의 수신을 위한 사용자 인터페이스부를 포함할 수 있으며, 상기 객체 추적부(170)는 영상에서 객체별로 단말 식별자를 표시하여 추적하고, 상기 영상에서 식별된 객체 중 상기 사용자 인터페이스부를 통한 사용자 입력에 따라 선택된 객체의 객체 정보에 매칭되어 저장된 인덱스 정보를 상기 외부 출력 장치를 통해 제공할 수 있다.In addition, the image management apparatus 100 may include a user interface unit for receiving user input. The object tracking unit 170 displays and tracks a terminal identifier for each object in the image, The index information matching the object information of the selected object according to the user input through the user interface unit and providing the stored index information through the external output device.

또한, 상기 영상 관리 장치(100)는 상기 외부 출력 장치와 연결되는 별도의 출력부를 포함할 수 있으며, 상기 출력부는 자체 출력 수단(일례로, 디스플레이)을 포함하여 별도의 외부 출력 장치 없이 영상을 표시할 수도 있음은 물론이다.In addition, the image management apparatus 100 may include a separate output unit connected to the external output device. The output unit may include an output unit (e.g., a display) Of course.

또한, 상기 인덱싱부(180)는 상기 객체 추적부(170)와 연동하여 상기 감시 대상 객체 및 이벤트 연관 객체에 설정된 인덱스 정보에 포함되는 계층정보를 기초로 상기 계층정보에 따른 계층에 대응되어 미리 설정된 표식을 객체별로 표시할 수 있으며, 서로 다른 계층을 가진 객체에 대해서 서로 다른 표식으로 구분하여 표시할 수 있다.In addition, the indexing unit 180 may be linked to the object tracking unit 170 and may be configured to correspond to the layer according to the layer information based on the layer information included in the index information set in the object to be monitored and the event related object Markers can be displayed by objects, and objects with different hierarchies can be displayed in different markers.

일례로, 상기 인덱싱부(180)는 계층이 부여된 객체별로 플래그를 표시하고, 서로 다른 계층에 대해서 서로 다른 색상의 플래그로 구분하여 표시함으로써, 객체의 계층을 용이하게 구분 가능하도록 제공할 수 있다.For example, the indexing unit 180 can display a flag for each object to which layers are assigned and divide the flags into different flags for different layers, thereby providing a hierarchy of objects easily distinguishable .

더하여, 상기 인덱싱부(180)는 상기 객체 추적부(170)와 연동하여 상기 도 6에서 설명한 바와 같이 복수의 객체가 군집 후 분산하거나 상기 감시 영역을 이탈한 후 재등장한 신규 객체에 대하여 생성된 단말 식별자를 기반으로 기존에 단말 식별자가 부여된 객체와 동일한지 여부를 판단하고, 판단 결과 동일 객체인 경우 해당 신규 객체에 대응되는 단말 식별자가 포함된 기존 객체 정보와 매칭되어 저장된 기존 인덱스 정보를 상기 신규 객체에 재설정할 수 있으며, 이를 통해 상기 객체 정보가 동일한 객체에 대하여 동일한 상기 인덱스 정보를 부여할 수 있다.In addition, the indexing unit 180 interlocks with the object tracking unit 170 to disperse a plurality of objects after clustered or departs from the surveillance region, as described with reference to FIG. 6, The method comprising the steps of: judging whether or not an existing ID is identical to an object to which a terminal identifier is assigned based on an identifier, And the same index information can be given to the same object with the same object information.

또한, 상기 인덱싱부(180)는 상기 객체 추적부(170)와 연동하여 서로 다른 감시 영역에서 단말 식별자를 기반으로 동일 객체로 검출된 객체에 대하여 동일한 인덱스 정보를 설정할 수 있음은 물론이다.
In addition, the indexing unit 180 may set the same index information for the object detected as the same object based on the terminal identifier in different surveillance regions in cooperation with the object tracking unit 170. [

상술한 구성을 통해, 영상을 확인하는 관리자는 객체별로 인덱스 정보 및 단말 식별자를 확인하여 이벤트가 발생한 객체를 용이하게 식별하고, 이벤트 발생 객체에 대응되는 단말 식별자를 기초로 이벤트 발생 객체에 대응되는 감시 대상에 대하여 신속하게 연락 및 접촉할 수 있다.According to the above-described configuration, the administrator who confirms the image can easily identify the object in which the event occurs by checking the index information and the terminal identifier for each object, and based on the terminal identifier corresponding to the event generating object, It is possible to quickly contact and contact the object.

또한, 상술한 구성에 따라, 본 발명은 이벤트와 연관된 객체와 군집을 형성하는 객체를 이벤트 연관 객체로 설정하여 자동 추적하고, 이벤트와 연관된 객체별로 계층을 구분하여 동시 추적 가능하도록 지원하는 동시에 계층 구분을 통해 최초 이벤트가 발생한 객체 및 군집 형성에 따른 이벤트 전달 과정(이벤트 확산 과정)을 용이하게 식별 및 추적할 수 있도록 지원함으로써, 바이러스 보균자의 접촉에 의한 전염 의심자를 검출하거나 이상 행동을 보이는 테러 용의자를 검출하고 이와 연관된 공모자 등을 용이하게 검출하여 영상을 통해 제공할 수 있으며, 전염병의 확산 경로를 용이하게 파악하거나 테러 모의를 용이하게 파악할 수 있도록 지원하는 동시에 이벤트 확산의 원인이 된 객체를 추적 가능하도록 지원하는 동시에 이벤트 연관 객체에 대응되어 영상에 표시된 단말 식별자를 기초로 이벤트 연관 객체에 대응되는 감시 대상에 대한 신속한 조치가 이루어지도록 지원할 수 있다.
In addition, according to the above-described configuration, the present invention sets an object associated with an event and an object forming a cluster as an event-related object, automatically tracks the event, (Event Diffusion Process) according to the formation of the object and the cluster formed by the first event, it is possible to detect the suspect of infection by contact with the virus carrier or to detect the terrorist suspect who has abnormal behavior It is also possible to easily identify the spread path of infectious disease or to easily identify the terrorist simulation and to trace the object that caused the event spread. Supports event-related objects while supporting On the basis of the terminal identifier indicated in the control image the quick action of the examining target corresponding to the event associated with an object can support it is made.

도 9는 본 발명의 실시예에 따른 영상 관리 장치의 객체 추적 기반 통합 안전 서비스 방법에 대한 순서도이다.9 is a flowchart illustrating an object tracking based integrated security service method of a video management apparatus according to an exemplary embodiment of the present invention.

도시된 바와 같이, 상기 영상 관리 장치(100)는 감시 영역에 대응되어 배치된 카메라부(30) 및 복수의 보조 카메라부(40)로부터 가시광 영상 및 서로 다른 복수의 보조 영상을 수신하며, 상기 감시 영역에 배치된 복수의 비콘(20) 중 단말(10)과 근거리 통신이 연결된 하나 이상의 비콘(20)으로부터 상기 단말(10)에 대한 단말 식별자를 포함하는 단말 정보를 수신할 수 있다(S1).As shown in the figure, the video management apparatus 100 receives a visible light image and a plurality of different auxiliary images from the camera unit 30 and the plurality of auxiliary camera units 40 arranged corresponding to the surveillance region, The terminal information including the terminal identifier for the terminal 10 can be received from one or more beacons 20 connected to the terminal 10 among the plurality of beacons 20 disposed in the area.

또한, 상기 영상 관리 장치(100)는 상기 복수의 비콘(20) 중 동일한 상기 단말 식별자를 전송하는 각 비콘(20)과의 통신망을 통한 통신을 통해 상기 단말 식별자에 대응되는 상기 단말(10)에 대한 위치를 측정할 수 있다(S2).The video management apparatus 100 may also be connected to the terminal 10 corresponding to the terminal identifier through communication via a communication network with each beacon 20 that transmits the same terminal identifier among the plurality of beacons 20 (S2). &Lt; / RTI >

다음, 상기 영상 관리 장치(100)는 상기 가시광 영상 및 복수의 보조 영상에 각각 대응되는 가상 공간과 상기 감시 영역을 상호 매핑한 미리 저장된 영상별 매핑 정보 및 상기 단말(10)의 측정 위치를 기초로 상기 카메라부(30) 및 각 보조 카메라부(40)로부터 수신된 서로 다른 각 영상에서 영상 분석을 통해 상기 단말(10)에 대응되는 객체를 식별한 후 상기 단말 식별자를 해당 객체에 부여하여 추적할 수 있다(S3).Next, the video management apparatus 100 searches the virtual space corresponding to the visible light image and the plurality of auxiliary images based on the mapping information for each video mapped to the monitoring area and the measurement position of the terminal 10 An object corresponding to the terminal 10 is identified through image analysis on different images received from the camera unit 30 and the respective auxiliary camera units 40, (S3).

이후, 상기 영상 관리 장치(100)는 상기 각 영상 중 어느 하나에서 미리 설정된 이벤트 조건에 따른 이벤트 발생시(S4) 이벤트가 발생한 감시 대상 객체에 대응되어 인덱스 정보를 생성하여 상기 감시 대상 객체에 설정하고(S5), 나머지 영상에서 상기 감시 대상 객체와 동일한 객체를 상기 단말 식별자를 기초로 식별하여 상기 인덱스 정보를 설정할 수 있다(S6).
Then, the image management apparatus 100 generates index information corresponding to the monitored object in which an event occurs when an event occurs according to a predetermined event condition in any one of the images (S4), and sets the index information in the monitored object S5), and the index information can be set by identifying the same object as the monitored object in the remaining images based on the terminal identifier (S6).

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.The various devices and components described herein may be implemented by hardware circuitry (e.g., CMOS-based logic circuitry), firmware, software, or a combination thereof. For example, it can be implemented utilizing transistors, logic gates, and electronic circuits in the form of various electrical structures.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or essential characteristics thereof. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

10: 단말 20: 비콘
30: 카메라부 40: 보조 카메라부
100: 영상 관리 장치 110: 수신부
120: 위치 측정부 130: 비교부
140: 객체 매칭부 150: 영상 분석부
160: 공간정보 매칭부 170: 객체 추적부
180: 인덱싱부10: terminal 20: beacon
30: camera unit 40: auxiliary camera unit
100: video management device 110:
120: Position measuring unit 130:
140: Object matching unit 150: Image analysis unit
160: Spatial information matching unit 170: Object tracking unit
180: indexing unit

Claims

A camera unit for providing a visible light image to the surveillance area;
A plurality of auxiliary camera units for providing a plurality of different auxiliary images including a thermal image and a low-illuminance image for the surveillance region;
A plurality of beacons arranged radially in the surveillance region and acquiring and transmitting a terminal identifier corresponding to the terminal when the terminal is located in the surveillance region through a short distance communication; And
A position of the terminal corresponding to the terminal identifier is measured through communication through a communication network with each beacon transmitting the same terminal identifier among the plurality of beacons, and a position of the terminal corresponding to the visible light image and the plurality of auxiliary images The object corresponding to the terminal is analyzed through image analysis on the different images received from the camera unit and the auxiliary camera unit based on the mapping information of the pre-stored video mapped to the surveillance region and the measurement position of the terminal, And tracking the object corresponding to the identified terminal in each of the different images by tracking the terminal identifier to each of the objects, And sets index information corresponding to the set monitored object as And sets the generated index information on a monitoring object included in any one of the images and sets an object identical to the monitoring object in the remaining images except for one of the images to be based on the terminal identifier And sets the index information in the same object as the monitored object identified in the remaining image,
An object - tracking based integrated safety service system.

The method according to claim 1,
Wherein the plurality of beacons are radially arranged in the surveillance region and are communicated with each other through the BLE in a short distance.

The method according to claim 1,
Wherein the image management unit measures a position of a terminal corresponding to the terminal identifier based on the distance-related information received from each beacon transmitting the same terminal identifier.

The method according to claim 1,
Wherein the image management unit consecutively monitors the objects provided with the same terminal identifier based on the beacon installed in a plurality of surveillance regions and the information received from the camera unit and the auxiliary camera unit as the same object. system.

The method according to claim 1,
Wherein the image management unit includes hierarchical information on a hierarchy corresponding to a supervisory object to which a first event occurs, and sets each of the one or more objects forming the supervisory object and the supervisory object as an event related object, And index information including layer information on a layer different from a layer corresponding to a monitored object is assigned to each of the event related objects.

The method of claim 5,
The image management unit may store index information including hierarchical information on a hierarchy corresponding to a hierarchy corresponding to the hierarchy of the event related object for each object forming the cluster with the event related object to which the hierarchy information is assigned And then sets the event-related object as an event-related object.

The method of claim 6,
The image management unit displays the monitored object and the layered event related object by separating the monitored object and the event related objects of different hierarchies according to a predetermined marker for each layer according to the layer information Wherein the object tracking system comprises:

The method according to claim 1,
Wherein the image management unit consecutively consecutively manages an object to which a terminal identifier identical to an existing terminal identifier is assigned among the terminal identifiers assigned to each re-introduced object after a plurality of objects are distributed after clustered or departed from the surveillance area, And stores the terminal identifier and the index information in a matching manner, and gives the same index information to the object having the same terminal identifier.

The method according to claim 1,
Wherein the image management unit includes event information for an event type corresponding to the monitored object, the event types being preset in different types of events, and including the event information in the index information.

An object tracking integrated security service method,
Providing a visible light image to the surveillance region by a camera section;
Providing a plurality of different auxiliary images including a thermal image and a low-illuminance image for the surveillance region by a plurality of auxiliary camera units;
Acquiring and transmitting a terminal identifier corresponding to the terminal when the terminal is located in the surveillance region by a plurality of beacons arranged radially in the surveillance region;
Measuring a position of the terminal corresponding to the terminal identifier through communication through a communication network with each beacon transmitting the same terminal identifier among the plurality of beacons by a video management unit;
The image management unit may control the camera unit and the auxiliary camera unit based on the virtual space corresponding to the visible light image and the plurality of auxiliary images, the mapping information for each image that is mapped to the monitoring area, Identifying an object corresponding to the terminal through image analysis on different images received from the terminal;
Assigning and tracking the terminal identifier to an object corresponding to the identified terminal in each of the different images by the image management unit;
Setting as an object to be monitored an object in which an event according to an event condition preset in any one of the images is generated by the image management unit;
Generating index information corresponding to the set monitored object by the image management unit;
Setting the generated index information to a monitoring object included in any one of the images by the image management unit;
Identifying, by the image management unit, the same object as the monitored object from the remaining images except for one of the images, based on the terminal identifier; And
Setting the index information in the same object as the monitored object identified in the remaining image by the image managing unit
A method of integrated security service based on object tracking.