KR20210137617A

KR20210137617A - Apparatus and method for searching color-based events

Info

Publication number: KR20210137617A
Application number: KR1020200055624A
Authority: KR
Inventors: 김동원
Original assignee: 한화테크윈 주식회사
Priority date: 2020-05-11
Filing date: 2020-05-11
Publication date: 2021-11-18

Abstract

According to the present invention, provided is an event searching device, which includes: a communication unit configured to receive, from a camera, a plurality of image frames obtained by photographing a monitoring area, an object related to an event on the image frame, and metadata including color information of the object; a user interface receiving a color range for searching for the event from a user; and an event search unit searching for the object having color information included in the color range in the metadata. The user interface provides a graphical user interface capable of enlarging or reducing the color range, in order to receive the color range input from the user.

Description

Apparatus and method for searching color-based events}

본 발명은 색상 기반의 이벤트 검색 장치 및 방법에 관한 것으로서, 보다 상세하게는 이벤트가 발생한 이후에 사용자가 검색하고자 하는 색상 조건을 지정함으로써, 상기 이벤트 중에서 상기 색상 조건을 만족하는 이벤트만을 검색 결과로 도출될 수 있는 이벤트 검색 장치 및 방법에 관한 것이다.The present invention relates to a color-based event search apparatus and method, and more particularly, by designating a color condition to be searched by a user after an event has occurred, only an event satisfying the color condition among the events is derived as a search result It relates to an event search apparatus and method that can be.

일반적으로 은행, 백화점, 일반 주택가를 비롯한 다양한 장소에서 감시 시스템이 널리 사용되고 있다. 이러한 감시 시스템은 범죄 예방, 보안을 목적으로 사용될 수 있으나, 최근에는 실내의 애완동물 또는 어린 아이를 실시간으로 감시하기 위해서도 사용되기도 한다. 그리고 이러한 감시 시스템으로 가장 많이 사용하는 시스템은, 감시를 원하는 영역을 촬영할 수 있도록 적절한 위치에 카메라를 설치하고, 사용자는 카메라가 촬영한 영상을 모니터링 함으로써 감시할 수 있는 폐쇄회로 텔레비전(Closed Circuit Television: CCTV) 시스템이다.In general, the monitoring system is widely used in various places including banks, department stores, and general residential areas. Such a monitoring system may be used for crime prevention and security purposes, but recently, it is also used to monitor indoor pets or small children in real time. And the system most used as such a surveillance system is a closed circuit television (Closed Circuit Television: CCTV) system.

최근에는 이러한 CCTV 시스템은 이벤트(Event) 검색 기능을 제공하고 있다. 이벤트(Event)란, 카메라가 특정 영역을 촬영하는 도중에 발생하는 여러 가지 각종 사건을 말한다. 예를 들면, 사람이나 동물이 움직이는 모션 이벤트, 찬장의 유리잔이 떨어져 깨지는 모션 및 소리 이벤트, 화재가 발생하는 열 및 빛 이벤트 등이 있다. 최근 CCTV는 각종 센서들과 연결되어, 특정 이벤트가 발생하면 센서가 이를 감지하고, 사용자에게 이벤트 발생 사실을 알려주는 이벤트 알림 기능도 제공하고 있다.Recently, such a CCTV system provides an event search function. Events refer to various events that occur while the camera is shooting a specific area. Examples include motion events in which a person or animal moves, motion and sound events in which a glass in a cupboard falls and breaks, and heat and light events in which a fire occurs. Recently, CCTV is connected to various sensors, and when a specific event occurs, the sensor detects it and provides an event notification function that notifies the user of the occurrence of the event.

그러나, 이미 이벤트가 발생한 경우, 사용자가 발생하였던 이벤트의 내용을 확인하기를 희망하는 경우가 있다. 예를 들어, 사용자가 외출 후 집에 복귀했는데 침입자가 있었던 흔적이 있는 경우, 과거에 어떤 이벤트가 발생했는지 모니터링 하기를 희망할 수 있다. 이러한 이벤트를 검색하기 위해, 사용자가 검색 조건을 입력하면 상기 검색 조건을 만족하는 이벤트만을 검색할 수 있다.However, when an event has already occurred, there is a case where the user wishes to check the contents of the event that has occurred. For example, if a user returns home after going out and there is evidence of an intruder, you may wish to monitor what events have occurred in the past. In order to search for such an event, when a user inputs a search condition, only events that satisfy the search condition may be searched.

이러한 검색 조건으로는 이벤트와 관련하여 식별된 객체의 종류(남자, 여자, 자동차, 동물 등), 식별된 객체의 개수, 객체의 위치/속도/방향, 상기 이벤트가 발생한 시간, 상기 이벤트의 구분(화재, 침입, 도난 등) 다양한 조건들이 포함될 수 있다. 이러한 검색을 위해 촬영된 영상 데이터와 함께 상기 이벤트와 관련된 정보들을 동기화한 메타데이터가 함께 추출되어 저장된다.These search conditions include the type of object identified in relation to the event (man, woman, car, animal, etc.), the number of identified objects, the location/speed/direction of the object, the time when the event occurred, and the classification of the event ( fire, intrusion, theft, etc.) may include a variety of conditions. For such a search, the captured image data and metadata for synchronizing information related to the event are extracted and stored together.

최근에는 인공 지능 기술의 발전과 프로세서의 성능 향상으로, 보다 정밀하고 상세한 검색 조건을 필요로 하는 영상 감시 시스템에서 다양한 색상 조건까지 포괄하는 종합적인 영상 검색이 요구된다. 예를 들어, 특정 트립-와이어(trip-wire)를 넘어가는 차량을 검색하는 것에서 한걸음 더 나아가 상기 차량의 색상 조건까지 사용자가 지정할 수 있게 하는 것이다.In recent years, with the development of artificial intelligence technology and the improvement of processor performance, a comprehensive image search that encompasses various color conditions is required in a video surveillance system that requires more precise and detailed search conditions. For example, it goes one step further from searching for a vehicle that crosses a specific trip-wire and allows the user to specify the color condition of the vehicle as well.

그러나, 현재의 감시 카메라에 사용되는 메타데이터에는 이러한 객체들이 갖는 색상 데이터는 포함되어 있지 않거나 단순히 색상의 분포(예: Red=80%, Green=15%, Blue=5%)만을 포함하고 있다. 이러한 색상의 분포만으로는 사용자가 희망하는 색상을 명확히 알 수 없고 검색 조건을 정확하게 입력할 수 없기 때문에 원하는 검색 결과를 얻기도 어렵다. 따라서, 사용자가 원하는 색상 범위, 채도 범위, 명도 범위 등을 시각적으로 선택할 수 있게 하여 정확한 이벤트 검색 조건을 입력할 수 있는, 이벤트 검색 장치를 창안할 필요가 있다.However, metadata used in current surveillance cameras does not include color data of these objects or simply includes color distribution (eg, Red=80%, Green=15%, Blue=5%). It is difficult to obtain a desired search result because a user cannot clearly know a desired color and cannot accurately input a search condition based only on such color distribution. Accordingly, there is a need to devise an event search device capable of inputting accurate event search conditions by allowing a user to visually select a desired color range, saturation range, brightness range, and the like.

미국특허공보 제9,171,075호 (2015. 10. 27. 등록)US Patent Publication No. 9,171,075 (registered on October 27, 2015)

본 발명이 해결하고자 하는 과제는, 이벤트가 발생한 영상 데이터 내의 메타데이터에 색상 데이터까지 포함하여 보다 개선된 색상 기반의 이벤트 검색 장치 및 방법을 제공하는 것이다.An object of the present invention is to provide an improved color-based event search apparatus and method by including color data in metadata in image data in which an event has occurred.

본 발명이 해결하고자 하는 다른 과제는, 상기 메타데이터에 포함된 색상 데이터에 관한 검색 조건을 사용자가 직관적으로 설정하여 희망하는 이벤트를 보다 정밀하게 검색할 수 있는 이벤트 검색 장치 및 방법을 제공하는 것이다.Another object of the present invention is to provide an event retrieval apparatus and method by which a user can intuitively set a search condition for color data included in the metadata to more precisely search for a desired event.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 이벤트 검색 장치는, 감시 영역을 촬영하여 획득된 복수의 영상 프레임과, 상기 영상 프레임 상의 이벤트와 관련된 객체 및 상기 객체가 갖는 색상 정보를 포함하는 메타데이터를 카메라로부터 수신하는 통신부; 상기 이벤트를 검색하기 위한 색상 범위를 사용자로부터 입력받는 사용자 인터페이스; 및 상기 메타데이터 내에서 상기 색상 범위에 포함되는 색상 정보를 갖는 객체를 검색하는 이벤트 검색부를 포함하되, 상기 사용자 인터페이스는 상기 사용자로부터 상기 색상 범위를 입력받기 위해 상기 색상 범위를 확대하거나 축소할 수 있는 그래픽 사용자 인터페이스를 제공한다.An event search apparatus according to an embodiment of the present invention for achieving the above technical problem includes a plurality of image frames obtained by photographing a surveillance area, an object related to an event on the image frame, and color information of the object a communication unit for receiving metadata from the camera; a user interface that receives a color range for searching for the event from a user; and an event search unit for searching for an object having color information included in the color range in the metadata, wherein the user interface is capable of expanding or reducing the color range in order to receive the color range input from the user. Provides a graphical user interface.

상기 사용자 인터페이스는, 색상 팔레트 상에서 사용자에 의해 지정된 중심 색상을 기준으로 제1 세이프를 갖는 영역으로 구성된 범위 셀렉터(range selector)를 포함한다.The user interface includes a range selector consisting of an area having a first safe based on a central color specified by a user on a color palette.

상기 사용자 인터페이스는, 상기 색상 팔레트 상에서 상기 범위 셀렉터에 의해 지정된 영역에 포함된 색상 분포의 프리뷰(preview)를 상기 색상 팔레트와 별도의 위치에 표시한다.The user interface displays a preview of a color distribution included in an area designated by the range selector on the color palette at a location separate from the color palette.

상기 사용자 인터페이스는, 사용자의 명령에 따라 상기 제1 세이프(shape)를 갖는 범위 셀렉터를 제2 세이프로 변경할 수 있다.The user interface may change the range selector having the first shape to the second shape according to a user's command.

상기 범위 셀렉터가 상기 제1 세이프로부터 상기 제2 세이프로 변경될 때, 상기 프리뷰도 상기 제1 세이프로부터 상기 제2 세이프로 변경된다.When the range selector is changed from the first safe to the second safe, the preview is also changed from the first safe to the second safe.

상기 사용자 인터페이스는, 상기 범위 셀렉터가 지정하는 경계선 상에 표시된 마커를 포함하며, 용자에 의해 상기 마커를 이동하는 명령을 수신함에 따라, 상기 제1 세이프를 가로 방향 및 세로 방향 중에서 적어도 하나의 방향으로 확대 또는 축소한다.The user interface includes a marker displayed on a boundary line designated by the range selector, and upon receiving a command to move the marker by a user, the first safe is moved in at least one of a horizontal direction and a vertical direction. Zoom in or out.

상기 사용자 인터페이스는, 상기 범위 셀렉터의 크기를 가로 방향, 세로 방향 및 등방성 중에서 어느 하나로 확대 또는 축소할 수 있는 버튼 및 슬라이더를 포함하는 범위 조절부를 포함한다.The user interface includes a range adjuster including a button and a slider that can enlarge or reduce the size of the range selector in any one of a horizontal direction, a vertical direction, and an isotropic direction.

상기 사용자 인터페이스는, 상기 사용자에 의해 휘도 범위, 색조 범위 및 채도 범위 중에서 적어도 하나의 범위를 조절할 수 있는 기능을 제공한다.The user interface provides a function for adjusting at least one of a luminance range, a hue range, and a chroma range by the user.

본 발명에 따른 이벤트 검색 장치 및 방법에 따르면, 감시 카메라로부터 얻어진 영상 데이터로부터 이벤트를 검색하는 어플리케이션에서, 사용자가 희망하는 보다 정확한 검색 조건을 입력할 수 있기 때문에 검색 속도 및 검색 결과의 정확성을 제고할 수 있다.According to the event retrieval apparatus and method according to the present invention, in an application for retrieving an event from image data obtained from a surveillance camera, the user can input a more precise search condition desired by the user, thereby improving the search speed and the accuracy of the search result. can

또한, 상기 이벤트의 검색에 있어서 사용자로 하여금 시각적으로 확인 가능한 색상 조건을 직관적으로 입력할 수 있기 때문에 종래의 제한된 방법으로 색상을 선택/검색하는 것보다 사용자가 희망하는 결과를 보다 정확히 얻을 수 있다.In addition, since the user can intuitively input a color condition that can be visually confirmed in the search for the event, the user's desired result can be obtained more accurately than selecting/searching for a color using the conventional limited method.

또한, 상기 색상 조건으로서 특정 색상을 선택하는 것에서 확장하여 다양한 색상 범위, 채도 범위, 명도 범위 등의 특정 범위를 입력할 수 있기 때문에, 색상 기반의 이벤트 검색의 스케일러빌티(scalability)가 향상될 수 있다.In addition, since a specific range such as various color ranges, saturation ranges, and brightness ranges can be input by extending from selecting a specific color as the color condition, scalability of color-based event search can be improved. .

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effect according to the present invention is not limited by the contents exemplified above, and more various effects are included in the present specification.

도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라의 상세한 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 제어부의 상세한 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 카메라가 획득한 영상 데이터에서 이벤트가 발생하는 모습을 나타낸 도면이다.
도 5는 도 4에서의 이벤트를 발생시키는 객체를 식별하는 모습을 나타낸 도면이다.
도 6은 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터의 예시도이다.
도 7은 본 발명의 일 실시예에 따른 영상 데이터에서 검색 위치로 검색 라인이 지정되는 모습을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 이벤트 검색부가 서치 맵(search map)을 검색하기 위해 입력하는 검색 조건을 개념적으로 도시한 타임라인이다.
도 9는 이벤트 검색 장치의 이벤트 검색부에서 사용자가 입력하는 다양한 검색 조건을 예시를 보여주는 도면이다.
도 10 및 도 11은 본 발명의 제1 실시예에 따른 색상 범위를 선택하기 위한 사용자 인터페이스를 도시한 도면들이다.
도 12는 본 발명의 제2 실시예에 따른 색상 범위를 선택하기 위한 사용자 인터페이스를 도시한 도면이다.
도 13은 본 발명의 제3 실시예에 따른 색상 범위를 선택하기 위한 사용자 인터페이스를 도시한 도면이다.1 is a block diagram showing the configuration of an event search system according to an embodiment of the present invention.
2 is a block diagram illustrating a detailed configuration of a camera according to an embodiment of the present invention.
3 is a block diagram illustrating a detailed configuration of a control unit according to an embodiment of the present invention.
4 is a diagram illustrating an event occurring in image data acquired by a camera according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a state in which an object generating an event in FIG. 4 is identified.
6 is an exemplary diagram of metadata according to an embodiment of the present invention that is generated when an event occurs.
7 is a diagram illustrating a state in which a search line is designated as a search position in image data according to an embodiment of the present invention.
8 is a timeline conceptually illustrating a search condition input by the event search unit to search a search map according to an embodiment of the present invention.
9 is a diagram illustrating examples of various search conditions input by a user in an event search unit of an event search apparatus.
10 and 11 are diagrams illustrating a user interface for selecting a color range according to the first embodiment of the present invention.
12 is a diagram illustrating a user interface for selecting a color range according to a second embodiment of the present invention.
13 is a diagram illustrating a user interface for selecting a color range according to a third embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention belongs It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 이벤트 검색 시스템의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of an event search system according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 이벤트 검색 시스템은 감시 영역을 촬영하여 영상 데이터(111)을 획득하는 카메라(2), 카메라(2)가 획득한 영상 데이터(111)을 전송받아 디스플레이 하고 사용자가 이벤트를 검색할 수 있는 이벤트 검색 장치(1)를 포함한다. 카메라(2)와 이벤트 검색 장치(1)는 서로 유선 또는 무선으로 연결되거나, 이벤트 검색 장치(1)에 장착되어, 영상 데이터 또는 신호를 송수신 할 수 있다.In the event search system according to an embodiment of the present invention, the camera 2 acquires image data 111 by photographing a surveillance area, and the camera 2 receives and displays the image data 111 acquired by the user. and an event search device 1 capable of searching for . The camera 2 and the event search device 1 may be connected to each other by wire or wirelessly, or may be mounted on the event search device 1 to transmit/receive image data or signals.

본 발명의 일 실시예에 따른 이벤트 검색 시스템을 이용하는 방법에 따르면, 카메라(2)를 통해 획득된 영상 데이터(111)이 이벤트 검색 장치(1)의 화면부(11)에 디스플레이 된다. 그리고 사용자는 상기 영상 데이터(111)에서 사용자 인터페이스를 통해 검색하기를 원하는 검색 위치를 지정할 수 있다. 그러면, 상기 검색 위치의 부근에 이벤트가 발생하였던 기록들이 검색 결과로 도출된다. 이 때, 이벤트의 발생이 기록된 영상 데이터(111)들을 직접 검색할 필요 없이, 미리 생성된 메타데이터(4)를 이용하여, 이벤트 검색 장치(1)는 이벤트가 발생한 메타데이터(4)만을 검색하여 빠르게 검색 결과를 출력할 수 있다.According to the method of using the event search system according to an embodiment of the present invention, the image data 111 obtained through the camera 2 is displayed on the screen unit 11 of the event search apparatus 1 . In addition, the user may designate a desired search location in the image data 111 through a user interface. Then, records in which an event has occurred in the vicinity of the search location are derived as a search result. In this case, the event search apparatus 1 searches only the metadata 4 in which the event occurred, using the metadata 4 generated in advance, without the need to directly search the image data 111 in which the occurrence of the event is recorded. This allows you to quickly print search results.

카메라(2)는 감시 영역을 촬영하여 영상 데이터(111)을 획득한다. 본 발명의 일 실시예에 따른 카메라(2)는 패닝(Panning), 틸팅(Tilting)이 가능한 팬/틸트 카메라인 것이 바람직하다. 또는, 카메라(2)는 큰 화각을 갖는 광각 렌즈를 가질 수 있으며, 180°이상의 화각을 갖는 초광각 렌즈인 어안 렌즈(Fish-eye Lens)를 가질 수도 있다.The camera 2 acquires image data 111 by photographing the monitoring area. The camera 2 according to an embodiment of the present invention is preferably a pan/tilt camera capable of panning and tilting. Alternatively, the camera 2 may have a wide-angle lens having a large angle of view, or a fish-eye lens that is an ultra-wide-angle lens having an angle of view of 180° or more.

나아가, 카메라(2)는 최근에 소개된 360°카메라일 수도 있다. 360°카메라란, 카메라(2) 자체가 물리적인 패닝 또는 틸팅이 되지 않고, 어안 렌즈를 복수로 장착하여 전방위가 동시에 촬영이 가능한 카메라(2)를 말한다. 본 발명의 일 실시예에 따른 카메라(2)는 이에 제한되지 않고, 다양한 카메라(2)를 사용할 수 있다.Furthermore, the camera 2 may be a recently introduced 360° camera. The 360° camera refers to a camera 2 that is not physically panned or tilted by the camera 2 itself, and can shoot in all directions at the same time by mounting a plurality of fisheye lenses. The camera 2 according to an embodiment of the present invention is not limited thereto, and various cameras 2 may be used.

본 발명의 일 실시예에 따른 카메라(2)는 매초 15 내지 30프레임의 2차원 화상을 촬영하여 디지털 변환함으로써 동영상 데이터를 출력하는 디지털카메라인 것이 바람직하나, 이에 제한되지 않는다. 카메라(2)가 디지털카메라가 아니라면 촬영한 영상 데이터(111)은 RGB 아날로그 영상 신호이므로 ADC(Analog-Digital Converter)가 별도로 구비되어야 하나, 카메라(2)가 디지털카메라라면 ADC가 필요하지 않다. 또한 카메라(2) 자체에서 영상 데이터(111)을 인코딩하는 기능이 탑재되어 있으므로, 카메라(2)가 영상 데이터(111)을 획득하면 곧바로 인코딩되어 압축 영상 데이터가 생성된다.The camera 2 according to an embodiment of the present invention is preferably a digital camera that takes a two-dimensional image of 15 to 30 frames per second and outputs moving picture data by digital conversion, but is not limited thereto. If the camera 2 is not a digital camera, since the captured image data 111 is an RGB analog image signal, an analog-digital converter (ADC) must be separately provided, but if the camera 2 is a digital camera, the ADC is not required. In addition, since the camera 2 itself has a function of encoding the image data 111 , when the camera 2 acquires the image data 111 , it is encoded immediately to generate compressed image data.

카메라(2)로부터 촬영된 영상 데이터(111)은 유선 또는 무선 통신을 통해 이벤트 검색 장치(1)로 전송되어, 이벤트 검색 장치(1)에 내장된 화면부(11)를 통해 디스플레이 된다. 그러나 만약, 카메라(2)가 이벤트 검색 장치(1)에 장착되는 구조라면, 카메라(2)로부터 촬영된 영상 데이터(111)은 무선 통신이 아닌 내부 회로를 통해 화면부(11)로 전송되어 디스플레이 될 수도 있다.The image data 111 photographed from the camera 2 is transmitted to the event search apparatus 1 through wired or wireless communication, and is displayed through the screen unit 11 built in the event search apparatus 1 . However, if the camera 2 has a structure mounted on the event search device 1 , the image data 111 photographed from the camera 2 is transmitted to the screen unit 11 through an internal circuit instead of wireless communication and displayed could be

이벤트 검색 장치(1)는 카메라(2)가 획득한 영상 데이터(111)을 전송받아 디스플레이하고, 사용자의 입력을 받아 이벤트를 검색한다. 이벤트 검색 장치(1)는 스마트폰(Smartphone), 태블릿 PC(Tablet PC), 랩탑(Laptop) 등 휴대 및 이동이 용이한 장치일 수도 있으나, 이에 제한되지 않고 데스크탑(Desktop), 비디오 월(Video Wall) 등 이동이 용이하지 않은 장치일 수도 있다.The event search device 1 receives and displays the image data 111 acquired by the camera 2, and searches for an event by receiving a user input. The event search device 1 may be a portable and portable device such as a smartphone, a tablet PC, and a laptop, but is not limited thereto, and is not limited thereto. ), etc., may be devices that are not easy to move.

도 1에 도시된 바와 같이, 이벤트 검색 장치(1)는 본체(10), 영상 데이터(111)을 디스플레이 하는 화면부(11), 카메라(2)로부터 영상 데이터(111) 및 데이터를 전송받는 제1 통신부(12), 상기 영상 데이터(111)을 저장하는 저장부(13), 타 구성요소들을 제어하는 제어부(14)를 포함한다.As shown in FIG. 1 , the event search device 1 includes a main body 10 , a screen unit 11 for displaying image data 111 , and a first device that receives image data 111 and data from a camera 2 . 1 includes a communication unit 12 , a storage unit 13 for storing the image data 111 , and a control unit 14 for controlling other components.

화면부(11)는 카메라(2)로부터 획득된 영상 데이터(111)을 디스플레이 한다. 상기 영상 데이터(111)은, 카메라(2)가 실시간으로 촬영하여 획득한 실시간 영상일 수도 있고, 이미 과거에 촬영하여 저장부(13)에 저장된 후 로딩되어 디스플레이 되는 영상일 수도 있다. 이벤트 검색 장치(1)는 터치 기능을 제공하지 않을 수도 있으며, 이 경우에는 입력부가 별도로 마련된다. 일반적으로 가장 많이 사용되는 입력부로는 마우스, 키보드, 조이스틱, 리모콘 등이 있다. 만약 터치 기능을 제공한다면 화면부(11)는 터치 입력을 감지할 수 있는 터치 센서를 포함할 수 있다. 이 때, 터치는 손가락을 이용하여 수행될 수도 있으나, 이에 제한되지 않고, 미세 전류가 흐를 수 있는 팁이 장착된 스타일러스 펜 등을 이용하여 수행될 수도 있다. 사용자는 화면부(11)에 표시된 그래픽 사용자 인터페이스(GUI, Graphic User Interface)를 통해 직접 터치를 수행하여 명령을 입력할 수 있다. 이벤트 검색 장치(1)가 터치 기능을 제공하더라도, 화면부(11)가 터치 센서를 포함하지 않는다면 별도의 터치 패드가 입력부로써 마련될 수도 있다. 즉, 사용자는 다양한 사용자 인터페이스(User Interface)를 통해 이벤트 검색 장치(1)에 사용자 명령을 입력할 수 있다.The screen unit 11 displays the image data 111 obtained from the camera 2 . The image data 111 may be a real-time image captured by the camera 2 in real time, or may be an image that has been captured in the past and stored in the storage unit 13 and then loaded and displayed. The event search device 1 may not provide a touch function, and in this case, an input unit is provided separately. The most commonly used input units include a mouse, a keyboard, a joystick, and a remote control. If a touch function is provided, the screen unit 11 may include a touch sensor capable of detecting a touch input. In this case, the touch may be performed using a finger, but is not limited thereto, and may be performed using a stylus pen equipped with a tip through which a fine current can flow. A user may input a command by directly performing a touch through a graphic user interface (GUI) displayed on the screen unit 11 . Even if the event search device 1 provides a touch function, if the screen unit 11 does not include a touch sensor, a separate touch pad may be provided as an input unit. That is, the user may input a user command to the event search apparatus 1 through various user interfaces.

제1 통신부(12)는 카메라(2)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제1 통신부(12)는 상기 제어부(14)로부터의 신호 및 데이터를 변조 및 주파수 업컨버팅하여 송신하거나, 카메라(2)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조하여 제어부(14)로 제공한다. 이러한 과정으로, 제1 통신부(12)는 카메라(2)로부터 영상 데이터를 전송받거나 신호를 수신할 수 있고, 제어부(14)로부터 생성된 신호 및 데이터를 카메라(2)로 송신할 수도 있다.The first communication unit 12 transmits/receives signals and data to and from the camera 2 by wire or wireless. For example, the first communication unit 12 modulates and frequency upconverts the signal and data from the control unit 14 to transmit, or frequency downconverts and demodulates the signal and data received from the camera 2 to control the signal and data. (14) is provided. Through this process, the first communication unit 12 may receive image data or receive signals from the camera 2 , and may transmit signals and data generated from the control unit 14 to the camera 2 .

저장부(13)는 이벤트 검색 장치(1)의 동작들을 처리 및 제어하기 위한 프로그램과 각 프로그램 수행 중에 발생되는 각종 데이터, 그리고 카메라(2)를 통해 획득된 영상 데이터를 저장한다. 특히, 본 발명의 일 실시예에 따른 저장부(13)는, 제어부(14)로 전송된 메타데이터를 저장하거나, 제어부(14)에서 생성된 서치 맵을 저장한다.The storage unit 13 stores a program for processing and controlling operations of the event search device 1 , various data generated during execution of each program, and image data acquired through the camera 2 . In particular, the storage unit 13 according to an embodiment of the present invention stores metadata transmitted to the control unit 14 or a search map generated by the control unit 14 .

그리고 추후 사용자가 이벤트를 검색할 때, 상기 서치 맵을 로딩하여 제어부(14)에 전달한다. 저장부(13)는 부피가 크지 않은 비휘발성 메모리인 플래시 메모리를 사용하여 이벤트 검색 장치(1)에 내장될 수도 있으나, 이에 제한되지 않고 NVR(Network Video Recorder) 등과 같이 별도의 장치가 마련될 수도 있다. 심지어는 NVR 자체가 이벤트 검색 장치(1)가 될 수도 있고, 클라우드(Cloud)와 같이 서버가 저장 장치로서 사용될 수 있는 등 다양한 방식으로 저장 기능을 제공할 수 있다.Then, when the user searches for an event, the search map is loaded and transmitted to the control unit 14 . The storage unit 13 may be built in the event search device 1 using a flash memory, which is a non-volatile memory that is not bulky, but is not limited thereto and a separate device such as a network video recorder (NVR) may be provided. have. Even the NVR itself may be the event retrieval device 1, and a server may be used as a storage device, such as a cloud, to provide a storage function in various ways.

제어부(14)는 이벤트 검색 장치(1)의 전반적인 동작을 제어한다. 예를 들어, 제어부(14)는 제1 통신부(13)와 카메라(2)의 신호 및 데이터 통신을 위한 처리 및 제어를 수행하고, 제1 통신부(13)를 통해 영상 데이터(111)이 전송되면 디코딩 및 렌더링 등 영상 처리를 수행한다. 또한, 영상 데이터(111)에서 이벤트의 발생을 검출하고, 이를 이용하여 메타데이터(4)를 생성한다. 그리고 메타데이터(4)를 이용하여 서치 맵(5) 상에 타임스탬프(51)를 설정한 후, 사용자의 이벤트 검색 명령이 입력되면 저장부(13)로부터 상기 서치 맵(5)을 로딩하여 이벤트를 검색한다. 그리고 검색 결과를 처리하여 화면부(11)가 디스플레이 하도록 제어한다. 본 발명의 일 실시예에 따른 제어부(14)로는 CPU(Central Processing Unit), MCU(Micro Controller Unit) 또는 DSP(Digital Signal Processor) 등을 사용하는 것이 바람직하나, 이에 제한되지 않고 다양한 논리 연산 프로세서가 사용될 수 있다.The controller 14 controls the overall operation of the event search device 1 . For example, the control unit 14 performs processing and control for signal and data communication between the first communication unit 13 and the camera 2 , and when the image data 111 is transmitted through the first communication unit 13 , Image processing such as decoding and rendering is performed. In addition, occurrence of an event is detected in the image data 111 , and metadata 4 is generated using the detection. And after setting the timestamp 51 on the search map 5 using the metadata 4, when the user's event search command is input, the search map 5 is loaded from the storage 13 search for Then, the search result is processed and the screen 11 is controlled to be displayed. As the control unit 14 according to an embodiment of the present invention, it is preferable to use a CPU (Central Processing Unit), MCU (Micro Controller Unit), DSP (Digital Signal Processor), etc. can be used

도 2는 본 발명의 일 실시예에 따른 카메라(2)의 상세한 구성을 나타낸 블록도이다.2 is a block diagram showing a detailed configuration of the camera 2 according to an embodiment of the present invention.

카메라(2)는 이미지 신호를 수신하는 촬상부(21), 이벤트 검색 장치(1)로 영상 데이터(111) 및 데이터를 전송하는 제2 통신부(24), 이벤트의 발생 여부를 판단하는 이벤트 발생 판단부(22), 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(4)를 생성하는 메타데이터 생성부(23)를 포함한다.The camera 2 includes an imaging unit 21 that receives an image signal, a second communication unit 24 that transmits image data 111 and data to the event search device 1 , and an event occurrence determination that determines whether an event has occurred. The unit 22 includes a metadata generating unit 23 that generates metadata 4 using information about the event when an event occurs.

촬상부(21)는 감시 영역에 대한 이미지 신호를 수신한다. 촬상부(21)에는 일반적으로 CCD(Charge Coupled Device, 전하결합소자)나 CMOS 이미지 센서 등의 촬상 소자가 포함된다. CCD는 복수의 포토다이오드(Photodiode)에 광이 조사되면 광전효과에 의해 발생한 전자들을 축적시킨 후 전송하는 방식이다. 이 때, 광자의 양에 따라 발생하는 전하량의 변화를 분석하고 정보를 재구성함으로써, 화면을 이루는 이미지 정보가 생성된다. CCD는 화질이 선명하고 노이즈가 적다는 장점이 있으나, 전력소비가 높고 처리속도가 느리다는 단점이 있다.The imaging unit 21 receives an image signal for the monitoring area. The imaging unit 21 generally includes an imaging device such as a CCD (Charge Coupled Device) or a CMOS image sensor. In CCD, when light is irradiated to a plurality of photodiodes, electrons generated by the photoelectric effect are accumulated and then transmitted. At this time, by analyzing the change in the amount of charge generated according to the amount of photons and reconstructing the information, image information constituting the screen is generated. CCD has advantages of clear picture quality and low noise, but has disadvantages of high power consumption and slow processing speed.

CMOS 이미지 센서는 CMOS(Complementary Metal Oxide Semiconductor)를 이용하는 이미지 센서로서, 각 셀마다 증폭기가 있어 광에 의해 발생한 전자를 곧바로 전기신호로 증폭시켜 전송하는 방식이다. CMOS 이미지 센서는 가격이 저렴하고 전력소비가 낮으며 처리속도가 빠르나, 노이즈가 많다는 단점이 있다.A CMOS image sensor is an image sensor using a complementary metal oxide semiconductor (CMOS), and there is an amplifier in each cell, and electrons generated by light are directly amplified into electrical signals and transmitted. CMOS image sensors have low price, low power consumption, and high processing speed, but have a disadvantage in that they generate a lot of noise.

이벤트 발생 판단부(22)는 이벤트의 발생 여부를 판단한다. 이벤트가 발생하면, 카메라(2)의 영상 데이터(111)을 자체적으로 분석하여 판단할 수도 있고, 별도의 센서가 마련되어 센서로부터 생성된 신호를 수신함으로써 판단할 수도 있다. 만약, 센서를 통해 이벤트의 발생을 판단한다면, 센서의 종류로는 사람 또는 동물의 움직임을 감지하는 모션 감지 센서, 주변의 온도를 감지하는 온도 감지 센서, 가스 발생을 감지하는 가스 감지 센서 등이 있다.The event occurrence determination unit 22 determines whether an event has occurred. When an event occurs, it may be determined by analyzing the image data 111 of the camera 2 by itself, or may be determined by providing a separate sensor and receiving a signal generated from the sensor. If the occurrence of an event is determined through a sensor, types of sensors include a motion detection sensor that detects the movement of a person or an animal, a temperature sensor that detects ambient temperature, and a gas detection sensor that detects gas generation. .

센서는 이에 제한되지 않고, 어떠한 종류의 이벤트가 발생하더라도 이를 감지할 수 있다면, 다양한 종류의 센서가 사용될 수 있다.The sensor is not limited thereto, and various types of sensors may be used as long as it can detect any type of event occurring.

그러나 만약, 카메라(2)의 영상 데이터(111)을 자체적으로 분석하여 이벤트의 발생을 판단한다면, 평상시의 영상 데이터(111)을 미리 확보한 후 영상 데이터(111)의 프레임 내에서 픽셀값의 변화를 통해 이벤트의 발생을 판단한다. 이러한 경우, 영상 데이터(111)을 통해 객체(3)의 움직임, 화재, 지진 등의 이벤트의 발생을 구체적이고 용이하게 판단할 수 있다.However, if the occurrence of an event is determined by analyzing the image data 111 of the camera 2 by itself, the change in pixel values within the frame of the image data 111 after securing the usual image data 111 in advance. to determine the occurrence of an event. In this case, it is possible to specifically and easily determine the occurrence of an event such as movement of the object 3 , fire, or earthquake through the image data 111 .

이하, 본 발명의 일 실시예에 따른 이벤트 발생 판단부(22)는 영상 데이터(111)을 자체적으로 분석하여 이벤트의 발생을 판단하는 것으로 설명한다. 그러나, 이는 설명의 편의를 위한 것이며, 권리범위를 제한하기 위함이 아니다.Hereinafter, it will be described that the event occurrence determination unit 22 according to an embodiment of the present invention determines the occurrence of an event by analyzing the image data 111 by itself. However, this is for convenience of explanation and is not intended to limit the scope of rights.

메타데이터 생성부(23)는 이벤트가 발생하면 상기 이벤트에 대한 정보를 이용하여 메타데이터(4)를 생성한다. 메타데이터(4)란, 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 본 발명의 일 실시예에 따른 메타데이터(4)에 대한 자세한 설명은 후술한다. 도 2에서는 이벤트 발생 판단부(22) 및 메타 데이터 생성부(23)가 카메라(2) 내에 구비되어 있지만, 상기 구성요소들(22, 23)을 카메라(2) 이외의 장치 내에 설치하는 것도 가능하다. 이 경우라면, 카메라(2)는 단순히 영상 데이터(111)만을 획득하고 전송할 뿐이고, 상기 이벤트 발생의 판단이나 메타데이터의 생성은 NVR이나 이벤트 검색 장치(1)에서 이루어질 수도 있다. 다만, 이하에서는 편의상 이러한 구성요소들(22, 23)이 카메라(2) 내에 구비되는 것으로 하여 설명하기로 한다.When an event occurs, the metadata generator 23 generates metadata 4 using information about the event. The metadata 4 is data in which descriptions of specific data are described and types are arranged. A detailed description of the metadata 4 according to an embodiment of the present invention will be described later. In FIG. 2 , the event generation determining unit 22 and the meta data generating unit 23 are provided in the camera 2 , but it is also possible to install the components 22 and 23 in a device other than the camera 2 . do. In this case, the camera 2 simply acquires and transmits the image data 111 , and the determination of the occurrence of the event or generation of the metadata may be performed in the NVR or the event search device 1 . However, hereinafter, for convenience, these components 22 and 23 will be described as being provided in the camera 2 .

제2 통신부(24)는 이벤트 검색 장치(1)와 유무선으로 신호 및 데이터를 송수신한다. 예를 들어, 상기 제2 통신부(24)는 신호 및 데이터를 변조 및 주파수 업컨버팅하여 이벤트 검색 장치(1)로 송신하거나, 이벤트 검색 장치(1)로부터 수신되는 신호 및 데이터를 주파수 다운컨버팅 및 복조한다. 이러한 과정으로, 제2 통신부(24)는 이벤트 검색 장치(1)로부터 데이터를 전송받거나 신호를 수신할 수 있고, 영상 데이터, 메타데이터(4) 또는 신호를 이벤트 검색 장치(1)로 송신할 수도 있다.The second communication unit 24 transmits/receives signals and data to and from the event search device 1 by wire or wireless. For example, the second communication unit 24 modulates and frequency upconverts signals and data and transmits them to the event search apparatus 1 , or frequency downconverts and demodulates signals and data received from the event search apparatus 1 . do. Through this process, the second communication unit 24 may receive data or receive a signal from the event search apparatus 1 , and may transmit image data, metadata 4 or a signal to the event search apparatus 1 . have.

도 3은 본 발명의 일 실시예에 따른 제어부(14)의 상세한 구성을 나타낸 블록도이다.3 is a block diagram showing a detailed configuration of the control unit 14 according to an embodiment of the present invention.

제어부(14)는 메타데이터(4)를 분석하는 메타데이터 분석부(141), 이벤트가 발생하면 영상 데이터(111)과 대응되도록 영상 데이터(111)을 매핑하여 서치 맵(5)을 생성하는 서치 맵 생성부(142), 상기 생성된 서치 맵(5)에 타임스탬프(51)를 설정하는 타임스탬프 설정부(143), 사용자의 명령에 따라 상기 발생하였던 이벤트를 검색하는 이벤트 검색부(144)를 포함한다.The control unit 14 is a metadata analysis unit 141 that analyzes the metadata 4 , and when an event occurs, the image data 111 is mapped to correspond to the image data 111 to generate a search map 5 . A map generation unit 142, a timestamp setting unit 143 that sets a timestamp 51 in the generated search map 5, and an event search unit 144 that searches for the event that has occurred according to a user's command includes

메타데이터 분석부(141)는 상기 생성된 메타데이터(4)를 분석한다. 본 발명의 일 실시예에 따른 메타데이터(4)에는 식별된 객체(3), 이벤트의 발생 위치, 이벤트의 발생 시간 등에 대한 정보가 포함되어 있다. 메타데이터 분석부(141)는 메타데이터(4)들을 분석하여 이러한 정보들을 추출하고, 타임스탬프 설정부(143)에 전송한다.The metadata analysis unit 141 analyzes the generated metadata 4 . The metadata 4 according to an embodiment of the present invention includes information about the identified object 3 , an event occurrence location, an event occurrence time, and the like. The metadata analysis unit 141 analyzes the metadata 4 , extracts such information, and transmits it to the timestamp setting unit 143 .

서치 맵 생성부(142)는 이벤트가 발생하면 영상 데이터(111)과 대응되도록 영상 데이터(111)을 매핑하여 서치 맵(5)을 생성한다. 카메라(2)로부터 메타데이터(4)가 전송되면, 서치 맵 생성부(142)는 메타데이터(4)가 전송된 사실을 인지하고, 저장부(13)에 이미 생성되어 저장된 서치 맵(5)이 있는지 확인한다. 그리고, 이미 생성된 서치 맵(5)이 저장되어 있다면, 서치 맵(5)을 생성할 필요가 없으나, 저장된 서치 맵(5)이 없다면, 서치 맵(5)을 새롭게 생성한다.The search map generator 142 generates the search map 5 by mapping the image data 111 to correspond to the image data 111 when an event occurs. When the metadata 4 is transmitted from the camera 2 , the search map generating unit 142 recognizes that the metadata 4 has been transmitted, and a search map 5 that has already been generated and stored in the storage 13 . make sure there is In addition, if the already generated search map 5 is stored, there is no need to generate the search map 5 , but if there is no saved search map 5 , the search map 5 is newly created.

서치 맵(Search Map, 5)이란, 상기 영상 데이터(111)과 대응되도록 상기 영상 데이터(111)을 매핑하여, 이벤트가 발생한 지점에 대하여 타임스탬프(51)를 설정할 수 있는 공간을 말한다. 사용자가 이벤트를 검색하기 위하여 검색 조건을 지정하면, 이벤트 검색부(144)는 상기 서치 맵(5)에 설정된 타임스탬프(51)를 검색함으로써 원하는 검색 결과를 빠르게 출력할 수 있다. 따라서, 서치 맵(5)은 미리 서지 정보들을 모아서 한번에 입력해 두고, 추후에 서치 맵(5)만을 검색하면 전체 이벤트를 검색할 수 있는 검색 도구와 같은 개념이다.A search map (Search Map, 5) refers to a space in which the image data 111 can be mapped to correspond to the image data 111, and a timestamp 51 can be set for a point where an event occurs. When the user designates a search condition to search for an event, the event search unit 144 can quickly output a desired search result by searching the timestamp 51 set in the search map 5 . Accordingly, the search map 5 is the same concept as a search tool that can search all events by collecting bibliographic information in advance and inputting it at once, and then searching only the search map 5 later.

서치 맵(5)은 영상 데이터(111)과 대응되므로, 화면부(11)를 통해 디스플레이 되는 영상 데이터(111)이 사각형이라면, 서치 맵(5) 또한 사각형이다. 그리고 영상 데이터(111)의 종횡비(Aspect Ratio)와 서치 맵(5)의 화면비는 동일한 것이 바람직하다. 그러나, 서치 맵(5)은 영상 데이터(111)의 시간 및 좌표만이 대응되면 족하므로, 영상 데이터(111)의 해상도, FPS, 비트레이트 등은 서치 맵(5)에 영향을 미치지 않는다. 따라서, 영상 데이터(111)의 해상도, FPS, 비트레이트 등이 변경되더라도 서치 맵(5)을 통한 검색에 장애가 되지 않는다. 또한, 서치 맵(5)은 일정한 크기의 복수의 블록들로 분할되어 형성될 수 있다. 이러한 복수의 블록들은, 추후에 이벤트 검색부(144)가 발생했던 이벤트를 검색을 할 때, 위치에 대한 검색 조건의 기준이 된다.Since the search map 5 corresponds to the image data 111 , if the image data 111 displayed through the screen unit 11 is a rectangle, the search map 5 is also a rectangle. In addition, it is preferable that the aspect ratio of the image data 111 and the aspect ratio of the search map 5 are the same. However, since only the time and coordinates of the image data 111 correspond to the search map 5 , the resolution, FPS, and bit rate of the image data 111 do not affect the search map 5 . Therefore, even if the resolution, FPS, bit rate, etc. of the image data 111 are changed, there is no obstacle to searching through the search map 5 . Also, the search map 5 may be formed by being divided into a plurality of blocks of a predetermined size. Such a plurality of blocks becomes a reference of a search condition for a location when the event search unit 144 searches for an event that has occurred later.

타임스탬프 설정부(143)는, 서치 맵(5) 상에서 타임스탬프(51)를 설정한다. 메타데이터 분석부(141)가 메타데이터(4) 내에 포함된 정보들을 타임스탬프 설정부(143)에 전송하면, 타임스탬프 설정부(143)는 상기 정보들을 토대로 타임스탬프(51)를 서치 맵(5) 상에 설정하게 된다.The timestamp setting unit 143 sets the timestamp 51 on the search map 5 . When the metadata analysis unit 141 transmits information included in the metadata 4 to the timestamp setting unit 143, the timestamp setting unit 143 sets the timestamp 51 based on the information in the search map ( 5) is set on the top.

이벤트 검색부(144)는 사용자의 명령에 따라 영상 데이터(111)에서 발생된 이벤트를 검색한다. 사용자는 이벤트를 검색하기 위해 시간 조건, 위치 조건, 색상 조건 등과 같은 검색 조건을 지정하게 된다. 그리고 이벤트 검색부(144)는 상기 기술한 바와 같이 상기 서치 맵(5)에 설정된 타임스탬프(51)를 검색함으로써 상기 지정된 검색 조건에 부합하는 검색 결과를 빠르게 출력할 수 있다. 상기 지정된 검색 조건에 부합하는 타임스탬프(51)를 검색하면, 상기 검색된 타임스탬프(51)에 대응되는 메타데이터(4)를 도출할 수 있고, 상기 도출된 메타데이터(4)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다.The event search unit 144 searches for an event generated in the image data 111 according to a user's command. A user specifies a search condition such as a time condition, a location condition, a color condition, and the like to search for an event. And, as described above, the event search unit 144 can quickly output a search result that meets the specified search condition by searching the timestamp 51 set in the search map 5 as described above. When the timestamp 51 that meets the specified search condition is searched for, metadata 4 corresponding to the searched timestamp 51 may be derived, and image data corresponding to the derived metadata 4 may be obtained. may be loaded from the storage unit 13 and output to the screen unit 11 .

도 4는 본 발명의 일 실시예에 따른 카메라(2)가 획득한 영상 데이터(111)에서 이벤트가 발생하는 모습을 나타낸 도면이고, 도 5는 도 4에서의 이벤트를 발생시키는 객체(3)를 식별하는 모습을 나타낸 도면이다. 카메라(2)가 감시 영역을 촬영하는 도중에 이벤트가 발생하면, 이벤트 발생 판단부(22)는 이벤트의 발생을 판단한다. 예를 들어 발생한 이벤트가 모션 이벤트로서, 도 4에 도시된 바와 같이, 카메라(2)가 도로를 촬영하는 도중에 자동차가 출현하였다고 가정한다. 이 때, 카메라(2)의 촬상부(21)는 도로를 촬영하여 영상 데이터(111)을 획득하고, 이벤트 발생 판단부(22)는 자동차라는 객체(3)의 출현으로 인해 영상 데이터(111)의 프레임 내에서 픽셀값의 변화가 발생하면 이벤트의 발생을 인식한다. 그리고, 도 5에 도시된 바와 같이, 이벤트의 발생을 일으키는 객체(3)를 식별해 낸다.4 is a diagram illustrating an event occurring in the image data 111 acquired by the camera 2 according to an embodiment of the present invention, and FIG. 5 is an object 3 that generates the event in FIG. It is a diagram showing how to identify. When an event occurs while the camera 2 captures the monitoring area, the event occurrence determination unit 22 determines the occurrence of the event. For example, it is assumed that the generated event is a motion event, and as shown in FIG. 4 , a car appears while the camera 2 is photographing a road. At this time, the imaging unit 21 of the camera 2 acquires image data 111 by photographing the road, and the event occurrence determination unit 22 receives the image data 111 due to the appearance of the object 3 called a car. Recognizes the occurrence of an event when a change in pixel value occurs within the frame of Then, as shown in FIG. 5 , the object 3 causing the occurrence of an event is identified.

이벤트 발생 판단부(22)가 객체(3)를 식별하면, 도 5에 도시된 바와 같이 영상 데이터(111) 상에서 객체(3)의 주위를 윈도우(112)로 포위한다. 윈도우(112)란 영상 데이터(111) 상에서 객체(3)를 둘러싸도록 단일 폐곡선의 형태로 형성되며, 도 5에 도시된 바와 같이 사각형의 모양을 가지는 것이 바람직하다.When the event occurrence determination unit 22 identifies the object 3 , the window 112 surrounds the object 3 on the image data 111 as shown in FIG. 5 . The window 112 is formed in the form of a single closed curve to surround the object 3 on the image data 111, and preferably has a rectangular shape as shown in FIG. 5 .

도 6은 이벤트가 발생하는 경우 생성되는 본 발명의 일 실시예에 따른 메타데이터(4)의 예시도이다.6 is an exemplary diagram of metadata 4 according to an embodiment of the present invention that is generated when an event occurs.

상기 기술한 바와 같이 이벤트가 발생하면, 메타데이터 생성부(23)는 상기 이벤트에 대한 정보를 이용하여 메타데이터(4)를 생성한다. 메타데이터(4)란, 특정 데이터의 검색을 용이하게 하기 위해 상기 특정 데이터에 대한 설명을 기술하고 유형을 정리한 데이터이다. 이 때, 특정 데이터는 음악, 동영상 등의 크기가 크고 검색이 용이하지 않은 데이터라면, 메타데이터(4)는 문자열로 이루어져 크기가 매우 작고 검색이 용이하다.When an event occurs as described above, the metadata generating unit 23 generates metadata 4 using information about the event. The metadata 4 is data in which a description of the specific data is described and types are arranged in order to facilitate the retrieval of the specific data. In this case, if the specific data is data, such as music or video, which has a large size and is not easy to search, the metadata 4 is made of a character string and has a very small size and is easy to search.

도 6에 도시된 바와 같이 메타데이터(4)에는 식별된 객체(3)에 대한 고유 ID, 식별된 객체(3)의 개수, 객체(3)의 위치 정보, 이벤트가 발생한 시간 정보, 색상 정보 등의 데이터가 포함되어 있다. 구체적으로 도 6에 도시된 utc(Universal Time Coordinated)란 이벤트가 발생한 시간에 대한 정보, numObj는 식별된 객체(3)의 개수를 나타낸다. obj[0].left, right, top, bottom 등은 객체(3)의 위치, 즉 2차원 평면 상에서 객체(3)를 포위하는 윈도우(112)의 각 꼭지점의 위치에 대한 좌표 정보이다. As shown in FIG. 6 , the metadata 4 includes a unique ID for the identified object 3, the number of identified objects 3, location information of the object 3, event time information, color information, etc. data is included. Specifically, utc (Universal Time Coordinated) shown in FIG. 6 represents information about the time when an event occurs, and numObj represents the number of identified objects 3 . obj[0].left, right, top, bottom, etc. are coordinate information about the position of the object 3, that is, the position of each vertex of the window 112 surrounding the object 3 on a two-dimensional plane.

또한, 식별된 객체(3)의 색상 데이터는 RGB 값으로 표현되어 있다. 이러한 RGB 값은 색상의 비트수에 따라 256 컬러, 하이 컬러, 트루 컬러 등으로 표현될 수 있으며 그에 따라 그 값의 범위도 달라질 수 있다. 상기 색상 데이터를 RGB로 나타낸 것은 일 실시예에 불과하고 색의 3요소로서, YUV나 HSV 등 다른 색공간으로 표현할 수도 있음은 물론이다. 도 6에서 식별된 객체(3)가 갖는 색상은 평균 값, 메디안 등의 대표 값으로 단일의 색상으로 표현되어 있으나 이에 한하지 않고 식별된 객체(3)를 구획한 복수의 영역을 각각 나타내는 색상 데이터를 어레이로 표현할 수도 있다. 예를 들어, 사람의 경우에는 사람이 착용한 상의와 하의를 각각의 영역으로 구분하고 각각의 색상 데이터를 표시할 수 있다. 또는 자동차와 같이 단일의 색상으로 표현하는 것이 적합한 경우에는 도 6과 같이 단일의 색상 데이터로 표현하는 것이 보다 적합할 수 있다. 이와 같이 하나의 식별된 객체(3)를 몇 개의 영역으로 구분하여 색상 데이터를 메타데이터로 기록할 것인가는 상기 객체(3)의 크기, 대표 색상에 의해 구분되는 영역 등 다양한 기준이 고려될 수 있다.In addition, the color data of the identified object 3 is expressed in RGB values. These RGB values may be expressed as 256 colors, high color, true color, etc. depending on the number of bits of the color, and the range of the values may vary accordingly. It goes without saying that expressing the color data in RGB is only an example, and as three elements of color, it may be expressed in another color space such as YUV or HSV. The color of the identified object 3 in FIG. 6 is expressed as a single color as a representative value such as an average value and a median, but is not limited thereto, and color data representing a plurality of regions dividing the identified object 3 . can also be expressed as an array. For example, in the case of a person, the top and bottom worn by the person may be divided into respective regions, and respective color data may be displayed. Alternatively, when it is suitable to express with a single color, such as in a car, it may be more suitable to express with a single color data as shown in FIG. 6 . As described above, various criteria such as the size of the object 3 and an area divided by a representative color may be considered for dividing the identified object 3 into how many areas and recording the color data as metadata. .

또한, 도 6에서 obj[0].objID는 객체(3)의 고유의 식별자를 나타내는 ID이다. 만약 하나의 객체(3)가 이동하거나 잠시 사라진 후 다시 출현하더라도, 카메라(2)는 동일한 객체(3)로 식별하여 여전히 동일한 ID를 부여한다. 그러나 하나의 객체(3)가 사라진 후, 다른 객체(3)가 출현한다면 카메라(2)는 다른 객체(3)로 식별하여 새로운 ID를 부여한다. 따라서, 이벤트 검색 장치(1)는 특정 객체(3)에 대한 검색도 가능하게 되고, 사용자는 특정 객체(3)의 추적도 용이하게 할 수 있다.In addition, in FIG. 6 obj[0].objID is an ID indicating a unique identifier of the object 3 . If one object 3 moves or reappears after disappearing for a while, the camera 2 identifies it as the same object 3 and still gives the same ID. However, after one object 3 disappears, if another object 3 appears, the camera 2 identifies the other object 3 and assigns a new ID. Accordingly, the event search device 1 can also search for the specific object 3 , and the user can also facilitate the tracking of the specific object 3 .

도 7은 본 발명의 일 실시예에 따른 영상 데이터(111)에서 검색 위치로 검색 라인(114)이 지정되는 모습을 나타낸 도면이다. 사용자가 검색 위치로 검색 라인(114)을 지정하는 경우, 도 7에 도시된 바와 같이 검색 라인(114)은, 영상 데이터(111) 상에서 객체(3)가 사용자가 검색하고자 하는 영역을 통과하도록 직선 또는 곡선의 형태로 지정될 수 있다.7 is a diagram illustrating a state in which a search line 114 is designated as a search position in the image data 111 according to an embodiment of the present invention. When the user designates the search line 114 as a search location, as shown in FIG. 7 , the search line 114 is a straight line so that the object 3 on the image data 111 passes through the area the user wants to search. Alternatively, it may be designated in the form of a curve.

사용자가 영상 데이터(111) 상에서 검색 라인(114)을 지정하기 위해, 이벤트 검색 장치(1)가 터치 기능을 제공한다면, 사용자가 검색하고자 하는 영역을 통과하도록 시작점을 손가락 등으로 터치(Touch)한 후, 도착점에 도달하도록 드래그(Drag)를 수행한다. 그러나, 만약 이벤트 검색 장치(1)가 마우스 등을 이용하여 사용자 명령을 입력할 수 있다면, 사용자가 검색하고자 하는 영역을 통과하도록 시작점을 마우스 등으로 클릭(Click)한 후, 도착점에 도달하도록 드래그(Drag)를 수행한다. 다만, 이에 제한되지 않고 사용자가 검색 라인(114)을 지정할 수 있다면 다양한 방법을 사용할 수 있다.In order for the user to designate the search line 114 on the image data 111, if the event search device 1 provides a touch function, the user touches the starting point with a finger or the like to pass through the area to be searched. Then, drag is performed to reach the destination. However, if the event retrieval device 1 can input a user command using a mouse or the like, the user clicks the starting point with a mouse or the like to pass through the area to be searched, and then drags it to reach the destination ( Drag). However, the present invention is not limited thereto, and various methods may be used as long as the user can designate the search line 114 .

도 8은 본 발명의 일 실시예에 따른 이벤트 검색부(144)가 서치 맵(5)을 검색하기 위해 입력하는 검색 조건을 개념적으로 도시한 타임라인(6)이다.8 is a timeline 6 conceptually illustrating a search condition input by the event search unit 144 to search the search map 5 according to an embodiment of the present invention.

이벤트 검색부(144)는 타임스탬프(51)가 설정된 서치 맵(5)을 통해, 사용자가 입력한 시간 조건 및 위치 조건에 부합하는 타임스탬프(51)를 검색한다. 이 때, 이벤트 검색부(144)는 도 8에 도시된 바와 같이 시간 조건, 위치 조건 및 색상 조건의 부합 여부를 판단한다. 타임라인(6)은 시간의 흐름을 도식화하여 나타낸 라인(61), 이벤트가 발생한 시간을 나타내는 슬랩(63, 64), 사용자가 입력한 시간 조건을 나타내는 프레임(62)으로 구성될 수 있다.The event search unit 144 searches for a timestamp 51 matching the time condition and location condition input by the user through the search map 5 in which the timestamp 51 is set. At this time, the event search unit 144 determines whether a time condition, a location condition, and a color condition are met as shown in FIG. 8 . The timeline 6 may be composed of a line 61 schematically showing the passage of time, slabs 63 and 64 indicating the time when an event occurred, and a frame 62 indicating a time condition input by the user.

도 8에서 복수의 슬랩(63, 64)들을 둘러싸는 프레임(62)은 사용자가 입력한 시간 조건이다. 도 8에 도시된 바를 예로 들면, 사용자는 오후 3시부터 오후 7시까지를 시간 조건으로 입력한 것이다. 슬랩(63, 64)은 이벤트가 발생한 시간을 나타낸다. 즉, 서치 맵(5) 상에서 타임스탬프(51)가 설정되어 있는 시간을 나타낸다. 나아가, 해칭이 없는 슬랩(63)은 발생한 이벤트가 영역 조건을 만족하지 못하는 시간이다. 즉, 서치 맵(5) 상에서 타임스탬프(51)가 설정되어 있으나, 사용자가 지정한 검색 위치를 포함하는 블록들의 내부에는 설정되지 않은 시간이다. 반면에, 해칭이 있는 슬랩(63)은 이벤트가 영역 조건을 만족하는 시간이다. 즉, 사용자가 지정한 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 설정된 시간이다. 그리고 슬랩이 없는 것은 이벤트가 전혀 발생하지 않은 시간이다. 즉, 서치 맵(5) 상에서 타임스탬프(51)가 전혀 설정되어 있지 않은 시간이다.In FIG. 8 , a frame 62 surrounding the plurality of slabs 63 and 64 is a time condition input by a user. For example, as shown in FIG. 8 , the user inputs from 3 pm to 7 pm as a time condition. Slabs 63 and 64 indicate the time at which the event occurred. That is, it indicates the time at which the timestamp 51 is set on the search map 5 . Further, the slab 63 without hatching is a time in which the generated event does not satisfy the region condition. That is, although the timestamp 51 is set on the search map 5, it is a time that is not set in the blocks including the search location designated by the user. On the other hand, slab 63 with hatching is the time at which the event satisfies the domain condition. That is, it is the time at which the timestamp 51 is set in the blocks including the search location designated by the user. And no slab is the time when no event occurred at all. That is, it is the time at which the timestamp 51 is not set at all on the search map 5 .

따라서 도 8에 도시된 바를 예로 들면, 이벤트 검색부(144)는 오후 3시부터 오후 7시까지, 서치 맵(5) 상에서 사용자가 지정한 검색 위치를 포함하는 블록들 내부에 타임스탬프(51)가 존재하는 경우만을 검색 결과로 도출한다. 이벤트 검색부(144)가 이와 같이 타임스탬프(51)를 검색한다면, 상기 기술한 바와 같이, 상기 검색된 타임스탬프(51)에 대응되는 메타데이터(4)를 도출할 수 있다. 그리고, 상기 도출된 메타데이터(4)와 대응되는 영상 데이터를 저장부(13)로부터 로딩하여 화면부(11)에 출력할 수 있다. 따라서, 서치 맵(5)에 설정된 타임스탬프(51)를 이용하여 빠르고 용이하게 사용자가 원하는 이벤트를 검색할 수 있게 된다.Accordingly, for example, as shown in FIG. 8 , the event search unit 144 includes a timestamp 51 in blocks including a user-specified search location on the search map 5 from 3 pm to 7 pm. Only the case where it exists is derived as a search result. If the event search unit 144 searches for the timestamp 51 in this way, as described above, the metadata 4 corresponding to the searched timestamp 51 can be derived. In addition, image data corresponding to the derived metadata 4 may be loaded from the storage unit 13 and output to the screen unit 11 . Accordingly, it is possible to quickly and easily search for an event desired by the user by using the timestamp 51 set in the search map 5 .

도 9는 이벤트 검색 장치(1)의 이벤트 검색부(144)에서 사용자가 입력하는 다양한 검색 조건을 예시를 보여주는 도면이다. 먼저, 사용자는 사용자는 화면부(11)에 표시된 그래픽 사용자 인터페이스(GUI)를 통해 상기 검색 조건을 텍스트 입력, 마우스 이동/클릭 또는 터치 입력 등의 다양한 방법으로 입력할 수 있다. 상기 검색 조건은 복수의 서브 질의들(sub-queries)(111, 121, 122)로 구성될 수 있다.9 is a diagram illustrating examples of various search conditions input by a user in the event search unit 144 of the event search apparatus 1 . First, the user may input the search condition through a graphical user interface (GUI) displayed on the screen unit 11 in various ways, such as text input, mouse movement/click, or touch input. The search condition may include a plurality of sub-queries 111 , 121 , and 122 .

이러한 서브 질의는 속성 관계값(property relationship value)의 형태를 가지는데, 여기서 속성은 (시간 또는 명칭과 같은) 데이터의 몇몇 중요한 특징이고, 관계는 일반적으로 수치 연산자(">", "<", "=", 등)이며, 값은 그 속성에 대한 유효 상태를 나타낸다. 또한 복수의 서브 질의들은 상호 간에, "and", "or", 및 "not"과 같은 1진 또는 2진 부울(Boolean) 논리 연산자에 의해 연결될 수 있다.These subqueries take the form of a property relationship value, where a property is some important characteristic of the data (such as time or name), and the relationship is usually a numeric operator (">", "<", "=", etc.), and the value indicates the valid state for that attribute. Also, a plurality of sub-queries may be connected to each other by a binary or binary Boolean logical operator such as “and”, “or”, and “not”.

도 9의 예를 참조하면, 사용자의 검색 조건(125)에 따라, 이벤트 검색부(144)는 식별된 객체(3)가 도 5에 도시된 바와 같은 차량인 조건(121)과, 상기 객체(3)가 도 7에 도시된 바와 같은 트립-와이어(114)를 교차하는 조건(122)을 "AND"(126)로 만족하는 서치 맵(5)을 주어진 시간내에서 검색한다. 그 후, 이벤트 검색부(144)는 상기 검색 결과와 사용자에 의해 지정된 색상 범위를 만족하는 조건(123)을 "AND"(127)로 만족하는 결과를 검색하여 화면부(11)를 통해 사용자에게 제공한다. 사용자가 화면부(11)에 의해 제공되는 사용자 인터페이스를 이용하여 이와 같은 색상 범위를 지정하는 구체적인 실시예들은 도 10 내지 도 13을 참조하여 설명한다.Referring to the example of FIG. 9 , according to the user's search condition 125 , the event search unit 144 determines that the identified object 3 is a vehicle as shown in FIG. 5 , the condition 121 and the object ( 3) as shown in FIG. 7, the search map 5 satisfying the condition 122 crossing the trip-wire 114 with "AND" 126 is searched for within a given time. Thereafter, the event search unit 144 searches for a result that satisfies the search result and the condition 123 that satisfies the color range specified by the user as “AND” 127, and provides the search result to the user through the screen unit 11. to provide. Specific embodiments in which the user designates such a color range using the user interface provided by the screen unit 11 will be described with reference to FIGS. 10 to 13 .

도 10은 본 발명의 제1 실시예에 따른 색상 범위를 선택하기 위한 사용자 인터페이스(100)를 도시한 도면이다. 사용자 인터페이스(100)는 색상 팔레트(130), 범위 조절부(140) 및 프리뷰(150)를 포함하여 구성될 수 있다.10 is a diagram illustrating a user interface 100 for selecting a color range according to the first embodiment of the present invention. The user interface 100 may include a color palette 130 , a range adjuster 140 , and a preview 150 .

사용자는 색상 팔레트(130) 상에서 희망하는 중심 색상(131)을 포인터(135)에 의해 지정할 수 있다. 이 때 상기 중심 색상(131)을 기준으로 소정의 세이프(shape)(예: 원형)로 된 범위 셀렉터(133)가 색상 팔레트(130) 상에 표시된다.A user may designate a desired center color 131 on the color palette 130 by means of the pointer 135 . In this case, a range selector 133 having a predetermined shape (eg, a circle) based on the central color 131 is displayed on the color palette 130 .

이 때, 사용자는 범위 조절부(140)에 표시된 슬라이더(slider, 145)를 가이더(guider, 144) 내에서 움직이면서 상기 범위 셀렉터(133)의 크기를 조절할 수 있다. 여기서, 범위 조절부(140)에는 수평(horizon) 버튼(141), 수직(vertical) 버튼(142) 및 스케일(scale) 버튼(143)이 구비될 수 있다. In this case, the user may adjust the size of the range selector 133 by moving the slider 145 displayed on the range adjusting unit 140 within the guider 144 . Here, the range adjusting unit 140 may include a horizontal button 141 , a vertical button 142 , and a scale button 143 .

상기 스케일 버튼(143)이 선택된 상태에서 상기 슬라이더(145)를 움직이면 상기 범위 셀렉터(133)가 동일한 종횡비(aspect ratio), 즉 등방성을 유지하면서 확대 또는 축소된다. 또한 마찬가지로, 수평 버튼(141)이 선택된 상태에서는 상기 범위 셀렉터(133)가 세로 폭은 유지한채로 가로 방향으로만 확대 또는 축소된 타원형이 되고, 수직 버튼(142)이 선택된 상태에서는 상기 범위 셀렉터(133)가 가로 폭은 유지한채로 세로 방향으로만 확대 또는 축소된다.When the slider 145 is moved while the scale button 143 is selected, the range selector 133 is enlarged or reduced while maintaining the same aspect ratio, that is, isotropy. Similarly, when the horizontal button 141 is selected, the range selector 133 becomes an oval enlarged or reduced only in the horizontal direction while maintaining the vertical width, and when the vertical button 142 is selected, the range selector 133 ) is enlarged or reduced only in the vertical direction while maintaining the horizontal width.

이와 같이 사용자가 색상 팔레트(130) 상에서 색상 범위를 선택한다고 하더라도 주변의 다른 색상들에 의해 시각적으로 영향을 받을 수 있다. 따라서, 상기 범위 셀렉터(133) 내의 색상 분포는 프리뷰(150)를 통해 별도로 사용자 인터페이스(100) 내에 표시된다. 이러한 프리뷰(150)는 범위 셀렉터(133)가 변경됨에 따라 실시간으로 변경되어 표시될 수 있다.In this way, even if the user selects a color range on the color palette 130, he/she may be visually affected by other surrounding colors. Accordingly, the color distribution in the range selector 133 is separately displayed in the user interface 100 through the preview 150 . The preview 150 may be changed and displayed in real time as the range selector 133 is changed.

추가적으로, 도 10의 실시예에서 범위 셀렉터(133)의 크기는 도 11과 같이 색상 팔레트(130) 상에서 직접 변경될 수도 있다. 이 실시예에서는 범위 셀렉터(133)는 범위 조절부(140)에 의해 변경될 수 있을 뿐 아니라, 범위 셀렉터(133) 상에 표시된 조절 마커들(137a, 137b, 139a, 139b)의 조작에 의해 변경될 수도 있다.Additionally, in the embodiment of FIG. 10 , the size of the range selector 133 may be directly changed on the color palette 130 as shown in FIG. 11 . In this embodiment, the range selector 133 can be changed by the range adjuster 140 as well as by manipulation of the adjustment markers 137a, 137b, 139a, 139b displayed on the range selector 133. could be

도 11에 도시된 바와 같이, 범위 셀렉터(133) 상에는 가로 조절 마커(137a, 137b) 및 세로 조절 마커(139a, 139b)가 표시될 수 있다. 사용자는 가로 조절 마커(137a, 137b) 중에서 어느 하나를 조작하여 상기 범위 셀렉터(133)를 가로 방향으로만 확대 또는 축소할 수 있다. 마찬가지로, 사용자는 세로 조절 마커(139a, 139b) 중에서 어느 하나를 조작하여 상기 범위 셀렉터(133)를 세로 방향으로만 확대 또는 축소할 수 있다. 이러한 가로 조절 마커(137a, 137b) 및 세로 조절 마커(139a, 139b)는 각각 범위 셀렉터(133)의 수평 버튼(141) 및 수직 버튼(142) 설정 후 슬라이더(145)를 조작하는 것과 동일한 효과를 나타낸다.As shown in FIG. 11 , horizontal adjustment markers 137a and 137b and vertical adjustment markers 139a and 139b may be displayed on the range selector 133 . The user can enlarge or reduce the range selector 133 only in the horizontal direction by manipulating any one of the horizontal adjustment markers 137a and 137b. Similarly, the user may operate any one of the vertical adjustment markers 139a and 139b to enlarge or reduce the range selector 133 only in the vertical direction. These horizontal adjustment markers 137a and 137b and vertical adjustment markers 139a and 139b have the same effect as operating the slider 145 after setting the horizontal button 141 and the vertical button 142 of the range selector 133, respectively. indicates.

또는, 가로 조절 마커(137a, 137b) 중 하나의 마커, 또는 세로 조절 마커(139a, 139b) 중 하나의 마커를 움직일 때 한쪽 마커에 의해서만 범위 셀렉터(133)가 영향을 받도록 상기 범위 셀렉터(133)가 비대칭적으로 변경될 수도 있다. 이 경우에는 예를 들어, 사용자가 가로 조절 마커(137a, 137b) 중에서 좌측 마커(137a)를 조작하면 나머지 마커들(137b, 139a, 139b)의 위치는 변경되지 않을 수 있다.Alternatively, when moving one of the horizontal adjustment markers 137a, 137b, or one of the vertical adjustment markers 139a, 139b, the range selector 133 is affected by only one marker. may be changed asymmetrically. In this case, for example, when the user manipulates the left marker 137a among the horizontal adjustment markers 137a and 137b, the positions of the remaining markers 137b, 139a, and 139b may not be changed.

도 12는 본 발명의 제2 실시예에 따른 색상 범위를 선택하기 위한 사용자 인터페이스(200)를 도시한 도면이다. 사용자는 별도의 선택을 통해 범위 셀렉터(133)의 세이프 자체를 변경할 수도 있다. 예를 들어, 사용자는 도 11과 같은 원형의 범위 셀렉터(133)를 도 12와 같은 사각형의 범위 셀렉터(233)로 변경할 수 있다. 이 때, 변경된 범위 셀렉터(233)의 세이프에 따라 프리뷰(250)도 동일한 형태로 변경된다.12 is a diagram illustrating a user interface 200 for selecting a color range according to a second embodiment of the present invention. The user may change the safety of the range selector 133 through a separate selection. For example, the user may change the circular range selector 133 shown in FIG. 11 to the rectangular range selector 233 shown in FIG. 12 . At this time, the preview 250 is also changed to the same shape according to the changed safety of the range selector 233 .

도 12의 범위 셀렉터(233)는 가로 조절 마커(137a, 137b), 세로 조절 마커(139a, 139b)에 더하여 코너 조절 마커(138a, 138b, 138c, 138d)를 포함한다. 이러한 코너 조절 마커(138a, 138b, 138c, 138d)에 의해 범위 셀렉터(233)는 중심 색상(131)을 기준으로 비대칭적으로 확대 또는 축소될 수 있다. 이는 범위 셀렉터(233)의 스케일 버튼(143) 설정 후 슬라이더(145)를 조작하는 것과 동일한 효과를 나타낸다. 물론, 이에 한하지 않고, 코너 조절 마커(138a, 138b, 138c, 138d) 중에서 어느 하나의 마커를 선택할 때 해당 마커의 방향으로만 비대칭적으로 확대 또는 축소되도록 할 수도 있다.Range selector 233 of FIG. 12 includes corner adjustment markers 138a, 138b, 138c, 138d in addition to horizontal adjustment markers 137a, 137b and vertical adjustment markers 139a, 139b. The range selector 233 may be asymmetrically enlarged or reduced based on the center color 131 by the corner adjustment markers 138a, 138b, 138c, and 138d. This has the same effect as operating the slider 145 after setting the scale button 143 of the range selector 233 . Of course, the present invention is not limited thereto, and when any one of the corner control markers 138a, 138b, 138c, and 138d is selected, it may be asymmetrically enlarged or reduced only in the direction of the corresponding marker.

도 13은 본 발명의 제3 실시예에 따른 색상 범위를 선택하기 위한 사용자 인터페이스(300)를 도시한 도면이다. 도 13에서는 범위 조절부(340)가 다른 색공간 상의 3요소인 휘도(Luminance), 색조(Hue) 및 채도(Saturation)의 범위를 선택할 수 있도록 구성된다.13 is a diagram illustrating a user interface 300 for selecting a color range according to a third embodiment of the present invention. In FIG. 13 , the range adjusting unit 340 is configured to select the ranges of luminance, hue, and saturation, which are three elements in different color spaces.

사용자가 휘도 버튼(341)를 선택하고 슬라이더(145)를 조작하면 중심 색상(131)을 기준으로 휘도의 범위가 확대 또는 축소된다. 마찬가지로, 사용자가 색조 버튼(342)을 선택하고 슬라이더(145)를 조작하면 중심 색상(131)을 기준으로 색조 범위가 확대 또는 축소된다. 또한, 사용자가 채도 버튼(343)을 선택하고 슬라이더(145)를 조작하면 중심 색상(131)을 기준으로 색조 범위가 확대 또는 축소된다. 이와 같이, 휘도, 색조 또는 채도 범위가 변경된 색상 범위는 프리뷰(350)에 의해 실시간으로 표시된다.When the user selects the luminance button 341 and operates the slider 145 , the luminance range is enlarged or reduced based on the central color 131 . Similarly, when the user selects the hue button 342 and operates the slider 145 , the hue range is enlarged or reduced based on the central color 131 . Also, when the user selects the saturation button 343 and operates the slider 145 , the hue range is enlarged or reduced based on the central color 131 . As such, the color range in which the luminance, hue, or chroma range is changed is displayed in real time by the preview 350 .

이상의 도 10 내지 도 13과 같이 사용자가 다양한 색상 범위를 선택하면, 이벤트 검색부(144)는 메타데이터(4)를 기반으로 한 서치 맵(5) 내에서 다른 조건과 함께 조합된 색상 범위를 만족하는 이벤트를 검출할 수 있게 된다. 이러한 색상 범위는 사용자에 의해 직관적으로 선택되기 때문에 색상과 관련된 이벤트를 보다 정확하게 검출할 수 있는 것이다.When the user selects various color ranges as shown in FIGS. 10 to 13 , the event search unit 144 satisfies the color range combined with other conditions in the search map 5 based on the metadata 4 . events can be detected. Since such a color range is intuitively selected by a user, it is possible to more accurately detect a color-related event.

지금까지 도 1 내지 도 3의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.Up to now, each of the components of FIGS. 1 to 3 has been a task, a class, a subroutine, a process, an object, an execution thread, software such as a program, or a field-programmable gate array (FPGA) performed in a predetermined area on a memory. However, it may be implemented in hardware such as an application-specific integrated circuit (ASIC), or a combination of the software and hardware. The components may be included in a computer-readable storage medium, or a part thereof may be distributed and distributed among a plurality of computers.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능하다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It is also possible for the functions recited in blocks to occur out of order in some alternative implementations. For example, two blocks shown one after another may be performed substantially simultaneously, and it is also possible that the blocks are sometimes performed in the reverse order according to a corresponding function.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.Although the embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing its technical spirit or essential features. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

Claims

a communication unit configured to receive, from a camera, a plurality of image frames obtained by photographing a surveillance area, an object related to an event on the image frame, and metadata including color information of the object;
a user interface that receives a color range for searching for the event from a user; and
An event search unit for searching for an object having color information included in the color range in the metadata;
The user interface provides a graphical user interface capable of enlarging or reducing the color range in order to receive the color range input from the user.

The method of claim 1 , wherein the user interface comprises:
An event retrieval device comprising: a range selector consisting of an area having a first safe based on a central color specified by a user on a color palette.

3. The method of claim 2, wherein the user interface comprises:
and displaying a preview of a color distribution included in an area designated by the range selector on the color palette at a location separate from the color palette.

4. The method of claim 3, wherein the user interface comprises:
An event search device for changing the range selector having the first safe to a second safe according to a user's command.

5. The method of claim 4,
and when the range selector is changed from the first safe to the second safe, the preview is also changed from the first safe to the second safe.

3. The method of claim 2, wherein the user interface comprises:
including a marker displayed on the boundary line designated by the range selector,
In response to receiving a command to move the marker by a user, the event search apparatus for enlarging or reducing the first safe in at least one of a horizontal direction and a vertical direction.

3. The method of claim 2, wherein the user interface comprises:
and a range adjuster including a button and a slider capable of enlarging or reducing the size of the range selector in any one of a horizontal direction, a vertical direction, and an isotropic direction.

3. The method of claim 2, wherein the user interface comprises:
and a function capable of adjusting at least one of a luminance range, a hue range, and a chroma range by the user.