KR102415062B1 - Surveillance method - Google Patents

Surveillance method Download PDF

Info

Publication number
KR102415062B1
KR102415062B1 KR1020150173299A KR20150173299A KR102415062B1 KR 102415062 B1 KR102415062 B1 KR 102415062B1 KR 1020150173299 A KR1020150173299 A KR 1020150173299A KR 20150173299 A KR20150173299 A KR 20150173299A KR 102415062 B1 KR102415062 B1 KR 102415062B1
Authority
KR
South Korea
Prior art keywords
map
image
area
change
confirmation means
Prior art date
Application number
KR1020150173299A
Other languages
Korean (ko)
Other versions
KR20170066986A (en
Inventor
백영민
유연걸
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150173299A priority Critical patent/KR102415062B1/en
Publication of KR20170066986A publication Critical patent/KR20170066986A/en
Application granted granted Critical
Publication of KR102415062B1 publication Critical patent/KR102415062B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • B64C2201/127

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 실시예는 감시방법을 개시한다.
본 발명의 일 실시예에 따른 감시방법은 확인수단을 이동하며 상기 확인수단에 탑재된 영상센서를 이용하여 감시영역 전체 공간 또는 일부 공간에 대한 거리 정보를 제공하는 영상을 획득하는 영상획득 단계; 상기 확인수단이 상기 영상을 획득한 위치에 관한 정보와 상기 영상의 상기 거리 정보를 이용하여 상기 감시영역 전체 공간에 대한 3차원 지도를 생성하는 지도생성 단계; 및 상기 3차원 지도와 기 저장된 기준지도를 비교하여 변화가 발생한 영역을 검출하는 변화영역 검출 단계;를 포함할 수 있다.
An embodiment of the present invention discloses a monitoring method.
A monitoring method according to an embodiment of the present invention includes: an image acquisition step of moving a confirmation means and acquiring an image providing distance information for an entire space or a part of a surveillance area using an image sensor mounted on the confirmation means; a map generation step of generating a three-dimensional map for the entire space of the surveillance area by using the information on the location where the identification means acquired the image and the distance information of the image; and a change area detection step of detecting a change area by comparing the 3D map with a pre-stored reference map.

Figure R1020150173299
Figure R1020150173299

Description

감시 방법{SURVEILLANCE METHOD}Surveillance Method {SURVEILLANCE METHOD}

본 발명의 실시예들은 확인수단을 이용하여 주기적으로 거리 영상을 획득함으로써 이벤트 발생을 감지하는 감시 방법에 관한 것이다.Embodiments of the present invention relate to a monitoring method for detecting the occurrence of an event by periodically acquiring a distance image using a confirmation means.

오늘날 다수의 감시카메라가 도처에 설치되어 있고, 감시카메라가 획득한 영상에서 이벤트 발생을 감지하여 녹화, 저장 하는 기술들이 개발되고 있다.Today, a number of surveillance cameras are installed everywhere, and technologies are being developed to detect, record, and store event occurrences in the images acquired by the surveillance cameras.

그러나 이러한 감시카메라는 벽면이나 기둥 등의 구조물에 고정되어 있기 때문에 감시카메라로부터 일정 거리 이상 떨어진 곳에서 발생한 이벤트나 사각에서 발생한 이벤트의 경우 감지가 어려운 문제점이 있었다. However, since these surveillance cameras are fixed to structures such as walls or pillars, there is a problem in that it is difficult to detect an event that occurs at a location more than a certain distance from the surveillance camera or an event that occurs at a blind spot.

한국공개특허 제 2013-0112688호Korea Patent Publication No. 2013-0112688

본 발명은 상술한 문제점을 해결하기 위해 창출된 것으로써 확인수단이 주기적으로 감시영역을 촬영하여 3차원 지도를 생성하고, 생성된 3차원 지도를 기 생성된 지도와 비교하여 변화영역을 검출함으로써 이벤트 발생 여부를 감지할 수 있는 감시 시스템을 제공하고자 한다. The present invention was created to solve the above-mentioned problems, and the confirmation means periodically captures the monitoring area to generate a 3D map, compares the generated 3D map with a pre-generated map, and detects a change area. It is intended to provide a monitoring system that can detect whether or not an occurrence has occurred.

본 발명의 일 실시예에 따른 감시방법은 확인수단을 이동하며 상기 확인수단에 탑재된 영상센서를 이용하여 감시영역 전체 공간 또는 일부 공간에 대한 거리 정보를 제공하는 영상을 획득하는 영상획득 단계; 상기 확인수단이 상기 영상을 획득한 위치에 관한 정보와 상기 영상의 상기 거리 정보를 이용하여 상기 감시영역 전체 공간에 대한 3차원 지도를 생성하는 지도생성 단계; 및 상기 3차원 지도와 기 저장된 기준지도를 비교하여 변화가 발생한 영역을 검출하는 변화영역 검출 단계;를 포함할 수 있다.A monitoring method according to an embodiment of the present invention includes: an image acquisition step of moving a confirmation means and acquiring an image providing distance information for an entire space or a part of a surveillance area using an image sensor mounted on the confirmation means; a map generation step of generating a three-dimensional map for the entire space of the surveillance area by using the information on the location at which the identification means acquired the image and the distance information of the image; and a change area detection step of detecting a change area by comparing the 3D map with a pre-stored reference map.

이 때 상기 영상획득 단계, 상기 지도생성 단계 및 상기 변화영역 검출 단계를 기 설정된 시간 주기 마다 반복하고, 상기 기준지도는 가장 최초에 획득된 영상에 기초하여 생성되어 저장된 지도일 수 있다.In this case, the image acquisition step, the map generation step, and the change region detection step may be repeated every preset time period, and the reference map may be a map generated and stored based on the first acquired image.

한편 본 발명의 다른 실시예에 따른 감시방법은 상기 지도생성 단계에 의해 생성된 3차원 지도를 상기 기준지도로 갱신하는 단계;를 더 포함할 수 있다.Meanwhile, the monitoring method according to another embodiment of the present invention may further include updating the 3D map generated by the map generating step to the reference map.

본 발명의 일 실시예에 따른 감시방법은 상기 변화영역 검출 단계에서 검출한 상기 변화가 발생한 영역의 크기가 기 설정된 임계크기 이상인 경우, 상기 변화가 발생한 영역을 포함하는 영상을 사용자에게 제공하는 단계;를 더 포함할 수 있다.A monitoring method according to an embodiment of the present invention includes the steps of providing an image including the changed area to a user when the size of the area in which the change occurs, detected in the detecting step of the change area, is equal to or greater than a preset threshold size; may further include.

상기 영상획득 단계는 기 설정된 경로에 따라 상기 확인수단을 이동하며 상기 영상센서를 이용하여 영상을 획득할 수 있으며, 상기 거리 정보는, 상기 영상센서로부터 상기 감시영역 내의 대상체까지의 거리 정보일 수 있다.The image acquisition step may include moving the identification means according to a preset path and acquiring an image using the image sensor, and the distance information may be distance information from the image sensor to an object in the monitoring area. .

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예들에 따르면 확인수단이 주기적으로 감시영역을 촬영하여 3차원 지도를 생성하고, 생성된 3차원 지도를 기 생성된 지도와 비교하여 변화영역을 검출함으로써 이벤트 발생 여부를 감지할 수 있는 감시 시스템을 구현할 수 있다.According to embodiments of the present invention, it is possible to detect whether or not an event has occurred by means of a confirmation means periodically photographing a monitoring area to generate a 3D map, and detecting a change area by comparing the generated 3D map with a previously generated map. A monitoring system can be implemented.

도 1은 본 발명의 일 실시예에 따른 감시 시스템을 개략적으로 도시한다.
도 2a는 확인수단에 포함된 영상센서가 영상을 획득하는 과정을 개략적으로 도시한다.
도 2b는 영상 획득부가 영상센서로부터 획득한 영상의 예시를 개략적으로 도시한다.
도 3은 지도 생성부가 생성한 3차원 지도의 예시이다.
도 4a 및 도 4b는 변화영역 검출부가 변화영역을 검출하는 예시이다.
도 5는 감시장치의 감시방법을 설명하기 위한 흐름도이다.
1 schematically shows a monitoring system according to an embodiment of the present invention.
2A schematically illustrates a process in which an image sensor included in a confirmation means acquires an image.
2B schematically illustrates an example of an image obtained by an image acquisition unit from an image sensor.
3 is an example of a 3D map generated by the map generator.
4A and 4B are examples in which the change region detection unit detects the change region.
5 is a flowchart for explaining a monitoring method of a monitoring device.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. In the following embodiments, terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in the following examples are used only to describe specific examples, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the following embodiments, terms such as “comprise” or “have” are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification is present, but one or more It is to be understood that this does not preclude the possibility of addition or presence of other features or numbers, steps, operations, components, parts, or combinations thereof.

본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
Embodiments of the present invention may be represented by functional block configurations and various processing steps. These functional blocks may be implemented in any number of hardware and/or software configurations that perform specific functions. For example, embodiments of the present invention may be implemented directly, such as memory, processing, logic, look-up table, etc., capable of executing various functions by control of one or more microprocessors or other control devices. Circuit configurations may be employed. Similar to how components of an embodiment of the invention may be implemented as software programming or software elements, embodiments of the invention may include various algorithms implemented as data structures, processes, routines, or combinations of other programming constructs. , C, C++, Java, assembler, etc. may be implemented in a programming or scripting language. Functional aspects may be implemented in an algorithm running on one or more processors. In addition, embodiments of the present invention may employ conventional techniques for electronic environment setting, signal processing, and/or data processing, and the like. Terms such as mechanism, element, means, and configuration may be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in association with a processor or the like.

도 1은 본 발명의 일 실시예에 따른 감시 시스템을 개략적으로 도시한다.1 schematically shows a monitoring system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 감시 시스템은 감시장치(10) 및 확인수단(20)을 포함할 수 있다.Referring to FIG. 1 , a monitoring system according to an embodiment of the present invention may include a monitoring device 10 and a checking means 20 .

본 발명의 일 실시예에 따른 확인수단(20)은 날개 또는 로터를 구비한 비행수단일 수 있다. 예를 들어 통상의 비행체와 같은 고정익 형태의 비행체일 수 있으며, 헬리콥터와 같은 회전익 형태의 비행체일 수도 있다. 또한 본 발명의 일 실시예에 따른 확인수단(20)은 바퀴 등의 구동수단을 구비한 주행수단일 수도 있다. 예를 들어 확인수단(20)은 자동차, 무한궤도를 구비한 장갑차, 오토바이 등의 다양한 형태의 구동부를 갖는 주행수단일 수 있다.Confirmation means 20 according to an embodiment of the present invention may be a flying means having wings or rotors. For example, it may be a fixed-wing type vehicle such as a conventional airplane, or a rotary-wing type vehicle such as a helicopter. In addition, the checking means 20 according to an embodiment of the present invention may be a driving means having a driving means such as a wheel. For example, the checking means 20 may be a driving means having various types of driving units such as automobiles, armored vehicles with caterpillars, and motorcycles.

확인수단(20)은 영상 획득을 위한 영상센서(21)를 구비할 수 있다. 이 때 영상센서(21)는 감시영역(30)의 전체 공간 또는 일부 공간에 대한 거리 정보를 제공하는 거리카메라일 수 있다. 거리카메라(depth camera)는 카메라로부터 촬영되고 있는 장면의 모든 지점까지의 거리를 출력하는 카메라로, 보다 상세하게는 각 화소(pixel)마다 촬영되고 있는 대상까지의 거리인 거리값을 갖는다. 거리카메라는 주변 환경 또는 장면(공간)을 촬영하고, 장면 내에 존재하는 다양한 객체(예를 들어, 바닥, 벽, 장애물 등의 정적 물체나 사람, 동물 등의 동적 물체)를 포함하여 장면의 거리 정보 또는 깊이 정보를 실시간으로 획득하는, 스테레오 방식, 구조광 방식, Time-of-Flight(ToF) 방식 등 다양한 방식의 거리 카메라로 구현될 수 있다. 도시되지 않았으나, 확인수단(20)은 적, 녹, 청으로 구성되는 통상의 영상을 획득하는 영상센서(미도시)를 더 구비할 수도 있다. The confirmation means 20 may include an image sensor 21 for acquiring an image. In this case, the image sensor 21 may be a distance camera that provides distance information for the entire space or a part of the monitoring area 30 . A depth camera is a camera that outputs the distance from the camera to all points of a scene being photographed. More specifically, each pixel has a distance value that is a distance to an object being photographed. The distance camera captures the surrounding environment or scene (space), and includes various objects existing in the scene (for example, static objects such as floors, walls, obstacles, or dynamic objects such as people and animals), distance information of the scene Alternatively, it may be implemented as a distance camera of various types, such as a stereo method, a structured light method, and a Time-of-Flight (ToF) method, which acquires depth information in real time. Although not shown, the confirmation means 20 may further include an image sensor (not shown) for acquiring a normal image composed of red, green, and blue.

영상센서(21)는 확인수단(20)이 감시영역(30)을 이동함에 따라, 감시영역(30)의 전체 공간 또는 일부 공간에 대한 거리 정보가 포함된 영상을 획득하고, 이를 감시장치(10)에 전송할 수 있다. 이 때 영상센서(21)는 감시장치(10)와 무선네트워크를 통하여 연결될 수 있으며, 이 때 무선네트워크는 CDMA, WIFI, WIBRO 또는 LTE 등의 다양한 종류의 다양한 주파수 대역의 네트워크일 수 있다.The image sensor 21 acquires an image including distance information for the entire space or a partial space of the monitoring area 30 as the checking means 20 moves the monitoring area 30 , and uses this to obtain the monitoring device 10 . ) can be sent to At this time, the image sensor 21 may be connected to the monitoring device 10 through a wireless network, and in this case, the wireless network may be a network of various types of various frequency bands such as CDMA, WIFI, WIBRO or LTE.

한편 본 발명의 일 실시예에 따른 감시 시스템은 확인수단(20)이 유휴시간(Idle time)동안 머무를 수 있는 확인수단 거치대(미도시)등을 포함할 수 있다. 확인수단 거치대(미도시)는 확인수단(20)에 전력을 공급하고, 데이터를 전송 하는 등의 확인수단(20)의 유지, 보수를 위한 작업을 수행할 수 있다.On the other hand, the monitoring system according to an embodiment of the present invention may include a confirmation means cradle (not shown) in which the confirmation means 20 can stay for an idle time. The confirmation means cradle (not shown) may perform work for maintenance and repair of the confirmation means 20, such as supplying power to the confirmation means 20 and transmitting data.

이하 확인수단(20)에 영상센서(21)로 거리카메라가 탑재된 것을 전제로 실시예들을 설명하지만, 본 발명이 이에 한정되는 것은 아니다.Hereinafter, embodiments will be described on the premise that a distance camera is mounted as the image sensor 21 in the confirmation means 20 , but the present invention is not limited thereto.

본 발명의 일 실시예에 따른 감시장치(10)는 영상 획득부(100), 지도 생성부(200), 변화영역 검출부(300), 영상 제공부(400) 및 제어부(500)를 포함할 수 있다. 다만 이는 편의상/기능상의 분류일 뿐, 각각의 구성이 물리적으로 명확히 나뉘어진 것은 아니며, 각각의 구성들에서 수행되는 기능들이 상호 중복되어 수행될 수도 있고, 일부 구성이 생략되어 다른 구성에 포함될 수도 있다. 예컨대, 영상 획득부(100), 지도 생성부(200) 및 변화영역 검출부(300)가 하나의 영상 프로세서로 통합될 수도 있고, 감시장치(10) 전체가 하나의 프로세서로 통합될 수도 있다.The monitoring apparatus 10 according to an embodiment of the present invention may include an image acquisition unit 100 , a map generation unit 200 , a change region detection unit 300 , an image providing unit 400 , and a control unit 500 . have. However, this is only a classification for convenience/functionality, and each configuration is not physically separated, and functions performed in each configuration may be overlapped with each other, and some configurations may be omitted and included in other configurations. . For example, the image acquisition unit 100 , the map generation unit 200 , and the change region detection unit 300 may be integrated into one image processor, or the entire monitoring device 10 may be integrated into one processor.

영상 획득부(100)는 확인수단(20)이 이동하며 확인수단(20)에 탑재된 영상센서(21)를 이용하여 촬영한 감시영역(30) 전체 공간 또는 일부 공간에 대한 거리 정보를 제공하는 영상을 확인수단(20)으로부터 획득할 수 있다. 지도 생성부(200)는 확인수단(20)이 영상을 획득한 위치에 관한 정보와 영상에 포함된 거리 정보를 이용하여 감시영역(30) 전체 공간에 대한 3차원 지도를 생성할 수 있다. 변화영역 검출부(300)는 생성된 3차원 지도와 기 저장된 기준지도를 비교하여 변화가 발생한 영역을 검출할 수 있다. 이 때 영상 제공부(400)는 변화영역 검출부(300)가 검출한 변화영역의 크기가 기 설정된 임계크기 이상인 경우, 변화가 발생한 영역을 포함하는 영상을 사용자에게 제공할 수 있다. 제어부(500)는 확인수단(20)의 위치를 산출하고, 확인수단(20)의 이동방향 및 그 때의 촬영 방향을 제어할 수 있다. The image acquisition unit 100 provides distance information for the entire space or a part of the monitoring area 30 photographed using the image sensor 21 mounted on the confirmation means 20 while the confirmation means 20 is moved. The image may be obtained from the confirmation means 20 . The map generating unit 200 may generate a three-dimensional map of the entire space of the monitoring area 30 by using the information on the location at which the identification means 20 acquired the image and the distance information included in the image. The change area detection unit 300 may detect a change area by comparing the generated 3D map with a pre-stored reference map. At this time, when the size of the change region detected by the change region detector 300 is greater than or equal to a preset threshold size, the image providing unit 400 may provide the user with an image including the region in which the change occurs. The control unit 500 may calculate the position of the confirmation means 20 and control the moving direction of the confirmation means 20 and the photographing direction at that time.

이하 감시장치(10)가 확인수단(20)과 별도로 구비되는 것들 전제로 실시예들을 설명하지만, 본 발명이 이에 한정되는 것은 아니다. 따라서 감시장치(10)는 확인수단(20)에 구비될 수도 있고, 이하의 실시예들과 같이 확인수단(20)과 별도로 구비될 수도 있다.
Hereinafter, embodiments will be described on the premise that the monitoring device 10 is provided separately from the checking means 20 , but the present invention is not limited thereto. Therefore, the monitoring device 10 may be provided in the checking means 20 or may be provided separately from the checking means 20 as in the following embodiments.

본 발명의 일 실시예에 따른 영상 획득부(100)는 확인수단(20)에 탑재된 영상센서(21)가 촬영한 영상을 확인수단(20)으로부터 획득할 수 있다.The image acquisition unit 100 according to an embodiment of the present invention may acquire an image captured by the image sensor 21 mounted on the identification means 20 from the identification means 20 .

도 2a 내지 도2b는 확인수단(20)에 포함된 영상센서(21)가 영상을 획득하는 과정 및 영상 획득부(도 1의 100)가 영상센서(21)로부터 획득한 영상(또는 영상센서(21)가 획득한 영상)의 예시를 개략적으로 도시한다.2A to 2B show a process in which the image sensor 21 included in the confirmation means 20 acquires an image and an image (or an image sensor (or image sensor) 21) schematically shows an example of an image acquired by

도 2a를 참조하면, 확인수단(20)에 포함된 영상센서(21)는 감시영역(도 1의 30)내의 전체 공간 또는 일부 공간에 대한 거리 정보가 포함된 영상을 획득한다. 예컨대, 감시영역(도 1의 30)에 정육면체 형상의 물체(101)가 있는 경우 영상센서(21)는 해당 물체에 대한 거리 정보(102)가 포함된 영상을 획득하고 이를 감시장치(10)에 전송할 수 있다. 이 때 제어부(50)는 확인수단(20)의 영상 촬영 위치에 관한 정보(501)를 산출할 수 있다. 제어부(50)가 확인수단(20)의 위치에 관한 정보를 산출하는 상세한 방법은 후술한다.
Referring to FIG. 2A , the image sensor 21 included in the checking means 20 acquires an image including distance information for all or a part of the space within the monitoring area ( 30 in FIG. 1 ). For example, when there is a cube-shaped object 101 in the monitoring area (30 in FIG. 1 ), the image sensor 21 acquires an image including distance information 102 for the object and sends it to the monitoring device 10 . can be transmitted In this case, the control unit 50 may calculate the information 501 about the image capturing position of the confirmation means 20 . A detailed method in which the control unit 50 calculates information on the position of the confirmation means 20 will be described later.

도 2b는 영상 획득부(도 1의 100)가 영상센서(도 2a의 21)로부터 수신한 영상(또는 영상센서(도 2a의 21)가 획득한 영상)의 예시이다. 본 예시에서 영상 획득부(도 1의 100)는 모니터와 키보드 등이 포함되어 있는 책상을 촬영한 영상을 영상센서(도 2a의 21)로부터 수신한다. 또한 본 실시예에서 확인수단(도 2a의 20)에 탑재된 영상센서(도 2a의 21)는 거리카메라이므로, 영상은 확인수단(도 2a의 20)으로부터 하나 이상의 지점까지의 거리 정보를 포함할 수 있다. 따라서 영상의 각 픽셀은 각 픽셀이 나타내는 물체의 일 지점까지의 거리값을 포함할 수 있다.2B is an example of an image (or an image acquired by the image sensor (21 of FIG. 2A )) received by the image acquisition unit ( 100 in FIG. 1 ) from the image sensor ( 21 in FIG. 2A ). In this example, the image acquisition unit ( 100 in FIG. 1 ) receives an image of a desk including a monitor and a keyboard from the image sensor ( 21 in FIG. 2A ). In addition, since the image sensor (21 in FIG. 2A) mounted on the checking means (20 in FIG. 2A) in this embodiment is a distance camera, the image includes distance information from the checking means (20 in FIG. 2A) to one or more points. can Accordingly, each pixel of the image may include a distance value to a point of the object represented by each pixel.

본 발명의 일 실시예에 따른 지도 생성부(도 1의 200)는 확인수단(도 1의 20)이 영상을 획득한 위치에 관한 정보와 획득된 영상이 포함하고 있는 거리 정보를 이용하여 감시영역(도 1의 30) 전체 공간에 대한 3차원 지도를 생성할 수 있다. 상세히, 지도 생성부(도 1의 200)는 영상센서(도 1의 21)가 획득한 영상에 포함되어 있는 거리정보와, 제어부(도 1의 500)가 산출한 확인수단(도 1의 20)의 위치에 관한 정보를 이용하여 영상을 순차적으로 합성함으로써 3차원 지도를 생성할 수 있다.The map generating unit (200 in FIG. 1) according to an embodiment of the present invention uses information about the location at which the confirmation means (20 in FIG. 1) acquired the image and distance information included in the acquired image in the monitoring area (30 in FIG. 1) It is possible to generate a 3D map for the entire space. In detail, the map generator (200 in FIG. 1 ) includes the distance information included in the image acquired by the image sensor (21 in FIG. 1 ) and the checking means ( 20 in FIG. 1 ) calculated by the control unit ( 500 in FIG. 1 ). A three-dimensional map can be generated by sequentially synthesizing images using information about the location of

본 발명에서 3차원 지도는 영상센서(도 1의 21)가 획득한 영상에 포함되어 있는 거리정보를 이용하여 감시영역(도 1의 30)을 3차원으로 모델링(modeling)한 결과일 수 있다. 즉 3차원 지도는 하나의 기준점을 기준으로 감시영역(30) 내에 존재하는 복수의 물체를 3차원 공간상의 좌표로 나타낸 것 일 수 있다. In the present invention, the three-dimensional map may be a result of modeling the monitoring area (30 in FIG. 1) in three dimensions using distance information included in the image acquired by the image sensor (21 in FIG. 1). That is, the 3D map may be a representation of a plurality of objects existing in the monitoring area 30 as coordinates in 3D space based on one reference point.

예컨대, 영상센서(도 2의 21)가 도 2a와 같이 정육면체 형상의 물체(도 2a의 101)까지의 거리정보(도 2a의 102)가 포함된 영상을 획득한 경우, 지도 생성부(도 1의 200)는 해당 영상을 촬영했을 때의 확인수단(도 2a의 20)의 위치에 관한 정보(도 2a의 501)를 참조하여 3차원 지도를 생성할 수 있다. 이 때 확인수단(도 2a의 20)의 위치에 관한 정보(도 2a의 501)는 3차원 지도 상에서의 물체(도 2a의 101)의 위치를 결정하고, 영상에 포함되어있는 거리정보(도 2a의 102)와의 연산을 통해 물체(도 2a의 101)의 크기를 결정하는데 사용될 수 있다. 또한 확인수단(도 2a의 20)의 위치에 관한 정보(도 2a의 501)는 기존 영상들과 영상센서(도 2a의 21)가 획득한 영상을 합성하는 방향을 결정할 수도 있다.For example, when the image sensor (21 in FIG. 2) acquires an image including distance information (102 in FIG. 2A) to the cube-shaped object (101 in FIG. 2A) as shown in FIG. 2A, the map generating unit (FIG. 1) 200) may generate a 3D map with reference to information (501 of FIG. 2A) about the location of the checking means (20 of FIG. 2A) when the corresponding image is captured. At this time, the information (501 in FIG. 2A) about the location of the confirmation means (20 in FIG. 2A) determines the position of the object (101 in FIG. 2A) on the 3D map, and distance information (FIG. 2A) included in the image 102) and can be used to determine the size of the object (101 in FIG. 2A). In addition, the information ( 501 of FIG. 2A ) on the location of the confirmation means ( 20 of FIG. 2A ) may determine the direction in which existing images and the image acquired by the image sensor ( 21 of FIG. 2A ) are synthesized.

한편, 영상센서(도 2a의 21)로부터 물체까지의 거리정보는 영상센서(도 2a의 21)로부터 물체의 겉표면까지의 거리를 의미하므로, 결국 3차원 지도는 감시영역(도 1의 30) 내에 존재하고, 겉표면이 드러나 있는 물체의 겉표면의 형상을 연속적으로 이어 붙여서 합성한 것일 수 있다.
On the other hand, since the distance information from the image sensor (21 in Fig. 2A) to the object means the distance from the image sensor (21 in Fig. 2A) to the outer surface of the object, the 3D map is ultimately the monitoring area (30 in Fig. 1). It may be synthesized by continuously attaching the shape of the outer surface of an object that exists within and whose outer surface is exposed.

도 3은 지도 생성부(200)가 생성한 3차원 지도의 예시이다. 영상 획득부(도 1의 100)는 영상센서(도 1의 21)로 부터 감시영역(40) 내에 존재하는 모든 세부 공간(41내지 47)들에 대한 영상을 획득할 수 있다. 지도 생성부(도 1의 200)는 영상 획득부(도 1의 100)가 확인수단(도 1의 20)으로부터 획득한 영상을 이용하여 도 3과 같은 3차원 지도를 생성한다. 전술한 바와 같이 3차원 지도는 감시영역(도 1의 30) 내에 존재하고, 겉 표면이 드러나 있는 물체의 겉표면의 형상들의 조합일 수 있으므로, 3차원 지도는 예컨대 세부 공간(45)에 존재하는 테이블(451) 및 의자(452)의 형상을 포함할 수 있다.3 is an example of a 3D map generated by the map generator 200 . The image acquisition unit ( 100 in FIG. 1 ) may acquire images of all subspaces 41 to 47 existing in the monitoring area 40 from the image sensor ( 21 in FIG. 1 ). The map generator (200 of FIG. 1 ) generates a three-dimensional map as shown in FIG. 3 using the image obtained by the image acquisition unit ( 100 of FIG. 1 ) from the verification means ( 20 of FIG. 1 ). As described above, since the three-dimensional map exists in the monitoring area (30 in FIG. 1) and may be a combination of the shapes of the outer surface of the object with the outer surface exposed, the three-dimensional map exists in the detailed space 45, for example. It may include the shape of a table 451 and a chair 452 .

영상 획득부(도 1의 100)에 의한 영상 획득과, 지도 생성부(도 1의 200)에 의한 3차원 지도의 생성은 기 설정된 시간 주기마다 반복될 수 있다. 이 때 시간 주기는 사용자에 의해 설정될 수 있다. 예컨대, 엄격한 감시가 필요한 공간의 경우 매 5분마다 반복되도록 시간주기를 설정할 수 있고, 상대적으로 완화된 감시가 필요한 공간의 경우 매 2시간 마다 반복되도록 시간주기를 설정할 수 있다.The image acquisition by the image acquisition unit ( 100 of FIG. 1 ) and the generation of the 3D map by the map generation unit ( 200 of FIG. 1 ) may be repeated every preset time period. In this case, the time period may be set by the user. For example, in the case of a space requiring strict monitoring, the time period may be set to repeat every 5 minutes, and in the case of a space requiring relatively relaxed monitoring, the time period may be set to repeat every 2 hours.

지도 생성부(도 1의 200)에 의해 생성된 3차원 지도는 시간대 별로 구분되어 저장될 수 있다. 예컨대, 확인수단(도 1의 20)이 1시간을 주기로 영상센서(도 1의 21)를 이용하여 영상을 획득하는 경우, 지도 생성부(도 1의 200)는 매 시간 마다 3차원 지도를 생성하고, 매 시간 별 3차원 지도는 저장공간(미도시)에 저장될 수 있다. The 3D map generated by the map generating unit ( 200 of FIG. 1 ) may be stored separately for each time period. For example, when the verification means (20 in FIG. 1) acquires an image using the image sensor (21 in FIG. 1) with a cycle of 1 hour, the map generator (200 in FIG. 1) generates a 3D map every hour And, the 3D map for each hour may be stored in a storage space (not shown).

본 발명의 일 실시예에 따른 변화영역 검출부(도 1의 300)는 3차원 지도와 기 저장된 기준지도를 비교하여 변화가 발생한 영역을 검출할 수 있다. 전술한 바와 같이 영상 획득부(도 1의 100)에 의한 영상 획득과, 지도 생성부(도 1의 200)에 의한 3차원 지도의 생성은 기 설정된 시간 주기마다 반복되어 저장될 수 있으므로, 변화영역 검출부(도 1의 300)는 기 저장된 3차원 지도 중 어느 하나와 현재 생성된 3차원 지도를 비교함으로써 변화영역을 검출할 수 있다. 이하에서 명확한 이해를 돕기 위해 전술한 '3차원 지도'를 '현재지도'로, 기 저장된 지도 중 현재지도와 비교 대상으로 선택된 지도를 '기준 지도'로 기술하여 설명한다. The change region detection unit 300 in FIG. 1 according to an embodiment of the present invention may detect a region in which a change has occurred by comparing the 3D map with a pre-stored reference map. As described above, the image acquisition by the image acquisition unit ( 100 in FIG. 1 ) and the generation of the 3D map by the map generation unit ( 200 in FIG. 1 ) can be repeatedly stored every preset time period, so the change region The detector ( 300 of FIG. 1 ) may detect a change region by comparing any one of pre-stored 3D maps with a currently generated 3D map. Hereinafter, for clear understanding, the above-mentioned '3D map' is described as 'current map', and the map selected for comparison with the current map among pre-stored maps will be described as 'reference map'.

일 예로, 변화영역 검출부(도 1의 300) 기준지도로써 가장 최초에 획득된 영상에 기초하여 생성되어 저장된 지도를 사용할 수 있다. 가장 최초에 획득된 영상에 기초하여 생성되어 저장된 지도는 관리자가 감시장치(도 1의 10)를 가동시켰을 때 지도 생성부(도 1의 200)가 생성한 지도를 의미할 수 있다. 즉 변화가 거의 일어나지 않는 영역에 대하여 감시가 필요한 경우, 본 예시와 같이 지도 생성부(도 1의 200)는 가장 최초의 지도와 현재지도를 비교하여 변화영역을 검출할 수 있다. As an example, the map generated and stored based on the first acquired image may be used as the reference map of the change region detector (300 in FIG. 1 ). The map generated and stored based on the first acquired image may mean a map generated by the map generator (200 of FIG. 1 ) when the manager operates the monitoring device (10 of FIG. 1 ). That is, when monitoring is required for an area in which little change occurs, the map generator ( 200 in FIG. 1 ) may detect a change area by comparing the first map with the current map as in this example.

다른 예로, 변화영역 검출부(도 1의 300)는 기준지도로써 가장 최근에 갱신된 지도를 사용할 수도 있다. 가령 현재 시간이 오전 4시이고, 매 정각마다 확인수단(도 1의 20)이 영상을 획득한다고 가정하면, 오전 3시에 획득된 영상을 기반으로 생성된 지도를 기준지도로 사용할 수 있다. 즉 바람, 진동 등에 의해 미세한 변화가 일어나는 영역에 대하여 감시가 필요한 경우, 지도 생성부(도 1의 200)는 매 반복 때 마다 생성된 지도를 기준지도로 갱신할 수 있다.As another example, the change region detection unit ( 300 in FIG. 1 ) may use the most recently updated map as the reference map. For example, if it is assumed that the current time is 4:00 am and the verification means ( 20 in FIG. 1 ) acquires an image every hour, a map generated based on the image acquired at 3:00 am may be used as a reference map. That is, when it is necessary to monitor an area where minute changes occur due to wind, vibration, etc., the map generator ( 200 in FIG. 1 ) may update the generated map as a reference map at every repetition.

한편, 변화영역 검출부(도 1의 300)는 현재지도(3차원 지도)와 기준지도가 포함하는 물체의 형상을 비교함으로써 변화영역을 검출할 수 있다. 상세히, 각 지도는 각 시간대에 감시영역(도 1의 30) 내에 존재하고, 겉 표면이 드러나 있는 물체의 겉표면의 형상들을 포함하므로 변화영역 검출부(도 1의 300)는 양 지도에 포함되어 있는 물체의 형상들과 그 형상들의 위치를 비교함으로써 변화영역을 검출할 수 있다. 전술한 바와 같이 3차원 지도는 하나의 기준점을 기준으로 감시영역(도 1의 30) 내에 존재하는 복수의 물체를 3차원 공간상의 좌표로 나타낸 것 일 수 있으므로, 변화영역 검출부(도 1의 300)는 현재지도가 포함하는 3차원 공간상의 좌표들과 기준지도가 포함하는 3차원 공간상의 좌표들을 비교하여 일치하지 않는 부분을 확인함으로써 변화영역을 검출할 수 있다.Meanwhile, the change area detection unit ( 300 of FIG. 1 ) may detect the change area by comparing the shape of the object included in the current map (3D map) and the reference map. In detail, since each map exists within the monitoring area (30 in Fig. 1) at each time zone, and includes the shapes of the outer surface of the object with the outer surface exposed, the change area detection unit (300 in Fig. 1) is included in both maps. A change region can be detected by comparing the shapes of the object and the positions of the shapes. As described above, since the three-dimensional map may represent a plurality of objects existing in the monitoring area (30 in FIG. 1) as coordinates in three-dimensional space based on one reference point, the change area detection unit (300 in FIG. 1) can detect a change region by comparing the coordinates in the three-dimensional space included in the current map with the coordinates in the three-dimensional space included in the reference map and identifying the inconsistent parts.

한편 변화영역 검출부(도 1의 300)는 다양한 방법으로 변화영역을 검출할 수 있다. 예컨대 현재지도와 기준지도의 비교를 통해 감시영역(도 1의 30)내에 어떤 물체가 이동 하였음을 검출한 경우, 변화영역 검출부(도 1의 300)는 기준지도에서 해당 물체를 표시하는 영역 전체를 변화영역으로 검출할 수 있다. 이러한 경우 기준지도에서 해당 물체를 표시하는 좌표들의 집합을 변화영역으로 검출할 수 있다.Meanwhile, the change region detection unit 300 in FIG. 1 may detect the change region in various ways. For example, when it is detected that an object has moved within the monitoring area (30 in FIG. 1) through comparison of the current map and the reference map, the change area detection unit (300 in FIG. 1) detects the entire area displaying the object on the reference map. It can be detected as a change area. In this case, a set of coordinates indicating the object on the reference map can be detected as a change region.

또한 변화영역 검출부(도 1의 300)는 현재지도에서 해당 물체를 표현하는 영역에서 기준지도의 해당 물체를 표현하는 영역과 현재지도의 해당 물체를 표현하는 영역의 중복영역을 제외한 나머지 영역을 변화영역으로 검출할 수도 있다. 즉, 현재지도에서 해당 물체를 표현하는 좌표 중에서, 기준지도에서도 해당 물체를 표현하는 좌표를 제외한 나머지 좌표만을 변화영역으로 검출할 수도 있다. 다만 이는 예시적인 것으로 본 발명이 이에 한정되는 것은 아니다.
In addition, the change area detection unit (300 in FIG. 1 ) is a change area in the area representing the object on the current map except for the overlapping area between the area representing the object on the reference map and the area representing the object on the current map. can also be detected. That is, among the coordinates representing the object in the current map, only the remaining coordinates except for the coordinates representing the object in the reference map may be detected as a change area. However, this is exemplary and the present invention is not limited thereto.

도 4a 및 도 4b는 변화영역 검출부(도 1의 300)가 변화영역을 검출하는 예시이다. 가령 도 4a를 키보드의 형상(301a)과 모니터의 형상 등을 포함하는 기준지도라고 하고 도 4b를 이동된 키보드의 형상(301b)을 포함하는 현재지도라고 할 때, 변화영역 검출부(도 1의 300)는 기준영상과 현재영상의 차이가 있는 부분 즉 변화영역을 검출할 수 있다. 전술한 바와 같이 변화영역 검출부(도 1의 300)는 다양한 방법으로 변화영역을 검출할 수 있고, 본 예시에서는 "기준지도에서 해당 물체를 표시하는 영역"을 변화영역으로 검출 할 경우, 변화영역 검출부(도 1의 300)는 기준지도(도 4a)에서 키보드의 형상(302)을 표현하는 영역을 변화영역으로 검출할 수 있다.
4A and 4B are examples in which the change region detection unit (300 of FIG. 1 ) detects the change region. For example, when Fig. 4A is a reference map including the shape of the keyboard 301a and the shape of the monitor, and Fig. 4B is a current map including the shape 301b of the keyboard, the change area detection unit (300 in FIG. 1) ) can detect a part where there is a difference between the reference image and the current image, that is, a change region. As described above, the change region detection unit (300 in FIG. 1) can detect the change region in various ways, and in this example, when detecting the “region displaying the object on the reference map” as the change region, the change region detection unit (300 of FIG. 1) may detect an area expressing the shape 302 of the keyboard on the reference map (FIG. 4A) as a change area.

본 발명의 일 실시예에 따른 영상 제공부(도 1의 400)는 변화영역 검출부(도 1의 300)가 검출한 변화영역의 크기가 기 설정된 임계크기 이상인 경우, 변화영역을 포함하는 영상을 사용자에게 제공할 수 있다.The image providing unit (400 in FIG. 1) according to an embodiment of the present invention transmits an image including the change region to the user when the size of the change region detected by the change region detector (300 in FIG. 1) is greater than or equal to a preset threshold size. can be provided to

변화영역의 크기가 기 설정된 임계크기 이상인 경우는 감시영역(도 1의 30)내에 존재하는 물체 중 하나 이상의 물체가 이동하거나 사라진 경우를 의미할 수 있다. 즉, 변화영역의 크기가 기 설정된 임계크기 이상인 경우란 외부인의 침입, 화재 등의 이벤트가 발생한 것을 의미할 수 있으므로, 영상 제공부(도 1의 400)는 변화영역을 포함하는 영상을 사용자에게 제공함으로써, 이벤트에 대해 사용자의 즉각적인 대응이 가능하도록 할 수 있다.When the size of the change area is greater than or equal to a preset threshold size, it may mean that one or more objects among objects existing within the monitoring area (30 in FIG. 1 ) move or disappear. That is, when the size of the change area is greater than or equal to the preset threshold size, it may mean that an event such as an intrusion of an outsider or a fire has occurred. By doing so, it is possible to enable an immediate response of the user to the event.

영상 제공부(도 1의 400)는 다양한 방식으로 사용자에게 화면을 제공할 수 있다. 예컨대, 변화영역을 포함하는 현재지도와 그에 상응하는 기준지도를 동시에 표시하는 화면을 제공할 수 있다. 또한 현재지도와 기준지도를 시간의 흐름에 따라 순차적으로 표시하는 화면을 제공할 수 있다.The image providing unit 400 of FIG. 1 may provide a screen to the user in various ways. For example, it is possible to provide a screen that simultaneously displays the current map including the change area and the corresponding reference map. In addition, it is possible to provide a screen that sequentially displays the current map and the reference map according to the passage of time.

한편 영상 제공의 기준이 되는 임계 크기는 사용자에 의해 설정될 수 있다. 예컨대 변화가 거의 일어나지 않는 영역에 대하여 감시가 필요한 경우 임계 크기를 상대적으로 작게 설정할 수 있다. 그러나 바람, 진동 등에 의해 미세한 변화가 일어나는 영역에 대하여 감시가 필요한 경우 임계 크기를 상대적으로 크게 설정할 수도 있다.On the other hand, a threshold size serving as a criterion for providing an image may be set by a user. For example, when monitoring is required for an area in which little change occurs, the threshold size may be set relatively small. However, if monitoring is required for an area where minute changes occur due to wind, vibration, etc., the critical size may be set relatively large.

본 발명의 일 실시예에 따른 제어부(도 1의 500)는 확인수단(도 1의 20)의 위치를 산출하고, 확인수단(도 1의 20)의 이동방향 및 그 때의 촬영 방향을 제어할 수 있다. The control unit (500 in Fig. 1) according to an embodiment of the present invention calculates the position of the confirmation means (20 in Fig. 1), and controls the moving direction of the confirmation means (20 in Fig. 1) and the shooting direction at that time. can

제어부(도 1의 500)는 다양한 방법에 의해 확인수단(도 1의 20)의 위치를 산출할 수 있다. 예컨대, 제어부(도 1의 500)는 영상센서(도 1의 21)가 획득한 영상을 이용하여 확인수단(도 1의 20)의 위치를 산출할 수 있다. 전술한 바와 같이 지도 생성부(도 1의 200)는 확인수단(도 1의 20)이 영상을 획득한 위치에 관한 정보와 획득된 영상이 포함하고 있는 거리 정보를 이용하여 감시영역(도 1의 30) 전체 공간에 대한 3차원 지도를 생성한다. 따라서 제어부(도 1의 500)는 영상센서(도 1의 21)가 획득한 영상과 동일하거나 유사한 영상이 3차원 지도의 어느 부분에 위치하는지 확인함으로써, 확인수단(도 1의 20)의 위치를 산출할 수 있다. The control unit ( 500 in FIG. 1 ) may calculate the position of the checking means ( 20 in FIG. 1 ) by various methods. For example, the controller ( 500 in FIG. 1 ) may calculate the position of the checking means ( 20 in FIG. 1 ) using the image acquired by the image sensor ( 21 in FIG. 1 ). As described above, the map generating unit (200 in FIG. 1) uses the information on the location where the verification means (20 in FIG. 1) acquired the image and the distance information included in the acquired image to the monitoring area (200 in FIG. 1) as described above. 30) Create a 3D map of the entire space. Therefore, the control unit (500 in FIG. 1) determines the position of the checking means (20 in FIG. 1) by confirming in which part of the 3D map the same or similar image to the image acquired by the image sensor (21 in FIG. 1) is located. can be calculated.

한편 제어부(도 1의 500)는 별도의 항법수단(미도시)에 의해 확인수단(도 1의 20)의 위치를 산출할 수 있다. 예컨대 제어부(도 1의 500)는 비이콘(Beacon)과 같이 전파 또는 광을 이용하여 확인수단(도 1의 20)의 현재 위치를 알 수 있도록 해주는 항법수단에 의해 확인수단(도 1의 20)의 위치를 산출할 수도 있다. 다만 이는 예시적인 것으로, 본 발명이 이에 한정되는 것은 아니다.On the other hand, the control unit (500 in FIG. 1) may calculate the position of the confirmation means (20 in FIG. 1) by a separate navigation means (not shown). For example, the control unit (500 in FIG. 1) uses radio waves or light, such as a beacon, to determine the current position of the identification means (20 in FIG. 1) by means of navigation means (20 in FIG. 1). It is also possible to calculate the location of However, this is an example, and the present invention is not limited thereto.

제어부(도 1의 500)는 확인수단(도 1의 20)의 위치를 산출하고, 이를 토대로 확인수단(도 1의 20)의 이동방향 및 그 때의 촬영 방향을 제어할 수 있다. 상세히, 제어부(도 1의 500)는 사용자에 의해 입력된 이동경로를 포함하고, 제어부(도 1의 500)는 확인수단(도 1의 20)의 위치와 입력된 이동 경로를 비교함으로써 확인수단(도 1의 20)의 현재 이동 경로 및 촬영 방향을 제어할 수 있다.The control unit (500 in FIG. 1 ) calculates the position of the confirmation means ( 20 in FIG. 1 ), and based on this, the movement direction of the confirmation means ( 20 in FIG. 1 ) and the shooting direction at that time can be controlled. In detail, the control unit (500 in Fig. 1) includes the movement path input by the user, and the control unit (500 in Fig. 1) compares the position of the confirmation means (20 in Fig. 1) with the input movement path to the confirmation means ( It is possible to control the current movement path and the photographing direction of 20) of FIG. 1 .

한편 제어부(도 1의 500)에 입력된 확인수단(도 1의 20)이동경로는 사용자의 수동 조작에 의하여 생성될 수 있다. 예컨대, 사용자는 확인수단(도 1의 20)이 모든 감시영역(도 1의 30)의 영상을 획득할 수 있도록 수동으로 조작하고, 제어부(도 1의 500)는 이를 기록함으로써 확인수단(도 1의 20)의 이동경로가 입력될 수 있다. 또한 입력된 이동경로는 비이콘(미도시)등의 항법수단을 이용하여 확인수단(도 1의 20)수동조작에 의한 이동경로의 입력 없이도 생성될 수 있다.
On the other hand, the movement path of the confirmation means (20 in FIG. 1) input to the control unit (500 in FIG. 1) may be generated by a user's manual operation. For example, the user manually manipulates the confirmation means (20 in FIG. 1) to acquire images of all the monitoring areas (30 in FIG. 1), and the control unit (500 in FIG. 1) records them so that the confirmation means (FIG. 1) 20) of the movement path can be input. In addition, the input movement route may be generated without input of the movement route by manual operation of the confirmation means ( 20 in FIG. 1 ) using navigation means such as a beacon (not shown).

도 5에 도시된 감시 방법은 전술된 도 1의 감시장치(도 1의 10)에 의해 수행될 수 있다. 이하에서는 도 1 내지 도 4b에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략한다.The monitoring method illustrated in FIG. 5 may be performed by the above-described monitoring apparatus 10 in FIG. 1 . Hereinafter, a detailed description of the content overlapping with the content described with reference to FIGS. 1 to 4B will be omitted.

제어부(도 1의 50)는 사용자의 입력에 따라 확인수단(도 1의 20)의 이동경로 및 최초 지도를 획득한다. 이 때 사용자의 입력은 확인수단(도 1의 20)의 수동 조작을 통한 이동경로 및 영상의 획득일 수 있다. 또한 사용자의 입력은 항법수단에 따른 확인수단(도 1의 20)의 이동 좌표 및 해당 좌표에 따라 이동하면서 확인수단(도 1의 20)이 획득한 영상일 수 있다.The control unit (50 in FIG. 1) acquires the moving route and the initial map of the confirmation means (20 in FIG. 1) according to the user's input. In this case, the user's input may be the acquisition of a moving route and an image through manual manipulation of the confirmation means (20 in FIG. 1 ). In addition, the user's input may be the moving coordinates of the checking means (20 in FIG. 1) according to the navigation means and the image acquired by the checking means (20 in FIG. 1) while moving according to the corresponding coordinates.

영상 획득부(도 1의 100)는 확인수단(도 1의 20)이 제어부(도 1의 500)의 제어에 따라 이동하며 확인수단(도 1의 20)에 탑재된 영상센서(도 1의 21)가 촬영한 영상을 획득할 수 있다.(S20) 확인수단(도 1의 20)에 포함된 영상센서(도 1의 21)는 감시영역(도 1의 30)내의 전체 공간 또는 일부 공간에 대한 거리 정보가 포함된 영상을 획득한다. 이 때 제어부(도 1의 50)는 확인수단(도 1의 20)의 영상 촬영 위치에 관한 정보를 산출할 수 있다.In the image acquisition unit (100 in FIG. 1), the checking means (20 in FIG. 1) moves under the control of the controller (500 in FIG. 1), and the image sensor (21 in FIG. 1) mounted on the checking means (20 in FIG. 1) ) can acquire the captured image. (S20) The image sensor (21 in FIG. 1) included in the checking means (20 in FIG. 1) provides information on the entire space or part of the space within the monitoring area (30 in FIG. 1). An image including distance information is acquired. In this case, the control unit ( 50 in FIG. 1 ) may calculate information about the image capturing position of the confirmation means ( 20 in FIG. 1 ).

지도 생성부(도 1의 200)는 확인수단(도 1의 20)이 영상을 획득한 위치에 관한 정보와 획득된 영상이 포함하고 있는 거리 정보를 이용하여 감시영역(도 1의 30) 전체 공간에 대한 3차원 지도를 생성할 수 있다.(S30) 상세히, 지도 생성부(도 1의 200)는 영상센서(도 1의 21)가 획득한 영상에 포함되어 있는 거리정보와, 제어부(도 1의 500)가 산출한 확인수단(도 1의 20)의 위치에 관한 정보를 이용하여 영상을 합성함으로써 3차원 지도를 생성할 수 있다. 본 발명에서 3차원 지도는 영상센서(도 1의 21)가 획득한 영상에 포함되어 있는 거리정보를 이용하여 감시영역(도 1의 30)을 3차원으로 모델링(modeling)한 결과일 수 있다. 즉, 영상센서(도 1의 21)로부터 물체까지의 거리정보는 영상센서(도 1의 21)로부터 물체의 겉표면까지의 거리를 의미하므로 결국 3차원 지도는 감시영역(도 1의 30) 내에 존재하고, 겉표면이 드러나 있는 물체의 겉표면의 형상을 연속적으로 이어 붙여서 합성한 것일 수 있다.The map generator (200 in FIG. 1) uses the information on the location where the verification means (20 in FIG. 1) acquired the image and the distance information included in the acquired image, the entire space of the monitoring area (30 in FIG. 1) (S30) In detail, the map generating unit (200 in FIG. 1) includes distance information included in the image acquired by the image sensor (21 in FIG. 1), and the control unit (FIG. 1). A three-dimensional map can be generated by synthesizing an image using the information about the location of the confirmation means (20 in FIG. 1) calculated by 500). In the present invention, the three-dimensional map may be a result of modeling the monitoring area (30 in FIG. 1) in three dimensions using distance information included in the image acquired by the image sensor (21 in FIG. 1). That is, since the distance information from the image sensor (21 in FIG. 1) to the object means the distance from the image sensor (21 in FIG. 1) to the outer surface of the object, the 3D map is ultimately located within the monitoring area (30 in FIG. 1). It may be synthesized by continuously attaching the shape of the outer surface of an object that exists and has an exposed outer surface.

변화영역 검출부(도 1의 300)는 3차원 지도(현재지도)와 기 저장된 기준지도를 비교하여 변화가 발생한 영역을 검출할 수 있다.(S40) 영상을 획득하고(S20) 이를 토대로 지도를 생성하여(S30) 저장하는 단계는 기 설정된 시간 주기마다 반복될 수 있다. 따라서 변화영역 검출부(도 1의 300)는 기 저장된 3차원 지도 중 어느 하나(기준지도)와 현재 생성된 3차원 지도(현재지도)를 비교함으로써 변화영역을 검출할 수 있다. 일 예로, 변화영역 검출부(도 1의 300) 기준지도로써 가장 최초에 획득된 영상에 기초하여 생성되어 저장된 지도를 사용할 수 있다. 또한 변화영역 검출부(도 1의 300)는 기준지도로써 가장 최근에 갱신된 지도를 사용할 수도 있다.The change area detection unit (300 in FIG. 1 ) compares the 3D map (current map) with a pre-stored reference map to detect the area in which the change has occurred. (S40) Acquires an image (S20) and creates a map based on this (S40) and (S30) the storing may be repeated every preset time period. Accordingly, the change region detector (300 of FIG. 1 ) may detect the change region by comparing any one of pre-stored 3D maps (reference map) with a currently generated 3D map (current map). As an example, the map generated and stored based on the first acquired image may be used as the reference map of the change region detector (300 in FIG. 1 ). Also, the change region detection unit 300 in FIG. 1 may use the most recently updated map as a reference map.

영상 제공부(도 1의 400)는 변화영역 검출부(도 1의 300)가 검출한 변화영역의 크기가 기 설정된 임계크기 이상인지 여부를 판단한다.(S50). 영상 제공부(도 1의 400)는 변화영역의 크기가 기 설정된 임계크기 이상인 경우, 변화영역을 포함하는 영상을 사용자에게 제공할 수 있다.(S60) 변화영역의 크기가 기 설정된 임계크기 이상인 경우는 감시영역(도 1의 30)내에 존재하는 물체 중 하나 이상의 물체가 이동하거나 사라진 경우를 의미할 수 있다. 즉, 변화영역의 크기가 기 설정된 임계크기 이상인 경우란 외부인의 침입, 화재 등의 이벤트가 발생한 것을 의미할 수 있으므로, 영상 제공부(도 1의 400)는 변화영역을 포함하는 영상을 사용자에게 제공함으로써, 이벤트에 대해 사용자의 즉각적인 대응이 가능하도록 할 수 있다.The image providing unit ( 400 in FIG. 1 ) determines whether the size of the change region detected by the change region detection unit ( 300 in FIG. 1 ) is equal to or greater than a preset threshold size ( S50 ). The image providing unit ( 400 of FIG. 1 ) may provide an image including the change region to the user when the size of the change region is equal to or greater than a preset threshold size. (S60) When the size of the change region is greater than or equal to the preset threshold size may mean a case in which one or more objects among objects existing within the monitoring area (30 in FIG. 1) move or disappear. That is, when the size of the change area is greater than or equal to the preset threshold size, it may mean that an event such as an intrusion of an outsider or a fire has occurred. By doing so, it is possible to enable an immediate response of the user to the event.

감시장치(도 1의 10)는 전술한 단계 20(S20) 내지 60(S60)을 기 설정된 조건에 따라 반복하여 수행할 수 있다. 예컨대, 감시장치(도 1의 10)는 전술한 단계 20(S20) 내지 60(S60)을 기 설정된 시간 주기마다 반복하여 수행하며 이벤트 발생 여부를 검출할 수 있다.
The monitoring device (10 of FIG. 1 ) may repeatedly perform steps 20 ( S20 ) to 60 ( S60 ) according to preset conditions. For example, the monitoring device ( 10 in FIG. 1 ) may repeatedly perform the above-described steps 20 ( S20 ) to 60 ( S60 ) at a preset time period to detect whether an event has occurred.

본 발명의 실시예에 따른 감시방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The monitoring method according to an embodiment of the present invention can be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. In addition, the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention pertains.

본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.Although the present invention has been described with reference to one embodiment shown in the accompanying drawings, this is merely exemplary, and those skilled in the art will appreciate that various modifications and equivalent other embodiments are possible therefrom. you will understand

10: 감시장치
100: 영상 획득부
101: 정육면체 형상의 물체
102: 물체에 대한 거리 정보
200: 지도 생성부
300: 변화영역 검출부
400: 영상 제공부
500: 제어부
501: 확인수단의 영상 촬영 위치에 관한 정보
20: 확인수단
21: 영상센서
30: 감시영역
40: 감시영역
41 내지 47: 세부 공간
451: 테이블
452: 의자
10: monitoring device
100: image acquisition unit
101: cube-shaped object
102: distance information about the object
200: map generator
300: change region detection unit
400: video providing unit
500: control
501: information about the location of the video recording means of the confirmation means
20: confirmation means
21: image sensor
30: monitoring area
40: monitoring area
41 to 47: detailed space
451: table
452: chair

Claims (6)

확인수단을 이동하며 상기 확인수단에 탑재된 영상센서를 이용하여 감시 영역 전체 공간 또는 일부 공간에 대한 거리 정보를 제공하는 영상을 획득하는 영상획득 단계;
상기 확인수단이 상기 영상을 획득한 위치에 관한 정보와 상기 영상의 상기 거리 정보를 이용하여 상기 감시 영역 전체 공간에 대한 3차원 지도를 생성하는 지도생성 단계로써, 상기 3차원 지도는 상기 영상에 포함되어 있는 거리정보를 이용하여 상기 감시 영역을 3차원으로 모델링한 것으로써, 소정의 기준점을 기준으로 상기 감시 영역 내에 존재하는 복수의 물체를 3차원 공간상의 좌표로 나타낸 것 이고;
상기 3차원 지도와 기 저장된 기준지도를 비교하여 변화가 발생한 영역을 검출하는 변화영역 검출 단계; 및
상기 변화영역 검출 단계에서 검출한 상기 변화가 발생한 영역의 크기가 기 설정된 임계크기 이상인 경우, 상기 변화가 발생한 영역을 포함하는 영상을 사용자에게 제공하는 단계;를 포함하고,
상기 변화영역 검출 단계는
상기 3차원 지도의 3차원 공간 상의 좌표들과 상기 기준지도의 3차원 공간 상의 좌표들의 비교 결과에 기초하여 상기 변화가 발생한 영역을 검출하는 감시방법.
An image acquisition step of moving the confirmation means and acquiring an image providing distance information for the entire space or a part of the monitoring area using an image sensor mounted on the confirmation means;
A map generating step of generating a three-dimensional map for the entire space of the surveillance area by using the information on the location at which the confirmation means acquired the image and the distance information of the image, wherein the three-dimensional map is included in the image The monitoring area is modeled in 3D using the distance information, and a plurality of objects existing in the monitoring area are expressed as coordinates in 3D space based on a predetermined reference point;
a change region detection step of comparing the 3D map with a pre-stored reference map to detect a region in which a change has occurred; and
When the size of the area in which the change occurs detected in the detection of the change area is greater than or equal to a preset threshold size, providing an image including the area in which the change occurs to the user; includes;
The change region detection step is
A monitoring method for detecting the area in which the change occurs based on a result of comparing the coordinates in the three-dimensional space of the three-dimensional map with the coordinates in the three-dimensional space of the reference map.
제1 항에 있어서,
상기 영상획득 단계, 상기 지도생성 단계 및 상기 변화영역 검출 단계를 기 설정된 시간 주기 마다 반복하고,
상기 기준지도는 가장 최초에 획득된 영상에 기초하여 생성되어 저장된 지도인 감시방법.
According to claim 1,
repeating the image acquisition step, the map generation step, and the change region detection step every preset time period,
The reference map is a map that is created and stored based on the first acquired image.
제1 항에 있어서,
상기 지도생성 단계에 의해 생성된 3차원 지도를 상기 기준지도로 갱신하는 단계;를 더 포함하는 감시방법.
According to claim 1,
and updating the 3D map generated by the map generating step to the reference map.
제1 항에 있어서,
상기 제공하는 단계는
상기 변화영역 검출 단계에서 검출한 상기 변화가 발생한 영역의 크기가 기 설정된 임계크기 이상인 경우, 상기 3차원 지도와 상기 기준지도를 동시에 표시하는 화면을 제공하는 단계;를 포함하는, 감시방법.
According to claim 1,
The step of providing
and providing a screen for simultaneously displaying the three-dimensional map and the reference map when the size of the area in which the change has occurred, detected in the change area detection step, is equal to or greater than a preset threshold size.
제1 항에 있어서,
상기 영상획득 단계는
기 설정된 경로에 따라 상기 확인수단을 이동하며 상기 영상센서를 이용하여 영상을 획득하는 감시방법.
According to claim 1,
The image acquisition step is
A monitoring method for acquiring an image by using the image sensor while moving the confirmation means according to a preset path.
제1 항에 있어서
상기 제공하는 단계는
상기 변화영역 검출 단계에서 검출한 상기 변화가 발생한 영역의 크기가 기 설정된 임계크기 이상인 경우, 상기 기준지도와 상기 3차원 지도를 시간의 흐름에 따라 순차적으로 표시하는 화면을 제공하는 단계;를 포함하는, 감시방법.
2. The method of claim 1
The step of providing
When the size of the area in which the change detected in the change area detection step has occurred is greater than or equal to a preset threshold size, providing a screen for sequentially displaying the reference map and the 3D map according to the passage of time; , monitoring method.
KR1020150173299A 2015-12-07 2015-12-07 Surveillance method KR102415062B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150173299A KR102415062B1 (en) 2015-12-07 2015-12-07 Surveillance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150173299A KR102415062B1 (en) 2015-12-07 2015-12-07 Surveillance method

Publications (2)

Publication Number Publication Date
KR20170066986A KR20170066986A (en) 2017-06-15
KR102415062B1 true KR102415062B1 (en) 2022-07-01

Family

ID=59217432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150173299A KR102415062B1 (en) 2015-12-07 2015-12-07 Surveillance method

Country Status (1)

Country Link
KR (1) KR102415062B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220137638A1 (en) * 2019-03-13 2022-05-05 Chiba Institute Of Technology Information processing device and mobile robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197884A (en) * 2007-02-13 2008-08-28 Toyota Motor Corp Generation method for environmental map and mobile robot
KR101223242B1 (en) * 2012-06-29 2013-01-17 삼부기술 주식회사 Apparatus for drawing digital map

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG184978A1 (en) 2010-04-22 2012-11-29 Aerovironment Inc Unmanned aerial vehicle and method of operation
KR20120002723A (en) * 2010-07-01 2012-01-09 (주) 비전에스티 Device and method for recognizing person by using 3 dimensional image information
KR101544021B1 (en) * 2012-10-29 2015-08-13 경북대학교 산학협력단 Apparatus and method for generating 3d map
KR101964227B1 (en) * 2013-01-04 2019-04-01 한화테크윈 주식회사 Apparatus and method for control military strategy

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008197884A (en) * 2007-02-13 2008-08-28 Toyota Motor Corp Generation method for environmental map and mobile robot
KR101223242B1 (en) * 2012-06-29 2013-01-17 삼부기술 주식회사 Apparatus for drawing digital map

Also Published As

Publication number Publication date
KR20170066986A (en) 2017-06-15

Similar Documents

Publication Publication Date Title
US20210092326A1 (en) Surveillance system with fixed camera and temporary cameras
CA2981443C (en) Vehicle event recording system and method
KR101758576B1 (en) Method and apparatus for detecting object with radar and camera
WO2018104563A3 (en) Method and system for video-based positioning and mapping
JP6657498B2 (en) Method, apparatus, and computer program for presenting operational information of a mobile platform
US9824275B2 (en) Unmanned aerial vehicle detection method and unmanned aerial vehicle using same
KR102161210B1 (en) Method and Apparatus for providing multi-video summaries
CN105700551A (en) An unmanned aerial vehicle landing area determination method, an unmanned aerial vehicle landing method and related apparatuses
CN113345108B (en) Augmented reality data display method and device, electronic equipment and storage medium
KR20200014694A (en) Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium
KR102129771B1 (en) Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof
KR20200067286A (en) 3D scan and VR inspection system of exposed pipe using drone
CN107578595A (en) Liquid analytical equipment
KR102415062B1 (en) Surveillance method
KR101986015B1 (en) Device and method for multiple sensor simulation
JP2014139745A (en) Equipment management system, equipment management device, equipment management method and program
JP2016123004A (en) Imaging device installation support device, imaging device installation support method, and video recording playback equipment
KR20160073491A (en) Interactive progress monitoring system using mobile terminal and user interface of the mobile terminal
US20180359452A1 (en) Surveillance method
CN106506944B (en) Image tracking method and device for unmanned aerial vehicle
JP7437930B2 (en) Mobile objects and imaging systems
KR102181809B1 (en) Apparatus and method for checking facility
KR101964227B1 (en) Apparatus and method for control military strategy
KR101590889B1 (en) Target position estimation equipment using imaging sensors for analyzing an accuracy of target tracking method
KR101445361B1 (en) Site Monitoring System

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant