KR20230017127A - Method and system for detecting unmanned aerial vehicle using plurality of image sensors - Google Patents

Method and system for detecting unmanned aerial vehicle using plurality of image sensors Download PDF

Info

Publication number
KR20230017127A
KR20230017127A KR1020220071265A KR20220071265A KR20230017127A KR 20230017127 A KR20230017127 A KR 20230017127A KR 1020220071265 A KR1020220071265 A KR 1020220071265A KR 20220071265 A KR20220071265 A KR 20220071265A KR 20230017127 A KR20230017127 A KR 20230017127A
Authority
KR
South Korea
Prior art keywords
image sensor
uav
detection
classification
camera
Prior art date
Application number
KR1020220071265A
Other languages
Korean (ko)
Inventor
김영일
박성희
송순용
여건민
이일우
정운철
허태욱
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/873,684 priority Critical patent/US20230029566A1/en
Publication of KR20230017127A publication Critical patent/KR20230017127A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)

Abstract

Disclosed are an unmanned aerial vehicle detection method using a plurality of image sensors and a system thereof, which detect an unmanned aerial vehicle and classify the type of the detected unmanned aerial vehicle with a small number of image sensors in comparison to a conventional unmanned aerial vehicle detection system. The unmanned aerial vehicle detection method comprises: a step in which a plurality of detection image sensors detect an unmanned aerial vehicle in an unmanned aerial vehicle detection area; a step of transmitting location information of a detection image sensor which detected an unmanned aerial vehicle and distance information of an unmanned aerial vehicle to a classification image sensor if an unmanned aerial vehicle is detected; a step in which the classification image sensor acquires a magnified image of an unmanned aerial vehicle by setting a parameter of a camera of the classification image sensor in accordance with the location information and the distance information; and a step of analyzing the magnified image to classify the type of the unmanned aerial vehicle.

Description

복수의 영상 센서들을 이용한 무인기 검출 방법 및 시스템{METHOD AND SYSTEM FOR DETECTING UNMANNED AERIAL VEHICLE USING PLURALITY OF IMAGE SENSORS}Unmanned aerial vehicle detection method and system using a plurality of image sensors

본 발명은 무인기 검출 방법 및 시스템에 관한 것으로, 복수의 영상 센서들을 연동시켜 무인기를 검출하는 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for detecting an unmanned aerial vehicle, and relates to a method and system for detecting an unmanned aerial vehicle by interlocking a plurality of image sensors.

최근 소형 무인기들의 공항, 공공 장소, 보호지역 등에 대한 침범 사고로 사회적 불안이 고조되고 있다. 특히, 군사 목적으로 전용되는 소형 무인기를 통한 공격으로부터 인명과 재산을 보호하기 위해서 다양한 기술들이 적용되고 있다.Recently, social unrest is rising due to the invasion of small unmanned aerial vehicles into airports, public places, and protected areas. In particular, various technologies are being applied to protect human life and property from attacks through small unmanned aerial vehicles diverted for military purposes.

종래의 무인기 검출 시스템 중 저해상도 광각 카메라를 사용하는 무인기 검출 시스템은 고해상도 망원 카메라를 사용하는 무인기 검출 시스템에 비하여 무인기를 검출할 수 있는 영역의 면적이 넓으나, 무인기를 검출할 수 있는 검출 거리가 짧고, 저해상도의 광각 카메라가 촬영한 영상으로는 해상도의 부족으로 인하여 무인기의 종류를 분류할 수 없다는 한계점이 있었다.Among the conventional UAV detection systems, the UAV detection system using a low-resolution wide-angle camera has a wider area for detecting the UAV than the UAV detection system using a high-resolution telephoto camera, but the detection distance for detecting the UAV is short. However, there was a limitation that the type of UAV could not be classified due to the lack of resolution with the images taken by the low-resolution wide-angle camera.

반면, 고해상도 망원 카메라를 사용하는 무인기 검출 시스템은 저해상도 광각 카메라를 사용하는 무인기 검출 시스템에 비하여 무인기를 검출할 수 있는 검출 거리가 길고, 무인기의 종류를 분류할 수 있으나, 무인기를 검출할 수 있는 영역의 면적이 좁다는 한계가 있었다. On the other hand, compared to the UAV detection system using a low-resolution wide-angle camera, the UAV detection system using a high-resolution telephoto camera has a longer detection distance and can classify the type of UAV, but the UAV can be detected in an area that can be detected. There was a limitation that the area of was narrow.

따라서, 무인기를 검출할 수 있는 영역이 넓으면서도 무인기의 종류를 식별할 수 있는 무인기 검출 방법이 요청되고 있다.Therefore, there is a demand for a method for detecting an UAV capable of identifying the type of UAV while having a wide area for detecting the UAV.

본 발명은 영상 센서들을 무인기를 검출하는 검출 영상 센서와 무인기를 분류하는 분류 영상 센서로 분할하여 구성함으로써, 종래의 무인기 검출 시스템에 비하여 소수의 영상 센서로 무인기를 검출하고 검출한 무인기의 종류를 분류하는 방법 및 시스템을 제공할 수 있다.The present invention divides the image sensors into a detection image sensor for detecting UAVs and a classification image sensor for classifying UAVs, thereby detecting UAVs with a small number of image sensors and classifying the types of detected UAVs compared to conventional UAV detection systems. A method and system can be provided.

또한, 본 발명은 무인기 금지 구역 안에 기준 플래그를 설치하여 기준 플래그를 기준으로 검출 영상 센서 및 분류 영상 센서를 캘리브레이션 함으로써, 복수의 영상 센서들 간의 협력을 위한 위치 정보를 용이하게 공유하는 방법 및 시스템을 제공할 수 있다.In addition, the present invention provides a method and system for easily sharing location information for cooperation between a plurality of image sensors by calibrating a detection image sensor and a classification image sensor based on a reference flag by installing a reference flag in a UAV prohibited area. can provide

본 발명의 일실시예에 따른 무인기 검출 방법은 복수의 검출 영상 센서들 각각이 무인기 검출 영역에서 무인기를 검출하는 단계; 무인기가 검출된 경우, 분류 영상 센서에게 무인기를 검출한 검출 영상 센서의 위치 정보 및 무인기의 거리 정보를 전송하는 단계; 상기 분류 영상 센서가 상기 위치 정보 및 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 파라미터를 설정하여 무인기의 확대 영상을 획득하는 단계; 및 상기 확대 영상을 분석하여 상기 무인기의 종류를 분류하는 단계를 포함할 수 있다.The UAV detection method according to an embodiment of the present invention includes the steps of detecting the UAV in a UAV detection area by each of a plurality of detection image sensors; When the UAV is detected, transmitting location information of the detection image sensor that detected the UAV and distance information of the UAV to the classification image sensor; obtaining, by the classification image sensor, an enlarged image of the UAV by setting camera parameters of the classification image sensor according to the location information and the distance information; and classifying the type of the UAV by analyzing the enlarged image.

본 발명의 일실시예에 따른 무인기 검출 방법의 상기 무인기를 검출하는 단계는, 복수의 검출 영상 센서들 각각이 복수의 검출 영상 센서들 각각에게 할당된 무인기 검출 영역의 영상을 촬영하는 단계; 복수의 검출 영상 센서들 각각이 촬영한 영상을 분석하여 촬영한 영상에 무인기가 포함되어 있는지 여부를 확인하는 단계; 및 촬영한 영상에 무인기가 포함된 경우, 무인기가 포함된 영상을 촬영한 검출 영상 센서가 무인기 검출 영역 안에서 무인기가 검출된 것으로 판단하고, 무인기과 검출 영상 센서 간의 거리를 식별하는 단계를 포함할 수 있다. The step of detecting the UAV of the UAV detection method according to an embodiment of the present invention includes: each of a plurality of detection image sensors taking an image of a UAV detection area allocated to each of the plurality of detection image sensors; Analyzing an image captured by each of the plurality of detection image sensors to determine whether an unmanned aerial vehicle is included in the captured image; and when the captured image includes the UAV, determining that the UAV is detected in the UAV detection area by the detection image sensor that has captured the image including the UAV, and identifying a distance between the UAV and the detection image sensor. .

본 발명의 일실시예에 따른 무인기 검출 방법의 상기 거리 정보를 전송하는 단계는, 무인기가 포함된 영상을 촬영한 검출 영상 센서가 분류 영상 센서를 호출하기 위한 호출 신호를 송신하는 단계; 무인기가 포함된 영상을 촬영한 검출 영상 센서가 일정 거리 안에 위치한 적어도 하나의 분류 영상 센서로부터 응답을 수신하는 단계; 및 무인기가 포함된 영상을 촬영한 검출 영상 센서가 응답을 가장 먼저 전송한 분류 영상 센서에게 무인기가 포함된 영상을 촬영한 검출 영상 센서의 위치 정보 및 무인기과 검출 영상 센서 간의 거리를 전송하는 단계를 포함할 수 있다.The step of transmitting the distance information of the UAV detection method according to an embodiment of the present invention includes transmitting a call signal for calling a classification image sensor by a detection image sensor that has captured an image including the UAV; Receiving a response from at least one classification image sensor located within a predetermined distance by a detection image sensor that has captured an image including an unmanned aerial vehicle; and transmitting, by the detection image sensor capturing the image including the UAV, the location information of the detection image sensor capturing the image including the UAV and the distance between the UAV and the detection image sensor to the classification image sensor that first transmits a response. can do.

본 발명의 일실시예에 따른 무인기 검출 방법의 상기 무인기의 확대 영상을 획득하는 단계는, 상기 분류 영상 센서가 상기 위치 정보에 따라 상기 분류 영상 센서의 카메라의 각도 파라미터를 결정하고, 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 배율 파라미터를 결정하는 단계; 상기 분류 영상 센서가 상기 각도 파라미터에 따라 상기 분류 영상 센서의 카메라의 각도를 제어하고, 상기 배율 파라미터에 따라 상기 분류 영상 센서의 카메라의 줌을 제어하는 단계; 및 상기 분류 영상 센서가 상기 카메라를 이용하여 무인기의 확대 영상을 촬영하는 단계를 포함할 수 있다. Acquiring an enlarged image of the UAV of the UAV detection method according to an embodiment of the present invention includes determining, by the classification image sensor, an angular parameter of a camera of the classification image sensor according to the location information, and determining the distance information according to the distance information. determining a magnification parameter of a camera of the classification image sensor according to; controlling, by the classification image sensor, an angle of a camera of the classification image sensor according to the angle parameter and controlling a zoom of a camera of the classification image sensor according to the magnification parameter; and capturing, by the classification image sensor, an enlarged image of the UAV using the camera.

본 발명의 일실시예에 따른 무인기 검출 방법은 상기 확대 영상을 분석하여 상기 무인기의 종류를 분류할 수 없는 경우, 상기 분류 영상 센서의 카메라의 파라미터를 보정하여 확대 영상을 재촬영하는 단계를 더 포함하고, 상기 분류하는 단계는 재촬영한 확대 영상을 분석하여 상기 무인기의 종류를 분류할 수 있다.The method for detecting an UAV according to an embodiment of the present invention further includes re-photographing an enlarged image by correcting parameters of a camera of the classification image sensor when the type of the UAV cannot be classified by analyzing the enlarged image. In the classifying step, the type of the UAV may be classified by analyzing the recaptured enlarged image.

본 발명의 일실시예에 따른 무인기 검출 시스템은 무인기 금지 구역의 전방에 배치되어 무인기 금지 구역에 진입한 무인기를 검출하는 복수의 검출 영상 센서들; 및 상기 무인기 금지 구역의 후방에 배치되며, 상기 검출 영상 센서들 중 적어도 하나가 무인기를 검출한 경우, 무인기를 검출한 검출 영상 센서의 위치 정보 및 무인기의 거리 정보에 따라 무인기의 확대 영상을 획득하여 상기 무인기의 종류를 분류하는 분류 영상 센서를 포함할 수 있다.An UAV detection system according to an embodiment of the present invention includes a plurality of detection image sensors disposed in front of an UAV prohibited area to detect a UAV entering the UAV prohibited area; And disposed behind the UAV prohibited area, when at least one of the detection image sensors detects the UAV, obtains an enlarged image of the UAV according to the location information of the detection image sensor that detected the UAV and the distance information of the UAV A classification image sensor for classifying the type of the UAV may be included.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 검출 영상 센서들은, 상기 분류 영상 센서와 상기 무인기 금지 구역에 설치한 기준 플래그를 기준으로 무인기의 검출 방향을 일치시키기 위한 위치 조정(calibration)을 수행할 수 있다.The detection image sensors of the UAV detection system according to an embodiment of the present invention perform position calibration to match the detection direction of the UAV based on the classification image sensor and a reference flag installed in the UAV prohibited area. can do.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 검출 영상 센서들은, 검출 영상 센서의 카메라 화면 중앙에 기준 플래그가 표시되도록 상기 검출 영상 센서의 PT(Panning Tilting)를 제어하여 위치 조정 초기값을 설정할 수 있다.The detection image sensors of the UAV detection system according to an embodiment of the present invention set an initial position adjustment value by controlling panning tilting (PT) of the detection image sensor so that a reference flag is displayed in the center of the camera screen of the detection image sensor. can

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 분류 영상 센서들은, 분류 영상 센서의 카메라 화면 중앙에 기준 플래그가 표시되도록 상기 분류 영상 센서의 PT를 제어하여 위치 조정 초기값을 설정할 수 있다.The classification image sensors of the UAV detection system according to an embodiment of the present invention may set an initial position adjustment value by controlling the PT of the classification image sensor so that a reference flag is displayed in the center of the camera screen of the classification image sensor.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 검출 영상 센서들은, 상기 검출 영상 센서의 카메라로 촬영한 영상에 포함된 무인기의 크기를 나타내는 픽셀수와 카메라 렌즈 배율을 참조하여 상기 검출 영상 센서와 무인기 간의 거리를 결정할 수 있다.The detection image sensors of the UAV detection system according to an embodiment of the present invention refer to the number of pixels representing the size of the UAV included in the image captured by the camera of the detection image sensor and the magnification of the camera lens, and the detection image sensor and The distance between drones can be determined.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 검출 영상 센서들은, 무인기를 검출한 경우, 검출한 무인기가 상기 검출 영상 센서의 카메라 화면의 중심부에 위치하도록 상기 검출 영상 센서의 PT를 제어할 수 있다.The detection image sensors of the UAV detection system according to an embodiment of the present invention, when detecting the UAV, can control the PT of the detection image sensor so that the detected UAV is located in the center of the camera screen of the detection image sensor. there is.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 무인기를 검출한 검출 영상 센서는, 분류 영상 센서를 호출하기 위한 호출 신호를 송출하고, 일정 거리 안에 위치한 적어도 하나의 분류 영상 센서로부터 응답을 수신한 경우, 응답을 가장 먼저 전송한 분류 영상 센서에게 상기 검출 영상 센서의 PT, 상기 검출 영상 센서가 설치된 위치를 나타내는 위치 정보 및 상기 검출 영상 센서와 무인기 간의 거리를 나타내는 거리 정보를 전송할 수 있다.The detection image sensor for detecting the UAV of the UAV detection system according to an embodiment of the present invention transmits a call signal for calling a classification image sensor and receives a response from at least one classification image sensor located within a certain distance In this case, the PT of the detection image sensor, location information indicating the location where the detection image sensor is installed, and distance information indicating the distance between the detection image sensor and the UAV may be transmitted to the classification image sensor that first transmits the response.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 분류 영상 센서는, 상기 위치 정보 및 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 파라미터를 설정하여 무인기의 확대 영상을 획득할 수 있다.The classification image sensor of the UAV detection system according to an embodiment of the present invention may obtain an enlarged image of the UAV by setting camera parameters of the classification image sensor according to the location information and the distance information.

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 분류 영상 센서는, 상기 위치 정보에 따라 상기 분류 영상 센서의 카메라의 각도 파라미터를 결정하고, 상기 각도 파라미터에 따라 상기 분류 영상 센서의 카메라의 각도를 제어하며, 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 배율 파라미터를 결정하고, 상기 배율 파라미터에 따라 상기 분류 영상 센서의 카메라의 줌을 제어하며, 각도 및 줌이 제어된 상기 분류 영상 센서의 카메라를 이용하여 무인기의 확대 영상을 촬영할 수 있다. The classification image sensor of the UAV detection system according to an embodiment of the present invention determines an angle parameter of the camera of the classification image sensor according to the location information, and determines an angle of the camera of the classification image sensor according to the angle parameter. controls, determines a magnification parameter of the camera of the classification image sensor according to the distance information, controls zoom of the camera of the classification image sensor according to the magnification parameter, and controls the angle and zoom of the camera of the classification image sensor. You can take an enlarged image of the UAV using .

본 발명의 일실시예에 따른 무인기 검출 시스템의 상기 분류 영상 센서는, 상기 확대 영상을 분석하여 상기 무인기의 종류를 분류할 수 없는 경우, 상기 분류 영상 센서의 카메라의 파라미터를 보정하여 확대 영상을 재촬영하고, 재촬영한 확대 영상을 분석하여 상기 무인기의 종류를 분류할 수 있다.The classification image sensor of the UAV detection system according to an embodiment of the present invention, when the type of the UAV cannot be classified by analyzing the enlarged image, corrects the parameters of the camera of the classification image sensor to reproduce the enlarged image. It is possible to classify the type of the UAV by analyzing the photographed and re-captured enlarged image.

본 발명의 일실시예에 의하면, 영상 센서들을 무인기를 검출하는 검출 영상 센서와 무인기를 분류하는 분류 영상 센서로 분할하여 구성하고, 검출 영상 센서에서 무인기가 검출된 경우, 검출된 무인기의 위치에 따라 분류 영상 센서의 카메라의 배율을 조정하여 무인기의 확대 영상을 촬영하고, 확대 영상을 분석하여 무인기의 종류를 분류함으로써, 종래의 무인기 검출 시스템에 비하여 소수의 영상 센서로 무인기를 검출하고 검출한 무인기의 종류를 분류할 수 있다.According to an embodiment of the present invention, the image sensors are divided into a detection image sensor for detecting the UAV and a classification image sensor for classifying the UAV, and when the UAV is detected by the detection image sensor, according to the location of the detected UAV. By adjusting the magnification of the camera of the classification image sensor to take an enlarged image of the UAV, and by analyzing the enlarged image and classifying the type of UAV, compared to the conventional UAV detection system, a small number of image sensors detect the UAV and the detected UAV types can be classified.

또한, 본 발명의 일실시예에 의하면, 무인기 금지 구역 안에 기준 플래그를 설치하여 기준 플래그를 기준으로 검출 영상 센서 및 분류 영상 센서를 캘리브레이션 함으로써, 복수의 영상 센서들 간의 협력을 위한 위치 정보(설치 위치 및 카메라 촬영 방향 정보)를 용이하게 공유할 수 있다.In addition, according to one embodiment of the present invention, by installing a reference flag in the UAV prohibited area and calibrating the detection image sensor and the classification image sensor based on the reference flag, location information for cooperation between a plurality of image sensors (installation location and camera shooting direction information) can be easily shared.

도 1은 본 발명의 일실시예에 따른 무인기 검출 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 무인기 검출 시스템의 동작을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서의 일례이다.
도 4는 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서 배치 일례이다.
도 5는 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서 간 패닝 각도 캘리브레이션 개념도이다.
도 6은 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서 간 틸팅 각도 캘리브레이션 개념도이다.
도 7은 본 발명의 일실시예에 따른 무인기 검출 시스템의 틸팅 제어 개념도이다.
도 8은 본 발명의 일실시예에 따른 무인기 검출 방법을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 영상 센서의 캘리브레이션 방법을 도시한 플로우차트이다.
도 10은 본 발명의 일실시예에 따른 무인기 검출 시스템의 검출 영상 센서의 동작 방법을 도시한 플로우차트이다.
도 11은 본 발명의 일실시예에 따른 무인기 검출 시스템의 분류 영상 센서의 동작 방법을 도시한 플로우차트이다.1 is a diagram showing a UAV detection system according to an embodiment of the present invention.
Figure 2 is a diagram showing the operation of the UAV detection system according to an embodiment of the present invention.
3 is an example of an image sensor of an UAV detection system according to an embodiment of the present invention.
Figure 4 is an example of the image sensor arrangement of the UAV detection system according to an embodiment of the present invention.
5 is a conceptual diagram of panning angle calibration between image sensors of an UAV detection system according to an embodiment of the present invention.
6 is a conceptual diagram of tilting angle calibration between image sensors of an UAV detection system according to an embodiment of the present invention.
7 is a conceptual diagram of tilting control of an UAV detection system according to an embodiment of the present invention.
8 is a diagram illustrating a method for detecting an unmanned aerial vehicle according to an embodiment of the present invention.
9 is a flowchart illustrating a method for calibrating an image sensor according to an embodiment of the present invention.
10 is a flowchart illustrating a method of operating a detection image sensor of an UAV detection system according to an embodiment of the present invention.
11 is a flowchart illustrating a method of operating a classification image sensor of an UAV detection system according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 무인기 검출 방법은 무인기 검출 시스템에 의해 수행될 수 있다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The UAV detection method according to an embodiment of the present invention may be performed by a UAV detection system.

도 1은 본 발명의 일실시예에 따른 무인기 검출 시스템을 나타내는 도면이다. 1 is a diagram showing a UAV detection system according to an embodiment of the present invention.

무인기 검출 시스템은 도 1에 도시된 바와 같이 복수의 검출 영상 센서(110)들과 분류 영상 센서(120)들 및 관제 서버(130)로 구성될 수 있다.As shown in FIG. 1 , the UAV detection system may include a plurality of detection image sensors 110 , classification image sensors 120 , and a control server 130 .

검출 영상 센서(110)들은 무인기 금지 구역의 전방에 배치되어 무인기 금지 구역에 진입한 무인기를 검출할 수 있다. 이때, 검출 영상 센서(110)들은 검출 영상 센서(110)의 카메라로 촬영한 영상에 포함된 무인기의 크기를 나타내는 픽셀수와 카메라 렌즈 배율을 참조하여 검출 영상 센서(110)와 무인기 간의 거리를 결정할 수 있다. 또한, 검출 영상 센서(100)의 카메라는 무인기의 존재 여부를 식별가능한 해상도의 광각 카메라일 수 있다.The detection image sensors 110 may be disposed in front of the UAV restricted area to detect a UAV entering the UAV prohibited area. At this time, the detection image sensors 110 determine the distance between the detection image sensor 110 and the UAV by referring to the number of pixels representing the size of the UAV included in the image captured by the camera of the detection image sensor 110 and the magnification of the camera lens. can In addition, the camera of the detection image sensor 100 may be a wide-angle camera having a resolution capable of identifying the presence or absence of an unmanned aerial vehicle.

분류 영상 센서(120)들은 무인기 금지 구역의 후방에 배치될 수 있다. 그리고, 검출 영상 센서(110)들 중 적어도 하나가 무인기를 검출한 경우, 무인기를 검출한 검출 영상 센서(110)로부터 일정 거리 안에 위치한 분류 영상 센서(120)들 중 하나가 무인기를 검출한 검출 영상 센서(110)의 위치 정보 및 무인기의 거리 정보를 수신할 수 있다. 그리고, 무인기를 검출한 검출 영상 센서(110)의 위치 정보 및 무인기의 거리 정보를 수신한 분류 영상 센서(120)는 수신한 검출 영상 센서(110)의 위치 정보 및 무인기의 거리 정보에 따라 무인기의 확대 영상을 획득하여 무인기의 종류를 분류할 수 있다. 또한, 분류 영상 센서(120)의 카메라는 무인기의 종류를 식별가능한 해상도까지 배율의 변경이 가능한 망원 카메라일 수 있다.Classification image sensors 120 may be disposed behind the UAV prohibited area. And, when at least one of the detection image sensors 110 detects the UAV, one of the classification image sensors 120 located within a certain distance from the detection image sensor 110 that detected the UAV detects the UAV. Location information of the sensor 110 and distance information of the UAV may be received. In addition, the classification image sensor 120 that receives the location information of the detection image sensor 110 that detected the UAV and the distance information of the UAV determines the location of the UAV according to the received location information of the detection image sensor 110 and the distance information of the UAV. It is possible to classify the type of UAV by obtaining an enlarged image. In addition, the camera of the classification image sensor 120 may be a telephoto camera capable of changing magnification to a resolution capable of identifying the type of UAV.

검출 영상 센서(110)들은 분류 영상 센서(120)와 무인기 금지 구역에 설치한 기준 플래그를 기준으로 무인기의 검출 방향을 일치시키기 위한 위치 조정(calibration)을 수행할 수 있다. 또한, 분류 영상 센서(120)도 검출 영상 센서(110)들과 기준 플래그를 기준으로 위치 조정을 수행할 수 있다.The detection image sensors 110 may perform position calibration to match the detection direction of the UAV based on the classification image sensor 120 and a reference flag installed in the UAV prohibited area. In addition, the classification image sensor 120 may also perform position adjustment based on the detection image sensors 110 and the reference flag.

이때, 검출 영상 센서(110)들 각각은 검출 영상 센서(110)의 카메라 화면 중앙에 기준 플래그가 표시되도록 검출 영상 센서(110)의 PT(Panning Tilting)를 제어하여 위치 조정 초기값을 설정할 수 있다. 또한, 분류 영상 센서(120)들 각각은 분류 영상 센서(120)의 카메라 화면 중앙에 기준 플래그가 표시되도록 분류 영상 센서(120)의 PT를 제어하여 위치 조정 초기값을 설정할 수 있다.At this time, each of the detection image sensors 110 may set an initial position adjustment value by controlling panning tilting (PT) of the detection image sensor 110 so that a reference flag is displayed in the center of the camera screen of the detection image sensor 110. . In addition, each of the classification image sensors 120 may set an initial position adjustment value by controlling the PT of the classification image sensor 120 so that a reference flag is displayed in the center of the camera screen of the classification image sensor 120 .

그리고, 검출 영상 센서(110)들 각각은 무인기를 검출한 경우, 검출한 무인기가 검출 영상 센서(110)의 카메라 화면의 중심부에 위치하도록 검출 영상 센서(110)의 PT를 제어할 수 있다. In addition, when each of the detection image sensors 110 detects a UAV, the PT of the detection image sensor 110 may be controlled so that the detected UAV is positioned at the center of the camera screen of the detection image sensor 110 .

또한, 무인기를 검출한 검출 영상 센서(110)는 분류 영상 센서(120)를 호출하기 위한 호출 신호를 송출할 수 있다. 일정 거리 안에 위치한 적어도 하나의 분류 영상 센서(120)로부터 호출 신호에 대한 응답을 수신한 경우, 무인기를 검출한 검출 영상 센서(110)는 응답을 가장 먼저 전송한 분류 영상 센서(120)에게 검출 영상 센서(110)의 PT, 검출 영상 센서(110)가 설치된 위치를 나타내는 위치 정보 및 검출 영상 센서(110)와 무인기 간의 거리를 나타내는 거리 정보를 전송할 수 있다.In addition, the detection image sensor 110 that has detected the UAV may transmit a call signal for calling the classification image sensor 120 . When a response to the call signal is received from at least one classification image sensor 120 located within a certain distance, the detection image sensor 110 that has detected the UAV sends the detection image to the classification image sensor 120 that first transmits the response. Positional information indicating the PT of the sensor 110, the location where the detection image sensor 110 is installed, and distance information indicating the distance between the detection image sensor 110 and the UAV may be transmitted.

그리고, 분류 영상 센서(120)는 검출 영상 센서(110)로부터 수신한 위치 정보 및 거리 정보에 따라 분류 영상 센서(120)의 카메라의 파라미터를 설정하여 무인기의 확대 영상을 획득할 수 있다. 이때, 분류 영상 센서(120)는 수신한 위치 정보에 따라 분류 영상 센서(120)의 카메라의 각도 파라미터를 결정하고, 각도 파라미터에 따라 분류 영상 센서(120)의 카메라의 각도를 제어할 수 있다. 또한, 분류 영상 센서(120)는 수신한 거리 정보에 따라 분류 영상 센서(120)의 카메라의 배율 파라미터를 결정하고, 배율 파라미터에 따라 분류 영상 센서(120)의 카메라의 줌을 제어할 수 있다. 그리고, 분류 영상 센서(120)는 각도 및 줌이 제어된 분류 영상 센서(120)의 카메라를 이용하여 무인기의 확대 영상을 촬영할 수 있다.The classification image sensor 120 may obtain an enlarged image of the UAV by setting camera parameters of the classification image sensor 120 according to the location information and distance information received from the detection image sensor 110 . At this time, the classification image sensor 120 may determine an angle parameter of the camera of the classification image sensor 120 according to the received location information, and control the angle of the camera of the classification image sensor 120 according to the angle parameter. In addition, the classification image sensor 120 may determine a magnification parameter of the camera of the classification image sensor 120 according to the received distance information, and control zoom of the camera of the classification image sensor 120 according to the magnification parameter. In addition, the classification image sensor 120 may capture an enlarged image of the UAV using a camera of the classification image sensor 120 whose angle and zoom are controlled.

또한, 확대 영상을 분석하여 무인기의 종류를 분류할 수 없는 경우, 분류 영상 센서(120)는 분류 영상 센서(120)의 카메라의 파라미터를 보정하여 확대 영상을 재촬영하고, 재촬영한 확대 영상을 분석하여 무인기의 종류를 분류할 수 있다.In addition, when the type of UAV cannot be classified by analyzing the magnified image, the classification image sensor 120 recaptures the magnified image by correcting parameters of the camera of the classification image sensor 120, and displays the recaptured magnified image. It can be analyzed to classify the type of UAV.

관제 서버(130)는 검출 영상 센서(110)들과 분류 영상 센서(120)들 각각의 위치 정보 및 위치 조정 초기값들을 관리할 수 있다. 또한, 분류 영상 센서(120)는 수신한 위치 정보 및 분류한 무인기의 종류를 관제 서버(130)로 전송할 수 있다. 이때, 관제 서버(130)는 위치 정보에 따라 무인기의 위치를 식별하고, 분류 영상 센서(120)가 분류한 무인기의 종류와 매핑하여 사용자에게 제공할 수 있다.The control server 130 may manage position information and position adjustment initial values of each of the detection image sensors 110 and the classification image sensors 120 . In addition, the classification image sensor 120 may transmit the received location information and the type of classified UAV to the control server 130 . At this time, the control server 130 may identify the location of the UAV according to the location information, map it to the type of UAV classified by the classification image sensor 120, and provide it to the user.

본 발명의 일실시예에 따른 무인기 검출 시스템은 검출 영상 센서(110)들로 무인기를 검출하고, 검출 영상 센서(110)에서 무인기가 검출된 경우, 검출된 무인기의 위치에 따라 분류 영상 센서(120)의 카메라의 배율을 조정하여 무인기의 확대 영상을 촬영하고, 확대 영상을 분석하여 무인기의 종류를 분류함으로써, 종래의 무인기 검출 시스템에 비하여 소수의 영상 센서로 무인기를 검출하고 검출한 무인기의 종류를 분류할 수 있다.The UAV detection system according to an embodiment of the present invention detects the UAV with the detection image sensors 110, and when the UAV is detected by the detection image sensor 110, the classification image sensor 120 according to the position of the detected UAV. ) by adjusting the magnification of the camera to take an enlarged image of the UAV and analyze the enlarged image to classify the type of UAV, thereby detecting the UAV with a small number of image sensors compared to the conventional UAV detection system and classifying the type of the detected UAV. can be classified.

도 2는 본 발명의 일실시예에 따른 무인기 검출 시스템의 동작을 나타내는 도면이다. Figure 2 is a diagram showing the operation of the UAV detection system according to an embodiment of the present invention.

무인기 검출 시스템은 도 2에 도시된 바와 같이 무인기 금지 구역(200) 안에 복수의 영상 센서(210, 220, 230, 240, 250)들을 배치할 수 있다. 이때, 영상 센서(210, 220, 230, 240, 250)들 각각은 카메라와 영상 딥러닝 알고리즘을 수행하는 GPU장치로 구성될 수 있다. 그리고, 관제 서버(130)가 영상 센서들을 제어 및 관리할 수 있다. 이때, 영상 센서들 각각과 관제 서버(130)는 IoT네트웍(700)을 통해서 상호 연동될 수 있다.As shown in FIG. 2 , the UAV detection system may place a plurality of image sensors 210 , 220 , 230 , 240 , and 250 in the UAV prohibited area 200 . In this case, each of the image sensors 210, 220, 230, 240, and 250 may be composed of a camera and a GPU device that performs an image deep learning algorithm. Also, the control server 130 may control and manage the image sensors. At this time, each of the image sensors and the control server 130 may interoperate through the IoT network 700.

또한, 영상 센서들 각각은 카메라 영상에 대한 딥러닝 알고리즘(예: Yolo, ResNet, RE3 등)분석을 통해 무인기 금지 구역(200) 안에 진입한 무인기(201)를 검출하거나, 분류할 수 있다.In addition, each of the image sensors may detect or classify the UAV 201 entering the UAV prohibited area 200 through a deep learning algorithm (eg, Yolo, ResNet, RE3, etc.) analysis of the camera image.

이때, 무인기 금지 구역(200)의 전방에 배치된 영상 센서(210, 220, 230)들은 검출 영상 센서(110)이고, 무인기 금지 구역(200)의 후방에 배치된 영상 센서(240, 250)는 분류 영상 센서(120)일 수 있다. 그리고, 본 발명의 일실시예에 따른 무인기 검출 시스템은 저해상도의 광각 카메라가 포함된 검출 영상 센서(110)를 이용하여 무인기(201)의 존재 여부를 검출하고, 고해상도의 망원 카메라가 포함된 분류 영상 센서(120)에서 무인기(201)의 확대 영상을 촬영하여 무인기(201)의 종류를 분류할 수 있다.At this time, the image sensors 210, 220, and 230 disposed in front of the UAV prohibited area 200 are the detection image sensors 110, and the image sensors 240 and 250 disposed in the rear of the UAV prohibited area 200 are It may be the classification image sensor 120 . In addition, the UAV detection system according to an embodiment of the present invention detects the existence of the UAV 201 using the detection image sensor 110 including a low-resolution wide-angle camera, and detects the classification image including a high-resolution telephoto camera. The type of the UAV 201 may be classified by capturing an enlarged image of the UAV 201 by the sensor 120 .

예를 들어, 검출 영상 센서(110)인 영상 센서(210)는 광각 카메라로 촬영한 영상에 포함된 객체에 대한 딥러닝을 통해 무인기(201)을 검출할 수 있다. 이때, 광각 카메라로 촬영한 영상에 포함된 객체의 크기는 20*20 픽셀일 수 있다.For example, the image sensor 210 that is the detection image sensor 110 may detect the UAV 201 through deep learning on an object included in an image captured by a wide-angle camera. In this case, the size of the object included in the image captured by the wide-angle camera may be 20*20 pixels.

그리고, 영상 센서(210)은 분류 영상 센서(120)인 영상 센서(240)에게 영상 센서(210)의 위치 정보 및 무인기의 거리 정보를 전송할 수 있다.Also, the image sensor 210 may transmit location information of the image sensor 210 and distance information of the UAV to the image sensor 240 that is the classification image sensor 120 .

영상 센서(240)는 수신한 위치 정보 및 거리 정보에 따라 무인기(201)의 위치를 식별하고, 무인기(201)의 위치에 따라 카메라의 위치와 배율을 제어(Panning Tilting Zooming)하여 무인기(201)의 확대 영상을 촬영할 수 있다. 예를 들어, 영상 센서(240)가 촬영한 확대 영상에 포함된 무인기(201)의 크기는 80*80 픽셀일 수 있다.The image sensor 240 identifies the location of the UAV 201 according to the received location information and distance information, and controls the location and magnification of the camera according to the location of the UAV 201 (panning tilting zooming) to control the UAV 201. It is possible to take an enlarged image of For example, the size of the drone 201 included in the enlarged image captured by the image sensor 240 may be 80*80 pixels.

즉, 영상 센서(240)가 촬영한 확대 영상에는 무인기(201)가 종류를 분류할 수 있는 크기의 객체로 포함되어 있으므로, 영상 센서(240)는 확대 영상에 포함된 객체와 사전에 학습한 무인기 데이터 세트를 비교하여 무인기(201)의 종류를 분류할 수 있다.That is, since the UAV 201 is included in the enlarged image captured by the image sensor 240 as an object of a size capable of classifying the type, the image sensor 240 may use the object included in the enlarged image and the previously learned UAV. The type of drone 201 can be classified by comparing the data sets.

정리하면, 본 발명의 일실시예에 따른 무인기 검출 시스템은 영상 센서들을 검출 영상 센서(110)인 영상 센서(210,220,230)과 분류 영상 센서(120)인 영상 센서(240, 250)들로 구분하여 운용할 수 있다. 이때, 검출 영상 센서(110)인 영상 센서(210,220,230)는 광각(예: 70도)의 화면으로도 무인기(201)를 검출할 수 있으므로, 각각의 영상 센서들이 무인기(201)의 침입을 모니터링하는 영역을 확장할 수 있다. 또한, 분류 영상 센서(120)인 영상 센서(240, 250)들은 검출 영상 센서(110)로부터 요청을 받은 위치로 카메라의 방향과 렌즈 배율을 조절하여 분류 기능을 수행할 수 있으므로, 분류 정확도를 높일 수 있을 뿐 아니라 무인기(201)의 종류를 분류하기 위하여 필요한 카메라의 개수를 감소시킬 수 있다.In summary, the UAV detection system according to an embodiment of the present invention is operated by dividing the image sensors into image sensors 210, 220, 230 that are the detection image sensor 110 and image sensors 240, 250 that are the classification image sensor 120. can do. At this time, since the image sensors 210 , 220 , and 230 that are the detection image sensor 110 can detect the UAV 201 even on a wide-angle (eg, 70 degree) screen, each image sensor monitors the intrusion of the UAV 201. area can be expanded. In addition, the image sensors 240 and 250, which are the classification image sensor 120, can perform a classification function by adjusting the direction and lens magnification of the camera to the position requested by the detection image sensor 110, thereby increasing classification accuracy. In addition, the number of cameras required to classify the type of the UAV 201 can be reduced.

도 3은 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서의 일례이다. 3 is an example of an image sensor of an UAV detection system according to an embodiment of the present invention.

영상 센서(300)는 도 3에 도시된 바와 같이 카메라(310), 정합 장치(320), PT 드라이버(330), 제어부(340), 통신 처리부(350), 및 GPS 수신기(360)를 포함할 수 있다.As shown in FIG. 3 , the image sensor 300 may include a camera 310, a matching device 320, a PT driver 330, a controller 340, a communication processor 350, and a GPS receiver 360. can

영상 센서(300)가 검출 영상 센서(110)인 경우, 카메라(310)는 광각 카메라일 수 있다. 또한, 영상 센서(300)가 분류 영상 센서(120)인 경우, 카메라(310)는 망원 카메라일 수 있다.When the image sensor 300 is the detection image sensor 110, the camera 310 may be a wide-angle camera. Also, when the image sensor 300 is the classification image sensor 120, the camera 310 may be a telephoto camera.

정합 장치(320)는 카메라(310)와 PT드라이버(330)간의 정합 장치일 수 있다.The matching device 320 may be a matching device between the camera 310 and the PT driver 330 .

PT드라이버(330)는 카메라(310)의 수평 방향 및 수직 방향을 제어하는 모터(140)를 포함할 수 있다.The PT driver 330 may include a motor 140 that controls the horizontal and vertical directions of the camera 310 .

제어부(340)는 PT드라이버(330)를 이용하여 카메라(310)를 제어할 수 있다. 구체적으로, 제어부(340)는 PT드라이버(330)로 전송하는 제어 신호에 따라 모터(140)의 회전 방향과 속도를 제어함으로써 카메라(310)의 수평 방향과 수직 방향을 제어할 수 있다.The controller 340 may control the camera 310 using the PT driver 330 . Specifically, the controller 340 can control the horizontal and vertical directions of the camera 310 by controlling the rotation direction and speed of the motor 140 according to a control signal transmitted to the PT driver 330 .

통신 처리부(350)는 영상 센서(300)과 다른 영상 센서, 또는 관제 서버와의 통신 기능을 수행할 수 있다. 예를 들어, 영상 센서(300)가 검출 영상 센서(110)인 경우, 통신 처리부(160)는 분류 영상 센서(120)에게 영상 센서(300)의 위치 정보 및 무인기의 거리 정보를 전송할 수 있다. 또한, 영상 센서(300)가 분류 영상 센서(120)인 경우, 검출 영상 센서(110)로부터 검출 영상 센서(110)의 위치 정보 및 무인기의 거리 정보를 수신할 수 있다.The communication processing unit 350 may perform a communication function between the image sensor 300 and another image sensor or a control server. For example, when the image sensor 300 is the detection image sensor 110, the communication processing unit 160 may transmit location information of the image sensor 300 and distance information of the UAV to the classification image sensor 120. Also, when the image sensor 300 is the classification image sensor 120 , location information of the detection image sensor 110 and distance information of the UAV may be received from the detection image sensor 110 .

GPS 수신기(360)는 영상 센서(300)의 설치 위치 정보를 획득할 수 있다. 또한, 실시예에 따라 GPS 수신기(170)는 영상 센서(300)의 설치 위치 정보가 저장된 저장 매체로 대체될 수도 있다.The GPS receiver 360 may obtain installation location information of the image sensor 300 . Also, according to embodiments, the GPS receiver 170 may be replaced with a storage medium in which installation location information of the image sensor 300 is stored.

도 4는 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서 배치 일례이다.Figure 4 is an example of the image sensor arrangement of the UAV detection system according to an embodiment of the present invention.

본 발명의 일실시예에 따른 무인기 검출 시스템은 영상 센서(410, 420, 430, 440)들을 무인기 금지 구역에 설치할 수 있다. 이때, 영상 센서(410, 420, 430, 440)들 간의 협력을 위해서는 영상 센서(410, 420, 430, 440)들 간의 설치 위치 정보뿐 아니라 영상 센서(410, 420, 430, 440)들 각각의 카메라의 렌즈가 바라보는 위치 정보를 공유해야 한다.In the UAV detection system according to an embodiment of the present invention, the image sensors 410, 420, 430, and 440 may be installed in an UAV prohibited area. At this time, in order to cooperate between the image sensors 410, 420, 430, and 440, information on installation locations between the image sensors 410, 420, 430, and 440 as well as information on the respective image sensors 410, 420, 430, and 440 are required. It is necessary to share information about the location where the lens of the camera is looking.

따라서, 무인기 검출 시스템은 영상 센서들 각각에 GPS수신기를 장착하여 위치정보(위도 x, 경도 y, 고도 z)를 공유하고, 기준 플래그(400)를 기준으로 영상 센서들 각각의 카메라들을 위치 조정(calibration)할 수 있다.Therefore, the UAV detection system shares location information (latitude x, longitude y, altitude z) by mounting a GPS receiver on each of the image sensors, and adjusts the position of each camera of the image sensors based on the reference flag 400 ( calibration) can be done.

도 4는 분류 영상 센서(120)인 원점 영상 센서(410)와 검출 영상 센서(110)인 영상 센서#1(420), 영상 센서 #2(430), 영상 센서#3(440)로 구성된 무인기 검출 시스템의 일례이다. 즉, 영상 센서#1(420), 영상 센서#2(430), 영상 센서#3(440)이 무인기(201)를 검출하고, 원점 영상 센서(410)는 줌인으로 배율을 확대한 카메라로 무인기(201)를 촬영하여 무인기(201)의 종류를 분류할 수 있다.4 is a UAV composed of an origin image sensor 410 as a classification image sensor 120 and an image sensor #1 420 as a detection image sensor 110, an image sensor #2 430, and an image sensor #3 440. This is an example of a detection system. That is, the image sensor #1 (420), the image sensor #2 (430), and the image sensor #3 (440) detect the UAV 201, and the origin image sensor 410 uses a zoomed-in camera to enlarge the magnification of the UAV. (201) can be photographed to classify the type of unmanned aerial vehicle (201).

이때, 영상 센서(410, 420, 430, 440)들 각각은 기준 플래그(400)와 카메라 화면 전면의 중앙점을 일치시킨 후, 무인기(201)의 검출 방향을 서로 일치시키는 초기화 위치 조정을 수행할 수 있다.At this time, each of the image sensors 410, 420, 430, 440 is to perform initial position adjustment to match the detection directions of the UAV 201 after matching the reference flag 400 with the center point of the front of the camera screen. can

도 4에 도시된 바와 같이 기준 플래그(400)와 원점 영상 센서(410)가 동일선상에 있는 경우, 원점 영상 센서(410)와 영상 센서#1(420), 영상 센서 #2(430), 영상 센서#3(440) 각각이 이루는 방위각은 αο1 , αο2 , αο3 이고, 고도각은 βο1, βο2, βο3 일 수 있다. 이때, 영상 센서(410, 420, 430, 440)들 각각은 방위각과 고도각의 정보를 공유하여 무인기(201)를 영상 센서(410, 420, 430, 440)들 각각의 카메라에 위치시킬 수 있도록 PTZ을 제어할 수 있다.As shown in FIG. 4 , when the reference flag 400 and the origin image sensor 410 are on the same line, the origin image sensor 410, image sensor #1 420, image sensor #2 430, and image The azimuth angles formed by each of the sensors #3 440 may be α ο1 , α ο2 , and α ο3 , and the elevation angles may be β ο1 , β ο2 , and β ο3 . At this time, each of the image sensors (410, 420, 430, 440) shares the information of the azimuth and elevation angles so that the UAV 201 can be positioned on the camera of each of the image sensors (410, 420, 430, 440). You can control PTZ.

도 5는 본 발명의 일실시예에 따른 무인기 검출 시스템에서 원점 영상 센서(410)와 영상 센서#2(430)가 무인기(201)을 검출하고 분류하는 임무를 협력하는 과정에서 영상 센서 간 패닝 각도 캘리브레이션 개념도이다.5 is a panning angle between image sensors in a process in which the origin image sensor 410 and the image sensor # 2 430 cooperate in the task of detecting and classifying the UAV 201 in the UAV detection system according to an embodiment of the present invention. This is a calibration concept.

먼저, 원점 영상 센서(410)는 카메라 화면 중앙에 기준 플래그(400)가 나타나도록 원점 영상 센서(410)의 PT값을 제어하여 초기값으로 설정할 수 있다.First, the origin image sensor 410 may set the PT value of the origin image sensor 410 to an initial value by controlling the reference flag 400 to appear in the center of the camera screen.

또한, 영상 센서#2(430)도 카메라 화면 중앙에 기준 플래그(400)가 나타나도록 영상 센서#2(430)의 PT값을 제어하여 초기값으로 설정할 수 있다.In addition, the PT value of image sensor #2 430 can also be set to an initial value by controlling the PT value of image sensor #2 430 so that the reference flag 400 appears in the center of the camera screen.

이때, 원점 영상 센서(410)와 기준 플래그(400)가 이루는 각도는 기준점 수직선(500) 및 기준점과 원점 영상 센서(410)의 카메라 간 연결선(530)을 기준으로 (531)일 수 있다. 또한, 영상 센서#2(430)와 기준 플래그(400)가 이루는 각도는 기준점 수직선(500)을 기준으로 α(521)일 수 있다.At this time, the angle formed by the origin image sensor 410 and the reference flag 400 may be 531 based on the reference point vertical line 500 and the connection line 530 between the reference point and the camera of the origin image sensor 410. Also, an angle between the image sensor #2 430 and the reference flag 400 may be α 521 with respect to the reference point vertical line 500 .

그리고, 원점 영상 센서(410)와 기준 플래그(400)와의 거리는 수직선(500)을 기준으로 수직 거리는 K(501)이고, 수평 거리는 M(502)일 수 있다. 또한, 원점 영상 센서(410)와 영상 센서#2(430)가 이루는 각도는 각각 θ(511), φ(512)이고, 원점 영상 센서(410)와 영상 센서#2(430) 간의 수평 거리는 X(513)이며, 수직 거리는 Y(514)일 수 있다. 그리고, 카메라간 연결선(510)을 기준으로 기준 플래그(400)와 원점 영상 센서(410), 영상 센서#2(430)가 이루는 각도는 γ(515)일 수 있다.Further, a distance between the origin image sensor 410 and the reference flag 400 may be a vertical distance K 501 and a horizontal distance M 502 based on the vertical line 500 . In addition, the angles formed by the origin image sensor 410 and the image sensor #2 430 are θ (511) and φ (512), respectively, and the horizontal distance between the origin image sensor 410 and the image sensor #2 430 is X (513), and the vertical distance may be Y (514). In addition, an angle formed by the reference flag 400, the origin image sensor 410, and the image sensor #2 430 with respect to the connection line 510 between cameras may be γ (515).

영상 센서#2(430)가 PTZ의 초기 원점위치에서 β(2600) 각도를 이동하여 영상 센서#2(430)로부터 거리 r 만큼 떨어진 위치 있는 무인기(201)을 검출하는 경우, 카메라 연결선(510)과 무인기(201)를 연결하는 수직선의 길이는 B(541)이며, 카메라 연결선(510)과 무인기(201)를 연결하는 수직선의 끝점에서 원점 영상 센서(410) 간의 길이는 A(2520)일 수 있다. 또한, 영상 센서#2(430)에서 원점 영상 센서(410)까지의 거리는 L(542)이고, 영상 센서#2(430)의 원점위치(x2,y2,z2)에서 카메라 연결선(510)과 무인기(201)를 연결하는 수직선의 끝점까지의 거리는 C(2580)이며, 카메라간 연결선(510)과 무인기(201)에서 원점영상센서(410)까지의 일직선이 이루는 각도는

Figure pat00001
(2630)일 수 있다. When the image sensor #2 (430) detects the UAV 201 located at a distance r away from the image sensor #2 (430) by moving the β (2600) angle from the initial origin position of the PTZ, the camera connection line (510) The length of the vertical line connecting the drone 201 and the camera connection line 510 may be B 541, and the length between the origin image sensor 410 and the end point of the vertical line connecting the camera connection line 510 and the drone 201 may be A 2520. there is. In addition, the distance from the image sensor #2 (430) to the origin image sensor 410 is L (542), and the camera connection line 510 and the drone are located at the origin position (x2, y2, z2) of the image sensor #2 (430). The distance to the end point of the vertical line connecting 201 is C (2580), and the angle formed by the connection line between cameras 510 and a straight line from the drone 201 to the origin image sensor 410 is
Figure pat00001
(2630).

예를 들어, 원점 영상 센서(410)는 수학식 1에 따라 ε(543)를 결정할 수 있다. 그리고, 원점 영상 센서(410)는 기준 플래그(400)와 설정하였던 초기값으로부터 ε(543) 만큼 카메라를 회전시켜 무인기(201)의 영상을 촬영할 수 있다.For example, the origin image sensor 410 may determine ε 543 according to Equation 1. Further, the origin image sensor 410 may capture an image of the UAV 201 by rotating the camera by ε 543 from the initial value set with the reference flag 400 .

Figure pat00002
Figure pat00002

이때, 영상 센서#2(430)는 영상 센서#2(430)의 카메라가 무인기를 촬영하여 생성한 이미지 화면의 크기와 이미지 화면에 포함된 무인기 객체의 크기비를 비교해서 영상 센서#2(430)와 무인기(201) 간의 거리 r(2590)를 추정할 수 있다. 또한, 영상 센서#2(430)는 스테레오 영상 센서를 사용하여 영상 센서#2(430)와 무인기(201) 간의 거리 r(2590)를 추정할 수 있다. 그리고, 카메라 캘리브레이션 과정에서 획득하게 되는 “카메라 렌즈에서 이미지 촬상면 까지의 거리(Df)” 정보를 기반으로 수학식 2를 사용하여 영상 센서#2(430)와 무인기(201) 간의 거리 r(2590)를 추정할 수도 있다. At this time, the image sensor #2 (430) compares the size of the image screen created by the camera of the image sensor #2 (430) and the size ratio of the drone object included in the image screen to the image sensor #2 (430). ) and a distance r (2590) between the UAV 201 can be estimated. Also, the image sensor #2 430 may estimate a distance r 2590 between the image sensor #2 430 and the unmanned aerial vehicle 201 using a stereo image sensor. In addition, the distance between the image sensor # 2 (430) and the drone 201 r (2590) can also be estimated.

Figure pat00003
Figure pat00003

이때, F는 카메라 초점 거리이고, D는 카메라와 무인기(201) 간의 거리일 수 있다. 또한, U는 무인기(201)의 크기이며, u는 카메라가 촬영한 이미지 화면에 포함되는 무인기 객체의 크기일 수 있다.In this case, F may be a camera focal length, and D may be a distance between the camera and the unmanned aerial vehicle 201 . Also, U may be the size of the UAV 201, and u may be the size of the UAV object included in the image screen captured by the camera.

도 6은 본 발명의 일실시예에 따른 무인기 검출 시스템의 영상 센서 간 틸팅 각도 캘리브레이션 개념도이다.6 is a conceptual diagram of tilting angle calibration between image sensors of an UAV detection system according to an embodiment of the present invention.

원점 영상 센서(410)는 기준 플래그(400)에 있는 플래그 객체를 원점 영상 센서(410)의 카메라 영상 화면(620)의 중앙점에 위치시킬 수 있도록 원점 영상 센서(410)의 TZ(Tilting, Zooming)값을 제어할 수 있다. 또한, 영상 센서#2(430)는 기준 플래그(400)에 있는 플래그 객체를 영상 센서#2(430)의 카메라 영상 화면(610)의 중앙점에 위치시킬 수 있도록 영상 센서#2(430)의 TZ값을 제어할 수 있다. 예를 들어, 도 6에서 플래그 객체는 별표 형상을 하고 있으나, 실시예에 따라 다양한 형상을 플래그 객체로 사용할 수 있다.The origin image sensor 410 performs TZ (Tilting, Zooming) of the origin image sensor 410 to position the flag object in the reference flag 400 at the center point of the camera image screen 620 of the origin image sensor 410. ) value can be controlled. In addition, the image sensor #2 430 may position the flag object in the reference flag 400 at the center point of the camera image screen 610 of the image sensor #2 430. TZ value can be controlled. For example, although the flag object in FIG. 6 has an asterisk shape, various shapes may be used as the flag object according to embodiments.

즉, 원점 영상 센서(410), 및 영상 센서#2(430)는 화면의 중앙에 플래그 객체가 위치하도록 카메라의 Tilting값과 Zooming 값을 변환시키고 화면상에 나타나는 플래그의 크기(바운딩 박스)를 테이블로 작성하여 카메라 렌즈에서 이미지 촬상면 까지의 거리인

Figure pat00004
값을 획득할 수 있다.That is, the origin image sensor 410 and the image sensor #2 430 convert the tilting value and zooming value of the camera so that the flag object is located in the center of the screen, and the size (bounding box) of the flag displayed on the screen is calculated as a table. , which is the distance from the camera lens to the image pickup plane
Figure pat00004
value can be obtained.

도 7은 본 발명의 일실시예에 따른 무인기 검출 시스템의 틸팅 제어 개념도이다.7 is a conceptual diagram of tilting control of an UAV detection system according to an embodiment of the present invention.

영상 센서#2(430)는 도 7에 도시된 바와 같이 거리 r만큼 떨어진 곳에 있는 무인기(201)를 검출한 경우, PTZ을 제어하여 무인기(201)를 화면의 중심부로 이동시킬 수 있다. 다음으로, 영상 센서#2(430)는 거리 r, Tilting각도, 영상 센서#2(430)의 설치 위치 좌표와 같은 관련 정보를 원점 영상 센서(410)로 전송할 수 있다.As shown in FIG. 7 , the image sensor #2 430 may move the UAV 201 to the center of the screen by controlling the PTZ when the UAV 201 is detected at a distance r. Next, the image sensor #2 430 may transmit related information such as a distance r, a tilting angle, and coordinates of an installation location of the image sensor #2 430 to the origin image sensor 410 .

이때, 원점 영상 센서(410)는 도 7에 도시된 바와 같은 삼각 함수식의 관계를 이용하여 영상 센서#2(430)가 검출한 무인기의 고도 위치로 PTZ 값을 제어할 수 있다. 그리고, 원점 영상 센서(410)는 PTZ 값을 제어한 후, 카메라로 무인기(201)를 촬영하여 무인기(201)의 확대 영상을 획득하고, 무인기(201)의 확대 영상에 영상 딥러닝 알고리즘을 수행하여 무인기(201)의 종류를 분류할 수 있다.At this time, the origin image sensor 410 may control the PTZ value based on the altitude position of the UAV detected by the image sensor #2 430 using a trigonometric relationship as shown in FIG. 7 . Then, the origin image sensor 410 controls the PTZ value, captures the UAV 201 with a camera, acquires an enlarged image of the UAV 201, and performs an image deep learning algorithm on the enlarged image of the UAV 201. Thus, the type of UAV 201 can be classified.

도 8은 본 발명의 일실시예에 따른 무인기 검출 방법을 도시한 도면이다.8 is a diagram illustrating a method for detecting an unmanned aerial vehicle according to an embodiment of the present invention.

단계(810)에서 검출 영상 센서(110)들은 무인기 금지 구역에 진입한 무인기를 검출할 수 있다. 이때, 검출 영상 센서(110)들은 검출 영상 센서(110)의 카메라로 촬영한 영상에 포함된 무인기의 크기를 나타내는 픽셀수와 카메라렌즈 배율을 참조하여 검출 영상 센서(110)와 무인기 간의 거리를 결정할 수 있다. 또한, 검출 영상 센서(110)는 검출한 무인기가 검출 영상 센서(110)의 카메라 화면의 중심부에 위치하도록 검출 영상 센서(110)의 PT를 제어할 수 있다. In step 810, the detection image sensors 110 may detect the UAV entering the UAV prohibited area. At this time, the detection image sensor 110 determines the number of pixels representing the size of the drone included in the image captured by the camera of the detection image sensor 110 and the camera lens. A distance between the detection image sensor 110 and the UAV may be determined by referring to the magnification. In addition, the detection image sensor 110 may control the PT of the detection image sensor 110 so that the detected UAV is positioned at the center of the camera screen of the detection image sensor 110 .

단계(820)에서 검출 영상 센서(110)는 분류 영상 센서(120)에게 검출 영상 센서(110)의 PT, 검출 영상 센서(110)가 설치된 위치를 나타내는 위치 정보 및 검출 영상 센서(110)와 무인기 간의 거리를 나타내는 거리 정보를 전송할 수 있다.In step 820, the detection image sensor 110 sends the PT of the detection image sensor 110 to the classification image sensor 120, location information indicating the location where the detection image sensor 110 is installed, and the detection image sensor 110 and the drone. Distance information indicating the distance between the two terminals may be transmitted.

단계(830)에서 분류 영상 센서(120)는 단계(820)에서 수신한 검출 영상 센서(110)의 위치 정보 및 무인기의 거리 정보에 따라 분류 영상 센서(120)의 카메라의 파라미터를 설정할 수 있다. In step 830, the classification image sensor 120 may set camera parameters of the classification image sensor 120 according to the location information of the detection image sensor 110 and the distance information of the UAV received in step 820.

단계(840)에서 분류 영상 센서(120)는 단계(830)에서 설정한 파라미터에 따라 각도 및 줌이 제어된 분류 영상 센서(120)의 카메라를 이용하여 무인기의 확대 영상을 촬영할 수 있다.In step 840, the classification image sensor 120 may capture an enlarged image of the UAV using the camera of the classification image sensor 120 whose angle and zoom are controlled according to the parameters set in step 830.

단계(850)에서 분류 영상 센서(120)는 무인기의 확대 영상을 기초로 무인기의 종류를 분류할 수 있다.In step 850, the classification image sensor 120 may classify the type of the UAV based on the enlarged image of the UAV.

단계(860)에서 분류 영상 센서(120)는 검출 영상 센서(110)로부터 수신한 위치 정보 및 분류 영상 센서(120)가 분류한 무인기의 종류를 관제 서버(130)로 전송할 수 있다. 이때, 관제 서버(130)는 위치 정보에 따라 무인기의 위치를 식별하고, 분류 영상 센서(120)가 분류한 무인기의 종류와 매핑하여 사용자에게 제공할 수 있다.In step 860, the classification image sensor 120 may transmit the location information received from the detection image sensor 110 and the type of UAV classified by the classification image sensor 120 to the control server 130. At this time, the control server 130 may identify the location of the UAV according to the location information, map it to the type of UAV classified by the classification image sensor 120, and provide it to the user.

도 9는 본 발명의 일실시예에 따른 영상 센서의 캘리브레이션 방법을 도시한 플로우차트이다.9 is a flowchart illustrating a method for calibrating an image sensor according to an embodiment of the present invention.

단계(910)에서 영상 센서들은 각각 초기값을 설정할 수 있다. 예를 들어, 영상 센서는 검출 영상 센서(110), 또는 분류 영상 센서(120)중 하나일 수 있다.In step 910, each image sensor may set an initial value. For example, the image sensor may be one of the detection image sensor 110 and the classification image sensor 120 .

단계(920)에서 영상 센서들은 영상 센서들 각각의 카메라가 촬영한 영상에서 기준 플래그를 검출할 수 있다.In step 920, the image sensors may detect a reference flag from an image captured by each camera of the image sensors.

단계(930)에서 영상 센서들은 단계(920)에서 검출한 기준 플래그가 카메라 화면의 중심부에 위치하도록 카메라 또는 영상 센서들의 PTZ값을 가변시킬 수 있다.In step 930, the image sensors may change the PTZ values of the cameras or image sensors so that the reference flag detected in step 920 is positioned at the center of the camera screen.

단계(940)에서 영상 센서들은 단계(930)에서 가변된 PTZ값에 따라 카메라 초점(배율)거리와 화각, 화면내 플래그 크기를 저장하는 테이블을 생성할 수 있다.In step 940, the image sensors may create a table storing the focal (magnification) distance and angle of view of the camera, and the size of the flag in the screen according to the PTZ value changed in step 930.

단계(950)에서 영상 센서들은 카메라의 현재 배율이 최대 줌 배율인지 여부를 확인할 수 있다. 카메라의 현재 배율이 최대 줌 배율인 경우 영상 센서들은 캘리브레이션을 종료할 수 있다. 반면, 카메라의 현재 배율이 최대 줌 배율이 아닌 경우 영상 센서들은 카메라의 배율을 증가 시킨 후 단계(920)를 수행할 수 있다.In step 950, the image sensors may check whether the current magnification of the camera is the maximum zoom magnification. When the current magnification of the camera is the maximum zoom magnification, the image sensors may end calibration. On the other hand, if the current magnification of the camera is not the maximum zoom magnification, the image sensors may perform step 920 after increasing the magnification of the camera.

도 10은 본 발명의 일실시예에 따른 무인기 검출 시스템의 검출 영상 센서의 동작 방법을 도시한 플로우차트이다.10 is a flowchart illustrating a method of operating a detection image sensor of an UAV detection system according to an embodiment of the present invention.

단계(1010)에서 검출 영상 센서(110)는 검출 영상 센서(110)들 각각에 할당된 무인기 검출 영역을 카메라로 촬영하여 영상을 생성할 수 있다.In step 1010, the detection image sensor 110 may generate an image by capturing the UAV detection area allocated to each of the detection image sensors 110 with a camera.

단계(1020)에서 검출 영상 센서(110)는 단계(1010)에서 촬영한 영상을 분석할 수 있다. 이때, 검출 영상 센서(110)는 영상 딥러닝을 사용하여 영상에 포함된 객체가 무인기인지 여부를 판단할 수 있다. 무인기가 검출된 경우, 검출 영상 센서(110)는 단계(1010)에서 촬영한 영상에 포함된 무인기 객체의 화소 크기수와 카메라 렌즈 배율을 참조하여 검출 영상 센서(110)와 무인기 간의 거리를 결정할 수 있다. 그리고, 검출 영상 센서(110)는 검출한 무인기가 검출 영상 센서(110)의 카메라 화면의 중심부에 위치하도록 검출 영상 센서(110)들의 PT를 제어할 수 있다. In step 1020, the detection image sensor 110 may analyze the image captured in step 1010. At this time, the detection image sensor 110 may determine whether the object included in the image is an unmanned aerial vehicle by using image deep learning. When the UAV is detected, the detection image sensor 110 may determine the distance between the detection image sensor 110 and the UAV by referring to the number of pixels of the UAV object included in the image taken in step 1010 and the magnification of the camera lens. there is. Also, the detection image sensor 110 may control PTs of the detection image sensors 110 so that the detected UAV is positioned at the center of the camera screen of the detection image sensor 110 .

단계(1030)에서 검출 영상 센서(110)는 단계(1020)의 분석 결과에서 무인기가 검출되었는지 여부를 확인할 수 있다. 무인기가 검출되지 않은 경우, 검출 영상 센서(110)는 무인기가 검출될 때까지 단계(1010) 내지 단계(1030)을 반복 수행할 수 있다. 무인기가 검출된 경우, 검출 영상 센서(110)는 단계(1040)을 수행할 수 있다.In step 1030, the detection image sensor 110 may check whether the UAV has been detected from the analysis result of step 1020. When the UAV is not detected, the detection image sensor 110 may repeatedly perform steps 1010 to 1030 until the UAV is detected. When the UAV is detected, the detection image sensor 110 may perform step 1040.

단계(1030)에서 검출 영상 센서(110)는 분류 영상 센서(120)를 호출하기 위한 호출 신호를 송출할 수 있다. In step 1030, the detection image sensor 110 may transmit a call signal for calling the classification image sensor 120.

단계(1040)에서 검출 영상 센서(110)는 일정 거리 안에 위치한 적어도 하나의 분류 영상 센서(120)로부터 호출 신호에 대한 응답을 수신할 수 있다.In step 1040, the detection image sensor 110 may receive a response to the call signal from at least one classification image sensor 120 located within a predetermined distance.

단계(1050)에서 검출 영상 센서(110)는 응답을 가장 먼저 전송한 분류 영상 센서(120)에게 검출 영상 센서(110)의 PT, 검출 영상 센서(110)가 설치된 위치를 나타내는 위치 정보 및 검출 영상 센서(110)와 무인기 간의 거리를 나타내는 거리 정보를 전송할 수 있다.In step 1050, the detection image sensor 110 sends the PT of the detection image sensor 110 to the classification image sensor 120 that first transmitted the response, location information indicating the location where the detection image sensor 110 is installed, and the detection image. Distance information indicating a distance between the sensor 110 and the UAV may be transmitted.

도 11은 본 발명의 일실시예에 따른 무인기 검출 시스템의 분류 영상 센서의 동작 방법을 도시한 플로우차트이다.11 is a flowchart illustrating an operating method of a classification image sensor of an UAV detection system according to an embodiment of the present invention.

단계(1110)에서 분류 영상 센서(120)는 호출 신호의 수신을 대기할 수 있다.In step 1110, the classification image sensor 120 may wait for reception of a call signal.

단계(1120)에서 분류 영상 센서(120)는 검출 영상 센서(110)로부터 호출 신호를 수신하였는지 여부를 확인할 수 있다. 호출 신호를 수신한 경우, 분류 영상 센서(120)는 단계(1130)를 수행할 수 있다. 또한, 호출 신호를 수신하지 않은 경우, 분류 영상 센서(120)는 호출 신호를 수신할 때까지 단계(1110) 내지 단계(1120)를 반복 수행할 수 있다.In step 1120, the classification image sensor 120 may check whether a call signal has been received from the detection image sensor 110. Upon receiving the call signal, the classification image sensor 120 may perform step 1130. Also, when the call signal is not received, the classification image sensor 120 may repeatedly perform steps 1110 to 1120 until the call signal is received.

단계(1130)에서 분류 영상 센서(120)는 무인기를 검출한 검출 영상 센서(110)의 위치 정보 및 무인기의 거리 정보를 수신할 수 있다. 그리고, 분류 영상 센서(120)는 검출 영상 센서(110)로부터 수신한 위치 정보 및 거리 정보에 따라 분류 영상 센서(120)의 카메라의 파라미터를 설정할 수 있다. 이때, 분류 영상 센서(120)는 수신한 위치 정보에 따라 분류 영상 센서(120)의 카메라의 각도 파라미터를 결정하고, 수신한 거리 정보에 따라 분류 영상 센서(120)의 카메라의 배율 파라미터를 결정할 수 있다.In step 1130, the classification image sensor 120 may receive location information of the detection image sensor 110 that detected the UAV and distance information of the UAV. The classification image sensor 120 may set camera parameters of the classification image sensor 120 according to location information and distance information received from the detection image sensor 110 . At this time, the classification image sensor 120 may determine an angle parameter of the camera of the classification image sensor 120 according to the received location information, and determine a magnification parameter of the camera of the classification image sensor 120 according to the received distance information. there is.

단계(1140)에서 분류 영상 센서(120)는 단계(1130)에서 결정한 파라미터에 따라 카메라를 제어할 수 있다. 구체적으로, 분류 영상 센서(120)는 각도 파라미터에 따라 분류 영상 센서(120)의 카메라의 각도를 제어할 수 있다. 또한, 분류 영상 센서(120)는 배율 파라미터에 따라 분류 영상 센서(120)의 카메라의 줌을 제어할 수 있다. In step 1140, the classification image sensor 120 may control the camera according to the parameters determined in step 1130. Specifically, the classification image sensor 120 may control an angle of a camera of the classification image sensor 120 according to an angle parameter. Also, the classification image sensor 120 may control the zoom of a camera of the classification image sensor 120 according to a magnification parameter.

단계(1150)에서 분류 영상 센서(120)는 단계(1140)에서 각도 및 줌이 제어된 분류 영상 센서(120)의 카메라를 이용하여 무인기의 확대 영상을 촬영할 수 있다.In step 1150, the classification image sensor 120 may capture an enlarged image of the UAV using the camera of the classification image sensor 120 whose angle and zoom are controlled in step 1140.

단계(1160)에서 분류 영상 센서(120)는 무인기의 확대 영상에 대해 영상 딥러닝을 사용하여 무인기의 종류를 분류할 수 있다. 이때, 분류 영상 센서(120)는 기 학습된 영상 딥러닝 모델을 통해 확대 영상에 포함된 무인기 객체와 유사도가 가장 높은 종류별 무인기 객체에 따라 무인기의 종류를 분류할 수 있다.In step 1160, the classification image sensor 120 may classify the type of the UAV by using image deep learning on the enlarged image of the UAV. At this time, the classification image sensor 120 may classify the type of the UAV according to the type of UAV object having the highest similarity with the UAV object included in the magnified image through the pre-learned image deep learning model.

단계(1170)에서 분류 영상 센서(120)는 단계(1160)에서 무인기의 분류가 불가능한지 여부를 확인할 수 있다. 예를 들어, 딥러닝 학습을 통해 검출된 무인기에 대한 신뢰도가 낮은 경우, 분류 영상 센서(120)는 무인기의 종류를 분류할 수 없다고 판단할 수 있다.In step 1170, the classification image sensor 120 may check whether classification of the UAV is impossible in step 1160. For example, when reliability of the UAV detected through deep learning learning is low, the classification image sensor 120 may determine that the type of UAV cannot be classified.

무인기의 분류가 가능한 경우, 분류 영상 센서(120)는 동작을 종료할 수 있다. 반면, 무인기의 분류가 불가능한 경우, 분류 영상 센서(120)는 단계(1180)를 수행할 수 있다.When classification of the UAV is possible, the classification image sensor 120 may end its operation. On the other hand, if classification of the UAV is impossible, the classification image sensor 120 may perform step 1180.

단계(1180)에서 분류 영상 센서(120)는 분류 영상 센서(120)의 카메라의 파라미터를 보정할 수 있다. 구체적으로, 분류 영상 센서(120)는 파라미터 중 줌 배율을 증가시킬 수 있다. 그리고, 단계(1140)에서 분류 영상 센서(120)는 보정된 파라미터에 따라 분류 영상 센서(120)의 카메라의 줌 기능을 제어할 수 있다. 다음으로, 단계(1150)에서 분류 영상 센서(120)는 제어된 카메라의 줌 기능에 따라 처음보다 확대된 확대 영상을 재촬영할 수 있다. 그 다음으로, 단계(1160)에서 분류 영상 센서(120)는 재촬영한 확대 영상을 분석하여 무인기의 종류를 분류할 수 있다.In operation 1180 , the classification image sensor 120 may calibrate parameters of a camera of the classification image sensor 120 . Specifically, the classification image sensor 120 may increase a zoom magnification among parameters. In operation 1140, the classification image sensor 120 may control the zoom function of the camera of the classification image sensor 120 according to the calibrated parameters. Next, in step 1150, the classification image sensor 120 may retake an enlarged image that is larger than the first one according to the controlled zoom function of the camera. Next, in step 1160, the classification image sensor 120 may classify the type of the UAV by analyzing the recaptured enlarged image.

본 발명은 영상 센서들을 무인기를 검출하는 검출 영상 센서와 무인기를 분류하는 분류 영상 센서로 분할하여 구성하고, 검출 영상 센서에서 무인기가 검출된 경우, 검출된 무인기의 위치에 따라 분류 영상 센서의 카메라의 배율을 조정하여 무인기의 확대 영상을 촬영하고, 확대 영상을 분석하여 무인기의 종류를 분류함으로써, 종래의 무인기 검출 시스템에 비하여 소수의 영상 센서로 무인기를 검출하고 검출한 무인기의 종류를 분류할 수 있다.The present invention is configured by dividing the image sensors into a detection image sensor for detecting the UAV and a classification image sensor for classifying the UAV, and when the UAV is detected in the detection image sensor, the camera of the classification image sensor By taking an enlarged image of the UAV by adjusting the magnification and classifying the type of UAV by analyzing the enlarged image, it is possible to detect the UAV with a small number of image sensors and classify the type of the detected UAV compared to the conventional UAV detection system. .

본 발명은 무인기 금지 구역 안에 기준 플래그를 설치하여 기준 플래그를 기준으로 검출 영상 센서 및 분류 영상 센서를 캘리브레이션 함으로써, 복수의 영상 센서들 간의 협력을 위한 위치 정보(설치 위치 및 카메라 촬영 방향 정보)를 용이하게 공유할 수 있다.The present invention facilitates location information (installation location and camera shooting direction information) for cooperation between a plurality of image sensors by calibrating the detection image sensor and the classification image sensor based on the reference flag by installing a reference flag in the UAV prohibited area can kindly share.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.Meanwhile, the method according to the present invention is written as a program that can be executed on a computer and can be implemented in various recording media such as magnetic storage media, optical reading media, and digital storage media.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be a computer program product, i.e., an information carrier, e.g., a machine-readable storage, for processing by, or for controlling, the operation of a data processing apparatus, e.g., a programmable processor, computer, or plurality of computers. It can be implemented as a computer program tangibly embodied in a device (computer readable medium) or a radio signal. A computer program, such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be written as a stand-alone program or in a module, component, subroutine, or computing environment. It can be deployed in any form, including as other units suitable for the use of. A computer program can be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communication network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from read only memory or random access memory or both. Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data. In general, a computer may include, receive data from, send data to, or both, one or more mass storage devices that store data, such as magnetic, magneto-optical disks, or optical disks. It can also be combined to become. Information carriers suitable for embodying computer program instructions and data include, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, compact disk read only memory (CD-ROM) ), optical media such as DVD (Digital Video Disk), magneto-optical media such as Floptical Disk, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like. The processor and memory may be supplemented by, or included in, special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.In addition, computer readable media may be any available media that can be accessed by a computer, and may include both computer storage media and transmission media.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although this specification contains many specific implementation details, they should not be construed as limiting on the scope of any invention or what is claimed, but rather as a description of features that may be unique to a particular embodiment of a particular invention. It should be understood. Certain features that are described in this specification in the context of separate embodiments may also be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Further, while features may operate in particular combinations and are initially depicted as such claimed, one or more features from a claimed combination may in some cases be excluded from that combination, and the claimed combination is a subcombination. or sub-combination variations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Similarly, while actions are depicted in the drawings in a particular order, it should not be construed as requiring that those actions be performed in the specific order shown or in the sequential order, or that all depicted actions must be performed to obtain desired results. In certain cases, multitasking and parallel processing can be advantageous. Further, the separation of various device components in the embodiments described above should not be understood as requiring such separation in all embodiments, and the program components and devices described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in this specification and drawings are only presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is obvious to those skilled in the art that other modified examples based on the technical idea of the present invention can be implemented.

110: 검출 영상 센서
120: 분류 영상 센서
130: 관제 서버110: detection image sensor
120: classification image sensor
130: control server

Claims (15)

복수의 검출 영상 센서들 각각이 무인기 검출 영역에서 무인기를 검출하는 단계;
무인기가 검출된 경우, 분류 영상 센서에게 무인기를 검출한 검출 영상 센서의 위치 정보 및 무인기의 거리 정보를 전송하는 단계;
상기 분류 영상 센서가 상기 위치 정보 및 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 파라미터를 설정하여 무인기의 확대 영상을 획득하는 단계; 및
상기 확대 영상을 분석하여 상기 무인기의 종류를 분류하는 단계
를 포함하는 무인기 검출 방법. detecting, by each of the plurality of detection image sensors, the UAV in the UAV detection area;
When the UAV is detected, transmitting location information of the detection image sensor that detected the UAV and distance information of the UAV to the classification image sensor;
obtaining, by the classification image sensor, an enlarged image of the UAV by setting camera parameters of the classification image sensor according to the location information and the distance information; and
Classifying the type of the UAV by analyzing the enlarged image
Unmanned aerial vehicle detection method comprising a. 제1항에 있어서,
상기 무인기를 검출하는 단계는,
복수의 검출 영상 센서들 각각이 복수의 검출 영상 센서들 각각에게 할당된 무인기 검출 영역의 영상을 촬영하는 단계;
복수의 검출 영상 센서들 각각이 촬영한 영상을 분석하여 촬영한 영상에 무인기가 포함되어 있는지 여부를 확인하는 단계; 및
촬영한 영상에 무인기가 포함된 경우, 무인기가 포함된 영상을 촬영한 검출 영상 센서가 무인기 검출 영역 안에서 무인기가 검출된 것으로 판단하고, 무인기과 검출 영상 센서 간의 거리를 식별하는 단계
를 포함하는 무인기 검출 방법. According to claim 1,
The step of detecting the drone,
photographing, by each of the plurality of detection image sensors, an image of an unmanned aerial vehicle detection area allocated to each of the plurality of detection image sensors;
Analyzing an image captured by each of the plurality of detection image sensors to determine whether an unmanned aerial vehicle is included in the captured image; and
When the captured image includes the UAV, determining that the UAV is detected in the UAV detection area by the detection image sensor capturing the image including the UAV, and identifying the distance between the UAV and the detection image sensor.
Unmanned aerial vehicle detection method comprising a. 제2항에 있어서,
상기 거리 정보를 전송하는 단계는,
무인기가 포함된 영상을 촬영한 검출 영상 센서가 분류 영상 센서를 호출하기 위한 호출 신호를 송신하는 단계;
무인기가 포함된 영상을 촬영한 검출 영상 센서가 일정 거리 안에 위치한 적어도 하나의 분류 영상 센서로부터 응답을 수신하는 단계; 및
무인기가 포함된 영상을 촬영한 검출 영상 센서가 응답을 가장 먼저 전송한 분류 영상 센서에게 무인기가 포함된 영상을 촬영한 검출 영상 센서의 위치 정보 및 무인기과 검출 영상 센서 간의 거리를 전송하는 단계
를 포함하는 무인기 검출 방법.According to claim 2,
In the step of transmitting the distance information,
Transmitting a call signal for calling a classification image sensor by a detection image sensor that has captured an image including an unmanned aerial vehicle;
Receiving a response from at least one classification image sensor located within a predetermined distance by a detection image sensor that has captured an image including an unmanned aerial vehicle; and
Transmitting the location information of the detection image sensor that captured the image including the UAV and the distance between the UAV and the detection image sensor to the classification image sensor that first transmitted the response by the detection image sensor that captured the image including the UAV
Unmanned aerial vehicle detection method comprising a. 제1항에 있어서,
상기 무인기의 확대 영상을 획득하는 단계는,
상기 분류 영상 센서가 상기 위치 정보에 따라 상기 분류 영상 센서의 카메라의 각도 파라미터를 결정하고, 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 배율 파라미터를 결정하는 단계;
상기 분류 영상 센서가 상기 각도 파라미터에 따라 상기 분류 영상 센서의 카메라의 각도를 제어하고, 상기 배율 파라미터에 따라 상기 분류 영상 센서의 카메라의 줌을 제어하는 단계; 및
상기 분류 영상 센서가 상기 카메라를 이용하여 무인기의 확대 영상을 촬영하는 단계
를 포함하는 무인기 검출 방법. According to claim 1,
Obtaining an enlarged image of the UAV,
determining, by the classification image sensor, an angular parameter of a camera of the classification image sensor according to the location information, and determining a magnification parameter of a camera of the classification image sensor according to the distance information;
controlling, by the classification image sensor, an angle of a camera of the classification image sensor according to the angle parameter and controlling a zoom of a camera of the classification image sensor according to the magnification parameter; and
Taking, by the classification image sensor, an enlarged image of the UAV using the camera
Unmanned aerial vehicle detection method comprising a. 제1항에 있어서,
상기 확대 영상을 분석하여 상기 무인기의 종류를 분류할 수 없는 경우, 상기 분류 영상 센서의 카메라의 파라미터를 보정하여 확대 영상을 재촬영하는 단계
를 더 포함하고,
상기 분류하는 단계는,
재촬영한 확대 영상을 분석하여 상기 무인기의 종류를 분류하는 무인기 검출 방법.According to claim 1,
When the type of the UAV cannot be classified by analyzing the enlarged image, correcting parameters of the camera of the classification image sensor and re-photographing the enlarged image
Including more,
The classification step is
An UAV detection method for classifying the type of the UAV by analyzing the recaptured enlarged image. 무인기 금지 구역의 전방에 배치되어 무인기 금지 구역에 진입한 무인기를 검출하는 복수의 검출 영상 센서들; 및
상기 무인기 금지 구역의 후방에 배치되며, 상기 검출 영상 센서들 중 적어도 하나가 무인기를 검출한 경우, 무인기를 검출한 검출 영상 센서의 위치 정보 및 무인기의 거리 정보에 따라 무인기의 확대 영상을 획득하여 상기 무인기의 종류를 분류하는 분류 영상 센서;
를 포함하는 무인기 검출 시스템. A plurality of detection image sensors disposed in front of the UAV prohibited area to detect the UAV entering the UAV prohibited area; and
It is disposed at the rear of the UAV forbidden zone, and when at least one of the detection image sensors detects the UAV, an enlarged image of the UAV is obtained according to location information of the detection image sensor that detected the UAV and distance information of the UAV. Classification image sensor for classifying the type of UAV;
Unmanned aerial vehicle detection system comprising a. 제6항에 있어서,
상기 검출 영상 센서들은,
상기 분류 영상 센서와 상기 무인기 금지 구역에 설치한 기준 플래그를 기준으로 무인기의 검출 방향을 일치시키기 위한 위치 조정(calibration)을 수행하는 무인기 검출 시스템.According to claim 6,
The detection image sensors,
An UAV detection system for performing position calibration to match the detection direction of the UAV based on the classification image sensor and a reference flag installed in the UAV prohibited area. 제7항에 있어서,
상기 검출 영상 센서들은,
검출 영상 센서의 카메라 화면 중앙에 기준 플래그가 표시되도록 상기 검출 영상 센서의 PT(Panning Tilting)를 제어하여 위치 조정 초기값을 설정하는 무인기 검출 시스템.According to claim 7,
The detection image sensors,
An UAV detection system for setting an initial position adjustment value by controlling panning tilting (PT) of the detection image sensor so that a reference flag is displayed in the center of the camera screen of the detection image sensor. 제7항에 있어서,
상기 분류 영상 센서들은,
분류 영상 센서의 카메라 화면 중앙에 기준 플래그가 표시되도록 상기 분류 영상 센서의 PT를 제어하여 위치 조정 초기값을 설정하는 무인기 검출 시스템.According to claim 7,
The classification image sensors,
An UAV detection system for setting an initial position adjustment value by controlling the PT of the classification image sensor so that a reference flag is displayed in the center of the camera screen of the classification image sensor. 제6항에 있어서,
상기 검출 영상 센서들은,
상기 검출 영상 센서의 카메라로 촬영한 영상에 포함된 무인기의 크기 정보를 나타내는 픽셀수와 카메라 렌즈 배율을 참조하여 상기 검출 영상 센서와 무인기 간의 거리를 결정하는 무인기 검출 시스템.According to claim 6,
The detection image sensors,
The UAV detection system for determining the distance between the detection image sensor and the UAV by referring to the number of pixels representing the size information of the UAV included in the image captured by the camera of the detection image sensor and the magnification of the camera lens. 제6항에 있어서,
상기 검출 영상 센서들은,
무인기를 검출한 경우, 검출한 무인기가 상기 검출 영상 센서의 카메라 화면의 중심부에 위치하도록 상기 검출 영상 센서의 PT를 제어하는 무인기 검출 시스템.According to claim 6,
The detection image sensors,
When the UAV is detected, the UAV detection system controls the PT of the detection image sensor so that the detected UAV is located in the center of the camera screen of the detection image sensor. 제11항에 있어서,
상기 무인기를 검출한 검출 영상 센서는,
분류 영상 센서를 호출하기 위한 호출 신호를 송출하고,
일정 거리 안에 위치한 적어도 하나의 분류 영상 센서로부터 응답을 수신한 경우, 응답을 가장 먼저 전송한 분류 영상 센서에게 상기 검출 영상 센서의 PT, 상기 검출 영상 센서가 설치된 위치를 나타내는 위치 정보 및 상기 검출 영상 센서와 무인기 간의 거리를 나타내는 거리 정보를 전송하는 무인기 검출 시스템.According to claim 11,
The detection image sensor that detected the drone,
Transmitting a call signal for calling a classification image sensor;
When a response is received from at least one classification image sensor located within a certain distance, to the classification image sensor that first transmits the response, the PT of the detection image sensor, location information indicating the location where the detection image sensor is installed, and the detection image sensor UAV detection system that transmits distance information indicating the distance between the UAV and the UAV. 제6항에 있어서,
상기 분류 영상 센서는,
상기 위치 정보 및 상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 파라미터를 설정하여 무인기의 확대 영상을 획득하는 무인기 검출 시스템.According to claim 6,
The classification image sensor,
The UAV detection system for obtaining an enlarged image of the UAV by setting parameters of a camera of the classification image sensor according to the location information and the distance information. 제13항에 있어서,
상기 분류 영상 센서는,
상기 위치 정보에 따라 상기 분류 영상 센서의 카메라의 각도 파라미터를 결정하고, 상기 각도 파라미터에 따라 상기 분류 영상 센서의 카메라의 각도를 제어하며,
상기 거리 정보에 따라 상기 분류 영상 센서의 카메라의 배율 파라미터를 결정하고, 상기 배율 파라미터에 따라 상기 분류 영상 센서의 카메라의 줌을 제어하며,
각도 및 줌이 제어된 상기 분류 영상 센서의 카메라를 이용하여 무인기의 확대 영상을 촬영하는 무인기 검출 시스템. According to claim 13,
The classification image sensor,
determining an angle parameter of the camera of the classification image sensor according to the location information, and controlling an angle of the camera of the classification image sensor according to the angle parameter;
determining a magnification parameter of a camera of the classification image sensor according to the distance information, and controlling a zoom of the camera of the classification image sensor according to the magnification parameter;
An UAV detection system for taking an enlarged image of the UAV using the camera of the classification image sensor with controlled angle and zoom. 제6항에 있어서,
상기 분류 영상 센서는,
상기 확대 영상을 분석하여 상기 무인기의 종류를 분류할 수 없는 경우, 상기 분류 영상 센서의 카메라의 파라미터를 보정하여 확대 영상을 재촬영하고, 재촬영한 확대 영상을 분석하여 상기 무인기의 종류를 분류하는 무인기 검출 시스템.According to claim 6,
The classification image sensor,
When the type of the UAV cannot be classified by analyzing the enlarged image, the camera parameters of the classification image sensor are corrected to retake the enlarged image, and the recaptured enlarged image is analyzed to classify the type of the UAV Unmanned aerial vehicle detection system.
KR1020220071265A 2021-07-27 2022-06-13 Method and system for detecting unmanned aerial vehicle using plurality of image sensors KR20230017127A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/873,684 US20230029566A1 (en) 2021-07-27 2022-07-26 Method and system for detecting unmanned aerial vehicle using plurality of image sensors

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210098654 2021-07-27
KR1020210098654 2021-07-27

Publications (1)

Publication Number Publication Date
KR20230017127A true KR20230017127A (en) 2023-02-03

Family

ID=85226034

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220071265A KR20230017127A (en) 2021-07-27 2022-06-13 Method and system for detecting unmanned aerial vehicle using plurality of image sensors

Country Status (1)

Country Link
KR (1) KR20230017127A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589574B1 (en) * 2023-03-24 2023-10-16 주식회사 아로텍 Apparatus and method for patrol using camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102589574B1 (en) * 2023-03-24 2023-10-16 주식회사 아로텍 Apparatus and method for patrol using camera

Similar Documents

Publication Publication Date Title
EP3573024B1 (en) Building radar-camera surveillance system
US7884849B2 (en) Video surveillance system with omni-directional camera
US10498955B2 (en) Commercial drone detection
US20100013917A1 (en) Method and system for performing surveillance
US7385626B2 (en) Method and system for performing surveillance
KR101530255B1 (en) Cctv system having auto tracking function of moving target
US20160127695A1 (en) Method and apparatus for controlling a camera's field of view
WO2008123907A1 (en) Automatic camera calibration and geo-registration using objects that provide positional information
US20180137629A1 (en) Processing apparatus, imaging apparatus and automatic control system
KR102619271B1 (en) Video capturing device including plurality of cameras and video capturing system including the same
KR102310192B1 (en) Convergence camera for enhancing object recognition rate and detecting accuracy, and boundary surveillance system therewith
KR20230017127A (en) Method and system for detecting unmanned aerial vehicle using plurality of image sensors
CN113869231A (en) Method and equipment for acquiring real-time image information of target object
US20230029566A1 (en) Method and system for detecting unmanned aerial vehicle using plurality of image sensors
US20200125879A1 (en) Apparatus and method for capturing flying objects
WO2020255628A1 (en) Image processing device, and image processing program
US20120307003A1 (en) Image searching and capturing system and control method thereof
CN112580420A (en) System and method for combating unmanned aerial vehicles
CN111935444A (en) System and method for generating a field of view for an unmanned aerial vehicle
CN112837343B (en) Low-altitude unmanned-machine prevention and control photoelectric early warning identification method and system based on camera array
US20200088831A1 (en) Mobile body detection device, mobile body detection method, and mobile body detection program
US20220103762A1 (en) Imaging apparatus, imaging system, and imaging method
WO2023275544A1 (en) Methods and systems for detecting vessels
US10979675B2 (en) Video monitoring apparatus for displaying event information
WO2005120070A2 (en) Method and system for performing surveillance