KR102159134B1

KR102159134B1 - Method and system for generating real-time high resolution orthogonal map for non-survey using unmanned aerial vehicle

Info

Publication number: KR102159134B1
Application number: KR1020190119937A
Authority: KR
Inventors: 배광
Original assignee: 네이버시스템(주)
Priority date: 2019-09-27
Filing date: 2019-09-27
Publication date: 2020-09-23

Abstract

Disclosed are a method for generating a real-time high-resolution orthogonal map for non-survey using an unmanned aerial vehicle to enable a user to quickly check a precise map, and an apparatus thereof. According to one embodiment of the present invention, the method comprises the following steps: performing calibration to acquire correction data for a camera; when receiving an image captured by the camera from an unmanned aerial vehicle flying with the camera, using the correction data to perform first correction of correcting a lens and tangent distortion with respect to the image; and performing second correction for performing orthogonal correction with respect to the first corrected image to generate an orthogonal image.

Description

Real-time high resolution orthogonal map generation method for non-surveying using UAV and real-time high resolution orthogonal map generation device for non-surveying {METHOD AND SYSTEM FOR GENERATING REAL-TIME HIGH RESOLUTION ORTHOGONAL MAP FOR NON-SURVEY USING UNMANNED AERIAL VEHICLE}

본 발명은, 드론 등의 무인비행기에서의 이미지 촬영과 동시에, 실시간으로 촬영된 이미지를 통신망으로 받아 정밀 맵으로 변환 함으로써, 사용자로 하여금 촬영된 이미지를 반영한 지도 서비스를 신속하게 확인할 수 있게 하는, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치에 관한 것이다.The present invention is, at the same time as the image capture by an unmanned aerial vehicle such as a drone, by receiving an image captured in real time through a communication network and converting it into a precision map, the user can quickly check a map service reflecting the captured image. It relates to a real-time high-resolution orthogonal map generation method for non-surveying using an airplane and an apparatus for generating real-time high-resolution orthogonal maps for non-surveying.

일반적으로, 드론 촬영에 의한 고해상도 정사지도를 얻기 위해서는, 드론에 의한 촬영 비행을 먼저 수행하고, 촬영 비행이 종료된 후 촬영된 다수의 이미지를 드론으로부터 획득하여 전용 정사지도 생성 소프트웨어가 구동되는 컴퓨터 등으로 옮기고, 이 전용 정사지도 생성 소프트웨어를 통해 이미지 프로세싱 단계를 거쳐 정사지도를 획득하는 방식을 활용하고 있다.In general, in order to obtain a high-resolution orthogonal map by drone shooting, a computer running a dedicated orthogonal map generation software by first performing a shooting flight by a drone and then acquiring a number of images captured from the drone after the shooting flight is finished, etc. And use the method of obtaining an orthogonal map through the image processing step through this dedicated orthogonal map generation software.

그러나, 이러한 정사지도의 획득 방법은, 드론 촬영에 시간이 소요되고, 또한 촬영된 다수의 이미지를 병합하는 데에 자원을 필요로 하는 문제가 있다. 또한, 일반적인 정사지도의 획득 방법에서는, 이미지 프로세싱 단계를 수행해야 함으로, 최종 결과물을 생성하고 이를 지도 서비스로서 제공하는 데에 까지 너무 많은 시간이 걸리는 문제가 있다.However, this method of obtaining an orthogonal map has a problem in that it takes time to shoot a drone and also requires resources to merge a plurality of captured images. In addition, in a general method of obtaining an orthogonal map, there is a problem that it takes too much time to generate a final result and provide it as a map service because an image processing step must be performed.

예컨대, 일반적인 정사지도의 획득 방법에 의해서는, 드론에서 1000장의 사진을 촬영하는 데에, 약50분의 촬영 비행 시간이 필요하고, 촬영된 1000장의 사진을 다시 이미지 프로세싱을 통해 정사지도로 최종적으로 생성하는 데에 까지 약 5시간 정도가 더 소요되는 것으로 알려져 있다. 상기 예시의 이미지 프로세싱을 처리 시간은, 컴퓨터의 사양이 비교적 높은 High-end 컴퓨터(Intel(R) Xeon(R) Gold 6154 3.0Ghz 및 3.7Ghz (turbo) 18 physical core, 4k(4000x3000 해상도)로 처리할 때의 필요 시간일 수 있다.For example, according to the general method of obtaining an orthogonal map, it takes about 50 minutes of flight time to take 1000 photos with a drone, and the captured 1000 photos are finally converted into an orthogonal map through image processing. It is known that it takes about 5 hours more to generate. The processing time for the image processing in the above example is a high-end computer with a relatively high computer specification (Intel(R) Xeon(R) Gold 6154 3.0Ghz and 3.7Ghz (turbo) 18 physical core, 4k (4000x3000 resolution)). It may be the time you need to do it.

따라서, 드론 촬영과 동시에 실시간으로 촬영된 영상을 정밀 맵으로 확인할 수 있게 하여, 처리 자원을 획기적으로 단축시키는 새로운 기법이 절실히 요구되고 있다.Accordingly, there is an urgent need for a new technique for dramatically shortening processing resources by enabling a precise map to check an image captured in real time simultaneously with drone photography.

본 발명의 실시예는 무인비행기에 장착된 카메라에서 이미지를 촬영하는 것에 연동하여, 무인비행기로부터 촬영된 이미지를 수신하여 보정 처리하여 생성한 정사영상을 타일 맵으로 실시간 전환 함으로써, 사용자로 하여금 정밀 맵을 빠르게 확인시킬 수 있게 하는, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치를 제공하는 것을 목적으로 한다.An embodiment of the present invention is linked to photographing an image from a camera mounted on an unmanned aerial vehicle, by receiving an image captured from an unmanned aerial vehicle and converting the generated orthogonal image into a tile map in real time, allowing the user to An object of the present invention is to provide a method for generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle and an apparatus for generating a real-time high-resolution orthogonal map for non-surveying.

또한, 본 발명의 실시예는 무인비행기로부터 수신된 이미지에 대해, 렌즈 및 접선왜곡 보정과, 이미지의 짐벌자세정보를 통한 정사 보정을 연속적으로 수행하여, 정밀한 정사영상을 빠르게 생성하는 것을 목적으로 한다.In addition, an embodiment of the present invention aims to rapidly generate a precise orthogonal image by continuously performing lens and tangential distortion correction and orthogonal correction through the gimbal posture information of the image on an image received from an unmanned aerial vehicle. .

본 발명의 일실시예에 따른, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법은, 캘리브레이션을 실시하여 카메라에 대한 보정 데이터를 획득하는 단계; 상기 카메라를 탑재하여 비행 중인 무인비행기로부터, 상기 카메라에 의해 촬영된 이미지가 수신 됨에 따라, 상기 보정 데이터를 이용하여 상기 이미지에 대해 렌즈 및 접선왜곡 보정하는 1차 보정을 수행하는 단계; 및 상기 1차 보정된 이미지에 대해, 정사 보정하는 2차 보정을 수행하여, 정사영상을 생성하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a method of generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle includes: obtaining correction data for a camera by performing calibration; Performing primary correction of correcting lens and tangential distortion on the image by using the correction data as the image captured by the camera is received from the unmanned aerial vehicle in flight with the camera mounted thereon; And generating an orthogonal image by performing a second correction of orthogonal correction on the first corrected image.

또한, 본 발명의 실시예에 따른, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치는, 캘리브레이션을 실시하여 카메라에 대한 보정 데이터를 획득하는 획득부; 및 상기 카메라를 탑재하여 비행 중인 무인비행기로부터, 상기 카메라에 의해 촬영된 이미지가 수신 됨에 따라, 상기 보정 데이터를 이용하여 상기 이미지에 대해 렌즈 및 접선왜곡 보정하는 1차 보정을 수행하고, 상기 1차 보정된 이미지에 대해, 정사 보정하는 2차 보정을 수행하여, 정사영상을 생성하는 처리부를 포함하여 구성할 수 있다.In addition, according to an embodiment of the present invention, an apparatus for generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle includes: an acquisition unit configured to perform calibration to obtain correction data for a camera; And performing a first-order correction of correcting lens and tangential distortion on the image using the correction data as an image photographed by the camera is received from an unmanned aerial vehicle in flight with the camera mounted, and the first The corrected image may be configured to include a processing unit for generating orthogonal images by performing secondary correction for orthogonal correction.

본 발명의 일실시예에 따르면, 무인비행기에 장착된 카메라에서 이미지를 촬영하는 것에 연동하여, 무인비행기로부터 촬영된 이미지를 수신하여 보정 처리하여 생성한 정사영상을 타일 맵으로 실시간 전환 함으로써, 사용자로 하여금 정밀 맵을 빠르게 확인시킬 수 있게 하는, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법 및 비측량용 실시간 고해상도 정사지도 생성 장치를 제공할 수 있다.According to an embodiment of the present invention, in conjunction with photographing an image from a camera mounted on an unmanned aerial vehicle, by receiving an image taken from an unmanned aerial vehicle and converting the generated orthogonal image into a tile map in real time, It is possible to provide a method for generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle and an apparatus for generating a real-time high-resolution orthogonal map for non-surveying.

또한, 본 발명의 일실시예에 따르면, 무인비행기로부터 수신된 이미지에 대해, 렌즈 및 접선왜곡 보정과, 이미지의 짐벌자세정보를 통한 정사 보정을 연속적으로 수행하여, 정밀한 정사영상을 빠르게 생성할 수 있다.In addition, according to an embodiment of the present invention, a precise orthogonal image can be quickly generated by continuously performing lens and tangential distortion correction and orthogonal correction through the gimbal posture information of an image received from an unmanned aerial vehicle. have.

도 1은 본 발명의 일실시예에 따른 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치의 구성을 도시한 블록도이다.
도 2는 카메라 투영 모델의 일례를 설명하기 위한 도면이다.
도 3a는 GML 카메라 캘리브레이션 툴을 설명하기 위한 도면이고, 도 3b는 GML 카메라 캘리브레이션 툴의 실행 결과를 예시한 도면이다.
도 4는 본 발명에 따른 렌즈 왜곡 및 접선 왜곡에 대한 보정 처리의 일례를 설명하기 위한 도면이다.
도 5a는 원근투영의 일례를 설명하기 위한 도면이고, 도 5b는 도 5a의 관계를 도시한 도면이다.
도 6은 정사변환을 설명하기 위해, 관측 절두체의 일례를 설명하는 도면이다.
도 7은 본 발명에 따른 좌표정보의 도출을 설명하기 위한 도면이다.
도 8은 본 발명에 따른 이미지 보정 전후의GPS 좌표의 이동을 보여주는 도면이다.
도 9는 GPS 좌표에 중복되는 타일을 저장하는 경우, 본 발명에 따라 처리하는 일례를 설명하는 도면이다.
도 10은 본 발명의 일실시예에 따른, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법을 도시한 흐름도이다.1 is a block diagram showing the configuration of an apparatus for generating real-time high-resolution orthogonal maps for non-surveying using an unmanned aerial vehicle according to an embodiment of the present invention.
2 is a diagram for explaining an example of a camera projection model.
3A is a diagram illustrating a GML camera calibration tool, and FIG. 3B is a diagram illustrating an execution result of a GML camera calibration tool.
4 is a diagram for explaining an example of correction processing for lens distortion and tangential distortion according to the present invention.
FIG. 5A is a view for explaining an example of perspective projection, and FIG. 5B is a diagram showing the relationship of FIG. 5A.
6 is a diagram illustrating an example of an observation frustum in order to explain the orthogonal transformation.
7 is a diagram for explaining derivation of coordinate information according to the present invention.
8 is a diagram showing movement of GPS coordinates before and after image correction according to the present invention.
9 is a diagram illustrating an example of processing according to the present invention when overlapping tiles are stored in GPS coordinates.
10 is a flowchart illustrating a method of generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle according to an embodiment of the present invention.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, since various changes may be made to the embodiments, the scope of the rights of the patent application is not limited or limited by these embodiments. It should be understood that all changes, equivalents, or substitutes to the embodiments are included in the scope of the rights.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used for illustrative purposes only and should not be interpreted as limiting. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the embodiment belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In addition, in the description with reference to the accompanying drawings, the same reference numerals are assigned to the same components regardless of the reference numerals, and redundant descriptions thereof will be omitted. In describing the embodiments, when it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the embodiments, the detailed description thereof will be omitted.

도 1은 본 발명의 일실시예에 따른 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an apparatus for generating real-time high-resolution orthogonal maps for non-surveying using an unmanned aerial vehicle according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치(100)(이하, '비측량용 실시간 고행상도 정사지도 생성 장치'로 약칭함)는, 획득부(110) 및 처리부(120)를 포함하여 구성할 수 있다. 또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 실시예에 따라, 매핑부(130)와 수신부(140)를 선택적으로 추가하여 구성할 수 있다.1, a real-time high resolution orthogonal map generating device 100 for non-surveying using an unmanned aerial vehicle according to an embodiment of the present invention (hereinafter, abbreviated as'real-time high-resolution orthogonal map generating device for non-surveying') May be configured to include an acquisition unit 110 and a processing unit 120. In addition, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may be configured by selectively adding a mapping unit 130 and a receiving unit 140 according to an embodiment.

우선, 획득부(110)는 캘리브레이션을 실시하여 카메라에 대한 보정 데이터를 획득한다. 즉, 획득부(110)는 드론 등의 무인비행기에 탑재되어, 상기 무인비행기가 촬영 비행하는 중에 촬영 동작을 하여 이미지를 생성하는 카메라에 대해, 보정 작업을 수행하여 카메라의 현 상태(렌즈 왜곡 정도, 접선 왜곡 정도 포함)에 관한 보정 데이터를 얻는 역할을 할 수 있다.First, the acquisition unit 110 performs calibration to obtain correction data for a camera. That is, the acquisition unit 110 is mounted on an unmanned aerial vehicle such as a drone, and performs a correction operation for a camera that generates an image by performing a photographing operation while the unmanned aerial vehicle is photographing and flying. , Including the degree of tangential distortion).

상기 캘리브레이션은 카메라와 피사체 사이의 거리나 입사되는 광의 변화에 따른, 카메라 렌즈의 초점 거리나 조리개 눈금을 측정하고 미리 표시해 둠으로써, 카메라에 의해 생성되는 이미지가 어떠한 상태로 생성되는지를 미리 가늠하기 위한 작업일 수 있다.The calibration measures the focal length or aperture scale of the camera lens according to the change in the distance between the camera and the subject or the incident light, and displays it in advance to determine in advance what state the image generated by the camera is generated in. It can be a task.

다시 말해, 획득부(110)는 카메라의 현 상태로 인해, 왜곡되는 정도를 캘리브레이션을 통해 인지하여, 그 결과 값을 상기 보정 데이터로서 획득할 수 있다.In other words, the acquisition unit 110 may recognize a degree of distortion due to the current state of the camera through calibration, and obtain a result value as the correction data.

또한, 처리부(120)는 상기 카메라를 탑재하여 비행 중인 무인비행기로부터, 상기 카메라에 의해 촬영된 이미지가 수신 됨에 따라, 상기 보정 데이터를 이용하여 상기 이미지에 대해 렌즈 및 접선왜곡 보정하는 1차 보정을 수행한다. 즉, 처리부(120)는 무인비행기로부터 수신된 이미지에 대해, 앞서 획득한 보정 데이터를 고려하여 선과 면에 대한 보정 작업을 수행함으로써, 카메라 자체의 왜곡을 배제하여 이미지가 교정되도록 할 수 있다.In addition, the processing unit 120 performs primary correction for correcting lens and tangential distortion for the image using the correction data as an image photographed by the camera is received from an unmanned aerial vehicle in flight with the camera mounted thereon. Perform. That is, the processor 120 may correct the image by excluding distortion of the camera itself by performing a correction operation for lines and surfaces in consideration of the previously acquired correction data for the image received from the unmanned aerial vehicle.

또한, 처리부(120)는 상기 1차 보정된 이미지에 대해, 정사 보정하는 2차 보정을 수행하여, 정사영상을 생성한다. 즉, 처리부(120)는 렌즈 및 접선왜곡 보정된 이미지에 대해, 정사 보정을 재차 수행하여, 하늘에서 수직으로 바라보는 것과 같은 정사영상을 산출해 낼 수 있다.In addition, the processing unit 120 generates an ortho image by performing a second correction for orthogonal correction on the first corrected image. That is, the processing unit 120 may perform orthogonal correction on the lens and the tangential distortion-corrected image again, thereby calculating an orthogonal image as viewed vertically from the sky.

무인비행기로부터의 이미지 수신을 위해, 본 발명의 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 수신부(140)를 더 포함할 수 있다.In order to receive an image from an unmanned aerial vehicle, the apparatus 100 for generating a real-time high resolution orthogonal map for non-surveying according to the present invention may further include a receiving unit 140.

수신부(140)는 상기 카메라에 의해 이미지가 촬영되는 것에 연동하여, 상기 무인비행기로부터 촬영된 이미지를, 통신망을 통해 실시간으로 수신한다. 즉, 수신부(140)는 카메라에서 이미지를 생성할 때 마다, 해당 이미지를 수신 함으로써, 상기의 처리부(120)에 의한 상술의 1, 2차 보정이 이루어지도록 하는 역할을 할 수 있다.The receiving unit 140 receives the image captured from the unmanned aerial vehicle in real time through a communication network in conjunction with the image being captured by the camera. That is, the receiving unit 140 may serve to perform the aforementioned first and second corrections by the processing unit 120 by receiving the corresponding image whenever the camera generates an image.

여기서, 통신망은 비측량용 실시간 고해상도 정사지도 생성 장치(100)와, 무인비행기를 연결시켜 생성된 이미지를 전달시키는 네트워크를 지칭하며, 4G 및 5G LTE 등으로 예시할 수 있다.Here, the communication network refers to a network that transmits an image generated by connecting the device 100 for generating a real-time high resolution orthogonal map for non-surveying and an unmanned aerial vehicle, and may be illustrated as 4G and 5G LTE.

2차 보정에 있어, 처리부(120)는 상기 이미지의 짐벌자세정보를 반영하여, 상기 1차 보정된 이미지에 대해 정사 보정을 처리하여, 상기 정사영상을 생성할 수 있다. 상기 짐벌자세정보는, 상기 1차 보정된 이미지의 z축 회전에 관한 요(yaw) 정보, 상기 1차 보정된 이미지의 x축 회전에 관한 피치(pitch) 정보, 및 상기 1차 보정된 이미지의 y축 회전에 관한 롤(roll) 정보를 포함할 수 있다.In the second correction, the processing unit 120 may generate the orthogonal image by reflecting the gimbal posture information of the image and processing orthogonal correction on the first corrected image. The gimbal posture information includes yaw information about the z-axis rotation of the first corrected image, pitch information about the x-axis rotation of the first corrected image, and the first corrected image. It may include roll information about the y-axis rotation.

즉, 처리부(120)는 1차 보정으로 인해 교정된 이미지에 대해, 3차원 공간에서의 각 축에 대한 회전 보정을 통해, 3차원 입체의 정사영상을 제작할 수 있다.That is, the processing unit 120 may produce a three-dimensional orthogonal image through rotation correction for each axis in a three-dimensional space with respect to the image corrected by the first correction.

다른 실시예에서, 처리부(120)는, 상기 카메라의 화각, 피치 회전각, 및 고도값 중 적어도 하나를 반영하여 상기 정사영상의 정중앙 좌표를 보정하고, 보정된 상기 정중앙 좌표를 기반으로 상기 이미지의 좌상단 모서리와 우하단 모서리의 GPS 좌표를 도출하여 TIFF 파일로 전환하여, 좌표정보(GEO-Reference) 정보와 함께, 상기 정사영상에 삽입한다. 즉, 처리부(120)는 생성된 정사영상에, 지표가 될 수 있는 지상의 기준물의 좌표정보를 포함시킴으로써, 보정에 따라 생성되는 정사영상과 관련하여, 이미지가 촬영된 지상의 위치를 정확하게 인지하도록 지원할 수 있다.In another embodiment, the processing unit 120 corrects the center coordinate of the orthogonal image by reflecting at least one of the angle of view, the pitch rotation angle, and the altitude value of the camera, and the corrected center coordinate of the image The GPS coordinates of the upper left corner and the lower right corner are derived, converted into a TIFF file, and inserted into the orthogonal image together with the coordinate information (GEO-Reference) information. That is, the processing unit 120 includes coordinate information of a reference object on the ground that can be an indicator in the generated orthogonal image, so that in relation to the orthogonal image generated according to the correction, the position of the ground on which the image was photographed is accurately recognized. You can apply.

이와 같이 생성된 정사영상은 지도 상으로 표현되어 시각화 될 수 있다.The generated orthogonal image can be visualized by being expressed on a map.

이를 위해, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는, 정사영상을 온라인 지도로 매핑하는 매핑부(130)를 더 포함하여 구성할 수 있다.To this end, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may further include a mapping unit 130 that maps an orthogonal image to an online map.

매핑부(130)는 상기 정사영상을 제1 타일 맵으로 변환하여, TMS(Tile Map Service)와 연관되는 저장소에 저장함으로써, 상기 TMS에 의한 서비스 요청 시, 상기 제1 타일 맵이 온라인 지도 상에 오버레이되도록 한다. 즉, 매핑부(130)는 이미지 별로 생성된 정사영상을, 타일 시트 텍스쳐(2D 이미지)의 타일셋으로 생성하고, 원하는 타일의 타일 크기, 보더 마진(Border Maring), 타일 스페이싱(Per Tile-Spacing) 등에 따라 타일셋을 조정한 후, 제1 타일 맵으로 변환할 수 있다. 이때, 타일 맵은 사용할 타일셋에 따라서 온라인 지도의 가로 및 세로 타일 개수(Map Width 및 Map Height)와 타일 크기(Tile Width 및 Tile Height)를 설정해서 전체 맵의 크기와 사용할 타일 크기를 설정할 수 있다.The mapping unit 130 converts the orthogonal image into a first tile map and stores it in a storage associated with TMS (Tile Map Service), so that the first tile map is displayed on the online map when the service is requested by the TMS. Make it overlay. That is, the mapping unit 130 generates an orthogonal image generated for each image as a tile set of a tile sheet texture (2D image), and the tile size of the desired tile, border maring, and tile spacing (Per Tile-Spacing) After adjusting the tileset according to the like, it may be converted into a first tile map. In this case, the tile map can set the size of the entire map and the tile size to be used by setting the number of horizontal and vertical tiles (Map Width and Map Height) and tile size (Tile Width and Tile Height) of the online map according to the tileset to be used.

또한, 매핑부(130)는, 상기 제1 타일 맵을, 상기 이미지가 촬영된 GPS 좌표에 대응시켜, 상기 TMS와 연관되는 저장소에 저장할 수 있다. 이때, 상기 저장소에, 상기 GPS 좌표에 대응하는 기등록의 제2 타일 맵이 저장되는 경우, 처리부(120)는 상기 제1 타일 맵과 상기 제2 타일 맵 간의 이미지 점유비율을 비교하고, 상대적으로 큰 이미지 점유비율을 갖는 타일 맵을 상기 저장소에 저장할 수 있다.In addition, the mapping unit 130 may store the first tile map in a storage associated with the TMS by matching the GPS coordinates in which the image is captured. At this time, when a pre-registered second tile map corresponding to the GPS coordinate is stored in the storage, the processing unit 120 compares the image occupancy ratio between the first tile map and the second tile map, and A tile map having a large image occupancy ratio can be stored in the storage.

즉, 매핑부(130)는 하나의 GPS 좌표에, 상대적으로 양질의 타일 맵 하나 만이 대응되어 저장되도록 함으로써, 온라인 지도 서비스에 제공되는 타일 맵을 중복시켜 저장되지 않게 하여 저장 리소스를 절약할 수 있다.That is, the mapping unit 130 stores only one relatively high-quality tile map corresponding to one GPS coordinate, so that the tile map provided in the online map service is not duplicated and stored, thereby saving storage resources. .

본 발명의 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 중복 타일 맵 선택적 저장 기법을 구현할 수 있다.The apparatus 100 for generating a real-time high resolution orthogonal map for non-surveying according to the present invention may implement a method of selectively storing a duplicate tile map.

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 드론으로부터 촬영 비행 중 촬영되는 한 장 한 장의 이미지를 실시간으로 수신하고, 수신된 이미지를 렌즈 및 접선왜곡을 보정(1차 보정)한 후 다시 정사 보정(2차 보정)을 수행하여 정사영상을 생성할 수 있다. 이를 통해, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 각각의 이미지에 대한 개별적인 처리를 수행하여, 처리시간을 현저히 줄일 수 있다.The real-time high-resolution orthogonal map generation device 100 for non-surveying receives in real time a single image taken during a shooting flight from a drone, corrects the lens and tangential distortion (first correction) of the received image, and then orthogonalizes the image again. Correction (second correction) may be performed to generate an orthogonal image. Through this, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may perform individual processing for each image, thereby significantly reducing processing time.

상기 정사영상의 생성 후, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 생성된 정사영상을, 온라인 지도 상에 오버레이하여 보여주기 위해 타일 맵으로 변환하여 TMS와 연계한 저장소에 저장할 수 있다.After generating the orthogonal image, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may convert the generated orthogonal image into a tile map to display it by overlaying it on an online map, and store it in a storage linked to the TMS.

정사영상의 타일 맵 변환에 있어, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 단일 정사영상 마다 별도로 타일링 처리를 하게 되므로, 중복되는 GPS 좌표의 경우 이전에 변환해 놨던 타일 맵 정보에 덮어쓰기(Over write)가 되어, 이전 타일 맵 정보가 삭제되는 문제가 있을 수 있다.In converting the tile map of an orthogonal image, the real-time high-resolution orthogonal map generating device 100 for non-surveying performs a separate tiling process for each single orthogonal image, so in the case of overlapping GPS coordinates, the previously converted tile map information is overwritten. Due to (Overwrite), there may be a problem in that previous tile map information is deleted.

예컨대, 이전에 변환되었던 타일 맵 정보는 전체가 이미지로 꽉 찬 것에 비해, 현재 변환된 타일 맵 정보는 절반 만이 이미지로 차 있을 때, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는, 상대적으로 품질이 좋을 수 있는 이전 타일 맵 정보를 삭제하면서, 현재 변환된 타일 맵 정보를 저장소에 저장하게 되는 문제가 있을 수 있다.For example, when the previously converted tile map information is entirely filled with images, whereas the currently converted tile map information is only half full of images, the real-time high resolution orthogonal map generating apparatus 100 for non-surveying is relatively While deleting previous tile map information, which may be of good quality, there may be a problem of storing the currently converted tile map information in the storage.

이러한 문제를 개선하기 위해, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 동일 GPS 좌표에 타일 맵 정보의 쓰기가 시도되면, 기존 GPS 좌표의 타일 맵 정보가 있는지 확인하고, 타일 맵 내의 이미지 점유비율이 보다 많은 쪽을 선택하여 저장할 수 있다.To improve this problem, the device 100 for generating a real-time high resolution orthogonal map for non-surveying, when attempting to write tile map information in the same GPS coordinates, checks whether there is tile map information of the existing GPS coordinates, and occupies an image in the tile map. You can select and save the page with more ratio.

무인 항공기에 의한 이미지의 획득 시에는, 지구와 무인비행기, 센서의 상대적인 운동과 센서 특성, 기기 제어의 한계 등 다양한 이유로 인해, 이미지의 공간적 왜곡인 기하 오차가 발생할 수 있다. 이러한 기하 오차가 발생한 이미지는 지표의 실제 공간 분포와 맞지 않게 비틀린 상태이며, 이 비틀린 상태를 기하 보정으로 보정할 수 있다.When an image is acquired by an unmanned aerial vehicle, a geometric error, which is a spatial distortion of the image, may occur due to various reasons such as the relative motion of the earth and the unmanned aerial vehicle, the sensor's relative motion, sensor characteristics, and limitations of device control. The image in which such a geometric error has occurred is in a state of being distorted not to match the actual spatial distribution of the ground, and this state of distortion can be corrected by geometric correction.

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상술의 기하 보정과 달리, 정사 보정에 의거하여 이미지에 대해 보정할 수 있다.The apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may correct an image based on orthogonal correction, unlike the geometric correction described above.

상기 정사 보정은 중심 투영에 의해 생긴 기복 변위와 카메라 자세에 의해 발생한 변위를 제거하여, 지도와 같이 정사 투영된 특성을 갖도록 만드는 과정을 지칭할 수 있다.The orthogonal correction may refer to a process of removing the undulation displacement caused by the center projection and the displacement caused by the camera posture so as to have orthogonal projection characteristics like a map.

정사 보정은 이미지가 가지고 있는 왜곡의 원인을 모두 고려하여 기하학적으로 이미지 촬영 당시와 동일한 환경을 재구성함으로써, 이미지의 위치를 보정하는 기법으로, 이미지 내 모든 점이 수직방향에서 본 것과 같은 형태를 가지게 된다.Orthogonal correction is a technique of correcting the position of an image by geometrically reconstructing the same environment as when the image was taken, taking into account all the causes of distortion of the image, and all points in the image have the same shape as viewed from the vertical direction.

기하 오차는 지구자전효과, 파노라믹 왜곡(Panoramic Distortion), 스캔 시간 뒤틀림(Scan Time Skew), 무인비행기의 자세 변화, 지구 곡률 등의 원인으로 발생될 수 있다.Geometric errors can be caused by the Earth's rotation effect, Panoramic Distortion, Scan Time Skew, changes in the attitude of the UAV, and the curvature of the Earth.

지구자전효과에 있어, 지구가 자전하고 있기 때문에 센서에 의해 촬영되는 지역은 통상의 영상에 나타나는 것과 같은 직사각형 형태를 이루지 못하고 실제로는 동서 방향으로 찌그러진 사각형 형태를 나타낼 수 있다.In the Earth rotation effect, since the Earth is rotating, the area photographed by the sensor does not form a rectangular shape as shown in a normal image, and may actually show a square shape distorted in the east-west direction.

파노라믹 왜곡에 의해서는, 무인비행기의 탑재 센서의 IFOV각(순간 시야각, Instantaneous Field Of View)이 일정하므로, 한 화소가 나타내는 지표 면적이 수직 방향에서 보다, 라인(line) 끝에서 더 커지는 오차를 발생시킬 수 있다.Due to the panoramic distortion, the IFOV angle (instantaneous field of view) of the unmanned aerial vehicle's mounted sensor is constant, so the surface area represented by one pixel is larger at the end of the line than in the vertical direction. Can occur.

스캔 시간 뒤틀림에 의해서는, 영상 획득 과정에서 Landsat MSSS나 TM과 같이 라인단위로 영상을 취득하는 경우, 일정한 폭을 스캔하는데 특정 시간이 소요되고, 이 시간동안 위성이 계속해서 앞으로 움직이며 트랙(track) 방향을 따라 왜곡을 발생시킬 수 있다.Due to the distortion of the scan time, in the case of acquiring an image in line units such as Landsat MSSS or TM in the image acquisition process, it takes a certain time to scan a certain width, and during this time, the satellite continuously moves forward and tracks the track. ) Can cause distortion along the direction.

무인비행기의 자세변화의 종류는 yaw, pitch, roll로 구분할 수 있으며, 이는 영상의 회전과 트랙의 수직, 수평 방향으로의 편위를 발생시킬 수 있다.The type of posture change of the UAV can be classified into yaw, pitch, and roll, which can cause rotation of the image and deviations in the vertical and horizontal directions of the track.

지구 곡률에 의해서는, 고도에 따라 지구 곡률에 의한 왜곡을 심하게 발생시킬 수 있다. 다만, 무인비행기는 고도가 낮고 관측폭이 좁기 때문에, 지구 곡률에 의한 영향을 무시할 수도 있다.By the curvature of the earth, it may cause severe distortion due to the curvature of the earth depending on the altitude. However, since UAVs have a low altitude and narrow viewing width, the effect of the Earth's curvature can be neglected.

기하학적 보정의 방법에는 기하 왜곡 원인의 크기와 특성에 대한 모델을 세우고, 이 모델로 보정 방정식을 세우는 수학적 모델링과, 지상기준점(Ground Control Point, GCP)을 이용하여 영상에서의 화소의 위치와 지상좌표 사이의 수학적 관계식을 구하는 다항식 모델링 등을 예시할 수 있다.In the geometric correction method, a model for the size and characteristics of the cause of geometric distortion is established, and mathematical modeling that establishes a correction equation with this model, and the position and ground coordinates of the pixels in the image using a ground control point (GC). Polynomial modeling, etc. to obtain a mathematical relationship between the two can be illustrated.

비측량용 실시간 고해상도 정사지도 생성 장치(100)에서는 정사 보정을 수행하며, 실시간 고속처리를 위해, 파노라믹 왜곡과, 무인비행기의 자세변화에 따른 편위 오차에 의한 왜곡에 대해 원인을 분석한 후, 이를 사용하여 왜곡된 영상을 원래의 상태로 변환시키는 역변환 체계를 구하여 왜곡을 보정하는 수학적 모델링 기법을 사용할 수 있다.The real-time high-resolution orthogonal map generating apparatus 100 for non-surveying performs orthogonal correction, and for real-time high-speed processing, after analyzing the cause of the distortion due to the deviation error due to the change in the attitude of the unmanned aerial vehicle and the panoramic distortion. , Using this, a mathematical modeling technique that corrects distortion can be used to obtain an inverse transformation system that converts the distorted image to its original state.

이하에서는, 본 발명에 따른 비측량용 실시간 고해상도 정사지도 생성 장치(100)에 의해 구현되는, 실시간 정사지도 생성을 위한 단계별 처리를 설명한다.Hereinafter, a step-by-step process for generating a real-time orthogonal map implemented by the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying according to the present invention will be described.

우선, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 드론 비행 전에 드론 카메라의 캘리브레이션을 실시하여 렌즈 왜곡 및 접선 왜곡에 대한 보정 데이터를 얻을 수 있다.First, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may obtain correction data for lens distortion and tangential distortion by calibrating the drone camera before flying the drone.

우리가 실제 눈으로 보는 세상은 3차원이지만, 이 3차원은 카메라로 찍힘에 따라 2차원의 이미지로 변하게 된다. 이 때, 3차원의 점들이 이미지 상에서 어디에 맺히는지의 기하학적인 위치는, 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정될 수 있다. 하지만 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등, 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받을 수 있다.The world we see with our eyes is three-dimensional, but this three-dimensional image turns into a two-dimensional image as it is captured with a camera. In this case, the geometric position of where the three-dimensional points are formed on the image may be determined by the position and direction of the camera at the time of taking the image. However, the actual image can be greatly affected by the mechanical parts inside the camera, such as the lens used, the distance between the lens and the image sensor, and the angle between the lens and the image sensor.

따라서, 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는, 이러한 카메라 내부의 요인을 제거해야 만 정확한 계산을 할 수 있다. 그리고 이러한 내부 요인의 파라미터 값을 구하는 과정은 카메라 캘리브레이션으로 지칭할 수 있다.Therefore, when obtaining the position where the 3D points are projected onto the image or conversely restoring the 3D spatial coordinates from the image coordinates, accurate calculations can be performed only by removing such factors inside the camera. In addition, the process of obtaining the parameter value of such an internal factor may be referred to as camera calibration.

카메라 영상은 3차원 공간 상의 점들을 2차원 이미지 평면에 투사(perspective projection) 함으로써 얻어질 수 있고, 핀홀(pinhole) 카메라 모델에서는 이러한 변환 관계를 [수학식 1]로 모델링할 수 있다.The camera image can be obtained by projecting points in a 3D space onto a 2D image plane, and in a pinhole camera model, this transformation relationship can be modeled by [Equation 1].

여기서, (X,Y,Z)는 월드 좌표계(world coordinate system) 상의 3D 점의 좌표이고, [R|t]는 월드 좌표계를 카메라 좌표계로 변환시키기 위한 회전 및 이동변환 행렬이며, A는 intrinsic camera matrix을 지칭할 수 있다.Here, (X,Y,Z) is the coordinates of the 3D point on the world coordinate system, [R|t] is the rotation and movement transformation matrix for converting the world coordinate system to the camera coordinate system, and A is the intrinsic camera May refer to a matrix.

수식적으로 보면 카메라 캘리브레이션(camera calibration)은, 카메라 좌표계(Xc, Yc, Zc)의 3D 공간좌표와, 영상 좌표계(X, Y)의 2D 평면좌표 사이의 변환관계 또는 이 변환관계를 설명하는 파라미터를 찾는 과정일 수 있다.Equationally, camera calibration is a transformation relationship between the 3D spatial coordinates of the camera coordinate system (Xc, Yc, Zc) and the 2D plane coordinates of the image coordinate system (X, Y), or a parameter that describes the transformation relationship. It may be a process of finding.

이에 따라, [수학식 1]에서 상기 [R|t]는 카메라 외부 파라미터(extrinsic parameter)로, 상기 A는 카메라 내부 파라미터(intrinsic parameter)로 불리울 수 있다. 또한, 상기 A와 상기 [R|t]를 합쳐서는 camera matrix 또는 projection matrix로 불리울 수 있다.Accordingly, in [Equation 1], [R|t] may be referred to as an external camera parameter, and A may be referred to as an intrinsic parameter. In addition, a combination of A and [R|t] may be referred to as a camera matrix or a projection matrix.

상기 카메라 외부 파라미터는 카메라의 설치 높이, 방향(팬, 틸트) 등, 카메라와 외부 공간과의 기하학적 관계와 관련된 파라미터이며, 상기 카메라 내부 파라미터는 카메라의 초점 거리, aspect ratio, 중심점 등 카메라 자체의 내부적인 파라미터를 의미할 수 있다.The camera external parameters are parameters related to the geometrical relationship between the camera and the external space, such as the installation height and direction (pan, tilt) of the camera, and the internal parameters of the camera are internal to the camera such as the focal length, aspect ratio, and center point of the camera. It may mean a phosphorus parameter.

상기 카메라 내부 파라미터는 초점거리(focal length), 주점(principal point), 비대칭계수(skew coefficient)을 포함할 수 있다.The camera internal parameters may include a focal length, a principal point, and a skew coefficient.

상기 초점거리(f)는 렌즈중심과 이미지센서(CCD, CMOS 등)와의 거리를 지칭할 수 있다. 초점거리(f)의 단위는, 픽셀(pixel)로 표현될 수 있다.The focal length f may refer to a distance between a lens center and an image sensor (CCD, CMOS, etc.). The unit of the focal length f may be expressed as a pixel.

이미지의 픽셀은 이미지 센서의 셀에 대응되기 때문에, 초점거리(f)가 픽셀 단위라는 의미는 초점거리가 이미지 센서의 셀 크기에 대한 상대적인 값으로 표현된다는 의미일 수 있다. 예를 들어, 이미지 센서의 셀(cell)의 크기가 0.1 mm이고 카메라의 초점거리가 f = 500 pixel이라고 하면, 이 카메라의 렌즈 중심에서 이미지 센서까지의 거리는 이미지 센서 셀(cell) 크기의 500배 즉, 50 mm라는 의미일 수 있다.Since the pixels of the image correspond to the cells of the image sensor, the meaning that the focal length f is a pixel unit may mean that the focal length is expressed as a value relative to the cell size of the image sensor. For example, if the size of the image sensor cell is 0.1 mm and the focal length of the camera is f = 500 pixels, the distance from the center of the lens of the camera to the image sensor is 500 times the size of the image sensor cell. That is, it may mean 50 mm.

컴퓨터 비전 분야에서 카메라 초점거리를 물리단위(m, cm, mm, ...)가 아닌 픽셀단위로 표현하는 이유는, 이미지 픽셀과 동일한 단위로 초점거리를 표현 함으로써 영상에서의 기하학적 해석을 용이하게 하기 위함이다.In the field of computer vision, the reason camera focal length is expressed in pixels rather than physical units (m, cm, mm, ...) is to facilitate geometric analysis in images by expressing the focal length in the same unit as image pixels. It is to do.

그런데, 카메라 모델에서 초점거리를 하나의 값으로 f라 표현하지 않고, 카메라 캘리브레이션의 수행에 따라 fx, fy로 구분하여 표현하는 경우가 있는데, 이는 이미지 센서의 물리적인 셀 간격이 가로 방향과 세로 방향이 서로 다를 수 있음을 모델링하기 위함이다.However, in the camera model, the focal length is not expressed as f as a single value, but is expressed by dividing it into fx and fy depending on the camera calibration. This is because the physical cell spacing of the image sensor is horizontal and vertical. This is to model that these can be different.

이 경우 fx는 초점거리(렌즈중심에서 이미지 센서까지의 거리)가 가로 방향 셀 크기(간격)의 몇 배인지를 나타내고, fy는 초점거리가 세로 방향 센서 셀 크기(간격)의 몇 배인지를 나타낸다. fx와 fy의 단위는 모두 픽셀이며, 현대의 일반적인 카메라는 가로방향 셀 간격과 세로방향 셀 간격의 차이가 없기 때문에 f = fx = fy라 놓아도 무방하다.In this case, fx indicates how many times the focal length (the distance from the center of the lens to the image sensor) is the cell size (interval) in the horizontal direction, and fy indicates how the focal length is the cell size (interval) in the vertical direction. . Both units of fx and fy are pixels, and since there is no difference between horizontal cell spacing and vertical cell spacing in modern cameras, f = fx = fy can be set.

참고로, 동일한 카메라로 캘리브레이션을 수행했을 때, 이미지 해상도를 1/2로 낮추면, 캘리브레이션 결과의 초점거리도 1/2로 작아진다. 실제 물리적 초점거리가 변하는 것은 아니지만 카메라 모델에서의 초점거리는 상대적인 개념이기 때문에 해상도를 바꾸면 한 픽셀(pixel)에 대응하는 물리크기가 변하고 따라서 초점거리도 변하게 된다. 예컨대, 이미지 해상도를 1/2로 낮추면 이미지 센서의 2 x 2 셀들이 합쳐서 하나의 이미지 픽셀이 되기 때문에, 한 픽셀에 대응하는 물리크기는 2배가 된다. 따라서 초점거리는 1/2이 되어야 한다.For reference, when calibration is performed with the same camera, if the image resolution is reduced to 1/2, the focal length of the calibration result is also reduced to 1/2. Although the actual physical focal length does not change, the focal length in the camera model is a relative concept, so if the resolution is changed, the physical size corresponding to one pixel changes, and thus the focal length also changes. For example, when the image resolution is lowered to 1/2, the 2 x 2 cells of the image sensor are combined to form one image pixel, so the physical size corresponding to one pixel is doubled. Therefore, the focal length should be 1/2.

도 2는 카메라 투영 모델의 일례를 설명하기 위한 도면이다.2 is a diagram for explaining an example of a camera projection model.

도 2에서, 카메라 모델의 렌즈중심(초점)은 핀홀 카메라 모델에서 핀홀(pinhole)에 해당될 수 있다. 핀홀 카메라 모델은 모든 빛이 한 점(초점)을 직선으로 통과하여 이미지 평면(센서)에 투영된다는 모델일 수 있다. 이러한 핀홀 모델은 3D 공간과 2D 이미지 평면 사이의 기하학적 투영(projection) 관계를 매우 단순화시켜 준다.In FIG. 2, the lens center (focus) of the camera model may correspond to a pinhole in the pinhole camera model. The pinhole camera model may be a model in which all light passes through a point (focus) in a straight line and is projected onto the image plane (sensor). This pinhole model greatly simplifies the geometric projection relationship between the 3D space and the 2D image plane.

초점으로부터 거리가 1(unit distance)인 평면을 normalized image plane이라고 부르며, 이 평면 상의 좌표를 보통 normalized image coordinate라고 지칭할 수 있다. normalized image plane은 실제 존재하지 않는 가상의(상상의) 이미지 평면일 수 있다. 카메라 좌표계 상의 한 점(Xc, Yc, Zc)을 영상좌표계로 변환할 때, 먼저 Xc, Yc를 Zc(카메라 초점에서의 거리)로 나누는 것은 이 normalized image plane 상의 좌표로 변환하는 것이며, 여기에 다시 초점거리 f를 곱하면 원하는 이미지 평면에서의 영상좌표(pixel)를 얻을 수 있다.A plane whose distance from the focal point is 1 (unit distance) is called a normalized image plane, and coordinates on this plane can be referred to as normalized image coordinates. The normalized image plane may be a virtual (imaginary) image plane that does not actually exist. When converting a point (Xc, Yc, Zc) on the camera coordinate system to the image coordinate system, first dividing Xc, Yc by Zc (distance from the camera focal point) is to convert it to the coordinates on this normalized image plane. By multiplying the focal length f, the image coordinate (pixel) in the desired image plane can be obtained.

다만, 이미지에서 픽셀좌표는 이미지의 중심이 아닌 이미지의 좌상단 모서리를 기준(원점)으로 하기 때문에, 실제 최종적인 영상좌표는 기준이 되는 원점에 (cx, cy)를 더한 값이 된다.However, since the pixel coordinate in the image is based on the upper left corner of the image, not the center of the image, the actual final image coordinate is a value obtained by adding (cx, cy) to the reference origin.

주점 cx, cy는 카메라 렌즈의 중심 즉, 핀홀에서 이미지 센서에 내린 수선의 발의 영상좌표(단위는 픽셀)로서 일반적으로 말하는 영상 중심점(image center)과는 다른 의미이다. 예를 들어, 카메라 조립과정에서 오차로 인해 렌즈와 이미지 센서가 수평이 어긋나면, 주점과 영상중심은 서로 다른 값을 가질 것이다.The main points cx and cy are the image coordinates (units are pixels) of the center of the camera lens, that is, the feet of the repairs lowered from the pinhole to the image sensor, and are different from the image center generally referred to. For example, if the lens and the image sensor are displaced horizontally due to an error in the camera assembly process, the main point and the image center will have different values.

영상기하학에서는 단순한 이미지 센터보다는 principal point가 훨씬 중요하며 영상의 모든 기하학적 해석은 이 주점을 이용하여 이루어진다.In image geometry, the principal point is much more important than a simple image center, and all geometrical interpretations of the image are performed using this main point.

비대칭 계수는 이미지 센서의 cell array의 y축이 기울어진 정도를 나타낼 수 있다. 다만, 근래에 제작되는 카메라들은 이러한 skew 에러가 거의 없기 때문에 카메라 모델에서 보통 비대칭 계수까지는 고려하지 않는다.The asymmetry coefficient may indicate the degree of inclination of the y-axis of the cell array of the image sensor. However, cameras manufactured in recent years rarely have such skew errors, so the asymmetry coefficient is usually not considered in the camera model.

이러한 카메라 내부 파라미터들은 공개된 캘리브레이션 툴 등을 이용하면 비교적 쉽게 계산할 수 있다.These camera internal parameters can be calculated relatively easily by using a publicly available calibration tool.

본 발명에서 사용된 캘리브레이션 툴은, GML C++ Camera Calibration Toolbox이다.The calibration tool used in the present invention is GML C++ Camera Calibration Toolbox.

도 3a는 GML 카메라 캘리브레이션 툴을 설명하기 위한 도면이고, 도 3b는 GML 카메라 캘리브레이션 툴의 실행 결과를 예시한 도면이다.3A is a diagram illustrating a GML camera calibration tool, and FIG. 3B is a diagram illustrating an execution result of a GML camera calibration tool.

GML 카메라 캘리브레이션 툴의 기본적인 사용법은, 도 3a에서와 같은 캘리브레이션 패턴(chess board)이 인쇄된 종이를, 다양한 위치 및 각도에서 카메라로 촬영한 후 영상으로 저장하고, 저장된 영상을 툴(tool)로 캘리브레이션을 수행하고 있다.The basic usage of the GML camera calibration tool is to take a paper printed with a calibration pattern (chess board) as shown in FIG. 3A, photograph it with a camera at various positions and angles, and then save it as an image, and calibrate the stored image with a tool. Is doing.

GML 카메라 캘리브레이션 툴의 특징은 도 3a에서와 같은 여러 개의 캘리브레이션 패턴을 동시에 사용하여 캘리브레이션을 수행할 수 있다는 점으로, 2개 이상의 패턴을 사용했을 때 캘리브레이션 효과가 더욱 향상될 수 있다. 실시예에 따라서는, 1개의 패턴 만을 사용하는 것도 가능하다.A feature of the GML camera calibration tool is that it is possible to perform calibration by using multiple calibration patterns as shown in FIG. 3A at the same time, and when two or more patterns are used, the calibration effect may be further improved. Depending on the embodiment, it is also possible to use only one pattern.

GML 카메라 캘리브레이션 툴을 사용하여 캘리브레이션을 수행한 결과는, 도 3b에 도시한다.The result of performing the calibration using the GML camera calibration tool is shown in FIG. 3B.

도 3b에서와 같이, 캘리브레이션 결과는 추정치 ± 추정오차(3*sigma) 형태로 출력되며 각각의 항목의 의미는 다음과 같다.As shown in FIG. 3B, the calibration result is output in the form of an estimated value ± an estimated error (3*sigma), and the meaning of each item is as follows.

- Focal length: fx = 3497.576, fy = 3501.038-Focal length: fx = 3497.576, fy = 3501.038

- Principal point: cx = 1058.429, cy = 797.136-Principal point: cx = 1058.429, cy = 797.136

- Distortion: k1 = -0.041196, k2 = -0.203893, p1 = 0.006114, p2 = 0.002318 (k1,k2: radial distortion 계수, p1,p2: tangential distortion 계수)-Distortion: k1 = -0.041196, k2 = -0.203893, p1 = 0.006114, p2 = 0.002318 (k1,k2: radial distortion coefficient, p1,p2: tangential distortion coefficient)

보정 데이터를 얻은 이후, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 100m 이하의 저고도 드론(무인비행기) 비행에 의한 지표 촬영을 실시할 수 있다. 이때, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 촬영되는 이미지를 실시간으로 촬영 함과 동시에, LTE 망 등을 통해 이미지를 전송받을 수 있다.After obtaining the correction data, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may perform surface photographing by flying a low-altitude drone (unmanned aerial vehicle) of 100 m or less. In this case, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may capture a captured image in real time and receive an image through an LTE network or the like.

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 실시간으로 수신한 이미지에 대해, 앞서 캘리브레이션을 통해 얻은 보정 데이터를 기반으로 렌즈 왜곡 및 접선 왜곡에 대한 보정 처리를 실시할 수 있다.In addition, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may perform correction processing for lens distortion and tangential distortion on the image received in real time, based on correction data obtained through calibration previously.

보정처리를 함에 있어서, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 범용 라이브러리인 openCV를 사용할 수 있다.In performing the correction process, the apparatus 100 for generating real-time high-resolution orthogonal maps for non-surveying may use openCV, which is a general-purpose library.

도 4는 본 발명에 따른 렌즈 왜곡 및 접선 왜곡에 대한 보정 처리의 일례를 설명하기 위한 도면이다.4 is a diagram for explaining an example of correction processing for lens distortion and tangential distortion according to the present invention.

렌즈 왜곡 및 접선 왜곡에 대한 보정 처리에는, 초점거리(Focal length fx, fy), 주점(Principal point cx, cy), 왜곡 계수(Distortion k1, k2, p1, p2)가 사용되며, 이들은 아래와 같이 정리될 수 있다.In the correction process for lens distortion and tangential distortion, focal length (Focal length fx, fy), principal point (Principal point cx, cy), and distortion coefficient (Distortion k1, k2, p1, p2) are used, and these are summarized as follows. Can be.

Camera Matrix : 3 x 3 Matrix => { fx, 0, cx, 0, fy, cy, 0, 0, 1} => { 3497.576, 0, 1058.429, 0, 3501.038, 797.136, 0, 0, 1}Camera Matrix: 3 x 3 Matrix => {fx, 0, cx, 0, fy, cy, 0, 0, 1} => {3497.576, 0, 1058.429, 0, 3501.038, 797.136, 0, 0, 1}

Distortion Matrix : 1 x 4Matrix => { k1, k2, p1, p2 } => { -0.041196, -0.203893, 0.006114, 0.002318 }Distortion Matrix: 1 x 4Matrix => {k1, k2, p1, p2} => {-0.041196, -0.203893, 0.006114, 0.002318}

렌즈 왜곡 및 접선 왜곡에 대한 보정 처리는, Camera Matrix와 Distortion Matrix를 필요로 하며, 이들 Matrix를 OpenCV의 왜곡 보정 함수인 cvUndistort2() 함수에 적용 함으로써, 도 4의 우측 도면<보정 영상>)과 같은 보정된 영상을 얻을 수 있다.Correction processing for lens distortion and tangential distortion requires a Camera Matrix and a Distortion Matrix, and by applying these matrices to the cvUndistort2() function, which is a distortion correction function of OpenCV, as shown in the right drawing of FIG. You can get the corrected image.

이후, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 이미지에 저장된 짐벌 자세정보(RAW, PITCH, ROLL)를 기반으로, 생성된 이미지에 대해 정사 보정 처리를 실시할 수 있다.Thereafter, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may perform orthogonal correction processing on the generated image based on the gimbal attitude information (RAW, PITCH, and ROLL) stored in the image.

원근변환(Perspective transformation)은 우리의 눈이 외부 사물을 인식하는 것과 같은 원리이기 때문에, 물체를 묘사하는 컴퓨터 그래픽에서는 이 원근변환을 따로 사용하는 것이 아니라 원근투시(투영, projective projection)에 포함되어 사용될 수 있다. 즉, 우리의 눈은 멀리 있는 것은 작게, 그리고 가까이 있는 것은 크게 보이는 원근법에 적용 받고, 이미지가 눈을 통과하여 망막에 상이 맺히게 되는데 이건 마치 카메라(핀홀카메라)와 유사한 특징을 가지고 있다.Perspective transformation is the same principle that our eyes perceive external objects, so this perspective transformation is not separately used in computer graphics to describe objects, but is used as part of the projective projection. I can. In other words, our eyes are applied to the perspective of showing small things that are far away and those that are close to them, and the image passes through the eye and forms an image on the retina, which has a similar feature to a camera (pinhole camera).

원근변환은 행렬곱을 사용하여 [수학식 2]와 같이 표현할 수 있다.Perspective transformation can be expressed as [Equation 2] using matrix multiplication.

[수학식 2]에서의 2가지 형태의 행렬곱은, 변환행렬을 왼쪽에 배치하는 것과, 변환행렬을 오른쪽에 배치하는 것의 차이에 기인한다.The two forms of matrix multiplication in [Equation 2] are due to the difference between placing the transformation matrix on the left and placing the transformation matrix on the right.

변환행렬의 위치가 점 P의 왼쪽에 배치되면, 점 P는 행 형태로 표현되고, 반면, 변환행렬의 위치가 점 P의 오른쪽에 배치되면, 점 P는 열 형태로 표현될 수 있다. 일반적으로는, 행렬의 중첩이 비교적 쉬운, 변환행렬을 오른쪽에 위치시키고 점 P는 열로써 표현할 수 있다.When the position of the transformation matrix is arranged to the left of the point P, the point P is expressed in the form of a row, whereas when the position of the transformation matrix is arranged to the right of the point P, the point P can be expressed in the form of a column. In general, the transformation matrix is located on the right, and the point P can be expressed as a column, which makes it relatively easy to overlap the matrix.

도 5a는 원근투영의 일례를 설명하기 위한 도면이고, 도 5b는 도 5a의 관계를 도시한 도면이다.FIG. 5A is a view for explaining an example of perspective projection, and FIG. 5B is a diagram showing the relationship of FIG. 5A.

3차원 물체를 2차원의 이미지 평면에 투영(project)하는 것은 3차원 컴퓨터 그래픽에서 중요할 수 있다.Projecting a three-dimensional object onto a two-dimensional image plane can be important in three-dimensional computer graphics.

도 5a에서는 원근투영(perspective projection)을 예시하고 있고, 도 5a에서의 투영의 중심은 눈 점(eyepoint)이 되며, 중심 투사선은 이미지 평면을 수직으로 통과한다.In Fig. 5A, perspective projection is illustrated, the center of the projection in Fig. 5A becomes an eyepoint, and the center projection line passes vertically through the image plane.

도 5b에서는, 닮은 삼각형을 이용하여, 점P(x,y,z)와 이미지 평면의 점P'(x',y') 사이의 관계를 설명한다.In Fig. 5B, the relationship between the point P(x,y,z) and the point P'(x',y') of the image plane is explained using a similar triangle.

눈 점에 해당하는 (0,0,0), 오브젝트의 임의 일점P(x,y,z), 및 이미지 평면의 점P'(x',y') 사이의 관계식은 [수학식 3]으로 설명할 수 있다.The relation between (0,0,0) corresponding to the eye point, the arbitrary point P(x,y,z) of the object, and the point P'(x',y') of the image plane is expressed as [Equation 3]. I can explain.

[수학식 3]에서, z로 나누어주는 것은 perspective divide라고 한다. perspective divide를 통해, 멀리 있음에 따라 z값이 커짐으로써, 투영면에서는 원점과의 거리가 가까워지게 된다. [수학식 3]은 원근을 수학적으로 나타내는 방법일 수 있다.In [Equation 3], dividing by z is called a perspective divide. Through the perspective divide, as the distance increases, the z value increases, so that the distance from the origin becomes closer in the projection plane. [Equation 3] may be a method of mathematically representing perspective.

만약, 이미지 평면이, 도 5b에서와 같이 z = D의 위치에 있다면, [수학식 4]에서와 같은 행렬식은 투영을 표현할 수 있다.If the image plane is at the position of z = D as in FIG. 5B, the determinant as in [Equation 4] can express the projection.

[수학식 4]의 투영식은, z' = D 이므로 z로 표현되는 깊이에 대한 정보가 사라지는 문제가 있을 수 있다.Since the projection equation of [Equation 4] is z'= D, there may be a problem that information about the depth expressed by z disappears.

이에 대한 해결책으로는 x', y'에는 영향을 주진 않지만 z'에는 영향을 주는 요소를 도입할 수 있다. 즉, z ∈ [ 1, ∞ ]으로 표현되는 유클릿 공간을 z' ∈ [ 0 , D ]으로 표현되는 투영공간으로 바꿔, [수학식 5]와 같은 좌표계 변환식을 완성할 수 있다.As a solution to this, a factor that does not affect x', y'but affects z'can be introduced. That is, by replacing the Euclit space represented by z ∈ [1, ∞] with the projection space represented by z'∈ [0, D ], a coordinate system transformation equation such as [Equation 5] can be completed.

[수학식 5]에서 표현된 행렬은 원근변환(perspective transformation)을 위한 행렬이다.The matrix expressed in [Equation 5] is a matrix for perspective transformation.

도 6은 정사변환을 설명하기 위해, 관측 절두체의 일례를 설명하는 도면이다.6 is a diagram illustrating an example of an observation frustum in order to explain the orthogonal transformation.

도 6에서와 같이, 관측 절두체(viewing frustum)는 6면으로 이루어져 있다. 이 관측 절두체는 시점의 위치, 이미지 평면에 비춰질 수 있는 공간, 그리고 3차원 물체에서 표현될 수 있는 깊이감 등으로 이루어진 6면 내에 있는 물체를 사람의 눈으로 볼 수 있는 범위로 정의할 수 있다. 만약, 관측 절두체에서 벗어난 물체는, 잘리게(clipping)되어 표시될 수 없게 된다.As shown in FIG. 6, the viewing frustum consists of six faces. This observation frustum can be defined as the range in which the human eye can see the object within 6 planes, consisting of the position of the viewpoint, the space that can be projected on the image plane, and the sense of depth that can be expressed in a three-dimensional object. If the object deviates from the observation frustum, it is clipped and cannot be displayed.

일반 공간(Euclidean space)은 시야에 가까이 있는 쪽이 작고, 멀리 있는 쪽이 넓은 이미지 평면(image plane)을 갖게 되고, 이는 원근법의 또 다른 표현일 수 있다. 이미지 평면의 크기를 '2*Sx by 2*Sy'라 하고, near면에서의 z를 D, far면에서의 z를 F라고 가정하면, 이미지 평면의 크기는 시야각을 사용하여 변화를 줄 수 있다. 이를 삼각함수로 표현하면, [수학식 6]과 같다.In the Euclidean space, the side closer to the field of view has a small image plane, and the far side has a wide image plane, which may be another expression of perspective. Assuming that the size of the image plane is '2*Sx by 2*Sy' and the z at the near plane is D and the z at the far plane is F, the size of the image plane can be changed using the viewing angle. . If this is expressed as a trigonometric function, it is as shown in [Equation 6].

여기서 fov는 field of view 즉 시야일 수 있다.Here, fov may be a field of view, that is, a field of view.

계산의 단순화를 위해, near면을 z' = 0 인 면으로 변환하고, far면을 z' = 1인 면으로 변환하면, near면에서의 점은 점(0,0,D)으로, far면에서의 점은 점(0,0,F)으로 표현할 수 있다. 이들 점에 대한 각각의 원근변환은 [수학식 7]과 [수학식 8]로 표현할 수 있다.For simplicity of calculation, if the near face is converted to a face with z'= 0 and the far face is converted to a face with z'= 1, the point on the near face is a point (0,0,D), and the far face The point at can be expressed as a point (0,0,F). Each perspective transformation for these points can be expressed by [Equation 7] and [Equation 8].

[수학식 7]과 [수학식 8]에서 [P]는 원근행렬일 수 있다.In [Equation 7] and [Equation 8], [P] may be a perspective matrix.

여기서 z'값이, 원하는 0과 1이 되기 위해 세번째 칼럼에 대해서 적절한 인자를 대입하면, [수학식 9]와 같이 표현할 수 있다.Here, if the z'value is substituted with an appropriate factor for the third column to become the desired 0 and 1, it can be expressed as [Equation 9].

[수학식 9]는 관측 절두체를 고려하여 투시변환(투영변환)행렬일 수 있다.[Equation 9] may be a perspective transformation (projection transformation) matrix in consideration of the observation frustum.

[수학식 9]에서, F가 D에 비해서 매우 크다고 생각하면 D/F는 0이 되므로, 투영변환행렬은 최종적으로 [수학식 10]과 같이 표현될 수 있다.In [Equation 9], if F is considered to be very large compared to D, since D/F becomes 0, the projection transformation matrix can be finally expressed as [Equation 10].

[수학식 10]의 투영변환행렬을 이용하여 원근변환을 처리 함으로써, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 정사보정을 수행할 수 있다.By processing the perspective transformation using the projection transformation matrix of [Equation 10], the real-time high-resolution orthogonal map generation apparatus 100 for non-surveying may perform orthogonal correction.

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 카메라 화각, PITCH 회전각, 고도값을 반영하여, 생성된 정사이미지의 정중앙인 GPS 좌표 정보를 보정하고, 보정된 GPS 좌표를 기반으로 이미지의 좌상단, 우하단 모서리의 GPS 좌표를 도출하여 TIFF 파일로 변환과 동시에 도출된 좌표정보(GEO-Reference) 정보를 TIFF 이미지에 삽입할 수 있다.In addition, the real-time high-resolution orthogonal map generating device 100 for non-surveying corrects the GPS coordinate information that is the center of the generated orthogonal image by reflecting the camera angle of view, the PITCH rotation angle, and the altitude value, and an image based on the corrected GPS coordinates. It is possible to derive GPS coordinates of the upper left and lower right corners of and convert them into TIFF files and insert the derived coordinate information (GEO-Reference) information into the TIFF image.

도 7은 본 발명에 따른 좌표정보의 도출을 설명하기 위한 도면이다.7 is a diagram for explaining derivation of coordinate information according to the present invention.

도 7a는 무인비행기에서 짐벌 Pitch 각도에 따른 GPS 좌표점의 차를 설명하기 위한 도면이고, 도 7b는 도 7a를 2차원 평면에서 보다 자세히 설명하기 위한 도면이다.7A is a view for explaining a difference in GPS coordinate points according to a gimbal pitch angle in an unmanned aerial vehicle, and FIG. 7B is a view for explaining FIG. 7A in more detail in a two-dimensional plane.

도 7 a 및 도 7b에서의, 실GPS 좌표점(A)에서 보정된 GPS 좌표점(A’)를 도출하기 위한 계산식은 [수학식 11]로 표현할 수 있다.In FIGS. 7A and 7B, a calculation equation for deriving the corrected GPS coordinate point A'from the real GPS coordinate point A may be expressed as [Equation 11].

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 GPS 좌표점이 보정됨에 따라 변화하는 고도 정보에 대해서도 보정을 할 수 있다. 고도 정보에 대한 보정은, 'h’ = sin(pitch 회전각) x h(측정된 고도)'의 삼각함수를 이용하여 이루어질 수 있다.The apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may also correct altitude information that changes as GPS coordinate points are corrected. The correction of the altitude information may be performed using a trigonometric function of'h' = sin (pitch rotation angle) x h (measured altitude).

JPG 이미지를 맵 상에 표시하기 위해서는, 상기 JPG 이미지를, Georeference 정보가 담긴 Georeferenced Tiff 파일로 변환해야 한다. Georeferenced Tiff 파일은 JPG 이미지의 좌상단 GPS 좌표와 우하단 GPS좌표를 설정함으로써 변환이 가능하다.In order to display a JPG image on a map, the JPG image must be converted into a Georeferenced Tiff file containing georeference information. Georeferenced Tiff files can be converted by setting the upper left GPS coordinates and the lower right GPS coordinates of the JPG image.

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 A’(보정된 GPS 좌표)와 JPG 이미지의 Width, Height, Yaw 회전각을 이용하여, JPG 이미지의 좌상단과, 우하단의 GPS 좌표정보를 계산할 수 있다.The real-time high-resolution orthogonal map generating device 100 for non-surveying uses A'(corrected GPS coordinates) and the Width, Height, and Yaw rotation angle of the JPG image to calculate GPS coordinate information of the upper left and lower right of the JPG image. I can.

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 A’(보정된 GPS좌표)에서 좌상단까지의 거리 D(D = tan(카메라 화각/2) x h’(보정된 고도))를 구하고, 좌상단까지의 좌표이동 거리(m, n)을 [수학식 12]에서와 같이 각각 구한다.The real-time high-resolution orthogonal map generator 100 for non-surveying obtains the distance D (D = tan (camera angle of view / 2) x h'(corrected elevation)) from A'(corrected GPS coordinates) to the upper left corner, and The coordinate movement distance to (m, n) is obtained as in [Equation 12].

[수학식 12]에서의 계산을 통해, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 도출한 좌표 이동량 m, n을 A’ 좌표에 더해, 좌상단좌표 B(x, y)를 구할 수 있다.Through the calculation in [Equation 12], the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying can obtain the upper left coordinate B(x, y) by adding the derived coordinate movement amounts m and n to the A'coordinate. .

좌상단좌표 B(x, y) = A’ + (m, n) = (XA + m, YA + n) Upper left coordinate B(x, y) = A'+ (m, n) = (XA + m, YA + n)

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 구해진 이미지의 좌상단 좌표 B(x, y)에, Yaw 회전각을 반영하는 [수학식 13]의 회전 행렬을 이용하여 계산 함으로써, [수학식 14]와 같은, 최종 보정된 좌상단 B’ (x’, y’)를 얻을 수 있다.In addition, the real-time high-resolution orthogonal map generation apparatus 100 for non-surveying calculates using the rotation matrix of [Equation 13] that reflects the Yaw rotation angle to the upper left coordinate B(x, y) of the obtained image, As shown in Equation 14], the final corrected upper left B'(x', y') can be obtained.

좌하단좌표에 대해서도, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상술과 같은 방법으로 계산하여 도출할 수 있다.Also for the lower left coordinate, the apparatus 100 for generating a real-time high resolution orthogonal map for non-surveying may be calculated and derived in the same manner as described above.

도 8은 본 발명에 따른 이미지 보정 전후의GPS 좌표의 이동을 보여주는 도면이다.8 is a diagram showing movement of GPS coordinates before and after image correction according to the present invention.

도 8에 도시한 바와 같이, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 보정전 이미지의 좌상단 GPS 좌표와 좌하단 GPS 좌표를, 드론 촬영 진행 방향을 고려하여, Yaw 회전각을 반영하여 회전 보정 할 수 있다. 이때, 이미지 중심의 GPS 좌표점 역시, Pitch 회전각을 고려하여 보정되어 이동하게 된다.As shown in FIG. 8, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying rotates the upper left and lower left GPS coordinates of the image before correction by reflecting the Yaw rotation angle in consideration of the direction of drone photography. Can be corrected. At this time, the GPS coordinate point at the center of the image is also corrected and moved in consideration of the pitch rotation angle.

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 Geo-referencing된 위 정사영상을 범용 라이브러리를 통해 정형화된 줌레벨별 타일 맵으로 변환하고 지정된 경로에 저장할 수 있다. 줌레벨 별 타일 맵으로 변환이 되는 것은, 일반 종이 지도에서의 축적에 해당되며 실제 거리 대비 픽셀을 기준으로 지도의 크기를 나타낼 수 있다. 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 지도 줌레벨(축적)별 256x256 사이즈의 Tiling된 지도로 쪼개고 이를 지도 서비스 시에 해당 맵 상의 GCS 위치에 올려서 보여줄 수 있다.In addition, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may convert the geo-referenced orthogonal image into a standardized tile map for each zoom level through a general-purpose library and store it in a designated path. Conversion into a tile map for each zoom level corresponds to accumulation in a general paper map, and can indicate the size of the map based on pixels compared to the actual distance. The apparatus 100 for generating real-time high-resolution orthogonal maps for non-surveying may split the map into a tiled map having a size of 256x256 for each map zoom level (accumulation), and display it on a GCS location on the map during a map service.

Tile Map Service는 정적인 이미지들을 모아둔 저장소를 이용하여 매우 빠르게 지도 서비스를 수행하는 서비스일 수 있다. 지도 이미지 저장소는 특정 축척별로 지도 영역을 Tile 이미지로 저장한 디렉토리 구조일 수 있다. 따라서 디렉토리 구조로부터 이미지를 불러오는 것은, 사용자의 요구에 따라서 지도를 데이터베이스로부터 직접 생성하는 것보다 훨씬 시간 단축이 이루어진다. 이와 같은 Tile Map Service를 이용하면 사용자가 복잡한 지도를 생성할 때 획기적으로 지도 생성 시간을 단축시키는 효과와 성능 향상을 위한 제반 노력을 제거할 수 있다.Tile Map Service may be a service that performs a map service very quickly by using a storage that collects static images. The map image storage may be a directory structure in which map regions are stored as Tile images for each specific scale. Therefore, retrieving images from a directory structure is much shorter than creating a map directly from a database according to user needs. By using such a Tile Map Service, when a user creates a complex map, it is possible to drastically reduce the map creation time and eliminate all efforts to improve performance.

각각의 이미지들이 개별로 타일 맵 변환을 하므로 변환 후 지정된 경로에 저장 시 이전에 저장했던 동일 GPS 좌표정보 타일 맵이 존재하는 경우에는, 파일명(GPS 좌표)이 동일하므로 덮어 쓰게 되는 문제가 발생한다. 이전에 저장했던 타일 맵이 좀 더 질이 좋을 경우 덮어쓰게 되면 타일 맵 화질이 더 떨어지게 되는 문제가 발생하게 되므로, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 이 문제를 회피하기 위해 지정된 경로에 저장 전에 동일한 GPS 좌표의 타일 맵이 존재하는지 판단하고 존재한다면 둘 중에 면적이 더 넓은 쪽(데이터량이 더 많은 쪽)이 선택되어 저장되도록 할 수 있다.Since each image is individually transformed into a tile map, if there is a tile map with the same GPS coordinate information that was previously saved when saving in a designated path after conversion, the file name (GPS coordinate) is the same, causing a problem of being overwritten. If the previously saved tile map is of higher quality, overwriting the tile map causes a problem that the quality of the tile map deteriorates further. Therefore, the real-time high resolution orthogonal map generator 100 for non-surveying uses a designated path to avoid this problem. It is determined whether or not a tile map with the same GPS coordinates exists before saving in the file, and if there is, the one with the larger area (the one with a larger amount of data) can be selected and saved.

도 9는 GPS 좌표에 중복되는 타일을 저장하는 경우, 본 발명에 따라 처리하는 일례를 설명하는 도면이다.9 is a diagram illustrating an example of processing according to the present invention when overlapping tiles are stored in GPS coordinates.

도 9에서는 타일 맵 이미지 A, B가 존재하고 GPS 좌표에 대응하여 중복이 되는 3개의 타일이 존재할 때를 예시한다.9 illustrates a case in which tile map images A and B exist and three overlapping tiles exist corresponding to GPS coordinates.

중복 타일 맵 A의 경우, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 지도 영역이 더 넓은 타일 맵 이미지 A에 우선순위를 두어, 타일 맵을 저장할 수 있다.In the case of the redundant tile map A, the apparatus 100 for generating a real-time high resolution orthogonal map for non-surveying may prioritize the tile map image A having a wider map area to store the tile map.

동일하게, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 중복 타일 맵 B의 경우에 타일 맵 이미지 B의 타일 맵을 저장하고, 중복 타일 맵 C의 경우에 타일 맵 이미지 A의 타일 맵을 저장할 수 있다.Similarly, the real-time high resolution orthogonal map generating apparatus 100 for non-surveying stores the tile map of the tile map image B in the case of the overlapping tile map B, and stores the tile map of the tile map image A in the case of the overlapping tile map C. I can.

이하, 도 10에서는 본 발명의 실시예들에 따른 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치(100)의 작업 흐름을 상세히 설명한다.Hereinafter, in FIG. 10, a work flow of the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle according to embodiments of the present invention will be described in detail.

도 10은 본 발명의 일실시예에 따른, 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법을 도시한 흐름도이다.10 is a flowchart illustrating a method of generating a real-time high resolution orthogonal map for non-surveying using an unmanned aerial vehicle according to an embodiment of the present invention.

본 실시예에 따른 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 방법은 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치(100)에 의해 수행될 수 있다.The method of generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle according to the present embodiment may be performed by the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying using an unmanned aerial vehicle.

우선, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 캘리브레이션을 실시하여 카메라에 대한 보정 데이터를 획득한다(1010). 단계(10101)는 드론 등의 무인비행기에 탑재되어, 상기 무인비행기가 촬영 비행하는 중에 촬영 동작을 하여 이미지를 생성하는 카메라에 대해, 보정 작업을 수행하여 카메라의 현 상태(렌즈 왜곡 정도, 접선 왜곡 정도 포함)에 관한 보정 데이터를 얻는 과정일 수 있다.First, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying obtains correction data for a camera by performing calibration (1010). Step 10101 is mounted on an unmanned aerial vehicle such as a drone, and performs a correction operation on a camera that generates an image by performing a photographing operation while the unmanned aerial vehicle is photographing and flying, and the current state of the camera (lens distortion, tangential distortion) It may be a process of obtaining correction data for (including degree).

다시 말해, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 카메라의 현 상태로 인해, 왜곡되는 정도를 캘리브레이션을 통해 인지하여, 그 결과 값을 상기 보정 데이터로서 획득할 수 있다.In other words, the apparatus 100 for generating real-time high-resolution orthogonal maps for non-surveying may recognize a degree of distortion due to the current state of the camera through calibration, and obtain a result value as the correction data.

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상기 카메라를 탑재하여 비행 중인 무인비행기로부터, 상기 카메라에 의해 촬영된 이미지가 수신 됨에 따라, 상기 보정 데이터를 이용하여 상기 이미지에 대해 렌즈 및 접선왜곡 보정하는 1차 보정을 수행한다(1020). 단계(1020)는 무인비행기로부터 수신된 이미지에 대해, 앞서 획득한 보정 데이터를 고려하여 선과 면에 대한 보정 작업을 수행함으로써, 카메라 자체의 왜곡을 배제하여 이미지가 교정되도록 하는 과정일 수 있다.In addition, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying is equipped with the camera and, as an image photographed by the camera is received from an unmanned aerial vehicle in flight, the lens and the First-order correction for correcting tangential distortion is performed (1020). Step 1020 may be a process of correcting the image by excluding distortion of the camera itself by performing a correction operation for lines and surfaces in consideration of the previously acquired correction data on the image received from the unmanned aerial vehicle.

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상기 1차 보정된 이미지에 대해, 정사 보정하는 2차 보정을 수행하여, 정사영상을 생성한다(1030). 단계(1030)는 렌즈 및 접선왜곡 보정된 이미지에 대해, 정사 보정을 재차 수행하여, 하늘에서 수직으로 바라보는 것과 같은 정사영상을 산출해 내는 과정일 수 있다.In addition, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying performs secondary correction of orthogonal correction on the first corrected image to generate an orthogonal image (1030). Step 1030 may be a process of generating an orthogonal image as viewed vertically from the sky by performing orthogonal correction again on the lens and the tangential distortion-corrected image.

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상기 카메라에 의해 이미지가 촬영되는 것에 연동하여, 상기 무인비행기로부터 촬영된 이미지를, 통신망을 통해 실시간으로 수신할 수 있다. 즉, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 카메라에서 이미지를 생성할 때 마다, 해당 이미지를 수신 함으로써, 상술의 1, 2차 보정이 연속적으로 이루어지도록 하는 역할을 할 수 있다.The apparatus 100 for generating real-time high-resolution orthogonal maps for non-surveying may receive an image captured from the unmanned aerial vehicle in real time through a communication network in conjunction with the image being captured by the camera. That is, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may serve to continuously perform the above-described first and second corrections by receiving the image each time a camera generates an image.

2차 보정에 있어, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상기 이미지의 짐벌자세정보를 반영하여, 상기 1차 보정된 이미지에 대해 정사 보정을 처리하여, 상기 정사영상을 생성할 수 있다. 상기 짐벌자세정보는, 상기 1차 보정된 이미지의 z축 회전에 관한 요(yaw) 정보, 상기 1차 보정된 이미지의 x축 회전에 관한 피치(pitch) 정보, 및 상기 1차 보정된 이미지의 y축 회전에 관한 롤(roll) 정보를 포함할 수 있다.In the second correction, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may generate the orthogonal image by reflecting the gimbal position information of the image and processing orthogonal correction on the first corrected image. have. The gimbal posture information includes yaw information about the z-axis rotation of the first corrected image, pitch information about the x-axis rotation of the first corrected image, and the first corrected image. It may include roll information about the y-axis rotation.

즉, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 1차 보정으로 인해 교정된 이미지에 대해, 3차원 공간에서의 각 축에 대한 회전 보정을 통해, 3차원 입체의 정사영상을 제작할 수 있다.That is, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying may produce a three-dimensional orthogonal image through rotation correction for each axis in a three-dimensional space with respect to the image corrected by the first correction. .

다른 실시예에서, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는, 상기 카메라의 화각, 피치 회전각, 및 고도값 중 적어도 하나를 반영하여 상기 정사영상의 정중앙 좌표를 보정하고, 보정된 상기 정중앙 좌표를 기반으로 상기 이미지의 좌상단 모서리와 우하단 모서리의 GPS 좌표를 도출하여 TIFF 파일로 전환하여, 좌표정보(GEO-Reference) 정보와 함께, 상기 정사영상에 삽입할 수 있다. 즉, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 생성된 정사영상에, 지표가 될 수 있는 지상의 기준물의 좌표정보를 포함시킴으로써, 보정에 따라 생성되는 정사영상과 관련하여, 이미지가 촬영된 지상의 위치를 정확하게 인지하도록 지원할 수 있다.In another embodiment, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying corrects the center coordinates of the orthogonal image by reflecting at least one of a field of view, a pitch rotation angle, and an altitude value of the camera, and the corrected The GPS coordinates of the upper left corner and the lower right corner of the image are derived based on the center coordinates, converted into a TIFF file, and inserted into the orthogonal image together with GEO-Reference information. That is, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying includes coordinate information of a reference object on the ground that can be an indicator in the generated orthogonal image, so that an image is captured in relation to the orthogonal image generated according to the correction. It can support to accurately recognize the location of the ground.

이를 위해, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는, 정사영상을 온라인 지도로 매핑하는 비측량용 실시간 고해상도 정사지도 생성 장치(100)를 더 포함하여 구성할 수 있다.To this end, the real-time high-resolution orthogonal map generating device 100 for non-surveying may further include a real-time high-resolution orthogonal map generating device 100 for non-surveying that maps orthogonal images to an online map.

비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상기 정사영상을 제1 타일 맵으로 변환하여, TMS(Tile Map Service)와 연관되는 저장소에 저장함으로써, 상기 TMS에 의한 서비스 요청 시, 상기 제1 타일 맵이 온라인 지도 상에 오버레이되도록 할 수 있다. 즉, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 이미지 별로 생성된 정사영상을, 타일 시트 텍스쳐(2D 이미지)의 타일셋으로 생성하고, 원하는 타일의 타일 크기, 보더 마진(Border Maring), 타일 스페이싱(Per Tile-Spacing) 등에 따라 타일셋을 조정한 후, 제1 타일 맵으로 변환할 수 있다. 이때, 타일 맵은 사용할 타일셋에 따라서 온라인 지도의 가로 및 세로 타일 개수(Map Width 및 Map Height)와 타일 크기(Tile Width 및 Tile Height)를 설정해서 전체 맵의 크기와 사용할 타일 크기를 설정할 수 있다.The real-time high-resolution orthogonal map generating apparatus 100 for non-surveying converts the orthogonal image into a first tile map and stores it in a storage associated with a tile map service (TMS), so that when a service request by the TMS is requested, the first Tile maps can be overlaid on an online map. That is, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying generates an orthogonal image generated for each image as a tile set of a tile sheet texture (2D image), and the tile size of the desired tile, border maring, and tile After adjusting the tileset according to spacing (Per Tile-Spacing), etc., it may be converted into a first tile map. In this case, the tile map can set the size of the entire map and the tile size to be used by setting the number of horizontal and vertical tiles (Map Width and Map Height) and tile size (Tile Width and Tile Height) of the online map according to the tileset to be used.

또한, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는, 상기 제1 타일 맵을, 상기 이미지가 촬영된 GPS 좌표에 대응시켜, 상기 TMS와 연관되는 저장소에 저장할 수 있다. 이때, 상기 저장소에, 상기 GPS 좌표에 대응하는 기등록의 제2 타일 맵이 저장되는 경우, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 상기 제1 타일 맵과 상기 제2 타일 맵 간의 이미지 점유비율을 비교하고, 상대적으로 큰 이미지 점유비율을 갖는 타일 맵을 상기 저장소에 저장할 수 있다.In addition, the apparatus 100 for generating a real-time high-resolution orthogonal map for non-surveying may store the first tile map in a storage associated with the TMS by matching the GPS coordinates in which the image is captured. In this case, when a pre-registered second tile map corresponding to the GPS coordinates is stored in the storage, the real-time high resolution orthogonal map generating apparatus 100 for non-surveying is an image between the first tile map and the second tile map. It is possible to compare the occupancy ratio and store a tile map having a relatively large image occupancy ratio in the storage.

즉, 비측량용 실시간 고해상도 정사지도 생성 장치(100)는 하나의 GPS 좌표에, 상대적으로 양질의 타일 맵 하나 만이 대응되어 저장되도록 함으로써, 온라인 지도 서비스에 제공되는 타일 맵을 중복시켜 저장되지 않게 하여 저장 리소스를 절약할 수 있다.That is, the real-time high-resolution orthogonal map generating apparatus 100 for non-surveying allows only one relatively high-quality tile map to be stored in correspondence with one GPS coordinate, so that the tile map provided in the online map service is not duplicated and stored. It can save storage resources.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and usable to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -A hardware device specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of the program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the embodiment, and vice versa.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of these, configuring the processing unit to behave as desired or processed independently or collectively. You can command the device. Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodyed in a transmitted signal wave. The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described by the limited drawings, a person of ordinary skill in the art can apply various technical modifications and variations based on the above. For example, the described techniques are performed in a different order from the described method, and/or components such as a system, structure, device, circuit, etc. described are combined or combined in a form different from the described method, or other components Alternatively, even if substituted or substituted by an equivalent, an appropriate result can be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.Therefore, other implementations, other embodiments and claims and equivalents fall within the scope of the following claims.

100 : 무인비행기를 이용한 비측량용 실시간 고해상도 정사지도 생성 장치
110 : 획득부 120 : 처리부
130 : 매핑부 140 : 수신부100: Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle
110: acquisition unit 120: processing unit
130: mapping unit 140: receiving unit

Claims

Performing calibration to obtain correction data for the camera;
Performing primary correction of correcting lens and tangential distortion on the image by using the correction data as the image captured by the camera is received from the unmanned aerial vehicle in flight with the camera mounted thereon;
Generating an orthogonal image by performing a secondary correction for orthogonal correction on the first corrected image;
Converting the orthogonal image into a tile map image and storing it in a storage associated with a tile map service (TMS); And
Upon requesting the service by the TMS, causing the tile map image to be overlaid on an online map
Including,
The storing step,
When the tile map image A converted from the orthogonal image and the tile map image B converted from another orthogonal image are at least partially overlapped when stored in correspondence with the GPS coordinates, and a duplicate tile map occurs,
Comparing a map area corresponding to the tile map image A and a map area corresponding to the tile map image B with respect to the overlapping tile map; And
As a result of the comparison, if the map area corresponding to the tile map image A is wider, storing the duplicate tile map as a tile map belonging to the tile map image A in the storage
Real-time high resolution orthogonal map generation method for non-surveying using an unmanned aerial vehicle comprising a.

The method of claim 1,
The step of generating the orthogonal image,
Reflecting the gimbal posture information of the image, processing orthogonal correction on the first corrected image, and generating the orthogonal image
Real-time high-resolution orthogonal map generation method for non-surveying using an unmanned aerial vehicle comprising a.

The method of claim 2,
The above gimbal position information is:
Yaw information related to the z-axis rotation of the first corrected image, pitch information related to the x-axis rotation of the first corrected image, and a roll related to the y-axis rotation of the first corrected image (roll) containing information
Real-time high resolution orthogonal map generation method for non-surveying using unmanned aerial vehicles.

The method of claim 1,
The real-time high-resolution orthogonal map generation method for non-surveying,
Converting the orthogonal image into a first tile map and storing it in the storage so that the first tile map is overlaid on the online map when the service is requested by the TMS
Real-time high-resolution orthogonal map generation method for non-surveying using an unmanned aerial vehicle further comprising a.

The method of claim 4,
The real-time high-resolution orthogonal map generation method for non-surveying,
When the first tile map is stored in correspondence with the GPS coordinates in which the image is captured, and a pre-stored second tile map corresponding to the GPS coordinates is stored in the storage, the first tile map and the second Comparing the image occupancy ratio between tile maps and storing a tile map having a relatively large image occupancy ratio in the storage
Real-time high-resolution orthogonal map generation method for non-surveying using an unmanned aerial vehicle further comprising a.

The method of claim 1,
The real-time high-resolution orthogonal map generation method for non-surveying,
Correcting the center coordinate of the orthogonal image by reflecting at least one of an angle of view, a pitch rotation angle, and an elevation value of the camera; And
Deriving the GPS coordinates of the upper left corner and the lower right corner of the image based on the corrected center coordinates, converting it into a TIFF file, and inserting it into the orthogonal image together with GEO-Reference information.
Real-time high-resolution orthogonal map generation method for non-surveying using an unmanned aerial vehicle further comprising a.

The method of claim 1,
The real-time high-resolution orthogonal map generation method for non-surveying,
Receiving an image captured from the unmanned aerial vehicle in real time through a communication network in connection with the image being captured by the camera
Real-time high-resolution orthogonal map generation method for non-surveying using an unmanned aerial vehicle further comprising a.

An acquisition unit that performs calibration to obtain correction data for the camera;
As an image photographed by the camera is received from an unmanned aerial vehicle in flight with the camera mounted, a first correction for correcting lens and tangential distortion is performed on the image using the correction data, and the first correction A processing unit for generating an orthogonal image by performing secondary correction of orthogonal correction on the image; And
A mapping unit that converts the orthogonal image into a tile map image, stores it in a storage associated with TMS (Tile Map Service), and causes the tile map image to be overlaid on an online map when a service request by the TMS is requested.
Including,
The mapping unit,
When the tile map image A converted from the orthogonal image and the tile map image B converted from another orthogonal image are at least partially overlapped when stored in correspondence with the GPS coordinates, and a duplicate tile map occurs,
For the overlapping tile map, a map area corresponding to the tile map image A and a map area corresponding to the tile map image B are compared,
As a result of the comparison, if the map area corresponding to the tile map image A is wider, storing the duplicate tile map as a tile map belonging to the tile map image A in the storage
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle.

The method of claim 8,
The processing unit,
Reflecting the gimbal posture information of the image, processing orthogonal correction on the first corrected image to generate the orthogonal image
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle.

The method of claim 9,
The above gimbal position information is:
Yaw information related to the z-axis rotation of the first corrected image, pitch information related to the x-axis rotation of the first corrected image, and a roll related to the y-axis rotation of the first corrected image (roll) containing information
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle.

The method of claim 8,
The mapping unit,
By converting the orthogonal image into a first tile map and storing it in the storage, the first tile map is overlaid on the online map when the service is requested by the TMS.
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle.

The method of claim 11,
The mapping unit,
When the first tile map is stored in correspondence with the GPS coordinates in which the image is captured, and a pre-stored second tile map corresponding to the GPS coordinates is stored in the storage, the first tile map and the second Comparing the image occupancy ratio between tile maps, and storing a tile map having a relatively large image occupancy ratio in the storage
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle.

The method of claim 8,
The processing unit,
Correcting the center coordinate of the orthogonal image by reflecting at least one of the angle of view, the pitch rotation angle, and the altitude value of the camera,
Based on the corrected center coordinates, the GPS coordinates of the upper left corner and the lower right corner of the image are derived, converted into a TIFF file, and inserted into the orthogonal image together with the coordinate information (GEO-Reference) information.
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle.

The method of claim 8,
Receiving unit for receiving an image captured from the unmanned aerial vehicle in real time through a communication network in conjunction with the image being photographed by the camera
Real-time high-resolution orthogonal map generation device for non-surveying using an unmanned aerial vehicle further comprising a.