KR102479976B1 - 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법 - Google Patents

서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법 Download PDF

Info

Publication number
KR102479976B1
KR102479976B1 KR1020210156413A KR20210156413A KR102479976B1 KR 102479976 B1 KR102479976 B1 KR 102479976B1 KR 1020210156413 A KR1020210156413 A KR 1020210156413A KR 20210156413 A KR20210156413 A KR 20210156413A KR 102479976 B1 KR102479976 B1 KR 102479976B1
Authority
KR
South Korea
Prior art keywords
aerial photograph
target
edges
dominant edge
projection image
Prior art date
Application number
KR1020210156413A
Other languages
English (en)
Inventor
강윤아
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020210156413A priority Critical patent/KR102479976B1/ko
Application granted granted Critical
Publication of KR102479976B1 publication Critical patent/KR102479976B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0031—Geometric image transformation in the plane of the image for topological mapping of a higher dimensional structure on a lower dimensional surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Abstract

변화 감지 장치는 목표 지역에 대한 3차원 모델을 포함하고, 상기 3차원 모델상에서 비행체의 촬영 위치로부터 목표물을 2차원 공간에 투영하여 2차원 투영이미지를 생성하는 3차원 모델부, 및 상기 비행체가 상기 목표물을 촬영한 항공사진과 상기 2차원 투영이미지를 비교하여 상기 목표물의 변화를 감지하는 변화 감지부를 포함하고, 상기 변화 감지부는 제1 항공사진과 상기 제1 항공사진에 대응하는 제1 2차원 투영이미지를 비교한 결과를 제2 항공사진과 상기 제2 항공사진에 대응하는 제2 2차원 투영이미지를 비교한 결과에 대한 신뢰도 값으로 사용한다.

Description

서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법{CHANGE DETECTION APPARATUS AND METHOD FOR DETECTING CHANGES BETWEEN DIFFERENT AERIAL PHOTOGRAPHS}
본 발명은 서로 다른 위치에서 촬영된 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법에 관한 것이다.
비행체가 표적으로 삼은 지역에 대해서 해당 비행체의 임무 완료 후, 목표 지역의 변화 여부를 확인하여 반복 임무를 수행할 것인지 판단할 필요성이 있다. 이를 위해 첫 번째 비행체가 목표 지역으로 들어가면서 촬영한 항공사진과 두 번째 비행체가 주변 지역을 이동하면서 촬영한 항공사진을 비교하여 목표 지역에 일어난 변화를 감지한다.
종래의 두 개의 사진을 비교하여 변화를 감지하는 기술은 변화 감지(Change Detection)라는 분야인데, 주로 동일한 혹은 유사한 위치에서 촬영한 사진을 비교하여 변경된 부분을 검색한다. 하지만 두 개의 비행체가 촬영한 사진은 전혀 다른 위치 및 방향에서 목표물을 촬영한 사진이기 때문에 두 사진은 2차원 이미지의 기준에서는 상호 완전히 다른, 비교할 수 없는 대상이 된다.
또한, 다른 위치 및 방향에서 촬영한 두 사진 내에서 목표물을 찾아 서로 매칭 시키는 정합 기술을 사용하여 비교하려고 해도, 목표 지역이 변화한 경우 두 사진이 완전히 동일한 3차원 환경을 비추고 있는 것이 아니게 되어 정합이 어렵다는 문제가 있으며, 목표 지역의 변화 여부를 모르는 상태로 정합을 해야 하는 부분이 일반적인 이미지 처리 방식으로는 쉽게 해결할 수 없는 문제가 있다.
본 발명이 해결하고자 하는 기술적 과제는 서로 다른 위치에서 촬영된 서로 다른 항공사진에서 변화를 감지할 수 있는 변화 감지 장치 및 방법을 제공함에 있다.
본 발명의 일 실시예에 따른 변화 감지 장치는 목표 지역에 대한 3차원 모델을 포함하고, 상기 3차원 모델상에서 비행체의 촬영 위치로부터 목표물을 2차원 공간에 투영하여 2차원 투영이미지를 생성하는 3차원 모델부, 및 상기 비행체가 상기 목표물을 촬영한 항공사진과 상기 2차원 투영이미지를 비교하여 상기 목표물의 변화를 감지하는 변화 감지부를 포함하고, 상기 변화 감지부는 제1 항공사진과 상기 제1 항공사진에 대응하는 제1 2차원 투영이미지를 비교한 결과를 제2 항공사진과 상기 제2 항공사진에 대응하는 제2 2차원 투영이미지를 비교한 결과에 대한 신뢰도 값으로 사용한다.
상기 변화 감지부는 상기 항공사진의 도미넌트 엣지 각도와 상기 2차원 투영이미지의 도미넌트 엣지 각도를 이용하여 상기 항공사진과 상기 2차원 투영이미지를 비교할 수 있다.
상기 제1 항공사진은 첫 번째 비행체가 상기 목표물을 촬영한 항공사진이고, 상기 제2 항공사진은 두 번째 비행체가 상기 목표물을 촬영한 항공사진일 수 있다.
상기 변화 감지부는 상기 제1 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제1 크롭 이미지를 생성하고, 상기 제1 크롭 이미지에서 제1 도미넌트 엣지 그룹을 추출하고, 상기 제1 2차원 투영이미지에서 제2 도미넌트 엣지 그룹을 추출하고, 상기 제1 도미넌트 엣지 그룹의 모든 엣지의 길이 합과 상기 제2 도미넌트 엣지 그룹의 모든 엣지의 길이 합을 합한 값에 대하여 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에 존재하는 모든 엣지의 길이 합의 비율로 상기 신뢰도 값을 산출할 수 있다.
상기 변화 감지부는 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에서 엣지 성분을 추출하고, 상기 엣지 성분 중에서 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기고, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하고, 그룹별로 속한 모든 엣지의 길이를 더하여 상기 제1 도미넌트 엣지 그룹 및 상기 제2 도미넌트 엣지 그룹을 추출할 수 있다.
상기 변화 감지부는 상기 제2 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제2 크롭 이미지를 생성하고, 상기 제2 크롭 이미지에서 제3 도미넌트 엣지 그룹을 추출하고, 상기 제2 2차원 투영이미지에서 제4 도미넌트 엣지 그룹을 추출하고, 상기 제3 도미넌트 엣지 그룹과 상기 제4 도미넌트 엣지 그룹의 엣지의 길이와 상기 신뢰도 값을 이용하여 상기 목표물의 변화확률을 계산할 수 있다.
본 발명의 다른 실시예에 따른 변화 감지 방법은 제1 항공사진을 입력받으면 목표 지역에 대한 3차원 모델을 이용하여 제1 촬영 위치로부터 목표물을 2차원 공간에 투영하여 제1 2차원 투영이미지를 생성하는 단계, 상기 제1 항공사진과 상기 제1 2차원 투영이미지를 비교하여 유사도를 산출하는 단계, 제2 항공사진을 입력받으면 상기 3차원 모델을 이용하여 제2 촬영 위치로부터 목표물을 2차원 공간에 투영하여 제2 2차원 투영이미지를 생성하는 단계, 및 상기 제1 항공사진과 상기 제1 2차원 투영이미지를 비교한 결과를 상기 제2 항공사진과 상기 제2 2차원 투영이미지를 비교한 결과에 대한 신뢰도 값으로 사용하여 상기 목표물의 변화를 탐지하는 단계를 포함한다.
상기 제1 항공사진은 첫 번째 비행체가 상기 목표물을 촬영한 항공사진이고, 상기 제2 항공사진은 두 번째 비행체가 상기 목표물을 촬영한 항공사진일 수 있다.
상기 변화 감지 방법은 상기 제1 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제1 크롭 이미지를 생성하는 단계, 상기 제1 크롭 이미지에서 제1 도미넌트 엣지 그룹을 추출하고, 상기 제1 2차원 투영이미지에서 제2 도미넌트 엣지 그룹을 추출하는 단계, 및 상기 제1 도미넌트 엣지 그룹의 모든 엣지의 길이 합과 상기 제2 도미넌트 엣지 그룹의 모든 엣지의 길이 합을 합한 값에 대하여 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에 존재하는 모든 엣지의 길이 합의 비율로 상기 신뢰도 값을 산출하는 단계를 더 포함할 수 있다.
상기 변화 감지 방법은 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에서 엣지 성분을 추출하는 단계, 상기 엣지 성분 중에서 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기는 단계, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하는 단계, 및 그룹별로 속한 모든 엣지의 길이를 더하여 상기 제1 도미넌트 엣지 그룹 및 상기 제2 도미넌트 엣지 그룹을 추출하는 단계를 더 포함할 수 있다.
상기 변화 감지 방법은 상기 제2 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제2 크롭 이미지를 생성하는 단계, 상기 제2 크롭 이미지에서 제3 도미넌트 엣지 그룹을 추출하고, 상기 제2 2차원 투영이미지에서 제4 도미넌트 엣지 그룹을 추출하는 단계, 및 상기 제3 도미넌트 엣지 그룹과 상기 제4 도미넌트 엣지 그룹의 엣지의 길이와 상기 신뢰도 값을 이용하여 상기 목표물의 변화확률을 계산하는 단계를 더 포함할 수 있다.
본 발명의 또 다른 실시예에 따른 변화 감지 방법은 제1 항공사진의 엣지 성분을 방향에 따라 그룹화하여 제1 도미넌트 엣지 그룹을 추출하는 단계, 상기 제1 항공사진에 대응하는 제1 2차원 투영이미지의 엣지 성분을 방향에 따라 그룹화하여 제2 도미넌트 엣지 그룹을 추출하는 단계, 제2 항공사진의 엣지 성분을 방향에 따라 그룹화하여 제3 도미넌트 엣지 그룹을 추출하는 단계, 상기 제2 항공사진에 대응하는 제2 2차원 투영이미지의 엣지 성분을 방향에 따라 그룹화하여 제4 도미넌트 엣지 그룹을 추출하는 단계, 상기 제1 도미넌트 엣지 그룹과 상기 제2 도미넌트 엣지 그룹을 기반으로 신뢰도 값을 산출하는 단계, 및 상기 제3 도미넌트 엣지 그룹과 상기 제4 도미넌트 엣지 그룹의 엣지 길이와 상기 신뢰도 값을 이용하여 목표물의 변화확률을 계산하는 단계를 포함한다.
상기 제1 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 생성된 제1 크롭 이미지에서 엣지 성분을 추출하고, 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기고, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하여 상기 제1 도미넌트 엣지 그룹이 추출될 수 있다.
상기 제1 2차원 투영이미지에서 엣지 성분을 추출하고, 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기고, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하여 상기 제2 도미넌트 엣지 그룹이 추출될 수 있다.
상기 제1 도미넌트 엣지 그룹의 모든 엣지의 길이 합과 상기 제2 도미넌트 엣지 그룹의 모든 엣지의 길이 합을 합한 값에 대하여 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에 존재하는 모든 엣지의 길이 합의 비율로 상기 신뢰도 값이 산출될 수 있다.
본 발명의 실시예에 따른 변화 감지 장치 및 방법은 3차원 모델을 사용하여 서로 다른 위치에서 촬영된 항공사진에서도 목표 지역의 변화를 감지할 수 있다.
항공사진이 아닌 다른 사진의 경우에도 대상의 3차원 모델링이 가능한 경우 본 발명의 실시예에 따른 변화 감지 장치 및 방법을 활용하여 변화 여부를 확인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 서로 다른 항공사진에서 변화를 감지하는 변화 감지 방법을 나타내는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 2차원 투영이미지를 생성하는 과정을 나타내는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 신뢰도 값을 생성하여 변화를 감지하는 과정을 나타내는 예시도이다.
도 5 및 6은 본 발명의 일 실시예에 따른 도미넌트 엣지 각도를 이용한 이미지 비교 방법의 일 예를 나타내는 예시도이다.
도 7 및 8은 본 발명의 일 실시예에 따른 도미넌트 엣지 각도를 이용한 이미지 비교 방법의 다른 예를 나타내는 예시도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도 1 내지 8을 참조하여 본 발명의 실시예에 따른 서로 다른 위치에서 촬영된 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치를 나타내는 블록도이다.
도 1을 참조하면, 변화 감지 장치(100)는 3차원 모델부(110), 2차원 투영이미지 생성부(120) 및 변화 감지부(130)를 포함한다.
3차원 모델부(110)는 표적으로 삼은 목표 지역을 추적할 수 있도록 목표 지역에 대한 3차원 모델을 포함할 수 있다. 3차원 모델은 비행체가 항공사진을 촬영할 때 내부적으로 계산된 비행체의 위치 및 자세 데이터를 이용하여 목표물을 2차원 공간에 투영시킬 수 있다. 다시 말해, 3차원 모델부(110)는 항공사진을 촬영한 비행체의 촬영 위치 정보를 입력받고, 3차원 모델상에서 촬영 위치로부터 목표물을 2차원 공간에 투영하여 2차원 투영이미지를 생성할 수 있다.
2차원 투영이미지 생성부(120)는 촬영 위치별로 3차원 모델에 의해 생성된 목표물에 대한 2차원 투영이미지를 모아서 2차원 투영이미지 그룹을 생성할 수 있다. 즉, 2차원 투영이미지 생성부(120)는 비행체의 위치(촬영 위치 정보)에 따라 다양한 각도로 목표물을 투영한 2차원 투영이미지를 저장하고 있을 수 있다.
변화 감지부(130)는 비행체가 목표물을 촬영한 항공사진을 입력받고, 입력된 항공사진과 목표물에 대한 2차원 투영이미지를 비교하여 목표물의 변화를 감지할 수 있다. 이때, 2차원 투영이미지는 항공사진의 촬영 위치 정보를 기반으로 2차원 공간에 투영되어 생성된 것이다.
변화 감지부(130)는 첫 번째 비행체가 촬영한 제1 항공사진과 제1 항공사진에 대응하는 제1 2차원 투영이미지를 비교한 결과를 두 번째 비행체가 촬영한 제2 항공사진(또는 제1 항공사진과 다른 시간에 촬영된 제2 항공사진)과 제2 항공사진에 대응하는 제2 2차원 투영이미지를 비교한 결과에 대한 신뢰도 값으로 사용하여 제2 항공사진과 제2 2차원 투영이미지를 비교할 때 허용할 수 있는 오차 범위로 적용시킬 수 있다. 이에 대하여 도 2 내지 4를 참조하여 설명한다.
한편, 변화 감지부(130)는 도미넌트 엣지(dominant edge) 각도를 이용하여 항공사진과 2차원 투영이미지를 비교할 수 있다. 이에 대하여는 도 5 내지 8을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따른 서로 다른 항공사진에서 변화를 감지하는 변화 감지 방법을 나타내는 흐름도이다. 도 3은 본 발명의 일 실시예에 따른 2차원 투영이미지를 생성하는 과정을 나타내는 예시도이다. 도 4는 본 발명의 일 실시예에 따른 신뢰도 값을 생성하여 변화를 감지하는 과정을 나타내는 예시도이다.
도 2 내지 4를 참조하면, 변화 감지부(130)는 제1 항공사진(11)을 입력받는다(S110). 제1 항공사진(11)은 첫 번째 비행체가 목표물을 촬영한 항공사진일 수 있다. 제1 항공사진(11)을 입력받을 때, 제1 항공사진(11)을 촬영한 비행체의 제1 촬영 위치 정보가 3차원 모델부(110)에 입력될 수 있다. 3차원 모델부(110)는 목표 지역에 대한 3차원 모델을 이용하여 촬영 위치로부터 목표물을 2차원 공간에 투영하여 2차원 투영이미지를 생성할 수 있으며, 촬영 위치별 목표물에 대한 2차원 투영이미지 그룹이 2차원 투영이미지 생성부(120)에 생성될 수 있다. 도 3의 제1 항공사진(11)을 예로 들어 2차원 투영이미지에 대하여 설명하면, 제1 항공사진(11)의 중앙에 위치한 건물(목표물)에 대해 ①번의 촬영 위치로부터 2차원 공간에 투영한 경우 2차원 공간에 투영된 이미지는 제1 2차원 투영이미지(21)와 같이 생성되고, ②번의 촬영 위치로부터 2차원 공간에 투영한 경우 2차원 공간에 투영된 이미지는 제2 2차원 투영이미지(22)와 같이 생성될 수 있다. 생성된 2차원 투영이미지는 변화 감지부(130)에 전달된다.
변화 감지부(130)는 제1 항공사진(11)과 3차원 모델부(110)에 의한 2차원 투영이미지와의 유사도를 산출한다(S120). 즉, 변화 감지부(130)는 목표 지역의 변화 감지를 위해 3차원 모델에 의해 2차원 공간에 투영된 2차원 투영이미지와 실제 촬영된 항공사진을 비교한다.
2차원 투영이미지는 항공사진과 다른 점이 있다. 첫째로, 2차원 투영이미지에는 목표물을 제외한 주변의 사물이 없다. 둘째로, 2차원 투영이미지에는 주변의 건물이나 그림자로 인한 가림 현상이 없다. 셋째로, 2차원 투영이미지에는 카메라 촬영시 생길 수 있는 노이즈가 없다. 또한, 촬영 위치 정보는 비행체가 자신의 위치를 내부적으로 계산한 데이터이기 때문에 촬영 위치 정보에는 오차가 포함될 수 있으므로, 항공사진과 투영이미지가 완전히 동일한 위치에서 목표물을 촬영 및 투영한 것이라고 할 수는 없다. 이러한 차이점 때문에 목표 지역에 아무런 변화가 일어나지 않아도 항공사진과 2차원 투영이미지를 1:1로 비교한 경우 완전히 동일한 것으로 판별되지 않는다.
이러한 문제를 해결하기 위하여 본 발명의 실시예에 따른 변화 감지 장치(100)는 첫 번째 비행체가 촬영한 제1 항공사진(11)과 제1 2차원 투영이미지(21)를 비교한 결과를 두 번째 비행체가 목표물을 촬영한 제2 항공사진(또는 제1 항공사진과 다른 시간에 촬영된 제2 항공사진)(12)과 제2 2차원 투영이미지(22)를 비교한 결과에 대한 신뢰도 값으로 사용하여 제2 항공사진(12)과 제2 2차원 투영이미지(22)를 비교할 때 허용할 수 있는 오차 범위로 적용시킬 수 있다.
다시 말해, 두 번째 비행체가 촬영한 제2 항공사진(제N 항공사진)(12)이 변화 감지부(130)에 입력된다(S130). 제2 항공사진(제N 항공사진)(12)은 두 번째 비행체가 목표물을 촬영한 항공사진일 수 있고, 또는 첫 번째 비행체가 다른 시각에 다른 위치에서 목표물을 촬영한 항공사진일 수도 있다. 제2 항공사진(12)을 촬영한 비행체의 제2 촬영 위치 정보가 3차원 모델부(110)에 입력되고, 제2 촬영 위치 정보를 기반으로 목표물에 대한 제2 2차원 투영이미지(22)가 생성될 수 있다.
변화 감지부(130)는 제2 항공사진(12)과 제2 2차원 투영이미지(22)를 비교하여 목표물(목표 지역)의 변화를 탐지하고(S140), 그 결과를 출력할 수 있다(S150). 이때, 도 4에 예시한 바와 같이, 변화 감지부(130)는 제1 항공사진(11)과 제1 2차원 투영이미지(21)를 비교한 결과를 제2 항공사진(12)과 제2 2차원 투영이미지(22)를 비교한 결과에 대한 신뢰도 값으로 사용하여 제2 항공사진(12)과 제2 2차원 투영이미지(22)를 비교할 때 허용할 수 있는 오차 범위로 적용시킬 수 있다. 변화 감지부(130)는 변화 탐지 결과와 신뢰도 값을 출력할 수 있다.
변화 감지 장치(100)는 입력되는 추가적인 항공사진(제N+1 항공사진)이 있는지 확인하고, 추가적인 항공사진이 있는 경우 상술한 S130 단계 내지 S150 단계를 반복하여 수행할 수 있다. 예를 들어, 두 번째 비행체의 촬영에서 목표물에 대한 변화가 없었던 것으로 확인되어 임무를 반복 수행하게 될 경우, 상술한 S130 단계 내지 S150 단계가 반복 수행될 수 있다.
도 5 및 6은 본 발명의 일 실시예에 따른 도미넌트 엣지 각도를 이용한 이미지 비교 방법의 일 예를 나타내는 예시도이다. 도 7 및 8은 본 발명의 일 실시예에 따른 도미넌트 엣지 각도를 이용한 이미지 비교 방법의 다른 예를 나타내는 예시도이다.
도 5 내지 8을 참조하면, 일반적으로 두 이미지를 비교할 때 가장 보편적인 방법은, 두 이미지를 특징점 기반으로 분석하여 이미지 내의 같은 위치를 찾아 정합하고, 두 이미지의 상관관계(correlation)를 분석하는 것이다.
하지만, 목표물(목표 지역)이 변화했을 경우 동일한 특징점을 검출할 수 없는 문제가 있으며, 정합에 성공한다고 해도 비교 대상인 두 이미지 중 하나는 직접 촬영한 항공사진이고 다른 하나는 3차원 모델에 의해 2차원 투영된 이미지이기 때문에 색상도 상이하고, 항공사진에는 구름 등으로 인해 부분 가림, 촬영 노이즈 등과 같이 상관관계 값에 영향을 줄 수 있는 요소들이 많이 발생하기 때문에 비교 결과의 정확도가 낮아진다.
본 발명의 실시예에 따른 변화 감지 장치(100)는 이미지가 일부 소실되었을 경우 좀 더 강인한 결과를 보여주는 엣지 추출 방법을 통해 목표물(목표 지역)의 윤곽선을 얻어 비교에 활용할 수 있다.
3차원 모델을 통해 투영된 2차원 투영이미지는 대상을 제외한 주변의 모델(건물)들이 존재하지 않기 때문에, 변화 감지부(130)는 비교 오차를 줄이기 위해서 항공사진에서 목표물이 존재하는 부분만 잘라내어(crop) 선택할 수 있다. 변화 감지부(130)는 항공사진을 촬영한 비행체의 위치값과 3차원 모델의 실제 지리적 위치값을 이용하여 항공사진 내에서 3차원 모델의 위치를 역으로 추정할 수 있으며, 도 5 및 7에 예시한 바와 같이 항공사진(11, 12)에서 목표물이 위치하는 부분을 사각형 모양으로 잘라내어 크롭 이미지(A, B)를 만들 수 있다. 변화 감지부(130)는 항공사진(11, 12)에서 잘라낸 크롭 이미지(A, B)를 동일한 크기의 2차원 투영이미지(21, 22)와 도미넌트 엣지 각도를 이용한 이미지 비교 방법으로 비교할 수 있다.
더욱 상세하게, (a) 변화 감지부(130)는 2차원 투영이미지(21, 22)와 크롭 이미지(A, B)에서 엣지 성분을 추출한다.
(b) 변화 감지부(130)는 추출된 엣지 성분 중에서 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만을 남긴다.
(c) 변화 감지부(130)는 긴 엣지들의 방향을 분석하여 비슷한(동일한) 방향을 이루는 엣지끼리 그룹화한다.
(d) 변화 감지부(130)는 그룹별로 속한 모든 엣지의 길이를 더하여 큰 값이 나오는 도미넌트 엣지 그룹을 다수 개 선정할 수 있다. 이때, 그룹별로 모든 엣지의 길이를 더한 값이 기준 미달이거나 더한 값이 가장 큰 도미넌트 엣지 그룹의 길이의 일정 % 이하인 그룹은 도미넌트 엣지 그룹이 될 수 없다.
(e) 변화 감지부(130)는 제1 항공사진(11)의 제1 크롭 이미지(A)와 해당 각도로 투영된 제1 2차원 투영이미지(21)에 대해 상기의 (a) 내지 (d) 과정으로 각각의 도미넌트 엣지 그룹을 추출할 수 있다. 즉, 도 6에 예시한 바와 같이, 변화 감지부(130)는 제1 크롭 이미지(A)에서 제1 도미넌트 엣지 그룹(DE1)을 추출하고, 제1 2차원 투영이미지(21)에서 제2 도미넌트 엣지 그룹(DE2)을 추출할 수 있다.
(f) 변화 감지부(130)는 제1 크롭 이미지(A)에서 추출한 각각의 제1 도미넌트 엣지 그룹(DE1)과 동일한 방향의 도미넌트 엣지 그룹이 제1 2차원 투영이미지(21)에 존재하는지 확인한다. 변화 감지부(130)는 제1 크롭 이미지(A)와 제1 2차원 투영이미지(21) 양쪽에 모두 존재하는 도미넌트 엣지 그룹의 길이를 모두 합산할 수 있다.
(g) 목표물에 변화가 발생하기 전, 제1 크롭 이미지(A)와 제1 2차원 투영이미지(21)는 동일한 장면이기 때문에 이상적으로는 완전히 동일해야 하므로, 제1 크롭 이미지(A)와 제1 2차원 투영이미지(21)를 비교한 결과는 아래의 수학식 1과 같이 신뢰도 값(T)이 될 수 있다.
Figure 112021131233279-pat00001
즉, 신뢰도 값(T)은 제1 크롭 이미지(A)의 제1 도미넌트 엣지 그룹(DE1)의 모든 엣지의 길이 합과 제1 2차원 투영이미지(21)의 제2 도미넌트 엣지 그룹(DE2)의 모든 엣지의 길이 합을 합한 값에 대하여 제1 크롭 이미지(A)와 제1 2차원 투영이미지(21)에 존재하는 모든 엣지의 길이 합의 비율이 될 수 있다.
(h) 변화 감지부(130)는 두 번째 비행체가 찍은 제2 항공사진(12)의 제2 크롭 이미지(B)와 해당 각도로 투영된 제2 2차원 투영이미지(22)에 대해 상기의 (a) 내지 (d) 과정으로 각각의 도미넌트 엣지 그룹을 추출할 수 있다. 즉, 도 8에 예시한 바와 같이, 변화 감지부(130)는 제2 크롭 이미지(B)에서 제3 도미넌트 엣지 그룹(DE3)을 추출하고, 제2 2차원 투영이미지(22)에서 제4 도미넌트 엣지 그룹(DE4)을 추출할 수 있다.
(i) 변화 감지부(130)는 제2 크롭 이미지(B)에서 추출한 각각의 제3 도미넌트 엣지 그룹(DE3)과 동일한 방향의 도미넌트 엣지 그룹이 제2 2차원 투영이미지(22)에 존재하는지 확인한다. 변화 감지부(130)는 제2 크롭 이미지(B)와 제2 2차원 투영이미지(22) 양쪽에 모두 존재하는 도미넌트 엣지 그룹의 길이를 모두 합산할 수 있다.
(j) 변화 감지부(130)는 제2 크롭 이미지(B)와 제2 2차원 투영이미지(22)의 도미넌트 엣지 각도의 상관관계가 틀어질 경우 도미넌트 엣지가 소실된 것, 즉 해당 목표물(목표 지역)에 변화가 있는 것으로 판단할 수 있다.
(k) 변화 감지부(130)는 제2 크롭 이미지(B)와 제2 2차원 투영이미지(22)의 도미넌트 엣지 그룹(DE3, DE4)의 엣지의 길이와 신뢰도 값(T)을 이용하여 아래의 수학식 2와 같이 목표물(목표 지역)의 변화확률(CP)을 계산할 수 있고, 변화확률(CP)이 일정 % 이상일 경우 목표물(목표 지역)이 변화했다고 변화 탐지 결과를 출력할 수 있다.
Figure 112021131233279-pat00002
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 변화 감지 장치
110: 3차원 모델부
120: 2차원 투영이미지 생성부
130: 변화 감지부

Claims (15)

  1. 목표 지역에 대한 3차원 모델을 포함하고, 상기 3차원 모델상에서 비행체의 촬영 위치로부터 목표물을 2차원 공간에 투영하여 2차원 투영이미지를 생성하는 3차원 모델부; 및
    상기 비행체가 상기 목표물을 촬영한 항공사진과 상기 2차원 투영이미지를 비교하여 상기 목표물의 변화를 감지하는 변화 감지부를 포함하고,
    상기 변화 감지부는 제1 항공사진과 상기 제1 항공사진에 대응하는 제1 2차원 투영이미지를 비교한 결과를 제2 항공사진과 상기 제2 항공사진에 대응하는 제2 2차원 투영이미지를 비교한 결과에 대한 신뢰도 값으로 사용하고,
    상기 변화 감지부는 상기 제1 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제1 크롭 이미지를 생성하고, 상기 제1 크롭 이미지에서 제1 도미넌트 엣지 그룹을 추출하고, 상기 제1 2차원 투영이미지에서 제2 도미넌트 엣지 그룹을 추출하고, 상기 제1 도미넌트 엣지 그룹의 모든 엣지의 길이 합과 상기 제2 도미넌트 엣지 그룹의 모든 엣지의 길이 합을 합한 값에 대하여 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에 존재하는 모든 엣지의 길이 합의 비율로 상기 신뢰도 값을 산출하는 변화 감지 장치.
  2. 제1 항에 있어서,
    상기 변화 감지부는 상기 항공사진의 도미넌트 엣지 각도와 상기 2차원 투영이미지의 도미넌트 엣지 각도를 이용하여 상기 항공사진과 상기 2차원 투영이미지를 비교하는 변화 감지 장치.
  3. 제1 항에 있어서,
    상기 제1 항공사진은 첫 번째 비행체가 상기 목표물을 촬영한 항공사진이고, 상기 제2 항공사진은 두 번째 비행체가 상기 목표물을 촬영한 항공사진인 변화 감지 장치.
  4. 삭제
  5. 제1 항에 있어서,
    상기 변화 감지부는 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에서 엣지 성분을 추출하고, 상기 엣지 성분 중에서 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기고, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하고, 그룹별로 속한 모든 엣지의 길이를 더하여 상기 제1 도미넌트 엣지 그룹 및 상기 제2 도미넌트 엣지 그룹을 추출하는 변화 감지 장치.
  6. 제1 항에 있어서,
    상기 변화 감지부는 상기 제2 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제2 크롭 이미지를 생성하고, 상기 제2 크롭 이미지에서 제3 도미넌트 엣지 그룹을 추출하고, 상기 제2 2차원 투영이미지에서 제4 도미넌트 엣지 그룹을 추출하고, 상기 제3 도미넌트 엣지 그룹과 상기 제4 도미넌트 엣지 그룹의 엣지의 길이와 상기 신뢰도 값을 이용하여 상기 목표물의 변화확률을 계산하는 변화 감지 장치.
  7. 제1 항공사진을 입력받으면 목표 지역에 대한 3차원 모델을 이용하여 제1 촬영 위치로부터 목표물을 2차원 공간에 투영하여 제1 2차원 투영이미지를 생성하는 단계;
    상기 제1 항공사진과 상기 제1 2차원 투영이미지를 비교하여 유사도를 산출하는 단계;
    제2 항공사진을 입력받으면 상기 3차원 모델을 이용하여 제2 촬영 위치로부터 목표물을 2차원 공간에 투영하여 제2 2차원 투영이미지를 생성하는 단계; 및
    상기 제1 항공사진과 상기 제1 2차원 투영이미지를 비교한 결과를 상기 제2 항공사진과 상기 제2 2차원 투영이미지를 비교한 결과에 대한 신뢰도 값으로 사용하여 상기 목표물의 변화를 탐지하는 단계를 포함하고,
    상기 제1 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제1 크롭 이미지를 생성하는 단계;
    상기 제1 크롭 이미지에서 제1 도미넌트 엣지 그룹을 추출하고, 상기 제1 2차원 투영이미지에서 제2 도미넌트 엣지 그룹을 추출하는 단계; 및
    상기 제1 도미넌트 엣지 그룹의 모든 엣지의 길이 합과 상기 제2 도미넌트 엣지 그룹의 모든 엣지의 길이 합을 합한 값에 대하여 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에 존재하는 모든 엣지의 길이 합의 비율로 상기 신뢰도 값을 산출하는 단계를 더 포함하는 변화 감지 방법.
  8. 제7 항에 있어서,
    상기 제1 항공사진은 첫 번째 비행체가 상기 목표물을 촬영한 항공사진이고, 상기 제2 항공사진은 두 번째 비행체가 상기 목표물을 촬영한 항공사진인 변화 감지 방법.
  9. 삭제
  10. 제7 항에 있어서,
    상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에서 엣지 성분을 추출하는 단계;
    상기 엣지 성분 중에서 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기는 단계;
    긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하는 단계; 및
    그룹별로 속한 모든 엣지의 길이를 더하여 상기 제1 도미넌트 엣지 그룹 및 상기 제2 도미넌트 엣지 그룹을 추출하는 단계를 더 포함하는 변화 감지 방법.
  11. 제7 항에 있어서,
    상기 제2 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 제2 크롭 이미지를 생성하는 단계;
    상기 제2 크롭 이미지에서 제3 도미넌트 엣지 그룹을 추출하고, 상기 제2 2차원 투영이미지에서 제4 도미넌트 엣지 그룹을 추출하는 단계; 및
    상기 제3 도미넌트 엣지 그룹과 상기 제4 도미넌트 엣지 그룹의 엣지의 길이와 상기 신뢰도 값을 이용하여 상기 목표물의 변화확률을 계산하는 단계를 더 포함하는 변화 감지 방법.
  12. 제1 항공사진의 엣지 성분을 방향에 따라 그룹화하여 제1 도미넌트 엣지 그룹을 추출하는 단계;
    상기 제1 항공사진에 대응하는 제1 2차원 투영이미지의 엣지 성분을 방향에 따라 그룹화하여 제2 도미넌트 엣지 그룹을 추출하는 단계;
    제2 항공사진의 엣지 성분을 방향에 따라 그룹화하여 제3 도미넌트 엣지 그룹을 추출하는 단계;
    상기 제2 항공사진에 대응하는 제2 2차원 투영이미지의 엣지 성분을 방향에 따라 그룹화하여 제4 도미넌트 엣지 그룹을 추출하는 단계;
    상기 제1 도미넌트 엣지 그룹과 상기 제2 도미넌트 엣지 그룹을 기반으로 신뢰도 값을 산출하는 단계; 및
    상기 제3 도미넌트 엣지 그룹과 상기 제4 도미넌트 엣지 그룹의 엣지 길이와 상기 신뢰도 값을 이용하여 목표물의 변화확률을 계산하는 단계를 포함하고,
    상기 제1 2차원 투영이미지와 상기 제2 2차원 투영이미지는 3차원 모델상에서 비행체의 촬영 위치로부터 목표물을 2차원 공간에 투영하여 생성되는 변화 감지 방법.
  13. 제12 항에 있어서,
    상기 제1 항공사진에서 상기 목표물이 위치하는 부분을 잘라내어 생성된 제1 크롭 이미지에서 엣지 성분을 추출하고, 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기고, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하여 상기 제1 도미넌트 엣지 그룹이 추출되는 변화 감지 방법.
  14. 제13 항에 있어서,
    상기 제1 2차원 투영이미지에서 엣지 성분을 추출하고, 미리 설정된 기준에 따라 길이가 짧은 엣지를 제거하고 길이가 긴 엣지만 남기고, 긴 엣지들의 방향을 분석하여 비슷한 방향을 이루는 엣지끼리 그룹화하여 상기 제2 도미넌트 엣지 그룹이 추출되는 변화 감지 방법.
  15. 제14 항에 있어서,
    상기 제1 도미넌트 엣지 그룹의 모든 엣지의 길이 합과 상기 제2 도미넌트 엣지 그룹의 모든 엣지의 길이 합을 합한 값에 대하여 상기 제1 크롭 이미지와 상기 제1 2차원 투영이미지에 존재하는 모든 엣지의 길이 합의 비율로 상기 신뢰도 값이 산출되는 변화 감지 방법.
KR1020210156413A 2021-11-15 2021-11-15 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법 KR102479976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210156413A KR102479976B1 (ko) 2021-11-15 2021-11-15 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210156413A KR102479976B1 (ko) 2021-11-15 2021-11-15 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102479976B1 true KR102479976B1 (ko) 2022-12-20

Family

ID=84539231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210156413A KR102479976B1 (ko) 2021-11-15 2021-11-15 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102479976B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101742A (ja) * 1995-10-05 1997-04-15 Hitachi Ltd 地図更新支援装置
JP2016099316A (ja) * 2014-11-26 2016-05-30 アジア航測株式会社 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム
JP2017033197A (ja) * 2015-07-30 2017-02-09 日本電信電話株式会社 変化領域検出装置、方法、及びプログラム
JP2018169831A (ja) * 2017-03-30 2018-11-01 セコム株式会社 画像比較装置
JP2021034763A (ja) * 2019-08-16 2021-03-01 セコム株式会社 画像処理装置及び画像処理プログラム
JP2021108222A (ja) * 2018-10-17 2021-07-29 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09101742A (ja) * 1995-10-05 1997-04-15 Hitachi Ltd 地図更新支援装置
JP2016099316A (ja) * 2014-11-26 2016-05-30 アジア航測株式会社 地物異動判別方法及び地物異動判別装置並びに地物異動判別プログラム
JP2017033197A (ja) * 2015-07-30 2017-02-09 日本電信電話株式会社 変化領域検出装置、方法、及びプログラム
JP2018169831A (ja) * 2017-03-30 2018-11-01 セコム株式会社 画像比較装置
JP2021108222A (ja) * 2018-10-17 2021-07-29 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021034763A (ja) * 2019-08-16 2021-03-01 セコム株式会社 画像処理装置及び画像処理プログラム

Similar Documents

Publication Publication Date Title
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
CN107077744B (zh) 使用边缘的三维模型生成的方法和系统
JP6510247B2 (ja) 測量データ処理装置、測量データ処理方法およびプログラム
US8897543B1 (en) Bundle adjustment based on image capture intervals
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
JP2008176504A (ja) 物体検出装置及びその方法
JP2007241402A (ja) 顔認証におけるなりすまし判定装置およびそれを用いた顔認証装置
US20130083965A1 (en) Apparatus and method for detecting object in image
US20230065774A1 (en) Computer Vision Systems and Methods for Modeling Three-Dimensional Structures Using Two-Dimensional Segments Detected in Digital Aerial Images
JP6172432B2 (ja) 被写体識別装置、被写体識別方法および被写体識別プログラム
JP2021060868A5 (ko)
CN105701787B (zh) 基于置信度的深度图融合方法
US20210019906A1 (en) Method and apparatus for object detection integrating 2d image recognition and 3d scene reconstruction
JP5743935B2 (ja) 対象物検出装置および対象物検出方法
KR102479976B1 (ko) 서로 다른 항공사진에서 변화를 감지하는 변화 감지 장치 및 방법
JP2532985B2 (ja) ３次元画像評価装置
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
WO2019019160A1 (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
JP2018201146A (ja) 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム
KR20180118447A (ko) 얼굴정보를 이용한 위치 추정 및 신원 관리 방법, 프로그램 및 장치
KR101844328B1 (ko) 가려짐 및 회전에 강인한 공장 자동화 물체 인식 시스템 및 방법
JP3728460B2 (ja) ステレオカメラの最適配置決定方法とそのシステム
Colbert et al. Building indoor multi-panorama experiences at scale
KR102503266B1 (ko) 광학 무선 통신 시스템에서 전방에 위치하는 수신기의 위치에 따라 광신호의 전송 방향을 조정할 수 있는 광신호 전송 장치 및 그 동작 방법
CN116721109B (zh) 一种双目视觉图像半全局匹配方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant