CN107301658B - 一种无人机影像与大规模旧时相影像快速匹配定位的方法 - Google Patents

一种无人机影像与大规模旧时相影像快速匹配定位的方法 Download PDF

Info

Publication number
CN107301658B
CN107301658B CN201710356301.1A CN201710356301A CN107301658B CN 107301658 B CN107301658 B CN 107301658B CN 201710356301 A CN201710356301 A CN 201710356301A CN 107301658 B CN107301658 B CN 107301658B
Authority
CN
China
Prior art keywords
matching
unmanned aerial
aerial vehicle
image
time phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710356301.1A
Other languages
English (en)
Other versions
CN107301658A (zh
Inventor
张小国
黄鸿飞
燕松
吕家东
王庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710356301.1A priority Critical patent/CN107301658B/zh
Publication of CN107301658A publication Critical patent/CN107301658A/zh
Application granted granted Critical
Publication of CN107301658B publication Critical patent/CN107301658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种无人机影像与大规模旧时相影像快速匹配定位的方法,首先对大规模旧时相影像进行特征点预处理并建立匹配库,然后利用无人机POS系统提供的地理信息和新旧时相影像的特征点信息进行粗—精双匹配,实现新旧时相影像的快速匹配定位,最后精确提取出新旧时相影像的感兴趣区域。该方法相较于传统技术,能够快速准确地匹配定位到目标区域,用时较短,解决了大规模旧时相影像匹配定位的难题,同时为后续无人机影像快速实时发现可疑地物提供了保证。

Description

一种无人机影像与大规模旧时相影像快速匹配定位的方法
技术领域
本发明涉及一种无人机影像与大规模旧时相影像快速匹配定位的方法,属于图像处理领域。
背景技术
我国现行的土地监测手段可简单表达为“天上看、地上查、网上管”,“天上看”是指卫星遥感,其优点是覆盖范围大,但由于受到卫星访问周期的限制,不能实时得到待检测地区的卫星影像,且在多云地区以及天气状况欠佳时,往往不能得到清晰的卫星影像,再加上对卫星影像的获取、处理的代价比较高昂,因此遥感监察的效果比较差;“地上查”主要指土地巡查车和人工巡查,与遥感监测相比,其机动性和灵活性都有提高,但是其应用范围受基础道路建设的影响,对于没有道路的地方,如山地、丘陵等地区,往往不能完成监测,对于有道路的地方,还要考虑道路现阶段的路面情况和使用情况,监测效果受到诸多的限制,实时性也难以得到保证;网上举报的土地监测方法,不仅耗费大量的人力物力,且消息的准确性有待考察,从举报到实地考察、确认,再到数据的更新,其周期往往较长,实时性较差,在土地监测方面收效甚微。
近年来,随着无人机的兴起,其作为航空遥感与卫星遥感的有力补充,在城市变化检监测、灾情监测以及国土资源监测方面有着独特的优势,因此,许多学者尝试使用无人机航摄影像作为变化检测的源数据。
在图像处理领域,图像特征点检测的方法已经相对比较成熟,如Harris角点检测算法、Moravec算法、SUSAN算法以及SIFT、SURF算法等。但是由于待测区域的地图(主要是县市级的地图)或者卫星影像图一般都比较大(GB级数据),如果直接进行图像处理,运行时占用的CPU比较大,有时候会出现卡顿甚至死机的现象,效率低下,无法满足土地执法部门利用无人机影像快速发现可疑用地实时性的要求。
发明内容
本发明所要解决的技术问题是提供一种无人机影像与大规模旧时相影像快速匹配定位的方法,实现新旧时相影像的快速自动匹配定位。
本发明为解决上述技术问题采用以下技术方案:
本发明提供一种无人机影像与大规模旧时相影像快速匹配定位的方法,包括以下步骤:
步骤1,对大规模旧时相影像进行特征点检测,并根据检测到的特征点信息建立匹配库;
步骤2,对于无人机航拍获取的无人机影像,利用无人机机载POS系统提供的地理坐标信息来快速匹配旧时相影像上的地理坐标信息,实现粗匹配定位,得到搜索比对域;
步骤3,对无人机影像进行SURF特征点检测,与步骤1中匹配库中搜索比对域内的旧时相影像进行特征匹配,实现精匹配定位;
步骤4,基于RANSAC算法和单应矩阵提取无人机影像和旧时相影像的感兴趣区域。
作为本发明的进一步优化方案,所述步骤1包括如下步骤:
1.1,对大规模旧时相影像进行影像切割,分割成若干个子块;
1.2,对步骤1.1中的若干子块,逐块采用SURF算法进行特征点检测;
1.3,将步骤1.2中检测到的特征点信息进行存储,建立匹配库。
作为本发明的进一步优化方案,步骤1.3中的匹配库中包括若干数据表,其中,每张数据表对应一个子块的特征点信息,数据表中的每行包括一个特征点、描述向量及其属性。
作为本发明的进一步优化方案,所述步骤2中搜索比对域的范围确定,包括如下步骤:
2.1,利用无人机机载POS系统,获取当前无人机影像主点的地理坐标(X,Y);
2.2,搜索匹配库中旧时像影像的各特征点的地理坐标,选取地理坐标满足约束条件|X-X'|≤α和|Y-Y'|≤β的特征点,其中,(X',Y')为匹配库中特征点的地理坐标,α、β均为设定阈值;
2.3,获取2.2中满足约束条件的特征点在旧时像影像上的坐标(x,y);
2.4,以坐标(x,y)为中心,在旧时相影像上截出一个包含当前无人机影像的矩形区域作为搜索比对域。
作为本发明的进一步优化方案,步骤2.4中所述矩形区域的长和宽分别为无人机影像的长和宽的10倍。
作为本发明的进一步优化方案,所述步骤3包括以下步骤:
3.1,对无人机影像进行SURF特征点检测;
3.2,利用BBF算法将新时像影像和搜索比对域内的旧时相影像进行特征点匹配,实现精匹配定位。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明的方法能够快速准确地匹配定位到目标区域,用时较短(粗—精双匹配之所以用时较短,最主要的是粗匹配将包含新时像影像的搜索比对域从庞大的旧时相影像中截取了出来,由于搜索比对域所表示的区域范围相对于旧时相影像缩小了很多,因而极大地减少了特征点的信息量,这样可以极大地加速精匹配),解决了大规模旧时相影像匹配定位的难题,同时为后续无人机影像(新时像影像)快速实时发现可疑地物提供了保证,具有重大的理论研究意义及重要的工程应用价值。
附图说明
图1为本发明方法的流程示意图;
图2为大规模旧时相影像特征点检测流程图;
图3为新、旧时相影像粗—精双匹配递推流程图。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明一种无人机影像与大规模旧时相影像快速匹配定位的方法,如图1所示,包括以下步骤:
步骤1,对大规模旧时相影像进行特征点的预处理,并将旧时相影像上的特征点信息存入匹配库中,其中,旧时相影像是指存档在国土局中的测区地图、卫星影像图等相关的旧时相影像,具体步骤如下:
a,首先传入切割尺寸参数N*N(其中N的取值根据需要选取,一般取旧时相影像长度的十分之一),用旧时相影像水平和垂直方向的尺寸除以N,确定水平和垂直方向能完整切割的块数和剩余不能完整切割的块数,对于不能完整切割的正方形的剩余部分,在没有像素定义的位置上都设置为黑色,以便于识别;
b,对于每一幅小图(即子块),在数据库中将其保存为一张数据表,并对每一幅小图采用SURF算法进行特征点检测,将检测到的特征点和其64维描述向量及其属性(属性包括特征点的经纬度坐标和图上坐标)存入数据表中,其中每一个特征点和其描述向量及其属性作为表中的一行记录进行保存;
c,将所有的数据表汇总后保存,作为匹配库。
步骤2,利用无人机航拍获取地貌的无人机影像(即新时像图像),由于无人机影像相幅较小,而与之匹配的旧时相影像底图非常庞大,为了提高分析速度,对于每张无人机影像,首先利用无人机机载POS系统提供的地理坐标信息来快速匹配旧时相影像上的地理坐标信息,实现粗匹配定位,得到搜索比对域,具体步骤如下:
a,由机载POS系统获取当前无人机影像主点的经纬度坐标(X,Y);
b,快速搜索旧时相影像匹配库中的特征点的经纬度坐标(X',Y'),由于(X,Y)可能无法精确匹配到(X',Y'),所以必须满足约束条件|X-X'|≤α和|Y-Y'|≤β,其中,α一般取0.00001,β一般取0.001;
c,根据上一步可得,满足条件的(X',Y')最多有9种情况,如下式所示,为稍微提高匹配定位的精度,可以按照匹配精度由高到低将其分为三类Ⅰ(A5)、Ⅱ(A2,A4,A6,A8)和Ⅲ(A1,A3,A7,A9),其中Ⅱ、Ⅲ类中的4种情况精度相同,取值不分优先,根据实际情况选定符合条件的(X',Y'):
Figure BDA0001299183820000041
d,找到(X,Y)与X、Y相对应的(X',Y')的值后,同时可以找出匹配库中该特征点的库表结构中所对应的图上坐标(x,y)的值;
e,以旧时相影像上的特征点图上坐标(x,y)为中心,截出一个包含无人机影像的矩形区域(矩形区域的尺寸为A*B,其中,A、B一般分别取无人机影像的长和宽的10倍)作为搜索比对域。
步骤3,对无人机影像进行SURF特征点检测,然后再利用BBF算法将无人机影像和搜索比对域进行特征点匹配(搜索比对域中的特征点已经预先通过SURF特征点检测存储到匹配库中,故此时只需检测实时拍摄所得的无人机影像的特征点,速度和效率都显著提高),实现精匹配定位。
步骤4,完成粗—精双匹配之后,基于RANSAC算法和单应矩阵将新旧时相影像的感兴趣区域提取出来。
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (3)

1.一种无人机影像与大规模旧时相影像快速匹配定位的方法,其特征在于,包括以下步骤:
步骤1,对大规模旧时相影像进行特征点检测,并根据检测到的特征点信息建立匹配库;包括如下步骤:
1.1,对大规模旧时相影像进行影像切割,分割成若干个子块;
1.2,对步骤1.1中的若干子块,逐块采用SURF算法进行特征点检测;
1.3,将步骤1.2中检测到的特征点信息进行存储,建立匹配库,其中,匹配库中包括若干数据表,其中,每张数据表对应一个子块的特征点信息,数据表中的每行包括一个特征点、描述向量及其属性;
步骤2,对于无人机航拍获取的无人机影像,利用无人机机载POS系统提供的地理坐标信息来快速匹配旧时相影像上的地理坐标信息,实现粗匹配定位,得到搜索比对域;
其中搜索比对域的范围确定,包括如下步骤:
2.1,利用无人机机载POS系统,获取当前无人机影像主点的地理坐标(X,Y);
2.2,搜索匹配库中旧时像影像的各特征点的地理坐标,选取地理坐标满足约束条件|X-X'|≤α和|Y-Y'|≤β的特征点,其中,(X',Y')为匹配库中特征点的地理坐标,α、β均为设定阈值;
2.3,满足2.2中约束条件的特征点有A1,…,A9九种情况:
Figure FDA0002240601760000011
按照匹配精度由高到低将A1,…,A9分为三类:A5为第Ⅰ类、A2,A4,A6,A8为第Ⅱ类、A1,A3,A7,A9为第Ⅲ类,第Ⅱ类中四种情况的匹配精度相同,第Ⅲ类中四种情况的匹配精度相同;
2.4,根据实际情况选择满足2.2中约束条件的特征点,找到该特征点在旧时像影像上的坐标(x,y);
2.5,以坐标(x,y)为中心,在旧时相影像上截出一个包含当前无人机影像的矩形区域作为搜索比对域;
步骤3,对无人机影像进行SURF特征点检测,与步骤1中匹配库中搜索比对域内的旧时相影像进行特征匹配,实现精匹配定位;
步骤4,基于RANSAC算法和单应矩阵提取无人机影像和旧时相影像的感兴趣区域。
2.根据权利要求1所述的一种无人机影像与大规模旧时相影像快速匹配定位的方法,其特征在于,步骤2.4中所述矩形区域的长和宽分别为无人机影像的长和宽的10倍。
3.根据权利要求1所述的一种无人机影像与大规模旧时相影像快速匹配定位的方法,其特征在于,所述步骤3包括以下步骤:
3.1,对无人机影像进行SURF特征点检测;
3.2,利用BBF算法将无人机影像和搜索比对域内的旧时相影像进行特征点匹配,实现精匹配定位。
CN201710356301.1A 2017-05-19 2017-05-19 一种无人机影像与大规模旧时相影像快速匹配定位的方法 Active CN107301658B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710356301.1A CN107301658B (zh) 2017-05-19 2017-05-19 一种无人机影像与大规模旧时相影像快速匹配定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710356301.1A CN107301658B (zh) 2017-05-19 2017-05-19 一种无人机影像与大规模旧时相影像快速匹配定位的方法

Publications (2)

Publication Number Publication Date
CN107301658A CN107301658A (zh) 2017-10-27
CN107301658B true CN107301658B (zh) 2020-06-23

Family

ID=60137184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710356301.1A Active CN107301658B (zh) 2017-05-19 2017-05-19 一种无人机影像与大规模旧时相影像快速匹配定位的方法

Country Status (1)

Country Link
CN (1) CN107301658B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544480B (zh) * 2018-11-27 2021-06-29 东南大学 基于颜色迁移的新旧时相图中局部光线差异去除的方法
CN111401187A (zh) * 2020-03-10 2020-07-10 中山市水利水电勘测设计咨询有限公司 一种水土保持情况的调查方法
CN113297344B (zh) * 2021-06-16 2021-11-30 重庆富沛和科技有限公司 基于三维遥感图像的地性线匹配方法、装置及地物目标位置定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
DE102011080588A1 (de) * 2011-08-08 2013-02-14 Siemens Aktiengesellschaft Verfahren sowie Datenverarbeitungseinrichtung zur 3-D/3-D-Registrierung von Bilddatensätzen der medizinischen Bildgebung
CN104978742A (zh) * 2015-06-12 2015-10-14 北京邮电大学 基于级联结构的图像配准方法及装置
CN105956058A (zh) * 2016-04-27 2016-09-21 东南大学 一种采用无人机遥感影像的变化用地快速发现方法
CN106204507A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种无人机图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770568A (zh) * 2008-12-31 2010-07-07 南京理工大学 基于仿射不变点及光流计算的目标自动识别和跟踪方法
DE102011080588A1 (de) * 2011-08-08 2013-02-14 Siemens Aktiengesellschaft Verfahren sowie Datenverarbeitungseinrichtung zur 3-D/3-D-Registrierung von Bilddatensätzen der medizinischen Bildgebung
CN106204507A (zh) * 2015-05-28 2016-12-07 长沙维纳斯克信息技术有限公司 一种无人机图像拼接方法
CN104978742A (zh) * 2015-06-12 2015-10-14 北京邮电大学 基于级联结构的图像配准方法及装置
CN105956058A (zh) * 2016-04-27 2016-09-21 东南大学 一种采用无人机遥感影像的变化用地快速发现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Huang H F等.A fast detection method for changed land using UAV remote sensing image.《Proceedings of 2016 International Conference on Advanced Electronic Science and Technology》.2016, *
基于SURF和动态ROI的实时视频拼接;首照宇等;《计算机工程与设计》;20130331;第34卷(第3期);第999页 *

Also Published As

Publication number Publication date
CN107301658A (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN107067794B (zh) 一种基于视频图像处理的室内车辆定位导航系统及方法
US10664708B2 (en) Image location through large object detection
CN107133325B (zh) 一种基于街景地图的互联网照片地理空间定位方法
US9495596B2 (en) Systems and method for identifying locations of infrastructure assets using aerial imagery
US20160267326A1 (en) Image abstraction system
CN107301658B (zh) 一种无人机影像与大规模旧时相影像快速匹配定位的方法
WO2020106329A1 (en) System and method for camera commissioning beacons
CN112305559A (zh) 基于地面定点激光雷达扫描的输电线距离测量方法、装置、系统和电子设备
CN111241988A (zh) 一种结合定位信息的大场景内运动目标检测识别方法
CN115984273B (zh) 道路病害检测方法、装置、计算机设备及可读存储介质
EP3940666A1 (en) Digital reconstruction method, apparatus, and system for traffic road
CN112084989A (zh) 基于无人机与cnn的大范围松材线虫病枯立木智能检测方法
CN115205382A (zh) 目标物定位方法以及装置
Hou et al. UAV pose estimation in GNSS-denied environment assisted by satellite imagery deep learning features
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN110636248B (zh) 目标跟踪方法与装置
Boonpook et al. UAV-based 3D urban environment monitoring
CN110927765B (zh) 激光雷达与卫星导航融合的目标在线定位方法
CN115937673A (zh) 一种基于移动终端照片的地理要素快速变化发现方法
CN113239076A (zh) 一种基于三维影像的地理信息查询管理平台
WO2021113789A1 (en) Mapping objects using unmanned aerial vehicle data in gps-denied environments
CN109947877B (zh) 一种提高gis移动终端地图定位精度的方法及系统
Lan et al. Rapid survey method for large-scale outdoor surveillance cameras using binary space partitioning
Xu et al. UAV-VisLoc: A Large-scale Dataset for UAV Visual Localization
Tang et al. UAV Visual Localization Technology Based on Heterogenous Remote Sensing Image Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant