CN115495611A - 一种面向无人机自主定位的空间场景检索方法 - Google Patents
一种面向无人机自主定位的空间场景检索方法 Download PDFInfo
- Publication number
- CN115495611A CN115495611A CN202211442411.7A CN202211442411A CN115495611A CN 115495611 A CN115495611 A CN 115495611A CN 202211442411 A CN202211442411 A CN 202211442411A CN 115495611 A CN115495611 A CN 115495611A
- Authority
- CN
- China
- Prior art keywords
- space
- spatial
- unmanned aerial
- objects
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 3
- 239000000178 monomer Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Remote Sensing (AREA)
- Library & Information Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于空间数据检索领域,实现一种面向无人机自主定位的空间场景检索方法,该方法在无人机图像上提取出空间对象轮廓,并将空间对象按照类型和是否处于边缘进行重排序,并筛选出初始匹配空间对象,然后计算所有空间对象与初始匹配空间对象的矢量空间距离,并作为空间对象匹配的条件;在空间检索过程中,依据空间距离关系对底图进行裁剪以缩小检索空间范围;最后匹配成功数最多的空间对象即为初始匹配空间对象的对应斑块。本发明相较于传统的空间检索方法,使用空间对象的矢量空间距离刻画空间关系,而不使用斑块相似性考虑匹配成功度,对于无人机图像的几何畸变、空间对象的边缘不准确等问题有更大的容错空间,且检索效率更高。
Description
技术领域
本发明属于空间数据检索领域,特别涉及一种面向无人机自主定位的空间场景检索方法,用于实现在大范围矢量地图中检索出无人机图像对应的小场景,并最终为无人机自主定位提供位置数据。
背景技术
空间场景是一组地理对象及其空间关系—拓扑、距离和方向关系的集合。空间对象一般为面状对象,其形成的空间场景可表示为由多边形集组成的空间场景,如湖泊、建筑物、操场等具有面积、类型的地理对象。空间场景匹配可用于碎片场景定位、手描场景导航等,在日常生活、科学研究中都可以发挥重大作用。基于语义地图的无人机自主定位一般使用的语义信息包括轮廓、操场、水体、道路、草地、林地等面状地物,无人机图像中的语义信息斑块构建成了一个空间场景;空间场景检索方法可以从大范围底图中检索出对应无人机图像地理位置的场景,为无人机自主定位提供位置数据。
当前主流的空间场景检索方法为基于形状和空间关系的检索方法,具体如下:(1)空间对象形状特征描述和匹配;(2)空间拓扑关系描述和检索;(3)空间方位关系描述与检索;(4)空间场景相似性检索。但面对无人机自主定位的城市内空间场景匹配时,无人机图像形变较为严重,空间对象间的空间关系产生畸变,使用现有方法进行空间场景匹配时存在以下问题:(1)由于底图场景很大,存在大量形状相似的建筑,在空间对象匹配时,会导致真正匹配的空间对象淹没在大量误匹配的空间对象中;(2)大量误匹配的空间对象会导致空间拓扑和方位关系检索时搜索空间过大,匹配效率极低;(3)空间场景相似性检索时同时考虑几何相似性、拓扑相似性和方位相似性,检索条件严格,导致匹配失败率高。
面向无人机自主定位中的语义匹配需求,提高空间场景的匹配效率,并解决无人机图像形变导致的场景中空间关系畸变,本发明提出了一种面向无人机自主定位的空间场景检索方法。
发明内容
本发明的目的在于解决基于语义地图的无人机自主定位中的场景匹配问题,提出了一种面向无人机自主定位的空间场景检索方法,利用场景中的空间对象的矢量距离进行空间对象匹配,解决无人机图像形变导致的场景空间关系畸变问题,提高空间场景匹配效率和精度。
为了实现上述目的,本发明采用的技术方案如下:
一种面向无人机自主定位的空间场景检索方法,包括以下步骤:
(1)利用深度学习语义分割和实例分割算法在无人机图像上提取目标轮廓,包括建筑单体轮廓、水体轮廓和操场轮廓,提取的每个目标形成一个空间对象,并以图像像素坐标串来表示对应的多边形;
(2)遍历空间对象,选出距离原始无人机图像边界距离大于设定值且类型数量占比不超过设定阈值的空间对象,作为初始匹配空间对象;
(3)以初始匹配空间对象为中心斑块,分别计算其它每个空间对象与中心斑块的欧氏距离,找出最大值和最小值,确定以中心斑块为中心的场景区域范围;
(4)将底图场景和无人机图像中的空间对象进行匹配,通过遍历底图场景中的空间对象,以空间对象类型的一致性和与邻域空间对象的距离和方位关系累计匹配成功数,匹配成功数最高的空间对象即为中心斑块对应的对象,并得出其它空间对象的匹配结果。
其中,步骤(2)具体包括以下步骤:
(201)遍历空间对象,从中选择一个空间对象,判断所选空间对象的坐标串在X、Y方向距离原始无人机图像边界的最小值,若最小值小于设定阈值M,则认为对应的空间对象处于场景边缘,不作为初始匹配空间对象;否则,将对应的空间对象置为初始匹配空间对象;
(202)然后判断初始匹配空间对象的类型数量占比是否超过设定阈值N,若不超过,则遍历停止;否则,返回步骤(201)继续遍历,重新选择一个空间对象。
其中,步骤(3)具体包括以下过程:
以初始匹配空间对象为中心斑块C,中心坐标为,分别计算其它每个空间
对象的重心与中心斑块的重心间的欧氏距离,分别找出和的最大值和最
小值,确定以中心斑块C为中心的场景区域范围;其中,为
中心斑块C在X、Y方向的坐标,为空间对象与中心斑块C的矢量空间距离,分别代
表X方向和Y方向的矢量空间距离,取值范围为。
其中,步骤(4)具体包括以下步骤:
(403)遍历无人机图像上的空间对象,对于空间对象,判断虚拟点
是否位于临时空间对象集的某个空间对象内,若是,则匹配成功数加1,且记录下匹配成
功的空间对象ID;返回步骤(401),直至遍历完底图场景中的空间对象;
本发明与背景技术相比具有如下优点:
1. 本发明提出的一种面向无人机自主定位的空间场景检索方法不进行斑块形状相似性判断,避免了在整个城市内存在大量相似性高的斑块(尤其是建筑轮廓)时导致的空间场景检索时搜索空间过大的问题,最大程度减少了误匹配,提高了检索效率。
2. 本发明提出的一种面向无人机自主定位的空间场景检索方法,以空间对象重心的矢量欧式距离来刻画其空间关系,对空间对象的形状有一定程度的偏差容忍,对于无人机图像存在的几何畸变、无人机图像漏检空间对象及空间对象边缘不准确时仍然有效。
3. 本发明提出的一种面向无人机自主定位的空间场景检索方法,在空间场景检索时,不在底图全局空间中进行检索,而是利用空间距离关系进行底图裁剪,极大地提高了检索效率。
附图说明
图1是本发明一种面向无人机自主定位的空间场景检索方法原理图。
图2是本发明高分辨率卫星图像,用于仿真无人机图像。
图3是本发明某地级市的局部匹配底图。
图4是本发明空间场景检索结果图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
图1是本发明一种面向无人机自主定位的空间场景检索方法原理图。具体来说,该方法包括以下步骤:
(1)场景内空间对象提取。利用深度学习语义分割和实例分割算法在无人机图像上提取建筑单体轮廓、水体轮廓、操场轮廓等,每个目标形成一个空间对象,并以图像像素坐标串来表示其对应的多边形;
(2)空间对象重排序。为了保证初始匹配的空间对象在地理坐标上对齐,且空间对象所属类型在底图上数量较少,对空间对象进行重新排序:遍历空间对象,选出距离原始无人机图像边界距离大于设定值且类型数量占比不超过设定阈值的空间对象,作为初始匹配空间对象;具体包括:
(201)遍历空间对象,从中选择一个空间对象,判断所选空间对象的坐标串在X、Y方向距离原始无人机图像边界的最小值,若最小值小于设定阈值M,则认为对应的空间对象处于场景边缘,不作为初始匹配空间对象;否则,将对应的空间对象置为初始匹配空间对象;
(202)然后判断初始匹配空间对象的类型数量占比是否超过设定阈值N,若不超过,则遍历停止;否则,返回步骤(201)继续遍历,重新选择一个空间对象。
(3)矢量空间距离计算。以初始匹配空间对象为中心斑块C,中心坐标为,
分别计算其它每个空间对象的重心与中心斑块的重心间的欧氏距离,分别找
出和的最大值和最小值,确定以中心斑块C为中心的场景
区域范围;其中,为中心斑块C在X、Y方向的坐标,为空间对象与中心斑块C的矢量
空间距离,分别代表X方向和Y方向的矢量空间距离,取值范围为。
(4)空间场景检索,即从底图场景中搜索出与无人机图像场景相似的局部场景。匹配流程如下:
(403)遍历无人机图像上的空间对象,对于空间对象,判断虚拟点
是否位于临时空间对象集的某个空间对象内,若是,则匹配成功数加1,且记录下匹配成
功的空间对象ID;返回步骤(401),直至遍历完底图场景中的空间对象;
下面是一个更具体的例子:
(1)场景内空间对象提取。如图2所示,其中用折线勾画出来的为不同类型的空间对象,此图中包括建筑、足球场和水体。图中人工标注出14个建筑轮廓、1个足球场轮廓、2个水体轮廓,以仿真无人机图像场景;
(2)空间对象重排序。取值M为20,N为10%,对无人机图像场景进行重排序,排序结果为斑块2(类型为水体)为初始匹配空间对象;
(4)空间场景检索,即从底图场景中搜索出与无人机图像场景相似的局部场景,底图如图3所示,底图中的空间对象类别包括建筑、篮球场、足球场和水体。最终底图场景中ID为13972的斑块匹配成功数最高,为14,所有斑块的匹配结果如图4所示,图中灰色空间对象为仿真的无人机图像中空间对象成功匹配的对象。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种面向无人机自主定位的空间场景检索方法,其特征在于,包括以下步骤:
步骤1,利用深度学习语义分割和实例分割算法在无人机图像上提取目标轮廓,包括建筑单体轮廓、水体轮廓和操场轮廓,提取的每个目标形成一个空间对象,并以图像像素坐标串来表示对应的多边形;
步骤2,遍历空间对象,选出距离原始无人机图像边界距离大于设定值且类型数量占比不超过设定阈值的空间对象,作为初始匹配空间对象;
步骤3,以初始匹配空间对象为中心斑块,分别计算其它每个空间对象与中心斑块的欧氏距离,找出最大值和最小值,确定以中心斑块为中心的场景区域范围;
步骤4,将底图场景和无人机图像中的空间对象进行匹配,通过遍历底图场景中的空间对象,以空间对象类型的一致性和与邻域空间对象的距离和方位关系累计匹配成功数,匹配成功数最高的空间对象即为中心斑块对应的对象,并得出其它空间对象的匹配结果。
2.根据权利要求1所述的面向无人机自主定位的空间场景检索方法,其特征在于,步骤2具体包括以下步骤:
步骤201,遍历空间对象,从中选择一个空间对象,判断所选空间对象的坐标串在X、Y方向距离原始无人机图像边界的最小值,若最小值小于设定阈值M,则认为对应的空间对象处于场景边缘,不作为初始匹配空间对象;否则,将对应的空间对象置为初始匹配空间对象;
步骤202,然后判断初始匹配空间对象的类型数量占比是否超过设定阈值N,若不超过,则遍历停止;否则,返回步骤201继续遍历,重新选择一个空间对象。
4.根据权利要求3所述的面向无人机自主定位的空间场景检索方法,其特征在于,步骤4具体包括以下步骤:
步骤401,遍历底图场景中的空间对象,判断与中心斑块C的类型是否一
致,若不一致,则,继续遍历,若一致,则假设为中心斑块对应的空间对象,然后进
行下一步;其中为空间对象在X、Y方向的坐标,初始值为1;
步骤403,遍历无人机图像上的空间对象,对于空间对象,判断虚拟点
是否位于临时空间对象集的某个空间对象内,若是,则匹配成功数加1,且记录下匹配成
功的空间对象ID;返回步骤401,直至遍历完底图场景中的空间对象;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211442411.7A CN115495611B (zh) | 2022-11-18 | 2022-11-18 | 一种面向无人机自主定位的空间场景检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211442411.7A CN115495611B (zh) | 2022-11-18 | 2022-11-18 | 一种面向无人机自主定位的空间场景检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115495611A true CN115495611A (zh) | 2022-12-20 |
CN115495611B CN115495611B (zh) | 2023-03-24 |
Family
ID=85116088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211442411.7A Active CN115495611B (zh) | 2022-11-18 | 2022-11-18 | 一种面向无人机自主定位的空间场景检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115495611B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009199575A (ja) * | 2007-12-27 | 2009-09-03 | Fast:Kk | 画像マッチング方法、プログラムおよび応用装置 |
CN106202379A (zh) * | 2016-07-09 | 2016-12-07 | 兰州交通大学 | 一种基于空间场景相似性的匹配查询方法 |
CN106295613A (zh) * | 2016-08-23 | 2017-01-04 | 哈尔滨理工大学 | 一种无人机目标定位方法及系统 |
CN110580497A (zh) * | 2019-07-16 | 2019-12-17 | 中国地质大学(武汉) | 一种基于旋转不变性的空间场景匹配方法 |
CN112419374A (zh) * | 2020-11-11 | 2021-02-26 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
CN114509070A (zh) * | 2022-02-16 | 2022-05-17 | 中国电子科技集团公司第五十四研究所 | 一种无人机导航定位方法 |
CN114637876A (zh) * | 2022-05-19 | 2022-06-17 | 中国电子科技集团公司第五十四研究所 | 基于矢量地图特征表达的大场景无人机图像快速定位方法 |
CN115187798A (zh) * | 2022-06-15 | 2022-10-14 | 中国人民解放军32146部队 | 一种多无人机高精度匹配定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107967685A (zh) * | 2017-12-11 | 2018-04-27 | 中交第二公路勘察设计研究院有限公司 | 一种基于无人机遥感的桥梁墩塔裂缝无损定量检测方法 |
-
2022
- 2022-11-18 CN CN202211442411.7A patent/CN115495611B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009199575A (ja) * | 2007-12-27 | 2009-09-03 | Fast:Kk | 画像マッチング方法、プログラムおよび応用装置 |
CN106202379A (zh) * | 2016-07-09 | 2016-12-07 | 兰州交通大学 | 一种基于空间场景相似性的匹配查询方法 |
CN106295613A (zh) * | 2016-08-23 | 2017-01-04 | 哈尔滨理工大学 | 一种无人机目标定位方法及系统 |
CN110580497A (zh) * | 2019-07-16 | 2019-12-17 | 中国地质大学(武汉) | 一种基于旋转不变性的空间场景匹配方法 |
CN112419374A (zh) * | 2020-11-11 | 2021-02-26 | 北京航空航天大学 | 一种基于图像配准的无人机定位方法 |
CN114509070A (zh) * | 2022-02-16 | 2022-05-17 | 中国电子科技集团公司第五十四研究所 | 一种无人机导航定位方法 |
CN114637876A (zh) * | 2022-05-19 | 2022-06-17 | 中国电子科技集团公司第五十四研究所 | 基于矢量地图特征表达的大场景无人机图像快速定位方法 |
CN115187798A (zh) * | 2022-06-15 | 2022-10-14 | 中国人民解放军32146部队 | 一种多无人机高精度匹配定位方法 |
Non-Patent Citations (3)
Title |
---|
岳梦珂: "基于图像配准的无人机定位与导航技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑(月刊)》 * |
张平梅: "无人机航拍图像定位研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑(月刊)》 * |
胡海洋等: "基于图像匹配的无人机目标定位方法", 《舰船电子工程》 * |
Also Published As
Publication number | Publication date |
---|---|
CN115495611B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109631855B (zh) | 基于orb-slam的高精度车辆定位方法 | |
CN107480727B (zh) | 一种sift和orb相结合的无人机影像快速匹配方法 | |
US8989483B2 (en) | Method and apparatus for inferring the geographic location of captured scene depictions | |
CN105740798B (zh) | 一种基于结构分析的点云场景物体识别方法 | |
CN111027511A (zh) | 基于感兴趣区块提取的遥感图像舰船检测方法 | |
JPWO2013002280A1 (ja) | 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム | |
CN113223042B (zh) | 一种遥感影像深度学习样本智能采集方法及设备 | |
Wang et al. | Vehicle detection based on drone images with the improved faster R-CNN | |
CN116597389B (zh) | 基于图像处理的地质灾害监测及预警方法 | |
CN112580546B (zh) | 一种用于无人机图像和卫星图像跨视角图像匹配方法 | |
CN113468982B (zh) | 一种城市功能区分类方法、装置及存储介质 | |
CN107563366A (zh) | 一种定位方法及装置、电子设备 | |
Xiao et al. | Geo-spatial aerial video processing for scene understanding and object tracking | |
CN114549956A (zh) | 一种深度学习辅助的倾斜模型建筑物外立面目标识别方法 | |
CN113343858A (zh) | 路网地理位置识别方法、装置、电子设备及存储介质 | |
CN114596592B (zh) | 一种行人重识别方法、系统、设备及计算机可读存储介质 | |
Haverkamp | Automatic building extraction from IKONOS imagery | |
Zhao et al. | Boundary regularized building footprint extraction from satellite images using deep neural network | |
Dickenson et al. | Rotated rectangles for symbolized building footprint extraction | |
CN113724400B (zh) | 一种面向倾斜摄影的多属性融合建筑物点云提取方法 | |
CN114581307A (zh) | 用于目标追踪识别的多图像拼接方法、系统、设备及介质 | |
CN113343765B (zh) | 一种基于点云刚性配准的场景检索方法及系统 | |
CN115495611B (zh) | 一种面向无人机自主定位的空间场景检索方法 | |
Gong et al. | Roof-cut guided localization for building change detection from imagery and footprint map | |
CN110033459B (zh) | 顾及地物完整性的大规模点云快速分块方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |