CN114972720A - 一种基于自主图像感知的高精度无人定位方法 - Google Patents
一种基于自主图像感知的高精度无人定位方法 Download PDFInfo
- Publication number
- CN114972720A CN114972720A CN202210605452.7A CN202210605452A CN114972720A CN 114972720 A CN114972720 A CN 114972720A CN 202210605452 A CN202210605452 A CN 202210605452A CN 114972720 A CN114972720 A CN 114972720A
- Authority
- CN
- China
- Prior art keywords
- target
- crater
- meteorite
- image
- meteorite crater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000008447 perception Effects 0.000 title claims abstract description 6
- 238000001514 detection method Methods 0.000 claims abstract description 132
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 26
- 238000009826 distribution Methods 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000013508 migration Methods 0.000 abstract description 2
- 230000005012 migration Effects 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自主图像感知的高精度无人定位方法,采用方形函数和可变焦损失函数对图像中的密集陨石坑进行检测,利用相似度聚类和灰度直方图匹配实现模型迁移,提升算法的泛化性和鲁棒性,之后采用多维三角定位法,实现陨石坑的高精度辨识和定位。通过本发明可以实现高精度的陨石坑自主检测和辨识方法,从而为航天器着陆提供高精度的地标信息。本发明对密集陨石图像的目标检测精度高、可靠性好,模型适应性强,可以适应多种分辨率,多种陨石坑图像场景,同时能够对图像中的陨石坑实现高精度辨识和定位。
Description
技术领域
本发明属于模式识别处理技术领域,具体涉及一种高精度无人定位方法。
背景技术
目前的无人飞行器主要依靠全球定位系统加惯导系统进行定位,然而,在某些特殊任务中,如军事任务,深空探测等,全球定位系统拒止或者无法使用,这对无人飞行器的定位带来了极大的困难。因此开展无人飞行器的自主定位方法的研究,能有效提高无人飞行器在这些任务中的生存能力。以地外天体着陆探测为例,目前随着科学技术的快速发展,地外天体着陆探测成为深空探测的重要内容。人类已经实现了对月球、火星、小行星和彗星的着陆探测,在这些着陆探测任务中采用的着陆自主导航方法主要是惯性导航。但由于初始导航误差、惯性测量误差以及引力场模型误差的存在,惯性导航误差随时间增加而逐步增大,因此,惯性导航通常需要与其他外部敏感器测量信息相结合以提高导航精度,现有的惯性导航辅以测距测速修正的着陆导航方法难以满足精确定点着陆的要求。在深空探测着陆任务中,现有的惯性导航辅以测距测速修正的着陆导航方法存在初始误差大、导航误差难以修正,无法满足着陆器精确定点着陆的要求。针对未来深空探测地外天体精确着陆自主导航的需求,一种最为可行的技术手段是引入地外天体表面图像信息进行自主导航。
发明内容
为了克服现有技术的不足,本发明提供了一种基于自主图像感知的高精度无人定位方法,采用方形函数和可变焦损失函数对图像中的密集陨石坑进行检测,利用相似度聚类和灰度直方图匹配实现模型迁移,提升算法的泛化性和鲁棒性,之后采用多维三角定位法,实现陨石坑的高精度辨识和定位。通过本发明可以实现高精度的陨石坑自主检测和辨识方法,从而为航天器着陆提供高精度的地标信息。本发明对密集陨石图像的目标检测精度高、可靠性好,模型适应性强,可以适应多种分辨率,多种陨石坑图像场景,同时能够对图像中的陨石坑实现高精度辨识和定位。
本发明解决其技术问题所采用的技术方案包括如下步骤:
步骤1:拍摄小行星陨石坑数据流,并将其分解为单帧图像,同时对图像进行预处理,获取源域陨石坑数据集;
步骤2:构建目标检测模型,并设计包含方形损失和可变焦损失的损失函数,采用源域陨石坑数据集对深度学习模型进行训练,获得预训练模型;
步骤2-1:对源域陨石坑数据集中的陨石坑图像采用单应性矩阵变换,变换图像为不同尺度和不同角度的样本;
步骤2-2:将步骤2-1得到的样本输入至目标检测模型进行特征提取;具体如下:
步骤2-2-1:首先通过一组卷积层进行提取粗粒度特征,之后利用卷积金字塔模块进一步提取多尺度特征;
步骤2-2-2:将多尺度特征输送到三路卷积层:第一路通过递归模块和多尺度卷积模块,提取目标的检测框偏差;第二路通过独立的递归模块,直接生成目标的检测框,生成的检测框和第一路卷积生成的检测框偏差进行相乘,最终生成精细化检测框;第三路卷积通过递归模块和可形变卷积块,输出类别信息,即是陨石坑或者不是陨石坑;
步骤2-3:目标检测模型的输出和提前标注好的真实值进行比较,所述真实值为陨石坑的真实位置坐标;通过损失函数对目标检测模型参数进行后向传递,经过数次迭代之后完成对目标检测模型的训练,得到预训练模型;损失函数如下:
所述GIOU损失如下所示:
其中GIOU定义如下:
A是真实的检测框矩形的范围;B是预测的检测框的范围;C是A和B重合的范围;IOU的定义是:
所述陨石坑方形损失定义如下:
其中a(.)是目标检测模型的检测框输出,a(3)-a(1)的检测框的宽度,a(4)-a(2)是检测框的高度;L1函数指绝对值损失函数;
所述变焦点损失函数如下所示:
其中a是目标检测模型的输出,b指的是真实检测框和目标检测模型输出的检测框之间的IOU分数;如果真实检测框和目标检测模型的输出之间没有交集,b就是0;
步骤3:在采用预训练模型对待检测陨石坑数据集进行目标检测前,对待检测陨石坑图像进行相似度聚类和灰度直方图匹配;之后在输入预训练模型,获取陨石坑目标检测框;
步骤3-1:首先引入k均值聚类方法,根据源域陨石坑数据集和待检测陨石坑数据集的像素值获得两个数据集特征分布;根据基于减小两个数据集特征差异的目的,再对待检测陨石坑图像进行裁剪和缩放,并生成目标域陨石坑数据集;
步骤3-2:采用多分辨率样本直方图匹配算法,将目标域陨石坑数据集中的图像映射到源域陨石坑数据集的图像中,从而降低两个数据集中图像的光照分布差异;直方图匹配是对图像进行变换,使其直方图与指定的直方图匹配;
将目标域陨石坑数据集中的图像视为灰度参考图像It,将源域陨石坑数据集的图像视为目标图像Ir,Ir和It的离散直方图分别由如下两个公式进行计算:
其中,W和H分别是图像在垂直和水平方向上的长度,i的范围为0到255;同时,累积直方图Sr和St分别从Hr和Ht中得出:
直方图Ht能根据Hr进行变换,变换的目的是减少Ir和It之间的照度和直方图差异,变换函数由以下等式获得
其中,Vt(i)=min(I)+(i-1)V,其中V是灰度间隔宽度;p表示其中每个像素的索引;通过计算其中每个像素的T(p),得到变换后的图像I0;
I0和Ir具有相同的直方图分布,但具有不同的几何结构;灰度直方图匹配降低了目标域陨石坑数据集和目标域陨石坑数据集之间光照和灰度分布的差异;
步骤3-3:将图像I0输入预训练模型,输出陨石坑目标检测框;
步骤4:构建多维三角定位法,对获取到的陨石坑目标检测框进行转换,获得陨石坑的经纬度坐标和实际尺寸,作为导航设备的输入值;
步骤4-1:构建陨石坑信息数据库;
对源域陨石坑数据集中的陨石坑的实际宽度和位置进行存储,而位置是中心点陨石坑的中心点坐标;对于每一个陨石坑,将其作为主要目标,寻找与它最近的两个陨石坑作为目标对构成三角模式,将三角模式边长、角距、半径差归一化;
步骤4-2:对步骤3从待检测图像中获取的陨石坑目标检测框中找到最大的两个陨石坑,以这两个最大的陨石坑作为主要目标对,计算与主要目标对最近的陨石坑构成的三角模式的角距和半径差;
步骤4-3:查找陨石坑信息数据库,用二分查找法进行星角距匹配,当找到第一个满足角距误差门限的目标对时,在陨石坑信息数据库中对排在这个目标对前后的陨石坑对进行比较,直到找出所有满足角距误差门限的目标对,作为这一步的识别结果;
步骤4-4:将步骤4-3得到的所有陨石坑对和待检测图像中的主要目标对进行误差对比,找出所有满足半径误差门限的陨石坑对,组成一个集合,记为X;
步骤4-5:在待检测图像中找到第三大陨石坑目标作为辅助目标,与主要目标对构成三角形关系分别计算出辅助目标的角距和半径差,然后按照步骤4-3和步骤4-4的方法进行辅助目标的匹配,得到的结果分别记为集合Y和集合Z;
步骤4-6:对集合X中的每一个目标对,分别查找集合Y和Z,若其能和集合Y和Z中的两个目标对构成三角关系,则将其保留,这一步的执行结果构成新的集合X1;
步骤4-7:如果集合X1中仅有一个目标对,则识别成功;否则,继续在待检测图像中查找第四颗亮星作为辅助目标,并重复步骤4-5和步骤4-6,直到找到匹配目标对;
步骤4-8:输出陨石坑中心点坐标以及半径,同时输出对应的经纬度坐标和实际尺寸。
本发明的有益效果如下:
(1)使用了方形损失和可变焦损失函数对图像中的密集陨石坑进行检测,提高了密集目标条件下陨石坑的检测精度,降低了陨石坑漏检率;
(2)引入了相似度聚类和灰度直方图匹配模块,有效提升了目标检测模型的泛化性,提高了模型在新数据集中的检测性能;
(3)引入了多维三角定位模块,利用检测到的陨石坑检测框辨识陨石坑的具体经纬度坐标,实现了高精度目标辨识;
附图说明
图1为本发明的陨石坑检测和辨识方法示意图。
图2为本发明的陨石坑自主检测和模型泛化流程图。
图3为本发明的陨石坑自主辨识示意图。
图4为本发明实施例测试的陨石坑检测和模型泛化结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
一种基于自主图像感知的高精度无人定位方法,包括如下步骤:
步骤1:拍摄小行星陨石坑数据流,并将其分解为单帧图像,同时对图像进行预处理,获取源域陨石坑数据集;
步骤2:构建目标检测模型,并设计包含方形损失和可变焦损失的损失函数,采用源域陨石坑数据集对深度学习模型进行训练,获得预训练模型;
步骤2-1:对源域陨石坑数据集中的陨石坑图像采用单应性矩阵变换,变换图像为不同尺度和不同角度的样本;
步骤2-2:将步骤2-1得到的样本输入至目标检测模型进行特征提取;具体如下:
步骤2-2-1:首先通过一组卷积层进行提取粗粒度特征,之后利用卷积金字塔模块进一步提取多尺度特征;
步骤2-2-2:将多尺度特征输送到三路卷积层:第一路通过递归模块和多尺度卷积模块,提取目标的检测框偏差;第二路通过独立的递归模块,直接生成目标的检测框,生成的检测框和第一路卷积生成的检测框偏差进行相乘,最终生成精细化检测框;第三路卷积通过递归模块和可形变卷积块,输出类别信息,即是陨石坑或者不是陨石坑;
步骤2-3:目标检测模型的输出和提前标注好的真实值进行比较,所述真实值为陨石坑的真实位置坐标;通过损失函数对目标检测模型参数进行后向传递,经过数次迭代之后完成对目标检测模型的训练,得到预训练模型;损失函数如下:
所述GIOU损失如下所示:
其中GIOU定义如下:
A是真实的检测框矩形的范围;B是预测的检测框的范围;C是A和B重合的范围;IOU的定义是:
所述陨石坑方形损失定义如下:
其中a(.)是目标检测模型的检测框输出,a(3)-a(1)的检测框的宽度,a(4)-a(2)是检测框的高度;L1函数指绝对值损失函数;
所述变焦点损失函数如下所示:
其中a是目标检测模型的输出,b指的是真实检测框和目标检测模型输出的检测框之间的IOU分数;如果真实检测框和目标检测模型的输出之间没有交集,b就是0;
步骤3:在采用预训练模型对待检测陨石坑数据集进行目标检测前,对待检测陨石坑图像进行相似度聚类和灰度直方图匹配;之后在输入预训练模型,获取陨石坑目标检测框;
步骤3-1:首先引入k均值聚类方法,根据源域陨石坑数据集和待检测陨石坑数据集的像素值获得两个数据集特征分布;根据基于减小两个数据集特征差异的目的,再对待检测陨石坑图像进行裁剪和缩放,并生成目标域陨石坑数据集;
步骤3-2:采用多分辨率样本直方图匹配算法,将目标域陨石坑数据集中的图像映射到源域陨石坑数据集的图像中,从而降低两个数据集中图像的光照分布差异;直方图匹配是对图像进行变换,使其直方图与指定的直方图匹配;
将目标域陨石坑数据集中的图像视为灰度参考图像It,将源域陨石坑数据集的图像视为目标图像Ir,Ir和It的离散直方图分别由如下两个公式进行计算:
其中,W和H分别是图像在垂直和水平方向上的长度,i的范围为0到255;同时,累积直方图Sr和St分别从Hr和Ht中得出:
直方图Ht能根据Hr进行变换,变换的目的是减少Ir和It之间的照度和直方图差异,变换函数由以下等式获得
其中,Vt(i)=min(I)+(i-1)V,其中V是灰度间隔宽度;p表示其中每个像素的索引;通过计算其中每个像素的T(p),得到变换后的图像I0;
I0和Ir具有相同的直方图分布,但具有不同的几何结构;灰度直方图匹配降低了目标域陨石坑数据集和目标域陨石坑数据集之间光照和灰度分布的差异;
步骤3-3:将图像I0输入预训练模型,输出陨石坑目标检测框;
步骤4:构建多维三角定位法,对获取到的陨石坑目标检测框进行转换,获得陨石坑的经纬度坐标和实际尺寸,作为导航设备的输入值;
步骤4-1:构建陨石坑信息数据库;
对源域陨石坑数据集中的陨石坑的实际宽度和位置进行存储,而位置是中心点陨石坑的中心点坐标;对于每一个陨石坑,将其作为主要目标,寻找与它最近的两个陨石坑作为目标对构成三角模式,将三角模式边长、角距、半径差归一化;
步骤4-2:对步骤3从待检测图像中获取的陨石坑目标检测框中找到最大的两个陨石坑,以这两个最大的陨石坑作为主要目标对,计算与主要目标对最近的陨石坑构成的三角模式的角距和半径差;
步骤4-3:查找陨石坑信息数据库,用二分查找法进行星角距匹配,当找到第一个满足角距误差门限的目标对时,在陨石坑信息数据库中对排在这个目标对前后的陨石坑对进行比较,直到找出所有满足角距误差门限的目标对,作为这一步的识别结果;
步骤4-4:将步骤4-3得到的所有陨石坑对和待检测图像中的主要目标对进行误差对比,找出所有满足半径误差门限的陨石坑对,组成一个集合,记为X;
步骤4-5:在待检测图像中找到第三大陨石坑目标作为辅助目标,与主要目标对构成三角形关系分别计算出辅助目标的角距和半径差,然后按照步骤4-3和步骤4-4的方法进行辅助目标的匹配,得到的结果分别记为集合Y和集合Z;
步骤4-6:对集合X中的每一个目标对,分别查找集合Y和Z,若其能和集合Y和Z中的两个目标对构成三角关系,则将其保留,这一步的执行结果构成新的集合X1;
步骤4-7:如果集合X1中仅有一个目标对,则识别成功;否则,继续在待检测图像中查找第四颗亮星作为辅助目标,并重复步骤4-5和步骤4-6,直到找到匹配目标对;
步骤4-8:输出陨石坑中心点坐标以及半径,同时输出对应的经纬度坐标和实际尺寸。
步骤5:利用对月球和水星数据集对本发明的检测结果进行分析。
具体实施例:
图1为本发明的陨石坑检测的整体结构,首先对着陆器获取到的陨石坑图像进行一定的预处理,使其分辨率满足网络结构的输入条件。在陨石坑检测阶段,本发明为提高陨石坑检测效率,提出了可变焦点损失函数,在密集陨石坑图像中降低目标的检测虚警率。另外,为了提高检测模型的泛化性,提出了相似度聚类和灰度直方图匹配模块,对新数据集进行图像转换,从而提高模型在新数据中的检测准确度。
图2表示本发明设计的陨石坑目标检测流程。基于深度学习的目标检测函数大致可分为两类,利用锚框的检测器和不适用锚框的检测器。主流的双阶段检测方法和多阶段方法通常用锚框来生成目标候选框,再进行后面的分类和回归,基于锚框的单阶段方法无需产生目标候选框,直接对锚框做分类和优化。最近,无锚框的目标检测器由于简洁和高效的特性吸引了大量的关注。它将特征金字塔上的每个点分类为前景或背景,直接预测前景点到真实值边框四条边的距离,从而输出检测结果。本发明针对陨石坑检测具有的密集性特征,采用无锚框的目标检测器对陨石坑进行检测。
本发明的目标检测目标如图2所示。收集到的小行星陨石坑图片首先利用单应性矩阵变换,变换图像为不同尺度和不同角度的样本,增加数据集的多样性。之后,数据集被输入至目标检测模型进行特征提取,具体过程为,首先通过一组卷积层进行提取粗粒度特征,之后利用卷积金字塔模块进一步提取多尺度特征。随后这些多尺度特征被输送到三路卷积层,一路通过递归模块和多尺度卷积模块,提取到目标的检测框偏差,一路通过独立的递归模块,直接生成目标的检测框,生成的检测框和第一路卷积生成的检测框偏差进行相乘,最终生成了精细化的检测框。最后一路卷积利用递归模块和可形变模卷积块,最终生成的是模型输出的类别,即是陨石坑或者不是陨石坑。模型的输出和提前标注好的真实值进行比较,这里的真实值包括陨石坑的真实位置坐标。通过损失函数对模型参数进行后向传递,经过数次迭代之后,将目标检测模型的参数进行保存。本发明设计的损失函数如下所示:
其中的GIOU定义如下所示:
这里A是真实的检测框矩形的范围;B是预测出来的检测框的范围;C是A和B重合的范围。IOU的定义是:
其中a是检测模型的输出,b指的是真实检测框和模型输出的检测框之间的IOU分数。如果真实检测框和模型的输出之间没有交集,b就是0。利用设计好的损失函数,能够有效的引导模型在训练过程中实现收敛,实现模型对陨石坑的高精度检测。
模型训练之后,往往只能对部分的数据进行检测,模型存在泛化性不足,适应性不强的问题。本发现针对这种问题,进一步提出了相似度聚类适应和直方图匹配算法,对输入模型的输入进行预先转换,使得图像进一步适应模型的参数,提高不同模型对数据集的适应能力。
本发明利用相似度聚类适应来对新数据集和进行转换,为了进一步缩小新数据集和原有数据集之间的领域间距,设计了一种特征匹配方法来对齐两个域之间的陨石坑特征。首先引入k均值聚类方法,根据每个数据集的像素值获得本数据集的特征分布。由于陨石坑特征的大小和形状不同,这两个区域的特征分布差异明显。基于这种特征差异,我们对新的数据集图像进行裁剪和缩放,并生成目标数据集,从而保证在缩放之后,每个目标数据样本中的陨石坑显示出与原有数据集陨石坑相似的大小和形状。
同时,陨石坑不光存在大小和形状的差异,还有光照强度等差异。本发明提出了一种多分辨率样本直方图匹配算法,将新的陨石坑图像映射到现有的图像中,从而降低两个数据集中的光照分布差异。直方图匹配是对图像进行变换,使其直方图与指定的直方图匹配。视为灰度参考图像Ir和目标图像It,Ir和It的离散直方图分别由如下两个公式进行计算:
其中,W和H分别是图像在垂直和水平方向上的形状,i的范围为0到255。同时,累积直方图St和Sr可分别从Ht和Hr中得出:
根据已有的研究,直方图Ht可以根据Hr进行变换,变换的目的是减少Ir和It之间的照度和直方图差异。变换函数由以下等式获得
其中,Vt(i)=min(I)+(i-1)V,其中V是灰度间隔宽度。p表示其中每个像素的索引。通过计算其中每个像素的T(p),得到变换后的图像I0。I0和Ir具有相同的直方图分布,但具有不同的几何结构。灰度直方图匹配进一步降低了训练图像数据集和目标图像数据集之间光照和灰度分布的差异,有效地减小了两个数据集之间的差异。
由于目标数据集和训练的数据集之间存在较大的域间距,本发明提出的这种多分辨率直方图匹配方法,能够实现目标数据集到训练数据集的灰度转换。从而使得转换后的数据集在目标检测模型中取得了和训练数据集相似的结果,最终提高了模型的泛化性和检测性。
图3是陨石坑自主辨识流程图。在目标检测得到陨石坑检测框的基础上,对图像中的陨石坑进行辨识,获取每个具体陨石坑的经纬度坐标,为着陆器着陆导航提供精确信息。本发明采用多维三角定位法进行陨石坑的高精度辨识。本发明的陨石坑辨识步骤如下所示:
一,构建陨石坑信息数据库。利用前期获取到的小行星遥感地图,对典型陨石坑大小和位置进行存储,其中大小位置都是陨石坑的实际宽度,而位置是中心点对于的中心点坐标。另外存储陨石坑的三角距离,也就是对于每一个陨石坑,规定其作为主要目标,同时寻找与它最近的两个陨石坑构成三角模式存储。存储三角形分别保存归一化边长、角距、半径差。
二,在图像检测到的陨石坑目标检测框上找到最大的两个陨石坑,以这两个目标作为主要目标,计算和最近的目标的角距和半径差。
三,查找陨石坑信息数据库,用二分查找法进行星角距匹配,当找到第一个满足角距误差门限的目标对时,开始在陨石坑信息数据库中排在这个目标对前后的陨石坑对进行比较,直到找出所有满足角距误差门限的目标对,作为这一步的识别结果。
四,将上一步得到的所有陨石坑对和主要目标对进行误差对比,找出所有满足半径误差门限的陨石坑对,组成一个集合,记为X。
五,在星图中找到第三大目标,与主要目标对构成三角形关系分别计算出辅助目标的对角距和半径差,然后按照步骤三和步骤四的方法进行辅助目标的匹配,得到的结果分别记为集合Y和集合Z;
六,对集合中的每一个目标对,分别查找集合Y和Z,若其能和集合Y和Z中的某两个目标对构成三角关系,则将其保留,这一步的执行结果构成新的集合X1;
七,如果集合中仅有一个目标对,则识别成功;否则,继续在图中查找第四颗亮星,并重复步骤五和步骤六,直到找到匹配目标对。
八,输出陨石坑中心点坐标以及半径,同时输出对应的经纬度坐标和实际尺寸。
图4使用本发明提出的方法在水星陨石坑数据集上进行了验证,该模型在月球陨石坑数据集进行了检测,结果表明提出的模型能够实现陨石坑的有效检测,检测结果可以作为着陆器导航的有效辅助手段。
Claims (1)
1.一种基于自主图像感知的高精度无人定位方法,其特征在于,包括如下步骤:
步骤1:拍摄小行星陨石坑数据流,并将其分解为单帧图像,同时对图像进行预处理,获取源域陨石坑数据集;
步骤2:构建目标检测模型,并设计包含方形损失和可变焦损失的损失函数,采用源域陨石坑数据集对深度学习模型进行训练,获得预训练模型;
步骤2-1:对源域陨石坑数据集中的陨石坑图像采用单应性矩阵变换,变换图像为不同尺度和不同角度的样本;
步骤2-2:将步骤2-1得到的样本输入至目标检测模型进行特征提取;具体如下:
步骤2-2-1:首先通过一组卷积层进行提取粗粒度特征,之后利用卷积金字塔模块进一步提取多尺度特征;
步骤2-2-2:将多尺度特征输送到三路卷积层:第一路通过递归模块和多尺度卷积模块,提取目标的检测框偏差;第二路通过独立的递归模块,直接生成目标的检测框,生成的检测框和第一路卷积生成的检测框偏差进行相乘,最终生成精细化检测框;第三路卷积通过递归模块和可形变卷积块,输出类别信息,即是陨石坑或者不是陨石坑;
步骤2-3:目标检测模型的输出和提前标注好的真实值进行比较,所述真实值为陨石坑的真实位置坐标;通过损失函数对目标检测模型参数进行后向传递,经过数次迭代之后完成对目标检测模型的训练,得到预训练模型;损失函数如下:
所述GIOU损失如下所示:
其中GIOU定义如下:
A是真实的检测框矩形的范围;B是预测的检测框的范围;C是A和B重合的范围;IOU的定义是:
所述陨石坑方形损失定义如下:
其中a(.)是目标检测模型的检测框输出,a(3)-a(1)的检测框的宽度,a(4)-a(2)是检测框的高度;L1函数指绝对值损失函数;
所述变焦点损失函数如下所示:
其中a是目标检测模型的输出,b指的是真实检测框和目标检测模型输出的检测框之间的IOU分数;如果真实检测框和目标检测模型的输出之间没有交集,b就是0;
步骤3:在采用预训练模型对待检测陨石坑数据集进行目标检测前,对待检测陨石坑图像进行相似度聚类和灰度直方图匹配;之后在输入预训练模型,获取陨石坑目标检测框;
步骤3-1:首先引入k均值聚类方法,根据源域陨石坑数据集和待检测陨石坑数据集的像素值获得两个数据集特征分布;根据基于减小两个数据集特征差异的目的,再对待检测陨石坑图像进行裁剪和缩放,并生成目标域陨石坑数据集;
步骤3-2:采用多分辨率样本直方图匹配算法,将目标域陨石坑数据集中的图像映射到源域陨石坑数据集的图像中,从而降低两个数据集中图像的光照分布差异;直方图匹配是对图像进行变换,使其直方图与指定的直方图匹配;
将目标域陨石坑数据集中的图像视为灰度参考图像It,将源域陨石坑数据集的图像视为目标图像Ir,Ir和It的离散直方图分别由如下两个公式进行计算:
其中,W和H分别是图像在垂直和水平方向上的长度,i的范围为0到255;同时,累积直方图Sr和St分别从Hr和Ht中得出:
直方图Ht能根据Hr进行变换,变换的目的是减少Ir和It之间的照度和直方图差异,变换函数由以下等式获得
其中,Vt(i)=min(I)+(i-1)V,其中V是灰度间隔宽度;p表示其中每个像素的索引;通过计算其中每个像素的T(p),得到变换后的图像I0;
I0和Ir具有相同的直方图分布,但具有不同的几何结构;灰度直方图匹配降低了目标域陨石坑数据集和目标域陨石坑数据集之间光照和灰度分布的差异;
步骤3-3:将图像I0输入预训练模型,输出陨石坑目标检测框;
步骤4:构建多维三角定位法,对获取到的陨石坑目标检测框进行转换,获得陨石坑的经纬度坐标和实际尺寸,作为导航设备的输入值;
步骤4-1:构建陨石坑信息数据库;
对源域陨石坑数据集中的陨石坑的实际宽度和位置进行存储,而位置是中心点陨石坑的中心点坐标;对于每一个陨石坑,将其作为主要目标,寻找与它最近的两个陨石坑作为目标对构成三角模式,将三角模式边长、角距、半径差归一化;
步骤4-2:对步骤3从待检测图像中获取的陨石坑目标检测框中找到最大的两个陨石坑,以这两个最大的陨石坑作为主要目标对,计算与主要目标对最近的陨石坑构成的三角模式的角距和半径差;
步骤4-3:查找陨石坑信息数据库,用二分查找法进行星角距匹配,当找到第一个满足角距误差门限的目标对时,在陨石坑信息数据库中对排在这个目标对前后的陨石坑对进行比较,直到找出所有满足角距误差门限的目标对,作为这一步的识别结果;
步骤4-4:将步骤4-3得到的所有陨石坑对和待检测图像中的主要目标对进行误差对比,找出所有满足半径误差门限的陨石坑对,组成一个集合,记为X;
步骤4-5:在待检测图像中找到第三大陨石坑目标作为辅助目标,与主要目标对构成三角形关系分别计算出辅助目标的角距和半径差,然后按照步骤4-3和步骤4-4的方法进行辅助目标的匹配,得到的结果分别记为集合Y和集合Z;
步骤4-6:对集合X中的每一个目标对,分别查找集合Y和Z,若其能和集合Y和Z中的两个目标对构成三角关系,则将其保留,这一步的执行结果构成新的集合X1;
步骤4-7:如果集合X1中仅有一个目标对,则识别成功;否则,继续在待检测图像中查找第四颗亮星作为辅助目标,并重复步骤4-5和步骤4-6,直到找到匹配目标对;
步骤4-8:输出陨石坑中心点坐标以及半径,同时输出对应的经纬度坐标和实际尺寸。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210605452.7A CN114972720B (zh) | 2022-05-30 | 2022-05-30 | 一种基于自主图像感知的高精度无人定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210605452.7A CN114972720B (zh) | 2022-05-30 | 2022-05-30 | 一种基于自主图像感知的高精度无人定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114972720A true CN114972720A (zh) | 2022-08-30 |
CN114972720B CN114972720B (zh) | 2024-02-20 |
Family
ID=82958247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210605452.7A Active CN114972720B (zh) | 2022-05-30 | 2022-05-30 | 一种基于自主图像感知的高精度无人定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114972720B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652896A (zh) * | 2020-05-29 | 2020-09-11 | 北京理工大学 | 惯导辅助陨石坑由粗到精检测方法 |
CN113139592A (zh) * | 2021-04-14 | 2021-07-20 | 中国地质大学(武汉) | 基于深度残差U-Net的月球陨石坑识别方法、设备及存储介质 |
CN114241296A (zh) * | 2021-11-11 | 2022-03-25 | 上海航天控制技术研究所 | 月面着陆陨石坑障碍检测方法以及存储介质和电子设备 |
WO2022095612A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安交通大学 | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 |
CN114519723A (zh) * | 2021-12-24 | 2022-05-20 | 上海海洋大学 | 一种基于金字塔影像分割的陨石坑自动提取方法 |
-
2022
- 2022-05-30 CN CN202210605452.7A patent/CN114972720B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111652896A (zh) * | 2020-05-29 | 2020-09-11 | 北京理工大学 | 惯导辅助陨石坑由粗到精检测方法 |
WO2022095612A1 (zh) * | 2020-11-05 | 2022-05-12 | 西安交通大学 | 一种核磁共振图像中颈动脉血管中心线的提取方法及系统 |
CN113139592A (zh) * | 2021-04-14 | 2021-07-20 | 中国地质大学(武汉) | 基于深度残差U-Net的月球陨石坑识别方法、设备及存储介质 |
CN114241296A (zh) * | 2021-11-11 | 2022-03-25 | 上海航天控制技术研究所 | 月面着陆陨石坑障碍检测方法以及存储介质和电子设备 |
CN114519723A (zh) * | 2021-12-24 | 2022-05-20 | 上海海洋大学 | 一种基于金字塔影像分割的陨石坑自动提取方法 |
Non-Patent Citations (1)
Title |
---|
陈建清;朱圣英;崔祜涛;崔平远;: "应用灰度特征的行星陨石坑自主检测方法与着陆导航研究", 宇航学报, no. 08 * |
Also Published As
Publication number | Publication date |
---|---|
CN114972720B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084292B (zh) | 基于DenseNet和多尺度特征融合的目标检测方法 | |
Zhong et al. | Fully convolutional networks for building and road extraction: Preliminary results | |
Hartawan et al. | Disaster victims detection system using convolutional neural network (CNN) method | |
Xi et al. | Space debris detection using feature learning of candidate regions in optical image sequences | |
Alidoost et al. | Knowledge based 3D building model recognition using convolutional neural networks from LiDAR and aerial imageries | |
CN112149643B (zh) | 基于多级注意力机制的面向无人机平台的车辆重识别方法 | |
CN114241296A (zh) | 月面着陆陨石坑障碍检测方法以及存储介质和电子设备 | |
Sofla et al. | Road extraction from satellite and aerial image using SE-Unet | |
CN111598155A (zh) | 一种基于深度学习的细粒度图像弱监督目标定位方法 | |
Yin et al. | Pse-match: A viewpoint-free place recognition method with parallel semantic embedding | |
Sjahputera et al. | Clustering of detected changes in high-resolution satellite imagery using a stabilized competitive agglomeration algorithm | |
Gunawan et al. | Performance Comparison of Various YOLO Architectures on Object Detection of UAV Images | |
Cao et al. | Template matching based on convolution neural network for UAV visual localization | |
US20230360547A1 (en) | Method and system for on-board localization | |
Esfandiari et al. | Building change detection in off-nadir images using deep learning | |
CN114972720B (zh) | 一种基于自主图像感知的高精度无人定位方法 | |
CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
Yin et al. | M2F2-RCNN: Multi-functional faster RCNN based on multi-scale feature fusion for region search in remote sensing images | |
CN112001223B (zh) | 真实环境地图的快速虚拟化构建方法 | |
Hou et al. | Navigation landmark recognition and matching algorithm based on the improved SURF | |
Wang et al. | LiDAR-SLAM loop closure detection based on multi-scale point cloud feature transformer | |
CN112906573A (zh) | 基于轮廓点集的行星表面导航路标匹配方法 | |
Sunil et al. | Identifying oil pads in high spatial resolution aerial images using faster R-CNN | |
Zhang et al. | Video image target recognition and geolocation method for UAV based on landmarks | |
Li et al. | Accurate semantic segmentation of small-body craters for navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |