CN114202701A - 一种基于物体语义的无人机视觉重定位方法 - Google Patents

一种基于物体语义的无人机视觉重定位方法 Download PDF

Info

Publication number
CN114202701A
CN114202701A CN202111543367.4A CN202111543367A CN114202701A CN 114202701 A CN114202701 A CN 114202701A CN 202111543367 A CN202111543367 A CN 202111543367A CN 114202701 A CN114202701 A CN 114202701A
Authority
CN
China
Prior art keywords
node
unmanned aerial
matching
aerial vehicle
semantic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111543367.4A
Other languages
English (en)
Inventor
王茂霖
吕人力
管祥民
王红玉
蔡惠宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation Management Institute Of China
Zhejiang Jiande General Aviation Research Institute
Original Assignee
Civil Aviation Management Institute Of China
Zhejiang Jiande General Aviation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation Management Institute Of China, Zhejiang Jiande General Aviation Research Institute filed Critical Civil Aviation Management Institute Of China
Priority to CN202111543367.4A priority Critical patent/CN114202701A/zh
Publication of CN114202701A publication Critical patent/CN114202701A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种基于物体语义的无人机视觉重定位方法，包括：构建无人机视觉重定位模型：图像处理与表示模块、场景匹配模块和重定位模块。由无人机相机拍摄当前场景，利用图像处理模块中的YOLOv3目标检测网络获取图片中包含的物体语义信息，并使用语义信息构建拓扑图作为对环境的稀疏描述；在有地图先验知识的情况下，构建待匹配图片的伴随图，采用随机游走算法进行语义特征和场景的匹配；利用EPnP算法求解出无人机的位姿，完成重定位。本发明在场景光照条件动态变化时，能够实现强鲁棒性的无人机实时重定位，尤其适用于工业巡检等自动化任务。

Description

一种基于物体语义的无人机视觉重定位方法
技术领域
本发明涉及视觉定位领域，特别涉及一种基于物体语义的无人机视觉重定位方法。
背景技术
定位问题是无人机领域中极为关键的一个问题，无人机在执行工业巡检等自动化任务时，需具备精确的自定位能力，并对工作过程中常见的干扰因素表现出一定的鲁棒性。随着计算机视觉的发展，基于相机传感器的视觉场景匹配技术愈渐成熟，可以为无人机自主飞行提供优质的服务。视觉传感器具有成本低、体积小、重量轻、能够提供丰富的在线环境信息、非接触等优点，且合适的视觉定位系统可以与GPS和INS系统相结合，作为无人机的补充定位系统。
无人机在工作过程中需要时刻跟踪位姿，当位姿跟踪失败时，需要进行重定位以恢复当前位姿。传统的视觉定位算法依赖于环境表象之间的相似性，采用人工设计的底层几何视觉特征作为图像相似度的计算依据，再利用特征匹配来实现场景匹配，在环境条件不变时可使无人机重定位取得不错的效果。然而，现实世界中往往存在着照明条件变换、天气变换和季节更替等复杂的环境变化，导致图像中的部分关键特征被强化或弱化，大大降低了特征匹配的准确度，此时，这传统方法的重定位精度将大幅下降，若想保持性能则需付出昂贵的地图维护代价。
发明内容
发明目的：本发明一种基于物体语义的无人机视觉重定位方法，以解决现有无人机视觉重定位方法无法很好地应对环境中光照变化导致重定位精度不足的技术问题。
本发明包括：步骤1，构建无人机视觉重定位模型，所述无人机视觉重定位模型包括图像处理与表示模块、场景匹配模块和重定位模块；
步骤2，通过图像处理与表示模块构建语义拓扑图；
步骤3，所述场景匹配模块基于待匹配图像对的共同语义信息构建伴随图，综合考虑待匹配图的语义信息差异、节点位置差异和拓扑结构差异，使用随机游走算法完成语义特征点对的映射，并计算相机传感器输入图像与地图库中图像的相似度，进而完成无人机的场景匹配；
步骤4，通过重定位模块求解出无人机的位姿，完成重定位。
步骤2包括：由无人机相机拍摄当前场景图片，所述图像处理与表示模块使用YOLOv3目标检测网络获取场景图片中包含的物体语义信息(包括物体类别标签及物体在图像中的像素位置信息)，所述物体语义信息包括物体语义标签以及物体在图像中的像素位置信息，以物体语义标签作为节点构建语义拓扑图，并建立场景地图库作为对环境的内部表示，用于与输入的视觉数据进行比较。
步骤3包括：利用语义拓扑图的权值矩阵W度量候选对之间的匹配程度，其中语义拓扑图对角线上的元素Wia；ia代表节点之间的匹配权值，非对角线元素Wia；jb代表边与边之间的匹配权值，权值越大代表匹配程度越高；概率转移矩阵P＝D-1W，D是一个
Figure BDA0003414986240000021
的对角矩阵，其中Dii是D的对角元素，Wij代表权值矩阵W中的第i行第j列元素；
设定待匹配的两幅图为GM和GN，图
Figure BDA0003414986240000022
为GM和GN的伴随图，
Figure BDA0003414986240000023
是GM中的节点，
Figure BDA0003414986240000024
是
Figure BDA0003414986240000025
之间的边，
Figure BDA0003414986240000026
是GN中的节点，
Figure BDA0003414986240000027
是
Figure BDA0003414986240000028
之间的边；
令X(t)T为t时刻随机游走器到达伴随图上各节点的概率分布，X(t+1)T为t+1时刻随机游走器到达伴随图上各节点的概率分布，概率转移矩阵为P，则随机游走的马尔科夫链表示为：
X(t+1)T＝X(t)TP
在伴随图上进行随机游走，直至随机游走器到达伴随图上各节点的概率分布收敛，得到指派矩阵X'，从而确定待匹配的两幅图GM和GN中节点的匹配关系。
步骤3中，按以下方式综合考虑待匹配图的语义信息差异、节点位置差异和拓扑结构差异：
考虑语义信息差异：有相同语义标签的一对节点
Figure BDA0003414986240000029
和
Figure BDA00034149862400000210
将组成伴随图
Figure BDA00034149862400000211
中新的节点
Figure BDA00034149862400000212
语义标签不同的一对节点则被定义为冲突匹配对，将不会在伴随图中出现；在计算图像相似度时，考虑场景中物体的移动频率，移动频率低的物体在计算时被赋予更大的权重值。
考虑节点位置差异：记disia为节点
Figure BDA00034149862400000213
与节点
Figure BDA00034149862400000214
之间的欧氏距离，disia越小，
Figure BDA00034149862400000215
与节点
Figure BDA0003414986240000031
的匹配度越高；记disij为节点
Figure BDA0003414986240000032
与节点
Figure BDA0003414986240000033
之间的欧氏距离，记disij为节点
Figure BDA0003414986240000034
与节点
Figure BDA0003414986240000035
之间的欧氏距离，disij与disab相差越小，
Figure BDA0003414986240000036
与
Figure BDA0003414986240000037
的匹配度越高；
未冲突匹配对的权值矩阵和概率转移矩阵使用下式进行初始化：
Figure BDA0003414986240000038
Figure BDA0003414986240000039
其中，当i≠a且j≠b时，权值矩阵的元素Wia；jb代表
Figure BDA00034149862400000310
和
Figure BDA00034149862400000311
的匹配权值，当i＝a且j＝b时，权值矩阵的元素Wia；jb代表
Figure BDA00034149862400000312
和
Figure BDA00034149862400000313
的匹配权值，
Figure BDA00034149862400000314
为调整因子；
考虑拓扑结构差异：根据事先设定好的步长和伴随图
Figure BDA00034149862400000315
中每节点作为出发节点的次数，在图
Figure BDA00034149862400000316
上进行随机游走。
步骤3中，采用如下公式计算相机传感器输入图像与地图库中图像的相似度s：
Figure BDA00034149862400000317
其中，mi为伴随图
Figure BDA00034149862400000318
中表示第i个匹配对的归一化权重，ni的取值范围为(0,1)，ni代表相机传感器输入图像与地图库中图像中第i个未匹配的物体权重，mi的取值通过随机游走确定，ni则根据场景中物体的移动频率确定，Δi是相机传感器输入图像与地图库中图像中第i对匹配对对应的物体像素位置偏差，q是匹配对个数，d是由图像中的物体个数和构建地图库时相机的采集频率决定的调整因子；取地图库中与输入图像相似度最高的图像作为场景匹配的结果。
步骤4包括：
将无人机摄像机设定为小孔模型且内参已知，设无人机当前捕获到的图像为G1，经过场景匹配后对应地图库中的图像G2，共有n(n≥4)个语义特征匹配对，G1中语义特征点在相机坐标系下的2D位置是已知的，G2中语义特征点在世界坐标系下的3D位置是已知的；利用EPnP算法，将n个3D点表示为4个非共面虚拟控制点的加权和，再计算4个虚拟控制点在相机坐标系下的坐标，恢复出无人机的位姿R、t，R为包含姿态信息的旋转矩阵，t为包含位置信息的平移向量；令4个虚拟控制点的世界坐标分别为
Figure BDA0003414986240000041
矩阵C为：
Figure BDA0003414986240000042
步骤4中，令G2中语义特征点和4个虚拟控制点在世界坐标系下的3D坐标
Figure BDA0003414986240000043
和
Figure BDA0003414986240000044
分别为：
Figure BDA0003414986240000045
Figure BDA0003414986240000046
世界坐标系下的语义特征点坐标
Figure BDA0003414986240000047
表示为4个虚拟控制点坐标
Figure BDA0003414986240000048
的加权和：
Figure BDA0003414986240000049
其中，αij为加权因子。
步骤4中，令
Figure BDA00034149862400000410
表示第j个虚拟控制点在相机坐标系下的坐标，G1中第i个语义特征点在相机坐标系下的坐标为
Figure BDA00034149862400000415
则它们之间的关系如下：
Figure BDA00034149862400000411
Figure BDA00034149862400000412
步骤4中，得到控制点在相机坐标系下的3D坐标后，通过分别计算语义特征点的世界坐标重心
Figure BDA00034149862400000413
和相机坐标重心
Figure BDA00034149862400000414
得到矩阵A、矩阵B和矩阵H：
Figure BDA0003414986240000051
Figure BDA0003414986240000052
Figure BDA0003414986240000053
Figure BDA0003414986240000054
H＝BTA。
步骤4中，对H进行SVD奇异值分解，恢复出无人机的位姿R、t：
H＝U∑VT，
R＝UVT，
Figure BDA0003414986240000055
有益效果：本发明使用有分割前背景的能力的YOLOv3完成目标检测，能够获取场景图片中物体的语义信息，与几何视觉特征相比，这种物体级的语义属于高层特征，具有良好的稀疏性且对于环境中的光照变化具有较强的抗干扰能力，能够保证无人机重定位的鲁棒性。本发明将图片抽象为语义拓扑图，通过比较其结构来间接完成图像相似度的计算，简化了环境信息的对比过程，能够满足无人机实时视觉重定位的需求。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
图1是本发明提出的无人机视觉重定位模型示意图；
图2是本发明根据图1所述的重定位模型提出的基于物体语义的无人机视觉重定位方法的工作流程；
图3是本发明所述的图像相似度计算流程。
具体实施方式
图1所示为本发明提出的无人机视觉重定位模型：包括图像处理与表示模块、场景匹配模块和重定位模块。
本实施例提供了一种基于物体语义的无人机视觉重定位方法，该方法的执行流程如图2所示，包括以下步骤：
步骤1，构建无人机视觉重定位模型，所述无人机视觉重定位模型包括图像处理与表示模块、场景匹配模块和重定位模块；
步骤2，通过图像处理与表示模块构建语义拓扑图；
步骤3，所述场景匹配模块基于待匹配图像对的共同语义信息构建伴随图，综合考虑待匹配图的语义信息差异、节点位置差异和拓扑结构差异，使用随机游走算法完成语义特征点对的映射，并计算相机传感器输入图像与地图库中图像的相似度，进而完成无人机的场景匹配；
步骤4，通过重定位模块求解出无人机的位姿，完成重定位。
步骤2包括：由无人机相机拍摄当前场景图片，所述图像处理与表示模块使用YOLOv3目标检测网络获取场景图片中包含的物体语义信息，所述物体语义信息包括物体语义标签以及物体在图像中的像素位置信息，以物体语义标签作为节点构建语义拓扑图，并建立场景地图库作为对环境的内部表示，用于与输入的视觉数据进行比较。
步骤3包括：利用语义拓扑图的权值矩阵W度量候选对之间的匹配程度，其中语义拓扑图对角线上的元素Wia；ia代表节点之间的匹配权值，非对角线元素Wia；jb代表边与边之间的匹配权值，权值越大代表匹配程度越高；概率转移矩阵P＝D-1W，D是一个
Figure BDA0003414986240000061
的对角矩阵，其中Dii是D的对角元素，Wij代表权值矩阵W中的第i行第j列元素；
设定待匹配的两幅图为GM和GN，图
Figure BDA0003414986240000062
为GM和GN的伴随图，
Figure BDA0003414986240000063
是GM中的节点，
Figure BDA0003414986240000064
是
Figure BDA0003414986240000065
之间的边，
Figure BDA0003414986240000066
是GN中的节点，
Figure BDA0003414986240000067
是
Figure BDA0003414986240000068
之间的边；
令X(t)T为t时刻随机游走器到达伴随图上各节点的概率分布，X(t+1)T为t+1时刻随机游走器到达伴随图上各节点的概率分布，概率转移矩阵为P，则随机游走的马尔科夫链表示为：
X(t+1)T＝X(t)TP
在伴随图上进行随机游走，直至随机游走器到达伴随图上各节点的概率分布收敛，得到指派矩阵X'，从而确定待匹配的两幅图GM和GN中节点的匹配关系。
步骤3中，按以下方式综合考虑待匹配图的语义信息差异、节点位置差异和拓扑结构差异：
考虑语义信息差异：有相同语义标签的一对节点
Figure BDA0003414986240000071
和
Figure BDA0003414986240000072
将组成伴随图
Figure BDA0003414986240000073
中新的节点
Figure BDA0003414986240000074
语义标签不同的一对节点则被定义为冲突匹配对，将不会在伴随图中出现；
考虑节点位置差异：记disia为节点
Figure BDA0003414986240000075
与节点
Figure BDA0003414986240000076
之间的欧氏距离，disia越小，
Figure BDA0003414986240000077
与节点
Figure BDA0003414986240000078
的匹配度越高；记disij为节点
Figure BDA0003414986240000079
与节点
Figure BDA00034149862400000710
之间的欧氏距离，记disij为节点
Figure BDA00034149862400000711
与节点
Figure BDA00034149862400000712
之间的欧氏距离，disij与disab相差越小，
Figure BDA00034149862400000713
与
Figure BDA00034149862400000714
的匹配度越高；
未冲突匹配对的权值矩阵和概率转移矩阵使用下式进行初始化：
Figure BDA00034149862400000715
Figure BDA00034149862400000716
其中，当i≠a且j≠b时，权值矩阵的元素Wia；jb代表
Figure BDA00034149862400000717
和
Figure BDA00034149862400000718
的匹配权值，当i＝a且j＝b时，权值矩阵的元素Wia；jb代表
Figure BDA00034149862400000719
和
Figure BDA00034149862400000720
的匹配权值，
Figure BDA00034149862400000721
为调整因子；
考虑拓扑结构差异：根据事先设定好的步长和伴随图
Figure BDA00034149862400000722
中每节点作为出发节点的次数，在图
Figure BDA00034149862400000723
上进行随机游走。
步骤3中，采用如下公式计算相机传感器输入图像与地图库中图像的相似度s：
Figure BDA00034149862400000724
其中，mi为伴随图
Figure BDA00034149862400000725
中表示第i个匹配对的归一化权重，ni的取值范围为(0,1)，ni代表相机传感器输入图像与地图库中图像中第i个未匹配的物体权重，mi的取值通过随机游走确定，ni则根据场景中物体的移动频率确定，Δi是相机传感器输入图像与地图库中图像中第i对匹配对对应的物体像素位置偏差，q是匹配对个数，d是由图像中的物体个数和构建地图库时相机的采集频率决定的调整因子；取地图库中与输入图像相似度最高的图像作为场景匹配的结果。
步骤4包括：
将无人机摄像机设定为小孔模型且内参已知，设无人机当前捕获到的图像为G1，经过场景匹配后对应地图库中的图像G2，共有n个语义特征匹配对，G1中语义特征点在相机坐标系下的2D位置是已知的，G2中语义特征点在世界坐标系下的3D位置是已知的；利用EPnP算法，将n个3D点表示为4个非共面虚拟控制点的加权和，再计算4个虚拟控制点在相机坐标系下的坐标，恢复出无人机的位姿R、t，R为包含姿态信息的旋转矩阵，t为包含位置信息的平移向量；世界坐标系下的4个虚拟控制点能够使矩阵C可逆即可，令4个虚拟控制点的世界坐标分别为
Figure BDA0003414986240000081
矩阵C为：
Figure BDA0003414986240000082
步骤4中，令G2中语义特征点和4个虚拟控制点在世界坐标系下的3D坐标
Figure BDA0003414986240000083
和
Figure BDA0003414986240000084
分别为：
Figure BDA0003414986240000085
Figure BDA0003414986240000086
Figure BDA0003414986240000087
为
Figure BDA0003414986240000088
在世界坐标系下的具体坐标；
Figure BDA0003414986240000089
为
Figure BDA00034149862400000810
在世界坐标系下的具体坐标；
世界坐标系下的语义特征点坐标
Figure BDA00034149862400000811
表示为4个虚拟控制点坐标
Figure BDA00034149862400000812
的加权和：
Figure BDA00034149862400000813
其中，αij为加权因子。
步骤4中，令
Figure BDA0003414986240000091
表示第j个虚拟控制点在相机坐标系下的坐标，
Figure BDA0003414986240000092
为4个虚拟控制点的世界坐标，G1中第i个语义特征点在相机坐标系下的坐标为
Figure BDA0003414986240000093
则它们之间的关系如下：
Figure BDA0003414986240000094
Figure BDA0003414986240000095
步骤4中，得到控制点在相机坐标系下的3D坐标后，通过分别计算语义特征点的世界坐标重心
Figure BDA0003414986240000096
和相机坐标重心
Figure BDA0003414986240000097
得到矩阵A、矩阵B和矩阵H：
Figure BDA0003414986240000098
Figure BDA0003414986240000099
Figure BDA00034149862400000910
Figure BDA00034149862400000911
H＝BTA。
步骤4中，对H进行SVD(Singular Value Decomposition)奇异值分解，恢复出无人机的位姿R、t：
H＝U∑VT，
R＝UVT，
Figure BDA00034149862400000912
本发明所使用的无人机为大疆无人机M200，具体参数如下表1所示：
表1
Figure BDA0003414986240000101
本发明在Ubuntu18.04系统下进行实现基于YOLOv3的目标检测器，使用无人机在室内场景下以10fps的速率拍摄800张图片构建场景地图库。本发明所提基于物体语义的重定位方法的最佳图像相似度阈值为0.375，在场景光照条件不变时，其准确率和召回率可达99.23％和97.23％；在场景光照条件变化时，其准确率和召回率可达93.18％和87.23％，准确率比基于词袋模型的视觉重定位方法高出52.44％，召回率比基于词袋模型的视觉重定位方法高出54.88％。在相同场景地图库下，本发明所提方法完成单次场景匹配所需的平均运行时间比使用词袋模型算法快0.027s。本发明所提方法在场景光照条件动态变化时，能够实现强鲁棒性的无人机实时重定位，为无人机执行任务提供保障。
本发明提供了一种基于物体语义的无人机视觉重定位方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于物体语义的无人机视觉重定位方法，其特征在于，包括以下步骤：
步骤1，构建无人机视觉重定位模型，所述无人机视觉重定位模型包括图像处理与表示模块、场景匹配模块和重定位模块；
步骤2，通过图像处理与表示模块构建语义拓扑图；
步骤3，所述场景匹配模块基于待匹配图像对的共同语义信息构建伴随图，完成无人机的场景匹配；
步骤4，通过重定位模块求解出无人机的位姿，完成重定位。
2.如权利要求1所述的方法，其特征在于，步骤2包括：由无人机相机拍摄当前场景图片，所述图像处理与表示模块使用YOLOv3目标检测网络获取场景图片中包含的物体语义信息，所述物体语义信息包括物体语义标签以及物体在图像中的像素位置信息，以物体语义标签作为节点构建语义拓扑图，并建立场景地图库作为对环境的内部表示，用于与输入的视觉数据进行比较。
3.如权利要求2所述的方法，其特征在于，步骤3包括：利用语义拓扑图的权值矩阵W度量候选对之间的匹配程度，其中语义拓扑图对角线上的元素Wia；ia代表节点之间的匹配权值，非对角线元素Wia；jb代表边与边之间的匹配权值；概率转移矩阵P＝D-1W，D是一个
Figure FDA0003414986230000011
的对角矩阵，其中Dii是D的对角元素，Wij代表权值矩阵W中的第i行第j列元素；
设定待匹配的两幅图为GM和GN，图
Figure FDA0003414986230000012
为GM和GN的伴随图，
Figure FDA0003414986230000013
是GM中的节点，
Figure FDA0003414986230000014
是
Figure FDA0003414986230000015
之间的边，
Figure FDA0003414986230000016
是GN中的节点，
Figure FDA0003414986230000017
是
Figure FDA0003414986230000018
之间的边；
令X(t)T为t时刻随机游走器到达伴随图上各节点的概率分布，X(t+1)T为t+1时刻随机游走器到达伴随图上各节点的概率分布，概率转移矩阵为P，则随机游走的马尔科夫链表示为：
X(t+1)T＝X(t)TP
在伴随图上进行随机游走，直至随机游走器到达伴随图上各节点的概率分布收敛，得到指派矩阵X'，从而确定待匹配的两幅图GM和GN中节点的匹配关系。
4.如权利要求3所述的方法，其特征在于，步骤3中，按以下方式综合考虑待匹配图的语义信息差异、节点位置差异和拓扑结构差异：
考虑语义信息差异：有相同语义标签的一对节点
Figure FDA0003414986230000021
和
Figure FDA0003414986230000022
将组成伴随图
Figure FDA0003414986230000023
中新的节点
Figure FDA0003414986230000024
语义标签不同的一对节点则被定义为冲突匹配对，将不会在伴随图中出现；
考虑节点位置差异：记disia为节点
Figure FDA0003414986230000025
与节点
Figure FDA0003414986230000026
之间的欧氏距离，disia越小，
Figure FDA0003414986230000027
与节点
Figure FDA0003414986230000028
的匹配度越高；记disij为节点
Figure FDA0003414986230000029
与节点
Figure FDA00034149862300000210
之间的欧氏距离，记disij为节点
Figure FDA00034149862300000211
与节点
Figure FDA00034149862300000212
之间的欧氏距离，disij与disab相差越小，
Figure FDA00034149862300000213
与
Figure FDA00034149862300000214
的匹配度越高；
未冲突匹配对的权值矩阵和概率转移矩阵使用下式进行初始化：
Figure FDA00034149862300000215
Figure FDA00034149862300000216
其中，当i≠a且j≠b时，权值矩阵的元素Wia；jb代表
Figure FDA00034149862300000217
和
Figure FDA00034149862300000218
的匹配权值，当i＝a且j＝b时，权值矩阵的元素Wia；jb代表
Figure FDA00034149862300000219
和
Figure FDA00034149862300000220
的匹配权值，
Figure FDA00034149862300000221
为调整因子；
考虑拓扑结构差异：根据事先设定好的步长和伴随图
Figure FDA00034149862300000222
中每节点作为出发节点的次数，在图
Figure FDA00034149862300000223
上进行随机游走。
5.如权利要求4所述的方法，其特征在于，步骤3中，采用如下公式计算相机传感器输入图像与地图库中图像的相似度s：
Figure FDA00034149862300000224
其中，mi为伴随图
Figure FDA00034149862300000225
中表示第i个匹配对的归一化权重，ni的取值范围为(0,1)，ni代表相机传感器输入图像与地图库中图像中第i个未匹配的物体权重，mi的取值通过随机游走确定，ni则根据场景中物体的移动频率确定，Δi是相机传感器输入图像与地图库中图像中第i对匹配对对应的物体像素位置偏差，q是匹配对个数，d是由图像中的物体个数和构建地图库时相机的采集频率决定的调整因子；取地图库中与输入图像相似度最高的图像作为场景匹配的结果。
6.如权利要求5所述的方法，其特征在于，步骤4包括：
将无人机摄像机设定为小孔模型且内参已知，设无人机当前捕获到的图像为G1，经过场景匹配后对应地图库中的图像G2，共有n个语义特征匹配对，G1中语义特征点在相机坐标系下的2D位置是已知的，G2中语义特征点在世界坐标系下的3D位置是已知的；利用EPnP算法，将n个3D点表示为4个非共面虚拟控制点的加权和，再计算4个虚拟控制点在相机坐标系下的坐标，恢复出无人机的位姿R、t，R为包含姿态信息的旋转矩阵，t为包含位置信息的平移向量；令4个虚拟控制点的世界坐标分别为
Figure FDA0003414986230000031
Figure FDA0003414986230000032
矩阵C为：
Figure FDA0003414986230000033
7.如权利要求6所述的方法，其特征在于，步骤4中，令G2中语义特征点和4个虚拟控制点在世界坐标系下的3D坐标
Figure FDA0003414986230000034
和
Figure FDA0003414986230000035
分别为：
Figure FDA0003414986230000036
Figure FDA0003414986230000037
世界坐标系下的语义特征点坐标
Figure FDA0003414986230000038
表示为4个虚拟控制点坐标
Figure FDA0003414986230000039
的加权和：
Figure FDA00034149862300000310
其中，αij为加权因子。
8.如权利要求7所述的方法，其特征在于，步骤4中，令
Figure FDA00034149862300000311
表示第j个虚拟控制点在相机坐标系下的坐标，G1中第i个语义特征点在相机坐标系下的坐标为
Figure FDA00034149862300000312
则它们之间的关系如下：
Figure FDA0003414986230000041
Figure FDA0003414986230000042
9.如权利要求8所述的方法，其特征在于，步骤4中，得到控制点在相机坐标系下的3D坐标后，通过分别计算语义特征点的世界坐标重心
Figure FDA0003414986230000043
和相机坐标重心
Figure FDA0003414986230000044
得到矩阵A、矩阵B和矩阵H：
Figure FDA0003414986230000045
Figure FDA0003414986230000046
Figure FDA0003414986230000047
Figure FDA0003414986230000048
H＝BTA。
10.如权利要求9所述的方法，其特征在于，步骤4中，对H进行SVD奇异值分解，恢复出无人机的位姿R、t：
H＝U∑VT，
R＝UVT，
Figure FDA0003414986230000049
CN202111543367.4A 2021-12-16 2021-12-16 一种基于物体语义的无人机视觉重定位方法 Pending CN114202701A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111543367.4A CN114202701A (zh) 2021-12-16 2021-12-16 一种基于物体语义的无人机视觉重定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111543367.4A CN114202701A (zh) 2021-12-16 2021-12-16 一种基于物体语义的无人机视觉重定位方法

Publications (1)

Publication Number Publication Date
CN114202701A true CN114202701A (zh) 2022-03-18

Family

ID=80654619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111543367.4A Pending CN114202701A (zh) 2021-12-16 2021-12-16 一种基于物体语义的无人机视觉重定位方法

Country Status (1)

Country Link
CN (1) CN114202701A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205470A (zh) * 2022-09-06 2022-10-18 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205470A (zh) * 2022-09-06 2022-10-18 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法
CN115205470B (zh) * 2022-09-06 2023-02-21 深圳市其域创新科技有限公司 续扫重定位方法、装置、设备、存储介质及三维续扫方法

Similar Documents

Publication Publication Date Title
CN112258618B (zh) 基于先验激光点云与深度图融合的语义建图与定位方法
US11816907B2 (en) Systems and methods for extracting information about objects from scene information
CN111693047B (zh) 一种高动态场景下的微小型无人机视觉导航方法
Huang et al. Visual odometry and mapping for autonomous flight using an RGB-D camera
CN111583136B (zh) 一种救援场景下自主移动平台同时定位与建图方法
US20210390329A1 (en) Image processing method, device, movable platform, unmanned aerial vehicle, and storage medium
Lim et al. Monocular localization of a moving person onboard a quadrotor mav
Lin et al. A fast, complete, point cloud based loop closure for LiDAR odometry and mapping
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
Shan et al. Google map aided visual navigation for UAVs in GPS-denied environment
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
Tang et al. Onboard detection-tracking-localization
Shan et al. LiDAR-based stable navigable region detection for unmanned surface vehicles
CN114943757A (zh) 基于单目景深预测和深度增强学习的无人机森林探索系统
Saleem et al. Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review
CN114202701A (zh) 一种基于物体语义的无人机视觉重定位方法
Li et al. An efficient point cloud place recognition approach based on transformer in dynamic environment
Lu et al. Vision-based localization methods under GPS-denied conditions
CN115655291A (zh) 激光slam闭环建图的方法、装置、移动机器人、设备及介质
Sujiwo et al. Robust and accurate monocular vision-based localization in outdoor environments of real-world robot challenge
Voodarla et al. S-BEV: Semantic birds-eye view representation for weather and lighting invariant 3-dof localization
Lee et al. Camera pose estimation using voxel-based features for autonomous vehicle localization tracking
Liu et al. Vision-based autonomous landing on unprepared field with rugged surface
Liu et al. VL-MFL: UAV Visual Localization Based on Multi-Source Image Feature Learning
Zhou et al. UAV Based Indoor Localization and Objection Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination