CN116524031A - 一种基于yolov8的大范围月球车定位建图方法 - Google Patents

Abstract

本发明公开了一种基于YOLOV8的大范围月球车定位建图方法，包括陨石坑地标数据库、双目图像预处理层、目标检测层、双目目标匹配层、距离探测与相对位姿估计层、陨石坑匹配层和月球车位姿优化层；本发明属空间距离自动测量和计算机视觉技术领域，具体为一种基于YOLOV8的大范围月球车定位建图方法；本发明的优点为：采用双目视觉测距与改进YOLOV8目标检测相结合的方式，可以快速计算陨石坑或石块的深度信息，由于将图像特征匹配替换为目标匹配，从而避免了激光点云或深度图像点云计算量大和检测时间长的问题，利用空间连接匹配方法可以快速对月球车进行全局定位。

Description

一种基于YOLOV8的大范围月球车定位建图方法

技术领域

本发明属空间距离自动测量技术领域，具体为一种基于YOLOV8的大范围月球车定位建图方法。

背景技术

月球车的主要任务包括资源勘探、资源开发、设施建设和设施维护，月球车需要在以基地为中心10公里范围内进行准确导航，月球车还需要在南极-艾托肯盆地（月球最大撞击坑）内穿越数千公里，月球车需要提供机载、自主、全局定位信息以支持上述任务，而月球车至今没有机载的全局定位能力，仅能提供相对定位信息，通过整合轮式里程计、视觉里程计和惯性测量的组合来跟踪相对于开始的位置，也就是相对定位。

同步定位与建图（Simultaneous Localization and Mapping，简称SLAM）问题可以描述为：机器人在未知环境中从一个未知位置开始移动,在移动过程中根据位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。

由于月球表面分布着大大小小的陨石坑，因此有学者提出利用陨石坑对月球车进行全局定位，将陨石坑作为地标，月球车自动探测其附近的陨石坑，并将其与由轨道图像创建的地标数据库中已知的陨石坑进行匹配，主要的步骤包括陨石坑的检测、陨石坑的匹配和月球车位姿估计三个步骤；其中，陨石坑的检测手段主要是利用激光雷达的点云数据进行陨石坑检测、利用立体相机采集的点云数据进行陨石坑检测和利用单目相机进行陨石坑检测；使用激光雷达和立体相机的方式存在耗电速度快和计算资源开销大的缺点，而使用单目相机的方式是无法直接得到距离信息，从而不能直接估计陨石坑的远近。

发明内容

（一）要解决的技术问题

为解决现有技术的上述问题，本发明提供一种基于YOLOV8的大范围月球车定位建图方法，可以有效解决：

（1）改善传统基于激光点云或深度图像点云进行陨石坑检测时具有计算量大、检测消耗时间长的缺点；

（2）改善传统基于激光点云或深度图像点云进行陨石坑匹配也具有匹配时间长，容易出现误匹配的缺点；

（3）克服使用单目相机的方式是无法直接得到距离信息，从而不能直接估计陨石坑的远近的问题，因此本方法采用双目相机进行陨石坑的检测。

（二）技术方案

为了解决上述问题，本发明采用的一种技术方案为：一种基于YOLOV8的大范围月球车定位建图方法，包括陨石坑地标数据库、双目图像预处理层、目标检测层、双目目标匹配层、距离探测与相对位姿估计层、陨石坑匹配层和月球车位姿优化层；所述陨石坑地标数据库的创建方式是从轨道图像中创建一个陨石坑地标数据库，这个数据库将包含每个陨石坑的位置、椭圆长轴和椭圆短轴；所述双目图像预处理层的处理步骤包括：

S1、高斯滤波，用于平滑图像并过滤噪声；

S2、图像增强，使双目图像更加清晰；

S3、图像锐化，使图像的边缘和细节更加清晰。

进一步地，所述目标检测层使用YOLOV8进行目标检测，具体步骤为：

S1、对YOLOV8模型进行改进，由于传统目标检测的结果是以矩形框的形式进行显示，包括目标中心的坐标及目标的宽和高，但是由于陨石坑的形状都是圆形或椭圆形，因此需要重新设计显示形式，具体为陨石坑中心坐标（以像素为单位）、椭圆长轴、椭圆短轴和椭圆长轴方向，其中椭圆长轴方向范围为0度到180度；原YOLOV8模型中，最多可以对80种物体进行分类，而在本发明中，仅设陨石坑和石块两种类别，因此当原YOLOV8模型的头部的每个单元格负责预测三个候选框时，总的通道数为（5+1+2）×3 = 24，而在原YOLOV8模型中，总的通道数为（4+1+80）×3 = 255，模型参数大大减少；

S2、设经过双目图像预处理层处理后的双目图像P1的宽度为W，高度为H，使用经过S0改进后的YOLOV8模型对双目图像P1进行目标检测，得到检测后目标检测图像P2，以目标检测图像P2的左上角为原点，建立坐标系，以水平向右为x轴正方向、以竖直向下为y轴正方向。

进一步地，所述双目目标匹配层的操作步骤如下：

对目标检测图像P2进行图像匹配，由于P2为双目图像（包括左图和右图），并且P2中检测出的陨石坑和石块的数目不会太多，因此可使用暴力搜索的方式对左图和右图进行目标匹配，此处目标匹配与图像特征匹配有所不同，参与目标匹配的每个元素是P2中的一个目标检测结果的部分量组成的向量，包括椭圆长轴（或石块长轴）、椭圆短轴（或石块短轴）和椭圆长轴方向（或石块长轴方向）和类别（使用0和1表示二分类结果）；使用欧氏距离判断每个元素之间的相似性，从而进行目标匹配。

作为优选地，所述距离探测与相对位姿估计层的处理方式如下：

S1、根据S2中的匹配结果和双目测距原理，计算出所有石块和陨石坑距离相机（或月球车的距离），进一步计算各自的空间坐标P_i=[X_i,Y_i,Z_i]^T；

S2、使用BA算法求解相机（或月球车）相对位姿，求解方法如下：

使用李代数ξ表示相机的位姿R、t；R表示旋转矩阵，t表示平移向量；假设某一陨石坑的中心点坐标（石块中心点坐标）为P_i=[X_i,Y_i,Z_i]^T，其投影的像素坐标为u_i=[u_i,v_i]^T；则有如下关系：

上式中包含了一次齐次坐标到非齐次坐标的变换，s_i为尺度因子，K为相机内参矩阵，李代数的形式为：

上式中，表示与平移相关的三维向量，/>是与旋转相关的李代数so(3)，也是三维向量，符号“/>”可以将李代数ξ变换为矩阵形式，具体为：

上式中，表示将/>扩展为反对称矩阵，exp(/>)是/>的矩阵指数函数，具体计算表达式为：

上式中，为旋转轴，/>为绕旋转轴/>转过的旋转角度；进而有：

由于相机位姿是未知的，并且存在观测噪声，因此上式不能严格成立，因此定义误差：

上式表示，某一陨石坑的中心点坐标P_i经过估计的位姿R、t投影得到的像素与观测到的像素u_i之间的误差；对于某一次观测，假设共检测出N个元素（正确匹配的对数），那么每个元素均存在一个误差，那么总误差E为：

调整相机位姿R、t，也就是调整李代数可使总误差E达到最小值，此时得到的位姿即是月球车在行驶过程中双目相机在相邻两帧的位姿变化，计算公式为：

上式中，为求解的相邻两帧之间的相对位姿。

作为优选地，所述陨石坑匹配层将目标检测图像P2的左图与陨石坑地标数据库进行匹配，匹配方法使用空间连接的方法，最终得到全局的定位信息。

进一步地，所述月球车位姿优化层对全局路径进行优化，由于距离探测与相对位姿估计层只估计局部位姿，累计误差会逐渐增大，所以引入月球车位姿优化层，以不同时刻的局部位姿和地图为输入信息，经过月球车位姿优化层处理后，最后得到全局一致的位姿和地图；当沿着一定轨迹行驶时，相机在任意时刻的位姿用李代数ξ_i表示，路标点P_j的三维坐标用p_j表示，观测数据z_i,j代表像素平面坐标，那么由光束法平差算法定义的累计误差可以表示为：

上式中，h(ξ_i,p_j)代表估计值；

由此可以定义在所有时刻的关于误差的目标函数：

使用图优化算法最小化上式的目标函数即可得到全局的优化路径。

（三）有益效果

本发明提供一种基于YOLOV8的大范围月球车定位建图方法，可有效解决：

（1）本发明采用双目视觉测距与YOLOV8目标检测相结合，可以快速计算陨石坑（石块）的深度信息，由于将图像特征匹配替换为目标匹配，从而避免了激光点云或深度图像点云计算量大和检测时间长的问题。

（2）利用了空间连接匹配方法可以快速对月球车进行全局定位。

附图说明

图1为本发明提出的一种基于YOLOV8的大范围月球车定位建图方法的流程图；

图2为本发明提出的双目图像预处理层的流程图；

图3为双目图像经过目标检测层处理后的结果示意图；

图4为双目目标匹配层的处理结果示意图。

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

具体实施方式

下面将结合本方案实施例中的附图，对本方案实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本方案一部分实施例，而不是全部的实施例；基于本方案中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本方案保护的范围。

一种基于YOLOV8的大范围月球车定位建图方法，包括陨石坑地标数据库、双目图像预处理层、目标检测层、双目目标匹配层、距离探测与相对位姿估计层、陨石坑匹配层和月球车位姿优化层；所述陨石坑地标数据库的创建方式是从轨道图像中创建一个陨石坑地标数据库，这个数据库将包含每个陨石坑的位置、椭圆长轴和椭圆短轴；所述双目图像预处理层的处理步骤包括：

S1、高斯滤波，用于平滑图像并过滤噪声；

S2、图像增强，使双目图像更加清晰；

S3、图像锐化，使图像的边缘和细节更加清晰。

进一步地，所述目标检测层使用YOLOV8进行目标检测，具体步骤为：

S1、对YOLOV8模型进行改进，由于传统目标检测的结果是以矩形框的形式进行显示，包括目标中心的坐标及目标的宽和高，但是由于陨石坑的形状都是圆形或椭圆形，因此需要重新设计显示形式，具体为陨石坑中心坐标（以像素为单位）、椭圆长轴、椭圆短轴和椭圆长轴方向，其中椭圆长轴方向范围为0度到180度；原YOLOV8模型中，最多可以对80种物体进行分类，而在本发明中，仅设陨石坑和石块两种类别，因此当原YOLOV8模型的头部的每个单元格负责预测三个候选框时，总的通道数为（5+1+2）×3 = 24，而在原YOLOV8模型中，总的通道数为（4+1+80）×3 = 255，模型参数大大减少；

S2、设经过双目图像预处理层处理后的双目图像P1的宽度为W，高度为H，使用经过S0改进后的YOLOV8模型对双目图像P1进行目标检测，得到检测后目标检测图像P2，以目标检测图像P2的左上角为原点，建立坐标系，以水平向右为x轴正方向、以竖直向下为y轴正方向。

进一步地，所述双目目标匹配层的操作步骤如下：

对目标检测图像P2进行图像匹配，由于P2为双目图像（包括左图和右图），并且P2中检测出的陨石坑和石块的数目不会太多，因此可使用暴力搜索的方式对左图和右图进行目标匹配，此处目标匹配与图像特征匹配有所不同，参与目标匹配的每个元素是P2中的一个目标检测结果的部分量组成的向量，包括椭圆长轴（或石块长轴）、椭圆短轴（或石块短轴）和椭圆长轴方向（或石块长轴方向）和类别（使用0和1表示二分类结果）；使用欧氏距离判断每个元素之间的相似性，从而进行目标匹配。

作为优选地，所述距离探测与相对位姿估计层的处理方式如下：

S1、根据S2中的匹配结果和双目测距原理，计算出所有石块和陨石坑距离相机（或月球车的距离），进一步计算各自的空间坐标P_i=[X_i,Y_i,Z_i]^T；

S2、使用BA算法求解相机（或月球车）相对位姿，求解方法如下：

使用李代数ξ表示相机的位姿R、t；R表示旋转矩阵，t表示平移向量；假设某一陨石坑的中心点坐标（石块中心点坐标）为P_i=[X_i,Y_i,Z_i]^T，其投影的像素坐标为u_i=[u_i,v_i]^T；则有如下关系：

上式中包含了一次齐次坐标到非齐次坐标的变换，s_i为尺度因子，K为相机内参矩阵，李代数的形式为：

上式中，表示与平移相关的三维向量，/>是与旋转相关的李代数so(3)，也是三维向量，符号“/>”可以将李代数ξ变换为矩阵形式，具体为：

上式中，表示将/>扩展为反对称矩阵，exp(/>)是/>的矩阵指数函数，具体计算表达式为：

上式中，为旋转轴，/>为绕旋转轴/>转过的旋转角度；进而有：

由于相机位姿是未知的，并且存在观测噪声，因此上式不能严格成立，因此定义误差：

上式表示，某一陨石坑的中心点坐标P_i经过估计的位姿R、t投影得到的像素与观测到的像素u_i之间的误差；对于某一次观测，假设共检测出N个元素（正确匹配的对数），那么每个元素均存在一个误差，那么总误差E为：

调整相机位姿R、t，也就是调整李代数可使总误差E达到最小值，此时得到的位姿即是月球车在行驶过程中双目相机在相邻两帧的位姿变化，计算公式为：

上式中，为求解的相邻两帧之间的相对位姿。

作为优选地，所述陨石坑匹配层将目标检测图像P2的左图与陨石坑地标数据库进行匹配，匹配方法使用空间连接的方法，最终得到全局的定位信息。

进一步地，所述月球车位姿优化层对全局路径进行优化，由于距离探测与相对位姿估计层只估计局部位姿，累计误差会逐渐增大，所以引入月球车位姿优化层，以不同时刻的局部位姿和地图为输入信息，经过月球车位姿优化层处理后，最后得到全局一致的位姿和地图；当沿着一定轨迹行驶时，相机在任意时刻的位姿用李代数ξ_i表示，路标点P_j的三维坐标用p_j表示，观测数据z_i,j代表像素平面坐标，那么由光束法平差算法定义的累计误差可以表示为：

上式中，h(ξ_i,p_j)代表估计值；

由此可以定义在所有时刻的关于误差的目标函数：

使用图优化算法最小化上式的目标函数即可得到全局的优化路径。

实施例一：

一种基于 YOLOV8 的大范围月球车定位建图方法的处理步骤如下：

S1、从轨道图像中创建一个陨石坑地标数据库，这个数据库将包含每个陨石坑的位置、椭圆长轴和椭圆短轴；

S2、对月球车拍摄的双目图像进行高斯滤波、图像增强和图像锐化等预处理操作，使双目图像更加清晰；

S3、使用改进后的 YOLOV8 模型对双目图像进行目标检测，得到检测后目标检测图像，其中每个检测结果包括陨石坑中心坐标、椭圆长轴、椭圆短轴和椭圆长轴方向；

S4、使用暴力搜索的方式对左图和右图进行目标匹配，使用欧氏距离判断每个元素之间的相似性，从而进行目标匹配；

S5、使用双目视差原理计算每个匹配目标的距离，并根据相机内外参数估计每个匹配目标相对于月球车的位姿；

S6、使用陨石坑地标数据库中的信息与匹配目标进行陨石坑匹配，找出与月球车所在区域最接近的陨石坑地标，从而实现月球车的全局定位；

S7、使用图优化对月球车位姿进行优化，更新月球车位姿并更新地图。

以上便是本发明具体的工作流程，下次使用时重复此步骤即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (6)

1.一种基于YOLOV8的大范围月球车定位建图方法，包括陨石坑地标数据库、双目图像预处理层、目标检测层、双目目标匹配层、距离探测与相对位姿估计层、陨石坑匹配层和月球车位姿优化层；所述目标检测层使用YOLOV8进行目标检测，具体步骤为：

S1、对YOLOV8模型进行改进，将陨石坑中心坐标、椭圆长轴、椭圆短轴和椭圆长轴方向，其中椭圆长轴方向范围为0度到180度；仅设陨石坑和石块两种类别，因此当原YOLOV8模型的头部的每个单元格负责预测三个候选框时，总的通道数为（5+1+2）×3 = 24；

S2、设经过双目图像预处理层处理后的双目图像P1的宽度为W，高度为H，使用经过S0改进后的YOLOV8模型对双目图像P1进行目标检测，得到检测后目标检测图像P2，以目标检测图像P2的左上角为原点，建立坐标系，以水平向右为x轴正方向、以竖直向下为y轴正方向。

2.根据权利要求1所述的一种基于YOLOV8的大范围月球车定位建图方法，其特征在于：所述双目目标匹配层的操作步骤如下：

对目标检测图像P2进行图像匹配，使用暴力搜索的方式对左图和右图进行目标匹配，参与目标匹配的每个元素是P2中的一个目标检测结果的部分量组成的向量，包括椭圆长轴或石块长轴、椭圆短轴或石块短轴和椭圆长轴方向或石块长轴方向和类别；使用欧氏距离判断每个元素之间的相似性，从而进行目标匹配。

3.根据权利要求1所述的一种基于YOLOV8的大范围月球车定位建图方法，其特征在于：所述距离探测与相对位姿估计层的处理方式如下：

S1、根据S2中的匹配结果和双目测距原理，计算出所有石块和陨石坑距离相机或月球车的距离，进一步计算各自的空间坐标P_i=[X_i,Y_i,Z_i]^T；

S2、使用BA算法求解相机或月球车相对位姿。

4.根据权利要求1所述的一种基于YOLOV8的大范围月球车定位建图方法，其特征在于：所述陨石坑地标数据库的创建方式是从轨道图像中创建一个陨石坑地标数据库，这个数据库将包含每个陨石坑的位置、椭圆长轴和椭圆短轴；所述双目图像预处理层的处理步骤包括：

S1、高斯滤波，用于平滑图像并过滤噪声；

S2、图像增强，使双目图像更加清晰；

S3、图像锐化，使图像的边缘和细节更加清晰。

5.根据权利要求1所述的一种基于YOLOV8的大范围月球车定位建图方法，其特征在于：所述陨石坑匹配层将目标检测图像P2的左图与陨石坑地标数据库进行匹配，匹配方法使用空间连接的方法，最终得到全局的定位信息。

6.根据权利要求1所述的一种基于YOLOV8的大范围月球车定位建图方法，其特征在于：所述月球车位姿优化层对全局路径进行优化，引入月球车位姿优化层，以不同时刻的局部位姿和地图为输入信息，经过月球车位姿优化层处理后，最后得到全局一致的位姿和地图；当沿着一定轨迹行驶时，相机在任意时刻的位姿用李代数ξ_i表示，路标点P_j的三维坐标用p_j表示，观测数据z_i,j代表像素平面坐标，那么由光束法平差算法定义的累计误差可以表示为：

上式中，h(ξ_i,p_j)代表估计值；

由此可以定义在所有时刻的关于误差的目标函数：

使用图优化算法最小化上式的目标函数即可得到全局的优化路径。