CN112348869A - 通过检测和标定恢复单目slam尺度的方法 - Google Patents

Abstract

本发明公开了一种通过检测和标定恢复单目SLAM尺度的方法，其通过对相机的标定，通过透视变换计算得出在视平面上的点距相机第一深度，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度，以实现对单目SLAM尺度的恢复，其中的计算过程得到有效简化，有效降低了算法复杂度和相关计算量。

Description

通过检测和标定恢复单目SLAM尺度的方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种通过检测和标定恢复单目SLAM尺度的方法。

背景技术

单目相机在拍摄照片时会丢失一个维度，目前可以通过相机的高度和道路的信息恢复尺度。传统恢复单目SLAM尺度的方案依赖于路标识别和道路几何模型计算的精度，计算复杂，且计算量极大。

发明内容

针对以上问题，本发明提出一种通过检测和标定恢复单目SLAM尺度的方法。

为实现本发明的目的，提供一种通过检测和标定恢复单目SLAM尺度的方法，包括如下步骤：

S10，通过对相机的标定，并通过透视变换计算得出在视平面上的点距相机第一深度；

S20，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度；

S30，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度。

在一个实施例中，步骤S10，通过对相机的标定，通过透视变换计算得出在视平面上的点距相机第一深度包括：

S11，选用针孔相机模型，利用张友正相机标定方法，得出相机的内参矩阵和畸变矩阵；

S12，根据内参矩阵和畸变矩阵将图片投影到一个新的视平面，检测在视平面上的点距相机第一深度。

具体地，步骤S11中，通过结合标定板的方法，将相机平面投影到车身的顶视图中，以得到一个新的视平面。

在一个实施例中，步骤S20，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度包括：

S21，选择一张特定的矩阵彩色图画作为设定Marker，并把设定Marker摆在地面上采集多个方向上多组数据作为深度学习模块的训练集；

S22，选择开源YOLO算法对训练集进行训练，以从各个角度识别设定marker，通过距离要素恢复尺度，得到设定Marker距相机第二深度。

具体地，步骤S22中，开源YOLO算法将当前画面中矩阵Marker的四个角的像素坐标，以Marker 4个点的像素坐标。

在一个实施例中，步骤S30，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度包括：

S31，利用步骤S10中经过标定的相机运行ORB_SLAM2算法，通过特征点匹配得到相对尺度s；

S32，当在实时图像中检测到设定Marker时，按照步骤S22得到Marker 4个点的像素坐标，通过步骤S12的透视变换得到这4个点的第一检测深度值；

S33，在SLAM算法中通过像素匹配的方法查询这4个点在SLAM算法中的相机坐标系下的值得到一个尺度不确定的第二检测深度值，对比第一检测深度值和第二检测深度值，得到SLAM算法中的尺度在真实世界中的单位，以确定单目SLAM的尺度。

上述通过检测和标定恢复单目SLAM尺度的方法，通过对相机的标定，通过透视变换计算得出在视平面上的点距相机第一深度，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度，以实现对单目SLAM尺度的恢复，其中的计算过程得到有效简化，有效降低了算法复杂度和相关计算量。

附图说明

图1是一个实施例的通过检测和标定恢复单目SLAM尺度的方法流程图；

图2是一个实施例的相机针孔模型示意图；

图3是一个实施例的透视变换示意图；

图4是一个实施例的ORB_SLAM2算法框架示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的通过检测和标定恢复单目SLAM(同步定位与地图绘制)尺度的方法流程图，包括如下步骤：

S10，通过对相机的标定，并通过透视变换计算得出在视平面上的点距相机第一深度。

该步骤能够进行相机标定，通过对相机的标定，可通过透视变换计算得出在平面上的点距相机的深度(第一深度)。

S20，检测设定Marker(标记)，通过深度学习模块检测设定Marker距相机第二深度。

该步骤能够实现特定Marker(设定Marker)的检测，通过深度学习模块，能够检测和识别到地面上的Marker。

S30，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度。

该步骤可以实现单目SLAM尺度的恢复，将步骤S10和步骤S20计算得出的深度加入SLAM后端优化的过程中，得出一个最优解，即单目SLAM的尺度。

上述通过检测和标定恢复单目SLAM尺度的方法，通过对相机的标定，通过透视变换计算得出在视平面上的点距相机第一深度，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度，以实现对单目SLAM尺度的恢复，其中的计算过程得到有效简化，有效降低了算法复杂度和相关计算量。

在一个实施例中，步骤S10，通过对相机的标定，通过透视变换计算得出在视平面上的点距相机第一深度包括：

S11，选用针孔相机模型，利用张友正相机标定方法，得出相机的内参矩阵和畸变矩阵；

S12，根据内参矩阵和畸变矩阵将图片投影到一个新的视平面，检测在视平面上的点距相机第一深度。

具体地，步骤S11中，通过结合标定板的方法，将相机平面投影到车身的顶视图中，以得到一个新的视平面。

在一个示例中，相机的参数表达可以参考图2所示，具有如下关系：

K＝[fx cx fy cy]；

D＝[k1 k2 k3 p1 p2]；

其中K表示内参矩阵，D表示畸变矩阵，fx，fy表示焦距的参数，具体地fx表示焦距的参数的第一维坐标参数，fy表示焦距的参数的第二维坐标参数，焦距就是真空与图像平面(投影屏幕)的距离，焦距的度量是针对像素的。cx，cy表示主点偏移，主点偏移就是主点位置相对于图像平面(投影面)的位置，具体地cx表示主点偏移的第一维坐标参数，cy表示主点偏移的第二维坐标参数。k1、k2和k3是径向畸变参数，p1和p2是切向畸变参数。

透视变换(Perspective Transformation)是将图片投影到一个新的视平面，它是二维坐标系(x,y)到三维坐标系(X,Y,Z)，再到另一个二维坐标系(x’,y’)空间的映射。在本示例中，可通过结合标定板的方法，将相机平面投影到车身的顶视图中，投影示意图可以参考图3所示。其中第一个二维坐标系指的是原始图片上的某个像素点；三维坐标系指的是这个像素点对应的世界坐标系下的三维点；第二个二维坐标系指的是对应的新的视平面的像素点。

在一个实施例中，步骤S20，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度包括：

S21，选择一张特定的矩阵彩色图画作为设定Marker，并把设定Marker摆在地面上采集多个方向上多组数据(即从各个角度和方向拍摄marker的图片)作为深度学习模块的训练集；

S22，选择开源YOLO算法对训练集进行训练，以从各个角度识别设定marker，通过距离要素恢复尺度，得到设定Marker距相机第二深度。

本实施例选择开源YOLO算法，相比其他算法，YOLO算法速度快，对目标的检测准确率高，在本实施例中，YOLO算法将当前画面中矩阵Marker的四个角的像素坐标，相应的训练的结果是能从各个角度识别这个marker，因为marker中的距离要素是已知的，因而可以通过距离要素恢复尺度。

具体地，步骤S22中，开源YOLO算法将当前画面中矩阵Marker的四个角的像素坐标，以Marker 4个点的像素坐标。

在一个实施例中，步骤S30，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度包括：

S31，利用步骤S10中经过标定的相机运行ORB_SLAM2算法，通过特征点匹配得到相对尺度s；

S32，当在实时图像中检测到设定Marker时，按照步骤S22得到Marker 4个点的像素坐标，通过步骤S12的透视变换得到这4个点的第一检测深度值；

S33，在SLAM算法中通过像素匹配的方法查询这4个点在SLAM算法中的相机坐标系下的值得到一个尺度不确定的第二检测深度值，对比第一检测深度值和第二检测深度值，得到SLAM算法中的尺度在真实世界中的单位，以确定单目SLAM的尺度。

具体地，本实施例利用步骤S10中经过标定的相机运行ORB_SLAM2算法，通过特征点匹配将得到一个尺度s,但是这个尺度s的单位不确定，ORB_SLAM2算法的框架可以参考图4所示，其中从匹配的结果中可以分解得到一个相对尺度s,尺度s就是一个距离比，从这个距离比再结合YOLO算法的结果可以得到最终的绝对距离。

进一步地，在实时图像检测到Marker时，按照步骤S22得到Marker 4个点的像素坐标，再通过步骤S12的透视变换得到这个4个点的深度。然后在SLAM算法中通过像素匹配的方法查询这4个点在SLAM算法中的相机坐标系下的值得到一个尺度不确定的深度值。通过两个值得对比优化可以得到SLAM算法中的尺度在真实世界中的单位。其中，4个点的深度可以指在新的透视面中的三维坐标，一般第三个值称为深度。

进一步地，对比第一检测深度值和第二检测深度值，可以进行优化处理，得到SLAM算法中的尺度在真实世界中的单位，优化的方法如下：从4个值中任意抽2个，共有6个组合，每个组合都可以用来恢复尺度，在本实施例中采用6组结果取平均的方式得到最后的结果。

本实施例采用标定和检测的方法，只需要在SLAM运行后在道路上摆放一个预先设定的Marker，也无需采集稠密的点就可以恢复尺度，其具有计算量小，算法复杂度低的优点。

进一步地，经过实际测试，在8G内存的PC上，能够实时运行系统，尺度恢复的准确度>90％,满足一般要求。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种通过检测和标定恢复单目SLAM尺度的方法，其特征在于，包括如下步骤：

S10，通过对相机的标定，并通过透视变换计算得出在视平面上的点距相机第一深度；

S20，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度；

S30，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度。

2.根据权利要求1所述的通过检测和标定恢复单目SLAM尺度的方法，其特征在于，步骤S10，通过对相机的标定，通过透视变换计算得出在视平面上的点距相机第一深度包括：

S11，选用针孔相机模型，利用张友正相机标定方法，得出相机的内参矩阵和畸变矩阵；

S12，根据内参矩阵和畸变矩阵将图片投影到一个新的视平面，检测在视平面上的点距相机第一深度。

3.根据权利要求2所述的通过检测和标定恢复单目SLAM尺度的方法，其特征在于，步骤S11中，通过结合标定板的方法，将相机平面投影到车身的顶视图中，以得到一个新的视平面。

4.根据权利要求2所述的通过检测和标定恢复单目SLAM尺度的方法，其特征在于，步骤S20，检测设定Marker，通过深度学习模块检测设定Marker距相机第二深度包括：

S21，选择一张特定的矩阵彩色图画作为设定Marker，并把设定Marker摆在地面上采集多个方向上多组数据作为深度学习模块的训练集；

S22，选择开源YOLO算法对训练集进行训练，以从各个角度识别设定marker，通过距离要素恢复尺度，得到设定Marker距相机第二深度。

5.根据权利要求4所述的通过检测和标定恢复单目SLAM尺度的方法，其特征在于，步骤S22中，开源YOLO算法将当前画面中矩阵Marker的四个角的像素坐标，以Marker 4个点的像素坐标。

6.根据权利要求5所述的通过检测和标定恢复单目SLAM尺度的方法，其特征在于，步骤S30，将第一深度和第二深度加入SLAM后端优化的过程中，得到单目SLAM的尺度包括：

S31，利用步骤S10中经过标定的相机运行ORB_SLAM2算法，通过特征点匹配得到相对尺度s；

S32，当在实时图像中检测到设定Marker时，按照步骤S22得到Marker 4个点的像素坐标，通过步骤S12的透视变换得到这4个点的第一检测深度值；

S33，在SLAM算法中通过像素匹配的方法查询这4个点在SLAM算法中的相机坐标系下的值得到一个尺度不确定的第二检测深度值，对比第一检测深度值和第二检测深度值，得到SLAM算法中的尺度在真实世界中的单位，以确定单目SLAM的尺度。

Images