CN114494462A - 一种基于Yolov5和改进跟踪算法的双目相机测距方法 - Google Patents

Abstract

本发明公开了一种基于Yolov5和改进跟踪算法的双目相机测距方法，包括下列步骤：A、图像信息采集，从双目相机中分别获取图像信息作为输入；B：双目相机标定与校正，对各个相机进行相机参数标定和双目校正；C：目标跟踪与定位，采用Yolov5进行基本的目标检测识别，在基于识别的目标图像信息通过改进跟踪算法对目标进行跟踪和定位；D：立体匹配与视差计算，对上一步得到的结果进行立体匹配，并进行视差计算；E：实际距离计算，根据双目测距原理进行实际距离计算。本发明解决了现有技术中双目相机视觉系统计算复杂度高、受定位误差抖动影响明显的技术问题。

Description

一种基于Yolov5和改进跟踪算法的双目相机测距方法

技术领域

本发明涉及图像处理技术领域，具体一种基于Yolov5和改进跟踪算法的双目相机测距方法。

背景技术

现今，机械视觉技术在物流运输、自动驾驶等方面的应用越来越广，其中双目相机视觉测距系统相比其他系统有一定优势，例如：(1)直接利用视差计算距离，精度比单目高；(2)成本比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低，考虑应用的可靠性在一些使用场景中性价比较高；(3)无需维护样本数据库，因为对于双目没有样本的概念。常规双目相机测距方法的流程图如图2，然而该技术目前也还具有下列缺陷：(1)计算复杂度高。该方法需要逐像素匹配，为保证匹配结果的鲁棒性，需要在算法中增加大量的错误剔除策略，计算量较大，很难实现实时测量。(2)相机装设在行驶的汽车或物流机器人上，在采集过程中受到行驶产生的定位误差抖动影响，且双目相机受到的影响更明显，需要改善。

发明内容

本发明的目的是提供一种基于Yolov5和改进跟踪算法的双目相机测距方法，用于解决现有技术中双目相机视觉系统计算复杂度高、受定位误差抖动影响明显的技术问题。

所述的基于Yolov5和改进跟踪算法的双目相机测距方法，包括下列步骤：

A、图像信息采集，从双目相机中分别获取图像信息作为输入；

B：双目相机标定与校正，对各个相机进行相机参数标定和双目校正；

C：目标跟踪与定位，采用Yolov5进行基本的目标检测识别，在基于识别的目标图像信息通过改进跟踪算法对目标进行跟踪和定位；

D：立体匹配与视差计算，对上一步得到的结果进行立体匹配，并进行视差计算；

E：实际距离计算，根据双目测距原理进行实际距离计算。

优选的，所述步骤C的目标检测识别的流程包括，首先对双目相机提供的左、右相机图像信息，经过一系列图像预处理，然后输入训练后的Yolov5检测模型，通过该算法得到预测结果，然后进行结果后处理。而经过上述算法检测后得到的结果包括：目标类别、目标的ID以及根据自适应锚框确定的位置信息。

优选的，所述Yolov5检测模型包括：

(1)Input输入端：在模型训练阶段进行图像预处理，包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

(2)Backbone基准网络：是分类器种的网络，包括Focus结构与CSP结构；

(3)Neck网络：位于基准网络和头网络的中间位置，目标检测网络在BackBone与最后的Head输出层之间插入了FPN+PAN结构；

(4)Head输出层：用来完成目标检测结果的输出，包括输出层在训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_hms。

优选的，所述Yolov5检测模型中包含基本组件模块CBL、CSP1_X、CSP2_X、Focus、SPP，这些基本组件模块的具体内容如下所述：

(1)CBL模块，由Conv+BN+Leaky_relu激活函数组成；

(2)CSP1_X模块，由CBL模块、若干个Res unint模块以及卷积层Concat连接而成；Res unint模块用来构建深层网络；

(3)CSP2_X模块，由卷积层和若干个CBL模块Concat连接而成；

(4)Focus模块，Focus结构首先将多个slice结果Concat连接，然后将其送入CBL模块中；

(5)SPP模块，采用最大池化方式，进行多尺度特征融合。

优选的，所述步骤C中的跟踪定位方法包括：将目标检测识别得到的位置信息同时输入特征提取模块和轨迹预测模块，特征提取模块采用PPLCNet，通过单独的CNN深度学习模型进行特征提取，提取的特征向量参数不少于500个；而轨迹预测模块采用卡尔曼滤波算法，通过当前位置信息预测新的位置信息；将位置信息和特征向量参数结合，通过基于匈牙利算法的目标匹配模块对数据进行匹配，再以马氏距离算法进行相似度计算，以实现对ID的重新分配、跟踪和定位。

优选的，所述步骤B中，通过双目相机定标得出每个相机的内部参数，还需要通过标定来测量两个相机之间的相对位置，即右相机相对于左相机的旋转矩阵R、平移向量t，所述内部参数至少包括两个径向畸变的参数k1、k2，以及两个切向畸变的参数p1，p2。

优选的，所述步骤B中，双目校正是根据摄像头定标后获得的单目内参数据和双目相对位置关系，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，其中单目相机的内参数据包括焦距、成像原点、畸变系数，双目相机的相对位置关系包括旋转矩阵和平移向量；这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

优选的，所述步骤D中，通过上一步计算得到左、右相机图像中目标唯一ID、图像特征向量、大小和位置信息后，进行左、右相机图像同一目标立体匹配与视差计算，立体匹配是完成同一目标的最大匹配，并得到视差图；视差计算是左右目标图像相同特征点在x坐标轴上的差值。

优选的，所述步骤E中，左右相机在同一水平线上，构建X_Z坐标系，其中b是左右相机之间的距离，f为左右相机焦距，PO是目标实际坐标，目标实际坐标中X0是水平坐标，Z0是距离，PL是左相机成像的图像坐标，PR是左相机成像的图像坐标；根据三角形测距原理，对于图像中每个像素有：

可得：

Z0×L_X＝X0×f

Z0×R_X＝X0×f-b×f

两式相减得：

其中d＝R_X-L_X，为视差；

左、右相机距离b通过物理测量，焦距f是相机自身参数，视差d通过上一步计算获取，通过上述公式计算得到目标实际距离Z0。

本发明具有以下优点：本方案进行目标检测时使用Yolov 5算法，Yolov 5是一种单阶段目标检测算法，该算法在Yolov 4的基础上添加了一些新的改进思路，使用Mosaic数据增强操作提升模型的训练速度和网络的精度，并提出了一种自适应锚框计算与自适应图片缩放方法，使其计算速度与精度都得到了极大的性能提升。通过该算法得到预测结果，然后进行结果后处理。而经过上述算法检测后得到的结果包括：目标类别、目标的ID以及根据自适应锚框确定位置信息。

本方法在进行跟踪定位时，采用PPLCNet深度学习模型、卡尔曼滤波算法、匈牙利算法和马氏距离算法将结合对数据进行计算处理，这种跟踪算法的改进在进行位置信息预测时，能够改善定位误差抖动问题，在实时距离测量上比现有技术更有优势。

在获取准确的目标唯一ID、图像特征向量、大小和位置信息等信息后，由于采用了双目测距方法，直接利用视差计算距离，精度比单目高，且成本小于激光雷达等设备，具有较好的性价比。

附图说明

图1为本发明一种基于Yolov5和改进跟踪算法的双目相机测距方法的流程图。

图2为常规的双目相机测距方法的流程图。

图3为本发明进行目标检测和跟踪定位的流程图。

图4为本发明中Yolov5目标检测方法的模型结构图。

图5为图4所示结构中包含的基本组件模块的结构组件图。

图6为本发明中Yolov5目标检测方法的流程图。

图7为本发明中双目测距原理图。

图8为卡尔曼轨迹预测流程图。

图9为PPLCNet特征模型结构图。

图10为PPLCNet特征提取流程图

具体实施方式

下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和伸入的理解。

如图1-10所示，本发明提供一种基于Yolov5和改进跟踪算法的双目相机测距方法，包括下列步骤：

A、图像信息采集，从双目相机中分别获取图像信息作为输入。采用软硬件结合得方式获取图像流数据。

B：双目相机标定与校正，对各个相机进行相机参数标定和双目校正。

相机由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1，k2，k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1，p2确定。单个相机的定标主要是计算出相机的内参(焦距f和成像原点cx，cy、五个畸变参数(一般只需要计算出k1，k2，p1，p2，对于鱼眼镜头等径向畸变特别大的才需要计算k3))以及外参(标定物的世界坐标)。而双目相机定标不仅要得出每个相机的内部参数，还需要通过标定来测量两个相机之间的相对位置，即右相机相对于左相机的旋转矩阵R、平移向量t。

双目校正是根据摄像头定标后获得的单目内参数据(焦距、成像原点、畸变系数)和双目相对位置关系(旋转矩阵和平移向量)，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致(CV_CALIB_ZERO_DISPARITY标志位设置时发生作用)、两摄像头光轴平行、左右成像平面共面、对极线行对齐。这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。该部分操作方式与传统方法相近，传统方法的流程图见图2。

C：目标跟踪与定位，采用Yolov5进行基本的目标检测识别，在基于识别的目标图像信息通过改进跟踪算法对目标进行跟踪和定位。具体流程步骤参见图3。

Yolov 5是一种单阶段目标检测算法，该算法在Yolov 4的基础上添加了一些新的改进思路，使其速度与精度都得到了极大的性能提升。其主要的改进思路如下所示，模型结构图见图4、相关流程图见图6，：

(1)Input输入端：在模型训练阶段，提出了一些改进思路进行图像预处理，主要包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

(2)Backbone基准网络：融合其它检测算法中的一些新思路，主要包括Focus结构与CSP结构；

(3)Neck网络：目标检测网络在BackBone与最后的Head输出层之间往往会插入一些层，Yolov 5中添加了FPN+PAN结构；

(4)Head输出层：输出层的锚框机制与Yolov 4相同，主要改进的是训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_nms；

在图4中，Input表示输入的图片。该网络的输入图像大小为608*608，该阶段通常包含一个图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。在网络训练阶段，Yolov 5使用Mosaic数据增强操作提升模型的训练速度和网络的精度；并提出了一种自适应锚框计算与自适应图片缩放方法。

Backbone通常是一些性能优异的分类器种的网络，该模块用来提取一些通用的特征表示。Yolov 5中不仅使用了CSPDarknet53结构，而且使用了Focus结构作为基准网络。

Neck通常位于基准网络和头网络的中间位置，利用它可以进一步提升特征的多样性及鲁棒性。

Head用来完成目标检测结果的输出。针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支。

Loss函数上，Yolov5利用GIOU_Loss来代替Smooth L1 Loss函数，从而进一步提升算法的检测精度。

上述模型结构图中包含的基本组件模块CBL、CSP1_X、CSP2_X、Focus、SPP，参见图5，这些基本组件模块的具体内容如下所述。

(1)CBL模块，由Conv+BN+Leaky_relu激活函数组成，如图5所示。

Res unit-借鉴ResNet网络中的残差结构，用来构建深层网络，CBM是残差模块中的子模块，如图5所示。

(2)CSP1_X模块，借鉴CSPNet网络结构，该模块由CBL模块、Res unint模块以及卷积层、Concat连接而成，Res unint模块用来构建深层网络，如图5所示。

(3)CSP2_X模块，借鉴CSPNet网络结构，该模块由卷积层和CBL模块Concat连接而成，如图5所示。

(4)Focus模块，如上图中的模块5所示，Focus结构首先将多个slice结果Concat连接，然后将其送入CBL模块中，如图5所示。

(5)SPP模块，采用1×1、5×5、9×9和13×13的最大池化方式，进行多尺度特征融合，如图5所示。

利用上述的Yolov5算法，本方法中目标的检测流程包括，首先对双目相机提供的左、右相机图像信息，经过一系列图像预处理，然后输入训练后的Yolov5检测模型，通过该算法得到预测结果，然后进行结果后处理。而经过上述算法检测后得到的结果包括：目标类别、目标的ID以及根据自适应锚框确定位置信息(即目标框的四个点坐标)。

上面得到的位置信息同时输入特征提取模块和轨迹预测模块，特征提取模块采用PPLCNet，通过单独的CNN深度学习模型进行特征提取，能够提取的特征向量参数不少于500个。而轨迹预测模块采用卡尔曼滤波算法，通过当前位置信息预测新的位置信息。其中PPLCNet特征模型结构图如图8所示，应用该特征模型的具体方法如下。

如图9所示，首先在检测前采集获取足够数量的检测框图片数据集，然后进行PPLCNet特征提取训练，获得训练后的模型，实际检测时，先将Yolov5得到的检测框图片进行图像预处理，再用PPLCNet提取模型提取特征向量，获取特征提取结果向量后进行特征向量的后处理，由此得到Yolov5算法的结果。

接着如图10所示，对于上述检测模块的算法结果通过下列步骤实现融合，先获取输出的检测模型，再根据模型输出构件观测矩阵、观测值矩阵协方差矩阵，再预测检测框坐标；同时在输出检测模型时进行初始化体统状态，再求取系统状态向量初始协方差矩阵以及状态向量协方差矩阵的噪声矩阵，而后通过状态转移矩阵结合预测的检测框坐标进行对卡尔曼增益的计算，得到更新检测框坐标和更新状态转移矩阵，该状态转移矩阵影响下一次称量。

将位置信息和特征向量参数结合，基于匈牙利算法的目标匹配模块对数据进行匹配，再以马氏距离算法进行相似度计算，以实现对ID的重新分配、跟踪和定位。通过采用PPLCNet深度学习模型、卡尔曼滤波算法、匈牙利算法和马氏距离算法将结合对数据进行计算处理，这种跟踪算法的改进在进行位置信息预测时，能够改善定位误差抖动问题，在实时距离测量上比现有技术更有优势。

D：立体匹配与视差计算，对上一步得到的结果进行立体匹配，并进行视差计算。

通过上一步计算得到左、右相机图像中目标唯一ID、图像特征向量、大小和位置信息后，进行左、右相机图像同一目标立体匹配与视差计算，立体匹配是完成同一目标的最大匹配，并得到视差图；视差计算是左右目标图像相同特征点在x坐标轴上的差值。

E：实际距离计算，根据双目测距原理进行实际距离计算。

如图7所示，左右相机在同一水平线上，构建X_Z坐标系(Y坐标左、右相机一致，因此未给出)，其中b是左右相机之间的距离，f为左右相机焦距，PO是目标实际坐标(其中X0是水平坐标，Z0是距离)，PL是左相机成像的图像坐标，PR是左相机成像的图像坐标。根据三角形测距原理，对于图像中每个像素有：

可得：

Z0×L_X＝X0×f

Z0×R_X＝X0×f-b×f

两式相减得：

其中d＝R_X-L_X，为视差。

因此，双目相机测距得原理是通过测定左、右相机距离b、焦距f和视差d来计算目标距离，左、右相机距离b通过物理测量，焦距f是相机自身参数，视差d通过上一步计算获取，即可通过上述公式计算得到目标实际距离Z0。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。

Claims (9)

1.一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：包括下列步骤：

A、图像信息采集，从双目相机中分别获取图像信息作为输入；

B：双目相机标定与校正，对各个相机进行相机参数标定和双目校正；

C：目标跟踪与定位，采用Yolov5进行基本的目标检测识别，在基于识别的目标图像信息通过改进跟踪算法对目标进行跟踪和定位；

D：立体匹配与视差计算，对上一步得到的结果进行立体匹配，并进行视差计算；

E：实际距离计算，根据双目测距原理进行实际距离计算。

2.根据权利要求1所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述步骤C的目标检测识别的流程包括，首先对双目相机提供的左、右相机图像信息，经过一系列图像预处理，然后输入训练后的Yolov5检测模型，通过该算法得到预测结果，然后进行结果后处理。而经过上述算法检测后得到的结果包括：目标类别、目标的ID以及根据自适应锚框确定的位置信息。

3.根据权利要求2所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述Yolov5检测模型包括：

(1)Input输入端：在模型训练阶段进行图像预处理，包括Mosaic数据增强、自适应锚框计算、自适应图片缩放；

(2)Backbone基准网络：是分类器种的网络，包括Focus结构与CSP结构；

(3)Neck网络：位于基准网络和头网络的中间位置，目标检测网络在BackBone与最后的Head输出层之间插入了FPN+PAN结构；

(4)Head输出层：用来完成目标检测结果的输出，包括输出层在训练时的损失函数GIOU_Loss，以及预测框筛选的DIOU_hms。

4.根据权利要求3所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述Yolov5检测模型中包含基本组件模块CBL、CSP1_X、CSP2_X、Focus、SPP，这些基本组件模块的具体内容如下所述：

(1)CBL模块，由Conv+BN+Leaky_relu激活函数组成；

(2)CSP1_X模块，由CBL模块、若干个Res unint模块以及卷积层Concat连接而成；Resunint模块用来构建深层网络；

(3)CSP2_X模块，由卷积层和若干个CBL模块Concat连接而成；

(4)Focus模块，Focus结构首先将多个slice结果Concat连接，然后将其送入CBL模块中；

(5)SPP模块，采用最大池化方式，进行多尺度特征融合。

5.根据权利要求2-4中任一所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述步骤C中的跟踪定位方法包括：将目标检测识别得到的位置信息同时输入特征提取模块和轨迹预测模块，特征提取模块采用PPLCNet，通过单独的CNN深度学习模型进行特征提取，提取的特征向量参数不少于500个；而轨迹预测模块采用卡尔曼滤波算法，通过当前位置信息预测新的位置信息；将位置信息和特征向量参数结合，通过基于匈牙利算法的目标匹配模块对数据进行匹配，再以马氏距离算法进行相似度计算，以实现对ID的重新分配、跟踪和定位。

6.根据权利要求1所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述步骤B中，通过双目相机定标得出每个相机的内部参数，还需要通过标定来测量两个相机之间的相对位置，即右相机相对于左相机的旋转矩阵R、平移向量t，所述内部参数至少包括两个径向畸变的参数k1、k2，以及两个切向畸变的参数p1，p2。

7.根据权利要求6所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述步骤B中，双目校正是根据摄像头定标后获得的单目内参数据和双目相对位置关系，分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，其中单目相机的内参数据包括焦距、成像原点、畸变系数，双目相机的相对位置关系包括旋转矩阵和平移向量；这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。

8.根据权利要求5所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述步骤D中，通过上一步计算得到左、右相机图像中目标唯一ID、图像特征向量、大小和位置信息后，进行左、右相机图像同一目标立体匹配与视差计算，立体匹配是完成同一目标的最大匹配，并得到视差图；视差计算是左右目标图像相同特征点在x坐标轴上的差值。

9.根据权利要求8所述的一种基于Yolov5和改进跟踪算法的双目相机测距方法，其特征在于：所述步骤E中，左右相机在同一水平线上，构建X_Z坐标系，其中b是左右相机之间的距离，f为左右相机焦距，PO是目标实际坐标，目标实际坐标中X0是水平坐标，Z0是距离，PL是左相机成像的图像坐标，PR是左相机成像的图像坐标；根据三角形测距原理，对于图像中每个像素有：

可得：

Z0×L_X＝X0×f

Z0×R_X＝X0×f-b×f

两式相减得：

其中d＝R_X-L_X，为视差；

左、右相机距离b通过物理测量，焦距f是相机自身参数，视差d通过上一步计算获取，通过上述公式计算得到目标实际距离Z0。

Images