CN109084724A - 一种基于双目视觉的深度学习障碍物测距方法 - Google Patents

Abstract

本发明公开了一种基于双目视觉的深度学习障碍物测距方法，首先对双目相机进行标定，得到相机模型参数和第一相机与第二相机之间的几何位置关系，接着使用基于深度学习的faster‑RCNN网络确定检测目标所在区域，在已知目标在图像上的坐标和双目相机间的相对位置就能确定目标在空间中的三维坐标和距离。利用该方法可以实现车辆倒车过程中车身后方视觉盲区的障碍物检测与距离测量，只需在车身安装双目相机模型，通过深度学习目标检测算法和相机模型检测出环境中障碍物与车辆的距离，该方法快速、有效、安装简便，能够满足车辆盲区实时检测的需求，对驾驶人起到预警作用，保障驾驶人生命及财产安全。

Description

一种基于双目视觉的深度学习障碍物测距方法

技术领域

本发明属于立体视觉测距方法技术领域，具体涉及一种基于双目视觉的 深度学习障碍物测距方法。

背景技术

随着人们生活水平的提高，全国汽车保有数量不断增高，截止2017年 底全国机动车数量已达3.1亿。汽车数量的增多不仅使生活更加便利，同时 也伴随着安全隐患，仅2016一年就发生了道路交通事故864.3万起。由于通 常在倒车过程中驾驶员只能通过后视镜、倒车雷达等技术判断车辆后方环境 情况，不可避免的有功能单一或存在盲区的问题，给交通参与者产生巨大不 便。汽车事故中有很大部分是由于行驶视野不良造成的。随着人们对汽车安 全性、智能化要求的增长，需要一个能够识别、检测障碍物的预警系统保障 车辆及驾驶人的安全。

目前家用轿车上主流的安全预警系统中，激光、雷达、超声波等主动式 测量技术的应用较为普遍，但是这些技术存在着成本昂贵、安装复杂、受环 境影响因素较大等缺点。而且主动测量方法仅能简单的测量车辆与周围环境 的距离，不足以实现对车辆周围环境的直观判断。相比于主动检测方法，本 专利使用的视觉信息测量具有安装简单、成本低、视野开阔等优势，在测量 距离的同时也能够得到目标的内容。同时，为实现智能视觉交通预警系统， 需要一种能够在复杂交通环境下实时运行的目标检测算法，但是传统的算法 基于手工设计的图像特征，不仅依赖于特征设计者的先验知识，而且模型算 法性能无法满足应用需求。

综上所述，在对目标进行距离测量时，存在如下问题：(1)面对复杂场景 无法找到障碍物目标；(2)主动测量成本高、安装复杂、需要主动发出能量； (3)传统检测方法识别障碍目标速度慢、精度低。

发明内容

本发明的目的是提供一种基于双目视觉的深度学习障碍物测距方法，解 决了现有测距方法中面对复杂场景无法找到障碍物目标，检测速度慢的问题。

本发明所采用的技术方案是，一种基于双目视觉的深度学习障碍物测距 方法，

步骤1：搭建包含双目相机的双目视觉数据采集系统，所述双目相机包 包括第一相机和第二相机，所述第一相机和第二相机相对固定在相机支撑架 上；

步骤2：基于针孔相机原理建立双目相机投影模型，随后对双目相机进 行标定，分别求出投影模型内双目相机的内参数矩阵、第一相机与第二相机 的相对几何关系；

步骤3：使用双目相机投影模型中的两个摄像头采集视场中的图像信息， 并对包含障碍物的图像制作标签，将所有标签以2:8的比例分割成测试集和 训练集；

步骤4：搭建基于tensorflow网络的深度学习目标检测模型，检测模型 中包含特征提取、候选区域生成和多任务输出层三部分；

步骤5：初始化tensorflow网络参数，利用步骤3获得的训练集采用梯 度下降算法不断调整优化网络权重参数，直到网络能够准确检测障碍物目标；

步骤6：利用步骤5调整好的网络检测步骤3获得的测试集图片，由网 络输出分别输出第一相机和第二相机的障碍物目标形心坐标x₁(u₁,v₁)、x₂ (u_r,v_r)；

步骤7：将步骤6中两个摄像头的两个二维形心坐标分别代入步骤2得 到的双目视觉数据采集系统模型，从而求出障碍物目标在空间中的三维坐标， 并通过距离计算公式求出障碍物距离，实现目标的识别与测距。

本发明的特点还在于，

步骤2具体为，

使用棋盘格标定板标定，计算出双目相机的内参数和两个相机间的相对 位置，即可确定双目相机投影模型，建立图像上投影点到三维世界坐标之间 的关系，标时使用张正友标定法，首先制作标定平板并将其固定在木板上， 再移动标定板，获取不同角度位置的至少3组照片，检测出照片中所有角点， 通过求解线性方程组，求得双目相机的内参数与两个相机之间的相对位置；

在双目相机投影模型下，三维空间点与二维投影点坐标间的映射关系如 公式(5)所示，齐次坐标形式如公式(6)所示。

m＝PM (5)

0^T是0向量，m是空间点M在成像平面上投影的的坐标，P是内参数矩 阵，其中，f表示焦距，即图像平面和照相机中心间的距离，和 d_x、d_y分别代表x、y轴上的归一化焦距，其中d_x、d_y是单个像素的物理尺 寸，光轴和图像平面的交点c为图像坐标原点，其中c＝[c_x，c_y]，它们组成 的维数为3×3矩阵K称为相机的内参数矩阵，R是照相机方向的旋转矩阵， t是相机光心位置的三维平移向量，R和t共同组成的4×4的矩阵为第一相 机和第二相机的镜头间相对几何关系。

步骤4中目标检测模型由特征提取、候选区域生成，目标位置输出三部 分组成，其中特征提取利用卷积层与池化层交替组合而成的VGG卷积神经 网络进行，将输入图像组合成更抽象的特征图，随后将特征图输入RPN区 域建议网络提取目标的候选区域；再利用ROI池化层将目标候选区域池化到 同一个固定的尺度连接全连接层，最后使用softmax回归算法对目标进行分 类，并使用多任务损失函数得到目标边界框，网络的输出是一个包含目标类 别和位置信息的5维向量，

步骤5具体为，

输入图像经过了特征提取与候选区域选择后，将大小不同的候选区域连 接到ROI池化层，将这些候选区域的特征图转化为固定的尺寸大小，最后将 固定大小的卷积特征图连接到全连接层，模型使用的多任务损失函数如公式 (1)所示，

其中，

其中，

式(1)中，P_i是目标预测概率，如果区域内包含目标p_i*为1，否则为0； t_i是预测的边界框坐标，是边界框真实值；N_cls和N_reg分别是分类项和回归 项的归一化参数，λ是平衡权重，L_cls是分类的交叉熵损失，L_reg是回归损失， 其中R是鲁棒损失函数；

在训练过程中，随着多任务损失函数迭代次数的增加，初始的学习率逐 渐衰减，目标检测模型首先将训练集图片大小统一，再使用RMSProp算法 迭代N次，直到多任务损失函数达到最小，使得不同远近、角度的障碍物都 能够被检测识别。

步骤7具体为，

第一相机和第二相机投影矩阵公式(7)、(8)：

P₁＝K₁(I|0) (7)

P₂＝K₂(R|t) (8)

其中，K₁为第一相机的内参数矩阵，K₂为第二相机的内参数矩阵，P₁为第一相机投影矩阵、P₂为第二相机投影矩阵、I为单位矩阵矩，

根据摄像机的投影模型公式(5)我们可以得到三维点M与二维投影点 关系如下：

目标障碍物三维点M的在第一相机投影点为x₁、三维点M的在第二相 机投影点的为x₂。

测距时，通过双目相机模型和深度学习方法结合得到目标在第一相机坐 标系下的三维坐标(X_L,Y_L,Z_L)，接下来计算障碍物目标与双目相机装置之间 的距离，因此，根据公式(7)、(8)得到第二相机齐次坐标(X_R,Y_R,Z_R,1)^T在世 界坐标系下的位置关系，

由计算出来的第一相机坐标(X_L,Y_L,Z_L)和第二相机齐次坐标 (X_R,Y_R,Z_R,1)^T，由余弦定理(11)，可以求出第一相机和障碍物连线v₁、第一 相机与第二相机之间连线v₂两条线段之间夹角θ，得到障碍物目标与双目相 机光心之间连线的距离D如公式(12)所示

D＝sinθ·v₁ (12)

本发明的有益效果是，本发明的一种基于双目视觉的深度学习障碍物测 距方法针对主动测量方法成本高、安装复杂、需要主动发出能量，非接触测 量方法对目标测距时目的性不强等缺点。提供了一种智能检测汽车盲区障碍 物种距离的方法，只需在车身安装双目相机获取数据，就可以通过深度学习 目标检测算法和双目相机投影模型检测出环境中障碍物与车辆的距离。该方 法快速、有效、安装简便，能够满足车辆盲区实时检测的需求，对驾驶人起 到预警作用，预防交通事故的发生，保障驾驶人生命及财产安全。

附图说明

图1是本发明的一种基于双目视觉的深度学习障碍物测距方法系统流程 图；

图2是本发明的目标检测模型结构图；

图3是本发明的双目视觉模型图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明的一种基于双目视觉的深度学习障碍物测距方法，如图1所示，

步骤1：搭建包含双目相机的双目视觉数据采集系统，所述双目相机包 包括第一相机和第二相机，所述第一相机和第二相机相对固定在相机支撑架 上；

步骤2：基于针孔相机原理建立双目相机投影模型，随后对双目相机进 行标定，分别求出投影模型内双目相机的内参数矩阵、第一相机与第二相机 的相对几何关系；

使用棋盘格标定板标定，计算出双目相机的内参数和两个相机间的相对 位置，即可确定双目相机投影模型，建立图像上投影点到三维世界坐标之间 的关系，标时使用张正友标定法，首先制作标定平板并将其固定在木板上， 再移动标定板，获取不同角度位置的至少3组照片，检测出照片中所有角点， 通过求解线性方程组，求得双目相机的内参数与两个相机之间的相对位置；

在双目相机投影模型下，三维空间点与二维投影点坐标间的映射关系如 公式(5)所示，齐次坐标形式如公式(6)所示。

m＝PM (5)

0^T是0向量，m是空间点M在成像平面上投影的的坐标，P是内参数矩 阵，其中，f表示焦距，即图像平面和相机中心间的距离，和 d_x、d_y分别代表x、y轴上的归一化焦距，其中d_x、d_y是单个像素的物理尺 寸，光轴和图像平面的交点c为图像坐标原点，其中c＝[c_x，c_y]，它们组成 的维数为3×3矩阵K为相机的内参数矩阵，用来描述照相机的投影性质，R 是描述照相机方向的旋转矩阵，t是描述相机中心位置的三维平移向量，R 和t共同组成的4×4的矩阵为第一相机和第二相机的镜头间相对几何关系。

步骤3：使用双目相机投影模型中的两个摄像头采集视场中的图像信息， 并对包含障碍物的图像制作标签，将所有标签以2:8的比例分割成测试集和 训练集；

步骤4：搭建基于tensorflow网络的深度学习目标检测模型，检测模型 中包含特征提取、候选区域生成和多任务输出层三部分；

如图2所示，目标检测模型由特征提取、候选区域生成，目标位置输出 三部分组成，其中特征提取利用卷积层与池化层交替组合而成的VGG卷积 神经网络进行，将输入图像组合成更抽象的特征图，随后将特征图输入RPN 区域建议网络提取目标的候选区域；再利用ROI池化层将目标候选区域池化 到同一个固定的尺度连接全连接层，最后使用softmax回归算法对目标进行 分类，并使用多任务损失函数得到目标边界框，网络的输出是一个包含目标 类别和位置信息的5维向量，

这种方法不仅降低了实现的复杂性，并且面对不同种类，不同光照、遮 挡条件的图像数据有着很强的拓展性；

步骤5：初始化tensorflow网络参数，利用步骤3获得的训练集采用梯 度下降算法不断调整优化网络权重参数，直到网络能够准确检测障碍物目标；

输入图像经过了特征提取与候选区域选择后，将大小不同的候选区域连 接到ROI池化层，将这些候选区域的特征图转化为固定的尺寸大小，最后将 固定大小的卷积特征图连接到全连接层，模型使用的多任务损失函数如公式 (1)所示，

其中，

其中，

式(1)中，Pi是目标预测概率，如果区域内包含目标p_i*为1，否则为0； t_i是预测的边界框坐标，是边界框真实值；N_cls和N_reg分别是分类项和回归 项的归一化参数，λ是平衡权重，L_cls是分类的交叉熵损失，L_reg是回归损失， 其中R是鲁棒损失函数；

在训练过程中，随着多任务损失函数迭代次数的增加，初始的学习率逐 渐衰减，目标检测模型首先将训练集图片大小统一，再使用RMSProp算法 迭代N次，直到多任务损失函数达到最小，使得不同远近、角度的障碍物都 能够被检测识别。

步骤6：利用步骤5调整好的网络检测步骤3获得的测试集图片，由网 络输出分别输出第一相机和第二相机的障碍物目标形心坐标x₁(u₁,v₁)、x₂ (u_r,v_r)；

步骤7：将步骤6中两个摄像头的两个二维形心坐标分别代入步骤2得 到的双目视觉数据采集系统模型，从而求出障碍物目标在空间中的三维坐标， 并通过距离计算公式求出障碍物距离，实现目标的识别与测距。

双目相机在成像过程中只能获得二维图像，失去了深度信息，因此，要 实现视觉距离测量我们可以模仿人眼采用不同位置的两台摄像机采集图像， 再利用像点位置与三维空间点之间的投影关系计算目标空间位置。本文实验 中，两台相机位置如图3所示，两个相机间光轴无需平行但视野范围重叠， 其中O_L、O_R分别是两个相机的光心，空间点M在两个相机成像平面上的投 影分别是x₁与x₂，Z_L与Z_R分别是两个相机的光轴，

在分析双目几何关系时，两个相机间的相对位置关系用单应性矩阵表示。 由于两个相机间只做刚体变换，即只通过单应性矩阵变换了坐标系，所以两 个相机间的几何结构可以由旋转矩阵R和平移矩阵T表示，为了计算方便， 将坐标轴及坐标原点与第一个相机坐标系对齐，即空间坐标系原点为第一相 机光心O_L，坐标Z轴与光轴Z_L重合且与图像平面垂直，X_L、Y_L轴分别平行 于图像x轴、y轴，由此可得第一相机和第二相机投影矩阵公式(7)、(8)：

P₁＝K₁(I|0) (7)

P₂＝K₂(R|t) (8)

其中，K₁为第一相机的内参数矩阵，K₂为第二相机的内参数矩阵，P₁为第一相机投影矩阵、P₂为第二相机投影矩阵、I为单位矩阵矩，

根据摄像机的投影模型公式(5)我们可以得到三维点M与二维投影点 关系如下：

目标障碍物三维点M的在第一相机投影点为x₁、三维点M的在第二相 机投影点的为x₂。

测距时，通过深度学习第一相机和第二相机检测到的图像对应坐标分别 为x₁(u_l，v_l)、x₂(u_r，v_r)，投影矩阵P₁、P₂中的内外参数可以通过双目相机 立体标定获得，空间点M就能通过式(9)计算得到坐标，由于图像噪声、 照相机参数误差和其他系统误差，空间坐标M(x_L，y_L，z_L)可能没有精确解， 所以通过最小二乘SVD算法来得到三维点的估计值。

通过双目相机模型和深度学习方法结合得到目标在第一相机坐标系下 的三维坐标(X_L,Y_L,Z_L)，接下来计算障碍物目标与双目相机装置之间的距离, 因此，可以根据公式(7)(8)得到第二相机齐次坐标(X_R,Y_R,Z_R,1)^T在世界坐标 系下的位置关系，

由计算出来的第一相机坐标(X_L,Y_L,Z_L)和第二相机齐次坐标 (X_R,Y_R,Z_R,1)^T，由余弦定理(11)，可以求出第一相机和障碍物连线v₁、第一 相机与第二相机之间连线v₂两条线段之间夹角θ，得到障碍物目标与双目相 机光心之间连线的距离D如公式(12)所示

D＝sinθ·v₁ (12)

下面结合具体实施例对本发明做出详细解释，

对相机进行标定的主要任务是求解摄像机的内外参数矩阵，准确的标定 出摄像机的参数对测距精度有着很重要的影响，调整好相机的位置与角度， 对标定板分别从不同角度拍摄28张图片，利用软件Matlab标定工具箱 stereoCameraCalibrator，对标定板提取角点，获取角点后，采用张正友标定 法，求解两个相机内外参数如表1所示，再通过同一时刻对标定板拍摄图像 计算双目相机间的结构关系，即旋转矩阵R和平移向量t结果如表2所示。

表1双目立体视觉系统内参数标定结果

表2双目立体视觉系统外参数标定结果

两个相机对空间障碍物目标摄像，同一时刻目标特征点M在左右相机 成像平面上的投影分别为x₁(u_l，v_l)、x₂(u_r，v_r)。利用深度学习检测算法检测 到x₁、x₂坐标后可以代入公式(9)进行三维坐标计算，得到目标在左相机坐 标系下的三维坐标(X_L,Y_L,Z_L)。因此，可以根据公式(7)(8)得到第二相机光 心齐次坐标(X_R,Y_R,Z_R,1)^T在坐标系下的位置关系。

由计算出来的第一相机坐标(X_L,Y_L,Z_L)和第二相机齐次坐标 (X_R,Y_R,Z_R,1)^T，由余弦定理(11)，可以求出第一相机和障碍物连线v₁、第一 相机与第二相机之间连线v₂两条线段之间夹角θ，得到障碍物目标与双目相 机光心之间连线的距离D如公式(12)所示

D＝sinθ·v₁ (12)

为验证本文提出的测距方法，进行实物测量实验，双目相机对不同距离 和角度的障碍物进行拍摄，得到的图像数据输入已经训练好的目标检测网络 中该模型能够自动分辨障碍物种类与坐标位置，以第一相机和第二相机视觉 图像中同一个物体形心为匹配点x_l、x_r，将匹配点x_l、x_r与之前的双目标定 得到的相机投影矩阵P₁、P₂代入公式(9)，就能求得障碍物在空间中的三维 坐标M，利用距离计算公式(11)(12)即可求得障碍物距离车辆的距离。

在距离双目相机为5米-7.5米的4组不同的距离对移动障碍物进行测距 实验，如表3所示。

表3距离检测数据

根据表3的距离检测结果可以看出，此方法测出的障碍物距离与实际距 离误差控制在0-5％内，检测结果精准，且不会放过视场内任何一个障碍物 信息，具有良好的工业应用前景。

本发明的深度学习视觉目标检测技术具有拓展性，也适用于其他子类的 识别，只要参与训练的数据运行在搭建的深度学习模型中进行学习，学习到 该类对象的特征后就能实现该类对象的子类识别任务。当需要识别新的子类 时，对新子类进行学习，并在网络输出的softmax分类器上扩展分类的数据 即可。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发 明精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发 明的保护范围之内。

Claims (5)

1.一种基于双目视觉的深度学习障碍物测距方法，其特征在于，具体操作步骤如下，

步骤1：搭建包含双目相机的双目视觉数据采集系统，所述双目相机包包括第一相机和第二相机，所述第一相机和第二相机相对固定在相机支撑架上；

步骤2：基于针孔相机原理建立双目相机投影模型，随后对双目相机进行标定，分别求出投影模型内双目相机的内参数矩阵、第一相机与第二相机的相对几何关系；

步骤7：将步骤6中两个摄像头的两个二维形心坐标分别代入步骤2得到的双目视觉数据采集系统模型，从而求出障碍物目标在空间中的三维坐标，并通过距离计算公式求出障碍物距离，实现目标的识别与测距。

2.根据权利要求1所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤2具体为，

使用棋盘格标定板标定，计算出双目相机的内参数和两个相机间的相对位置，即可确定双目相机投影模型，建立图像上投影点到三维世界坐标之间的关系，标时使用张正友标定法，首先制作标定平板并将其固定在木板上，再移动标定板，获取不同角度位置的至少3组照片，检测出照片中所有角点，通过求解线性方程组，求得双目相机的内参数与两个相机之间的相对位置；

在双目相机投影模型下，三维空间点与二维投影点坐标间的映射关系如公式(5)所示，齐次坐标形式如公式(6)所示，

m＝PM (5)

0^T是0向量，m是空间点M在成像平面上投影的的坐标，P是内参数矩阵，其中，f表示焦距，即图像平面和相机中心间的距离，和d_x、d_y分别代表x、y轴上的归一化焦距，其中d_x、d_y是单个像素的物理尺寸，光轴和图像平面的交点c为图像坐标原点，其中c＝[c_x，c_y]，它们组成的维数为3×3矩阵K称为相机的内参数矩阵，R是照相机方向的旋转矩阵，t是相机中心位置的三维平移向量，R和t共同组成的4×4的矩阵为第一相机和第二相机的镜头间相对几何关系。

3.根据权利要求2所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤4中目标检测模型由特征提取、候选区域生成，目标位置输出三部分组成，其中特征提取利用卷积层与池化层交替组合而成的VGG卷积神经网络进行，将输入图像组合成更抽象的特征图，随后将特征图输入RPN区域建议网络提取目标的候选区域；再利用ROI池化层将目标候选区域池化到同一个固定的尺度连接全连接层，最后使用softmax回归算法对目标进行分类，并使用多任务损失函数得到目标边界框，网络的输出是一个包含目标类别和位置信息的5维向量。

4.根据权利要求3所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤5具体为，

输入图像经过了特征提取与候选区域选择后，将大小不同的候选区域连接到ROI池化层，将这些候选区域的特征图转化为固定的尺寸大小，最后将固定大小的卷积特征图连接到全连接层，模型使用的多任务损失函数如公式(1)所示，

其中，

其中，

式(1)中，Pi是目标预测概率，如果区域内包含目标p_i*为1，否则为0；t_i是预测的边界框坐标，是边界框真实值；N_cls和N_reg分别是分类项和回归项的归一化参数，λ是平衡权重，L_cls是分类的交叉熵损失，L_reg是回归损失，其中R是鲁棒损失函数；

在训练过程中，随着多任务损失函数迭代次数的增加，初始的学习率逐渐衰减，目标检测模型首先将训练集图片大小统一，再使用RMSProp算法迭代N次，直到多任务损失函数达到最小，使得不同远近、角度的障碍物都能够被检测识别。

5.根据权利要求1所述的一种基于双目视觉的深度学习障碍物测距方法，其特征在于，步骤7具体为，

第一相机和第二相机投影矩阵公式(7)、(8)：

P₁＝K₁(I|0) (7)

P₂＝K₂(R|t) (8)

其中，K₁为第一相机的内参数矩阵，K₂为第二相机的内参数矩阵，P₁为第一相机投影矩阵、P₂为第二相机投影矩阵、I为单位矩阵矩，

根据摄像机的投影模型公式(5)我们可以得到三维点M与二维投影点关系如下：

目标障碍物三维点M的在第一相机投影点为x₁、三维点M的在第二相机投影点的为x₂，

测距时，通过双目相机模型和深度学习方法结合得到目标在第一相机坐标系下的三维坐标(X_L,Y_L,Z_L)，接下来计算障碍物目标与双目相机装置之间的距离,因此，根据公式(7)、(8)得到第二相机齐次坐标(X_R,Y_R,Z_R,1)^T在世界坐标系下的位置关系，

由计算出来的第一相机坐标(X_L,Y_L,Z_L)和第二相机齐次坐标(X_R,Y_R,Z_R,1)^T，由余弦定理(11)，可以求出第一相机和障碍物连线v₁、第一相机与第二相机之间连线v₂两条线段之间夹角θ，得到障碍物目标与双目相机光心之间连线的距离D如公式(12)所示