CN106156748A - 基于车载双目相机的交通场景参与者识别方法 - Google Patents

Abstract

本发明涉及一种基于车载双目相机的交通场景参与者识别方法，解决了现有技术的不足，技术方案为：通过双目系统进行数据获取，其特征在于：包括以下步骤：步骤一：车载双目相机获取当前道路图像，精细图像预处理以及双目视差匹配代价计算；步骤二：进行纵向路面参数估计，获取地平线以及路面范围信息；步骤三：利用视差匹配代价确定潜在障碍物的位置以及尺寸信息；步骤四：利用深度卷积神经网络描述障碍物特征信息，在特征图谱的输出基础上利用softmax分类器验证障碍物检测区域并确定障碍物的种类。利用轮廓以及纹理信息之外，还可以额外利用视差信息，识别准确率远高于浅层识别方法。

Description

基于车载双目相机的交通场景参与者识别方法

技术领域

本发明涉及一种车辆周围障碍物的精确识别方法，特别涉及一种利用双目系统提供的视差信息，确定障碍物位置，高度以及距离信息的基于车载双目相机的交通场景参与者识别方法。

背景技术

现有视觉系统障碍物识别的方法多利用车辆模板信息或几何以及边缘特征信息(如车辆对称性、车牌、车灯、底部阴影等)，各现有方法均有很强的局限性。并且对应的距离信息由障碍物尺度变化比例或障碍物与路面交线信息获得，准确性不高且应用场景受限。车辆识别方法多基于浅层图像梯度信息的分类器，对于车辆特征的描述不具有普遍性，识别率较低，且不适用于复杂多变的行驶环境。

现有技术：车载相机系统包括双目系统和单目系统，一般以单目系统为主。

现有技术存在的问题包括：1.基于视觉的障碍物检测：不同的方法适用于不同的障碍物类别。以车辆检测为例，此类方法多利用车辆模板信息或几何以及边缘特征信息(如车辆对称性、车牌、车灯、底部阴影等)，受车辆角度、光照等因素影响，局限性较大，且通用性不强(如不适用于其他道路使用者，如行人，自行车)。2.基于浅层机器学习的障碍物识别：基于梯度的车辆特征提取方法无法描述各种类型、角度的交通场景参与者特征。例如，对于车辆的有效特征提取方法不适用于行人的特征描述。另外，此类方法在复杂行驶环境中识别效果较差。

发明内容

本发明的目的在于解决上述现有技术车辆特征的描述不具有普遍性，识别率较低，且不适用于复杂多变的行驶环境的问题，提供了一种基于车载双目相机的交通场景参与者识别方法。

本发明解决其技术问题所采用的技术方案是：一种基于车载双目相机的交通场景参与者识别方法，包括以下步骤：

步骤一：车载双目相机获取当前道路图像，精细图像预处理以及双目视差匹配代价计算；

步骤二：进行纵向路面参数估计，获取地平线以及路面范围信息；

步骤三：利用视差匹配代价确定潜在障碍物的位置以及尺寸信息；

步骤四：利用深度卷积神经网络描述障碍物特征信息，在特征图谱的输出基础上利用softmax分类器验证障碍物检测区域并确定障碍物的种类。

本方法发明了一种新的基于双目视觉的障碍物区域检测方法以及基于深度卷积神经网络的障碍物识别方法，双目系统除了可以利用单目系统所能提供的轮廓以及纹理信息之外，还可以额外利用视差信息，可以提升障碍物区域检测的鲁棒性。基于深度卷积神经网络的特征提取方法适用于各种障碍物类别，并且识别准确率远高于浅层识别方法。

作为优选，在所述步骤一中，车载双目相机获取RGB格式双目图像，对图像进行预处理，主要包括降噪、除畸变以及立体矫正，对预处理后的图片中每个像素点(u，v)对应的视差d，计算基于灰度值绝对值之差(SAD)的匹配代价C_m(u，v，d)，其中u，v，d的范围均为设定参数。

作为优选，在所述步骤二中，进行纵向路面参数估计，包括以下子步骤：

纵向路面参数估计子步骤一：对视差匹配代价向图像纵轴即v轴进行投影求和，计算图像每一行v值对应视差代价之和的最小值Cv；

纵向路面参数估计子步骤二：通过设定视差代价阈值Td，得出每行对应视差代价之和小于Cv加Td所对应的视差值d，通过v-d映射得到v-视差图；

纵向路面参数估计子步骤三：将v-视差图投影到现实坐标系高度与深度的映射，利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，获得纵向道路平面对应的v-视差图；

v-视差图中，通过视差d＝0得到地平线v_o，通过视差d＞0对应的图像区域为纵向路面的路面范围参数。

作为优选，在所述步骤三中，包括以下子步骤：

障碍物区域提取子步骤一：在确定的路面范围内，利用v-视差图中每一行v值与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价C_Boundary；障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系(f：v<->d)而物体匹配代价每一行则对应相同的视差d，其具体计算公式如下：

$C_{Boundary}\left(u_i,v_i\right)={\mathrm{\&Sigma;}}_{v=v_i}^h{C}_m\left(u_i,v,f\left(v\right)\right)+{\mathrm{\&Sigma;}}_{v=v_0}^{v_i}{C}_m\left(u_i,v,f\left(v_1\right)\right);$

其中，h为图像高度；利用2维动态规划法确定障碍物-道路交线匹配代价C_Boundary最小值所对应的像素值(u_bot，v_bot)集合即为障碍物与道路的交线，每一列u值对应的视差值为d_Boundary(u)；

障碍物区域提取子步骤二：在障碍物-道路交线以上部分，计算障碍物高度匹配代价C_Height，通过概率函数m(u，v)计算C_m(u，v，d_Boundary(u))为区域极值的可能性，该值介于-1与1之间，通过障碍物高度匹配代价计算式：

$C_{Height}\left(u_i,v_i\right)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)-1|+\underset{v=0}{\overset{v_i}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)+1|$

利用2维动态规划方法确定障碍物高度匹配代价C_Height最小值所对应的像素值(u_i，v_i)集合即为与障碍物与道路的交线对应的障碍物高度信息；

障碍物区域提取子步骤三：过滤障碍物的高度、宽度以及深度信息：设置障碍物宽度，高度，深度阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域。

作为优选，在所述步骤四中包括以下子步骤：

障碍物区域验证子步骤一：建立深度卷积神经网络，深度卷积神经网络由1个输入层，8个卷积层，4个池化层以及3个全连接层；

障碍物区域验证子步骤二：建立数据库，采集地点、天候和天气的行车记录仪数据作为标定样本，标定内容包括类别信息以及对应图像中的矩形区域对角线信息(x1，y1，x2，y2)；

障碍物区域验证子步骤三：利用障碍物区域验证子步骤二中所标定样本训练深度卷积神经网络，获得最优深度卷积神经网络权重；

障碍物区域验证子步骤三：利用训练所得的最优深度卷积神经网络权重，将通过双目系统获得的障碍物区域范围归一化到设定的尺寸，输入到训练好的深度神经网络中，深化神经网络输出障碍物的种类。

作为优选，深度神经网络输出障碍物的种类的同时，同时还根据步骤三的计算结果输出障碍物尺寸以及距离信息。

作为优选，所述深度卷积神经网络包括：

图像输入层：RGB格式图片，大小为128*128*3。

卷积层：对于任意卷积操作，均采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1，

激活层：应用于每个卷积层后，所使用的激活方程为修正线性单元(ReLu)，其表达式为：max(0，x)，其中，x为该神经元输入，

池化层：对于此网络内任意池化操作，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2，

全连接层：前两层为dropout层，防止模型过拟合，自动丢弃该全连接层内一定比例的神经元，参数设置为0.5，最后一层为用于障碍物类别检测的输出为7维向量的softmax分类器。

作为优选，训练深度卷积神经网络采用基于迷你批量方式的梯度下降方法：每个循环内，基于反向递推的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成；

softmax损失计算公式为：

$\mathrm{\&sigma;}\left(z_j\right)=\frac{e^{z_j}}{{\mathrm{\&Sigma;e}}^{z_j}}$

其中，zj为输出向量的每个元素，用户设置参数有迷你批量样本大小n、学习速率1r、权重衰退系数wd以及动量系数m。

本发明的实质性效果是：本方法发明了一种新的基于双目视觉的障碍物区域检测方法以及基于深度卷积神经网络的障碍物识别方法，双目系统除了可以利用单目系统所能提供的轮廓以及纹理信息之外，还可以额外利用视差信息，可以提升障碍物区域检测的鲁棒性。基于深度卷积神经网络的特征提取方法适用于各种障碍物类别，并且识别准确率远高于浅层识别方法。

附图说明

图1为本发明的一种流程示意图；

图2为本发明中深度卷积神经网络架构的示意图。

具体实施方式

下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。

实施例：

一种基于车载双目相机的交通场景参与者识别方法(参见附图1和附图2)，包括以下步骤：

步骤一：车载双目相机获取当前道路图像，精细图像预处理以及双目视差匹配代价计算；

车载双目相机获取RGB格式双目图像，对图像进行预处理，主要包括降噪、除畸变以及立体矫正，对预处理后的图片中每个像素点(u，v)对应的视差d，计算基于灰度值绝对值之差(SAD)的匹配代价C_m(u，v，d)，其中u，v，d的范围均为设定参数。

步骤二：进行纵向路面参数估计，获取地平线以及路面范围信息；纵向路面参数估计子步骤一：对视差匹配代价向图像纵轴即v轴进行投影求和，计算图像每一行v值对应视差代价之和的最小值Cv；

纵向路面参数估计子步骤二：通过设定视差代价阈值Td，得出每行对应视差代价之和小于Cv加Td所对应的视差值d，通过v-d映射得到v-视差图；

纵向路面参数估计子步骤三：将v-视差图投影到现实坐标系高度与深度的映射，利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，获得纵向道路平面对应的v-视差图；

v-视差图中，通过视差d＝0得到地平线v_o，通过视差d＞0对应的图像区域为纵向路面的路面范围参数。

步骤三：利用视差匹配代价确定潜在障碍物的位置以及尺寸信息；

障碍物区域提取子步骤一：在确定的路面范围内，利用v-视差图中每一行v值与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价C_Boundary；障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系(f：v<->d)而物体匹配代价每一行则对应相同的视差d，其具体计算公式如下：

其中，h为为图像高度；利用2维动态规划法确定障碍物-道路交线匹配代价C_Boundary最小值所对应的像素值(u_bot，v_bot)集合即为障碍物与道路的交线，每一列u值对应的视差值为d_Boundary(u)；

障碍物区域提取子步骤二：在障碍物-道路交线以上部分，计算障碍物高度匹配代价C_Height，通过概率函数m(u，v)计算G_m(u，v，d_Boundary(u))为区域极值的可能性，该值介于-1与1之间，通过障碍物高度匹配代价计算式：

$C_{Height}\left(u_i,v_i\right)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)-1|+\underset{v=0}{\overset{v_i}{\mathrm{\&Sigma;}}}|m\left(u_i,v\right)+1|$

利用2维动态规划方法确定障碍物高度匹配代价C_Height最小值所对应的像素值(u_i，v_i)集合即为与障碍物与道路的交线对应的障碍物高度信息；

障碍物区域提取子步骤三：过滤障碍物的高度、宽度以及深度信息：设置障碍物宽度，高度，深度阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域。

步骤四：利用深度卷积神经网络描述障碍物特征信息，在特征图谱的输出基础上利用softmax分类器验证障碍物检测区域并确定障碍物的种类，在输出障碍物的种类的同时，同时还根据步骤三的计算结果输出障碍物尺寸以及距离信息。

障碍物区域验证子步骤一：建立深度卷积神经网络，深度卷积神经网络由1个输入层，8个卷积层，4个池化层以及3个全连接层；

障碍物区域验证子步骤二：建立数据库，采集不同地点、天候、天气的行车记录仪数据200余万张，按照1行人、2自行车、3摩托车、4三轮车以及5小型车、6大型车以及7背景共七类人工筛选、标定数据样本。标定内容包括类别信息(1-7)以及对应图像中的矩形区域对角线信息(x1，y1，x2，y2)。

障碍物区域验证子步骤三：利用障碍物区域验证子步骤二中所标定样本训练深度卷积神经网络，获得最优深度卷积神经网络权重；其中，所述深度卷积神经网络包括：

图像输入层：RGB格式图片，大小为128*128*3。

卷积层：对于任意卷积操作，均采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1，

激活层：应用于每个卷积层后，所使用的激活方程为修正线性单元(ReLu)，其表达式为：max(0，x)，其中，x为该神经元输入，

池化层：对于此网络内任意池化操作，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2，

全连接层：前两层为dropout层，防止模型过拟合，自动丢弃该全连接层内一定比例的神经元，参数设置为0.5，最后一层为用于障碍物类别检测的输出为7维向量的softmax分类器。

训练深度卷积神经网络采用基于迷你批量方式的梯度下降方法：每个循环内，基于反向递推的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成；

softmax损失计算公式为：

$\mathrm{\&sigma;}\left(z_j\right)=\frac{e^{z_j}}{{\mathrm{\&Sigma;e}}^{z_j}}$

其中，zj为输出向量的每个元素，用户设置参数有迷你批量样本大小n、学习速率lr、权重衰退系数wd以及动量系数m。

障碍物区域验证子步骤三：利用训练所得的最优深度卷积神经网络权重，将通过双目系统获得的障碍物区域范围归一化到设定的尺寸，输入到训练好的深度神经网络中，深化神经网络输出障碍物的种类。

本实施例为一种新的基于双目视觉的障碍物区域检测方法以及基于深度卷积神经网络的障碍物识别方法，双目系统除了可以利用单目系统所能提供的轮廓以及纹理信息之外，还可以额外利用视差信息，可以提升障碍物区域检测的鲁棒性。基于深度卷积神经网络的特征提取方法适用于各种障碍物类别，并且识别准确率远高于浅层识别方法。

以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (8)

1.一种基于车载双目相机的交通场景参与者识别方法，通过双目系统进行数据获取，其特征在于：包括以下步骤：

步骤一：车载双目相机获取当前道路图像，精细图像预处理以及双目视差匹配代价计算；

步骤二：进行纵向路面参数估计，获取地平线以及路面范围信息；

步骤三：利用视差匹配代价确定潜在障碍物的位置以及尺寸信息；

步骤四：利用深度卷积神经网络描述障碍物特征信息，在特征图谱的输出基础上利用softmax分类器验证障碍物检测区域并确定障碍物的种类。

2.根据权利要求1所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：在所述步骤一中，车载双目相机获取RGB格式双目图像，对图像进行预处理，主要包括降噪、除畸变以及立体矫正，对预处理后的图片中每个像素点(u，v)对应的视差d，计算基于灰度值绝对值之差(SAD)的匹配代价C_m(u，v，d)，其中u，v，d的范围均为设定参数。

3.根据权利要求1所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：在所述步骤二中，进行纵向路面参数估计，包括以下子步骤：

纵向路面参数估计子步骤一：对视差匹配代价向图像纵轴即v轴进行投影求和，计算图像每一行v值对应视差代价之和的最小值Cv；

纵向路面参数估计子步骤二：通过设定视差代价阈值Td，得出每行对应视差代价之和小于Cv加Td所对应的视差值d，通过v-d映射得到v-视差图；

纵向路面参数估计子步骤三：将v-视差图投影到现实坐标系高度与深度的映射，利用B-样条曲线拟合路面高度与深度关系，最后逆映射回v-视差图平面，获得纵向道路平面对应的v-视差图；

v-视差图中，通过视差d＝0得到地平线v_o，通过视差d＞0对应的图像区域为纵向路面的路面范围参数。

4.根据权利要求3所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：在所述步骤三中，包括以下子步骤：

障碍物区域提取子步骤一：在确定的路面范围内，利用v-视差图中每一行v值与对应路面视差d的双向映射关系，计算障碍物-道路交线匹配代价C_Boundary；障碍物-道路交线匹配代价由道路匹配代价与物体匹配代价两部分组成，其中道路匹配代价v与d符合v-视差图的映射关系(f：v＜-＞d)而物体匹配代价每一行则对应相同的视差d，其具体计算公式如下：

其中，h为图像高度；利用2维动态规划法确定障碍物-道路交线匹配代价C_Boundary最小值所对应的像素值(u_bot，v_bot)集合即为障碍物与道路的交线，每一列u值对应的视差值为d_Boundary(u)；

障碍物区域提取子步骤二：在障碍物-道路交线以上部分，计算障碍物高度匹配代价C_Height，通过概率函数m(u，v)计算C_m(u，v，d_Boundary(u))为区域极值的可能性，该值介于-1与1之间，通过障碍物高度匹配代价计算式：

$C_{Height}(u_i,v_i)=\underset{v=v_i}{\overset{v_{bot,u_i}}{\&Sigma;}}|m(u_i,v)-1|+\underset{v=0}{\overset{v_i}{\&Sigma;}}|m(u_i,v)+1|$

利用2维动态规划方法确定障碍物高度匹配代价C_Height最小值所对应的像素值(u_i，v_i)集合即为与障碍物与道路的交线对应的障碍物高度信息；

障碍物区域提取子步骤三：过滤障碍物的高度、宽度以及深度信息：设置障碍物宽度，高度，深度阈值模块，过滤图像中相邻的障碍物区域，确定属于同一障碍物的图像区域。

5.根据权利要求4所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：在所述步骤四中包括以下子步骤：

障碍物区域验证子步骤一：建立深度卷积神经网络，深度卷积神经网络由1个输入层，8个卷积层，4个池化层以及3个全连接层；

障碍物区域验证子步骤二：建立数据库，采集地点、天候和天气的行车记录仪数据作为标定样本，标定内容包括类别信息以及对应图像中的矩形区域对角线信息(x1，y1，x2，y2)；

障碍物区域验证子步骤三：利用障碍物区域验证子步骤二中所标定样本训练深度卷积神经网络，获得最优深度卷积神经网络权重；

障碍物区域验证子步骤三：利用训练所得的最优深度卷积神经网络权重，将通过双目系统获得的障碍物区域范围归一化到设定的尺寸，输入到训练好的深度神经网络中，深化神经网络输出障碍物的种类。

6.根据权利要求1或2或3或4或5所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：深度神经网络输出障碍物的种类的同时，同时还根据步骤三的计算结果输出障碍物尺寸以及距离信息。

7.根据权利要求5所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：

所述深度卷积神经网络包括：

图像输入层：RGB格式图片，大小为128*128*3。

卷积层：对于任意卷积操作，均采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1，

激活层：应用于每个卷积层后，所使用的激活方程为修正线性单元(ReLu)，其表达式为：max(0，x)，其中，x为该神经元输入，

池化层：对于此网络内任意池化操作，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2，

全连接层：前两层为dropout层，防止模型过拟合，自动丢弃该全连接层内一定比例的神经元，参数设置为0.5，最后一层为用于障碍物类别检测的输出为7维向量的softmax分类器。

8.根据权利要求5所述的基于车载双目相机的交通场景参与者识别方法，其特征在于：

训练深度卷积神经网络采用基于迷你批量方式的梯度下降方法：每个循环内，基于反向递推的方法对softmax损失求最优解来优化网络权重参数，直至设定的循环迭代次数完成；

softmax损失计算公式为：

$\mathrm{\&sigma;}\left(z_j\right)=\frac{e^{z_j}}{{\mathrm{\&Sigma;e}}^{z_j}}$

其中，zj为输出向量的每个元素，用户设置参数有迷你批量样本大小n、学习速率1r、权重衰退系数wd以及动量系数m。