CN108830131B - 基于深度学习的交通目标检测与测距方法 - Google Patents

Abstract

本发明公开了基于深度学习的交通目标检测与测距方法，包括：算法模型训练步骤，选择车辆附近的图像区域样本，对图像增加样本，对增加的样本改变像素使其成为具有相等强度的图像，最后进行深度学习训练得到模型；算法模型预测步骤，基于训练得到的模型，选择车辆附近的图像区域样本，对图像区域样本对比度归一化，再进行深度卷积神经网络预测，输出图像数据。本发明使用深度学习方法将目标的识别与测距统一在单一的网络模型下，完成对交通目标的检测与测距，使系统达到了性能和效率的平衡，速度方面极佳，完全满足实时性要求。

Description

基于深度学习的交通目标检测与测距方法

技术领域

本发明属于汽车辅助驾驶自动驾驶领域，特别涉及基于深度学习的交通目标检测与测距方法。

背景技术

随着汽车产业的迅速增长，交通剧烈拥堵和交通事故大幅增加，改善交通安全已成为一个亟待解决的社会问题。为了改善交通安全，辅助驾驶的概念应运而生。安全预警系统、正向碰撞警告系统、自适应巡航控制系统、车道偏离预警系统等辅助驾驶系统逐渐应用于汽车驾驶中。在这些辅助驾驶系统中，最核心的部分是对交通目标的实时检测与测距。目标检测与测距是图像处理和计算机视觉的一个重要分支，它融合了图像处理、模式识别、人工智能、自动控制等许多领域的前沿技术。

目前，针对辅助驾驶系统，已经有一些车辆测距方法运用目标检测与测距等相关前沿技术。CN104899554A的发明专利使用机器学习方法进行车辆的检测，在检测到车辆后利用车辆处于同一平面的假设进行距离估计。CN107390205A的发明专利使用空间几何与图片坐标的映射关系进行估计，利用汽车在同一平面内的假设进行距离估计。

然而，当前绝大多数的辅助驾驶系统中的识别算法与测距算法相互独立，识别种类仅限于车辆，只是将识别结果用于测距或将测距结果用于识别，中间过程中的特征不能相互融合。CN104899554A以及CN107390205A发明专利涉及的车辆测距方法，一方面仅能对车辆距离进行预测，使得目标种类单一，而针对于交通场景，对人、自行车、电动车和公交车的识别都是十分重要的。另一方面，它的方法是由两个系统串行组成的，测距的结果十分依赖于第一步的准确性，误差存在累积效应。

实际应用场景中，需要新的车辆测距方法来针对交通场景中的多种目标进行识别，如针对小型汽车、厢式货车、公交车、摩托车、(电动)自行车、行人等。同时，也需要新的车辆测距方法更准确的进行实时交通目标识别与测距。

发明内容

本发明的目的是通过以下技术方案实现的。

基于深度学习的交通目标检测与测距方法，包括：

算法模型训练步骤，选择车辆附近的图像区域样本，对图像增加样本，对增加的样本改变像素使其成为具有相等强度的图像，最后进行深度学习训练得到模型；

算法模型预测步骤，基于训练得到的模型，选择车辆附近的图像区域样本，对图像区域样本对比度归一化，再进行深度卷积神经网络预测，输出图像数据。

可选地，算法模型训练步骤具体包括如下步骤：

根据当前车速进行兴趣区域设置，选择图像区域样本；

对图像区域样本增强，通过图像的几何变换，使用一种或多种组合进行样本增强变换来增加输入数据的量；

对比度归一化，通过从每个图像中减去整个图片的平均强度，然后重新缩放使得图像像素上的标准差等于预设常数；

进行深度卷积神经网络训练，确定网络模型与损失函数，采集交通场景下的图片，进行深度学习的网络训练，最终得到深度卷积神经网络模型。

可选地，算法模型预测步骤具体包括如下步骤：

根据当前车速进行兴趣区域设置，选择图像区域样本；

对比度归一化，通过从每个图像中减去其平均值，然后重新缩放使得图像像素上的标准差等于预设常数；

深度卷积神经网络预测，对比度归一化后的图像输入到训练好的深度卷积神经网络模型中，输出图像数据。

可选地，兴趣区域设置的方式如下：在车速小于20km/h时，兴趣区域设置为车前及距离车辆两侧二十米内；在车速大于60km/h时，兴趣区域设置为车辆前方两百米。

可选地，对比度归一化，为近似的全局对比度归一化，输出图像X′：

其中，X∈R^r*c*З表示图像的三维张量，

表示整个图片的三维张量平均强度，i为第i行，j为第j列，k为颜色标号，i、j、k均为整数，λ为平衡标准差的正则化参数，ε为防止数值上溢的数值，r为行数，c为列数。

可选地，方法进一步包括：对深度卷积神经网络进行不均匀的网格划分，每个网格预测落入当前网格的物体类别的可能性、坐标、距离。

可选地，损失函数包括定位损失、类别损失、置信度损失、距离误差四个要素，四个要素加权累加构成损失函数。

可选地，定位损失为在预测目标的位置上带来的误差，表达式为：

其中，Loss_Loc为定位损失误差，I为第i个格子是否包含第j个物体的中心，若包含则为I＝0，若不包含则I＝1，x为横坐标，y为纵坐标，w为宽度，h为高度；

类别损失为在预测目标的类别时带来的误差，表达式为：

其中，p(c)为类别向量；

置信度损失为在预测是不是有物体时带来的误差，表达式为：

其中，p(obj)为存在目标的概率；

距离误差为在预测目标的距离时带来的误差，表达式为：

其中，

为真实距离，n_DIS为预测距离。

可选地，图像数据包括图片中的交通目标的类别、坐标、位置、置信度。

本发明使用深度学习方法将目标的识别与测距统一在单一的网络模型下，完成对交通目标的检测与测距。系统达到了性能和效率的平衡，速度方面极佳，完全满足实时性要求。基于回归的预测方法，在每个网格仅负责检测是否有物体中心落入，这样大幅减少计算量。端到端的系统，不需要进行系统之间的分步执行与参数传递，不存在误差累积效应且方便进行训练调优。

附图说明

通过阅读下文具体实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

附图1示出了根据本发明实施方式的算法模型训练流程图；

附图2示出了根据本发明实施方式的算法模型预测流程图；

附图3示出了根据本发明实施方式的ROI设置窗口示意图；

附图4示出了根据本发明实施方式的卷积神经网络模型图；

附图5示出了根据本发明实施方式的待检测的原始场景图；

附图6示出了根据本发明实施方式的预测检测后的输出结果图；

附图7示出了根据本发明实施方式的交通场景网格图；

附图8示出了根据本发明实施方式的交通场景定位图；

附图9示出了根据本发明实施方式的交通场景类别图；

附图10示出了根据本发明实施方式的交通场景置信度图；

附图11示出了根据本发明实施方式的交通场景距离图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

根据本发明的实施方式，提出基于深度学习的交通目标检测与测距方法。如图1所示，首先根据数据进行兴趣区域ROI(region of interest)设置，选择图像区域样本。再进行图像区域样本增强，通过图像的几何变换，使用一种或多种组合进行样本增强变换来增加输入数据的量。接着进行对比度归一化，通过从每个图像中减去整个图片的平均强度，然后重新缩放使得图像像素上的标准差等于预设常数。进行深度卷积神经网络训练，在将网络模型与损失函数确定下之后，采集大量的交通场景下的图片，进行深度学习的网络训练，如果不满足终止条件，则继续进行深度卷积神经网络训练；如果满足终止条件，得到深度卷积神经网络的最终模型。整个模型训练过程仅需一次，训练好的模型用于算法模型预测。

在深度学习中，为了避免出现过拟合，需要进行样本增强，增加数据量的同时增强对旋转、缩放的适应性，不同的任务背景下,我们可以通过图像的几何变换，使用一种或多种组合进行样本增强变换来增加输入数据的量。使用了以下三种样本增强方式：

1.进行-7°—7°范围内的随机旋转或以5％机率翻转。

2.长宽随机乘以0.8—1.25内的随机数，进行随机缩放。

3.水平竖直方向在±10像素范围内的随机平移。

将RGB空间转为HSV空间，对S与V值进行0.25—4之间的指数运算，进行对比度及光照的变换。

如图2所示，首先根据数据进行兴趣区域ROI(region of interest)设置，选择图像区域样本。对比度归一化，通过从每个图像中减去其平均值，然后重新缩放使得图像像素上的标准差等于预设常数，使得在图像识别任务中，不同对比度的图片不改变相同物体的种类。深度卷积神经网络预测，对比度归一化后的图像输入到训练好的深度卷积网络模型中，即可输出图像数据，图像数据包括交通目标的类别、坐标、位置、置信度。

交通场景具有高速的特点，在不同速度下，关注的区域是不同的，兴趣区域设置的方式如下：在车速小于20km/h时，兴趣区域设置为车前及距离车辆两侧二十米内；在车速大于60km/h时，兴趣区域设置为车辆前方两百米。对于较远处的车辆，识别难度较大，但将其放大后将容易识别，本发明提出了一种根据当前车速进行兴趣区域ROI(region ofinterest)设置的方法。

如图3所示，汽车在不同的速度下，窗口的长宽会发生改变，窗口的长宽根据速度变为原始窗口的λ_ν倍，ν代表当前行驶速度，具体形式为：

λ_v＝1-log(1+θv)

其中，θ为放缩参数，area为面积，areathresh为可检测到的最小目标面积阈值，areai为第i个物体在原图的面积大小，I为在原窗口内由于窗口缩小而导致的消失在窗口中的目标。

图像的识别任务中，通过从每个图像中减去其平均值，然后重新缩放使得图像像素上的标准差等于预设常数。不同对比度的图片并不会改变物体的种类，即同样内容的一张图片，具有不同的对比度，其结果应该是一样的，在简化模型的角度来说，是需要将对比度进行归一化的。

对比度即整幅图片中的亮度波动情况，用一个三维张量表示图像X∈R^r*c*З，其中X_i,j,1代表第i行第j列的在红色上的分量，X_i,j,2代表第i行第j列的在绿色上的分量，X_i,j,3代表第i行第j列的在蓝色上的分量，那么对比度可以量化为：

为整个图片的平均值，表示为：

全局对比度归一化通过将每幅图片的像素均值归为0，再将其像素进行缩放使其标准差变为定值C，通常为1。这种方法对零对比度的图像却无法实现，因为找不到合适的缩放因子。但由于低对比度图像几乎不具有信息价值，此时仅需加入一个正则化参数λ来平衡标准差，再一个较小的值ε来防止数值上溢，就可以进行近似的全局对比度归一化：

其中，X∈R^r*c*З表示图像的三维张量，

表示整个图片的三维张量平均强度，i为第i行，j为第j列，k为颜色标号，i、j、k均为整数，λ为平衡标准差的正则化参数，ε为防止数值上溢的数值，r为行数，c为列数。

进行深度卷积神经网络训练，在将网络模型与损失函数确定下之后，采集大量的交通场景下的图片，进行深度学习的网络训练，最终得到深度卷积神经网络模型。如图4所示，首先将数据导入，在卷基层进行多次卷积，同一层的神经元可以共享卷积核，那么对于高位数据的处理将会变得非常简单。使用卷积核后图片的尺寸变小，方便后续计算，并且我们不需要手动去选取特征，只用设计好卷积核的尺寸。通过上一层的卷积核操作后，图像进入池化层。池化层的主要目的是通过降采样的方式，在不影响图像质量的情况下，压缩图片，减少参数，减少图像的空间大小。如此循环，先后交叉进行5层卷积核操作，5层池化层操作。再进行5层卷积核操作，进入输出层。输出图像的类别、坐标、距离、置信度。确定损失函数。

经过上述算法模型训练和算法模型预测步骤后，如图5所示，为待检测的原始场景。图6为预测检测后的输出结果(车辆及其位置)。

以图7为例，针对交通场景特点，进行了不均匀的网格划分。每个网格预测落入当前网格的物体类别的可能性、坐标、距离，共C种物体，所以其最终的输出是一个尺寸为S×K×(B×6+C)的张量。其中，S为横线数，K为纵线数，B为所做预测的数量。

损失函数分为四个方面：定位损失、类别损失、置信度损失、距离误差，四个方面加权累加构成损失函数。

如图8所示，左边为真实坐标(x,y,w,h)，右边为预测坐标(x′,y′,w′,h′)。定位损失为在预测目标的位置上带来的误差，表达式为：

LossLoc为定位损失误差，I为第i个格子是否包含第j个物体的中心，若包含则为I＝0，若不包含则I＝1，x为左上角点的横坐标，y为左上角点的纵坐标，w为宽度，h为高度。

如图9所示，左边为真实类别(C＝小汽车)，右边为预测类别(C′＝货车)。类别损失为在预测目标的类别时带来的误差，表达式为：

p(c)为类别向量。

如图10所示，左边为真实概率p(object)＝1，右边为预测置信度p′(object)＝1，置信度损失为在预测是不是有物体时带来的误差，表达式为：

p(obj)为存在目标的概率。

如图11所示，左边为真实距离dis＝9.08m，右边为预测距离dis′＝8.99m，距离误差为在预测目标的距离时带来的误差，表达式为：

为真实距离，n_DIS为预测距离。

本发明使用深度学习方法将目标的识别与测距统一在单一的网络模型下，完成对交通目标的检测与测距。系统达到了性能和效率的平衡，速度方面极佳，完全满足实时性要求。基于回归的预测方法，在每个网格仅负责检测是否有物体中心落入，这样大幅减少计算量。端到端的系统，不需要进行系统之间的分步执行与参数传递，不存在误差累积效应且方便进行训练调优。

以上，仅为本发明示例性的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.基于深度学习的交通目标检测与测距方法，其特征在于，包括：

算法模型训练步骤，选择车辆附近的图像区域样本，对图像增加样本，对增加的样本改变像素使其成为具有相等强度的图像，最后进行深度学习训练得到模型；

所述算法模型训练步骤具体包括如下步骤：

根据当前车速进行兴趣区域设置，选择图像区域样本；

对所述图像区域样本增强，通过图像的几何变换，使用一种或多种组合进行样本增强变换来增加输入数据的量；

对比度归一化，通过从每个图像中减去整个图片的平均强度，然后重新缩放使得图像像素上的标准差等于预设常数；

进行深度卷积神经网络训练，确定网络模型与损失函数，采集交通场景下的图片，进行深度学习的网络训练，最终得到深度卷积神经网络模型；

所述损失函数包括定位损失、类别损失、置信度损失、距离误差四个要素，所述四个要素加权累加构成所述损失函数；

所述的定位损失为在预测目标的位置上带来的误差，表达式为：

其中，Loss_Loc为定位损失误差，I为第i个格子是否包含第j个物体的中心，若包含则为I＝0，若不包含则I＝1，x为横坐标，y为纵坐标，w为宽度，h为高度；

所述的类别损失为在预测目标的类别时带来的误差，表达式为：

其中，p(c)为类别向量；

所述的置信度损失为在预测是不是有物体时带来的误差，表达式为：

其中，p(obj)为存在目标的概率；

所述的距离误差为在预测目标的距离时带来的误差，表达式为：

其中，

为真实距离，n_Dis为预测距离；

算法模型预测步骤，基于所述训练得到的模型，选择车辆附近的图像区域样本，对所述图像区域样本对比度归一化，再进行深度卷积神经网络预测，输出图像数据。

2.如权利要求1所述的交通目标检测与测距方法，其特征在于，所述算法模型预测步骤具体包括如下步骤：

根据当前车速进行兴趣区域设置，选择图像区域样本；

对比度归一化，通过从每个图像中减去其平均值，然后重新缩放使得图像像素上的标准差等于预设常数；

深度卷积神经网络预测，对比度归一化后的图像输入到训练好的深度卷积神经网络模型中，输出图像数据。

3.如权利要求1所述的交通目标检测与测距方法，其特征在于，所述的兴趣区域设置的方式如下：在车速小于20km/h时，所述兴趣区域设置为车前及距离车辆两侧二十米内；在车速大于60km/h时，所述兴趣区域设置为车辆前方两百米。

4.如权利要求1所述的交通目标检测与测距方法，其特征在于，所述的对比度归一化，为近似的全局对比度归一化，输出图像X′：

其中，X∈R^r*c*З表示图像的三维张量，

表示整个图片的三维张量平均强度，i为第i行，j为第j列，k为颜色标号，i、j、k均为整数，λ为平衡标准差的正则化参数，ε为防止数值上溢的数值，r为行数，c为列数。

5.如权利要求1所述的交通目标检测与测距方法，其特征在于，所述方法进一步包括：对所述深度卷积神经网络进行不均匀的网格划分，每个网格预测落入当前网格的物体类别的可能性、坐标、距离。

6.如权利要求1所述的交通目标检测与测距方法，其特征在于，所述图像数据包括图片中的交通目标的类别、坐标、位置、置信度。

Images