CN110009023A - 智慧交通中的车流统计方法 - Google Patents

Abstract

本发明涉及一种智慧交通中的车流统计方法。现有技术对于车辆识别的准确率不足、效率不高。本发明方法采用神经网络中的SSD和ResNet，与传统的目标跟踪CamShift算法两个部分组建，包括车辆检测方法和车辆跟踪方法。车辆检测方法首先建立SSD网络，SSD得到多个不同尺寸的特征图，对于同一特征层上的默认框采取不同的宽高比，增强默认框对物体形状的鲁棒性，SSD训练同时对位置和目标种类进行回归。车辆跟踪方法是采用连续自适应期望移动算法对单次移动视觉网络检测器第一帧识别出的车辆进行跟踪。本发明方法不仅可以更加准确的检测出车辆，进行统计，而且可以通过跟踪防止车辆目标丢失而重新统计，得到的车流数据更加准确。

Description

智慧交通中的车流统计方法

技术领域

本发明属于人工智能技术领域，具体是智慧交通领域，涉及一种智慧交通中的车流统计方法，具体是一种通过对车辆的检测与跟踪进行车流统计的方法，尤其涉及一种通过ResNet-50(残差网络)框架改进SSD(单次检测器)神经网络使用的检测方法和Camshift(连续自适应期望移动算法)跟踪算法结合的方法，能够实时对交通中的车流进行统计。

背景技术

近年来，随着社会经济的迅猛发展，人口的增加和车辆的飞速增长，交通的压力越来越大，城市交通拥堵严重，并且事故频发，交通环境的日益恶化也是困扰着全世界大多数国家，解决交通问题成为城市发展的重中之重。对于传统的解决办法，一般采用修建或扩宽道路，使道路承受能力增强，但是随着大城市人口车辆增多，用地增加，道路已经无法再进行大规模的整改，部分扩建整改的速度根本满足不了交通的需求。并且，交通系统死一个复杂的综合性系统，不能只通过道路的扩建和修建和车辆的限行的角度来解决，在这种背景下，采用将矛盾转化的方法，将道路车辆相结合的思想解决问题方法应运而生。这就是智慧交通的思想，通过对当前路段的车流信息进行统计，以为信号灯的设置时间和路牌设置等提供合理数据支持。

对于传统的车辆检测方法有红外检测、超声波检测、传统HOG特征和SVM结合的前向车辆检测等。对于传统的检测速度上都是有一定的优势，但是对于车辆识别的准确率有着很明显的不足，并且识别的环境会被限制，红外线的抗噪声能力差，超声波检测容易受到天气和温度的影响，而传统的特征检测一直都有着效率不高的问题。

所以只有提出在各种环境都有抗噪能力并且识别准确率高速度快的方法，才能真正解决车辆检测问题，并且通过实时跟踪防止漏检或者重复检测统计的问题。

发明内容

本发明的目的就是提供一种高效准确率高的车辆检测与跟踪速度的车流统计算法，该方法采用SSD算法和ResNet-50组建的检测模块与CamShift算法组建的跟踪模块，进行车辆检测跟踪并且进行车流统计。

本发明方法采用神经网络中的SSD和ResNet，与传统的目标跟踪CamShift算法两个部分组建，包括车辆检测方法和车辆跟踪方法。

所述的车辆检测方法具体是：

(1).建立SSD网络，所述的SSD为单次检测器；

所述的SSD网络包括两部分：一部分是位于前端的深度卷积神经网络，采用的是去除分类层的图像分类网络，如VGG(视觉几何组)用于目标初步特征提取；一部分是位于后端的多尺度特征检测网络，为一组级联的卷积神经网络，将前端网络产生的特征层进行不同尺度条件下的特征提取SSD框架。

(2).SSD采用多尺度的方法得到多个不同尺寸的特征图，假设模型检测时采用m个特征图，则第k个特征图的默认框比例：其中：S_k是第k个特征图默认框占输入图像的比例，S_k＝0.18～0.20；S_max是最大的特征层默认框占输入图像的比例，S_max＝0.9～1.0；S_min是最小的特征层默认框占输入图像的比例，S_min＝0.18～0.20；

(3).SSD采用锚定(anchors)机制，对于同一特征层上的默认框采取不同的宽高比，以增强默认框对物体形状的鲁棒性；默认框的宽高比同时针对宽高比等于1这一类，添加S_k′是对S_k求解梯度，则：

其中，|f_k|是第k个特征图的尺寸大小；a、b为调整参数，a,b∈(0,1,2,…,|f_k|-1)；(c_x,c_y)为特征图上默认框中心的坐标；w_b、h_b为默认的框的宽和高；w_feature、h_feature为特征图的宽和高；w_img、h_img为原始图像的宽和高；得到的(x_min,y_min,x_max,y_max)为第k个特征图上中心为宽和高大小为w_k和h_k的默认框映射到原始图像的物体框坐标。

(4).SSD训练同时对位置和目标种类进行回归，其目标损失函数是置信损失和位置损失之和：其中，L(z,c,l,g)是目标损失函数，L_conf(z,c)是置信损失函数，L_loc(z,l,g)是位置损失函数，N是与标注数据(ground truth)物体框匹配的默认框个数；z为默认框与不同类别的标注数据物体框的匹配结果，c为预测物体框的置信度，l为预测物体框的位置信息，g为标注数据物体框的位置信息；α为权衡置信损失和位置损失的参数，设置为1。

该目标损失函数同时包含置信损失函数和位置损失函数，在训练过程中，通过减小损失函数值可以确保在提升预测框类别置信度的同时也提高预测框的位置可信度，而用于数据集训练，通过多次结果优化，不断提高模型的目标检测性能，从而训练出性能较好的预测模型。

所述的SSD网络采用ResNet-50改进SSD神经网络。随着神经网络的层数的增加，深度网络一般会越难训练。有些网络在开始收敛时，还可能出现退化问题，导致准确率很快达到饱和，出现层次越深、错误率反而越高的现象。更令人意外的是，这种退化导致的更高错误率并不是由于过拟合引起的，而仅仅是因为增加了更多的层数。而残差网络的提出就是解决这个问题。

神经网络采用这种残差网络作为前馈网络，就是解决退化问题。残差网络通过改变运算方式增加一个运算通道的方法，将之前通道的维数降低进行运算，最终与新通道数据进行逻辑运算。

所述的车辆跟踪方法是采用连续自适应期望移动算法(CamShift)对单次移动视觉网络检测器(SSD-Resnet)第一帧识别出的车辆进行跟踪，具体如下：

(1)计算目标区域内的颜色直方图：

将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色调H分量做该区域的色调直方图计算，得到目标模板的颜色直方图。因为RGB颜色空间对光线条件的改变较为敏感，要减小该因素对跟踪效果的影响，CamShift算法通常采用HSV色彩空间进行处理，当然也可以用其它颜色空间计算。

(2)根据获得的颜色直方图，将原始输入图像转化成颜色概率分布图像：

该过程称为“反向投影"。所谓直方图反向投影，就是输入图像在已知目标颜色直方图的条件下的颜色概率密度分布图，包含了目标在当前帧中的相干信息。对于输入图像中的每一个像素，查询目标模型颜色直方图，对于目标区域内的像素，得到该像素属于目标像素的概率，而对于非目标区域内的像素,该概率为0。

(3)MeanShift(均值漂移)迭代，即右边大矩形框内的部分，它是CamShift算法的核心，目的在于找到目标中心在当前帧中的位置：

首先，在颜色概率分布图中选择搜索框的大小和初始位置，然后计算搜索框的质心位置；设像素点(i,j)位于搜索框内，I(i,j)是颜色直方图的反向投影图中该像素点对应的值，定义搜索框的零阶矩M₀₀和一阶矩M₁₀、M₀₁如下：

搜索框的质心位置为：(M₁₀/M₀₀,M₀₁/M₀₀,)，I为像素点i所能到达的最大位置，J为像素点j所能到达的最大位置。

然后，调整搜索框中心到质心。零阶矩反映了搜索框尺寸，依据它调整框大小，并将搜索框的中心移到质心，如果移动大于设定的阈值τ，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整，直到移动小于等于设定的阈值τ，阈值τ为初始搜索框中心到搜索框对角点距离的四分之一；或者迭代次数达到设定的最大值n，n＝12～20，认为收敛条件满足，将搜索框位置和大小作为下一帧的目标位置输入，开始对下一帧图像进行新的目标搜索。每发现一个车辆目标，进行数目加一操作。

本发明在车流统计中起到关键作用，不仅可以更加准确的检测出车辆，进行统计，而且可以通过跟踪防止车辆目标丢失而重新统计，得到的车流数据更加准确。从提高社会经济效益来说，这一发明可以为解决城市交通问题提供有力的数据支持，具有极大的现实意义和广阔的应用场景。

附图说明

图1为本发明方法流程图；

图2 ResNet-50结构图；

图3运动车辆检测模块示意图；

图4 CamShift跟踪算法流程图。

具体实施方式

结合以下具体实施例和附图，对本发明进一步的详细说明。

智慧交通中的车流统计方法，通过ResNet-50框架改进传统的SSD目标检测算法和CamShift算法相结合的目标检测算法对车辆进行实时检测与跟踪，不仅使车辆的检测效果提高，并且防止在跟踪时出现车辆的丢失而重新计数，为城市交通提供可靠数据。该方法包括包括车辆检测方法和车辆跟踪方法。

车辆检测方法具体是：

(1).建立SSD网络，所述的SSD网络包括两部分：一部分是位于前端的深度卷积神经网络，采用的是去除分类层的图像分类网络；一部分是位于后端的多尺度特征检测网络，为一组级联的卷积神经网络；所述的SSD为单次检测器。

(2).SSD采用多尺度的方法得到多个不同尺寸的特征图，假设模型检测时采用m个特征图，则第k个特征图的默认框比例：其中，S_k是第k个特征图默认框占输入图像的比例，S_k＝0.18～0.20，S_max是最大的特征层默认框占输入图像的比例，S_max＝0.9～1.0，S_min是最小的特征层默认框占输入图像的比例，S_min＝0.18～0.20。

(3).SSD采用锚定机制，对于同一特征层上的默认框采取不同的宽高比，以增强默认框对物体形状的鲁棒性；默认框的宽高比同时针对宽高比等于1这一类，添加S_k′是对S_k求解梯度，则：

其中，|f_k|是第k个特征图的尺寸大小；a、b为调整参数，a,b∈(0,1,2,…,|f_k|-1)；(c_x,c_y)为特征图上默认框中心的坐标；w_b、h_b为默认的框的宽和高；w_feature、h_feature为特征图的宽和高；w_img、h_img为原始图像的宽和高；得到的(x_min,y_min,x_max,y_max)为第k个特征图上中心为宽和高大小为w_k和h_k的默认框映射到原始图像的物体框坐标。

(4).SSD训练同时对位置和目标种类进行回归，其目标损失函数是置信损失和位置损失之和：其中，L(z,c,l,g)是目标损失函数，L_conf(z,c)是置信损失函数，L_loc(z,l,g)是位置损失函数，N是与标注数据物体框匹配的默认框个数；z为默认框与不同类别的标注数据物体框的匹配结果，c为预测物体框的置信度，l为预测物体框的位置信息，g为标注数据物体框的位置信息；α为权衡置信损失和位置损失的参数，设置为1。

车辆跟踪方法是采用连续自适应期望移动算法对单次移动视觉网络检测器第一帧识别出的车辆进行跟踪，具体如下：

(1).计算目标区域内的颜色直方图：

将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色调H分量做该区域的色调直方图计算，得到目标模板的颜色直方图。

(2).根据获得的颜色直方图，将原始输入图像转化成颜色概率分布图像：

输入图像在已知目标颜色直方图的条件下的颜色概率密度分布图，包含了目标在当前帧中的相干信息；对于输入图像中的每一个像素，查询目标模型颜色直方图，对于目标区域内的像素，得到该像素属于目标像素的概率，而对于非目标区域内的像素,该概率为0。

(3).均值漂移迭代，找到目标中心在当前帧中的位置：

首先，在颜色概率分布图中选择搜索框的大小和初始位置，然后计算搜索框的质心位置；设像素点(i,j)位于搜索框内，I(i,j)是颜色直方图的反向投影图中该像素点对应的值，定义搜索框的零阶矩M₀₀和一阶矩M₁₀、M₀₁如下：

搜索框的质心位置为：(M₁₀/M₀₀,M₀₁/M₀₀,)，I为像素点i所能到达的最大位置，J为像素点j所能到达的最大位置。

然后，调整搜索框中心到质心；零阶矩反映了搜索框尺寸，依据它调整框大小，并将搜索框的中心移到质心，如果移动距离大于设定的阈值τ，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整，直到移动距离小于等于设定的阈值τ，阈值τ为初始搜索框中心到搜索框对角点距离的四分之一，或者迭代次数达到设定的最大值n，n＝12～20，认为收敛条件满足，将搜索框位置和大小作为下一帧的目标位置输入，开始对下一帧图像进行新的目标搜索；每发现一个车辆目标，进行数目加一操作。

如图1所示，通过摄像头实时采集的视频通过目标检测器识别出车辆，这时车辆开始计数，没出现新的车辆，数目加一，检测出的车辆通过Camshift跟踪器跟踪目标车辆，直至目标脱离摄像头摄像范围，有利的防止车辆的重复计数。

图2是SSD算法改进的框架ResNet-50的结构图，通过使用bottleneck(瓶颈)和右侧加一通道，原通道通过1x1的卷积把256维channel降到64维，然后再最后通过1×1卷积恢复，整体参数数目：1×1×256×64+3×3×64×64+1×1×64×256＝69632，而不使用bottleneck的参数数目：3×3×256×256×2＝1179648,效率提高了16，94倍。所以改进的方案可以大大提升检测速度。

图3中车辆检测模块通过对样本选择对图片预处理，通过SSD-ResNet模型训练得到参数，最终得到所需的神经网络模型，通过对运动区域进行检测出车辆位置。

如图4是对CamShift算法进行的详细解释主要是通过车辆检测出的第一帧进行下一帧的跟踪，因为车辆两帧视频中位置相差不大，不必再进行检测步骤，减少运算量，加快跟踪速度，减少硬件资源浪费，通过减少运算量还可以加快硬件处理速度，以达到实现目标，实时进行车辆检测与跟踪，防止目标重复计数的作用。

Claims (6)

1.智慧交通中的车流统计方法，包括车辆检测方法和车辆跟踪方法，其特征在于：

所述的车辆检测方法具体是：

(1).建立SSD网络，所述的SSD网络包括两部分：一部分是位于前端的深度卷积神经网络，采用的是去除分类层的图像分类网络；一部分是位于后端的多尺度特征检测网络，为一组级联的卷积神经网络；所述的SSD为单次检测器；

(2).SSD采用多尺度的方法得到多个不同尺寸的特征图，假设模型检测时采用m个特征图，则第k个特征图的默认框比例：k∈(1,2,···,m)；其中，S_k是第k个特征图默认框占输入图像的比例、S_max是最大的特征层默认框占输入图像的比例、S_min是最小的特征层默认框占输入图像的比例；

(3).SSD采用锚定机制，对于同一特征层上的默认框采取不同的宽高比，以增强默认框对物体形状的鲁棒性；默认框的宽高比同时针对宽高比等于1这一类，添加S_k′是对S_k求解梯度，则：

其中，|f_k|是第k个特征图的尺寸大小；a、b为调整参数，a,b∈(0,1,2,···,|f_k|-1)；(c_x,c_y)为特征图上默认框中心的坐标；w_b、h_b为默认的框的宽和高；w_feature、h_feature为特征图的宽和高；w_img、h_img为原始图像的宽和高；得到的(x_min,y_min,x_max,y_max)为第k个特征图上中心为宽和高大小为w_k和h_k的默认框映射到原始图像的物体框坐标；

(4).SSD训练同时对位置和目标种类进行回归，其目标损失函数是置信损失和位置损失之和：其中，L(z,c,l,g)是目标损失函数，L_conf(z,c)是置信损失函数，L_loc(z,l,g)是位置损失函数，N是与标注数据物体框匹配的默认框个数；z为默认框与不同类别的标注数据物体框的匹配结果，c为预测物体框的置信度，l为预测物体框的位置信息，g为标注数据物体框的位置信息；α为权衡置信损失和位置损失的参数，设置为1；

所述的车辆跟踪方法是采用连续自适应期望移动算法对单次移动视觉网络检测器第一帧识别出的车辆进行跟踪，具体如下：

①计算目标区域内的颜色直方图：

将输入图像转换到HSV颜色空间，目标区域为初始设定的搜索窗口范围，分离出色调H分量做该区域的色调直方图计算，得到目标模板的颜色直方图；

②根据获得的颜色直方图，将原始输入图像转化成颜色概率分布图像：

输入图像在已知目标颜色直方图的条件下的颜色概率密度分布图，包含了目标在当前帧中的相干信息；对于输入图像中的每一个像素，查询目标模型颜色直方图，对于目标区域内的像素，得到该像素属于目标像素的概率，而对于非目标区域内的像素,该概率为0；

③均值漂移迭代，找到目标中心在当前帧中的位置：

首先，在颜色概率分布图中选择搜索框的大小和初始位置，然后计算搜索框的质心位置；设像素点(i,j)位于搜索框内，I(i,j)是颜色直方图的反向投影图中该像素点对应的值，定义搜索框的零阶矩M₀₀和一阶矩M₁₀、M₀₁如下：

搜索框的质心位置为：(M₁₀/M₀₀,M₀₁/M₀₀,)，I为像素点i所能到达的最大位置，J为像素点j所能到达的最大位置；

然后，调整搜索框中心到质心；零阶矩反映了搜索框尺寸，依据它调整框大小，并将搜索框的中心移到质心，如果移动距离大于设定的阈值τ，则重新计算调整后的窗口质心，进行新一轮的窗口位置和尺寸调整，直到移动距离小于等于设定的阈值τ，阈值τ为初始搜索框中心到搜索框对角点距离的四分之一，或者迭代次数达到设定的最大值n，认为收敛条件满足，将搜索框位置和大小作为下一帧的目标位置输入，开始对下一帧图像进行新的目标搜索；每发现一个车辆目标，进行数目加一操作。

2.如权利要求1所述的智慧交通中的车流统计方法，其特征在于：所述的SSD网络采用ResNet-50改进SSD神经网络。

3.如权利要求1所述的智慧交通中的车流统计方法，其特征在于：S_k＝0.18～0.20。

4.如权利要求1所述的智慧交通中的车流统计方法，其特征在于：S_max＝0.9～1.0。

5.如权利要求1所述的智慧交通中的车流统计方法，其特征在于：S_min＝0.18～0.20。

6.如权利要求1所述的智慧交通中的车流统计方法，其特征在于：所述的迭代次数设定的最大值n＝12～20。