CN108039044B - 基于多尺度卷积神经网络的车辆智能排队的系统及方法 - Google Patents

Abstract

本发明公开了一种基于多尺度卷积神经网络的车辆智能排队的系统及方法，首先搜集样本数据并进行筛选；将筛选的图片进行增强，通过背景减法得到一组有关运动信息的数据；不同类型的图片分别送入外观、运动信息全卷积神经网络；将上述网络训练的两个模型特征融合和决策融合，得到最终的检测模型；将待检测图片输入到训练后的网络，获得各个通道上的车辆排队的车辆数，以及预测排队的时间；通过前方电子屏幕，实时引导车辆进入，排队时间相对较短的服务车道，提高通行效率。本发明将运动特征和外观特征很好的结合在一起。有利于对运动物体的准确检测，同时采用多尺度卷积神经网络，能有效的获取不同大小车型的特征，提高了模型结果的准确性。

Description

基于多尺度卷积神经网络的车辆智能排队的系统及方法

技术领域

本发明涉及车辆检测技术领域，尤其涉及一种基于多尺度卷积神经网络的车辆智能排队的方法。

背景技术

收费站常建设于高速公路出入口，用于收费管理，收费站是某段道路的缺点或者终点，是交通道路的一部分，因此有必要对其通行状态进行检测和管理，比如，每一条道路排队长度经常会出现不同，排队最多的车道和排队最少的车道之间差距很大，造成了道路资源的浪费，同时让驾驶者花费更长的时间在道路上等待。现有的技术基本上没有能有效解决收费站每个窗口接待量不同，而造成资源浪费。现有的车辆排队预测一般用于交叉路口，通过高速摄像头，采集交叉路口的交通状况图片，然后通过结合灰度和边缘检测的方法来检测车辆排队的情况，虽然能检测交叉路排队情况，但是，由于，收费站对不同类型的车辆实行不同的收费通道，而且收费站还有人为影响，因此，这些方法并不适用于收费站场景。也有专门为收费站车辆排队的预测，但是采用的方法是传统的方式，相对于深度学习方法来讲，精度上要差很多。

发明内容

本发明的目的在于克服现有技术的不足，提供了一种基于多尺度卷积神经网络的车辆智能排队的系统及方法。

本发明是通过以下技术方案实现的：一种基于多尺度卷积神经网络的车辆智能排队的系统，包括下述模块：

筛选模块，用来对搜集来的收费站服务道路数据进行筛选，去除干扰较大的图片；

数据预处理模块：将搜集到的图像数据进行数据增强处理，增强后的数据通过背景减法，获得一组包含运动信息的数据，通过人工标定，每个标注的图片包含两种信息：车辆所属窗口信息，车辆数信息；

训练模块：将含有运动信息的数据作为运动全卷积神经网络的输入，含有外观信息的数据作为外观全卷积神经网络的输入并通过两个网络独立训练，经过多次迭代，最终得到两个模型；

微调模块：通过级联结构，训练特征融合和决策融合两种融合方案，通过微调，将运动信息模型和外观信息模型级联起来，得到最终的检测模型；

输出模块：将待测试的图片作为最终模型的输入，输出每个服务通道车辆数目和预计等待时间；

引导模块：通过收费站前方电子屏幕，实时引导车辆进入排队时间相对较短的服务车道。

作为本发明的优选方式之一，所述训练模块中含有运动信息的数据运动全卷积神经网络与含有外观信息的数据外观全卷积神经网络的结构相同，均为多尺度全卷积神经网络,所述多尺度全卷积神经网络损失函数如下：

其中，θ是待优化的网络参数，N是参与训练图片的数目，Xi表示输入图片，Yi表示第i个图片的真值图，F(Xi；θ)表示由网络生成的密度图；

某个车道上，车辆计数损失函数为：

其中M表示车道总数，k为几号车道，Fk为预测第k号车道上车辆数，Yk是第k号车道上车辆的真实数量。

本发明还公开了一种基于多尺度卷积神经网络的车辆智能排队的方法，包括以下步骤：

(1)对搜集来的收费站服务道路数据进行筛选，去除干扰较大(视频图像清晰度较低，视频拍摄角度不好)的图片；

(2)数据预处理：将搜集到的图像数据进行数据增强处理，增强后的数据通过背景减法，获得一组包含运动信息的数据，通过人工标定，每个标注的图片包含两种信息：车辆所属窗口信息，车辆数信息；

(3)将含有运动信息的数据作为运动全卷积神经网络的输入，含有外观信息的数据作为外观全卷积神经网络的输入并通过两个网络独立训练，经过多次迭代，最终得到两个模型；

(4)通过级联结构，训练特征融合和决策融合两种融合方案，通过微调，将运动信息模型和外观信息模型级联起来，得到最终的检测模型；

(5)将待测试的图片作为最终模型的输入，输出每个服务通道车辆数目和预计等待时间；

(6)通过收费站前方电子屏幕，实时引导车辆进入排队时间相对较短的服务车道。

作为本发明的优选方式之一，所述步骤(2)中，通过人工标定的方法，获得足量的且对应外观信息或动信息的图片，随机将这些图片分为训练集和测试集，比例为5:1。

作为本发明的优选方式之一，所述通过人工标定方法获得的运动信息数据和外观数据信息数据一一对应。

作为本发明的优选方式之一，所述数据增强处理的方法为对每张图片进行对比度变换。

作为本发明的优选方式之一，所述步骤(3)中含有运动信息的数据运动全卷积神经网络与含有外观信息的数据外观全卷积神经网络的结构相同，均为多尺度全卷积神经网络。

作为本发明的优选方式之一，所述级联结构相当于新的分支，微调对象为该新的分支。

作为本发明的优选方式之一，所述多尺度全卷积神经网络损失函数如下：

其中，θ是待优化的网络参数，N是参与训练图片的数目，Xi表示输入图片，Yi表示第i个图片的真值图，F(Xi；θ)表示由网络生成的密度图；

某个车道上，车辆计数损失函数为：

其中M表示车道总数，k为几号车道，Fk为预测第k号车道上车辆数，Yk是第k号车道上车辆的真实数量。

本发明相比现有技术的优点在于：以往的车辆排队检测没有使用神经网络，本发明不仅第一次使用了卷积神经网络用于这方面，还对网路进行了修改，为后面训练优化的模型做了铺垫，结合外观信息和运动信息，最后通过不断的微调，将两个模型融合成一个模型，提高的模型的准确性。

附图说明

图1是本发明的流程图；

图2是神经网络结构图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1和图2所示，本实施例包括以下步骤：

(1)数据的搜集与筛选：

搜集不同收费站的监控视频，挑选出清晰，分辨率大于640*480的视频，共计120个不同的场景或地点，每隔两2小时大概有15个视频；

分辨率较大图片，通过缩小，使其分辨率保留在640*480左右，缩小前后，图片比例保持一致；

视频取帧，每个视频取150帧并保存，每帧之间的间距为50帧(大概为两秒)，挑选优秀特征图片作为数据集，每个视频保留100张含有外观信息的图片；

每个视频另外选取1张作为背景图片，不参与训练；

随机100个视频(10000图片)作为训练集，20个视频(2000图片)作为测试集；

测试集和训练集之间不应该包含相同的场景。

(2)数据预处理：

对数据集进对比度变换，在图像的HSV颜色空间，改变饱和度S和V亮度分量，保持色调H不变；

对每个像素的S和V分量进行指数运算,增加光照变化；

每组图片与对应的背景图片做背景减法，得到含有运动信息的数据集；

共计12000张，其中10000张为训练集，2000张为测试集；

含有运动信息的图片和含有外观信息的图片一一对应；

对图片进行人工标注，每张图片包含两个信息，车辆所属窗口道路信息，每张图片上车辆数量信息。

(3)外观信息模型和运动模型的训练：

网络结构：单个网络采用3个分支，每个分支由卷积层，池化层组成，每个支路上卷积核大小不同，所提取特征的效果也不同，大的卷积核，在提取大的车辆特征更有效。同理小的卷积核也一样；

卷积神经网络的损失函数如下：

其中，θ是待优化的网络参数，N是参与训练图片的数目，Xi表示输入图片，Yi表示第i个图片的真值图，F(Xi；θ)表示由网络生成的密度图；

某个车道上，车辆计数损失函数为：

其中M表示车道总数，k为几号车道，Fk为预测第k号车道上车辆数，Yk是第k号车道上车辆的真实数量。

选取10000张外观信息图片，作为外观信息网路的输入，迭代100000次，每迭代200次，测试一次，训练100000次得到我们的外观信息模型；

选取10000张运动信息图片，作为运动信息网络的输入，迭代100000次，每迭代；

200次，测试一次，训练100000次得到我们的运动信息模型。

(4)特征融合和决策融合：

将之前训练好的模型，通过级联结构进行微调，级联结构相当于新的分支，微调只在这个分支上进行，不会对训练好的2个模型的分支产生影响，同时能够将两个网络的特征结合在一起，得到最终的模型，提高检测效果。

(5)测试结果：

将待检测视频监控图片作为模型的输入，输出的结果包含，每个服务车道包含车辆的数量；通过工作效率，计算出每个服务通道需要排队等待的时间。

(6)结果显示：

通过前方电子指示牌输出测试结果，引导将要进入收费站的车辆进入等待时间较短的服务车道，提高收费站的通行效率。

本发明的基本原理：一般车辆排队使用的是传统的车流量技术，需要知道车流量，实际操作复杂，对环境的适应能力较弱。本发明中提出的多尺度卷积用于车辆计数，可以有效的获取不同大小车辆的信息，减少单个神经网络，特征提取不完全的问题，同时融合了外观信息和运动信息，能够让网络跟有效的获取车辆的位置，减少了误识别和漏识别。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度卷积神经网络的车辆智能排队的系统，其特征在于，包括下述模块：

筛选模块，用来对搜集来的收费站服务道路数据进行筛选，去除干扰较大的图片；

数据预处理模块：将搜集到的图像数据进行数据增强处理，增强后的数据通过背景减法，获得一组包含运动信息的数据，通过人工标定，每个标注的图片包含两种信息：车辆所属窗口信息，车辆数信息；

训练模块：将含有运动信息的数据作为运动全卷积神经网络的输入，含有外观信息的数据作为外观全卷积神经网络的输入并通过两个网络独立训练，经过多次迭代，最终得到两个模型；

微调模块：通过级联结构，训练特征融合和决策融合两种融合方案，通过微调，将运动信息模型和外观信息模型级联起来，得到最终的检测模型；

输出模块：将待测试的图片作为最终模型的输入，输出每个服务通道车辆数目和预计等待时间；

引导模块：通过收费站前方电子屏幕，实时引导车辆进入排队时间相对较短的服务车道。

2.根据权利要求1所述的一种基于多尺度卷积神经网络的车辆智能排队的系统，其特征在于，所述训练模块中含有运动信息的数据运动全卷积神经网络与含有外观信息的数据外观全卷积神经网络的结构相同，均为多尺度全卷积神经网络,所述多尺度全卷积神经网络损失函数如下：

其中，θ是待优化的网络参数，N是参与训练图片的数目，Xi表示输入图片，Yi表示第i个图片的真值图，F(Xi；θ)表示由网络生成的密度图；

某个车道上，车辆计数损失函数为：

其中M表示车道总数，k为几号车道，Fk为预测第k号车道上车辆数，Yk是第k号车道上车辆的真实数量。

3.一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，包括以下步骤：

(1)对搜集来的收费站服务道路数据进行筛选，去除干扰较大的图片；

(2)数据预处理：将搜集到的图像数据进行数据增强处理，增强后的数据通过背景减法，获得一组包含运动信息的数据，通过人工标定，每个标注的图片包含两种信息：车辆所属窗口信息，车辆数信息；

(3)将含有运动信息的数据作为运动全卷积神经网络的输入，含有外观信息的数据作为外观全卷积神经网络的输入并通过两个网络独立训练，经过多次迭代，最终得到两个模型；

(4)通过级联结构，训练特征融合和决策融合两种融合方案，通过微调，将运动信息模型和外观信息模型级联起来，得到最终的检测模型；

(5)将待测试的图片作为最终模型的输入，输出每个服务通道车辆数目和预计等待时间；

(6)通过收费站前方电子屏幕，实时引导车辆进入排队时间相对较短的服务车道。

4.根据权利要求3所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述步骤(2)中，通过人工标定的方法，获得足量的且对应外观信息或动信息的图片，随机将这些图片分为训练集和测试集，比例为5:1。

5.根据权利要求4所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述通过人工标定方法获得的运动信息数据和外观数据信息数据一一对应。

6.根据权利要求3所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述数据增强处理的方法为对每张图片进行对比度变换。

7.根据权利要求3所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述步骤(3)中含有运动信息的数据运动全卷积神经网络与含有外观信息的数据外观全卷积神经网络的结构相同，均为多尺度全卷积神经网络。

8.根据权利要求3所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述级联结构相当于新的分支，微调对象为该新的分支。

9.根据权利要求7所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述多尺度全卷积神经网络损失函数如下：

其中，θ是待优化的网络参数，N是参与训练图片的数目，Xi表示输入图片，Yi表示第i个图片的真值图，F(Xi；θ)表示由网络生成的密度图；

某个车道上，车辆计数损失函数为：

其中M表示车道总数，k为几号车道，Fk为预测第k号车道上车辆数，Yk是第k号车道上车辆的真实数量。

10.根据权利要求3所述的一种基于多尺度卷积神经网络的车辆智能排队的方法，其特征在于，所述步骤(1)中干扰较大的图片为视频图像清晰度较低、拍摄角度不好的图片。

Images