CN109919069A - 基于深度学习的大型车辆分析系统 - Google Patents

Abstract

本申请公开了一种基于深度学习的大型车辆分析系统，包括正向道路抓拍摄像机、安装在服务器上的GPU图形分析模块，与所述正向道路抓拍摄像机相间隔一段距离安装有反向道路抓拍摄像机，服务器通过视频流接入模块分别获取正向道路抓拍摄像机和反向道路抓拍摄像机的视频流并将视频流输入至GPU图形分析模块；GPU图形分析模块对视频流进行视频解码或视频数据转换从而输出结构化图形数据，GPU图形分析模块将视频流分解为单帧图像传输到深度学习算法模块，深度学习算法模块对结构化图形数据中的所有车辆信息进行处理得到大型车辆全车信息并将存在违法行为的大型车辆全车信息输出至违法信息平台。

Description

基于深度学习的大型车辆分析系统

技术领域

本申请涉及道路交通领域，尤其涉及一种道路交通基于深度学习的大型车辆分析系统。

背景技术

目前我国货车保有量2000多万辆，占机动车保有量总数的7.8％，但货车肇事导致的死亡人数约占交通事故死亡总数的28％。2012年货车的万车事故率比同期全国交通事故万车事故率高出1倍多。近期，山东、福建、河北等地接连发生多起货车肇事导致的群死群伤道路交通事故，给人民群众生命财产安全造成重大损失。

目前智慧城市建设中的监控点位越来越多，对大型车辆的监管直接关系到道路交通安全。现有技术中所用的成像抓拍模式，对于污损车辆、遮挡车辆无法进行识别。导致对大型车辆事故逃逸、城市禁行等违法行为，无法完全有效的进行管理和追诉。

发明内容

为了解决现有技术的不足，本申请提供了一种基于深度学习的大型车辆分析系统。

一种基于深度学习的大型车辆分析系统，包括正向道路抓拍摄像机、安装在服务器上的GPU图形分析模块，与所述正向道路抓拍摄像机相间隔一段距离安装有反向道路抓拍摄像机，服务器通过视频流接入模块分别获取正向道路抓拍摄像机和反向道路抓拍摄像机的视频流并将视频流输入至GPU图形分析模块；GPU图形分析模块对视频流进行视频解码或视频数据转换从而输出结构化图形数据，GPU图形分析模块将视频流分解为单帧图像传输到深度学习算法模块，深度学习算法模块对结构化图形数据中的所有车辆信息进行处理得到大型车辆全车信息并将存在违法行为的大型车辆全车信息输出至违法信息平台。

作为本申请基于深度学习的大型车辆分析系统的技术方案的进一步改进，所述深度学习算法模块分别对进入正向道路抓拍摄像机和反道路抓拍摄像机拍摄范围的所有车辆进行同步轨迹跟踪并识别抓拍属于大型车辆的车头和车尾信息，然后对大型车辆的车头和车尾信息进行二次比对，确保获取的是同一大型车辆的车头和车尾信息并合成得到大型车辆全车信息；然后进一步分析判断合成全车的大型车辆是否有闯禁、超高、超限、抛洒、车斗未遮盖和遮挡号牌的违法行为，当存在违法行为时输出报警信息及违法车辆信息到违法信息平台。

作为本申请基于深度学习的大型车辆分析系统的技术方案的进一步改进，所述深度学习算法模块的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违法判断结果；若输出1则为违章；输出为0，则为正常，最终得到车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌行为判断结果。

作为本申请基于深度学习的大型车辆分析系统的技术方案的进一步改进，所述视频流接入模块用于检测判断网络连接是否正常，检测判断正、反向道路抓拍摄像机是否正常工作、视频流是否正常，具体判断方法为：当网络不通或者网络延时超出预设值判断为网络不正常；摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为正、反向道路抓拍摄像机不正常；视频流丢帧、跳帧判断为视频流不正常。

作为本申请基于深度学习的大型车辆分析系统的技术方案的进一步改进，当视频流接入模块检测到网络、摄像机、视频流不正常时，则提示报警信息到违法信息平台，报警信息给出网络IP地址、摄像机点位信息，违法信息平台进行人工干预排查解决外部故障。

作为本申请基于深度学习的大型车辆分析系统的技术方案的进一步改进，所述的GPU图形分析模块为英伟达NVIDIA公司的GPU处理器芯片；所述视频流接入模块由各摄像机厂家公开提供的SDK接入组件封装组成，取样并通过运放进行解转码，输入GPU图形分析模块进行分析，由取样软件进行故障功能判断处理。

一种基于深度学习的大型车辆分析系统的分析方法，服务器通过视频流接入模块分别获取正向道路抓拍摄像机和反向道路抓拍摄像机的视频流并将视频流输入至GPU图形分析模块；GPU图形分析模块将接收到的视频流分解为单帧图像传输到深度学习算法模块，深度学习算法模块对图像中车辆的各种信息进行处理，其中主要包括车辆检测、号牌检测、车身信息检测和车牌检测；深度学习算法提取车辆信息，其中包括车身颜色、车辆类型、车标、车牌位置和车窗位置，并对车辆在图像中的位置进行精确定位；分析判断大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌违法行为并记录输出到违法信息平台；

其中，深度学习算法的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违法判断结果；若输出1则为违章；输出为0，则为正常，最终得到车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌行为判断结果。

该大型车辆分析系统利用深度学习技术，在原有电子警察对向路口的信号灯杆件或指路牌杆件上，加装一台反向摄像机，对正、反向视频中所有过车进行分析，检测出车辆是否属于大货车，然后根据需要将路段行驶的大货车车牌、车身颜色、车标、时间等信息记录下来。解决了大型车辆抓拍不到、号牌污损、号牌遮挡难题，实现了对大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为的非现场取证。

进一步的，视频流接入模块通过检测判断网络是否正常、前端摄像机否正常工作、视频码流是否正常，网络不通或网络延时超出预设值判断为网络不正常，摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为摄像机不正常，码流丢帧、跳帧判断为码流不正常。

若视频流接入模块检测出网络、摄像机、视频流不正常，则提示报警信息到中心平台。报警信息给出网络IP地址、摄像机点位信息，中心平台进行人工干预排查解决外部故障。

进一步的，视频流接入模块检测判断通过后，接入前端摄像机视频流，输入到GPU图形分析模块进行分析。

进一步的，GPU图形分析模块分析接入的视频流，充分利用GPU，使用并行化运算技术,进一步提高检测效率，分析结果输入到深度学习算法模块进行分析。GPU图形分析模块负责视频流解码或转换输出结构化图形数据，深度学习算法模块负责识别、分析、判断车辆行为。

进一步的，深度学习算法模块，采用人工智能技术对分析结果进行比对、验证，识别所有车辆信息，输出同一辆大型车的车头、车尾合成输出、记录，分析车辆特征记录全车信息。同时分析判断大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为并记录输出到违法信息平台。具体的，当车辆进入画面时，深度学习算法对正反向摄像机中的所有车辆进行同步轨迹跟踪，抓拍后识别大型车辆外观、结构、颜色、号牌信息，再进行二次比对，确保从两个不同画面中获取同一大型车辆。再进一步分析抓拍大型车辆，是否有闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为。

实现方法：

GPU图形分析模块将视频流分解为单帧图像传输到深度学习算法模块，深度学习算法模块对图像中车辆的各种信息进行处理，其中主要包括车辆检测、号牌检测、车身信息检测和车牌检测；深度学习算法提取车辆信息，其中包括车身颜色、车辆类型、车标、车牌位置和车窗位置，并对车辆在图像中的位置进行精确定位。分析判断大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为并记录输出到违法信息平台。

深度学习算法的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违法判断结果；若输出1则为违章；输出为0，则为正常，最终得到车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等行为判断结果。

所述视频流接入模块，由各摄像机厂家公开提供的SDK接入组件封装组成，取样并通过运放进行解转码，输入GPU图形分析模块进行分析，由取样软件进行故障功能判断处理；所述GPU图形分析模块为英伟达NVIDIA公司的GPU处理器芯片，芯片上集成了视频处理、转换功能；所述深度学习算法模块为谷歌公司的DeepMind AI核心，深度学习运算集中在GPU中，后端处理程序CPU+GPU的运行模式可以充分调用服务器的运算资源，多线程模式协作。

本发明的有益效果是：

1)深度学习技术：使用深度学习技术，有效率高；可根据用户数据进行进一步训练，提高有效率。

2)解决抓拍问题：该系统可以利用现有电子警察反向卡口数据，无需重新架设相机；系统利用人工智能技术，对卡口所有过车进行分析，检测出车辆是否属于大型车，然后根据需要将违法、违章的大型车辆记录下来。

3)强大的系统功能：采用人工智能技术对分析结果进行比对、验证，分析判断大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为并记录输出到违法信息平台。

4)优异的产品兼容性：该产品采用国家标准化通信协议和视频解码算法，提高产品兼容性，可兼容国内所有主流实时监控系统及视频抓拍系统。

附图说明

图1是本申请的结构示意图；

图2本申请的原理结构示意图；

图3本申请的分析系统结构示意图；

图4本申请的现场部署示意图；

图5本申请的深度学习算法的神经网络结构图。

具体实施方式

一种基于深度学习的大型车辆分析系统，包括正向道路抓拍摄像机、与正向道路抓拍摄像机相间隔一段距离安装有反向道路抓拍摄像机，正向道路抓拍摄像机获取车辆车头的视频流，反向道路抓拍摄像机获取车辆车尾的视频流；还包括安装在服务器上的GPU图形分析模块，视频流接入模块与正向道路抓拍摄像机和反向道路抓拍摄像机连接，通过视频流接入模块获取正向道路抓拍摄像机和反向道路抓拍摄像机的车辆车头和车尾的视频流并将视频流输入至GPU图形分析模块，GPU图形分析模块对视频流进行视频解码或视频数据转换从而输出结构化图形数据，以及GPU图形分析模块将视频流分解为单帧图像传输到深度学习算法模块，深度学习模块对结构化图形数据中的所有车辆信息进行处理得到大型车辆全车信息并将存在违法行为的大型车辆全车信息输出至违法信息平台。所述车辆信息包括车辆外观、结构、颜色、号牌信息。

其中，所述深度学习模块分别对进入正向道路抓拍摄像机和反道路抓拍摄像机拍摄范围的所有车辆进行同步轨迹跟踪并识别、抓拍属于大型车辆的车头和车尾信息，然后对大型车辆的车头和车尾信息进行二次比对，确保获取的是同一大型车辆的车头和车尾信息并合成得到大型车辆全车信息，然后进一步判断合成全车的大型车辆是否有闯禁、超高、超限、抛洒、车斗未遮盖和遮挡号牌的特殊违法行为，当存在特殊违法行为时输出报警信息及违法车辆信息到违法信息平台。

如图5所示，深度学习算法的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违法判断结果；若输出1则为违章；输出为0，则为正常，最终得到车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等行为判断结果。

所述视频流接入模块用于检测判断网络连接是否正常，检测判断正、反向道路抓拍摄像机是否正常工作、视频流是否正常，具体判断方法为：当网络不通或者网络延时超出预设值判断为网络不正常；摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为正、反向道路抓拍摄像机不正常；视频流丢帧、跳帧判断为视频流不正常。当视频流接入模块检测到网络、摄像机、视频流不正常时，则提示报警信息到违法信息平台，报警信息给出网络IP地址、摄像机点位信息，违法信息平台进行人工干预排查解决外部故障。

如图2所示，路面安装正、反向摄像机，拍摄车头、车尾视频，视频传输到后端分析系统更行分析，分析后得到合成数据。

如图3所示，视频流接入模块检测判断通过后，接入前端摄像机视频流，输入到GPU图形分析模块进行分析。GPU图形分析模块分析接入的视频流，充分利用GPU，使用并行化运算技术,进一步提高检测效率，分析结果输入到深度学习算法模块进行分析。深度学习算法模块，采用人工智能技术对分析结果进行比对、验证，识别所有车辆信息，输出同一辆大型车的车头、车尾合成输出、记录，分析车辆特征记录全车信息。同时分析判断大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为并记录输出到违法信息平台。

如图4所示，系统利用深度学习技术，利用电子警察反向卡口或在原有电子警察对向路口的信号灯杆件或指路牌杆件上，加装一台反向摄像机，对正、反向视频中所有过车进行分析，检测出车辆是否属于大货车，然后根据需要将路段行驶的大货车车牌、车身颜色、车标、时间等信息记录下来。解决了大型车辆抓拍不到、号牌污损、号牌遮挡难题，实现了对大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌等特殊违法行为的非现场取证。

其中，车辆尾部视频可利用原有的电子警察视频，车辆前部视频可在正向信号灯杆件或指路牌杆件上加装一台摄像机。

Claims (7)

1.一种基于深度学习的大型车辆分析系统，包括正向道路抓拍摄像机、安装在服务器上的GPU图形分析模块，其特征在于：与所述正向道路抓拍摄像机相间隔一段距离安装有反向道路抓拍摄像机，服务器通过视频流接入模块分别获取正向道路抓拍摄像机和反向道路抓拍摄像机的视频流并将视频流输入至GPU图形分析模块；GPU图形分析模块对视频流进行视频解码或视频数据转换从而输出结构化图形数据，深度学习算法模块对结构化图形数据中的所有车辆信息进行处理得到大型车辆全车信息并将存在违法行为的大型车辆全车信息输出至违法信息平台。

2.根据权利要求1所述的一种基于深度学习的大型车辆分析系统，其特征在于：所述深度学习算法模块分别对进入正向道路抓拍摄像机和反道路抓拍摄像机拍摄范围的所有车辆进行同步轨迹跟踪并识别抓拍属于大型车辆的车头和车尾信息，然后对大型车辆的车头和车尾信息进行二次比对，确保获取的是同一大型车辆的车头和车尾信息并合成得到大型车辆全车信息；然后进一步分析判断合成全车的大型车辆是否有闯禁、超高、超限、抛洒、车斗未遮盖和遮挡号牌的违法行为，当存在违法行为时输出报警信息及违法车辆信息到违法信息平台。

3.根据权利要求2所述的一种基于深度学习的大型车辆分析系统，其特征在于：所述深度学习算法模块的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违法判断结果；若输出1则为违章；输出为0，则为正常，最终得到车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌行为判断结果。

4.根据权利要求1或2或3所述的一种基于深度学习的大型车辆分析系统，其特征在于：所述视频流接入模块用于检测判断网络连接是否正常，检测判断正、反向道路抓拍摄像机是否正常工作、视频流是否正常，具体判断方法为：当网络不通或者网络延时超出预设值判断为网络不正常；摄像机当前图像场景变动、出现干扰、图像失真、模糊判断为正、反向道路抓拍摄像机不正常；视频流丢帧、跳帧判断为视频流不正常。

5.根据权利要求4所述的一种基于深度学习的大型车辆分析系统，其特征在于：当视频流接入模块检测到网络、摄像机、视频流不正常时，则提示报警信息到违法信息平台，报警信息给出网络IP地址、摄像机点位信息，违法信息平台进行人工干预排查解决外部故障。

6.根据权利要求1所述的一种基于深度学习的大型车辆分析系统，其特征在于：所述的GPU图形分析模块为英伟达NVIDIA公司的GPU处理器芯片；所述视频流接入模块由各摄像机厂家公开提供的SDK接入组件封装组成，取样并通过运放进行解转码，输入GPU图形分析模块进行分析，由取样软件进行故障功能判断处理。

7.权利要求1-6任一一项所述的一种基于深度学习的大型车辆分析系统的分析方法，其特征在于：服务器通过视频流接入模块分别获取正向道路抓拍摄像机和反向道路抓拍摄像机的视频流并将视频流输入至GPU图形分析模块；GPU图形分析模块将接收到的视频流分解为单帧图像传输到深度学习算法模块，深度学习算法模块对图像中车辆的各种信息进行处理，其中主要包括车辆检测、号牌检测、车身信息检测和车牌检测；深度学习算法提取车辆信息，其中包括车身颜色、车辆类型、车标、车牌位置和车窗位置，并对车辆在图像中的位置进行精确定位；分析判断大型车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌违法行为并记录输出到违法信息平台；

其中，深度学习算法的神经网络包括基础特征提取的8层卷积层结构、多尺度特征提取的3层卷积层结构、特征合并层、金字塔池化层和分类检测回归层；图像输入网络进行前向传播时，先经过基础特征提取的8层卷积层结构，再输入到3层多尺度特征提取的卷积层结构中，将基础特征提取结构中第4层和第8层的特征，结合多尺度提取结构的特征，输入到特征合并层中进行合并，并将输出的合并特征输入到金字塔池化层中；最后将金字塔池化层的输出特征输入到最后的分类检测回归层中，输出违法判断结果；若输出1则为违章；输出为0，则为正常，最终得到车辆闯禁、超高、超限、抛洒、车斗未遮盖、遮挡号牌行为判断结果。