CN106683409A - 一种重型卡车摄像识别管理方法及其系统 - Google Patents

Abstract

本发明公开了一种重型卡车摄像识别管理系统及其方法，本系统无需设置抓拍设备，视频摄像机中包含卡车检测算法模块，后端平台上运行牌照识别算法模块，视频摄像机在录像的时候，当检测到重型卡车，立刻送无压缩图片到后端平台，后端平台负责拍照识别、视频标签、视频浓缩，当视频像机送过来的图片不够清晰，导致牌照识别失败或者识别置信度不高的时候，后端平台软件立刻启动基于浓缩视频流的超分辨率时空增强算法，生成超分辨率增强后的图片。本发明与现有的抓拍机和摄像机的双机架构解决方案相比具有一路码流同时获取截图及关联视频的优点：在减少前端设备投入的情况下，还能复用后端平台模块，大大降低了系统实施成本。

Description

一种重型卡车摄像识别管理方法及其系统

技术领域

本发明属于数据识别领域中的图像捕获和图像拾取技术，具体涉及一种重型卡车摄像识别管理方法及其系统。

背景技术

近年来，重型卡车如大货车、土方车、槽罐车引发的交通事故日益引起社会各方的重视，很多路段、特殊设施场所等都对重型卡车加以限制，从而确保道路交通及相关设施场所的安全。但是由于不能及时有效地执法，部分重型车辆处于经济效益的考虑还是会怀着侥幸心理铤而走险闯入禁区。现有对于重型车辆违反禁止驶入行为的管理还是以静态图像抓拍结合事后录像人工查询定位的方式来取证。

目前，解决上述问题的方案通常是在管制路段或者区域配置车道监控摄像机和车牌识别抓拍机、或者是配置摄像抓拍一体机的部署方式。车道监控摄像机加车牌识别抓拍机的部署方式的成本较高、工程实施复杂、技术调试难度高、通信带宽消耗大，考虑到抓拍照片和录像视频需要同步促发问题，系统的复杂性会进一步增加。当前车道监控摄像机加车牌识别抓拍机的部署的典型方案如图1所示。因抓拍照片和录像视频需要同步，系统的复杂性进一步增加。考虑到抓拍图片和录像数据是来自不同的前端抓取设备，馈电和传输线路需要两套，通信带宽需要增加。另外，两个图像采集源不同，视野和画质很难一样，为后续的信息管理和人工处理带来其他的问题。由于图片和视频需要同步，项目实际运维过程中，为了降低系统安装运维的复杂性，往往会需要人工查找录像来匹配与之抓拍的图片，这样实际使用效率会进一步降低，而且劳动强度很大。

另外，采用摄像抓拍一体机的方案，硬件部署虽然比较简洁高效，但该类产品不仅成本高，而且由于运算集中在摄像机上、数据吞吐大、功耗高发热大(功耗从十几瓦到几十瓦)，导致稳定性下降。一体机的优点是将多个功能集中在一台机器上来展现，但是实际情况往往是当其中一个功能出现问题时反而会影响到另一个正常的功能模块，甚至无法保障稳定的基本视频数据录像，这也是一体机的弊端之一。另外，从项目实施成本来看，一体机功耗高的原因也很难采用POE网络供电的方式，该方式提高了实施的成本和复杂度，并且功耗大，加速线缆的老化，而铺设线缆成本是交通监控实施中费用最高部分。公告号为CN205788226U、名称为“基于图像处理的集装箱箱号及集卡车号识别系统”的实用新型公开了一种基于图像处理的集装箱箱号及集卡车号识别系统，本系统在集装箱装卸船的过程中，通过PLC控制器控制摄像机进行高速拍照，并将实时图像通过以太网传输给工控机，由工控机上运行的箱号识别软件识别出集装箱号后再通过以太网将结果传输给TOS作业系统统一管理，以解决了港口码头作业过程中，集装箱号码由人工登记导致集装箱装载效率低和人工失误导致集卡车与需要装载的集装箱不匹配的技术问题。但由于集装箱的尺寸有固定的标准，因此集卡车识别跟重型卡车识别还是有明显的区别，该专利披露的技术的应用范围比较受限制。

发明内容

本发明要解决的技术问题是针对现有的抓拍机和摄像机的双机架构解决方案存在的复杂性高、数据吞吐大、功耗大的缺点，提出一种既可以减少前端设备投入，还能复用后端平台模块，从而大大降低了系统实施成本的解决方案。

为达到上述目的，本发明提出的技术方案是一种重型卡车摄像识别管理系统，包括视频摄像机和后端平台，视频摄像机的录像数据通过传输线路送至后端平台进行实时报警和数据存储，本系统的特点是无需设置抓拍设备，视频摄像机中包含卡车检测算法模块，后端平台上运行牌照识别算法模块，视频摄像机在录像的时候，当检测到重型卡车，立刻送无压缩图片到后端平台，后端平台负责拍照识别、视频标签、视频浓缩，当视频像机送过来的图片不够清晰，导致牌照识别失败或者识别置信度不高的时候，后端平台软件立刻启动基于浓缩视频流的超分辨率时空增强算法，生成超分辨率增强后的图片。

进一步，上述后端平台上包含牌照识别算法模块和基于浓缩视频流的超分辨率时空增强算法的模块。

上述视频浓缩是指车辆通过卡口前后的短视频。

本发明还进一步涉及一种利用上述重型卡车摄像识别管理系统进行重型卡车摄像识别管理的方法，包含以下步骤：

(1)视频摄像机录像时，当检测到重型卡车，立刻送无压缩图片到后端平台，后端平台负责拍照识别，视频标签、视频浓缩；

(2)后端平台上运行牌照识别算法，对从视频摄像机送来的图片进行拍照识别；

(3)当视频像机送来的图片不够清晰，导致牌照识别失败或者识别置信度不高的时候，后端平台软件立刻启动基于浓缩视频流的超分辨率增强算法，减少图像模糊，提高图像分辨率，把超分辨率增强后的图片，送到牌照识别模块。

进一步，经过步骤2识别出的牌照信息可用于视频标签、视频浓缩、信息挖掘和其他数据管理。

上述超分辨率增强算法是采用时空滤波运动重建算法获得超分辨率抓拍时刻现场图像。

上述步骤1中对重型卡车的检测采用基于视频图像处理的方法。

上述基于视频图像处理的方法是以道路或卡口视频图像为分析对象，通过对设定区域的图像进行分析，利用视频摄像机采集到的数据获取车辆不同方位的图像，然后通过降噪处理、边缘检测从视频图像中提取车辆的特征量，最后进行模式分类，判断出汽车的车型。

上述车辆的特征量包括总长、高度、长高比、顶篷相对位置、顶长比。

与现有技术中抓拍图片和录像数据是来自不同前端抓取设备的方式相比，本发明的有益效果在于：

1.系统部署容易，考虑一台通用视频摄像机可以兼顾摄录和抓拍，在项目实施过程中，网络部署简单及各个功能模块搭建、配置容易，因此具有低成本、易维护，在丰富功能前提下大大降低了项目实施成本和设备成本的优点。另外，本发明中的摄像机只是增加了一个车辆检测算法模块，对通用摄像机的运算资源没有压力。

2.具有低带宽的优势，考虑到相机只要出一路码流就可以兼顾图像抓拍和视频录像，大大降低了网络负荷。在规模化的应用场景下，也可以进一步优化网络设备的采购。

3.通用视频摄像机的功耗很低一般只有几瓦，现有系统中都要用到功耗十几瓦的抓拍相机，而抓拍相机一般采用CCD传感器和DSP，功耗都非常高，甚至为系统解决发热问题增加了风扇，导致功耗进一步增加，降低系统稳定性，因此本发明具有低功耗系统稳定的优点。由于系统功耗低，容易采用POE供电，对线缆要求也很低，工程实施和运维成本下降。

4.本发明中车辆检测算法在摄像机前端实现，超分辨率增强、牌照识别、车型识别、视频浓缩等算法在平台端实现，平台软件一般是运行在机房里的服务器上，工作条件很好，维护升级也容易。把智能处理、数据挖据放到平台上，使得系统的功能扩展非常灵活

5.本发明中视频摄像机输出一路码流就可以兼顾测量检测抓拍和视频录像功能，确保抓拍图像和录像视频具备一致的视场、曝光和色彩均衡，抓拍行为和关联录像由同一个软件平台负责执行，大大方便了后续的视频检索、信息联动和数据挖掘，因此具有效率高、场景一致的优点。

6.容易个性化应用开发，通常情况下软件平台的应用方式更为灵活，考虑到抓拍模块从相机硬件端移植到了后台软件平台，本发明方案的应用性也随之更为灵活，可以更进一步满足用户的个性化定制需求。系统联动扩展方便，软件平台的扩展性要优于硬件端，考虑到抓拍模块从像机硬件端移植到了后台平台软件，具体项目实施过程中可以满足一个识别信号驱动多路抓拍等系统联动扩展功能。同时，也可以根据不同的需求场景实现一个识别信号驱动多个抓拍、无信号定时轮询抓拍等各种复合功能。

附图说明

图1是基于抓拍机和摄像机的双机架构解决方案的示意图。

图2是本发明提出的重型卡车视频识别管理系统架构图。

图3是从原始低分辨率视频图像序列采用时空滤波运动模型增强重建出流超分辨率图像的示意图。

图4是本发明软抓拍方案的实施示意图。

具体实施方式

现结合附图对本发明的具体实施方式作进一步的说明。

如图1所示，基于抓拍机和摄像机的双机架构解决方案中，考虑到抓拍图片和录像数据是来自不同的前端抓取设备，馈电和传输线路需要两套，通信带宽需要增加。另外，两个图像采集源不同，视野和画质很难一样，为后续的信息管理和人工处理带来其他的问题。由于图片和视频需要同步，项目实际运维过程中，往往会需要人工查找录像来匹配与之抓拍的图片，实际使用效率会进一步降低。当前车道监控摄像机加车牌识别抓拍机的部署方案的成本较高、部署复杂。因抓拍照片和录像视频需要同步，系统的复杂性进一步增加。

图2是本发明提出的重型卡车视频识别管理系统架构图。其关键点是系统只采用一台普通的视频摄像机配合平台软件，实现车辆检测、牌照抓拍、图像超分辨率增强、牌照识别、视频录像、视频浓缩等全部功能。本系统中，在普通的视频摄像机中植入运算量较小、对后续传输、数据检索、解码、信息挖掘帮助很大的卡车检测算法，输出卡车检测信息。视频摄像机在录像的时候，当检测到重型卡车，立刻送无压缩图片到平台，平台负责拍照识别，视频标签、视频浓缩(车辆通过卡口前后的短视频)。后端平台上运行牌照识别算法模块，对前端摄像机送过来的图片进行拍照识别，牌照信息用于视频标签、视频浓缩和其他数据管理、信息挖掘。

当视频像机送过来的图片不够清晰导致牌照识别失败或者识别置信度不高的时候，平台软件立刻启动基于浓缩视频流的超分辨率时空增强算法，减少图像模糊，提高图像分辨率。把超分辨率增强后的图片，送到牌照识别模块。前端摄像机由于任务少、简单，容易做到稳定，摄像机一般安装在高处，一旦出了问题维护成本非常高。平台软件一般是运行在机房里的服务器上，工作条件很好，维护升级也容易。把智能处理、数据挖据放到平台上，对系统的功能扩展非常灵活。

通过摄像机实现一部分算法，平台实现另一部分算法，符合分布式云计算的理念，技术算法识别，基本的录像视频数据还是与保障的。超分辨率图像增强，输出的超分辨率图像比前端抓取的图像分辨率高很多，并且是解决运动模糊问题有效手段，但是算法非常复杂，运算量很大，本系统中是按需执行的，只有来自前端图像质量不满足要求时候才会执行，所以系统负荷不会带来很大的提升。

通用视频摄像机完成重卡目标识别又能保证常规实况录像。这样摄像机上运行的算法简单、数据吞吐少，功耗低(一般在3瓦以下)，系统稳定。牌照识别与图像增强等运算复杂度高,数据检索与信息挖掘等逻辑灵活的部分由后台系统程序去执行。

车型自动检测技术是一门集数字图像处理、模式识别、工业测控的系统工程技术于一体的综合技术。要实现车辆自动检测、分类，需要做的第一步是探测、提取车辆的多维特征信息。

车型识别主要有轮廓扫描法、车轴计数法、磁场变化法和基于视频图像处理的方法等。本发明中的系统方案采用基于视频图像处理的方法实现重卡识别。以道路/卡口视频图像为分析对象，通过对设定区域的图像进行分析，利用视频摄像机采集到的数据获取车前、车后和车身侧面等不同方位的图像，然后通过降噪处理、边缘检测从视频图像中提取车辆的总长、高度、长高比、顶篷相对位置、顶长比等特征量，最后进行模式分类，判断出汽车的车型。

本重型卡车摄像识别系统整体流程如图4所示，是基于典型的视频监控平台，配合使用流媒体服务器、设备关联服务器和存储服务器，可以简单、高效地实现重型卡车视频摄像识别管理功能。具体的过程是：前端摄像机在摄录过程中检测到重型卡车的时候会触发一个关联信号给后端平台软件；平台软件在接收到摄像机端的检测信号后同时触发3个动作：一项是负责常规报警联动处理(包含联动云台控制、实况上墙、SMS消息发送、微信发送、Email发送等动作)；第二项是负责处理抓拍动作的执行操作；第三项是负责记录关联存储录像的标识。

其中执行图像抓拍识别的动作可以分解为以下几个步骤：

1)收到来自摄像机的检测到重卡信号；

2)接受来自摄像机的抓拍图像，对检测到车辆的前后视频截取，作为浓缩视频存储；

3)图像质量分析QA、牌照识别、车型分类，获图像质量信息与识别分类置信度RA；

4)如果QA和RA都满足预先设定的阈值，直接进入第7)数据管理步骤，否则触发超分辨率图像增强，并识别牌照

5)对浓缩视频解码到YUV无压缩图片，结合前端抓拍图像，启动超分辨率增强算法，采用时空滤波运动重建算法获得超分辨率抓拍时刻现场图像；

6)对超分辨率图像进行图像质量分析、牌照识别、车型分类，获图像质量信息与识别分类置信度；

7)视频中标识关联标签、牌照、置信度、车辆描述等信息；

基于上述前端加后台的处理系统方案不仅能够完成抓拍图像识别牌照等功能，还能快速定位到关联的视频录像。为事后分析相关事件带来了极大的方便性。

基于原始的低分辨率视频图像序列，采用时空滤波运动模型，增强重建出流超分辨率图像的原理如图3所示。

需要说明的是，本发明所提供的上述实施例仅具有示意性，不具有限定本发明的具体实施的范围的作用。本发明的保护范围应包括那些对于本领域的普通技术人员来说显而易见的变换或替代方案。

Claims (9)

1.一种重型卡车摄像识别管理系统，包括视频摄像机和后端平台，视频摄像机的录像数据通过传输线路送至后端平台进行实时报警和数据存储，其特征在于本系统无需设置抓拍设备，视频摄像机中包含卡车检测算法模块，后端平台上运行牌照识别算法模块，视频摄像机在录像的时候，当检测到重型卡车，立刻送无压缩图片到后端平台，后端平台负责拍照识别、视频标签、视频浓缩，当视频像机送过来的图片不够清晰，导致牌照识别失败或者识别置信度不高的时候，后端平台软件立刻启动基于浓缩视频流的超分辨率时空增强算法，生成超分辨率增强后的图片。

2.根据权利要求1所述的重型卡车摄像识别管理系统，其特征在于所述后端平台上包含牌照识别算法模块和基于浓缩视频流的超分辨率时空增强算法的模块。

3.根据权利要求2所述的重型卡车摄像识别管理系统，其特征在于所述视频浓缩是指车辆通过卡口前后的短视频。

4.一种利用权利要求1所述的重型卡车摄像识别管理系统进行重型卡车摄像识别管理的方法，其特征在于，包含以下步骤：

(1)视频摄像机录像时，当检测到重型卡车，立刻送无压缩图片到后端平台，后端平台负责拍照识别，视频标签、视频浓缩；

(2)后端平台上运行牌照识别算法，对从视频摄像机送来的图片进行拍照识别；

(3)当视频像机送来的图片不够清晰，导致牌照识别失败或者识别置信度不高的时候，后端平台软件立刻启动基于浓缩视频流的超分辨率增强算法，减少图像模糊，提高图像分辨率，把超分辨率增强后的图片，送到牌照识别模块。

5.根据权利要求4所述的进行重型卡车摄像识别管理的方法，其特征在于经过步骤2识别出的牌照信息可用于视频标签、视频浓缩、信息挖掘和其他数据管理。

6.根据权利要求4所述的进行重型卡车摄像识别管理的方法，其特征在于所述超分辨率增强算法是采用时空滤波运动重建算法获得超分辨率抓拍时刻现场图像。

7.根据权利要求4所述的进行重型卡车摄像识别管理的方法，其特征在于步骤1中对重型卡车的检测采用基于视频图像处理的方法。

8.根据权利要求7所述的进行重型卡车摄像识别管理的方法，其特征在于所述基于视频图像处理的方法是以道路或卡口视频图像为分析对象，通过对设定区域的图像进行分析，利用视频摄像机采集到的数据获取车辆不同方位的图像，然后通过降噪处理、边缘检测从视频图像中提取车辆的特征量，最后进行模式分类，判断出汽车的车型。

9.根据权利要求8所述的进行重型卡车摄像识别管理的方法，其特征在于所述车辆的特征量包括总长、高度、长高比、顶篷相对位置、顶长比。