CN115578666A - 交通异常事件和静态事件相结合的关键帧过滤系统 - Google Patents

Abstract

本发明公开了一种交通异常事件和静态事件相结合的关键帧过滤系统，该系统包括摄像端和服务端，彼此之间通过广域网连接，服务器端部署在云服务器上；所述摄像端用于记录交通监控视频，交通监控视频分为正常的监控视频和发生交通事故的监控视频，包括视频生成模块、过滤模块和自适应控制模块；所述服务端用于处理过滤后的视频流，通过训练模型得到实时的静态事件检测结果和异常事件检测结果；具体包括接收模块、静态事件检测模块和异常事件检测模块、模型训练器、输出模块和模型；与现有技术相比，本发明能够在广域网带宽受限的条件下实时处理动态异常事件和静态事件，并且保证事件检测的准确率。

Description

交通异常事件和静态事件相结合的关键帧过滤系统

技术领域

本发明属于边缘计算领域，特别是涉及一种基于视频流的交通异常事件的关键帧过滤系统及方法。

背景技术

随着智慧城市战略的提出，摄像头的市场占有率日益增高。对这些摄像机收集的实时流进行基于机器学习的分析，例如流量监控，客户跟踪和事件检测，有望在效率和安全性方面取得重大突破。为了获得足够的推理精度，这些任务通常需要高计算能力和高分辨率图像(或视频流)。但是，这对基于实时视觉的应用程序来说是重大挑战。一方面，许多视频分析任务已针对云环境进行了优化，似乎我们可以直接在带宽有限的广域网中把数据直接发送到云端，然后云端模型可以从这些数据中提取足够的信息。这种设想对于高级视觉分析任务来说是不可行的。虽然降低视频分辨率(或帧频)确实可以节省带宽，但会导致推理精度的下降。另一方面，一些实时的高级视觉应用程序，例如自动驾驶，把昂贵的硬件加速器放在边缘设备上以执行本地推理。但是，如果以后这种应用程序需要大规模部署时，这需要付出巨额的经济代价。

关于实时视频流的分析处理，总的来说，共面临四大挑战：一是广域网中有限的带宽，二是处理海量数据会造成很大的处理时延，三是传输到远距离的云端会产生用户难以接受的传播时延，四是如何保持事件检测的精确度。为了解决上述四大问题，此方面已经有了非常多的研究成果。概括的讲主要分为四大类：在边缘端部署一个压缩的目标对象检测模型，对视频进行预处理，把包含感兴趣对象的帧过滤出来发送到数据中心服务器进行更进一步处理，从而达到节省网络传输所需的带宽。有的首先对特定视频流进行实验，得出一个带宽、分辨率和准确率的三元组对应关系，然后根据广域网带宽变化来压缩图片质量，从而达到节省广域网带宽的目的。有些研究在前者基础上，预先训练了一个带宽、阈值和准确率的离线配置文件，可以通过视频内容的像素变化情况动态调整阈值，然后通过阈值来筛选关键帧，从而可以减少视频数据传输量，对于某些视频片段在离线配置文件中找不到对应关系的，会把整个视频片段传输到云端进行在线训练，从而完善离线配置文件，使得离线配置文件始终在动态调整，以适应不同的视频内容。

然而上述方法在一定程度上都存在着局限性。利用神经网络的Filterforward虽然能根据识别图像中是否包含感兴趣目标物体，从而决定是否传输到远端服务器进行出来，但是在某种极端条件下，它能减少传输的数据量微乎其微，比如检测车辆，而Filterforward会几乎把拥堵路面的所有视频帧都作为关键帧传输到服务端进行处理。还比如Reducto能够根据预先设置好的网络条件，根据网络带宽来调整发送到云端处理的图像的分辨率，这在一定程度上缺乏灵活性，准确率并不是与图像分辨率成线性关系，这种配置在一定程度上显得不太灵活。虽然Reducto能够根据视频种类来动态调整阈值，动态的获取关键帧，但是Reducto忽略了视频的动态属性，Reducto过滤出来的关键帧只能对一些静态事件进行处理，而对视频中所包含的动态事件就显得束手无策了。综于上述分析，目前研究出一种算法，筛选出来的关键帧既能检测动态异常事件也能检测静态事件显得尤为重要。

发明内容

基于上述现有技术，本发明旨在提出了一种交通异常事件和静态事件相结合的关键帧过滤系统及方法，在广域网带宽受限的情况下高效提取到相关交通异常事件的视频关键帧的算法，得到的结果有助于实时识别和处理静态事件和动态异常事件。

本发明利用以下技术方案实现：

本发明的一种交通异常事件和静态事件相结合的关键帧过滤系统，该系统包括摄像端和服务端；其中：

所述摄像端用于记录交通监控视频，交通监控视频分为正常的监控视频和发生交通事故的监控视频，具体包括视频生成模块、过滤模块和自适应控制模块，其中：

所述视频生成模块，实时产生的视频数据并送至过滤模块；过滤模块，对视频数据进行灰度化，得到过滤后的视频流，送至服务端的接收模块；所述自适应控制模块，获得视频中的帧做前/后帧像素差，将其与可动态调整的阈值进行二值化处理，统计并且记录其中二值化结果为1的占比，与服务端的接收模块返回的离线配置文件中选出的一个最佳阈值来进行对比，判断该帧是否为关键帧，同时将二值化结果为1的占的比例记录下来，为后续筛选动态异常事件筛选提供数据，筛选出的关键帧通过广域网传输到服务端进行处理；

所述服务端用于处理过滤后的视频流，通过训练模型得到实时的静态事件检测结果和异常事件检测结果；具体包括接收模块、静态事件检测模块和异常事件检测模块、模型训练器、输出模块和模型；其中：

所述接收模块，接收从摄像端的过滤模块传来的过滤后的视频流；所述静态事件检测模块和所述异常事件检测模块，对过滤后的视频流进行实时检测，将实时检测结果和准确率反馈给客户；所述模型训练器为每个查询进行快速的模型训练；输出模块用于实时的静态事件检测结果和异常事件检测结果的输出。

与现有技术相比，本发明能够在广域网带宽受限的条件下实时处理动态异常事件和静态事件，并且保证事件检测的准确率。

附图说明

图1为本发明的交通异常事件和静态事件相结合的关键帧过滤系统架构图。

图2为本发明的摄像端静态事件实时过滤传输处理流程图。

图3为本发明的交通异常事件和静态事件相结合的关键帧过滤系统在广域网下的拓扑图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述。

如图1所示，为本发明的交通异常事件和静态事件相结合的关键帧过滤系统架构图。该系统包括摄像端10和服务端20，它们之间通过广域网连接，网路变化是实时的，服务器端部署在云服务器上。

所述摄像端10用于记录交通监控视频，交通监控视频分为正常的监控视频和发生交通事故的监控视频，包括视频生成模块101和过滤模块102、自适应控制模块103，各模块具体功能描述如下：

视频生成模块101，实时产生的视频数据并送至过滤模块20；过滤模块102，首先会对视频数据进行灰度化，得到过滤后的视频流，送至服务端20的接收模块201，其主要目的是减少计算时延，保证视频的实时传输；自适应控制模块103，对视频中的帧做前/后帧差处理，与可动态调整的阈值进行二值化处理，统计并且记录其中二值化结果为1的占比，与服务端20的接收模块201返回的离线配置文件中选出的一个最佳阈值来进行对比，判断该帧是否为关键帧，与此同时，二值化结果为1的占的比例会记录下来，为后续筛选动态异常事件筛选提供数据；最后把筛选出的关键帧通过广域网传输到服务端20进行处理。

所述服务端20包括接收模块201、静态事件检测模块2021和异常事件检测模块2022、模型训练器203、输出模块204和模型205；各模块执行功能具体描述如下：

所述接收模块201，接收从摄像端10的过滤模块传来的过滤后的视频流；所述静态事件检测模块2021和所述异常事件检测模块2022(比如车辆计数检测程序SA1和交通事故检测程序DA1等)，对接收模块201所接收到的从摄像端10的过滤模块传来的过滤后的视频流进行实时检测，将实时检测结果和准确率反馈给客户。所述模型训练器203为每个查询快速训练一个模型205。

离线配置文件执行以下流程：

命令服务端10使用每个模型训练器203为每个查询快速训练一个模型205，该模型表征差异值、过滤阈值和查询结果准确性之间的关系。该模型是通过在查询到达后的短时间内对相机发送的原始帧执行基于K均值的聚类来训练的。由于使用了简单的模型，训练通常需要几秒钟才能完成。生成的模型被编码为哈希表，其中每个条目代表一组差分值，其对应的阈值在同一邻域内，每个键是平均差分值，每个值是该集群的阈值，以及其对应的准确性，把整个哈希表发送到每个查询的摄像端10。摄像端10在收到查询请求之前不会以流式传输任何帧，在用户指定的查询和目标准确度到达时，不断跟踪连续帧之间的差异，以进行过滤，当摄像端10接收哈希表时，过滤模块会从哈希表中查找适合自己的最佳阈值，接着执行过滤程序。

本发明是基于边云协同的设计，摄像端和云服务器协同实时处理视频流的系统架构和算法。为了应对各种视频类型和每个视频中的各种内容，事先训练好一个配置文件。当视频在摄像端进行过滤时，以固定划分好的视频段为单位，每一个单位去配置文件中检索一次，找到最适合视频内容的阈值，然后通过该阈值过滤出关键帧，在过滤的过程中会记录图像像素变化的情况，根据所记录的图像像素变化的情况在过滤静态事件的关键帧的同时对有关异常动态事件进行检测，把过滤出的静态事件关键帧和可疑异常动态事件发送到云端进行处理。

本发明在提取静态事件相邻帧之间的像素差的同时，记录下来了像素差变化值，然后利用异常动态事件发生的前后视频像素变化不同的特点，实现了在提取静态事件关键帧的同时，能够检测出可能具有异常动态事件的片段，并一同发送到服务端进行处理。在广域网带宽实时变化并有极大可能带宽紧张的情况下，通过训练模型返回到摄像头的像素差、阈值和准确率对应关系的哈希表，再从哈希表中选择一个最佳阈值筛选出静态事件的关键帧，同时记录下像素差，然后分析整个视频片段的的像素差变化，来判断视频中是否包含一个或多个动态异常事件。实时发送关键帧并把动态异常事件片段发送给云服务器进行处理，通过这一方法，可以至少节省百分之五十以上的带宽，从而实现了广域网场景中视频的实时检测。

如图2所示，为本发明的摄像端静态事件实时过滤传输处理流程图，该流程图详细的描述了基于此过滤策略的视频流从摄像端经过广域网到达远程服务端，再由远程服务器经广域网反馈相关信息给用户的过程。具体的实施方案如下：

进行所获得的视频流灰度化处理；

计算相邻两帧的像素差；

与二值化的阈值进行对比；如果大于阈值，该像素点的值设置为1；如果小于阈值，该像素点的值设置为0；

计算像素点的值为1所占比例并记录下来，分别进行以下操作：

①与最佳阈值进行对比；如相同，发送此帧作为静态事件关键帧，如不同，丢弃；

②检测视频段的像素变化，发送此异常事件视频片段，到云端进行处理。

在具体实施过程中，首先是配置文件的准备，视频具有动态变化的特点，视频可能在短时间目标物体保持基本不变或者变化小，但是从长的时间跨度来说，视频中的特征物体是飞速变化的，相关研究表明，视频的最佳阈值是按分段的顺序快速变化的，为了摄像端的过滤算法不会导致查询精度低于目标检测精度，相机需要一种动态调整相关阈值的方法，以防止出现任何不可接受的精度下降。此决策需要了解不同的阈值与查询结果的准确性之间的关系。这就需要服务器在像素差值、阈值和结果准确度之间建立映射，则相机可以使用这些信息快速找到要使用的最佳阈值。要生成此映射，相机在注册查询后立即通过一个短窗口发送未过滤的帧，这些帧用作初始训练集，在初始训练集上运行完整的管道，生成关于每个帧段的完整结果，包括像素帧差、阈值和查询准确度的对应关系。其中管道包含了对视频中相邻帧之间进行帧差，然后用不同阈值去测试视频所对应的不同准确率。

摄像端在未接收到服务端发送来的查询请求时，是不会以任何方式传输视频流的，当服务端传来查询请求和目标准确度，同时也会发送像素帧差、阈值和准确度的哈希表。摄像端会开始对相邻帧进行帧差，并且记录像素突变的比例，与此同时，摄像端会从服务端传来的哈希表中查找最佳阈值来对视频流进行过滤，视频以3s为一个段，每一个段从哈希表中查找一次最佳阈值，整个阈值会应用到整个段，把过滤出来的关键帧发送到服务端进行处理。每次对相邻两帧进行帧差时，会分析15秒内整个像素差变化的趋势，来判断这个时间段内是否存在异常事件，如果判断存在异常事件，就会把15秒这个时间段的所有帧传输到服务端进行处理。判断交通异常事件的原理事件基于以下验证，在没有发生异常事件的路面，车流速度是平稳的并且像素变化是快速的，当发生交通事故之后，车流在一段时间内车流是趋于缓慢甚至是静止的，且像素变化是慢速的，通过记录像素变化能明显的得出视频段的像素变化的趋势，就能通过上述结论来判断该时间段内是否发生了交通异常事件，虽然此方法得出的视频片段可能不全都是交通异常事件，但是多提取出来的视频片段对带宽的压力是可以忽略不计的。

通常情况下，还设置了网络检测模块实时检测广域网可用带宽的变化，网络可用带宽的计算是根据单位时间内所传输的数据量来进行计算的，网络检测模块中的探针就会把带宽变化反馈给传输端，当检测到带宽压力较大时，传输模块会对过滤出来的关键帧进行适当的分辨率调整和发送速率调整，当在满足目标准确率的前提下，尽可能的减少传播时延，使视频流接近实时得到处理，当广域网带宽充足时，会以全分辨率和全速率传输过滤后的关键帧和交通异常事件片段。

服务端在接收到关键帧和交通异常事件片段后，会对关键帧和异常事件进行识别和处理，最后把识别出来的结果和其中包含的交通异常事件反馈给用户。

本发明实现了在广域网带宽受限的情况下高效提取视频关键帧的算法。本算法的关键是在广域网带宽面临重大压力时，能够动态调整阈值来筛选出关键帧，根据视频中像素值变化规律，筛选出可能包含异常事件的视频段，比如像素变化从一种状态突然转向另一种状态，说明此处可能有异常事件的可能。

如图3所示，为本发明的交通异常事件和静态事件相结合的关键帧过滤系统在广域网下的拓扑图。该拓扑图结构包括总控制台、云数据中心部署于广域网(WLAN)，各个摄像端、边缘服务器可以通过集群方式部署通过局域网(LAN)连接，再通过广域网(WLAN)连接到云数据中心和总控制台。

以上所述仅为展示本发明技术思想和特点的较为优选的实施方式，目的在于能够使本领域内的技术人员理解发明内容并据此实施，并不用以限制本发明，即在本发明精神和原则之内所做的修饰、替代、同等变化等，均应在本发明保护范围之内。

Claims (5)

1.一种交通异常事件和静态事件相结合的关键帧过滤系统，其特征在于，该系统包括摄像端和服务端；其中：

所述摄像端用于记录交通监控视频，交通监控视频分为正常的监控视频和发生交通事故的监控视频，具体包括视频生成模块、过滤模块和自适应控制模块，其中：

所述视频生成模块，实时产生的视频数据并送至过滤模块；过滤模块，对视频数据进行灰度化，得到过滤后的视频流，送至服务端的接收模块；所述自适应控制模块，获得视频中的帧做前/后帧像素差，将其与可动态调整的阈值进行二值化处理，统计并且记录其中二值化结果为1的占比，与服务端的接收模块返回的离线配置文件中选出的一个最佳阈值来进行对比，判断该帧是否为关键帧，同时将二值化结果为1的占的比例记录下来，为后续筛选动态异常事件筛选提供数据，筛选出的关键帧通过广域网传输到服务端进行处理；

所述服务端用于处理过滤后的视频流，通过训练模型得到实时的静态事件检测结果和异常事件检测结果；具体包括接收模块、静态事件检测模块和异常事件检测模块、模型训练器、输出模块和模型；其中：

所述接收模块，接收从摄像端的过滤模块传来的过滤后的视频流；所述静态事件检测模块和所述异常事件检测模块，对过滤后的视频流进行实时检测，将实时检测结果和准确率反馈给客户；所述模型训练器为每个查询进行快速的模型训练；输出模块用于实时的静态事件检测结果和异常事件检测结果的输出。

2.如权利要求1所述的一种交通异常事件和静态事件相结合的关键帧过滤系统，其特征在于，所述离线配置文件执行以下流程：

命令服务端使用每个模型训练器为每个查询快速训练一个模型，该模型表征差异值、过滤阈值和查询结果准确性之间的关系；生成的模型被编码为哈希表，其中每个条目代表一组差分值，其对应的阈值在同一邻域内，每个键是平均差分值，每个值是该集群的阈值以及其对应的准确性，把整个哈希表发送到每个查询的摄像端；当摄像端接收哈希表时，过滤模块从哈希表中查找最佳阈值，接着执行过滤程序。

3.如权利要求1所述的一种交通异常事件和静态事件相结合的关键帧过滤系统，其特征在于，所述静态事件模块的实时检测具体包括以下流程：

进行所获得的视频流灰度化处理；

计算相邻两帧的像素差；

与二值化的阈值进行对比；如果大于阈值，该像素点的值设置为1；如果小于阈值，该像素点的值设置为0；

计算像素点的值为1所占比例并记录下来，分别进行以下操作：

与最佳阈值进行对比；如相同，发送此帧作为静态事件关键帧，如不同，丢弃；

检测视频段的像素变化，发送此异常事件视频片段，到云端进行处理。

4.如权利要求1所述的一种交通异常事件和静态事件相结合的关键帧过滤系统，其特征在于，所述可动态调整的阈值的调整策略为摄像端在注册查询后立即通过一个短窗口发送未过滤的帧，这些帧作为初始训练集，在初始训练集上运行完整的管道，生成关于每个帧段的完整结果，包括像素帧差、阈值和查询准确度的对应关系，利用该对应关系找到最佳阈值。

5.如权利要求4所述的一种交通异常事件和静态事件相结合的关键帧过滤系统，其特征在于，根据视频内容的变化动态选择最佳阈值来进行过滤。

Images