CN109902640A - 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法 - Google Patents

基于边缘计算和机器学习的视频质量异常检测系统及其检测方法 Download PDF

Info

Publication number
CN109902640A
CN109902640A CN201910165037.2A CN201910165037A CN109902640A CN 109902640 A CN109902640 A CN 109902640A CN 201910165037 A CN201910165037 A CN 201910165037A CN 109902640 A CN109902640 A CN 109902640A
Authority
CN
China
Prior art keywords
video
abnormal
data
video sensor
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910165037.2A
Other languages
English (en)
Other versions
CN109902640B (zh
Inventor
肖志勇
高超宏
尹达恒
姜海鹏
宋嵘榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Bencio Intelligent Technology Co ltd
Jiangnan University
Original Assignee
Anhui Hailang Intelligent Technology Co Ltd
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Hailang Intelligent Technology Co Ltd, Jiangnan University filed Critical Anhui Hailang Intelligent Technology Co Ltd
Priority to CN201910165037.2A priority Critical patent/CN109902640B/zh
Publication of CN109902640A publication Critical patent/CN109902640A/zh
Application granted granted Critical
Publication of CN109902640B publication Critical patent/CN109902640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于边缘计算和机器学习的视频质量异常检测系统及其检测方法,系统分为感知层、网络层和应用层三个层次。在感知层,利用Python脚本,实现对单个树莓派连接的所有摄像头所采集的视频数据的异常检测。在网络层,树莓派通过网线与路由器进行有线连接,路由器与云端服务器通过路由器进行无线网络连接。在应用层,主要实现视频异常检测、异常数据数据处理和故障预测。该系统在感知层进行边缘计算,提高了视频异常检测的实时性和资源利用率;在应用层以机器学习作为工具训练预测模型,提高了视频监控系统的维护效率,一定程度上预防了因维修不及时所导致的损失。

Description

基于边缘计算和机器学习的视频质量异常检测系统及其检测 方法
技术领域
本发明涉及视频质量异常检测领域,尤其涉及一种基于边缘计算和机器学习的视频质量异常检测系统及其检测方法。
背景技术
目前,随着网络通信、视频图像处理、计算机图形学等学科领域的逐渐成熟和机器学习、深度学习等智能算法领域的快速发展,以早期拓扑网络视频监控系统为根基并且结合目前发展较为成熟的视频图像处理与分析技术而产生的智能视频监控系统正以较快的速度发展,其普及程度越来越高,应用领域越来越广泛。智能视频监控系统在城市智慧交通、楼宇智能安防、环境智能监测、行人状态监测与跟踪等物联网视觉领域有较为成熟的发展,其突出技术领域包括视频图像采集技术、视频图像处理技术、视频图像分析技术、短距离通信技术、异构拓扑网络技术、机器学习和深度学习等。
目前,智能视频监控系统已经有比较成熟的发展,系统的精确度也比较高,随之而来的一个新型技术问题是视频质量的异常分析和故障诊断。随着视频监控系统的普及,视频质量异常检测技术成为一个完善与发展智能视频监控系统的主要部分。前期科研工作者在处理视频质量异常情况时,在不影响系统整体性能的前提下,一般直接跳过异常帧以保证视频质量的流畅性。此外,较为成熟和有效的方法是以异常帧作为检测样本,以图像分析技术进行异常帧的故障诊断,通常可以检测出雪花、色偏、抖动、遮挡、黑屏等异常类型。但是,由于图像处理技术的局限性,无法准确定位和识别出出现异常的摄像头的位置信息和故障类型。所以,传统形式下以图像分析技术作为主要异常检测和故障诊断途径的视频异常检测方法在摄像头故障检测和地理定位上存在一定的提高空间。在现存的视频质量异常检测和摄像头故障诊断的基础上,基于异常数据和故障信息对视频质量异常的类型和摄像头故障信息作出预测估计,并且利用异常数据和故障信息训练预测模型。
目前,现有摄像机存在计算能力以及上传数据的时延和带宽不足,造成目标信息检测漏检较大和检测效率低效等问题,边缘计算是从数据源到云计算中心数据路径之间的任意计算资源和网络资源,实现数据的就近处理方式。边缘计算是将计算任务在接近本地数据源的计算资源上运行,边缘计算可以实现对视频数据传输流过程中的本地化处理,为视频监控系统带来低时延和高效资源利用性等优点,满足数据处理的实时性和完整性需求。视频异常检测系统结合边缘计算可以实现视频异常的本地检测,传输到云端的信息只有故障信息和摄像机的地理位置信息,极大的提高了实时性和资源利用率。
发明内容
为了对视频监控系统所导出的实时视频进行视频质量异常检测,诊断视频故障信息和摄像头的地理位置信息,提高异常类型检测准确度、实时性和资源利用率,现提出一种基于边缘计算和机器学习的视频质量异常检测系统及其方法。
本发明所采用的技术方案是:一种基于边缘计算和机器学习的视频质量异常检测系统,包括感知层、网络层和应用层;
所述感知层,包括用于实时获取视频流的视频传感器和进行处理多个视频传感器传输的视频数据的视频微处理器;所述视频微处理器包括嵌有Python脚本的树莓派,在收到来自应用层的视频异常检测请求时,所述树莓派将视频数据导入Python脚本中进行视频异常检测;感知层通过树莓派采集视频传感器信息,所述视频传感器信息包括与树莓派连接的视频传感器的产品信息和运行状态;
所述网络层,用于对感知层的视频数据和视频传感器信息转发至云端服务器;
所述应用层,接收用户业务请求,根据用户业务请求调用感知层的视频数据、传感器信息进行视频异常检测、异常数据处理和故障预测。
进一步的,所述视频传感器和树莓派根据所在区域位置具有唯一的视频传感器编号和树莓派编号。
进一步的,所述视频传感器的产品信息包括视频传感器已使用时间和视频传感器身份信息;所述运行状态包括视频传感器是否出现异常帧、异常帧的异常类型和异常帧的检测参数;所述视频传感器信息还包括分组信息,所述分组信息包括与视频传感器连接的树莓派编号、视频传感器编号和视频传感器的安装位置。
进一步的,所述应用层包括视频异常检测模块、异常数据处理模块和故障预测模块,所述视频异常检测模块调用所述感知层完成异常检测,所述异常数据处理模块包括异常数据存储查询模块、异常数据可视化模块和异常数据实时更新模块。
进一步的,所述故障预测模块包括区域异常预测模块和单个视频传感器预测模块;
所述区域异常预测模块包括基于人工神经网络算法的预测模型,以区域内视频传感器的使用总时间、区域位置作为模型的输入,异常总次数作为模型的输出;
所述单个视频传感器预测模块包括基于SVM算法的预测模型,以视频传感器的安装位置和使用时间作为模型的输入,异常出现时间和异常类型作为模型的输出。
进一步的,所述基于人工神经网络算法的预测模型和基于SVM算法的预测模块均使用A类训练样本和B类训练样本作为训练样本集;所述A类训练样本为人为因素干扰导致的异常数据,所述B类训练样本包括视频传感器本身故障导致的异常数据。
本发明还公开了一种基于边缘计算和机器学习的视频质量异常检测方法,包括以下步骤:
步骤1:对监控系统所覆盖的范围进行区域分组得到若干子区域,基于区域分组对配置的视频传感器和树莓派进行编号:
步骤2:配置树莓派,并基于树莓派获取视频传感器信息并保存至本地数据库,由本地数据库根据数据更新周期将当前更新的数据传入云端服务器;
步骤3:视频传感器实时获取视频流,传输至视频微处理器,由Python脚本检测每一帧的视频质量,若检测出异常,则将异常数据记录到本地数据库并上传至云端处理器;所述异常数据包括出现异常的视频传感器编号、视频传感器使用时间、视频传感器所连接的树莓派编号、视频传感器的安装位置、异常帧出现时间、异常帧的异常类型和异常帧的检测参数;若未检测出异常,不对数据做记录;
步骤4:由应用层的异常数据可视化模块对异常数据进行显示。
进一步的,在对视频流进行视频质量检测时,对视频每一帧的图像进行处理,满足分时多线程。处理过程包括以下步骤:
a:启动检测异常视频的Python脚本程序;
b:读取视频帧并获取帧参数;
c:使用六个线程并行检测视频帧的参数,根据参数将异常类型分为:遮挡、转动、晃动、色偏、模糊和噪点。
进一步的,本发明还包括视频质量异常预测方法,包括以下步骤:
S1:以整体区域为单位将区域异常数据作为训练区域异常预测模型的样本;将不同区域内的摄像头的异常数据作为训练单个区域中的某一个视频传感器的异常预测模型的样本;
S2:对S1中作为训练样本的异常数据做数据分组,分为A类样本和B类样本,所述A类样本为人为因素干扰导致的异常数据,B类样本为摄像头本身故障导致的异常数据,在A类样本中,异常类型为遮挡、转动、晃动;在B类样本中,异常类型为色偏、模糊、噪点;
S3:采用A类样本和B类样本分别对区域异常预测模型进行训练,得到以区域内视频传感器的使用总时间和区域位置为输入、异常总次数为输出的区域异常预测模型;采用A类样本和B类样本分别对单个视频传感器的异常预测模型进行训练,得到以视频传感器的生产信息和使用时间为输入、异常出现时间和异常类型为输出的单个视频传感器的异常预测模型。
进一步的,所述区域异常预测模型基于人工神经网络算法,所述单个视频传感器的异常预测模型基于SVM算法。
有益效果:本发明基于边缘计算,实现了视频质量的分布式异常检测,提高了视频异常检测的实时性和资源利用率,并基于人工神经网络和多输入多输出支持向量机算法,实现了视频质量异常预测,提高了视频监测系统的维护劳动力利用率,优化了摄像头维护人员的分配方案。该系统在实际视频监控系统的视频质量异常检测与预测中有较强的实用性和拓展性。
附图说明
图1是基于边缘计算的视频质量异常检测系统概念图;
图2是基于边缘计算的视频质量异常检测系统层次体系图;
图3是感知层至网络层的实现方案图;
图4是网络层至应用层的实现方案图;
图5是基于边缘计算和机器学习的视频质量异常检测系统功能流程图;
图6是Python脚本异常检测程序流程图。
具体实施方式
下面结合附图和实施例进一步阐述本发明。
本发明的基于边缘计算和机器学习的视频质量异常检测系统包括三个层次,即感知层、网络层和应用层。
在感知层,主要包括两个部分,一是视频传感器,即视频摄像头;二是视频微处理器,即嵌入Python脚本的树莓派。视频传感器实时获取视频流,将视频数据通过USB接口或者网线接口传输至视频微处理器,视频微处理器可同时处理多个视频传感器传输的视频数据。对于每一个视频传感器所传输的视频数据,树莓派直接运行Python脚本文件,实时地将视频数据导入至Python脚本中,检测每一帧的视频质量,如果检测出异常,则直接将异常数据(包括异常类型和异常参数)传输至云端处理器。
在感知层中,主要实现的技术方案包括视频数据采集、异常类型检测和传感器信息采集。视频数据采集由视频传感器(含有USB或者网线接口的摄像头,本实施例中以海康威视摄像头为例)完成,摄像头直接将捕获的视频数据以有线形式传输至树莓派。异常类型检测由嵌入Python脚本的树莓派完成,视频数据导入至树莓派后,直接由嵌入在树莓派中的Python脚本读取并且检测异常。传感器信息采集是指树莓派将连接的摄像头的产品信息、分组信息和运行状态上传至云端服务器。所需摄像头的产品信息包括摄像头的生产日期、生产厂家和已使用时间等;分组信息包括摄像头所连接的树莓派编号、摄像头在当前树莓派子网中的编号和摄像头的安装位置等;运行状态包括摄像头是否出现异常帧、异常帧的异常类型、异常帧的检测参数等。可检测出的异常帧类型有遮挡、转动、晃动、色偏、模糊、噪点。为了保证Python脚本的检测效率,使用像素点间隔扫描法提高异常检测速率。
在网络层,主要是路由器对感知层的数据的分组转发。路由器作为网络中继,将树莓派传输来的数据分组转发至云端服务器。主要实现的技术方案包括树莓派的网络配置和路由器的网络配置。树莓派的网络配置是将一定地理距离范围内的多个树莓派通过有线形式连接到一个路由器上。树莓派有四个USB接口和一个网线接口,对于一个树莓派,其四个USB接口通过USB-视频线转换器与摄像头进行连接,连接路由器的网络配置是将多个路由器以无线形式和一个与云端服务器相连的路由器进行无线网络连接,无线网络的配置方法与一般路由器的配置方法相同。
在应用层,主要实现的技术方案包括视频异常检测、异常数据处理和故障预测。视频异常检测主要包括视频数据采集、异常类型检测和传感器信息采集。该部分的功能已经在感知层实现,在应用层直接调用从感知层传输而来的数据即可。异常数据处理主要包括异常数据的存储查询、异常数据的可视化和异常数据的实时更新。
异常数据的存储查询:数据存储查询使用MySQL作为存储异常数据的数据库,SQL作为面向MySQL数据库的设计语言,异常数据的数据项包括出现异常的摄像头编号、摄像头使用时间、摄像头的生产日期、生产厂家、摄像头所连接的树莓派编号、摄像头的安装位置、异常帧出现时间、异常帧的异常类型、异常帧的检测参数。网站有查询功能,可以查询数据库,同时包含过滤筛选功能,可以按时间,地区,生产厂家等进行筛选查询。总体设计方案如下所示。
表1摄像头产品信息数据表
数据项 数据类型 是否主键 是否为空 备注
摄像头编号 Varchar(99) autoincrement
生产日期 Date
生产厂家 Varchar(99)
使用时间 Date Now()
表2摄像头位置信息数据表
数据项 数据类型 是否主键 是否为空 备注
摄像头编号 Varchar(99) autoincrement
连接的树莓派编号 Varchar(99)
区域编号 Varchar(99) area0~100
区域内编号 Varchar(99) area0~100
表3摄像头异常信息数据表
表4树莓派信息数据表
数据项 数据类型 是否主键 是否为空 备注
树莓派编号 Varchar(99) autoincrement
区域编号 Varchar(99)
区域内编号 Varchar(99)
表5区域位置信息数据表
数据项 数据类型 是否主键 是否为空 备注
区域编号 Varchar(99) autoincrement
区域位置 Varchar(99)
表6区域内位置信息数据表
数据项 数据类型 是否主键 是否为空 备注
区域编号 Varchar(99) autoincrement
区域内编号 Varchar(99)
区域内位置 Varchar(99)
异常数据的可视化分析。视频质量异常检测系统的编程环境:Pycharm,编程语言:python3.5,编程模块Django,流程分为硬件的配置,网站设计、运行与检测,可视化分析与显示。
配置树莓派:在3B型树莓派上运行,构建物联网网关,安装虚拟运行环境Virtualenv,扫描云端服务器wifi并连接。配置好树莓派后,进行故障检测,判断树莓派是否能够正常工作。连接鼠标,连接摄像头并开启,运行软件,检测有无图像输出。发生故障则需重新连接摄像头或者检测摄像头本身是否良好。连接成功后摄像头本身的数据会通过树莓派直接记录在本地数据库,之后通过网络上传到云端服务器。
网站使用Django的技术进行开发。Django是基于MVC构造的开源Web应用框架,Django中内置了网站开发模板包括菜单和布局等,方便快速开发网站,内置的数据处理模块可以处理数据库中的各种数据并以图表的形式显示在界面上。请求到的数据通过Javascript代码进行预处理,python语言进行主要处理后通过Highcharts显示在网站对应界面。显示的内容有柱状图,饼状图,折线图。
数据的实时更新。总体流程:树莓派获取到摄像头的信息后保存到本地,本地数据库每隔1分钟将当前更新的数据传入云端服务器,网站后端读取云端服务器数据加以处理并显示在前端。更新数据采用并发处理的方式。网站对云端服务器发出多个请求,包括异常时间,异常参数,异常类型等,每个请求分别执行,避免服务器延迟导致的各种问题。图表的更新使用JQuery的无刷新机制,保证了数据是实时显示的。数据的传输采用SHA1的加密模式,保证了数据的安全性。
故障预测部分基于机器学习,以异常数据作为训练样本,对可能出现异常帧的摄像头位置和异常类型等进行预测,由于样本数据随摄像头的安装位置和地理环境的不同会产生较大的差异,故需要先对不同子网下的摄像头做类间分析和类内分析。类间分析时,使用聚类方法,以路由器作为样本中心点,每一个路由器所连接的树莓派是二级样本中心点,故聚类时的主要聚类维度是树莓派编号,将一个组网内的树莓派聚为一个类。类内分析时,分析摄像头的使用时间、异常类型、异常次数、异常出现时间、生产日期、生产厂家、安装位置之间的关联,并以此作为参考值建立预测模型,用以对摄像头可能出现异常的时间、异常类型、摄像头位置、树莓派编号做出预测,以便对摄像头进行提前维护和检查。
建立预测模型时,先对区域位置进行编号。编号时,先对整体监控系统所覆盖的范围进行一次区域分组,提供2个十进制编号位,即最多可以将监控范围划分为100个区域,每个区域内可以存在多个树莓派。划分区域后,对区域内的位置进行二次划分,提供3个十进制编号位,即最多可以将一个区域划分为1000个小区域。
区域位置编号完成后,对树莓派和摄像头进行编号。树莓派的编号规则为PXXXXXXXXXXX,P表示树莓派,X为待定十进制数字,前四位表示年份,第五至六位表示月份,第七至八位表示区域编号,第九至十位表示区域内编号,例如在2019年1月在区域01中的023号位置安装的树莓派的编号为RP20190101023。摄像头的编号规则为CXXXXXXXXXXX,与树莓派的编号类似,C表示摄像头,X为待定十进制数字,前四位表示年份,第五至六位表示月份,第七至八位表示区域编号,第九至十一位表示区域内编号,例如在2019年1月在区域03中的012号位置安装的树莓派编号为C20190103012。
树莓派和摄像头的编号完成后,首先以整体区域为单位将区域异常数据作为样本训练区域异常预测模型,然后将不同区域内的摄像头的异常数据作为样本训练单个区域中的某一个摄像头的异常预测模型。异常数据转化为训练样本前,需要对异常数据做数据预处理。考虑到在视频质量异常类型中,存在人为因素导致的视频质量异常和摄像头本身故障导致的视频质量异常两种情况,故需要将异常数据分为两个不同类别。记录A类样本为人为因素干扰导致的异常数据,记录B类样本为摄像头本身故障导致的异常数据。在A类样本中,异常类型为遮挡、转动、晃动;在B类样本中,异常类型为色偏、模糊、噪点。
训练预测模型前,对相关数据项作出如下定义。
(1)使用时间:指摄像头从投入使用至当前时间所间隔的天数,单位为天。
(2)异常次数:指单个摄像头从投入使用至当前时间内所产生异常报警的次数,单位为次。
(3)异常出现时间:指单个摄像头出现异常的具体时间,具体到天。
(4)总使用时间:指单个区域内所有摄像头的总使用时间。
(5)总异常次数:指单个区域内所有摄像头出现的异常次数。
整体区域异常预测模型的训练样本包括A类样本和B类样本,数据项包括:摄像头总使用时间、区域位置、总异常次数,预测模型以摄像头总使用时间、区域位置作为特征值,总异常次数作为观测值。整体区域异常预测主要作用于预测一个区域内的整体可能出现异常的次数,便于对不同区域分配用于摄像头维护的劳动力。整体区域异常预测模型为人工神经网络模型,分为A和B两个训练样本,模型输入为摄像头总使用时间和区域位置,模型的输出为总异常次数。对于A类样本,所预测的异常类型为人文因素干扰,可用于提高摄像头的防护强度;对于B类样本,所预测的异常类型为摄像头自身故障,可用于摄像头的更换、维修、故障检测等。
单个摄像头的异常预测模型的训练样本和整体区域异常预测模型的训练样本一致,同时使用A类样本和B类样本作为训练样本集。单个摄像头的异常预测模型基于多输入多输出的SVM算法,模型的输入为摄像头生产厂家、生产日期、安装位置和使用时间,模型的输出为异常出现时间和异常类型。以A类样本和B类样本分别训练模型,摄像头的生产厂家、生产日期、安装位置和使用时间作为特征值,摄像头的异常出现时间、异常类型作为观测值。该模型用于实时预测单个摄像头可能出现故障的时间和类型,以便于对摄像头进行维护和故障检测,减小因摄像头人为干扰或自身故障导致的损失。
故障预测部分主要基于人工神经网络算法和多输入多输出的SVM算法,分为人为干扰异常样本和摄像头故障异常样本,实现对整个区域和单个摄像头进行异常预测。对于整个区域,以区域内摄像头的使用总时间、区域位置作为模型的输入,异常总次数作为模型的输出,主要预测整个区域内可能出现的异常次数,便于分配用于系统维护的劳动力,减小因人员分配不均衡造成的人力资源浪费。对于单个摄像头,以摄像头的生产厂家、生产日期、安装位置和使用时间作为模型的输入,异常出现的时间和异常类型作为模型的输出,主要预测单个摄像头可能出现异常的时间和异常类型,便于对摄像头提前进行检修和维护工作,减小因摄像头视频质量异常导致的损失。
该系统基于边缘计算,实现了视频质量的分布式异常检测,提高了视频异常检测的实时性和资源利用率,并基于人工神经网络和多输入多输出支持向量机算法,实现了视频质量异常预测,提高了视频监测系统的维护劳动力利用率,优化了摄像头维护人员的分配方案。该系统在实际视频监控系统的视频质量异常检测与预测中有较强的实用性和拓展性。

Claims (10)

1.一种基于边缘计算和机器学习的视频质量异常检测系统,其特征在于:包括感知层、网络层和应用层;
所述感知层,包括用于实时获取视频流的视频传感器和进行处理多个视频传感器传输的视频数据的视频微处理器;所述视频微处理器包括嵌有Python脚本的树莓派,在收到来自应用层的视频异常检测请求时,所述树莓派将视频数据导入Python脚本中进行视频异常检测;感知层通过树莓派采集视频传感器信息,所述视频传感器信息包括与树莓派连接的视频传感器的产品信息和运行状态;
所述网络层,用于对感知层的视频数据和视频传感器信息转发至云端服务器;
所述应用层,接收用户业务请求,根据用户业务请求调用感知层的视频数据、传感器信息进行视频异常检测、异常数据处理和故障预测。
2.根据权利要求1所述的一种基于边缘计算和机器学习的视频质量异常检测系统,其特征在于:所述视频传感器和树莓派根据所在区域位置具有唯一的视频传感器编号和树莓派编号。
3.根据权利要求2所述的一种基于边缘计算和机器学习的视频质量异常检测系统,其特征在于:所述视频传感器的产品信息包括视频传感器已使用时间和视频传感器身份信息;所述运行状态包括视频传感器是否出现异常帧、异常帧的异常类型和异常帧的检测参数;所述视频传感器信息还包括分组信息,所述分组信息包括与视频传感器连接的树莓派编号、视频传感器编号和视频传感器的安装位置。
4.根据权利要求1-3任意一项所述的一种基于边缘计算和机器学习的视频质量异常检测系统,其特征在于:所述应用层包括视频异常检测模块、异常数据处理模块和故障预测模块,所述视频异常检测模块调用所述感知层完成异常检测,所述异常数据处理模块包括异常数据存储查询模块、异常数据可视化模块和异常数据实时更新模块。
5.根据权利要求4所述的一种基于边缘计算和机器学习的视频质量异常检测系统,其特征在于:所述故障预测模块包括区域异常预测模块和单个视频传感器预测模块;
所述区域异常预测模块包括基于人工神经网络算法的预测模型,以区域内视频传感器的使用总时间、区域位置作为模型的输入,异常总次数作为模型的输出;
所述单个视频传感器预测模块包括基于SVM算法的预测模型,以视频传感器的安装位置和使用时间作为模型的输入,异常出现时间和异常类型作为模型的输出。
6.根据权利要求5所述的一种基于边缘计算和机器学习的视频质量异常检测系统,其特征在于:所述基于人工神经网络算法的预测模型和基于SVM算法的预测模块均使用A类训练样本和B类训练样本作为训练样本集;所述A类训练样本为人为因素干扰导致的异常数据,所述B类训练样本包括视频传感器本身故障导致的异常数据。
7.一种基于边缘计算和机器学习的视频质量异常检测方法,其特征在于:包括以下步骤:
步骤1:对监控系统所覆盖的范围进行区域分组得到若干子区域,基于区域分组对配置的视频传感器和树莓派进行编号:
步骤2:配置树莓派,并基于树莓派获取视频传感器信息并保存至本地数据库,由本地数据库根据数据更新周期将当前更新的数据传入云端服务器;
步骤3:视频传感器实时获取视频流,传输至视频微处理器,由Python脚本检测每一帧的视频质量,若检测出异常,则将异常数据记录到本地数据库并上传至云端处理器;所述异常数据包括出现异常的视频传感器编号、视频传感器使用时间、视频传感器所连接的树莓派编号、视频传感器的安装位置、异常帧出现时间、异常帧的异常类型和异常帧的检测参数;若未检测出异常,不做记录;
步骤4:由应用层的异常数据可视化模块对异常数据进行显示。
8.根据权利要求7所述的一种基于边缘计算和机器学习的视频质量异常检测方法,其特征在于:在对视频流进行视频质量检测时,对视频每一帧的图像进行处理,处理过程包括以下步骤:
a:启动检测异常视频的Python脚本程序;
b:读取视频帧并获取帧参数;
c:使用六个线程并行检测视频帧的参数,根据参数将异常类型分为:遮挡、转动、晃动、色偏、模糊和噪点。
9.根据权利要求7所述的一种基于边缘计算和机器学习的视频质量异常检测方法,其特征在于:还包括视频质量异常预测方法,包括以下步骤:
S1:以整体区域为单位将区域异常数据作为训练区域异常预测模型的样本;将不同区域内的摄像头的异常数据作为训练单个区域中的某一个视频传感器的异常预测模型的样本;
S2:对S1中作为训练样本的异常数据做数据分组,分为A类样本和B类样本,所述A类样本为人为因素干扰导致的异常数据,B类样本为摄像头本身故障导致的异常数据,在A类样本中,异常类型为遮挡、转动、晃动;在B类样本中,异常类型为色偏、模糊、噪点;
S3:采用A类样本和B类样本分别对区域异常预测模型进行训练,得到以区域内视频传感器的使用总时间和区域位置为输入、异常总次数为输出的区域异常预测模型;采用A类样本和B类样本分别对单个视频传感器的异常预测模型进行训练,得到以视频传感器的生产信息和使用时间为输入、异常出现时间和异常类型为输出的单个视频传感器的异常预测模型。
10.根据权利要求9所述的一种基于边缘计算和机器学习的视频质量异常检测方法,其特征在于:所述区域异常预测模型基于人工神经网络算法,所述单个视频传感器的异常预测模型基于SVM算法。
CN201910165037.2A 2019-03-05 2019-03-05 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法 Active CN109902640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910165037.2A CN109902640B (zh) 2019-03-05 2019-03-05 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910165037.2A CN109902640B (zh) 2019-03-05 2019-03-05 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法

Publications (2)

Publication Number Publication Date
CN109902640A true CN109902640A (zh) 2019-06-18
CN109902640B CN109902640B (zh) 2023-06-30

Family

ID=66946389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910165037.2A Active CN109902640B (zh) 2019-03-05 2019-03-05 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法

Country Status (1)

Country Link
CN (1) CN109902640B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677725A (zh) * 2019-10-31 2020-01-10 飞思达技术(北京)有限公司 一种基于互联网电视业务的音视频异态检测方法及系统
CN111047225A (zh) * 2020-01-10 2020-04-21 惠州光弘科技股份有限公司 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法
CN111476171A (zh) * 2020-04-09 2020-07-31 腾讯科技(深圳)有限公司 分布式对象识别系统、方法及边缘计算设备
CN111652858A (zh) * 2020-05-21 2020-09-11 哈尔滨市科佳通用机电股份有限公司 铁路图像检测云识别系统和方法
CN111931561A (zh) * 2020-06-24 2020-11-13 深圳市法本信息技术股份有限公司 异构rpa机器人的管理方法、系统及代理设备
CN112101450A (zh) * 2020-09-14 2020-12-18 济南浪潮高新科技投资发展有限公司 一种基于深度学习和多传感融合的无接触测振设备和方法
CN112114878A (zh) * 2019-06-21 2020-12-22 宏碁股份有限公司 加速开机系统及加速开机方法
CN112637568A (zh) * 2020-12-24 2021-04-09 中标慧安信息技术股份有限公司 基于多节点边缘计算设备的分布式安全监控方法和系统
CN113037783A (zh) * 2021-05-24 2021-06-25 中南大学 一种异常行为检测方法及系统
CN113613287A (zh) * 2021-06-21 2021-11-05 工业云制造(四川)创新中心有限公司 一种基于边缘计算的自动化数据采集系统
CN117135324A (zh) * 2023-09-08 2023-11-28 南京启征信息技术有限公司 一种视频一体化智能识别系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN107948640A (zh) * 2017-12-19 2018-04-20 百度在线网络技术(北京)有限公司 视频播放测试方法、装置、电子设备和存储介质
CN108011965A (zh) * 2017-12-14 2018-05-08 海安常州大学高新技术研发中心 一种基于微云的农业远程监控系统及其方法
CN207720304U (zh) * 2017-12-26 2018-08-10 迷方得(天津)科技有限公司 一种基于移动智能终端和物联网技术融合的智能远程视频监控系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108011965A (zh) * 2017-12-14 2018-05-08 海安常州大学高新技术研发中心 一种基于微云的农业远程监控系统及其方法
CN107948640A (zh) * 2017-12-19 2018-04-20 百度在线网络技术(北京)有限公司 视频播放测试方法、装置、电子设备和存储介质
CN207720304U (zh) * 2017-12-26 2018-08-10 迷方得(天津)科技有限公司 一种基于移动智能终端和物联网技术融合的智能远程视频监控系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112114878A (zh) * 2019-06-21 2020-12-22 宏碁股份有限公司 加速开机系统及加速开机方法
CN112114878B (zh) * 2019-06-21 2024-03-12 宏碁股份有限公司 加速开机系统及加速开机方法
CN110677725A (zh) * 2019-10-31 2020-01-10 飞思达技术(北京)有限公司 一种基于互联网电视业务的音视频异态检测方法及系统
CN111047225A (zh) * 2020-01-10 2020-04-21 惠州光弘科技股份有限公司 一种基于边缘侧模型处理的smt表面组装组件焊点的质量评定方法
CN111476171A (zh) * 2020-04-09 2020-07-31 腾讯科技(深圳)有限公司 分布式对象识别系统、方法及边缘计算设备
CN111476171B (zh) * 2020-04-09 2021-03-26 腾讯科技(深圳)有限公司 分布式对象识别系统、方法及边缘计算设备
CN111652858A (zh) * 2020-05-21 2020-09-11 哈尔滨市科佳通用机电股份有限公司 铁路图像检测云识别系统和方法
CN111931561A (zh) * 2020-06-24 2020-11-13 深圳市法本信息技术股份有限公司 异构rpa机器人的管理方法、系统及代理设备
CN112101450A (zh) * 2020-09-14 2020-12-18 济南浪潮高新科技投资发展有限公司 一种基于深度学习和多传感融合的无接触测振设备和方法
CN112637568A (zh) * 2020-12-24 2021-04-09 中标慧安信息技术股份有限公司 基于多节点边缘计算设备的分布式安全监控方法和系统
CN113037783A (zh) * 2021-05-24 2021-06-25 中南大学 一种异常行为检测方法及系统
CN113037783B (zh) * 2021-05-24 2021-08-06 中南大学 一种异常行为检测方法及系统
CN113613287A (zh) * 2021-06-21 2021-11-05 工业云制造(四川)创新中心有限公司 一种基于边缘计算的自动化数据采集系统
CN113613287B (zh) * 2021-06-21 2023-04-28 工业云制造(四川)创新中心有限公司 一种基于边缘计算的自动化数据采集系统
CN117135324A (zh) * 2023-09-08 2023-11-28 南京启征信息技术有限公司 一种视频一体化智能识别系统

Also Published As

Publication number Publication date
CN109902640B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
CN109902640A (zh) 基于边缘计算和机器学习的视频质量异常检测系统及其检测方法
US10841365B2 (en) Mapping application dependencies in a computer network
CN108306756B (zh) 一种基于电力数据网全息评估系统及其故障定位方法
CN116129366B (zh) 基于数字孪生的园区监测方法及相关装置
CN104809188B (zh) 一种企业人才流失的数据挖掘分析方法及装置
CN107579876A (zh) 一种资产增量自动探测分析方法及装置
Lin et al. Fog computing based hybrid deep learning framework in effective inspection system for smart manufacturing
CN109255440B (zh) 基于递归神经网络(rnn)的对电力生产设备进行预测性维护的方法
Shoukat et al. Smart home for enhanced healthcare: exploring human machine interface oriented digital twin model
CN104007733B (zh) 一种对农业集约化生产进行监控的系统及方法
Zhong et al. A big data cleansing approach for n-dimensional RFID-Cuboids
CN116168164A (zh) 基于机器人产业链的数字孪生可视化方法
CN117499439A (zh) 一种基于工业物联网的巡检数据处理系统及其处理方法
CN113723714B (zh) 一种基于物联网的碳达峰预测平台
Alam et al. A digital twin framework development for apparel manufacturing industry
Muhati et al. Asynchronous advantage actor-critic (a3c) learning for cognitive network security
Zhong et al. A heterogeneous data analytics framework for RFID-enabled factories
CN111830920B (zh) 一种基于物联网的工厂智慧监测共享云平台
Cucinotta et al. Behavioral analysis for virtualized network functions: A som-based approach
CN116227803B (zh) 一种智能化建筑施工的数据处理方法
Lanciano et al. SOM-based behavioral analysis for virtualized network functions
EP4109362A1 (en) Work rate measurement device and work rate measurement method
CN108874646A (zh) 分析数据的方法和装置
Wang et al. The design of intelligent production line for clothing industry
CN110222575A (zh) 基于注意力机制目标检测的设备综合效率分析方法、装置、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190904

Address after: No. 1800 road 214122 Jiangsu Lihu Binhu District City of Wuxi Province

Applicant after: Jiangnan University

Applicant after: Wuxi Bencio Intelligent Technology Co.,Ltd.

Address before: No. 1800 road 214122 Jiangsu Lihu Binhu District City of Wuxi Province

Applicant before: Jiangnan University

Applicant before: ANHUI HAILING INTELLIGENT TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant