CN110868585B - 一种实时视频质量诊断系统及方法 - Google Patents

一种实时视频质量诊断系统及方法 Download PDF

Info

Publication number
CN110868585B
CN110868585B CN201910942149.4A CN201910942149A CN110868585B CN 110868585 B CN110868585 B CN 110868585B CN 201910942149 A CN201910942149 A CN 201910942149A CN 110868585 B CN110868585 B CN 110868585B
Authority
CN
China
Prior art keywords
diagnosis
video
video quality
unit
diagnosis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910942149.4A
Other languages
English (en)
Other versions
CN110868585A (zh
Inventor
刘子龙
万森
程腾
陈小奇
刘琼
张敬锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Yunsen Internet Of Things Technology Co ltd
Original Assignee
Anhui Yunsen Internet Of Things Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Yunsen Internet Of Things Technology Co ltd filed Critical Anhui Yunsen Internet Of Things Technology Co ltd
Priority to CN201910942149.4A priority Critical patent/CN110868585B/zh
Publication of CN110868585A publication Critical patent/CN110868585A/zh
Application granted granted Critical
Publication of CN110868585B publication Critical patent/CN110868585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开一种实时视频质量诊断系统及方法，包括视频源获取单元、视频质量诊断单元、数据存储单元、管理单元，视频源获取单元设备信息获得视频流地址，并将获得的视频流地址信息通过管理单元传输至用户端；视频质量诊断单元对由视频源获取单元获得的视频流地址进行一次校验诊断并生成诊断结果，同时保存异常图片至图片库，随后用户端通过终端页面查看并对异常图片进行二次校验比对准确性，当二次校验的诊断结果与一次校验的诊断结果不一致时，则将二次校验的诊断结果加入误检库，为自学习模块提供误检样本。本发明提供的自学习模块根据误检库中提供的误检样本数据对摄像机的算法阈值进行修正，以此提高自学习模块计算方法的准确性。

Description

一种实时视频质量诊断系统及方法
技术领域
本发明属于实时视频监控技术领域，具体涉及一种实时视频质量诊断系统及方法。
背景技术
随着计算机视觉技术的快速发展，视频监控系统应用领域越来越广泛，通过视频监控可以快速获取关键信息，以节省大量的物力财力。当监控中的视频出现异常，如果未能及时进行排查并解决，将会丢失大量关键信息，因此，视频质量的诊断至关重要。
所谓视频质量诊断，首先通过视频源获取单元获取待检测的摄像机的视频帧，并将视频帧发送至视频质量诊断单元，视频质量诊断单元根据接收的视频帧以及每个待检测的摄像机的每类检测项目的算法阈值，通过每类检测项目对应的检测算法对视频帧进行诊断。
在视频质量诊断中，诊断结果是衡量监控中视频质量的判断标准，但是算法的性能是存在一定的瓶颈，仅依赖于算法的诊断结果可能会造成误检现象，现有的视频质量诊断方法无法提供二次校验及自学习机制，难以针对误检结果对视频质量诊断方法进行阈值调整。
发明内容
针对现有技术的不足，本发明的目的在于提供一种实时视频质量诊断系统及方法，解决了现有技术中无法提供二次校验及自学习机制，难以针对误检结果对视频质量诊断方法进行阈值调整。
本发明的目的可以通过以下技术方案实现：
一种实时视频质量诊断系统，包括视频源获取单元、视频质量诊断单元、数据存储单元、管理单元，所述视频源获取单元根据局域网内连接的设备信息获得视频流地址，并将获得的视频流地址信息通过管理单元传输至用户端；
所述视频质量诊断单元对由视频源获取单元获得的视频流地址进行一次校验诊断并生成诊断结果，同时保存异常图片至图片库，随后用户端通过终端页面查看并对异常图片进行二次校验比对准确性，当二次校验的诊断结果与一次校验的诊断结果不一致时，则将二次校验的诊断结果加入误检库，为自学习模块提供误检样本；
所述数据存储单元对由视频质量诊断单元处理的诊断结果进行存储，用户端通过管理单元的终端页面查看诊断结果；
所述管理单元是用户端与系统的交互模块。
进一步的，所述视频质量获取单元基于Onvif协议搜索局域网内的视频监控设备信息，并根据局域网内连接的设备信息获得视频流地址，所述视频流地址主要包括视频监控设备的IP地址信息以及端口号。
进一步的，所述视频质量获取单元通过校验设备的用户端名和密码方式登录。
进一步的，所述一次校验和二次校验的诊断结果的存储基于MySQL实现。
进一步的，所述视频质量诊断单元内设有多种视频质量诊断方法，同时诊断结果由视频质量诊断方法计算得出场景标签和对应的输出数值。
进一步的，所述自学习模块通过误检库中的二次校验的诊断结果进行自学习，并计算生成算法阈值调整因子。
进一步的，所述自学习模块根据诊断的场景标签应用于对应的视频质量诊断方法并计算，然后根据诊断结果的数值与视频质量诊断方法的算法阈值进行比较，若诊断结果的数值小于算法阈值，则降低视频质量诊断方法中的算法阈值，若诊断结果的数值大于算法阈值，则提高视频质量诊断方法中的算法阈值。
进一步的，所述自学习模块的计算方法如下所示：
Figure GDA0002318906920000031
Figure GDA0002318906920000032
Figure GDA0002318906920000033
其中：α＞1，Ri表示误检库中误检样本的诊断数值，μ是对误检样本的集求均值，max和min表示误检样本集对应视频质量诊断单元所得数值的最大值和最小值，α是所得算法调整因子，mo是预设阈值，固定不变，me是调整后的算法阈值；
若α小于1，则直接取倒数带入公式(3)计算。
本发明的有益效果：
1、本发明通过视频源获取单元从监控设备中获取视频资源，然后通过视频质量诊断单元对得到的视频启用视频质量诊断方法，并将得到的诊断结果存储到数据库，用户端通过管理单元可以查看视频质量诊断的结果信息。
2、本发明通过添加的自学习模块，用户端通过终端页面来查看存在异常图片并进行二次校验对比准确性，如果视频质量正常而视频质量诊断单元诊断异常，则将二次校验的诊断结果加入到误检库中；视频质量诊断单元中的自学习模块根据误检库中提供的误检样本数据对摄像机的算法阈值进行修正，以此提高自学习模块的计算方法的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的系统工作结构示意框图；
图2是本发明实施例的视频源获取单元工作结构示意框图；
图3是本发明实施例的视频源诊断单元工作结构示意框图；
图4是本发明实施例的数据存储单元工作结构示意框图；
图5是本发明实施例的管理单元工作结构示意框图；
图6是本发明实施例的自学习模块示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种实时视频质量诊断系统及方法，如图1所示，包括视频源获取单元10、视频质量诊断单元20、数据存储单元30、管理单元40。
如图2所示，其中视频源获取单元10基于Onvif协议首先搜索局域网内的视频监控设备信息，并根据局域网内连接的设备信息获得视频流地址，主要包括视频监控设备的IP地址信息以及端口号(每个设备在数据库中存在对应的设备ID、用户端名、密码、设备IP、端口号、视频流地址、抓拍地址)，并通过终端页面展示给用户端。用户端根据需要通过终端选择添加任一需要诊断的设备，在用户端选择添加需要诊断的设备时，需要用户端输入用户端名和密码进行校验视频监控设备信息，校验正确才能添加成功。同时将根据用户端输入的用户端名和密码方式进行登录，获取该对应设备的视频流地址和抓拍图片的IP地址，视频流地址为诊断单元提供视频源，当视频诊断为异常图片的时候，通过抓拍地址保存异常图片至图片库。
如图3所示，视频质量诊断单元20根据提供的设备视频流地址以及设备的IP，对视频源获取单元10提供的视频源进行诊断，为了得到更加准确和全面的视频诊断结果，视频质量诊断单元基于OpenCV实现9种诊断算法，分别是亮度诊断、偏色诊断、条纹诊断、遮挡诊断、模糊诊断、运动物体诊断、雪花噪声诊断、场景变化诊断、视频丢失诊断。当视频中出现亮度异常，如场景过暗或过亮，则判断为异常并存储诊断结果，并将此刻异常图片保存至图片库；偏色诊断针对场景中有无异常色彩，当相机信号异常引起场景偏绿或偏黄等现象，偏色诊断部分也会诊断场景出现背白的情况，同样会保存诊断结果并保存图片至图片库；条纹诊断针对视频中出现的条纹现象进行保存结果，此项也可以诊断其他不明物体的干扰；遮挡诊断针对设备有无被其他物体遮挡进行诊断；模糊诊断是针对视频源的成像模糊进行检测；运动物体诊断是为了诊断视频中有无运动物体出现；雪花噪声的诊断针对视频信号有无异常的检测；场景变化诊断是为了诊断视频有无发生抖动，视频源里的帧与帧之间的场景发生变化；视频丢失针对视频信号有无的诊断。每一种诊断结果都会保存其对应诊断结果的数据与对应图片，算法诊断的输出结果是所诊断出的对应场景加上诊断输出的数值，每一个诊断模块的算法都存在一个预设的阈值，该阈值并不是固定不变的，而是根据诊断结果数值进行优化调整，其中的自学习模块就是实现对算法的阈值进行实时调整，以实现最佳的诊断效果。
如图4所示，数据存储单元30是为了实时诊断结果的存储，算法诊断结果会得到一个对应的场景标签(如“模糊”)和一个对应的输出数值(如“0.09”)，这两项数据分别代表着算法诊断出该场景出现模糊，0.09标志该场景的模糊的一个标量值，该输出数值对后续算法的阈值调整提供参考作用。在视频源获取单元完成后会在数据库中存储着设备的信息，当存储算法诊断结果时根据用户端提供的设备ID保存到对应的设备诊断结果字段下，同时显示在终端页面上。
如图5所示，为了提高实时视频质量诊断结果的准确性，在视频质量诊断单元20内加入自学习模块，将误检库中的视频质量诊断结果输入到自学习模块，自学习模块首先根据根诊断的场景标签找到对应的视频质量诊断方法，然后根据诊断结果的数值与视频质量诊断方法的算法阈值进行比较，若诊断结果得到的数值小于算法阈值，则表明该视频质量诊断方法的算法阈值设置过大，需要降低该模块的算法阈值，若诊断结果的数值大于算法阈值，则表明该算法模块的算法阈值较小，需提高视频质量诊断方法的算法阈值，本发明对每个视频质量诊断方法的算法阈值调整提供一种计算方法：
Figure GDA0002318906920000061
Figure GDA0002318906920000062
Figure GDA0002318906920000063
下面对上述计算方法进行详细说明，Ri表示误检样本的诊断数值，μ是对误检样本集求均值，max和min表示误检样本集对应视频质量诊断单元20所得数值的最大值和最小值，α就是所得算法调整因子，mo是算法预设阈值，me是调整后的算法阈值，若α小于1，则取倒数带入公式(3)计算。根据算法调整因子进行优化调整算法阈值。通过自学习模块的调整好，可以提高实时视频质量诊断系统的准确性。
如图6所示，管理单元40是用户端与系统的交互模块，用户端通过终端请求需要查看的视频源获取单元10搜索的局域网内的设备ID，数据存储单元30的数据库会返回对应设备的视频诊断结果，除了存储在数据库中的诊断结果，在对应的图片库也保存对应设备的异常图片，该图片命名方式是以场景标签加诊断数值的方式进行保存。因此，用户端可以根据图片库对数据库中的诊断结果进行二次校验，如果诊断结果异常而用户端根据图片判断为正常，该项诊断结果会加入误检库，该误检库为视频质量诊断单元的自学习模块提供误检样本，自学习模块根据误检的诊断结果对算法阈值进行调整。
综上所述，本发明提供的一种实时视频质量诊断系统通过视频源获取单元从监控设备中获取视频资源然后通过视频质量诊断单元对得到的视频启用视频质量诊断方法，并将得到的诊断结果存储到数据库，用户端通过管理单元可以直接查看视频质量诊断的结果信息。同时提供的自学习模块在根据误检库中的数据对摄像机的算法阈值进行修正，以此提高视频质量诊断方法的准确性。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (6)

1.一种实时视频质量诊断系统，包括视频源获取单元(10)、视频质量诊断单元(20)、数据存储单元(30)、管理单元(40)，其特征在于，所述视频源获取单元(10)根据局域网内连接的设备信息获得视频流地址，并将获得的视频流地址信息通过管理单元(40)传输至用户端；
视频源获取单元获取设备的视频流地址和抓拍图片的IP地址，所述视频质量诊断单元(20)对由视频源获取单元(10)获得的视频源进行一次校验诊断并生成诊断结果，所述视频流地址为视频质量诊断单元(20)提供视频源，当视频源诊断为异常图片的时候通过抓拍地址保存异常图片至图片库；随后用户端通过终端页面查看并对异常图片进行二次校验比对准确性，当二次校验的诊断结果与一次校验的诊断结果不一致时，则将二次校验的诊断结果加入误检库，为自学习模块提供误检样本；
所述数据存储单元(30)对由视频质量诊断单元(20)处理的诊断结果进行存储，用户端通过管理单元(40)的终端页面查看诊断结果；
所述管理单元(40)是用户端与系统的交互模块；
所述自学习模块自学习的方法，如下所示：
Figure FDA0002885277430000011
Figure FDA0002885277430000012
Figure FDA0002885277430000013
其中：α＞1，Ri表示误检库中误检样本的诊断数值，μ是对误检样本的集求均值，max和min表示误检样本集对应视频质量诊断单元(20)所得数值的最大值和最小值，α是所得算法调整因子，mo是预设阈值，固定不变，me是调整后的算法阈值；
若α小于1，则直接取倒数带入公式(3)计算。
2.根据权利要求1所述的实时视频质量诊断系统，其特征在于，所述视频源获取单元(10)基于Onvif协议搜索局域网内的视频监控设备信息，并根据局域网内连接的设备信息获得视频流地址，所述视频流地址主要包括视频监控设备的IP地址信息以及端口号。
3.根据权利要求2所述的实时视频质量诊断系统，其特征在于，所述视频源获取单元(10)通过校验设备的用户端名和密码方式登录。
4.根据权利要求1所述的实时视频质量诊断系统，其特征在于，所述一次校验和二次校验的诊断结果的存储基于MySQL实现。
5.根据权利要求1所述的实时视频质量诊断系统，其特征在于，所述视频质量诊断单元(20)内设有多种视频质量诊断方法，同时诊断结果由视频质量诊断方法计算得出场景标签和对应的输出数值。
6.根据权利要求1所述的实时视频质量诊断系统，其特征在于，所述自学习模块根据诊断的场景标签应用于对应的视频质量诊断方法并计算，然后根据诊断结果的数值与视频质量诊断方法的算法阈值进行比较，若诊断结果的数值小于算法阈值，则降低视频质量诊断方法中的算法阈值，若诊断结果的数值大于算法阈值，则提高视频质量诊断方法中的算法阈值。
CN201910942149.4A 2019-09-30 2019-09-30 一种实时视频质量诊断系统及方法 Active CN110868585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910942149.4A CN110868585B (zh) 2019-09-30 2019-09-30 一种实时视频质量诊断系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910942149.4A CN110868585B (zh) 2019-09-30 2019-09-30 一种实时视频质量诊断系统及方法

Publications (2)

Publication Number Publication Date
CN110868585A CN110868585A (zh) 2020-03-06
CN110868585B true CN110868585B (zh) 2021-02-19

Family

ID=69652144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910942149.4A Active CN110868585B (zh) 2019-09-30 2019-09-30 一种实时视频质量诊断系统及方法

Country Status (1)

Country Link
CN (1) CN110868585B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117576A3 (en) * 2009-04-07 2011-01-13 Virginia Commonwealth University Image processing and machine learning for diagnostic analysis of microcirculation
CN106851263A (zh) * 2017-03-30 2017-06-13 安徽四创电子股份有限公司 基于定时自学习模块的视频质量诊断方法及系统
US9977707B1 (en) * 2017-03-30 2018-05-22 Wipro Limited Method and fault detection device for automatic fault detection and analysis in video conferencing systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010117576A3 (en) * 2009-04-07 2011-01-13 Virginia Commonwealth University Image processing and machine learning for diagnostic analysis of microcirculation
CN106851263A (zh) * 2017-03-30 2017-06-13 安徽四创电子股份有限公司 基于定时自学习模块的视频质量诊断方法及系统
US9977707B1 (en) * 2017-03-30 2018-05-22 Wipro Limited Method and fault detection device for automatic fault detection and analysis in video conferencing systems
CN109167997A (zh) * 2017-03-30 2019-01-08 安徽四创电子股份有限公司 一种视频质量诊断系统及方法

Also Published As

Publication number Publication date
CN110868585A (zh) 2020-03-06

Similar Documents

Publication Publication Date Title
CN109167997B (zh) 一种视频质量诊断系统及方法
US20090040303A1 (en) Automatic video quality monitoring for surveillance cameras
CN111695512B (zh) 一种无人值守文物监测方法及装置
CN108174198B (zh) 一种视频图像质量诊断分析检测设备及应用系统
CN109905670A (zh) 一种多级平台监控系统
CN112200807A (zh) 一种视频质量诊断方法与系统
CN112312001B (zh) 一种图像检测的方法、装置、设备和计算机存储介质
CN114627388B (zh) 输电线路异物检测设备及其异物检测方法
CN114463389B (zh) 一种运动目标检测方法以及检测系统
CN112595936A (zh) 基于无人机巡检的输电线复合绝缘子智能检测系统
CN115936672A (zh) 一种智慧电网在线安全运维管理方法和系统
CN116797977A (zh) 巡检机器人动态目标识别与测温方法、装置和存储介质
CN110868585B (zh) 一种实时视频质量诊断系统及方法
CN110503092B (zh) 基于领域适应的改进ssd监控视频目标检测方法
WO2023280117A1 (zh) 指示信号识别方法、设备以及计算机存储介质
CN111669575B (zh) 图像处理效果的测试方法、系统、电子设备、介质及终端
CN113743235B (zh) 基于边缘计算的电力巡检图像处理方法、装置和设备
CN111928944B (zh) 激光光线检测方法、装置和系统
CN111145219B (zh) 一种基于Codebook原理的高效视频移动目标检测方法
CN204044085U (zh) 一种基于光谱成像的异物检测系统
CN114092965A (zh) 安全帽检测与颜色识别方法、系统、存储介质及计算机设备
Xiang et al. A new model for daytime visibility index estimation fused average sobel gradient and dark channel ratio
CN103983649B (zh) 一种基于光谱成像的异物检测方法
US20230368394A1 (en) Image Segmentation Method and Apparatus, Computer Device, and Readable Storage Medium
CN114264933B (zh) 一种集成电路板的故障检测方法和故障检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Zilong

Inventor after: Wan Sen

Inventor after: Cheng Teng

Inventor after: Chen Xiaoqi

Inventor after: Liu Qiong

Inventor after: Zhang Jingfeng

Inventor before: Zhang Jun

Inventor before: Wan Sen

Inventor before: Cheng Teng

Inventor before: Da Xiaoliu

Inventor before: Chen Xiaoqi

Inventor before: Liu Qiong

Inventor before: Zhang Jingfeng

GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 230601 intersection of bustling Avenue and Wenshan Road, Feixi Economic Development Zone, Feixi County, Hefei City, Anhui Province

Patentee after: ANHUI YUNSEN INTERNET OF THINGS TECHNOLOGY Co.,Ltd.

Address before: 230601 intersection of Fanhua Avenue and Wenshan Road, Taohua Industrial Park, Jingkai District, Hefei City, Anhui Province

Patentee before: ANHUI YUNSEN INTERNET OF THINGS TECHNOLOGY Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A real-time video quality diagnosis system and method

Effective date of registration: 20220927

Granted publication date: 20210219

Pledgee: Hefei state control construction finance Company limited by guarantee

Pledgor: ANHUI YUNSEN INTERNET OF THINGS TECHNOLOGY Co.,Ltd.

Registration number: Y2022980016673

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231026

Granted publication date: 20210219

Pledgee: Hefei state control construction finance Company limited by guarantee

Pledgor: ANHUI YUNSEN INTERNET OF THINGS TECHNOLOGY Co.,Ltd.

Registration number: Y2022980016673