CN117011288A - 视频质量诊断方法及系统 - Google Patents
视频质量诊断方法及系统 Download PDFInfo
- Publication number
- CN117011288A CN117011288A CN202311253128.4A CN202311253128A CN117011288A CN 117011288 A CN117011288 A CN 117011288A CN 202311253128 A CN202311253128 A CN 202311253128A CN 117011288 A CN117011288 A CN 117011288A
- Authority
- CN
- China
- Prior art keywords
- image
- video
- detected
- frame
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003745 diagnosis Methods 0.000 title claims abstract description 32
- 238000001514 detection method Methods 0.000 claims abstract description 64
- 239000013598 vector Substances 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004075 alteration Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000422846 Sequoiadendron giganteum Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 229940112822 chewing gum Drugs 0.000 description 1
- 235000015218 chewing gum Nutrition 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008636 plant growth process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种视频质量诊断方法及系统，涉及视频检测领域，包括将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，基于图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
Description
技术领域
本公开涉及视频技术，尤其涉及一种视频质量诊断方法及系统。
背景技术
随着视频监控技术在多个领域得到了广泛的应用，监控摄像头使用数量的不断增长，如何高效地对其进行维护和管理变成急需解决的问题。另外使用目前设备硬件性能监控手段很难检测到监控设备软性故障，如摄像头被遮挡，位置偏移，聚焦模糊，色彩失真，黑屏等，以往以上视频图像质量问题需要人工排查，这不仅大大了增加巡检人员的工作量，而且检测的准确性完全依靠巡检人员的检测力度，基于以上现状，实现视频图像异常检测自动化、智能化显得尤其重要。
CN102740121B，应用于视频监控网络的视频质量诊断控制系统及方法，公开了任务管理服务器、视频接入及轮询服务器、诊断方法服务器和诊断结果管理服务器。该方法中，任务管理服务器将诊断任务发送至视频接入及轮询服务器和诊断方法服务器，并将诊断方法参数发送至诊断方法服务器；视频接入及轮询服务器从视频监控网络获取各视频源图像信息并发送至诊断方法服务器；诊断方法服务器根据诊断任务和诊断方法参数确定诊断方法，并对各视频源图像信息进行诊断，产生诊断结果并发送诊断结果管理服务器。
CN103780870B，视频图像质量诊断系统及其方法，公开了轮询主机通过软件对各视频监控点进行轮询查看视频画面，获取到码流的同时，通过诊断专网，把同样的码流发送给视频图像质量诊断服务器进行诊断，而且该部分码流传输不占用视频监控网络的带宽。轮询主机对各视频监控点进行轮询查看视频画面的同时，对软件界面进行截屏，并对截屏的图片进行分割，然后通过诊断专网把图片发送给视频图像质量诊断服务器进行诊断，进一步降低了诊断专网的带宽消耗。
现有的视频质量诊断方法更多依赖于硬件设备，例如轮询主机或者轮询服务器，并且改进点也更多是降低硬件设备的带宽消耗或者结合硬件设备进行质量诊断，一方面，提高了成本，另一方面，诊断准确率以及效率等依赖于硬件，局限性较强。
发明内容
本公开实施例提供一种视频质量诊断方法及系统，能够至少解决现有技术中部分问题，也即，解决现有技术依赖于硬件设备，成本较高，且局限性较强的问题。
本公开实施例的第一方面，
提供一种视频质量诊断方法，包括：
将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；
将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，提取所述每一帧图像的图像特征，基于所述图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；
随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
在一种可选的实施方式中，
提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测包括：
提取待检测视频中每一帧图像的感兴趣区域，确定所述感兴趣区域中所有像素点的灰度值，并且根据相邻像素点的灰度差值确定每一个像素点的灰度变化率，若所述灰度变化率小于预设灰度阈值，则将该像素点认定为边缘点；
根据所述边缘点在所述感兴趣区域的空间位置，确定所有边缘点的距离向量和，根据所述感兴趣区域中每个像素点与相邻像素点的通道差确定所述感兴趣区域的像素色差和；
基于所述距离向量和以及所述像素色差和的比值，将其与预设清晰度阈值进行比较，若大于等于所述预设清晰度阈值，则认定所述待检测视频清晰，否则，认定所述待检测视频不清晰。
在一种可选的实施方式中，
根据相邻像素点的灰度差值确定每一个像素点的灰度变化率包括：
；
其中，F表示每一个像素点的灰度变化率，M、N分别表示所述感兴趣区域中横向的像素点数量以及纵向的像素点数量，i、j分别表示第i个像素点和第j个像素点，f(x,y)表示像素点(x,y)的灰度值，f(x+1,y+1)表示像素点(x+1,y+1)的灰度值；
根据所述感兴趣区域中每个像素点与相邻像素点的通道差确定所述感兴趣区域的像素色差和包括：
；
；
其中，AD表示所述感兴趣区域的像素色差和，R、G、B分别表示所述感兴趣区域的颜色通道，r(i,j)、g(i,j)、b(i,j)分别表示像素点(i,j)在R、G、B通道的值。
在一种可选的实施方式中，
所述方法还包括训练所述遮挡检测模型：
基于预先获取的遮挡训练数据集，通过待训练的遮挡检测模型进行非线性分解，确定所述遮挡训练数据集对应的解析信息；
根据所述解析信息与所述遮挡训练数据集的相对误差，结合待训练的遮挡检测模型的损失函数，确定待训练的遮挡检测模型中每一层网络的梯度；
对每一层网络的梯度进行池化操作，结合所述相对误差以及预设学习率，参考预设收缩迭代阈值，通过迭代优化算法对所述相对误差进行迭代优化，直至所述相对误差满足预设迭代条件。
在一种可选的实施方式中，
随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测包括：
随机选定待检测视频中任一帧图像的像素点，并且以此为初始像素点，遍历选择待检测视频中任一帧图像的像素点，判断像素点是否属于预先构建的标准图像的前景区域的前景像素点集合，若否，
将待检测视频中每一帧图像的像素点与预先获取的标准图像进行拉普拉斯运算，确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度；
若所述直方图相似度小于预设偏移阈值，则判定所述待检测视频中当前帧图像出现摄像头偏移，若大于等于预设偏移阈值，则判定所述待检测视频中当前帧图像未出现摄像头偏移。
在一种可选的实施方式中，
确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度如下公式所示：
；
其中，D表示直方图相似度，V、K分别表示待检测视频中每一帧图像的像素集合以及标准图像的像素集合，S v 、Z k 分别表示待检测视频中每一帧图像的直方图以及标准图像的直方图。
在一种可选的实施方式中，
所述方法还包括：
若对所述待检测视频进行清晰度检测、进行摄像头遮挡检测以及进行摄像头偏移检测中任意一项检测结果不满足要求，则确定故障发生位置、故障发生类型；
并将故障发生位置以及故障发生类型同步至监管终端。
本发明实施例的第二方面，
提供一种视频质量诊断系统，包括：
第一单元，用于将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；
第二单元，用于将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，提取所述每一帧图像的图像特征，基于所述图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；
第三单元，用于随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
本公开实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明实施例的有益效果可以参考具体实施方式中技术特征对应的效果，在此不再赘述。
附图说明
图1为本公开实施例视频质量诊断方法的流程示意图；
图2为本公开实施例视频质量诊断系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本公开实施例视频质量诊断方法的流程示意图，如图1所示，所述方法包括：
S101. 将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；
在一种可选的实施方式中，
提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测包括：
提取待检测视频中每一帧图像的感兴趣区域，并且确定所述感兴趣区域中所有像素点的灰度值，并且根据相邻像素点的灰度差值确定每一个像素点的灰度变化率，若所述灰度变化率小于预设灰度阈值，则将该像素点认定为边缘点；
根据所述边缘点在所述感兴趣区域的空间位置，确定所有边缘点的距离向量和，根据所述感兴趣区域中每个像素点与相邻像素点的通道差确定所述感兴趣区域的像素色差和；
基于所述距离向量和以及所述像素色差和的比值，将其与预设清晰度阈值进行比较，若大于等于所述预设清晰度阈值，则认定所述待检测视频清晰，否则，认定所述待检测视频不清晰。
示例性地，一般在摄像机视频画面中，会存在时间以及麦克风标识等信息，这些信息可能会对检测效果产生影响，过滤掉这些视频图像中经常出现的无用信息，而我们真正关注的区域主要位于监控画面的中央区域，可以将画面中央1/4的位置作为感兴趣区域，用来当做是检测对象，既减少了计算量，又达到了降低这些无用信息对算法准确性影响的目的。
从视觉的显示上来说，主体图像信息是由中心区域和四个对角部分构成的，所以在对视频图像进行清晰度诊断时，为了减少计算量，可以选取主体图像信息部分进行检测，可以将图像按照3*3的形式划分为9部分，计算时选择图像的中心区域和四个对角区域，计算得出各区域的灰度变化值的平方和。
示例性地，所述确定所述感兴趣区域中所有像素点的灰度值，并且根据相邻像素点的灰度差值确定每一个像素点的灰度变化率包括：
；
其中，F表示每一个像素点的灰度变化率，M、N分别表示所述感兴趣区域中横向的像素点数量以及纵向的像素点数量，i、j分别表示第i个像素点和第j个像素点，f(x,y)表示像素点(x,y)的灰度值，f(x+1,y+1)表示像素点(x+1,y+1)的灰度值。
其中，预设灰度阈值可以根据实际情况进行灵活设置，在固定成像分辨率情况下，可以通过计算得出图像的灰度变化值在某一确定的范围内，若所述灰度变化率小于预设灰度阈值，则将该像素点认定为边缘点。
其中，根据所述边缘点在所述感兴趣区域的空间位置，确定所有边缘点的距离向量和可以通过欧式距离确定，本申请实施例在此不再赘述。
其中，所述根据所述感兴趣区域中每个像素点与相邻像素点的通道差确定所述感兴趣区域的像素色差和包括：
；
；
其中，AD表示所述感兴趣区域的像素色差和，R、G、B分别表示所述感兴趣区域的颜色通道，r(i,j)、g(i,j)、b(i,j)分别表示像素点(i,j)在R、G、B通道的值。
基于所述距离向量和以及所述像素色差和的比值，将其与预设清晰度阈值进行比较，若大于等于所述预设清晰度阈值，则认定所述待检测视频清晰，否则，认定所述待检测视频不清晰。
进行感兴趣区域的提取有助于减少后续分析的计算复杂性，集中处理在关键区域上，从而提高性能和效率；对于感兴趣区域中的每个像素点，计算其与相邻像素点的灰度差值，以获得灰度变化率；通过这个计算，系统能够识别图像中的边缘点，这些点通常表示对象的轮廓或其他重要特征；基于感兴趣区域中边缘点的位置信息，计算所有边缘点之间的距离向量，这些向量有助于了解对象或物体在图像中的形状和排列，从而为后续的清晰度评估提供更多信息。基于距离向量和像素色差的比值，将其与预设的清晰度阈值进行比较，如果比值大于等于清晰度阈值，则认定待检测视频为清晰，这表示视频中的边缘特征清晰可见，颜色变化适度；如果比值小于清晰度阈值，则认定待检测视频不清晰，这可能表示视频中的边缘模糊或颜色变化较大。
S102. 将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，提取所述每一帧图像的图像特征，基于所述图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；
在一种可选的实施方式中，对摄像头遮挡检测包括：
视频监控的区域和对象，在摄像头安装时做了初始设定和调整，如果这些设定受到影响或改变，很可能是监控视频系统的前端设备出现了问题，造成影响的因素包括人为和自然两方面。人为因素比如一些人为了躲避监控，可能会刻意用口香糖、纸片、布条或其他物件直接遮挡摄像头；自然环境因素形成摄像头遮挡也有多种情况，比如监控区域的小树长成了大树，茂密的树叶挡住了原来监控的场景，又或者大风吹起的垃圾、 尘土等粘在摄像头上，致使监控画面出现大小形状不一的遮挡。
实际应用中，摄像头被遮挡的视频存在如下特点：摄像头被遮挡的位置并不固定，可能因为摄像头低于树枝导致树叶遮挡摄像头上部分，也有人为的从下往上覆盖摄像头。遮挡的范围也不固定，有可能部分遮挡，也有可能完全遮挡。摄像头遮挡有分为短期内由临时建筑等人为遮挡而引起图像特征发生变化的，也有因为树叶遮挡是因渐变的植物生长过程而引起图像特征变化的。
对于摄像头遮挡检测问题，可以视为二值分类的问题，在训练阶段通过输入正常图像样本数据提取正常图像特征，通过输入遮挡图像样本数据提取遮挡图像特征，综合生成分别代表正常和遮挡的图像特征分布的模型；在验证阶段，输入新的图像数据与训练获得的模型相比较，与正常特征相匹配的判断为正常，与遮挡特征匹配的判断为遮挡。
在一种可选的实施方式中，
所述方法还包括训练所述遮挡检测模型：
基于预先获取的遮挡训练数据集，通过待训练的遮挡检测模型进行非线性分解，确定所述遮挡训练数据集对应的解析信息；
根据所述解析信息与所述遮挡训练数据集的相对误差，结合待训练的遮挡检测模型的损失函数，确定待训练的遮挡检测模型中每一层网络的梯度；
对每一层网络的梯度进行池化操作，结合所述相对误差以及预设学习率，参考预设收缩迭代阈值，通过迭代优化算法对所述相对误差进行迭代优化，直至所述相对误差满足预设预设迭代条件。
收集遮挡训练数据集，包括正常图像信息和遮挡图像信息。假设有N个训练样本，每个样本包含正常图像信息x_i和遮挡图像信息y_i，将正常图像信息x_i和遮挡图像信息y_i转换为合适的数值表示，如向量或矩阵形式。
设计遮挡检测模型的架构，可以使用深度神经网络（如多层感知机）作为模型，确定模型的输入和输出维度；设计损失函数来衡量模型输出与真实遮挡信息之间的差异，常见的损失函数可以是均方误差（Mean Squared Error）或交叉熵损失（Cross-EntropyLoss）。训练过程可以如下：
初始化模型的参数，包括网络层的权重和偏置；针对每个训练样本(x_i, y_i)，通过前向传播计算模型的输出y_hat_i；根据损失函数，计算模型输出y_hat_i与真实遮挡信息y_i之间的误差，通过反向传播计算模型参数的梯度，对每一层网络的梯度进行池化操作，可以使用梯度平均或最大化等方式，使用优化算法（如梯度下降法或Adam优化算法）根据梯度更新模型的参数；重复上述步骤，对所有训练样本进行迭代训练，直至达到预设的迭代条件（如达到最大迭代次数或误差降至一定程度）。
通过池化操作，原始输入数据对应的解析信息中的有效内容被保留了下来，相反那些不相关的内容就被丢弃，有效成分的绝对位置被模糊，突出了结构性特征的相对位置的重要性，不仅保留了有效成分的结构，而且使重构得到的结果更加稀疏，对输入数据的结构性特征更加有利。
S103. 随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
在一种可选的实施方式中，
随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测包括：
随机选定待检测视频中任一帧图像的像素点，并且以此为初始像素点，遍历选择待检测视频中任一帧图像的像素点，判断像素点是否属于预先构建的标准图像的前景区域的前景像素点集合，若否，
将待检测视频中每一帧图像的像素点与预先获取的标准图像进行拉普拉斯运算，确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度；
若所述直方图相似度小于预设偏移阈值，则判定所述待检测视频中当前帧图像出现摄像头偏移，若大于等于预设偏移阈值，则判定所述待检测视频中当前帧图像未出现摄像头偏移。
当摄像头偏移时，偏移后的图像对比正常图像背景区域变化很大，甚至丢失原有背景区域图像特征。基于这个特点，可以提取正常图像背景区域与待测图像相同区域的边缘特征值，分别统计特征值直方图，然后计算直方图相似度，通过相似度判断待测图像是否发生偏移。
具体地，可以预先设定偏移判断阈值，通过标准图像得到前景区域像素点编号合集，设置检测像素的初始位置，判断待检测像素点是否属于前景区域像素点编号合集，如是设置该点灰度值为1，分别对标准图像和待测图像拉普拉斯运算，得到两个图像的拉普拉斯算子值后，统计其直方图；
计算标准图像的直方图和待测图像的直方图相似度，通过偏移阈值判断图像是否发生偏移，图像若发生偏移，记录偏移图像数，并改变图像抽取频率。为减少误判，当检测到一帧图像的相似度小于阈值时，在短时间间隔后再次获取一帧图像，并对其进行检测，如连续检测多帧图像均为偏移，判定为摄像头位置偏移问题。
在一种可选的实施方式中，
确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度如下公式所示：
；
其中，D表示直方图相似度，V、K分别表示待检测视频中每一帧图像的像素集合以及标准图像的像素集合，S v 、Z k 分别表示待检测视频中每一帧图像的直方图以及标准图像的直方图。
对于待检测视频的每一帧图像，首先随机选定一个像素点，并通过遍历选择其他像素点，判断这些像素点是否属于预先构建的标准图像的前景区域的前景像素点集合，这个步骤的效果是识别每一帧图像中的前景像素，这些前景像素通常表示视频中的关键对象或区域；针对经过前景/背景分离的图像，构建其灰度直方图或颜色直方图，直方图表示了图像中不同灰度级别或颜色通道的像素分布情况；根据直方图相似度计算的结果，将其与预设的偏移阈值进行比较；如果直方图相似度低于预设阈值，那么可以判定当前帧图像出现了摄像头偏移，这表明图像内容或拍摄角度发生了显著的变化；如果直方图相似度高于或等于阈值，则判定当前帧图像未出现摄像头偏移。
在一种可选的实施方式中，
所述方法还包括：
若对所述待检测视频进行清晰度检测、进行摄像头遮挡检测以及进行摄像头偏移检测中任意一项检测结果不满足要求，则确定故障发生位置、故障发生类型；
并将故障发生位置以及故障发生类型同步至监管终端。
通过综合检测，系统可以确定故障发生的位置，即故障在视频中的哪一部分或哪一个摄像头上；系统可以确定故障的类型，例如清晰度问题、遮挡或摄像头偏移，以便采取相应的纠正措施；故障位置和类型信息会实时同步至监管终端，允许监管人员或系统操作员快速响应并采取适当的措施，通过综合检测，系统可以自动检测和识别故障，有助于提高视频监控系统的可靠性和稳定性。
本发明实施例的第二方面，
提供一种视频质量诊断系统，图2为本公开实施例视频质量诊断系统的结构示意图，包括：
第一单元，用于将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；
第二单元，用于将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，提取所述每一帧图像的图像特征，基于所述图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；
第三单元，用于随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
本公开实施例的第三方面，
提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
本公开实施例的第四方面，
提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
Claims (10)
1.一种视频质量诊断方法，其特征在于，包括：
将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；
将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，提取所述每一帧图像的图像特征，基于所述图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；
随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
2.根据权利要求1所述的方法，其特征在于，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测包括：
提取待检测视频中每一帧图像的感兴趣区域，确定所述感兴趣区域中所有像素点的灰度值，并且根据相邻像素点的灰度差值确定每一个像素点的灰度变化率，若所述灰度变化率小于预设灰度阈值，则将该像素点认定为边缘点；
根据所述边缘点在所述感兴趣区域的空间位置，确定所有边缘点的距离向量和，根据所述感兴趣区域中每个像素点与相邻像素点的通道差确定所述感兴趣区域的像素色差和；
基于所述距离向量和以及所述像素色差和的比值，将其与预设清晰度阈值进行比较，若大于等于所述预设清晰度阈值，则认定所述待检测视频清晰，否则，认定所述待检测视频不清晰。
3.根据权利要求2所述的方法，其特征在于，
根据相邻像素点的灰度差值确定每一个像素点的灰度变化率包括：
；
其中，F表示每一个像素点的灰度变化率，M、N分别表示所述感兴趣区域中横向的像素点数量以及纵向的像素点数量，i、j分别表示第i个像素点和第j个像素点，f(x,y)表示像素点(x,y)的灰度值，f(x+1,y+1)表示像素点(x+1,y+1)的灰度值；
根据所述感兴趣区域中每个像素点与相邻像素点的通道差确定所述感兴趣区域的像素色差和包括：
；
；
其中，AD表示所述感兴趣区域的像素色差和，R、G、B分别表示所述感兴趣区域的颜色通道，r(i,j)、g(i,j)、b(i,j)分别表示像素点(i,j)在R、G、B通道的值。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括训练所述遮挡检测模型：
基于预先获取的遮挡训练数据集，通过待训练的遮挡检测模型进行非线性分解，确定所述遮挡训练数据集对应的解析信息；
根据所述解析信息与所述遮挡训练数据集的相对误差，结合待训练的遮挡检测模型的损失函数，确定待训练的遮挡检测模型中每一层网络的梯度；
对每一层网络的梯度进行池化操作，结合所述相对误差以及预设学习率，参考预设收缩迭代阈值，通过迭代优化算法对所述相对误差进行迭代优化，直至所述相对误差满足预设迭代条件。
5.根据权利要求1所述的方法，其特征在于，随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测包括：
随机选定待检测视频中任一帧图像的像素点，并且以此为初始像素点，遍历选择待检测视频中任一帧图像的像素点，判断像素点是否属于预先构建的标准图像的前景区域的前景像素点集合，若否，
将待检测视频中每一帧图像的像素点与预先获取的标准图像进行拉普拉斯运算，确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度；
若所述直方图相似度小于预设偏移阈值，则判定所述待检测视频中当前帧图像出现摄像头偏移，若大于等于预设偏移阈值，则判定所述待检测视频中当前帧图像未出现摄像头偏移。
6.根据权利要求5所述的方法，其特征在于，确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度如下公式所示：
；
其中，D表示直方图相似度，V、K分别表示待检测视频中每一帧图像的像素集合以及标准图像的像素集合，S v 、Z k 分别表示待检测视频中每一帧图像的直方图以及标准图像的直方图。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若对所述待检测视频进行清晰度检测、进行摄像头遮挡检测以及进行摄像头偏移检测中任意一项检测结果不满足要求，则确定故障发生位置、故障发生类型；
并将故障发生位置以及故障发生类型同步至监管终端。
8.一种视频质量诊断系统，其特征在于，包括：
第一单元，用于将待检测视频进行分解，得到所述待检测视频的每一帧图像，提取所述每一帧图像的感兴趣区域，并基于所述感兴趣区域的像素色差和以及像素距离向量和，对所述待检测视频进行清晰度检测；
第二单元，用于将所述待检测视频的每一帧图像输入预先构建的遮挡检测模型，提取所述每一帧图像的图像特征，基于所述图像特征与预设的图像特征库中遮挡特征的匹配结果进行摄像头遮挡检测；
第三单元，用于随机选定待检测视频中任意一帧图像的像素点，若任意一帧图像的像素点不属于预先构建的标准图像的前景区域的前景像素点集合，则确定所述待检测视频中每一帧图像与所述标准图像的直方图相似度，基于所述直方图相似度与预设偏移阈值的比较结果进行摄像头偏移检测。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311253128.4A CN117011288B (zh) | 2023-09-27 | 2023-09-27 | 视频质量诊断方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311253128.4A CN117011288B (zh) | 2023-09-27 | 2023-09-27 | 视频质量诊断方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011288A true CN117011288A (zh) | 2023-11-07 |
| CN117011288B CN117011288B (zh) | 2024-02-20 |
Family
ID=88569345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311253128.4A Active CN117011288B (zh) | 2023-09-27 | 2023-09-27 | 视频质量诊断方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011288B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423737A (zh) * | 2017-05-03 | 2017-12-01 | 武汉东智科技股份有限公司 | 异物遮挡的视频质量诊断方法 |
| CN110503061A (zh) * | 2019-08-28 | 2019-11-26 | 燕山大学 | 一种融合多特征的多因素视频遮挡区域检测方法及系统 |
| CN111582074A (zh) * | 2020-04-23 | 2020-08-25 | 安徽海德瑞丰信息科技有限公司 | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 |
| CN114511803A (zh) * | 2022-01-05 | 2022-05-17 | 绍兴市北大信息技术科创中心 | 一种面向视觉跟踪任务的目标遮挡检测方法 |
| CN115619801A (zh) * | 2021-07-14 | 2023-01-17 | 山东华软金盾软件股份有限公司 | 一种基于深度学习的监控视频图像遮挡检测方法 |
| CN115761562A (zh) * | 2022-09-08 | 2023-03-07 | 东南大学 | 一种变电站面板有效目标的视频高清晰度关键帧提取方法 |
-
2023
- 2023-09-27 CN CN202311253128.4A patent/CN117011288B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423737A (zh) * | 2017-05-03 | 2017-12-01 | 武汉东智科技股份有限公司 | 异物遮挡的视频质量诊断方法 |
| CN110503061A (zh) * | 2019-08-28 | 2019-11-26 | 燕山大学 | 一种融合多特征的多因素视频遮挡区域检测方法及系统 |
| CN111582074A (zh) * | 2020-04-23 | 2020-08-25 | 安徽海德瑞丰信息科技有限公司 | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 |
| CN115619801A (zh) * | 2021-07-14 | 2023-01-17 | 山东华软金盾软件股份有限公司 | 一种基于深度学习的监控视频图像遮挡检测方法 |
| CN114511803A (zh) * | 2022-01-05 | 2022-05-17 | 绍兴市北大信息技术科创中心 | 一种面向视觉跟踪任务的目标遮挡检测方法 |
| CN115761562A (zh) * | 2022-09-08 | 2023-03-07 | 东南大学 | 一种变电站面板有效目标的视频高清晰度关键帧提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011288B (zh) | 2024-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109241985B (zh) | 一种图像识别方法及装置 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN112200011B (zh) | 曝气池状态检测方法、系统、电子设备及存储介质 | |
| CN108364282B (zh) | 图像马赛克检测方法、图像马赛克检测系统 | |
| CN112396635B (zh) | 一种基于多设备的复杂环境下多目标检测方法 | |
| CN115065798B (zh) | 一种基于大数据的视频分析监控系统 | |
| CN111325051A (zh) | 一种基于人脸图像roi选取的人脸识别方法及装置 | |
| CN110619647B (zh) | 基于边缘点频域空域特征结合图像模糊区域定位方法 | |
| CN111898486A (zh) | 监控画面异常的检测方法、装置及存储介质 | |
| CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN109030499B (zh) | 一种适用于目标缺陷连续在线检测防止缺陷数目重复计数的装置及方法 | |
| CN111815528A (zh) | 基于卷积模型和特征融合的恶劣天气图像分类增强方法 | |
| CN116152261B (zh) | 一种印刷制品质量的视觉检测系统 | |
| CN114511820A (zh) | 货架商品检测方法、装置、计算机设备及存储介质 | |
| CN115311623A (zh) | 一种基于红外热成像的设备漏油检测方法及系统 | |
| CN110659627A (zh) | 一种基于视频分割的智能视频监控方法 | |
| CN108520496B (zh) | 一种基于光流法的海空背景监控视频图像拼接方法 | |
| CN117011288B (zh) | 视频质量诊断方法及系统 | |
| CN115083008A (zh) | 运动目标检测方法、装置、设备及存储介质 | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| CN116110095A (zh) | 一种人脸过滤模型的训练方法、人脸识别方法及装置 | |
| CN114205578A (zh) | 基于频域偏度和频域峰值的视频模糊异常检测方法和系统 | |
| CN114359183A (zh) | 图像质量评估方法及设备、镜头遮挡的确定方法 | |
| CN115346138A (zh) | 基于无人机的航拍图像的目标检测方法、装置以及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |