CN112200807A - 一种视频质量诊断方法与系统 - Google Patents

一种视频质量诊断方法与系统 Download PDF

Info

Publication number
CN112200807A
CN112200807A CN202011413348.5A CN202011413348A CN112200807A CN 112200807 A CN112200807 A CN 112200807A CN 202011413348 A CN202011413348 A CN 202011413348A CN 112200807 A CN112200807 A CN 112200807A
Authority
CN
China
Prior art keywords
image
difference image
analyzed
value
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011413348.5A
Other languages
English (en)
Other versions
CN112200807B (zh
Inventor
涂家勇
郭海强
刘驰
王涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optical Valley Technology Co ltd
Original Assignee
Optical Valley Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optical Valley Technology Co ltd filed Critical Optical Valley Technology Co ltd
Priority to CN202011413348.5A priority Critical patent/CN112200807B/zh
Publication of CN112200807A publication Critical patent/CN112200807A/zh
Application granted granted Critical
Publication of CN112200807B publication Critical patent/CN112200807B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种视频质量诊断方法与系统。包括：采样得到待分析视频帧；对待分析视频帧进行去模糊得到进化图像，对待分析视频帧进行模糊得到退化图像，将待分析视频帧转换到HSV空间得到色彩分析图像；将进化图像与待分析视频帧相减得到第一差异图像，将待分析视频帧与退化图像相减得到第二差异图像，将第一差异图像与第二差异图像融合得到第三差异图像，根据差异图像进行清晰度评价；对色彩分析图像进行色彩评价；将清晰度评价结果、色彩评价结果合并，并附加时段标记、光照强度，得到质量诊断特征向量，利用神经网络对质量诊断特征向量进行分析，得到视频质量诊断结果。本发明提高了视频质量诊断精度。

Description

一种视频质量诊断方法与系统
技术领域
本发明涉及图像质量诊断、计算机视觉技术领域，具体涉及一种视频质量诊断方法与系统。
背景技术
随着经济的发展，治安形势日益严峻，监控系统在日常生活中十分常见，但是监控系统中的硬件或软件不可避免地会出现一些故障。面对成百上千的海量摄像头，仅靠操作员每天面对监控视频，很难及时发现，故障处理的及时性和有效性得不到保障；无法确认摄像头发生故障的时间。而人工巡检处理摄像机故障只能发现已有的故障，并不知道是什么时间出现的，没有时效性；面对监控系统规模的不断扩大，如果靠人巡检、维护，耗费大量人力物力，而且效率极低。
利用视频质量诊断方法、系统，用户能够有效预防因视频采集设备、视频传输等环节导致的图像质量问题及所带来的损失，亦有利于帮助用户快速掌握前端设备运行情况。目前的视频质量诊断技术通过统计视频图像的信息熵、色调熵等来评估质量，对光照强度较低环境下采集的图像、信息本就不丰富的场景下采集的图像的评价精度很低。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提出一种视频质量诊断方法与系统，提高了视频质量诊断精度。
一种视频质量诊断方法，该方法包括：
步骤1，从视频数据中采样得到待分析视频帧；
步骤2，对待分析视频帧进行去模糊得到进化图像，对待分析视频帧进行模糊得到退化图像，将待分析视频帧转换到HSV空间得到色彩分析图像；
步骤3，将进化图像与待分析视频帧相减得到第一差异图像，将待分析视频帧与退化图像相减得到第二差异图像，将第一差异图像与第二差异图像融合得到第三差异图像，分别对三个差异图像进行归一化处理，并根据归一化处理后图像的均值、最大值建立清晰度评价模型
Figure 935467DEST_PATH_IMAGE001
：
Figure 413459DEST_PATH_IMAGE002
，
Figure 255513DEST_PATH_IMAGE003
表示归一化处理后的差异图像，i取值1、2、3时分别表示对应的第一差异图像、第二差异图像、第三差异图像，
Figure 181881DEST_PATH_IMAGE004
为归一化处理后的差异图像的均值，
Figure 324150DEST_PATH_IMAGE005
为归一化处理后的差异图像的最大值，
Figure 208929DEST_PATH_IMAGE006
，
Figure 243006DEST_PATH_IMAGE007
，
Figure 973065DEST_PATH_IMAGE008
、
Figure 969840DEST_PATH_IMAGE009
、
Figure 228783DEST_PATH_IMAGE010
为权重系数，
Figure 514271DEST_PATH_IMAGE011
为平衡补偿系数，根据清晰度评价模型
Figure 579179DEST_PATH_IMAGE012
计算清晰度评价结果；
对HSV的色调空间进行区间划分，根据色彩分析图像在各色调区间的像素比例、图像的饱和度、明度进行色彩评价；
步骤4，将清晰度评价结果、色彩评价结果合并，并附加时段标记、光照强度，得到质量诊断特征向量，利用神经网络对质量诊断特征向量进行分析，得到视频质量诊断结果。
进一步地，所述进行色彩评价具体为：
建立色彩评价模型
Figure 126398DEST_PATH_IMAGE013
：
Figure 821822DEST_PATH_IMAGE014
，其中，
Figure 391343DEST_PATH_IMAGE015
为第k个色调区间的像素比例，k取值范围是[1,n]，S为色彩分析图像的S通道矩阵，
Figure 932046DEST_PATH_IMAGE016
为S通道矩阵平均值，V为色彩分析图像的V通道矩阵，
Figure 903413DEST_PATH_IMAGE017
为V通道矩阵平均值，
Figure 769738DEST_PATH_IMAGE018
的值即为色彩评价结果。
进一步地，所述进行色彩评价具体为：
建立色彩评价模型
Figure 265703DEST_PATH_IMAGE013
：
Figure 875676DEST_PATH_IMAGE019
，其中，t为视频帧时段标记，
Figure 701550DEST_PATH_IMAGE020
为最强光照时段标记，
Figure 4355DEST_PATH_IMAGE015
为第k个色调区间的像素比例，k取值范围是[1,n]，
Figure 220573DEST_PATH_IMAGE021
为平衡常数，S为色彩分析图像的S通道矩阵，
Figure 430974DEST_PATH_IMAGE016
为S通道矩阵平均值，V为色彩分析图像的V通道矩阵，
Figure 813152DEST_PATH_IMAGE017
为V通道矩阵平均值，
Figure 21279DEST_PATH_IMAGE013
的值即为色彩评价结果。
进一步地，该方法还包括：在步骤3之前对待分析视频帧、进化图像、退化图像进行灰度化处理，处理后的图像作为步骤3的处理对象。
进一步地，所述将第一差异图像与第二差异图像融合得到第三差异图像包括：对第一差异图像、第二差异图像进行逐像素比较，取最大值作为第三差异图像对应像素的像素值。
进一步地，所述神经网络采用全连接网络。
进一步地，所述灰度化处理具体为：针对图像的每一像素，计算各通道均值作为灰度化处理后像素的灰度值。
进一步地，
Figure 787110DEST_PATH_IMAGE022
，
Figure 738886DEST_PATH_IMAGE023
。
进一步地，
Figure 477035DEST_PATH_IMAGE024
，
Figure 918380DEST_PATH_IMAGE025
。
一种视频质量诊断系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现视频质量诊断方法的步骤。
本发明与现有技术相比，具有以下有益效果：
本发明将得到的图像经过计算处理后，就可判断视频的质量，不需进行人为判断，节省了人力。通过HSV颜色空间，建立色彩评价模型，有效地分析了图像的色彩特征，从而可以精确地评估视频的颜色质量。通过去模糊算法、模糊算法得到的差异图像评估图像的清晰度，相比于传统的信息熵方法，具有很强的泛化能力，适用于各种场景。采用神经网络实现视频质量的诊断，可以使得评估模型权值最优化，提高质量诊断精度。利用时段标记、增益系数等调节色彩评价模型的权重，不仅有助于网络快速收敛，而且对各种光照环境下的图像，均能获得较高的质量评价精度。
附图说明
图1为本发明方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种视频质量诊断方法与系统，主要对摄像头采集的视频图像进行质量诊断，该方法通过视频帧的清晰度及色彩来进行评估，具有易实现、速度快等优点。图1为本发明方法的流程图。下面通过具体实施例来进行说明。
实施例1：
一种视频质量诊断方法：
步骤1，从视频数据中采样得到待分析视频帧。
首先通过相机采集视频图像，得到大量视频数据，该相机可为任意场景下的相机，如安防、城市道路监控等。然后对视频数据进行采样，得到图像数据，以减少计算的数据量。对于不同的相机而言，其采集的视频通常帧率不同。通常来说，视频所带来的信息是高度冗余的，因此要进行采样。采样的频率实施者可根据具体的应用场景来定。一种实施方式：对于相机采集的视频帧率30hz而言，设定采样率为5，即该相机采集的视频1秒有30张图片（视频帧），采样率为5表示一秒内只取5张图像，即每6hz采集一张图像。将采样得到的视频帧作为待分析视频帧。
步骤2，对待分析视频帧进行去模糊得到进化图像，对待分析视频帧进行模糊得到退化图像，将待分析视频帧转换到HSV空间得到色彩分析图像。
对待分析视频帧进行去模糊操作，得到进化图像A。去模糊算法可通过如传统的基于边缘估计的去模糊算法，或基于深度学习的方法
Figure 610655DEST_PATH_IMAGE026
等算法来进行图像的去模糊。
对待分析视频帧进行模糊操作，得到退化图像B。模糊算法可通过如传统高斯模糊、均值模糊方法进行模糊处理。对进化图像、退化图像、待分析视频帧分别进行灰度化处理。灰度化处理可以采用以下方法：灰度化处理具体为：针对图像的每一像素，计算各通道均值作为灰度化处理后像素的灰度值。即
Figure 366121DEST_PATH_IMAGE027
，三通道计算均值的方法。需要说明的是，模糊处理的尺寸应当较小，优选地取3*3。另，灰度处理的灰度应当取整。
同时的，对待分析视频帧进行颜色空间变换，转换到HSV空间，根据HSV分析图像的色彩，并建立图像色彩评估模型
Figure 489935DEST_PATH_IMAGE028
。
下面对HSV颜色空间的变换进行说明。首先，对待分析视频帧进行归一化，即值变为[0,1]之间。然后根据以下算式进行色彩空间转换：
Figure 836603DEST_PATH_IMAGE029
；
Figure 780288DEST_PATH_IMAGE030
；
Figure 640578DEST_PATH_IMAGE031
。计算结果可能出现
Figure 353319DEST_PATH_IMAGE032
，因此进行以下计算：
Figure 808571DEST_PATH_IMAGE033
。
HSV是一种比较直观的颜色模型，这个模型中颜色的参数分别是：色调（H, Hue），饱和度（S, Saturation），明度（V, Value），取值范围为：
Figure 239552DEST_PATH_IMAGE034
。之所以选取HSV空间是因为该空间可以很好的表示颜色的明亮程度、颜色的差异、颜色的纯净度，对于分析图像的质量有很大作用。
步骤3，将进化图像与待分析视频帧相减得到第一差异图像，将待分析视频帧与退化图像相减得到第二差异图像，将第一差异图像与第二差异图像融合得到第三差异图像，分别对三个差异图像进行归一化处理，并根据归一化处理后图像的均值、最大值建立清晰度评价模型，根据清晰度评价模型计算清晰度评价结果。其中，将进化图像与待分析视频帧相减为进化图像减去待分析视频帧，可得第一差异图像。同理，将待分析视频帧与退化图像相减为待分析视频帧减去退化图像，可得第二差异图像。
若待分析视频帧本身较为清晰，则经过去模糊后，只通过较小的像素变化即可得到清晰图像，若待分析视频帧本身较为模糊，则需要通过较大的像素变化得到清晰图像。同理，原图清晰的图像，模糊退化后，模糊程度变化较小；原图模糊的图像，模糊退化后，模糊程度更大，像素变化更大。因此，本发明根据进化图像、退化图像的像素变化建立清晰度评价模型
Figure 133559DEST_PATH_IMAGE012
。第三差异图像融合了两个差异图像的信息，有助于提取最大变化信息，将第一差异图像与第二差异图像融合得到第三差异图像包括：对第一差异图像、第二差异图像进行逐像素比较，取最大值作为第三差异图像对应像素的像素值。具体地，色彩评价模型
Figure 700806DEST_PATH_IMAGE035
：
Figure 890741DEST_PATH_IMAGE002
，
Figure 809019DEST_PATH_IMAGE036
表示归一化处理后的差异图像，i取值1、2、3时分别表示对应的第一差异图像、第二差异图像、第三差异图像，
Figure 444400DEST_PATH_IMAGE037
为归一化处理后的差异图像的均值，
Figure 662891DEST_PATH_IMAGE038
为归一化处理后的差异图像的最大值，
Figure 991104DEST_PATH_IMAGE006
，
Figure 865520DEST_PATH_IMAGE007
，
Figure 865443DEST_PATH_IMAGE008
、
Figure 141704DEST_PATH_IMAGE009
、
Figure 437556DEST_PATH_IMAGE010
为权重系数，
Figure 64846DEST_PATH_IMAGE011
为平衡补偿系数，根据清晰度评价模型
Figure 307609DEST_PATH_IMAGE001
计算清晰度评价结果。优选地，清晰度评价模型中，
Figure 438376DEST_PATH_IMAGE022
，
Figure 108392DEST_PATH_IMAGE023
；
Figure 521181DEST_PATH_IMAGE024
，
Figure 302055DEST_PATH_IMAGE025
，
Figure 552908DEST_PATH_IMAGE008
均为0.6，
Figure 190562DEST_PATH_IMAGE009
均为0.4，
Figure 792445DEST_PATH_IMAGE011
取2。
同时的，对HSV的色调空间进行区间划分，根据色彩分析图像在各色调区间的像素比例、图像的饱和度、明度进行色彩评价。建立色彩评价模型
Figure 111431DEST_PATH_IMAGE013
：
Figure 795220DEST_PATH_IMAGE014
，其中，
Figure 541459DEST_PATH_IMAGE015
为第k个色调区间的像素比例，k取值范围是[1,n]，S为色彩分析图像的S通道矩阵，
Figure 161797DEST_PATH_IMAGE039
为S通道矩阵平均值，V为色彩分析图像的V通道矩阵，
Figure 550053DEST_PATH_IMAGE040
为V通道矩阵平均值，
Figure 509918DEST_PATH_IMAGE013
的值即为色彩评价结果。
具体地，对于H通道而言，其颜色分布在圆周上，不同的角度代表不同的颜色，如0表示红色、60表示黄色、120表示绿色。两个角度之间的角度对应两个颜色之间的过渡色。对于色调的分析，首先统计图像
Figure 692638DEST_PATH_IMAGE041
Figure 567315DEST_PATH_IMAGE042
通道像素位于不同区间的个数，并计算得到每个区间的比例。本实施例根据色调分布划分了六个区间。实施者也可以根据情况自行调整。用
Figure 493683DEST_PATH_IMAGE043
分别表示不同区间的像素个数。区间如下：
Figure 308055DEST_PATH_IMAGE041
通道像素值在
Figure 927256DEST_PATH_IMAGE044
的像素个数为
Figure 522185DEST_PATH_IMAGE045
；
Figure 986664DEST_PATH_IMAGE041
通道像素值在
Figure 216395DEST_PATH_IMAGE046
的像素个数为
Figure 740917DEST_PATH_IMAGE047
；
Figure 26405DEST_PATH_IMAGE041
通道像素值在
Figure 91313DEST_PATH_IMAGE048
的像素个数为
Figure 145857DEST_PATH_IMAGE049
；
Figure 841280DEST_PATH_IMAGE041
通道像素值在
Figure 646688DEST_PATH_IMAGE050
的像素个数为
Figure 452970DEST_PATH_IMAGE051
；
Figure 627599DEST_PATH_IMAGE041
通道像素值在
Figure 290661DEST_PATH_IMAGE052
的像素个数为
Figure 550741DEST_PATH_IMAGE053
；
Figure 160714DEST_PATH_IMAGE041
通道像素值在
Figure 428666DEST_PATH_IMAGE054
的像素个数为
Figure 262629DEST_PATH_IMAGE055
；对于像素比例的计算则有：
Figure 744426DEST_PATH_IMAGE056
，
Figure 954828DEST_PATH_IMAGE057
为图像在
Figure 572891DEST_PATH_IMAGE041
通道某一色调区间的像素个数，
Figure 46598DEST_PATH_IMAGE058
为图像总像素个数，
Figure 313893DEST_PATH_IMAGE059
为该色调区间的像素比例。最终得到上述划分的六个色调区间的像素比例：
Figure 89DEST_PATH_IMAGE060
，其中，
Figure 3817DEST_PATH_IMAGE061
为
Figure 179584DEST_PATH_IMAGE062
与图像总像素个数N的比值，
Figure 370394DEST_PATH_IMAGE063
为b与N的比值，以此类推。
对于图像的饱和度、明度的分析：
Figure 125860DEST_PATH_IMAGE064
，
Figure 279368DEST_PATH_IMAGE065
，即求
Figure 829298DEST_PATH_IMAGE066
通道的平均值。则有，
Figure 569721DEST_PATH_IMAGE013
：
Figure 597719DEST_PATH_IMAGE067
。
至此，即可通过上述
Figure 107198DEST_PATH_IMAGE068
对待分析视频帧进行评估，得到两个评估数据，即
Figure 329494DEST_PATH_IMAGE069
的输出值。
步骤4，将清晰度评价模型、色彩评价结果合并，并附加时段标记、光照强度，得到质量诊断特征向量，利用神经网络对质量诊断特征向量进行分析，得到视频质量诊断结果。
首先，建立并训练神经网络，具体采用全连接网络，全连接网络的输入为根据
Figure 557213DEST_PATH_IMAGE070
得到多个视频帧的评估值及时段标记、光照等特征。对于时段标记，可以按小时区间生成。例如，一天24小时，则总共有24个值，从0-23。当一段视频为0-1点拍摄时，其时段标记为1。对于光照等其他特征，由传感器获得，如在城市道路场景下，则光照特征为该摄像头所在区域的光照传感器数值。全连接网络输入特征向量形状为[B,11*N]，B表示批次，N表示该批次中的数据记录个数，11表示每条数据记录包含11个特征值，11个特征值分别为清晰度评价结果（1个值）、色彩评结果(本实施例为8个数值)、时段标记、光照强度。N可以为1，一次诊断一帧的质量，也可以大于1，一次诊断多帧的质量。
全连接网络具体的训练流程如下：将多个视频帧对应的特征值序列与标签数据（要进行独热编码）送到网络中进行训练。视频质量的标签可参考以下进行标注，总共分为三类，优、良、差，输入网络时分别用数字0、1、2代替。全连接起到将特征映射到样本标记空间的作用，输入为多个特征值序列，输出为各种视频质量标签的概率。损失函数采用均方误差损失函数。全连接网络输出的值为概率，需要进行argmax（获得最大可能性类的函数）操作，得到具体的视频质量索引。至此，即可完成网络的训练，利用该网络可以实现视频质量诊断。
需要说明的是，全连接输入为定长的，假设网络的训练为五帧的数据，若要诊断六十帧的视频，则网络推理12次，得到12个质量诊断结果。此时，需要根据12个质量诊断结果获得最终质量诊断结果。根据多个质量诊断结果得到最终质量诊断结果可采用以下方法：为各类型质量诊断结果配以不同的权重，根据各类型质量诊断结果的数量以及权重得到最终评估值。设质量诊断结果类型为优、良、差，优的权重大于良的权重，良的权重大于差的权重，首先根据数量最大规则可取评估值频次最高的质量诊断结果作为最终诊断结果。若优良差数量相同，都有4个，则根据权重，取权重大的评估值作为最终诊断结果，因此，视频质量评估为优。
最终，结合清晰度评价模型、色彩评价模型利用全连接网络诊断每一段视频的质量。首先，将采样得到的待分析视频帧经过
Figure 388903DEST_PATH_IMAGE068
得到待分析视频帧的清晰度评价结果、色彩评价结果，同时获取该段视频的时间、所在区域光照等特征。然后，组成质量诊断特征向量，输入到全连接网络中，得到该段视频的质量。
实施例2：
本实施例提供一种视频质量诊断方法，与实施例1区别在于，进行色彩评价具体为：
建立色彩评价模型
Figure 487309DEST_PATH_IMAGE013
：
Figure 465193DEST_PATH_IMAGE019
其中，t为视频帧时段标记，
Figure 914629DEST_PATH_IMAGE020
为最强光照时段标记，
Figure 284430DEST_PATH_IMAGE015
为第k个色调区间的像素比例，k取值范围是[1,n]，
Figure 971764DEST_PATH_IMAGE021
为平衡常数，S为色彩分析图像的S通道矩阵，
Figure 96714DEST_PATH_IMAGE039
为S通道矩阵平均值，V为色彩分析图像的V通道矩阵，
Figure 971129DEST_PATH_IMAGE040
为V通道矩阵平均值，
Figure 973983DEST_PATH_IMAGE013
的值即为色彩评价结果。本实施例中，在色彩评价中添加了增益系数
Figure 46981DEST_PATH_IMAGE071
，可以加速网络收敛。
实施例3：
本实施例提供一种视频质量诊断系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序执行以下步骤：
步骤1，从视频数据中采样得到待分析视频帧；
步骤2，对待分析视频帧进行去模糊得到进化图像，对待分析视频帧进行模糊得到退化图像，将待分析视频帧转换到HSV空间得到色彩分析图像；
步骤3，将进化图像与待分析视频帧相减得到第一差异图像，将待分析视频帧与退化图像相减得到第二差异图像，将第一差异图像与第二差异图像融合得到第三差异图像，分别对三个差异图像进行归一化处理，并根据归一化处理后图像的均值、最大值建立清晰度评价模型
Figure 280516DEST_PATH_IMAGE001
：
Figure 704544DEST_PATH_IMAGE002
，
Figure 416148DEST_PATH_IMAGE003
表示归一化处理后的差异图像，i取值1、2、3时分别表示对应的第一差异图像、第二差异图像、第三差异图像，
Figure 373347DEST_PATH_IMAGE004
为归一化处理后的差异图像的均值，
Figure 777783DEST_PATH_IMAGE005
为归一化处理后的差异图像的最大值，
Figure 689107DEST_PATH_IMAGE006
，
Figure 735561DEST_PATH_IMAGE007
，
Figure 284616DEST_PATH_IMAGE008
、
Figure 922271DEST_PATH_IMAGE009
、
Figure 524154DEST_PATH_IMAGE010
为权重系数，
Figure 843139DEST_PATH_IMAGE011
为平衡补偿系数，根据清晰度评价模型
Figure 10816DEST_PATH_IMAGE012
计算清晰度评价结果；
对HSV的色调空间进行区间划分，根据色彩分析图像在各色调区间的像素比例、图像的饱和度、明度进行色彩评价；
步骤4，将清晰度评价结果、色彩评价结果合并，并附加时段标记、光照强度，得到质量诊断特征向量，利用神经网络对质量诊断特征向量进行分析，得到视频质量诊断结果。
以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频质量诊断方法，其特征在于，该方法包括：
步骤1，从视频数据中采样得到待分析视频帧；
步骤2，对待分析视频帧进行去模糊得到进化图像，对待分析视频帧进行模糊得到退化图像，将待分析视频帧转换到HSV空间得到色彩分析图像；
步骤3，将进化图像与待分析视频帧相减得到第一差异图像，将待分析视频帧与退化图像相减得到第二差异图像，将第一差异图像与第二差异图像融合得到第三差异图像，分别对三个差异图像进行归一化处理，并根据归一化处理后图像的均值、最大值建立清晰度评价模型
Figure 691701DEST_PATH_IMAGE001
：
Figure 656246DEST_PATH_IMAGE002
，
Figure 982185DEST_PATH_IMAGE003
表示归一化处理后的差异图像，i取值1、2、3时分别表示对应的第一差异图像、第二差异图像、第三差异图像，
Figure 909428DEST_PATH_IMAGE004
为归一化处理后的差异图像的均值，
Figure 233093DEST_PATH_IMAGE005
为归一化处理后的差异图像的最大值，
Figure 747251DEST_PATH_IMAGE006
，
Figure 611302DEST_PATH_IMAGE007
，
Figure 894515DEST_PATH_IMAGE008
、
Figure 451399DEST_PATH_IMAGE009
、
Figure 889071DEST_PATH_IMAGE010
为权重系数，
Figure 291234DEST_PATH_IMAGE011
为平衡补偿系数，根据清晰度评价模型
Figure 694533DEST_PATH_IMAGE012
计算清晰度评价结果；
对HSV的色调空间进行区间划分，根据色彩分析图像在各色调区间的像素比例、图像的饱和度、明度进行色彩评价；
步骤4，将清晰度评价结果、色彩评价结果合并，并附加时段标记、光照强度，得到质量诊断特征向量，利用神经网络对质量诊断特征向量进行分析，得到视频质量诊断结果。
2.如权利要求1所述的方法，其特征在于，所述进行色彩评价具体为：
建立色彩评价模型：
Figure 848751DEST_PATH_IMAGE014
，其中，
Figure 320184DEST_PATH_IMAGE015
为第k个色调区间的像素比例，k取值范围是[1,n]，S为色彩分析图像的S通道矩阵，
Figure 20067DEST_PATH_IMAGE016
为S通道矩阵平均值，V为色彩分析图像的V通道矩阵，
Figure 653174DEST_PATH_IMAGE017
为V通道矩阵平均值，
Figure 629220DEST_PATH_IMAGE018
的值即为色彩评价结果。
3.如权利要求1所述的方法，其特征在于，所述进行色彩评价具体为：
建立色彩评价模型
Figure 638764DEST_PATH_IMAGE013
：
Figure 485498DEST_PATH_IMAGE019
，其中，t为视频帧时段标记，
Figure 758347DEST_PATH_IMAGE020
为最强光照时段标记，
Figure 956110DEST_PATH_IMAGE015
为第k个色调区间的像素比例，k取值范围是[1,n]，
Figure 267881DEST_PATH_IMAGE021
为平衡常数，S为色彩分析图像的S通道矩阵，
Figure 234700DEST_PATH_IMAGE016
为S通道矩阵平均值，V为色彩分析图像的V通道矩阵，
Figure 412871DEST_PATH_IMAGE017
为V通道矩阵平均值，
Figure 97930DEST_PATH_IMAGE013
的值即为色彩评价结果。
4.如权利要求1所述的方法，其特征在于，该方法还包括：在步骤3之前对待分析视频帧、进化图像、退化图像进行灰度化处理，处理后的图像作为步骤3的处理对象。
5.如权利要求1-4任一项所述的方法，其特征在于，所述将第一差异图像与第二差异图像融合得到第三差异图像包括：对第一差异图像、第二差异图像进行逐像素比较，取最大值作为第三差异图像对应像素的像素值。
6.如权利要求1所述的方法，其特征在于，所述神经网络采用全连接网络。
7.如权利要求4所述的方法，其特征在于，所述灰度化处理具体为：针对图像的每一像素，计算各通道均值作为灰度化处理后像素的灰度值。
8.如权利要求1所述的方法，其特征在于，
Figure 449277DEST_PATH_IMAGE022
，
Figure 536182DEST_PATH_IMAGE023
。
9.如权利要求1所述的方法，其特征在于，
Figure 383790DEST_PATH_IMAGE024
，
Figure 290566DEST_PATH_IMAGE025
。
10.一种视频质量诊断系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述方法的步骤。
CN202011413348.5A 2020-12-07 2020-12-07 一种视频质量诊断方法与系统 Active CN112200807B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011413348.5A CN112200807B (zh) 2020-12-07 2020-12-07 一种视频质量诊断方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011413348.5A CN112200807B (zh) 2020-12-07 2020-12-07 一种视频质量诊断方法与系统

Publications (2)

Publication Number Publication Date
CN112200807A true CN112200807A (zh) 2021-01-08
CN112200807B CN112200807B (zh) 2021-02-12

Family

ID=74033797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011413348.5A Active CN112200807B (zh) 2020-12-07 2020-12-07 一种视频质量诊断方法与系统

Country Status (1)

Country Link
CN (1) CN112200807B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906488A (zh) * 2021-01-26 2021-06-04 广东电网有限责任公司 一种基于人工智能的安防视频质量评价系统
CN113473116A (zh) * 2021-07-12 2021-10-01 杭州时趣信息技术有限公司 一种直播质量监测方法、装置及介质
CN116170360A (zh) * 2022-12-08 2023-05-26 中国联合网络通信集团有限公司 网络质量评估方法、装置及存储介质
CN118396987A (zh) * 2024-06-25 2024-07-26 成都航空职业技术学院 一种印刷出版物的图像评价方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478698A (zh) * 2007-12-26 2009-07-08 三星Sdi株式会社 图像质量估计设备和方法
JP2011058878A (ja) * 2009-09-08 2011-03-24 Nec Corp 色崩れ定量評価方法、及び色崩れ定量評価装置
CN102176758A (zh) * 2011-03-07 2011-09-07 北京文安科技发展有限公司 一种视频质量诊断系统及其实现方法
CN103945214A (zh) * 2013-01-23 2014-07-23 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置
CN104469345A (zh) * 2014-12-10 2015-03-25 北京理工大学 一种基于图像处理的视频故障诊断方法
CN105610642A (zh) * 2015-12-22 2016-05-25 海南电网有限责任公司 变电站视频质量诊断的智能调度与故障结果展现方法
CN106998464A (zh) * 2016-01-26 2017-08-01 北京佳讯飞鸿电气股份有限公司 检测视频图像中刺状噪声的方法及装置
CN107197233A (zh) * 2017-06-23 2017-09-22 安徽大学 基于边缘计算模型的监控视频数据质量评测方法及装置
CN108492289A (zh) * 2018-03-19 2018-09-04 上海宝谊图片有限公司 一种数码影像质量评价系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101478698A (zh) * 2007-12-26 2009-07-08 三星Sdi株式会社 图像质量估计设备和方法
JP2011058878A (ja) * 2009-09-08 2011-03-24 Nec Corp 色崩れ定量評価方法、及び色崩れ定量評価装置
CN102176758A (zh) * 2011-03-07 2011-09-07 北京文安科技发展有限公司 一种视频质量诊断系统及其实现方法
CN103945214A (zh) * 2013-01-23 2014-07-23 中兴通讯股份有限公司 终端侧时间域视频质量评价方法及装置
CN104469345A (zh) * 2014-12-10 2015-03-25 北京理工大学 一种基于图像处理的视频故障诊断方法
CN105610642A (zh) * 2015-12-22 2016-05-25 海南电网有限责任公司 变电站视频质量诊断的智能调度与故障结果展现方法
CN106998464A (zh) * 2016-01-26 2017-08-01 北京佳讯飞鸿电气股份有限公司 检测视频图像中刺状噪声的方法及装置
CN107197233A (zh) * 2017-06-23 2017-09-22 安徽大学 基于边缘计算模型的监控视频数据质量评测方法及装置
CN108492289A (zh) * 2018-03-19 2018-09-04 上海宝谊图片有限公司 一种数码影像质量评价系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906488A (zh) * 2021-01-26 2021-06-04 广东电网有限责任公司 一种基于人工智能的安防视频质量评价系统
CN113473116A (zh) * 2021-07-12 2021-10-01 杭州时趣信息技术有限公司 一种直播质量监测方法、装置及介质
CN113473116B (zh) * 2021-07-12 2024-06-25 杭州时趣信息技术有限公司 一种直播质量监测方法、装置及介质
CN116170360A (zh) * 2022-12-08 2023-05-26 中国联合网络通信集团有限公司 网络质量评估方法、装置及存储介质
CN118396987A (zh) * 2024-06-25 2024-07-26 成都航空职业技术学院 一种印刷出版物的图像评价方法和系统

Also Published As

Publication number Publication date
CN112200807B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN112200807B (zh) 一种视频质量诊断方法与系统
US8472717B2 (en) Foreground image separation method
CN109584170B (zh) 基于卷积神经网络的水下图像复原方法
CN107292830B (zh) 低照度图像增强及评价方法
CN111489346B (zh) 一种全参考图像质量评价方法及系统
CN107958465A (zh) 一种基于深度卷积神经网络的单幅图像去雾方法
CN112367520B (zh) 基于人工智能的视频质量诊断系统
CN111127359A (zh) 一种基于选择性补偿颜色和三区间均衡的水下图像增强方法
CN112070691B (zh) 一种基于U-Net的图像去雾方法
CN111369548A (zh) 一种基于生成对抗网络的无参考视频质量评价方法及装置
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN112712481A (zh) 一种针对弱光图像增强的结构-纹理感知方法
CN114598864A (zh) 一种基于深度学习的全参考超高清视频质量客观评价方法
CN112906488A (zh) 一种基于人工智能的安防视频质量评价系统
CN116245962B (zh) 用于无线传输到区块链服务器的数据提取系统及方法
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN108665433B (zh) 一种结合多种特征的无参考自然图像质量评价方法
Le Callet et al. Continuous quality assessment of MPEG2 video with reduced reference
Yuan et al. Color image quality assessment with multi deep convolutional networks
CN114549386A (zh) 一种基于自适应光照一致性的多曝光图像融合方法
CN111402189B (zh) 一种视频图像偏色检测装置及方法
CN111724297B (zh) 图像处理方法及装置
Xiao et al. Blind Quality Metric via Measurement of Contrast, Texture, and Colour in Night-Time Scenario.
CN112752064A (zh) 电力通信光缆监控视频的处理方法和系统
Gong et al. Perceptual Quality Evaluation of Corrupted Industrial Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A video quality diagnosis method and system

Effective date of registration: 20210928

Granted publication date: 20210212

Pledgee: Guanggu Branch of Wuhan Rural Commercial Bank Co.,Ltd.

Pledgor: Optical Valley Technology Co.,Ltd.

Registration number: Y2021420000109

PE01 Entry into force of the registration of the contract for pledge of patent right