CN114596259A - 无参考的视频质量确定方法、装置、设备和存储介质 - Google Patents

无参考的视频质量确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114596259A
CN114596259A CN202210068265.XA CN202210068265A CN114596259A CN 114596259 A CN114596259 A CN 114596259A CN 202210068265 A CN202210068265 A CN 202210068265A CN 114596259 A CN114596259 A CN 114596259A
Authority
CN
China
Prior art keywords
video
image
module
output
normalized image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210068265.XA
Other languages
English (en)
Inventor
靳凯
金时昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210068265.XA priority Critical patent/CN114596259A/zh
Publication of CN114596259A publication Critical patent/CN114596259A/zh
Priority to PCT/CN2023/072737 priority patent/WO2023138590A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种无参考的视频质量确定方法、装置、设备和存储介质，该方法包括：获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像；对所述压缩图像进行时空归一化处理得到归一化图像；通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。本方案能够得到更加合理的视频质量评估结果，为后续运营商的内容分发提供良好的指导意义。

Description

无参考的视频质量确定方法、装置、设备和存储介质
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种无参考的视频质量确定方法、装置、设备和存储介质。
背景技术
近些年来随着基础网络技术的演进，移动端设备硬件性能的提升，以及人们对生活品质的追求和向往，在智能终端观看短视频、直播视频以及长视频内容的行为已广泛存在。作为信息的载体，视频媒介相比单一的文字和音频能够传达更丰富的信息。然而，从视频的产生到最终用户的观看涉及光学信号到数字信号的转换，视频画幅的缩放处理，视频编码压缩上传等环节。这其中光信号带来的热噪声，缩放带来的模糊感，编码产生的画面块效应都会影响用户的最终视觉体验。此外，不同于传统传媒由专业人员拍摄的视频，大量由普通用户生产的视频包含过曝、过暗、抖动或动态模糊等瑕疵，这些问题也同样影响用户的视觉体验。因此，判断视频质量的好坏程度对以用户为中心的视频内容提供商或相关媒体有重要意义。尽管可以通过人工审核的方式决定每一个视频画面质量，但显然该种方式效率低下，不同评审人员主观视觉存在差异性，以及细微变化的视频画面质量无法区分等问题。所以，大量研究者和相关从业人员都在寻求高效、准确的自动化视频质量评估方法。
其中，视频质量评估方法可以划分为全参考、半参考和无参考的度量方法。其中，全参考和半参考需要部分未失真的原始图像信息，目前主流方法的预测结果和人的主观视觉感受具备高度的相关性。但是，该系列方法要求用户上传未经压缩的原始图像信息，这极大的限制了该方法在大规模场景下的应用。相反，无参考视频质量评估仅采用现有的视频输入提供对该视频的主观视频质量分数预测。
现有技术中，无参考的视频质量评估方法主要划分为基于自然场景统计和基于深度特征的两种方式。前者通过广义偏斜高斯分布来近似自然场景下的各类图像特质，通常利用陷阻滤波器提取亮度分量特征、色度分量特征以及相关的组合特征和方向性特征。然而，智能终端的视频传媒往往包含多种失真叠加以及不规范的拍摄方式，基于自然场景统计的方法对该类问题的处理能力有限。基于深度特征的方法采用先进的神经网络模型在大规模数据集上提取具备判别力的特征，该特征包含了图像的语义信息以及图像的本征特征，但是对包含大量不规范拍摄方式引起的画面失真，以及为节约网络带宽而对视频进行压缩引入块效应等编码噪声的视频质量确定缺乏高效、合理的判定机制。
发明内容
本发明实施例提供了一种无参考的视频质量确定方法、装置、设备和存储介质，解决了现有技术中进行视频质量确定时，无法准确的进行评估的问题，能够得到更加合理的视频质量评估结果，为后续运营商的内容分发提供良好的指导意义。
第一方面，本发明实施例提供了一种无参考的视频质量确定方法，该方法包括：
获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像；
对所述压缩图像进行时空归一化处理得到归一化图像；
通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
第二方面，本发明实施例还提供了一种无参考的视频质量确定装置，包括：
深度特征提取模块，用于获取待评估的视频图像帧，对所述视频图像帧进行信息压缩得到压缩图像；
时空特征归一化模块，用于对所述压缩图像进行时空归一化处理得到归一化图像；
联合损失模块，用于对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
第三方面，本发明实施例还提供了一种无参考的视频质量确定设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例所述的无参考的视频质量确定方法。
第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的无参考的视频质量确定方法。
本发明实施例中，通过获取待评估的视频图像帧，通过深度特征提取网络对视频图像帧进行信息压缩得到压缩图像，对压缩图像进行时空归一化处理得到归一化图像，再通过联合损失模块对归一化图像进行分析输出视频质量分值，其中，该联合损失模块包括至少两个特征分析模块，能够得到更加合理的视频质量评估结果。
附图说明
图1为本发明实施例提供的一种无参考的视频质量确定方法的流程图；
图2为本发明实施例提供的一种通过联合损失模块对归一化图像进行分析输出视频质量分值的方法的流程图；
图3为本发明实施例提供的另一种通过联合损失模块对归一化图像进行分析输出视频质量分值的方法的流程图；
图4为本发明实施例提供的另一种无参考的视频质量确定方法的流程图；
图5为本发明实施例提供的另一种无参考的视频质量确定方法的流程图；
图6为本发明实施例提供的另一种无参考的视频质量确定方法的流程图；
图7为本发明实施例提供的一种无参考的视频质量确定装置的结构框图；
图8为本发明实施例提供的一种无参考的视频质量确定设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
图1为本发明实施例提供的一种无参考的视频质量确定方法的流程图，可用于对各类视频进行质量评估，该方法可以由计算设备如服务器、智能终端、笔记本、平板电脑等来执行，具体包括如下步骤：
步骤S101、获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像。
其中，该待评估的视频图像帧为需要确定视频质量的图像帧，其可以是一帧图像也可以是多帧图像。如对用户上传的视频图像进行视频质量确定时，将该视频图像中的每一帧图像或者选定的某几帧图像确定为待评估的视频图像帧以进行视频质量确定，输出相应的视频质量分值。
在一个实施例中，首先通过深度特征提取网络对视频图像帧进行信息压缩得到压缩图像。可选的，该深度特征提取网络的结构可以采用在ImageNet大规模数据集上预训练的网络结构，例如MobileNet，ResNet或VGG等，其包括多个连续的特征提取模块和下采样模块。
在一个实施例中，待评估的视频图像帧为经过白化处理和尺寸归一化处理后得到的预设尺寸的视频帧图像，以待评估的视频图像帧为多个不同视频数据中包含的多帧图像为例，深度特征提取网络的输入格式示例性的记为N×D×C×H×W，其中，N表示视频数目，D表示每个视频所包含的视频图像帧数，C表示通道数，H和W表示预设的图像尺寸的高和宽。定义下采样次数为r，则相应的该深度特征提取网络的输出可记为N×D×C×H/2^r×W/2^r。
步骤S102、对所述压缩图像进行时空归一化处理得到归一化图像。
在一个实施例中，通过时空归一化处理对压缩图像进一步压缩并对图像特征进行保留。可选的，包括对压缩图像的时域特征和空域特征进行均值计算以及特征提取得到归一化图像。本实施例中使用的归一化处理具体公式如下：
Figure BDA0003481075770000051
步骤S103、通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
其中，在通过步骤S102得到归一化图像后，通过配置的联合损失模块对该归一化图像进行分析输出视频质量分值。其中，该联合损失模块为经过预训练生成的模块。该联合损失模块包括至少两个特征分析模块，其中，每个特征分析模块可基于归一化图像生成对应类型的子特征分值。
在一个实施例中，以联合损失模块包括失真分析模块和主观分析模块两个分支为例进行示例性说明，如图2所示，图2为本发明实施例提供的一种通过联合损失模块对归一化图像进行分析输出视频质量分值的方法的流程图，其具体包括：
步骤S1031、通过失真分析模块对归一化图像进行失真分析处理得到预测输出。
其中，该失真分析模块包括一个或多个特征分支，每个特征分支对应得到一个预测输出值。以失真分析模块为清晰度分支为例，其输出视频图像帧的清晰度分值。
步骤S1032、将预测输出以及归一化图像的时空特征输入至主观分析模块以输出视频质量分值。
其中，在得到失真分析模块的预测输出后，将其和归一化图像的时空特征共同输入至主观分析模块以得到最终的视频质量分值。
在另一个实施例中，失真分析模块包括至少两个失真分析子模块。可选的，以失真分析模块以包括五个失真分析子模为例，每个失真分析子模对应一个失真特征分支，示例性的分别为噪声特征分支、清晰度特征分支、模糊度特征分支、亮度特征分支以及色度特征分支。可选的，通过该联合损失模块对归一化图像进行分析输出视频质量分值的过程，如图3所示，图3为本发明实施例提供的另一种通过联合损失模块对归一化图像进行分析输出视频质量分值的方法的流程图，具体包括：
步骤S1033、分别通过每个所述失真分析子模块对所述归一化图像进行失真分析处理得到各自对应的预测输出。
示例性的，以失真分析子模块包括噪声特征分支、清晰度特征分支、模糊度特征分支、亮度特征分支以及色度特征分支五个分支为例，分别对归一化图像进行失真分析处理得到噪声特征分值、清晰度特征分值、模糊度特征分值、亮度特征分值以及色度特征分值。其中，噪声特征分支用于提取视频图像帧的热噪声、光学噪声和彩色噪声等以输出预测分值；清晰度特征分支用于提取视频图像帧的边缘信息以输出预测分值；模糊度特征分支用于提取视频图像帧的平滑性信息以输出预测分值；亮度特征分支用于提取视频图像帧的光线分布以输出预测分值；色度特征分支用于提取视频图像帧的色彩丰富度信息以输出预测分值。需要说明的是，还可根据实际需要进行其它特征分支的训练并加入至联合损失模块中。
可选的，每个特征分支可采用一系列的非线性层将归一化图像中的时空特征映射至各自对应分支期望的画质特征中，如噪声特征分支将归一化图像中的时空特征映射得到视频图像帧的噪声特征；清晰度特征分支将归一化图像中的时空特征映射得到视频图像帧的边缘信息。具体的映射公式可以是：
Figure BDA0003481075770000061
其中，[W1,W2,W3,W4,W5,B1,B2]为训练得到的优化参数，不同的特征分支对应不同的参数值，σ(·)表示任意非线性激活函数，示例性的，可以是sigmoid函数，ReLU(·)为线性整流函数，n为视频图像帧的数量，j为具体的视频图像帧的标识，c为图像通道数。
步骤S1034、分别将每个所述失真分析子模块对应的预测输出以及所述归一化图像的时空特征输入至所述主观分析模块，以输出视频质量分值。
其中，将步骤S1033得到的噪声特征分值、清晰度特征分值、模糊度特征分值、亮度特征分值以及色度特征分值，与归一化图像的时空特征一并输入至主观分析模块，通过主观分析模块以输出最终的视频质量分值。可选的，主观分析模块通过单层的线性变换将输入的噪声特征分值、清晰度特征分值、模糊度特征分值、亮度特征分值、色度特征分值以及归一化图像的时空特征映射至一维以得到最终的视频质量分值。
由上述方案可知，针对待评估的视频图像帧，通过深度特征提取网络对视频图像帧进行信息压缩得到压缩图像后，对压缩图像进行时空归一化处理得到归一化图像，在利用联合损失模块得到多个维度下确定出的最终的视频质量分值，解决了现有技术中采用单一维度如主观画面质量评估进行视频质量确定带来的分值合理性较差的问题，使得视频质量评估结果更加准确，可为后续处理提供更为丰富的决策支持。便于后续处理中进行最大效能的视频图像的画质优化，进一步提升观众端观看的视觉体验。
图4为本发明实施例提供的另一种无参考的视频质量确定方法的流程图，给出了一种具体的进行联合损失模块训练的步骤，如图4所示，具体包括：
步骤S201、获取人工标注的视频样本的不同标签值，根据不同标签值以及标签值和特征分析模块的对应关系对联合损失模块进行训练。
在一个实施例中，进行视频样本的标注时，人工进行标签值的打分时依据多个不同的维度进行打分。可选的，以联合损失模块包括6个不同的特征分析模块为例，每个特征分析模块对应一个特征分支，分别记为噪声特征分支、清晰度特征分支、模糊度特征分支、亮度特征分支、色度特征分支以及主观感受分支，在进行人工标注时，进行该6个维度的打分，即分别对应噪声值、清晰度值、模糊度值、亮度值、色彩值和主观值。例如，进行分值范围为1-5分的打分，其中分值1表示最糟糕无法接受，分值2表示糟糕可以接受但不愿继续浏览，分值3表示一般观看体验，分值4表示有持续观看意愿，分值5表示期望看到更多类似视频。具体的标注细则示例性的采用ITU-R BT.500标准提及的双激励连续标准分级法进行指导标注。需要说明的是，上述以6个打分维度进行示例说明，在另一实施例中可以是对上述该6个维度中的至少两个维度进行打分。
在一个实施例中，在对联合损失模块进行训练时，目标函数可以是：
Figure BDA0003481075770000071
其中，N为视频帧图像的数量，i为具体视频帧图像的编号，其取值范围为1至N，其中F表示各个特征分支对应的输出，Y表示人工标注标签，具体的训练过程中采用L1范数进行回归训练，同时使用ADAM优化器进行参数优化，此处不再赘述。在联合损失模块的训练过程中，当损失函数输出值不再下降后停止训练以得到训练完毕的联合损失模块。
步骤S202、获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像。
在一个实施例中，在通过深度特征提取网络对视频图像帧进行信息压缩得到压缩图像之前，还包括将视频图像帧裁剪至预设尺寸，具体的，可以采用中心裁剪的方式，即以视频图像帧的中心为基准点进行预设尺寸的长度和宽度的裁剪得到固定尺寸的视频图像以进行深度特征提取网络的处理。
步骤S203、对所述压缩图像进行时空归一化处理得到归一化图像。
步骤S204、通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
由上述方案可知，通过对多个视频图像质量维度的人工标注以及联合损失模块的训练，使得最终得到的视频质量分值更具有参考价值，避免了单一评估因素导致的视频质量评估效果差的问题发生。
图5为本发明实施例提供的另一种无参考的视频质量确定方法的流程图，在对视频图像进行标注前，还包括数据清洗的过程，如图5所示，具体包括：
步骤S301、获取原始视频数据，对原始视频数据进行预处理得到统一格式的视频信息，基于不同的画质特征生成对应所述视频信息的特征频率直方图，基于所述特征频率直方图对所述原始视频数据进行过滤得到视频样本。
其中，该预处理包括将原始视频数据由多种不同的视频图像格式转换为同一格式，如转换为YUV420格式的视频数据。当然也可转换为RGB24或YUV444等图像格式。在进行图像的筛选时，考虑多个维度的画质特征进行筛选，示例性的，筛选使用的画质特征包括码率、分辨率、亮度、色度、宽高比以及对比度中的至少一种。对于每个采集得到的视频片段逐帧完成设置的筛选画质特征的统计分析，并相应的采用中值滤波器进行噪声抑制，对于每个采集得到的视频片段，根据得到的各个帧图像的平均分决定最终是否保留该视频片段作为人工标注的样本。
步骤S302、获取人工标注的视频样本的不同标签值，根据所述不同标签值以及标签值和特征分析模块的对应关系对所述联合损失模块进行训练。
步骤S303、获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像。
步骤S304、对所述压缩图像进行时空归一化处理得到归一化图像；
步骤S305、通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
由上述可知，通过获取原始视频数据，对述原始视频数据进行预处理得到统一格式的视频信息，再基于不同的画质特征生成对应视频信息的特征频率直方图，基于特征频率直方图对原始视频数据进行过滤得到视频样本，以此高效、准确的进行数据清洗以得到更为合理的可进行人工标注的样本，避免了纯色图像样本和一些无意义的视频图像作为人工标注的对象而影响标注效率。
图6为本发明实施例提供的另一种无参考的视频质量确定方法的流程图，给出了一种同时输出多种类型的视频质量分值的方案，如图6所示，具体包括：
步骤S401、获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像；
步骤S402、对所述压缩图像进行时空归一化处理得到归一化图像；
步骤S403、通过联合损失模块对所述归一化图像进行分析输出所述视频图像帧的总分值，以及各个特征分析模块输出的子特征分值。
在一个实施例中，在进行视频质量分值的确定时，针对联合损失模块分别输出各个特征分析模块的子特征分值，以及输出视频图像帧的总分值。具体的，在联合损失模块中通过各个特征分析模块对归一化图像进行分析得到对应的子特征分值后进行相应的输出以提供给相关人员多维度的视频质量评价结果。
由上述可知，通过联合损失模块对归一化图像进行分析输出视频图像帧的总分值，以及各个特征分析模块输出的子特征分值，显著提升了无参考视频质量评估的预测精度，同时可针对性的进行画质质量评估分值的提供，通过提供不同维度的失真影响程度，以帮助后续环节进行最大效能的画质优化，进一步提升观众端观看的视觉体验。
图7为本发明实施例提供的一种无参考的视频质量确定装置的结构框图，该装置用于执行上述实施例提供的无参考的视频质量确定方法，具备执行方法相应的功能模块和有益效果。如图7所示，该装置具体包括：深度特征提取模块101、时空特征归一化模块102和联合损失模块103，其中，
深度特征提取模块101，用于获取待评估的视频图像帧，对所述视频图像帧进行信息压缩得到压缩图像；
时空特征归一化模块102，用于对所述压缩图像进行时空归一化处理得到归一化图像；
联合损失模块103，用于对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
由上述方案可知，针对待评估的视频图像帧，通过深度特征提取网络对视频图像帧进行信息压缩得到压缩图像后，对压缩图像进行时空归一化处理得到归一化图像，在利用联合损失模块得到多个维度下确定出的最终的视频质量分值，解决了现有技术中采用单一维度如主观画面质量评估进行视频质量确定带来的分值合理性较差的问题，使得视频质量评估结果更加准确，可为后续处理提供更为丰富的决策支持。便于后续处理中进行最大效能的视频图像的画质优化，进一步提升观众端观看的视觉体验。
在一个可能的实施例中，所述深度特征提取网络包括多个连续的特征提取模块和下采样模块，所述时空特征归一化模块102具体用于：
对所述压缩图像的时域特征和空域特征进行均值计算以及特征提取得到归一化图像。
在一个可能的实施例中，所述联合损失模块包括失真分析模块和主观分析模块，所述联合损失模块103具体用于：
通过所述失真分析模块对所述归一化图像进行失真分析处理得到预测输出；
将所述预测输出以及所述归一化图像的时空特征输入至所述主观分析模块以输出视频质量分值。
在一个可能的实施例中，所述失真分析模块包括至少两个失真分析子模块，所述联合损失模块103具体用于：
分别通过每个所述失真分析子模块对所述归一化图像进行失真分析处理得到各自对应的预测输出；
分别将每个所述失真分析子模块对应的预测输出以及所述归一化图像的时空特征输入至所述主观分析模块，以输出视频质量分值。
在一个可能的实施例中，该装置还包括模型训练模块104，用于：
在通过联合损失模块对所述归一化图像进行分析输出视频质量分值之前，获取人工标注的视频样本的不同标签值，根据所述不同标签值以及标签值和特征分析模块的对应关系对所述联合损失模块进行训练。
在一个可能的实施例中，该装置还包括数据清洗模块105，用于：
在获取人工标注的视频样本的不同标签值之前，获取原始视频数据，对所述原始视频数据进行预处理得到统一格式的视频信息，基于不同的画质特征生成对应所述视频信息的特征频率直方图；
基于所述特征频率直方图对所述原始视频数据进行过滤得到视频样本，其中，所述画质特征包括码率、分辨率、亮度、色度、宽高比以及对比度中的至少一种。
在一个可能的实施例中，该装置还包括人工标注模块106，用于：
在获取人工标注的视频样本的不同标签值之前，接收并存储对当前视频样本的人工标注的标签值，所述标签值包括噪声值、色彩值、清晰度值、模糊度值、亮度值和主观值中的至少两种。
在一个可能的实施例中，所述联合损失模块103具体用于：
通过联合损失模块对所述归一化图像进行分析输出所述视频图像帧的总分值，以及各个特征分析模块输出的子特征分值。
图8为本发明实施例提供的一种无参考的视频质量确定设备的结构示意图，如图8所示，该设备包括处理器201、存储器202、输入装置203和输出装置204；设备中处理器201的数量可以是一个或多个，图8中以一个处理器201为例；设备中的处理器201、存储器202、输入装置203和输出装置204可以通过总线或其他方式连接，图8中以通过总线连接为例。存储器202作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的无参考的视频质量确定方法对应的程序指令/模块。处理器201通过运行存储在存储器202中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的无参考的视频质量确定方法。输入装置203可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置204可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的无参考的视频质量确定方法，具体包括：
获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像；
对所述压缩图像进行时空归一化处理得到归一化图像；
通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
值得注意的是，上述无参考的视频质量确定装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
注意，上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明实施例不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此，虽然通过以上实施例对本发明实施例进行了较为详细的说明，但是本发明实施例不仅仅限于以上实施例，在不脱离本发明实施例构思的情况下，还可以包括更多其他等效实施例，而本发明实施例的范围由所附的权利要求范围决定。

Claims (11)

1.无参考的视频质量确定方法，其特征在于，包括：
获取待评估的视频图像帧，通过深度特征提取网络对所述视频图像帧进行信息压缩得到压缩图像；
对所述压缩图像进行时空归一化处理得到归一化图像；
通过联合损失模块对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
2.根据权利要求1所述的无参考的视频质量确定方法，其特征在于，所述深度特征提取网络包括多个连续的特征提取模块和下采样模块，所述对所述压缩图像进行时空归一化处理得到归一化图像，包括：
对所述压缩图像的时域特征和空域特征进行均值计算以及特征提取得到归一化图像。
3.根据权利要求1所述的无参考的视频质量确定方法，其特征在于，所述联合损失模块包括失真分析模块和主观分析模块，所述通过联合损失模块对所述归一化图像进行分析输出视频质量分值，包括：
通过所述失真分析模块对所述归一化图像进行失真分析处理得到预测输出；
将所述预测输出以及所述归一化图像的时空特征输入至所述主观分析模块以输出视频质量分值。
4.根据权利要求3所述的无参考的视频质量确定方法，其特征在于，所述失真分析模块包括至少两个失真分析子模块，所述通过所述失真分析模块对所述归一化图像进行失真分析处理得到预测输出，包括：
分别通过每个所述失真分析子模块对所述归一化图像进行失真分析处理得到各自对应的预测输出；
所述将所述预测输出以及所述归一化图像的时空特征输入至所述主观分析模块以输出视频质量分值，包括：
分别将每个所述失真分析子模块对应的预测输出以及所述归一化图像的时空特征输入至所述主观分析模块，以输出视频质量分值。
5.根据权利要求1所述的无参考的视频质量确定方法，其特征在于，在通过联合损失模块对所述归一化图像进行分析输出视频质量分值之前，还包括：
获取人工标注的视频样本的不同标签值，根据所述不同标签值以及标签值和特征分析模块的对应关系对所述联合损失模块进行训练。
6.根据权利要求5所述的无参考的视频质量确定方法，其特征在于，在获取人工标注的视频样本的不同标签值之前，还包括：
获取原始视频数据，对所述原始视频数据进行预处理得到统一格式的视频信息，基于不同的画质特征生成对应所述视频信息的特征频率直方图；
基于所述特征频率直方图对所述原始视频数据进行过滤得到视频样本，其中，所述画质特征包括码率、分辨率、亮度、色度、宽高比以及对比度中的至少一种。
7.根据权利要求5所述的无参考的视频质量确定方法，其特征在于，在获取人工标注的视频样本的不同标签值之前，还包括：
接收并存储对当前视频样本的人工标注的标签值，所述标签值包括噪声值、色彩值、清晰度值、模糊度值、亮度值和主观值中的至少两种。
8.根据权利要求1-7中任一项所述的无参考的视频质量确定方法，其特征在于，所述通过联合损失模块对所述归一化图像进行分析输出视频质量分值，包括：
通过联合损失模块对所述归一化图像进行分析输出所述视频图像帧的总分值，以及各个特征分析模块输出的子特征分值。
9.无参考的视频质量确定装置，其特征在于，包括：
深度特征提取模块，用于获取待评估的视频图像帧，对所述视频图像帧进行信息压缩得到压缩图像；
时空特征归一化模块，用于对所述压缩图像进行时空归一化处理得到归一化图像；
联合损失模块，用于对所述归一化图像进行分析输出视频质量分值，所述联合损失模块包括至少两个特征分析模块。
10.一种无参考的视频质量确定设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的无参考的视频质量确定方法。
11.一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一项所述的无参考的视频质量确定方法。
CN202210068265.XA 2022-01-20 2022-01-20 无参考的视频质量确定方法、装置、设备和存储介质 Pending CN114596259A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210068265.XA CN114596259A (zh) 2022-01-20 2022-01-20 无参考的视频质量确定方法、装置、设备和存储介质
PCT/CN2023/072737 WO2023138590A1 (zh) 2022-01-20 2023-01-17 无参考的视频质量确定方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210068265.XA CN114596259A (zh) 2022-01-20 2022-01-20 无参考的视频质量确定方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114596259A true CN114596259A (zh) 2022-06-07

Family

ID=81805665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210068265.XA Pending CN114596259A (zh) 2022-01-20 2022-01-20 无参考的视频质量确定方法、装置、设备和存储介质

Country Status (2)

Country Link
CN (1) CN114596259A (zh)
WO (1) WO2023138590A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138590A1 (zh) * 2022-01-20 2023-07-27 百果园技术(新加坡)有限公司 无参考的视频质量确定方法、装置、设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117041625B (zh) * 2023-08-02 2024-04-19 成都梵辰科技有限公司 一种超高清视频图像质量检测网络构建方法及系统
CN117495854B (zh) * 2023-12-28 2024-05-03 淘宝（中国）软件有限公司 视频数据处理方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
WO2021152454A1 (en) * 2020-01-28 2021-08-05 Ssimwave Inc. No-reference visual media quality assessment combining deep neural networks and models of human visual system and video content/distortion analysis
CN113313682A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于时空多尺度分析的无参考视频质量评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784698B (zh) * 2020-12-31 2024-07-02 杭州电子科技大学 基于深层次时空信息的无参考视频质量评价方法
CN114596259A (zh) * 2022-01-20 2022-06-07 百果园技术(新加坡)有限公司 无参考的视频质量确定方法、装置、设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123122A (zh) * 2017-04-28 2017-09-01 深圳大学 无参考图像质量评价方法及装置
WO2021152454A1 (en) * 2020-01-28 2021-08-05 Ssimwave Inc. No-reference visual media quality assessment combining deep neural networks and models of human visual system and video content/distortion analysis
CN113313682A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于时空多尺度分析的无参考视频质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张兆林;史浩山;万帅;: "基于线性回归分析的视频质量评估方法", 《西北工业大学学报》, no. 03, 15 June 2012 (2012-06-15), pages 451 - 455 *
朱泽等: "基于空时特征和注意力机制的无参考视频质量评价", 《激光与光电子学进展》, vol. 57, no. 18, 30 September 2020 (2020-09-30), pages 181509 - 1 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023138590A1 (zh) * 2022-01-20 2023-07-27 百果园技术(新加坡)有限公司 无参考的视频质量确定方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2023138590A1 (zh) 2023-07-27

Similar Documents

Publication Publication Date Title
CN114596259A (zh) 无参考的视频质量确定方法、装置、设备和存储介质
Nuutinen et al. CVD2014—A database for evaluating no-reference video quality assessment algorithms
CN111062314B (zh) 图像选取方法、装置、计算机可读存储介质及电子设备
CN108933935A (zh) 视频通信系统的检测方法、装置、存储介质和计算机设备
CA3039239C (en) Conformance of media content to original camera source using optical character recognition
CN115994230A (zh) 一种融合人工智能和知识图谱技术的智慧档案构建方法
CN109525892B (zh) 视频关键场景提取方法及装置
CN107527045A (zh) 一种面向多路视频的人体行为事件实时分析方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质
US20240320971A1 (en) Pre-processing image frames based on camera statistics
CN112839167A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN113870099A (zh) 一种图片颜色转换方法、装置、设备及可读存储介质
CN112347303B (zh) 媒体视听信息流监测监管数据样本及其标注方法
CN113489919A (zh) 一种基于互联网大数据的数字视频制作系统
CN113762058A (zh) 一种视频合成方法、装置、计算机设备和存储介质
Gavrovska et al. Comments on Human Visual Attention in High Dynamic Range Images
Zhou et al. Near-infrared image colorization with weighted UNet++ and auxiliary color enhancement Gan
CN117689656B (zh) 一种pc端图片管理方法及系统
CN116916089B (zh) 一种融合人声特征与人脸特征的智能视频剪辑方法
CN118093794B (zh) 一种新型的图形数据转换和可视化方法及系统
CN115474084B (zh) 一种视频封面图像的生成方法、装置、设备和存储介质
CN113329190B (zh) 一种动漫设计视频制作分析管理方法、设备、系统及计算机存储介质
CN114125414B (zh) 图像饱和度增强方法和编解码处理方法、装置及系统
Ying Perceptual quality prediction of social pictures, social videos, and telepresence videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination