CN110599468A - 无参考视频质量评估方法及装置 - Google Patents

无参考视频质量评估方法及装置 Download PDF

Info

Publication number
CN110599468A
CN110599468A CN201910812284.7A CN201910812284A CN110599468A CN 110599468 A CN110599468 A CN 110599468A CN 201910812284 A CN201910812284 A CN 201910812284A CN 110599468 A CN110599468 A CN 110599468A
Authority
CN
China
Prior art keywords
pixel
neural network
image
video
video sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910812284.7A
Other languages
English (en)
Inventor
许延
吴英迪
杨波
桂丽
张秩惟
秦岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Information and Communications Technology CAICT
Original Assignee
China Academy of Information and Communications Technology CAICT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Information and Communications Technology CAICT filed Critical China Academy of Information and Communications Technology CAICT
Priority to CN201910812284.7A priority Critical patent/CN110599468A/zh
Publication of CN110599468A publication Critical patent/CN110599468A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种无参考视频质量评估方法及装置，该方法包括：获取待评估视频序列；提取待评估视频序列中每帧图像的像素特征；将每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的MOS分值；其中，所述神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。本申请可以提高无参考视频质量评估的准确度。

Description

无参考视频质量评估方法及装置
技术领域
本申请涉及多媒体通信技术领域，尤其涉及一种无参考视频质量评估方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
客观视频质量评估是多媒体通信研究领域的热点和难点之一。从视频内容生成到消费的过程中充满了各种各样的失真源，如模糊、噪声，以及在压缩、缩放、格式转换和颜色修改等过程中产生的瑕疵等，多种失真相互作用，使问题更加复杂。为了判断失真源对于视频的影响大小，需要对视频质量进行评估。
根据对原始参考视频的需求，可以将视频质量评估技术分为三大类：全参考、部分参考和无参考。全参考需要使用原始参考视频，部分参考需要使用原始参考视频的部分信息，而无参考不需要使用原始参考视频。一般来说，相较于全参考和部分参考视频质量评估，无参考视频质量评估更加困难。
无参考视频质量评估技术根据评估模型所需输入的数据类型的不同可以分为三类：一类是基于像素的特征统计数据来评估，成为无参考像素类型；一类是直接从编码的比特流计算，称为无参考比特流类型；还有一类是两者的结合。无参考像素模型是根据解码视频的像素值预测视频质量，它又分成两类：一类是测量单个或多个失真的模型，如测量模糊失真、块失真、响铃失真、噪声、时间相关损伤等模型，来估算特定的失真，这种方法缺乏普适性；另一类是基于自然场景统计特性(Natural Scene Statistics，NSS)来预测视频质量。基于NSS来预测视频质量的方法与具体的失真类型无关，因此具有较好的普适性。
目前，基于NSS来预测视频质量的方法，一般是从图片质量评估模型的基础上发展而来的，如利用支持向量机(Support Vector Machine，SVF)或随机森林(Random Forrest，RF)等方法对视频的各帧质量进行回归预测，得到相应的视频的质量分数。这些方法可以得到帧与帧之间的简单关系，但难以获取视频序列时间上的深层次关系，导致视频质量评估结果的准确度低。
发明内容
本申请实施例提供一种无参考视频质量评估方法，用以提高视频质量评估结果的准确度，该方法包括：
获取待评估视频序列；提取待评估视频序列中每帧图像的像素特征；将每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的MOS分值；其中，所述神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。
本申请实施例还提供一种无参考视频质量评估装置，用以提高视频质量评估结果的准确度，该装置包括：
获取模块，用于获取待评估视频序列；特征提取模块，用于提取获取模块获取的待评估视频序列中每帧图像的像素特征；评估模块，用于将特征提取模块提取的每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的平均主观意见分MOS分值；其中，所述神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。
本申请实施例中，将循环神经网络应用于无参考视频质量评估，利用循环神经网络的记忆性，可以将前面帧与当前帧之间的关系进行深度挖掘，从而更准确地评估视频质量；并且，对视频损伤类型不限定，具有普遍适用性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请实施例中一种无参考视频质量评估方法的流程图；
图2为本申请实施例中一种循环神经网络的结构示意图；
图3为本申请实施例中一种循环神经网络中GRU单元的结构示意图；
图4为本申请实施例中一种循环神经网络和全连接层的连接关系的示意图；
图5为本申请实施例中一种神经网络模型各层的配置示意图；
图6为本申请实施例中一种无参考视频质量评估装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本申请实施例做进一步详细说明。在此，本申请的示意性实施例及其说明用于解释本申请，但并不作为对本申请的限定。
本申请提供一种无参考视频质量评估方法，可以对本地视频或经过网络传输的视频进行质量评估。该方法不需要原始参考视频，通过分析呈现给用户的视频的像素得到视频质量的评估结果。同时，本申请采用深度学习的方法获取视频序列深层次的特性，从而提高视频质量评估的准确度。
如图1所示，该方法包括步骤101至步骤103：
步骤101、获取待评估视频序列。
步骤102、提取待评估视频序列中每帧图像的像素特征。
在本申请实施例中，像素特征的提取采用了基于自然场景统计特性(NSS)的方法。自然图像的像素分布不同于失真图像。当对像素的图像强度进行归一化并计算这些归一化强度上的分布时，这种分布上的差异会更加明显。特别是自然图像归一化后的像素的图像强度服从高斯分布，而非自然图像或失真图像的像素的图像强度不服从高斯分布，因此，图像强度的分布与理想高斯分布的偏差可以作为衡量图像失真程度的一个指标，本申请实施例则基于此提取每帧图像的像素特征。
每帧图像的像素特征按照如下方法进行提取：
步骤1021、将待评估视频序列中每帧图像中的像素的图像强度进行归一化，得到均值减损对比归一化(Mean Subtracted Contrast Normalization，MSCN)系数。
具体的，根据计算MSCN系数。其中，(i,j)用于表示像素点，i∈1,2,...,M，j∈1,2,...,N，M和N分别表示图像的长和宽，μ(i,j)用于表示局部均值，σ(i,j)用于表示局部方差，C＝1，设置C为了避免当分母趋近于0时造成不稳定的情况。
步骤1022、根据MSCN系数确定像素与相邻像素之间的关联关系。
由于自然图像和失真图像的区别不仅限于像素的图像强度分布，还包括像素与相邻像素之间的关系，因此，在本申请实施例中，通过MSCN系数在四个方向上的对偶积来反映像素与其相邻的四个方向上的像素之间的关联关系，其中，四个方向为水平、垂直、左对角和右对角。具体的，MSCN系数在四个方向上的对偶积根据如下方法进行计算：
根据计算像素(i,j)与水平方向相邻像素的关联关系H(i,j)。
根据计算像素(i,j)与垂直方向相邻像素的关联关系V(i,j)。
根据计算像素(i,j)与左对角方向相邻像素的关联关系D1(i,j)。
根据计算像素(i,j)与右对角方向相邻像素的关联关系D2(i,j)。
步骤1023、根据像素与相邻像素之间的关联关系提取每帧图像在至少两个图像尺度下的像素特征。
其中，像素特征包括形状、方差和均值。
至少两个图像尺度可以为原始图像尺寸和1/2倍原始图像尺寸。一般情况下，使用的图像尺度不超过原始图像尺寸，除上述提到的两个图像尺度外，还可以采用诸如1/4倍、1/8倍等图像尺度。另外，采用的图像尺寸的数量也可以为多个，如3个或4个等。
每个图像尺度获取18个像素特征。该18个像素特征及其计算方法如下所示：
像素特征1和2为利用MSCN系数拟合广义高斯分布(Generalized GaussianDistribution,GGD)得到的形状和方差；
像素特征3至6分别为利用对偶积H(i,j)拟合非对称广义高斯分布(AsymmetricGeneralizd Gaussian Distribution,AGGD)得到的形状、均值、左方差和右方差；
像素特征7至10分别为利用对偶积V(i,j)拟合AGGD得到的形状、均值、左方差和右方差；
像素特征11至14分别为利用对偶积D1(i,j)拟合AGGD得到的形状、均值、左方差和右方差；
像素特征15至18分别为利用对偶积D2(i,j)拟合AGGD得到的形状、均值、左方差和右方差。
需要说明的是，除利用基于NSS的方法提取像素特征之外，还可以采用多种方法提取像素特征，例如利用卷积提取像素特征，或利用小波变换的方法提取像素特征，这些方法的具体实现方式是现有技术已提供的，在此不再赘述。
此外，如果视频图像序列中的图像帧数较多时，逐一提取每帧图像的像素特征将占用较多的计算资源，且提取图像像素特征的过程会耗费大量的时间，为了节省计算资源以及减少提取像素特征时所需的时间，在本申请实施例中，还可以隔帧提取像素特征，比如，可以间隔一帧图像提取像素特征，或者间隔两帧提取像素特征等。
步骤103、将每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的平均主观意见分(Mean Opinion Score，MOS)分值。
视频质量评估结果以MOS分值来表示，MOS分值包括1～5这5个分值，其中，1分最差，5分最好。
其中，神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。循环神经网络与至少一层全连接层连接，且循环神经网络的输出作为全连接层的输入。
循环神经网络的结构如图2所示，其中，A所在位置采用门控循环单元(GatedRecurrent Unit，GRU)单元，输出维度为64。GRU单元的单元结构如图3所示。GRU单元是一种特殊的长短期记忆网络(Long Short Term Memory，LSTM)网络，应用在视频质量评估中，可以获得较优的评估性能。
在循环神经网络中，每个向量xt通过GRU单元连接到一个隐藏态ht。zt和rt分别为更新门和重置门的输出向量。隐藏态ht的计算方法如下所示：
zt＝σ(Wz·[ht-1,xt])
rt＝σ(Wr·[ht-1,xt])
其中，Wz、Wr和W用于表示权重。
当重置门接近于0时，隐藏态忽略之前的隐藏态，仅使用当前输入进行复位；更新门控制从以前的隐藏态转移到当前隐藏态的信息的数量。
在本申请实施例中，采用三个全连接层，该三个全连接层的信息如下表一所示；
表一
全连接层1 包含16个节点，输入为64维向量
全连接层2 包含8个节点，输入为16维向量
全连接层3 包含1个节点，输入为8维向量
循环神经网络和全连接层的连接关系如图4所示，每帧图像的像素特征作为循环神经网络的输入，循环神经网络的输出作为全连接层1的输入，全连接层1的输出作为全连接层2的输入，全连接层2的输出作为全连接层3的输入，全连接层3输出视频MOS分值。
在本申请实施例中，神经网络模型通过如下方法进行训练：获取视频数据集，视频数据集包括受到真实损伤的视频序列，每个受到真实损伤的视频序列中包含对应的MOS分值。将视频数据集中视频序列划分为测试集与验证集，利用测试集与验证集训练循环神经网络与全连接层，确定循环神经网络和全连接层中参数。这样，就得到训练好的神经网络模型。
下面将举出具体示例来介绍本申请中的无参考视频质量评估方法。
数据集获取过程：获取包含1200个包含真实损伤的视频序列，该视频序列中不包含人工模拟损伤。每个视频序列中还包含有该视频序列的MOS分值数据。
训练过程：将将视频数据集分成5份，4份作为训练集，1份作为验证集，重复10次这样的交叉验证过程。训练epoch为400。
训练参数：采用均方误差作为损失函数，采用Nadam优化算法进行优化，Nadam参数设置如下：学习速率＝0.002,β1＝0.9,β2＝0.999,ε＝＝1.0e-7。
评估过程：用训练得到的神经网络模型及其参数对输入的待评估视频序列进行质量评估，可得到该视频的MOS分值。
在上述过程中，采用的神经网络模型各层的配置如图5所示。参照图5，假设一个视频序列由X帧组成，每帧提取的特征值为Y，则GRU单元的输入张量形状为(None，X，Y)，GRU输出向量为64维，激活函数采用tanh；FC1有16个节点，激活函数采用relu；FC2有8个节点，激活函数采用sigmoid；FC3有1个节点，激活函数采用sigmoid。
需要说明的是，图5中，FC用于表示全连接层。
本申请实施例中，将循环神经网络应用于无参考视频质量评估，利用循环神经网络的记忆性，可以将前面帧与当前帧之间的关系进行深度挖掘，从而更准确地评估视频质量；并且，对视频损伤类型不限定，具有普遍适用性。
本申请实施例提供一种无参考视频质量评估装置，如图6所示，该装置600包括获取模块601、特征提取模块602和评估模块603。
其中，获取模块601，用于获取待评估视频序列。
特征提取模块602，用于提取获取模块601获取的待评估视频序列中每帧图像的像素特征。
评估模块603，用于将特征提取模块602提取的每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的平均主观意见分MOS分值。
其中，神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。
在本申请实施例的一种实现方式中，循环神经网络与至少一层全连接层连接，且循环神经网络的输出作为全连接层的输入。装置600还包括，模型训练模块604，用于：
获取视频数据集，视频数据集包括受到真实损伤的视频序列，每个受到真实损伤的视频序列中包含对应的MOS分值；
将视频数据集中视频序列划分为测试集与验证集，利用测试集与验证集训练循环神经网络与全连接层，确定循环神经网络和全连接层中参数。
在本申请实施例的一种实现方式中，特征提取模块602，用于：
将待评估视频序列中每帧图像中的像素的图像强度进行归一化，得到均值减损对比归一化MSCN系数；
根据MSCN系数确定像素与相邻像素之间的关联关系；
根据像素与相邻像素之间的关联关系提取每帧图像在至少两个图像尺度下的像素特征，像素特征包括形状、方差和均值。
在本申请实施例的一种实现方式中，特征提取模块602，用于：
根据计算MSCN系数；
其中，(i,j)用于表示像素点，i∈1,2,...,M，j∈1,2,...,N，M和N分别表示图像的长和宽，μ(i,j)用于表示局部均值，σ(i,j)用于表示局部方差，C＝1。
特征提取模块602，用于：
根据计算像素(i,j)与水平方向相邻像素的关联关系H(i,j)；
根据计算像素(i,j)与垂直方向相邻像素的关联关系V(i,j)；
根据计算像素(i,j)与左对角方向相邻像素的关联关系D1(i,j)；
根据计算像素(i,j)与右对角方向相邻像素的关联关系D2(i,j)。
本申请实施例中，将循环神经网络应用于无参考视频质量评估，利用循环神经网络的记忆性，可以将前面帧与当前帧之间的关系进行深度挖掘，从而更准确地评估视频质量；并且，对视频损伤类型不限定，具有普遍适用性。
本申请实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现步骤101至步骤103所述的方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有执行步骤101至步骤103所述方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种无参考视频质量评估方法，其特征在于，所述方法包括：
获取待评估视频序列；
提取待评估视频序列中每帧图像的像素特征；
将每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的平均主观意见分MOS分值；
其中，所述神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。
2.根据权利要求1所述的方法，其特征在于，所述循环神经网络与至少一层全连接层连接，且循环神经网络的输出作为全连接层的输入，神经网络模型通过如下方法进行训练：
获取视频数据集，所述视频数据集包括受到真实损伤的视频序列，每个受到真实损伤的视频序列中包含对应的MOS分值；
将视频数据集中视频序列划分为测试集与验证集，利用测试集与验证集训练循环神经网络与全连接层，确定循环神经网络和全连接层中参数。
3.根据权利要求1所述的方法，其特征在于，每帧图像的像素特征按照如下方法进行提取：
将待评估视频序列中每帧图像中的像素的图像强度进行归一化，得到均值减损对比归一化MSCN系数；
根据MSCN系数确定像素与相邻像素之间的关联关系；
根据像素与相邻像素之间的关联关系提取每帧图像在至少两个图像尺度下的像素特征，所述像素特征包括形状、方差和均值。
4.根据权利要求3所述的方法，其特征在于，所述将待评估视频序列中每帧图像中的像素的图像强度进行归一化，得到MSCN系数，包括：
根据计算MSCN系数；
其中，(i,j)用于表示像素点，i∈1,2,...,M，j∈1,2,...,N，M和N分别表示图像的长和宽，μ(i,j)用于表示局部均值，σ(i,j)用于表示局部方差，C＝1。
5.根据权利要求4所述的方法，其特征在于，所述根据MSCN系数确定像素与相邻像素之间的关联关系，包括：
根据计算像素(i,j)与水平方向相邻像素的关联关系H(i,j)；
根据计算像素(i,j)与垂直方向相邻像素的关联关系V(i,j)；
根据计算像素(i,j)与左对角方向相邻像素的关联关系D1(i,j)；
根据计算像素(i,j)与右对角方向相邻像素的关联关系D2(i,j)。
6.一种无参考视频质量评估装置，其特征在于，所述装置包括：
获取模块，用于获取待评估视频序列；
特征提取模块，用于提取获取模块获取的待评估视频序列中每帧图像的像素特征；
评估模块，用于将特征提取模块提取的每帧图像的像素特征输入训练好的神经网络模型进行视频质量评估，得到待评估视频序列的平均主观意见分MOS分值；
其中，所述神经网络模型由循环神经网络和与循环神经网络连接的全连接层组成。
7.根据权利要求6所述的装置，其特征在于，所述循环神经网络与至少一层全连接层连接，且循环神经网络的输出作为全连接层的输入，所述装置还包括，模型训练模块，用于：
获取视频数据集，所述视频数据集包括受到真实损伤的视频序列，每个受到真实损伤的视频序列中包含对应的MOS分值；
将视频数据集中视频序列划分为测试集与验证集，利用测试集与验证集训练循环神经网络与全连接层，确定循环神经网络和全连接层中参数。
8.根据权利要求6所述的装置，其特征在于，所述特征提取模块，用于：
将待评估视频序列中每帧图像中的像素的图像强度进行归一化，得到均值减损对比归一化MSCN系数；
根据MSCN系数确定像素与相邻像素之间的关联关系；
根据像素与相邻像素之间的关联关系提取每帧图像在至少两个图像尺度下的像素特征，所述像素特征包括形状、方差和均值。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。
CN201910812284.7A 2019-08-30 2019-08-30 无参考视频质量评估方法及装置 Pending CN110599468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910812284.7A CN110599468A (zh) 2019-08-30 2019-08-30 无参考视频质量评估方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910812284.7A CN110599468A (zh) 2019-08-30 2019-08-30 无参考视频质量评估方法及装置

Publications (1)

Publication Number Publication Date
CN110599468A true CN110599468A (zh) 2019-12-20

Family

ID=68856440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910812284.7A Pending CN110599468A (zh) 2019-08-30 2019-08-30 无参考视频质量评估方法及装置

Country Status (1)

Country Link
CN (1) CN110599468A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669270A (zh) * 2020-12-21 2021-04-16 北京金山云网络技术有限公司 视频质量的预测方法、装置及服务器
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法
CN113473117A (zh) * 2021-07-19 2021-10-01 上海交通大学 一种基于门控循环神经网络的无参考音视频质量评价方法
CN113489971A (zh) * 2021-07-19 2021-10-08 上海交通大学 一种全参考音视频客观质量评价方法、系统及终端
CN114697648A (zh) * 2022-04-25 2022-07-01 上海为旌科技有限公司 变帧率视频无参考评估方法、系统、电子设备及存储介质
CN115209134A (zh) * 2022-07-21 2022-10-18 北京思路智园科技有限公司 基于视频的健康度监测方法及系统
WO2023163494A1 (ko) * 2022-02-23 2023-08-31 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742353A (zh) * 2008-11-04 2010-06-16 工业和信息化部电信传输研究所 无参考视频质量评价方法
CN103841410A (zh) * 2014-03-05 2014-06-04 北京邮电大学 基于图像特征信息的半参考视频QoE客观评估方法
US9706111B2 (en) * 2015-07-08 2017-07-11 Santa Clara No-reference image and video quality evaluation
CN107396095A (zh) * 2017-08-28 2017-11-24 方玉明 一种无参考三维图像质量评价方法
CN108051035A (zh) * 2017-10-24 2018-05-18 清华大学 基于门控循环单元的神经网络模型的管网漏损识别方法
CN108629771A (zh) * 2018-05-08 2018-10-09 重庆瑞景信息科技有限公司 一种具有尺度鲁棒性的图像质量盲评价方法
CN109257591A (zh) * 2017-07-12 2019-01-22 天津大学 基于稀疏表示的无参考立体视频质量客观评价方法
US20190258902A1 (en) * 2018-02-16 2019-08-22 Spirent Communications, Inc. Training A Non-Reference Video Scoring System With Full Reference Video Scores

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742353A (zh) * 2008-11-04 2010-06-16 工业和信息化部电信传输研究所 无参考视频质量评价方法
CN103841410A (zh) * 2014-03-05 2014-06-04 北京邮电大学 基于图像特征信息的半参考视频QoE客观评估方法
US9706111B2 (en) * 2015-07-08 2017-07-11 Santa Clara No-reference image and video quality evaluation
CN109257591A (zh) * 2017-07-12 2019-01-22 天津大学 基于稀疏表示的无参考立体视频质量客观评价方法
CN107396095A (zh) * 2017-08-28 2017-11-24 方玉明 一种无参考三维图像质量评价方法
CN108051035A (zh) * 2017-10-24 2018-05-18 清华大学 基于门控循环单元的神经网络模型的管网漏损识别方法
US20190258902A1 (en) * 2018-02-16 2019-08-22 Spirent Communications, Inc. Training A Non-Reference Video Scoring System With Full Reference Video Scores
CN108629771A (zh) * 2018-05-08 2018-10-09 重庆瑞景信息科技有限公司 一种具有尺度鲁棒性的图像质量盲评价方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DOMONKOS VARGA 等: "No-reference video quality assessment via pretrained CNN and LSTM", 《SIGNAL, IMAGE AND VIDEO PROCESSING》 *
MARCOS JUAYEK 等: "An Artificial Neural Network approach for No-Reference High Definition Video quality assessment", 《2016 IEEE INTERNATIONAL SYMPOSIUM ON BROADBAND MULTIMEDIA SYSTEMS AND BROADCASTING (BMSB)》 *
张兆林 等: "基于线性回归分析的视频质量评估方法", 《西北工业大学学报》 *
韩昭蓉 等: "基于Bi-LSTM模型的轨迹异常点检测算法", 《雷达学报》 *
黄丽明 等: "基于循环神经网络和深度学习的股票预测方法", 《广西师范大学学报(自然科学版)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669270A (zh) * 2020-12-21 2021-04-16 北京金山云网络技术有限公司 视频质量的预测方法、装置及服务器
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法
CN113473117A (zh) * 2021-07-19 2021-10-01 上海交通大学 一种基于门控循环神经网络的无参考音视频质量评价方法
CN113489971A (zh) * 2021-07-19 2021-10-08 上海交通大学 一种全参考音视频客观质量评价方法、系统及终端
CN113489971B (zh) * 2021-07-19 2022-08-23 上海交通大学 一种全参考音视频客观质量评价方法、系统及终端
CN113473117B (zh) * 2021-07-19 2022-09-02 上海交通大学 一种基于门控循环神经网络的无参考音视频质量评价方法
WO2023163494A1 (ko) * 2022-02-23 2023-08-31 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114697648A (zh) * 2022-04-25 2022-07-01 上海为旌科技有限公司 变帧率视频无参考评估方法、系统、电子设备及存储介质
CN114697648B (zh) * 2022-04-25 2023-12-08 上海为旌科技有限公司 变帧率视频无参考评估方法、系统、电子设备及存储介质
CN115209134A (zh) * 2022-07-21 2022-10-18 北京思路智园科技有限公司 基于视频的健康度监测方法及系统
CN115209134B (zh) * 2022-07-21 2023-11-10 北京思路智园科技有限公司 基于视频的健康度监测方法及系统

Similar Documents

Publication Publication Date Title
CN110599468A (zh) 无参考视频质量评估方法及装置
CN112419184B (zh) 一种综合局部信息和全局信息的空间注意力图像去噪方法
US8908989B2 (en) Recursive conditional means image denoising
CN108074239B (zh) 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN112381897B (zh) 基于自编码网络结构的低照度图像增强方法
CN112837234B (zh) 一种基于多列门控卷积网络的人脸图像修复方法
Lin et al. Msaff-net: Multiscale attention feature fusion networks for single image dehazing and beyond
CN111192226B (zh) 一种图像融合去噪方法及装置、系统
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及系统
CN106169174B (zh) 一种图像放大方法
CN111340716A (zh) 一种改进双重判别对抗网络模型的图像去模糊方法
US11526963B2 (en) Image processing apparatus, image processing method, and storage medium
CN109325435B (zh) 基于级联神经网络的视频动作识别及定位方法
CN112446869A (zh) 基于深度学习的无监督工业品缺陷检测方法及装置
CN112991199A (zh) 一种基于残差密集网络的图像高低频分解噪声去除方法
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN116109558A (zh) 基于颈部半透明厚度测量值筛查胎儿染色体异常的方法
CN111985381A (zh) 一种基于伸缩卷积神经网络的引导区域密集人群计数方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Krishnan et al. A novel underwater image enhancement technique using ResNet
CN115170548A (zh) 基于无监督学习的皮革缺陷自动检测方法及装置
CN114549302A (zh) 一种图像超分辨率重建方法及系统
JP2023003763A (ja) 学習装置、画像処理装置、学習処理方法、及びプログラム
CN111402173A (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
Awati et al. Digital image inpainting using modified kriging algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220