CN111818329B - 基于堆栈式自适应编码器的视频质量评价方法 - Google Patents

基于堆栈式自适应编码器的视频质量评价方法 Download PDF

Info

Publication number
CN111818329B
CN111818329B CN202010590770.1A CN202010590770A CN111818329B CN 111818329 B CN111818329 B CN 111818329B CN 202010590770 A CN202010590770 A CN 202010590770A CN 111818329 B CN111818329 B CN 111818329B
Authority
CN
China
Prior art keywords
video
apes
mapping
frame
deep
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010590770.1A
Other languages
English (en)
Other versions
CN111818329A (zh
Inventor
杨嘉琛
武建鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010590770.1A priority Critical patent/CN111818329B/zh
Publication of CN111818329A publication Critical patent/CN111818329A/zh
Application granted granted Critical
Publication of CN111818329B publication Critical patent/CN111818329B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于堆栈式自适应编码器的视频质量评价方法，包括下列步骤：给定要评价的视频序列，计算输入视频帧的映射结果；计算视频映射
Figure DDA0002555433010000012
的梯度幅值特征；从视频映射
Figure DDA0002555433010000011
中提取对比度特征MNC以及几何平均数特征GM，进行归一化；通过堆栈式自适应编码器APES获取深层特征，使用深度神经网络来训练APES；利用训练完成的APES模型得到测试集的深层特征；利用SVR分别计算深层特征Pf、PG、PM的分数，得到最终的预测分数。

Description

基于堆栈式自适应编码器的视频质量评价方法
技术领域
本发明属视频处理领域，涉及视频质量评价方法。
背景技术
随着互联网的飞速发展以及科学技术的日益提高，视频处理技术被广泛应用。然而日常生活中人们所接触到的视频，其在编码、传输等过程，会导致视频压缩失真，且加之物体运动、噪声污染等原因，都会不可避免地带来某些视频的降质，从而影响人类对视频序列的感知，因此进行视频质量评价就显得很重要。
根据降阶视频与其相对应原始参考视频的需要程度，可以把客观质量评价方法分为三类：全参考视频质量评价方法、部分参考视频质量评价方法和无参考视频质量评价方法。全参考视频评价方法必须完整提供原始参考视频和在终端屏幕上显示的降阶视频，而大多数情况下原始视频较难获取。部分参考视频评价方法是指在做视频评价的时候没有原始参考视频的完整像素信息，只由原始视频的特征数据表达信息，因此只能把待评估的视频加上同样的特征表达方式得到特征数据并将两者的特征数据进行对比来判断待测视频的质量。无参考方法不需要提供任何原始视频信息，所有的评价都是基于捕获的降阶视频来处理的。由于不需要参考视频，所以无参考模型更适合对视频质量做实时评估，如流媒体点播类的业务。以往的二维和三维图像质量评价多基于浅层结构，而视频与图像相比更为复杂，因此浅层架构的图像质量评价无法直接适用于视频质量评价。CN201610072995.1提出了一种基于图像结构和人眼视觉特性的全参考图像质量评价方法。CN201710481380.9考虑到传输的图像质量，同时把帧图像延时因素加入评价方法内容中，从而有利于对视频发送端采用的发送协议和发送策略做出全面的评价分析。CN201910290548.7公开一种基于深度学习的视频质量评价方法和服务器，可以实现快速准确的视频质量评价。总的来说，当前视频质量评价的方法还较少，鲁棒性不足，因此本发明提出一种使用堆栈式自适应编码器(APES)的视频质量评价方法。
发明内容
本发明的目的在于构建一种视频质量评价方法，首先计算视频帧的映射求和结果，接着对视频帧映射后的结果提取相关特征，然后用无监督的方式训练堆栈式自适应编码器(APES)，将测试集的特征输入到训练好的APES来计算它们的深层特征，之后通过支持向量回归器(SVR)进行加权求和得到最终的预测结果。技术方案如下：
一种基于堆栈式自适应编码器的视频质量评价方法，包括下列步骤：
第一步：给定要评价的视频序列，计算输入视频帧的映射结果：取输入视频的(2K+1)帧，求和结果的计算步骤如下列公式所示：
Figure GDA0002979300040000021
其中fi为第i帧，fj→i为第j帧到第i帧的映射，W为双线性插值函数，
Figure GDA0002979300040000022
为(2K+1)帧视频映射的结果，wj→i为求和系数，表示第j帧对于第i帧的重要程度；
第二步：计算视频映射
Figure GDA0002979300040000023
的梯度幅值特征，在像素点位置(x,y)的相对梯度方向值分别为FRD(x,y)和 FRM(x,y)：
Figure GDA0002979300040000024
Figure GDA0002979300040000025
其中
Figure GDA0002979300040000026
公式中Ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域，(p,q)代表该局部区域内部的像素点，P、 Q代表该区域的大小，Fv(x,y)，Fh(x，y)分别代表梯度的切向、径向分量，
Figure GDA0002979300040000027
均根据下列公式计算得出：
Figure GDA0002979300040000028
第三步：从视频映射
Figure GDA0002979300040000029
中提取对比度特征MNC以及几何平均数特征GM，对比度特征MNC被表示为 MI以及几何平均数特征GM被表示为GI，利用MI和GI的统计特性，进行归一化，如下列公式所示：
Figure GDA00029793000400000210
其中Ti,j是以(i,j)为中心的一个邻域，w(l,k)是权重系数，C为常数；NI代表对MI、GI求几何平均，
Figure GDA00029793000400000211
Figure GDA00029793000400000212
分别代表归一化后的对比度特征MNC以及几何平均数特征GM；
第四步：通过堆栈式自适应编码器APES获取深层特征，使用深度神经网络来训练APES，在训练阶段，选择适当的learning rate、epoch以及batch size，同时在训练时要根据训练结果调整策略，选择合适的隐藏层单元，通过迭代训练构建APES；利用训练完成的APES模型得到测试集的深层特征，分别记为梯度幅值特征Pf、几何平均数特征PG、归一化对比度PM；
第五步：利用SVR分别计算深层特征Pf、PG、PM的分数，记为Qf、QG、QM，最终的预测分数计算如下列公式所示：
Q(i)＝WfQf+WGQG+WMQM
其中Wf、WG、WM为权重系数，满足Wf+WG+WM＝1，Q(i)为最终得到的预测结果。
附图说明
图1本发明的方法流程图
图2 APES的迭代训练构建过程图
具体实施方式
本发明的目的在于构建一种视频质量评价方法。给定一个视频序列，首先计算视频帧的映射求和结果，接着利用相关的梯度幅值特征、归一化对比度特征以及几何平均数特征，然后用无监督的方式训练堆栈式自适应编码器(APES)，将测试集的特征输入到训练好的APES来计算它们的深层特征，之后通过支持向量回归器(SVR)进行加权求和得到最终的预测结果。具体实施方式如下：
第一步：给定要评价的视频序列，计算输入视频帧的映射结果。取输入视频的(2K+1)帧，求和结果的计算步骤如下列公式所示：
Figure GDA0002979300040000031
其中fi为第i帧，fj→i为第j帧到第i帧的映射，W为双线性插值函数，
Figure GDA0002979300040000032
为(2K+1)帧视频映射的结果，wj→i为求和系数，表示第j帧对于第i帧的重要程度。
第二步：计算视频映射
Figure GDA0002979300040000033
的梯度幅值特征，在像素点位置(x，y)的相对梯度方向值分别为FRD(x,y)和 FRM(x，y)：
Figure GDA0002979300040000034
Figure GDA0002979300040000035
其中
Figure GDA0002979300040000036
公式中Ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域，(p,q)代表该区域内部的像素点，P、Q 代表该区域的大小。Fv(x，y)，Fh(x，y)分别代表梯度的切向、径向分量。
Figure GDA0002979300040000037
均由公式(4) 计算得出。
第三步：从视频映射
Figure GDA0002979300040000041
中提取对比度特征(MNC)以及几何平均数特征(GM)，利用MNC(MI)以及GM(GI)的统计特性，并进行归一化，计算步骤如下列公式所示：
Figure 6
其中Ti,j是以(i,j)为中心的一个邻域，w(l,k)是权重系数，C为常数，用来保证稳定性。NI代表对MI、GI求几何平均，
Figure GDA0002979300040000043
分别代表归一化后的MNC(MI)以及GM(GI)特征。
第四步：通过堆栈式自适应编码器(APES)获取深层特征。本发明使用深度神经网络来训练APES，在训练阶段，要选择适当的learning rate、epoch以及batch size，同时在训练时要根据训练结果调整策略，选择合适的隐藏层单元，通过迭代训练构建APES。利用训练完成的APES模型得到测试集的深层特征，分别记为Pf(梯度幅值特征)、PG(几何平均数特征)、PM(对比度)。
第五步：利用SVR(Support Vactor Regression)分别计算深层特征Pf、PG、PM的分数，记为Qf、QG、QM，最终的预测分数计算如下列公式所示：
Q(i)＝WfQf+WGQG+WMQM
其中Wf、WG、WM为权重系数，满足Wf+WG+WM＝1，Q(i)为最终得到的预测结果。

Claims (1)

1.一种基于堆栈式自适应编码器的视频质量评价方法，包括下列步骤：
第一步：给定要评价的视频序列，计算输入视频帧的映射结果：取输入视频的(2K+1)帧，求和结果的计算步骤如下列公式所示：
Figure FDA0002979300030000011
其中fi为第i帧，fj→i为第j帧到第i帧的映射，W为双线性插值函数，
Figure FDA0002979300030000012
为(2K+1)帧视频映射的结果，wj→i为求和系数，表示第j帧对于第i帧的重要程度；
第二步：计算视频映射
Figure FDA0002979300030000013
的梯度幅值特征，在像素点位置(x，y)的相对梯度方向值分别为FRD(x,y)和FRM(x,y)：
Figure FDA0002979300030000014
Figure FDA0002979300030000015
其中
Figure FDA0002979300030000016
公式中Ω代表相对坐标变化量，定义为求取二阶偏导数的局部区域，(p,q)代表该局部区域内部的像素点，P、Q代表该区域的大小，Fv(x，y)，Fh(x,y)分别代表梯度的切向、径向分量，
Figure FDA0002979300030000017
均根据下列公式计算得出：
Figure FDA0002979300030000018
第三步：从视频映射
Figure FDA0002979300030000019
中提取对比度特征MNC以及几何平均数特征GM，对比度特征MNC被表示为MI以及几何平均数特征GM被表示为GI，利用MI和GI的统计特性，进行归一化，如下列公式所示：
Figure FDA00029793000300000110
其中Ti,j是以(i,j)为中心的一个邻域，w(l,k)是权重系数，C为常数；NI代表对MI、GI求几何平均，
Figure FDA00029793000300000111
Figure FDA00029793000300000112
分别代表归一化后的对比度特征MNC以及几何平均数特征GM；
第四步：通过堆栈式自适应编码器APES获取深层特征，使用深度神经网络来训练APES，在训练阶段，选择适当的learning rate、epoch以及batch size，同时在训练时要根据训练结果调整策略，选择合适的隐藏层单元，通过迭代训练构建APES；利用训练完成的APES模型得到测试集的深层特征，分别记为梯度幅值特征Pf、几何平均数特征PG、归一化对比度PM；
第五步：利用SVR分别计算深层特征Pf、PG、PM的分数，记为Qf、QG、QM，最终的预测分数计算如下列公式所示：
Q(i)＝WfQf+WGQG+WMQM
其中Wf、WG、WM为权重系数，满足Wf+WG+WM＝1，Q(i)为最终得到的预测结果。
CN202010590770.1A 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法 Active CN111818329B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010590770.1A CN111818329B (zh) 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010590770.1A CN111818329B (zh) 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法

Publications (2)

Publication Number Publication Date
CN111818329A CN111818329A (zh) 2020-10-23
CN111818329B true CN111818329B (zh) 2021-08-13

Family

ID=72855001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010590770.1A Active CN111818329B (zh) 2020-06-24 2020-06-24 基于堆栈式自适应编码器的视频质量评价方法

Country Status (1)

Country Link
CN (1) CN111818329B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111414749B (zh) * 2020-03-18 2022-06-21 哈尔滨理工大学 基于深度神经网络的社交文本依存句法分析系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828069A (zh) * 2016-04-06 2016-08-03 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
CN108470336A (zh) * 2018-03-29 2018-08-31 天津大学 基于堆栈式自动编码器的立体图像质量评价方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922411B2 (en) * 2015-11-30 2018-03-20 Disney Enterprises, Inc. Saliency-weighted video quality assessment
CN109429051B (zh) * 2017-07-12 2020-08-18 天津大学 基于多视图特征学习的无参考立体视频质量客观评价方法
EP3573338A1 (en) * 2018-05-25 2019-11-27 Carrier Corporation Video device and network quality evaluation/diagnostic tool
CN110401834B (zh) * 2019-08-06 2021-07-27 杭州微帧信息科技有限公司 一种基于深度学习的自适应视频编码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828069A (zh) * 2016-04-06 2016-08-03 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
CN108470336A (zh) * 2018-03-29 2018-08-31 天津大学 基于堆栈式自动编码器的立体图像质量评价方法

Also Published As

Publication number Publication date
CN111818329A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN112954312B (zh) 一种融合时空特征的无参考视频质量评估方法
CN112734646B (zh) 一种基于特征通道划分的图像超分辨率重建方法
Moorthy et al. Visual quality assessment algorithms: what does the future hold?
CN110751649B (zh) 视频质量评估方法、装置、电子设备及存储介质
Yu et al. Predicting the quality of compressed videos with pre-existing distortions
CN109872305B (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN106028026A (zh) 一种基于时空域结构的高效视频质量客观评价方法
CN110675321A (zh) 一种基于渐进式的深度残差网络的超分辨率图像重建方法
CN109429051B (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
CN109978854A (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN110458784A (zh) 一种基于图像感知质量的去压缩噪声方法
CN111818329B (zh) 基于堆栈式自适应编码器的视频质量评价方法
Chen et al. Gap-Closing Matters: Perceptual Quality Evaluation and Optimization of Low-Light Image Enhancement
CN117372301A (zh) 基于多模耦合技术的游戏图像处理方法
CN117593188A (zh) 一种基于无监督深度学习的超分辨率方法及相应设备
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
CN109886924A (zh) 基于cnn的屏幕失真图像无参考质量评价方法
CN113469998B (zh) 基于主观和客观特征融合的全参考图像质量评价方法
CN108416756B (zh) 一种基于机器学习的区域感知图像去噪方法
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
Zhang et al. A no-reference perceptual image quality assessment database for learned image codecs
CN113792673A (zh) 一种基于注意力机制的场景分类方法及装置
CN113128586A (zh) 基于多尺度机制和串联膨胀卷积遥感图像时空融合方法
CN112634278A (zh) 基于超像素的恰可察觉失真模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant