CN112529866A - 一种基于深传输cnn结构的远程运维无参考视频质量评估方法 - Google Patents

一种基于深传输cnn结构的远程运维无参考视频质量评估方法 Download PDF

Info

Publication number
CN112529866A
CN112529866A CN202011425381.XA CN202011425381A CN112529866A CN 112529866 A CN112529866 A CN 112529866A CN 202011425381 A CN202011425381 A CN 202011425381A CN 112529866 A CN112529866 A CN 112529866A
Authority
CN
China
Prior art keywords
video
dimensional
image
network architecture
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011425381.XA
Other languages
English (en)
Inventor
冯涛
宫永立
丁显
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ducheng Weiye Group Co ltd
Luneng Group Co ltd
Original Assignee
Ducheng Weiye Group Co ltd
Luneng Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ducheng Weiye Group Co ltd, Luneng Group Co ltd filed Critical Ducheng Weiye Group Co ltd
Priority to CN202011425381.XA priority Critical patent/CN112529866A/zh
Publication of CN112529866A publication Critical patent/CN112529866A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于深传输CNN结构的远程运维无参考视频质量评估方法，包括以下步骤：1)基于二维图像VGG网络提取视频中各帧的图像特征；2)利用视频中的时域和立体空域，将视频中的八个连续帧的图像特征进行组合；3)构建三维网架构，将步骤2)得到的视频中八个连续帧的图像特征组合的结果输入三维网架构中，三维网架构根据视频中八个连续帧的图像特征组合的结果评估视频的质量，该方法不依赖原始信息实现无参考视频质量评估，灵活性及通用性较好。

Description

一种基于深传输CNN结构的远程运维无参考视频质量评估 方法
技术领域
本发明涉及一种无参考视频质量评估方法，具体涉及一种基于深传输CNN结构的远程运维无参考视频质量评估方法。
背景技术
在当前的互联网时代，随着计算机技术和网络通信技术的快速发展，各种类型的视频如风电场远程运维、光伏电站远程运维、医疗远程诊断、网络电视、视频会议、视频聊天和来自各种应用的短视频剪辑等出现。因此，基于这些应用的视频采集对于个人和企业来说已经变得不可或缺，以促进信息获取、日常通信，娱乐和工作。
视频采集和传输环境的固有特性导致了接收端视频的各种失真，如块效应、模糊、振铃效应、丢包及高斯噪声等。从而影响视频服务的质量。特别是，视频压缩服务寻求以最低的成本保留最多的信息。换句话说，应该尽可能少地占用视频存储空间，并且应该尽可能高地保持质量。为了进一步减少用户的失真体验，衡量视频采集的失真程度对于有效的视频质量评估非常重要。
视频质量评价方法可以分为主观评价方法和客观评价方法。主观评价方法指的是根据某些评价标准从选定的一组受试者中获得的视频质量分数。客观质量评价方法是通过一些评价模型获得视频质量分数。尽管主观视频质量评价更具说服力，但由于其在实际应用中繁琐、耗时且波动性大，因此不具有可操作性。
根据对原始视频信息的依赖程度，客观的视频质量评价方法可分为三种类型:完全参照法、部分参照法和无参照法。全参考方法基于像素域与原始无失真视频的差异来评估失真视频。部分参考方法的目的是提取原始视频的特定特征，以评估视频的失真版本的质量。然而，全参考和部分参考方法需要占用额外的带宽来传输原始视频的特征，这在实践中是不可行的。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于深传输CNN结构的远程运维无参考视频质量评估方法，该方法不依赖原始信息实现无参考视频质量评估，灵活性及通用性较好。通过该方法，主要目的是改善风电场远程运维图像传输的无参考视频质量评估。
为达到上述目的，本发明所述的基于深传输CNN结构的风电场远程运维、无参考视频质量评估方法包括以下步骤：
1)基于二维图像VGG网络提取视频中各帧的图像特征；
2)利用视频中的时域和立体空域，将视频中的八个连续帧的图像特征进行组合；
3)构建三维网架构，将步骤2)得到的视频中八个连续帧的图像特征组合的结果输入三维网架构中，三维网架构根据视频中八个连续帧的图像特征组合的结果评估视频的质量。
步骤1)中基于二维图像VGG网络提取视频中各帧的图像特征的过程中，采用二维图像VGG网络的前12层提取视频中各帧的图像特征，其中，所述前12层包括3个最大汇集层及9个卷积层，二维图像VGG网络中的权重参数从基于ImageNet数据集的VGG网迁移。
所述构建三维网架构包括三个卷积层、一个平均汇集层、一个平均池层、一个完全连接层及最后一层。
前两层卷积层使用填充为1的3×3×3内核，第三层卷积采用1×1×1核，三个卷积层的激活函数为：
Figure BDA0002824565560000031
其中，α为泄漏参数，当α等于0时，LReLU退化为ReLU激活函数；
平均池层将要素地图划分为2×2×2个面元，并计算每个面元的平均得分，特征图的大小由l×w×h表示，每个面元的大小为
Figure BDA0002824565560000032
在第(i，j，k)个面元中，第(i，j，k)个特征映射的平均得分pa(i,j,k|Θ)为：
Figure BDA0002824565560000033
其中，0≤i，j≤1，k≤1，n为面元中的像素数。
本发明具有以下有益效果：
本发明所述的基于深传输CNN结构的远程运维无参考视频质量评估方法在具体操作时，不针对特定的失真类型，基于二维图像VGG网络提取视频中各帧的图像特征，3D网架构直接从视频中学习时间及空间域特征，再通过3D网架构预测视频的质量分数，以实现不依赖原始信息的无参考视频质量评估，灵活性及通用性较好。
进一步，二维图像VGG网络中的权重参数从基于ImageNet数据集的VGG网迁移，解决了训练样本不足带来的模型拟合过度及难以收敛的问题。
进一步，采用基于面元的平均池层，以减少训练参数，不仅可以显著降低过拟合的风险，加快收敛速度，而且可以有效计算视频中的三维空间信息，大幅提高结果的鲁棒性及准确性。
附图说明
图1为本发明的结构图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
参考图1，本发明所述的基于深传输CNN结构的远程运维无参考视频质量评估方法包括以下步骤：
1)基于二维图像VGG网络提取视频中各帧的图像特征；
2)利用视频中的时域和立体空域，将视频中的八个连续帧的图像特征进行组合；
3)构建三维网架构，将步骤2)得到的视频中八个连续帧的图像特征组合的结果输入三维网架构中，三维网架构根据视频中八个连续帧的图像特征组合的结果评估视频的质量分数。
步骤1)中基于二维图像VGG网络提取视频中各帧的图像特征的过程中，采用二维图像VGG网络的前12层提取视频中各帧的图像特征，其中，所述前12层包括3个最大汇集层及9个卷积层，二维图像VGG网络中的权重参数从基于ImageNet数据集的VGG网迁移，然后在训练过程中固定，迁移学习使得12层不参与通过反向传播更新权重的微调。
所述构建三维网架构包括三个卷积层、一个平均汇集层、一个平均池层、一个完全连接层及最后一层，其中，前两层卷积层使用填充为1的3×3×3内核，第三层卷积采用1×1×1核，三个卷积层的激活函数为：
Figure BDA0002824565560000051
其中，α为泄漏参数，当α等于0时，LReLU退化为ReLU激活函数；
平均池层将要素地图划分为2×2×2个面元，并计算每个面元的平均得分，特征图的大小由l×w×h表示，每个面元的大小为
Figure BDA0002824565560000052
在第(i，j，k)个面元中，第(i，j，k)个特征映射的平均得分pa(i,j,k|Θ)为：
Figure BDA0002824565560000053
其中，0≤i，j≤1，k≤1，n为面元中的像素数。
为了进一步解决过拟合问题，采用全连接层，每次执行丢弃相当于以一定的概率从原始网络中随机选择一个较小的网络来更新参数，因此，dropout可以被视为几个小网络的综合培训，同时，参数占用的存储空间和训练时间没有增加。
最后一层作为3D网架构的第七层，在全连通层之后预测视频的质量分数，由于不同数据集中给出的差异平均意见得分(DMOS)的值范围不同，因此对其进行归一化，将其范围缩小到[0，1]的区间。因此，最后一层的激活函数采用sigmoid函数来预测归一化DMOS分数，即
Figure BDA0002824565560000054
其中，z7为由sigmoid激活函数处理前的最后一层的值。
三维网架构中涉及的损失函数遵循欧几里德损失函数，即
Figure BDA0002824565560000055
其中，N为样本数，Outputi表示第i个样本的分数，而yi为第i个样本所属视频的归一化地面真实分数。
采用皮尔逊线性相关系数(PLCC)和斯皮尔曼秩次相关系数(SROCC)两个指标验证本发明的有效性，皮尔逊线性相关系数为:
Figure BDA0002824565560000061
其中，n代表失真图像的数量，yi和
Figure BDA0002824565560000062
分别代表第i个图像的真实值及测试分数。
SROCC测量算法预测的单调性为：
Figure BDA0002824565560000063
其中，vi和pi分别表示实值和预测值序列中的和的排序位置。
表1为七种视频质量评价方法在实时数据库上的性能，表2为七种视频质量评价方法在CSIQ数据库上的性能。
表1
Figure BDA0002824565560000064
表2
Figure BDA0002824565560000065
Figure BDA0002824565560000071
从表1及表2可以看出，在LIVE和CSIQ数据库上七个算法的实验结果来看，本发明在PLCC和SROCC测量上获得了比其他两个无参考方法更好的结果。
最后需要说明的是，本发明有效地从VGG网络引入迁移学习策略，提取视频中每帧的高级特征，基于来自二维帧的特征的组合，三维网络架构被设计成通过利用视频内的空间和时间域的特征来有效地完成视频质量评估任务。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (5)

1.一种基于深传输CNN结构的远程运维无参考视频质量评估方法，其特征在于，包括以下步骤：
1)基于二维图像VGG网络提取视频中各帧的图像特征；
2)利用视频中的时域和立体空域，将视频中八个连续帧的图像特征进行组合；
3)构建三维网架构，将步骤2)得到的视频中八个连续帧的图像特征组合的结果输入三维网架构中，三维网架构根据视频中八个连续帧的图像特征组合的结果评估视频的质量。
2.根据权利要求1所述的基于深传输CNN结构的远程运维无参考视频质量评估方法，其特征在于，步骤1)中基于二维图像VGG网络提取视频中各帧的图像特征的过程中，采用二维图像VGG网络的前12层提取视频中各帧的图像特征，其中，所述前12层包括3个最大汇集层及9个卷积层，二维图像VGG网络中的权重参数从基于ImageNet数据集的VGG网迁移。
3.根据权利要求1所述的基于深传输CNN结构的远程运维无参考视频质量评估方法，其特征在于，所述构建三维网架构包括三个卷积层、一个平均汇集层、一个平均池层、一个完全连接层及最后一层。
4.根据权利要求1所述的基于深传输CNN结构的远程运维无参考视频质量评估方法，其特征在于，前两层卷积层使用填充为1的3×3×3内核，第三层卷积采用1×1×1核，三个卷积层的激活函数为：
Figure FDA0002824565550000011
其中，α为泄漏参数，当α等于0时，LReLU退化为ReLU激活函数。
5.根据权利要求1所述的基于深传输CNN结构的远程运维无参考视频质量评估方法，其特征在于，平均池层将要素地图划分为2×2×2个面元，并计算每个面元的平均得分，特征图的大小由l×w×h表示，每个面元的大小为
Figure FDA0002824565550000021
在第(i，j，k)个面元中，第(i，j，k)个特征映射的平均得分pa(i,j,k|Θ)为：
Figure FDA0002824565550000022
其中，0≤i，j≤1，k≤1，n为面元中的像素数。
CN202011425381.XA 2020-12-08 2020-12-08 一种基于深传输cnn结构的远程运维无参考视频质量评估方法 Pending CN112529866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011425381.XA CN112529866A (zh) 2020-12-08 2020-12-08 一种基于深传输cnn结构的远程运维无参考视频质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011425381.XA CN112529866A (zh) 2020-12-08 2020-12-08 一种基于深传输cnn结构的远程运维无参考视频质量评估方法

Publications (1)

Publication Number Publication Date
CN112529866A true CN112529866A (zh) 2021-03-19

Family

ID=74998340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011425381.XA Pending CN112529866A (zh) 2020-12-08 2020-12-08 一种基于深传输cnn结构的远程运维无参考视频质量评估方法

Country Status (1)

Country Link
CN (1) CN112529866A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517237A (zh) * 2019-08-20 2019-11-29 西安电子科技大学 基于膨胀三维卷积神经网络的无参考视频质量评价方法
CN110807769A (zh) * 2019-10-30 2020-02-18 腾讯科技（深圳）有限公司 图像显示控制方法及装置
CN110837842A (zh) * 2019-09-12 2020-02-25 腾讯科技（深圳）有限公司 一种视频质量评估的方法、模型训练的方法及装置
CN111182292A (zh) * 2020-01-05 2020-05-19 西安电子科技大学 无参考视频质量评估方法、系统、视频接收器、智能终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517237A (zh) * 2019-08-20 2019-11-29 西安电子科技大学 基于膨胀三维卷积神经网络的无参考视频质量评价方法
CN110837842A (zh) * 2019-09-12 2020-02-25 腾讯科技（深圳）有限公司 一种视频质量评估的方法、模型训练的方法及装置
CN110807769A (zh) * 2019-10-30 2020-02-18 腾讯科技（深圳）有限公司 图像显示控制方法及装置
CN111182292A (zh) * 2020-01-05 2020-05-19 西安电子科技大学 无参考视频质量评估方法、系统、视频接收器、智能终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUI HOU.ETC: ""No-reference video quality evaluation by a deep transfer CNN architecture"", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113313683A (zh) * 2021-05-28 2021-08-27 西安电子科技大学 基于元迁移学习的无参考视频质量评价方法

Similar Documents

Publication Publication Date Title
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN112085102B (zh) 基于三维时空特征分解的无参考视频质量评价方法
CN105208374B (zh) 一种基于深度学习的无参考图像质量客观评价方法
Yue et al. Effective and efficient blind quality evaluator for contrast distorted images
Liu et al. A high-definition diversity-scene database for image quality assessment
CN111260591B (zh) 一种基于注意力机制的图像自适应去噪方法
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN112634238B (zh) 一种基于注意力模块的图像质量评价方法
CN112767385B (zh) 基于显著性策略与特征融合无参考图像质量评价方法
CN113313683B (zh) 基于元迁移学习的无参考视频质量评价方法
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
Luo et al. Bi-GANs-ST for perceptual image super-resolution
CN114598864A (zh) 一种基于深度学习的全参考超高清视频质量客观评价方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
Zeng et al. Screen content video quality assessment model using hybrid spatiotemporal features
CN112529866A (zh) 一种基于深传输cnn结构的远程运维无参考视频质量评估方法
CN116309483A (zh) 基于ddpm的半监督变电设备表征缺陷检测方法及系统
CN111813996B (zh) 基于单帧和连续多帧抽样并行的视频搜索方法
CN114785978A (zh) 一种面向视频会议的视频图像质量确定方法
CN111127392A (zh) 一种基于对抗生成网络的无参考图像质量评价方法
CN115018723A (zh) 基于卷积神经网络且用于对模糊图像进行处理的方法
CN112767311A (zh) 一种基于卷积神经网络的无参考图像质量评价方法
CN113920394B (zh) 一种无参考图像质量评价方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210319