CN110324613B - 一种面向视频传输质量的深度学习图像评价方法 - Google Patents

一种面向视频传输质量的深度学习图像评价方法 Download PDF

Info

Publication number
CN110324613B
CN110324613B CN201910693050.5A CN201910693050A CN110324613B CN 110324613 B CN110324613 B CN 110324613B CN 201910693050 A CN201910693050 A CN 201910693050A CN 110324613 B CN110324613 B CN 110324613B
Authority
CN
China
Prior art keywords
image
training
image block
target
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910693050.5A
Other languages
English (en)
Other versions
CN110324613A (zh
Inventor
刘桂雄
蒋晨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910693050.5A priority Critical patent/CN110324613B/zh
Publication of CN110324613A publication Critical patent/CN110324613A/zh
Application granted granted Critical
Publication of CN110324613B publication Critical patent/CN110324613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向视频传输质量的深度学习图像评价方法，该方法包括：构造用于评价图像质量的孪生神经网络来提取特征，并对于目标图像块特征图、参考图像块特征图进行特征融合，设计出图像质量评价分数计算方法与损失函数来更新网络参数；设置孪生神经网络训练超参数，包括学习率、学习衰减率、最大训练步数、学习率衰减步数、批训练量、训练图像尺寸、单张图像采样量、数据集(训练集、验证集、测试集)分配等；设计出目标图像与参考图像的图像区域分割与块选择方案。

Description

一种面向视频传输质量的深度学习图像评价方法
技术领域
本发明涉及图像质量评价领域，尤其涉及一种基于深度学习的图像质量评价方法。
背景技术
视频图像在传输过程中会因种种原因对最后的传输质量产生较大影响，所以对于图像传输质量的正确评价就显得很重要。现有的图像质量评价技术很多都是依赖人类视觉系统或自然图像统计的计算模型，甚至是人工评价。前者评价分数与人眼主观平均意见分数相关度有时相对较低，容易出现判断不一致的情况；而后者则效率很低，长时间工作容易出现疲劳误差，影响判断准确性，为此寻找一种能高效、准确、智能地评价视频图像传输质量的方法具有重要现实意义。
发明内容
为解决上述技术问题，本发明的目的是提供一种面向视频传输质量的深度学习图像评价方法。
本发明的目的通过以下的技术方案来实现：
一种面向视频传输质量的深度学习图像评价方法，包括：
A构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入尺寸分别为X×Y×3的目标图像块和参考图像块，输出特征图像，对特征图像进行特征融合，回归得到评价分数，根据损失函数及数据标签与评价分数，更新网络参数；
B设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、与数据集的设置；所述数据集包括训练集、验证集与测试集；
C目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像块与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；
D完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量。
与现有技术相比，本发明具有如下优点：
能高效、准确、智能地评价视频图像传输质量的方法具有重要现实意义。
附图说明
图1是面向视频传输质量的深度学习图像评价方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为面向视频传输质量的深度学习图像评价方法流程，包括以下步骤：
步骤10构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入分别为尺寸为X×Y×3的目标图像块和参考图像块，输出为特征图像，之后对特征图像进行特征融合，回归得到评价分数，根据损失函数和数据标签、评价分数，更新网络参数；
步骤20设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、数据集(训练集、验证集、测试集)设置等；
步骤30目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；
步骤40完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量；
上述步骤10具体包括：图像块尺寸为64×64×3，孪生神经网络由卷积层、池化层、特征融合、全连接层组成。卷积层采用激活函数为ReLu函数，卷积核大小均为3×3，每次卷积前对特征图像进行边界填充，第1个卷积层输出16张特征图像，每2次卷积输出特征图像进行1次池化、下次卷积输出数量乘2，总共进行12次卷积操作。池化层采用最大池化，池化核大小为2×2，步长为2×2。假设参考图像池化后特征图像为Ireference、目标图像池化后特征图像为Itarget，两者尺寸为1×1×512×Sample_num，将Ireference-Itarget得Idifference，对三者按第二维度进行数据合并得到尺寸为1×3×512×Sample_num的Ifeature，完成特征融合。全连接层包含两层，第一层输入为大小3×512×Sample_num，输出大小为512×Sample_num；第二层输入大小为512×Sample_num，输出大小为Sample_num。
上述步骤10具体包括：通过孪生神经网络生成目标图像块的质量分数q、权重w、偏置b，并对权重归一化得到w′：
Figure BDA0002148480620000031
计算偏置平均值得到b′：
Figure BDA0002148480620000032
由此计算出目标图像质量评价分数
Figure BDA0002148480620000033
为：
Figure BDA0002148480620000034
上述步骤10具体包括：数据集中目标图像质量标签为Q，单次训练包含Batch_size次图像质量评价，单次训练评价分数和标签向量分别
Figure BDA0002148480620000035
和Q，则其损失函数Loss为：
Figure BDA0002148480620000041
单次训练结束后根据损失函数，利用随机梯度下降算法更新孪生神经网络的参数。
上述步骤20具体包括：Learning_Rate设置为0.001，Decay_Step设置为1000步，Decay_Rate设置为0.9每Decay_Step，Max_Steps设置为200000步，Batch_Size设置为10，训练图像尺寸为512×384×3，由于图像块尺寸为64×64×3，故可分成8×6个小图像块，再按每行2个取一个，每列2个取1个方式，故Sample_num设置为4×3＝12块，训练集、验证集、测试集按照数据集60％，20％，20％比例随机抽取组成。
上述步骤30具体包括：每行、每列图像块数量m，n计算方法为：
Figure BDA0002148480620000042
其中div为相除取整，mod为相除取余。
用Pi,j表示第i行、第j列个图像块，Il:r,u:d,:表示图像Ireference或Itarget上第l行至第r行，第u列至第d列之间的区域，则Pi, j 为：
Figure BDA0002148480620000043
上述步骤30具体包括：根据m、n、km、kn，可以计算出Sample_num：
Sample_num＝(m divkm)×(n divkn)
选取的图像块为：
Pi,j if1≤i≤n,1≤j≤m,(i-1)modkn＝0,(j-1)modkm＝0。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (3)

1.一种面向视频传输质量的深度学习图像评价方法，其特征在于，所述方法包括：
A构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入尺寸分别为X×Y×3的目标图像块和参考图像块，输出特征图像，对特征图像进行特征融合，回归得到评价分数，根据损失函数及数据标签与评价分数，更新网络参数；所述X为图像块在宽度方向上的像素数、Y为图像块在高度方向上的像素数、3为图像块的颜色通道数；
B设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、与数据集的设置；所述数据集包括训练集、验证集与测试集；M为训练图像在宽度方向上的像素数、N为训练图像在高度方向上的像素数、3为训练图像的颜色通道数；
C目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像块与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；
D完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量；
所述步骤A中，目标图像块与参考图像块尺寸分别为64×64×3；所述孪生神经网络由卷积层、池化层、特征融合、全连接层组成；所述卷积层采用激活函数为ReLu函数，卷积核大小均为3×3；所述池化层采用最大池化，池化核大小为2×2；所述全连接层包含两层；
所述卷积层中每次卷积前对特征图像进行边界填充，第1个卷积层输出16张特征图像，每2次卷积输出特征图像进行1次池化，总共进行12次卷积操作；
所述池化层中假设参考图像池化后特征图像为Ireference、目标图像池化后特征图像为Itarget，将Ireference-Itarget得Idifference，对Ireference、Itarget和Idifference进行数据合并得到Ifeature，完成特征融合；
所述步骤C中，每行、每列图像块数量m，n计算方法为：
Figure FDA0003027047770000021
其中div为相除取整，mod为相除取余；
用Pi,j表示第i行、第j列个图像块，Il:r,u:d表示图像Ireference或Itarget上第l行至第r行，第u列至第d列之间的区域，则Pi,j为：
Figure FDA0003027047770000022
所述步骤B、C中，根据m、n、km、kn，可计算出Sample_num：
Sample_num＝(mdivkm)×(n divkn)
选取的图像块为：
Pi,j if1≤i≤n,1≤j≤m,(i-1)modkn＝0,(j-1)modkm＝0；
所述步骤A中，通过孪生神经网络生成第t个目标图像块的质量分数qt、权重wt、偏置bt，并对权重归一化得到wt′：
Figure FDA0003027047770000023
计算偏置平均值得到b′：
Figure FDA0003027047770000024
由此计算出目标图像质量评价分数
Figure FDA0003027047770000025
为：
Figure FDA0003027047770000026
w′为所有采样的目标图像块的归一化权重组成的向量，q为所有采样的目标图像块的质量分数组成的向量。
2.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤A中，数据集中目标图像质量标签为Q，单次训练包含Batch_size次图像质量评价，单次训练评价分数和标签向量分别
Figure FDA0003027047770000031
和Q，则其损失函数Loss为：
Figure FDA0003027047770000032
单次训练结束后根据损失函数，利用随机梯度下降算法更新孪生神经网络的参数。
3.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤B中，Learning_Rate设置为0.001，Decay_Step设置为1000步，Decay_Rate设置为0.9每Decay_Step，Max_Steps设置为200000步，Batch_Size设置为10，训练图像尺寸为512×384×3，由于图像块尺寸为64×64×3，故可分成8×6个小图像块，再按每行2个取一个，每列2个取1个方式，故Sample_num设置为4×3＝12块，训练集、验证集、测试集按照数据集60％，20％，20％比例随机抽取组成。
CN201910693050.5A 2019-07-30 2019-07-30 一种面向视频传输质量的深度学习图像评价方法 Active CN110324613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910693050.5A CN110324613B (zh) 2019-07-30 2019-07-30 一种面向视频传输质量的深度学习图像评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910693050.5A CN110324613B (zh) 2019-07-30 2019-07-30 一种面向视频传输质量的深度学习图像评价方法

Publications (2)

Publication Number Publication Date
CN110324613A CN110324613A (zh) 2019-10-11
CN110324613B true CN110324613B (zh) 2021-06-01

Family

ID=68124910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910693050.5A Active CN110324613B (zh) 2019-07-30 2019-07-30 一种面向视频传输质量的深度学习图像评价方法

Country Status (1)

Country Link
CN (1) CN110324613B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110913207B (zh) * 2019-12-03 2021-07-13 华南理工大学 一种基于多任务深度学习的视频传输质量评价方法
CN111325736B (zh) * 2020-02-27 2024-02-27 成都航空职业技术学院 一种基于人眼差分图像的视线角度估计方法
CN115100579B (zh) * 2022-08-09 2024-03-01 郑州大学 一种基于优化深度学习的管道中视频损害智能分割系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841410B (zh) * 2014-03-05 2016-05-04 北京邮电大学 基于图像特征信息的半参考视频QoE客观评估方法
CN105430383A (zh) * 2015-12-07 2016-03-23 广东电网有限责任公司珠海供电局 一种视频流媒体业务的体验质量评估方法
CN109754391B (zh) * 2018-12-18 2021-10-22 北京爱奇艺科技有限公司 一种图像质量评价方法、装置及电子设备
CN109859166B (zh) * 2018-12-26 2023-09-19 上海大学 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN110033446B (zh) * 2019-04-10 2022-12-06 西安电子科技大学 基于孪生网络的增强图像质量评价方法

Also Published As

Publication number Publication date
CN110324613A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
CN110324613B (zh) 一种面向视频传输质量的深度学习图像评价方法
CN108510485B (zh) 一种基于卷积神经网络的无参照图像质量评估方法
CN104102919B (zh) 一种有效防止卷积神经网络过拟合的图像分类方法
CN109308696B (zh) 基于层级特征融合网络的无参考图像质量评价方法
CN107679477A (zh) 基于空洞卷积神经网络的人脸深度和表面法向量预测方法
CN111860386B (zh) 一种基于ConvLSTM卷积神经网络的视频语义分割方法
CN109377452B (zh) 基于vae和生成式对抗网络的人脸图像修复方法
CN109583340A (zh) 一种基于深度学习的视频目标检测方法
CN108629291B (zh) 一种抗网格效应的人脸深度预测方法
CN106023154B (zh) 基于双通道卷积神经网络的多时相sar图像变化检测方法
CN111784602A (zh) 一种生成对抗网络用于图像修复的方法
CN110853110B (zh) 一种基于生成对抗网络的图片自动调色方法
CN109670574B (zh) 用于同时执行激活和卷积运算的方法和装置及其学习方法和学习装置
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN110991317B (zh) 一种基于多尺度透视感知型网络的人群计数方法
CN106709453A (zh) 一种基于深度学习的体育视频关键姿态提取方法
CN111523546A (zh) 图像语义分割方法、系统及计算机存储介质
CN113177937B (zh) 基于改进YOLOv4-tiny的布匹缺陷检测方法
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN112862689A (zh) 一种图像超分辨率重建方法及系统
CN110532914A (zh) 基于精细特征学习的建筑物检测方法
CN104036493A (zh) 一种基于多重分形谱的无参考图像质量评价方法
CN110175506A (zh) 基于并行降维卷积神经网络的行人重识别方法及装置
CN106204597A (zh) 一种基于自步式弱监督学习的视频物体分割方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20191011

Assignee: Guangdong Mingyang Electric Co.,Ltd.

Assignor: SOUTH CHINA University OF TECHNOLOGY

Contract record no.: X2023980047999

Denomination of invention: A Deep Learning Image Evaluation Method for Video Transmission Quality

Granted publication date: 20210601

License type: Common License

Record date: 20231123