CN110324613A - 一种面向视频传输质量的深度学习图像评价方法 - Google Patents
一种面向视频传输质量的深度学习图像评价方法 Download PDFInfo
- Publication number
- CN110324613A CN110324613A CN201910693050.5A CN201910693050A CN110324613A CN 110324613 A CN110324613 A CN 110324613A CN 201910693050 A CN201910693050 A CN 201910693050A CN 110324613 A CN110324613 A CN 110324613A
- Authority
- CN
- China
- Prior art keywords
- image
- size
- training
- num
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 30
- 230000005540 biological transmission Effects 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 238000013441 quality evaluation Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 7
- 230000001537 neural effect Effects 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims abstract description 6
- 238000005070 sampling Methods 0.000 claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 230000004913 activation Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract 1
- 230000011218 segmentation Effects 0.000 abstract 1
- 230000008901 benefit Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种面向视频传输质量的深度学习图像评价方法，该方法包括：构造用于评价图像质量的孪生神经网络来提取特征，并对于目标图像块特征图、参考图像块特征图进行特征融合，设计出图像质量评价分数计算方法与损失函数来更新网络参数；设置孪生神经网络训练超参数，包括学习率、学习衰减率、最大训练步数、学习率衰减步数、批训练量、训练图像尺寸、单张图像采样量、数据集(训练集、验证集、测试集)分配等；设计出目标图像与参考图像的图像区域分割与块选择方案。
Description
技术领域
本发明涉及图像质量评价领域，尤其涉及一种基于深度学习的图像质量评价方法。
背景技术
视频图像在传输过程中会因种种原因对最后的传输质量产生较大影响，所以对于图像传输质量的正确评价就显得很重要。现有的图像质量评价技术很多都是依赖人类视觉系统或自然图像统计的计算模型，甚至是人工评价。前者评价分数与人眼主观平均意见分数相关度有时相对较低，容易出现判断不一致的情况；而后者则效率很低，长时间工作容易出现疲劳误差，影响判断准确性，为此寻找一种能高效、准确、智能地评价视频图像传输质量的方法具有重要现实意义。
发明内容
为解决上述技术问题，本发明的目的是提供一种面向视频传输质量的深度学习图像评价方法。
本发明的目的通过以下的技术方案来实现：
一种面向视频传输质量的深度学习图像评价方法，包括：
A构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入尺寸分别为X×Y×3的目标图像块和参考图像块，输出特征图像，对特征图像进行特征融合，回归得到评价分数，根据损失函数及数据标签与评价分数，更新网络参数；
B设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、与数据集的设置；所述数据集包括训练集、验证集与测试集；
C目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像块与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；
D完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量。
与现有技术相比，本发明具有如下优点：
能高效、准确、智能地评价视频图像传输质量的方法具有重要现实意义。
附图说明
图1是面向视频传输质量的深度学习图像评价方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，为面向视频传输质量的深度学习图像评价方法流程，包括以下步骤：
步骤10构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入分别为尺寸为X×Y×3的目标图像块和参考图像块，输出为特征图像，之后对特征图像进行特征融合，回归得到评价分数，根据损失函数和数据标签、评价分数，更新网络参数；
步骤20设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、数据集(训练集、验证集、测试集)设置等；
步骤30目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；
步骤40完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量；
上述步骤10具体包括：图像块尺寸为64×64×3，孪生神经网络由卷积层、池化层、特征融合、全连接层组成。卷积层采用激活函数为ReLu函数，卷积核大小均为3×3，每次卷积前对特征图像进行边界填充，第1个卷积层输出16张特征图像，每2次卷积输出特征图像进行1次池化、下次卷积输出数量乘2，总共进行12次卷积操作。池化层采用最大池化，池化核大小为2×2，步长为2×2。假设参考图像池化后特征图像为Ireference、目标图像池化后特征图像为Itarget，两者尺寸为1×1×512×Sample_num，将Ireference-Itarget得Idifference，对三者按第二维度进行数据合并得到尺寸为1×3×512×Sample_num的Ifeature，完成特征融合。全连接层包含两层，第一层输入为大小3×512×Sample_num，输出大小为512×Sample_num；第二层输入大小为512×Sample_num，输出大小为Sample_num。
上述步骤10具体包括：通过孪生神经网络生成目标图像块的质量分数q、权重w、偏置b，并对权重归一化得到w′：
计算偏置平均值得到b′：
由此计算出目标图像质量评价分数为：
上述步骤10具体包括：数据集中目标图像质量标签为Q，单次训练包含Batch_size次图像质量评价，单次训练评价分数和标签向量分别和Q，则其损失函数Loss为：
单次训练结束后根据损失函数，利用随机梯度下降算法更新孪生神经网络的参数。
上述步骤20具体包括：Learning_Rate设置为0.001，Decay_Step设置为1000步，Decay_Rate设置为0.9每Decay_Step，Max_Steps设置为200000步，Batch_Size设置为10，训练图像尺寸为512×384×3，由于图像块尺寸为64×64×3，故可分成8×6个小图像块，再按每行2个取一个，每列2个取1个方式，故Sample_num设置为4×3＝12块，训练集、验证集、测试集按照数据集60％，20％，20％比例随机抽取组成。
上述步骤30具体包括：每行、每列图像块数量m，n计算方法为：
其中div为相除取整，mod为相除取余。
用Pi,j表示第i行、第j列个图像块，Il:r,u:d,:表示图像Ireference或Itarget上第l行至第r行，第u列至第d列之间的区域，则Pi, j 为：
上述步骤30具体包括：根据m、n、km、kn，可以计算出Sample_num：
Sample_num＝(m divkm)×(n divkn)
选取的图像块为：
Pi,j if1≤i≤n,1≤j≤m,(i-1)modkn＝0,(j-1)modkm＝0。
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。
Claims (8)
1.一种面向视频传输质量的深度学习图像评价方法，其特征在于，所述方法包括：
A构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入尺寸分别为X×Y×3的目标图像块和参考图像块，输出特征图像，对特征图像进行特征融合，回归得到评价分数，根据损失函数及数据标签与评价分数，更新网络参数；
B设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、与数据集的设置；所述数据集包括训练集、验证集与测试集；
C目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像块与参考图像块，并按照横向每km个图像块取1个、纵向每kn个图像块取1个的方式对目标图像与参考图像降采样；
D完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量。
2.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤A中，目标图像块与参考图像块尺寸分别为64×64×3；所述孪生神经网络由卷积层、池化层、特征融合、全连接层组成；所述卷积层采用激活函数为ReLu函数，卷积核大小均为3×3；所述池化层采用最大池化，池化核大小为2×2，步长为2×2；所述全连接层包含两层，第一层输入为大小3×512×Sample_num，输出大小为512×Sample_num；第二层输入大小为512×Sample_num，输出大小为Sample_num。
3.如权利要求2所述的面向视频传输质量的深度学习图像评价方法，其特征在于，
所述卷积层中每次卷积前对特征图像进行边界填充，第1个卷积层输出16张特征图像，每2次卷积输出特征图像进行1次池化、下次卷积输出数量乘2，总共进行12次卷积操作；
所述池化层中假设参考图像池化后特征图像为Ireference、目标图像池化后特征图像为Itarget，两者尺寸为1×1×512×Sample_num，将Ireference-Itarget得Idifference，对三者按第二维度进行数据合并得到尺寸为1×3×512×Sample_num的Ifeature，完成特征融合。
4.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤A中，通过孪生神经网络生成目标图像块的质量分数q、权重w、偏置b，并对权重归一化得到w′：
计算偏置平均值得到b′：
由此计算出目标图像质量评价分数为：
5.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤A中，数据集中目标图像质量标签为Q，单次训练包含Batch_size次图像质量评价，单次训练评价分数和标签向量分别和Q，则其损失函数Loss为：
单次训练结束后根据损失函数，利用随机梯度下降算法更新孪生神经网络的参数。
6.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤B中，Learning_Rate设置为0.001，Decay_Step设置为1000步，Decay_Rate设置为0.9每Decay_Step，Max_Steps设置为200000步，Batch_Size设置为10，训练图像尺寸为512×384×3，由于图像块尺寸为64×64×3，故可分成8×6个小图像块，再按每行2个取一个，每列2个取1个方式，故Sample_num设置为4×3＝12块，训练集、验证集、测试集按照数据集60％，20％，20％比例随机抽取组成。
7.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤C中，每行、每列图像块数量m，n计算方法为：
其中div为相除取整，mod为相除取余；
用Pi,j表示第i行、第j列个图像块，Il:r,u:d,:表示图像Ireference或Itarget上第l行至第r行，第u列至第d列之间的区域，则Pi,j为：
8.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤B、C中，根据m、n、km、kn，可计算出Sample_num：
Sample_num＝(m div km)×(n div kn)
选取的图像块为：
Pi,j if1≤i≤n,1≤j≤m,(i-1)mod kn＝0,(j-1)mod km＝0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910693050.5A CN110324613B (zh) | 2019-07-30 | 2019-07-30 | 一种面向视频传输质量的深度学习图像评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910693050.5A CN110324613B (zh) | 2019-07-30 | 2019-07-30 | 一种面向视频传输质量的深度学习图像评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110324613A true CN110324613A (zh) | 2019-10-11 |
| CN110324613B CN110324613B (zh) | 2021-06-01 |
Family
ID=68124910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910693050.5A Active CN110324613B (zh) | 2019-07-30 | 2019-07-30 | 一种面向视频传输质量的深度学习图像评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110324613B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110913207A (zh) * | 2019-12-03 | 2020-03-24 | 华南理工大学 | 一种基于多任务深度学习的视频传输质量评价方法 |
| CN111325736A (zh) * | 2020-02-27 | 2020-06-23 | 成都航空职业技术学院 | 一种基于人眼差分图像的视线角度估计方法 |
| CN115100579A (zh) * | 2022-08-09 | 2022-09-23 | 郑州大学 | 一种基于优化深度学习的管道中视频损害智能分割系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841410A (zh) * | 2014-03-05 | 2014-06-04 | 北京邮电大学 | 基于图像特征信息的半参考视频QoE客观评估方法 |
| CN105430383A (zh) * | 2015-12-07 | 2016-03-23 | 广东电网有限责任公司珠海供电局 | 一种视频流媒体业务的体验质量评估方法 |
| CN109754391A (zh) * | 2018-12-18 | 2019-05-14 | 北京爱奇艺科技有限公司 | 一种图像质量评价方法、装置及电子设备 |
| CN109859166A (zh) * | 2018-12-26 | 2019-06-07 | 上海大学 | 一种基于多列卷积神经网络的无参3d图像质量评估方法 |
| CN110033446A (zh) * | 2019-04-10 | 2019-07-19 | 西安电子科技大学 | 基于孪生网络的增强图像质量评价方法 |
-
2019
- 2019-07-30 CN CN201910693050.5A patent/CN110324613B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841410A (zh) * | 2014-03-05 | 2014-06-04 | 北京邮电大学 | 基于图像特征信息的半参考视频QoE客观评估方法 |
| CN105430383A (zh) * | 2015-12-07 | 2016-03-23 | 广东电网有限责任公司珠海供电局 | 一种视频流媒体业务的体验质量评估方法 |
| CN109754391A (zh) * | 2018-12-18 | 2019-05-14 | 北京爱奇艺科技有限公司 | 一种图像质量评价方法、装置及电子设备 |
| CN109859166A (zh) * | 2018-12-26 | 2019-06-07 | 上海大学 | 一种基于多列卷积神经网络的无参3d图像质量评估方法 |
| CN110033446A (zh) * | 2019-04-10 | 2019-07-19 | 西安电子科技大学 | 基于孪生网络的增强图像质量评价方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110913207A (zh) * | 2019-12-03 | 2020-03-24 | 华南理工大学 | 一种基于多任务深度学习的视频传输质量评价方法 |
| CN110913207B (zh) * | 2019-12-03 | 2021-07-13 | 华南理工大学 | 一种基于多任务深度学习的视频传输质量评价方法 |
| CN111325736A (zh) * | 2020-02-27 | 2020-06-23 | 成都航空职业技术学院 | 一种基于人眼差分图像的视线角度估计方法 |
| CN111325736B (zh) * | 2020-02-27 | 2024-02-27 | 成都航空职业技术学院 | 一种基于人眼差分图像的视线角度估计方法 |
| CN115100579A (zh) * | 2022-08-09 | 2022-09-23 | 郑州大学 | 一种基于优化深度学习的管道中视频损害智能分割系统 |
| CN115100579B (zh) * | 2022-08-09 | 2024-03-01 | 郑州大学 | 一种基于优化深度学习的管道中视频损害智能分割系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110324613B (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110324613A (zh) | 一种面向视频传输质量的深度学习图像评价方法 | |
| CN106504248A (zh) | 基于计算机视觉的车辆损伤判别方法 | |
| CN106796716B (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| CN103853786B (zh) | 数据库参数的优化方法与系统 | |
| CN107610123A (zh) | 一种基于深度卷积神经网络的图像美学质量评价方法 | |
| CN107886503A (zh) | 一种消化道解剖位置识别方法及装置 | |
| CN106910192A (zh) | 一种基于卷积神经网络的图像融合效果评估方法 | |
| CN106920215A (zh) | 一种全景图像配准效果的检测方法 | |
| CN108428227A (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
| CN108665460A (zh) | 基于组合神经网络和分类神经网络的图像质量评价方法 | |
| CN108229267A (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN106067161A (zh) | 一种对图像进行超分辨的方法 | |
| CN110084603A (zh) | 训练欺诈交易检测模型的方法、检测方法以及对应装置 | |
| CN106650827A (zh) | 基于结构指导深度学习的人体姿态估计方法和系统 | |
| CN109410261A (zh) | 基于金字塔池化模块的单目图像深度估计方法 | |
| CN106920224A (zh) | 一种评估拼接图像清晰度的方法 | |
| CN108363979A (zh) | 基于双通道三维卷积神经网络的新生儿疼痛表情识别方法 | |
| CN110503635B (zh) | 一种基于异构数据融合网络的手骨x光片骨龄评估方法 | |
| CN108875794A (zh) | 一种基于迁移学习的图像能见度检测方法 | |
| CN109167996A (zh) | 一种基于卷积神经网络的无参考立体图像质量评价方法 | |
| CN109242825A (zh) | 一种基于深度学习技术的钢铁表面缺陷识别方法和装置 | |
| CN106600595A (zh) | 一种基于人工智能算法的人体特征尺寸自动测量方法 | |
| CN107396095A (zh) | 一种无参考三维图像质量评价方法 | |
| CN108389180A (zh) | 一种基于深度学习的织物疵点检测方法 | |
| CN106991666A (zh) | 一种适用于多尺寸图片信息的病害图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20191011 Assignee: Guangdong Mingyang Electric Co.,Ltd. Assignor: SOUTH CHINA University OF TECHNOLOGY Contract record no.: X2023980047999 Denomination of invention: A Deep Learning Image Evaluation Method for Video Transmission Quality Granted publication date: 20210601 License type: Common License Record date: 20231123 |
|
| EE01 | Entry into force of recordation of patent licensing contract |