CN110428011A - 一种面向视频传输质量的深度学习图像失真分类方法 - Google Patents

一种面向视频传输质量的深度学习图像失真分类方法 Download PDF

Info

Publication number
CN110428011A
CN110428011A CN201910721496.4A CN201910721496A CN110428011A CN 110428011 A CN110428011 A CN 110428011A CN 201910721496 A CN201910721496 A CN 201910721496A CN 110428011 A CN110428011 A CN 110428011A
Authority
CN
China
Prior art keywords
image
training
function
deep learning
transmission quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910721496.4A
Other languages
English (en)
Inventor
刘桂雄
蒋晨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910721496.4A priority Critical patent/CN110428011A/zh
Publication of CN110428011A publication Critical patent/CN110428011A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种面向视频传输质量的深度学习图像失真分类方法，该方法包括：构建卷积神经网络，设置训练超参数，选择训练损失函数，制作训练数据集；对数据集中无失真图像做数据增强处理，形成更多不同失真类型的训练样本；设计批训练过程中随机抽取训练样本的方法；完成神经网络训练，得到训练模型，实际部署后即可实时分类视频流输入目标图像的失真类型。

Description

一种面向视频传输质量的深度学习图像失真分类方法
技术领域
本发明涉及图像失真分类评价领域，尤其涉及一种基于深度学习的图像失真分类方法。
背景技术
视频图像在传输过程中会因种种原因会产生失真，所以对于图像传输过程中出现的失真正确分类就显得很重要。现有的图像失真分类技术很多都是依赖人类视觉系统或自然图像统计的计算模型，甚至是人工分类。前者失真分类准确率相对较低，容易出现判断不一致的情况；而后者则效率很低，长时间工作容易出现疲劳误差，影响判断准确性，为此寻找一种能高效、准确、智能地分类视频图像传输失真的方法具有重要现实意义。
发明内容
为解决上述技术问题，本发明的目的是提供一种面向视频传输质量的深度学习图像失真分类方法。
本发明的目的通过以下的技术方案来实现：
一种面向视频传输质量的深度学习图像失真分类方法，包括：
A构建卷积神经网络，设置训练超参数，选择训练损失函数Loss，制作训练数据集；
B对数据集中无失真图像做数据增强处理，形成更多不同失真类型的训练样本；
C设计批训练过程中随机抽取训练样本的方法；
D完成神经网络训练，得到训练模型，实际部署后即可实时分类视频流输入的目标图像失真类型。
附图说明
图1是面向视频传输质量的深度学习图像失真分类方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。
如图1所示，一种面向视频传输质量的深度学习图像失真分类方法流程，包括以下步骤：
步骤10构建卷积神经网络，设置训练超参数，选择训练损失函数Loss，制作训练数据集；
步骤20对数据集中无失真图像做数据增强处理，形成更多不同失真类型的训练样本；
步骤30设计批训练过程中随机抽取训练样本的方法；
步骤40完成神经网络训练，得到训练模型，实际部署后即可实时分类视频流输入的目标图像失真类型；
上述步骤10具体包括：超参数设置包含最大训练步数S、单次批训练样本数N、初始学习率η0、学习率衰减率d、学习率更新间隔M、输入图像尺寸等。
上述步骤10具体包括：使用softmax函数作为CNN的分类器，选择交叉熵函数作为损失函数。
上述步骤10具体包括：记ηt为第t次学习更新间隔的学习率，为第t次学习更新间隔期间最小损失函数值，Lmin为全局最小损失函数值，则ηt更新方法为：
上述步骤10具体包括：数据集中共包含无失真Cc、白噪声失真Cn、模糊失真Cb、JPEG压缩失真CJ及JPEG2000压缩失真CJ2000共5种类型图像，并从数据集中随机抽取其中60％样本作为训练集、20％样本作为测试集、20％样本作为验证集。
上述步骤20具体包括：记I为无失真图像、θn为图像添加白噪声函数参数、fn(I,θn)为图像添加白噪声函数、θb为图像添加模糊函数参数、fb(I,θb)为图像添加模糊函数、θJ为图像JPEG压缩函数参数、fJ(I,θJ)为图像JPEG压缩函数、θJ2000为图像JPEG2000压缩函数参数、fJ2000(I,θJ2000)为图像JPEG2000压缩函数，通过对上述函数可实现除无失真类型外其他类型的数据增强。
上述步骤30具体包括：记I*为随机抽取到的图像、C为随机抽取图像类型、fC()为对应类型的数据增强函数、θC为函数fC()合理取值范围内的随机参数、random(C)为数据增强随机选择函数，则I*为：
虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (7)

1.一种面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述方法包括：
A构建卷积神经网络，设置训练超参数，选择训练损失函数Loss，制作训练数据集；
B对数据集中无失真图像做数据增强处理，形成更多不同失真类型的训练样本；
C设计批训练过程中随机抽取训练样本的方法；
D完成神经网络训练，得到训练模型，实际部署后即可实时分类视频流输入的目标图像失真类型。
2.如权利要求1所述的面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述步骤A中，训练超参数设置包含最大训练步数S、单次批训练样本数N、初始学习率η0、学习率衰减率d、学习率更新间隔M与输入图像尺寸。
3.如权利要求1所述的面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述步骤A具体包括，使用softmax函数作为CNN的分类器，选择交叉熵函数作为损失函数。
4.如权利要求1所述的面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述步骤A中，记ηt为第t次学习更新间隔的学习率，为第t次学习更新间隔期间最小损失函数值，Lmin为全局最小损失函数值，则ηt更新方法为：
5.如权利要求1所述的面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述步骤A中，数据集中共包含无失真Cc、白噪声失真Cn、模糊失真Cb、JPEG压缩失真CJ及JPEG2000压缩失真CJ2000共5种类型图像，并从数据集中抽取60％样本构成训练集、20％样本构成测试集、20％样本构成验证集。
6.如权利要求1所述的面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述步骤B具体包括，记I为无失真图像、θn为图像添加白噪声函数参数、fn(I,θn)为图像添加白噪声函数、θb为图像添加模糊函数参数、fb(I,θb)为图像添加模糊函数、θJ为图像JPEG压缩函数参数、fJ(I,θJ)为图像JPEG压缩函数、θJ2000为图像JPEG2000压缩函数参数、fJ2000(I,θJ2000)为图像JPEG2000压缩函数，通过对上述函数实现除无失真类型外其他类型的数据增强。
7.如权利要求1所述的面向视频传输质量的深度学习图像失真分类方法，其特征在于，所述步骤C具体包括，记I*为随机抽取到的图像、C为随机抽取图像类型、fC()为对应类型的数据增强函数、θC为函数fC()合理取值范围内的随机参数、random(C)为数据增强随机选择函数，则I*为：
CN201910721496.4A 2019-08-06 2019-08-06 一种面向视频传输质量的深度学习图像失真分类方法 Pending CN110428011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910721496.4A CN110428011A (zh) 2019-08-06 2019-08-06 一种面向视频传输质量的深度学习图像失真分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910721496.4A CN110428011A (zh) 2019-08-06 2019-08-06 一种面向视频传输质量的深度学习图像失真分类方法

Publications (1)

Publication Number Publication Date
CN110428011A true CN110428011A (zh) 2019-11-08

Family

ID=68412788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910721496.4A Pending CN110428011A (zh) 2019-08-06 2019-08-06 一种面向视频传输质量的深度学习图像失真分类方法

Country Status (1)

Country Link
CN (1) CN110428011A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815529A (zh) * 2020-06-30 2020-10-23 上海电力大学 一种基于模型融合和数据增强的低质图像分类增强方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN105208374A (zh) * 2015-08-24 2015-12-30 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
CN107770517A (zh) * 2017-10-24 2018-03-06 天津大学 基于图像失真类型的全参考图像质量评价方法
CN109215028A (zh) * 2018-11-06 2019-01-15 福州大学 一种基于卷积神经网络的多目标优化图像质量评估方法
CN109741315A (zh) * 2018-12-29 2019-05-10 中国传媒大学 一种基于深度强化学习的无参考图像质量客观评价方法
CN109816625A (zh) * 2018-11-27 2019-05-28 广东电网有限责任公司 一种视频质量评分实现方法
WO2019112084A1 (ko) * 2017-12-06 2019-06-13 한국과학기술원 Cnn을 이용한 압축 왜곡 제거 방법
CN109919025A (zh) * 2019-01-30 2019-06-21 华南理工大学 基于深度学习的视频场景文本检测方法、系统、设备及介质
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN105208374A (zh) * 2015-08-24 2015-12-30 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
CN107770517A (zh) * 2017-10-24 2018-03-06 天津大学 基于图像失真类型的全参考图像质量评价方法
WO2019112084A1 (ko) * 2017-12-06 2019-06-13 한국과학기술원 Cnn을 이용한 압축 왜곡 제거 방법
CN109215028A (zh) * 2018-11-06 2019-01-15 福州大学 一种基于卷积神经网络的多目标优化图像质量评估方法
CN109816625A (zh) * 2018-11-27 2019-05-28 广东电网有限责任公司 一种视频质量评分实现方法
CN109741315A (zh) * 2018-12-29 2019-05-10 中国传媒大学 一种基于深度强化学习的无参考图像质量客观评价方法
CN109919025A (zh) * 2019-01-30 2019-06-21 华南理工大学 基于深度学习的视频场景文本检测方法、系统、设备及介质
CN110084757A (zh) * 2019-04-15 2019-08-02 南京信息工程大学 一种基于生成对抗网络的红外深度图像增强方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘桂雄等: ""运动模糊图像复原技术研究进展与展望"", 《激光杂志》 *
刘桂雄等: ""运动模糊图像复原技术研究进展与展望"", 《激光杂志》, vol. 40, no. 4, 25 April 2019 (2019-04-25), pages 1 - 6 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815529A (zh) * 2020-06-30 2020-10-23 上海电力大学 一种基于模型融合和数据增强的低质图像分类增强方法
CN111815529B (zh) * 2020-06-30 2023-02-07 上海电力大学 一种基于模型融合和数据增强的低质图像分类增强方法

Similar Documents

Publication Publication Date Title
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN106682704A (zh) 一种基于融合上下文信息的混合卷积神经网络的病害图像识别方法
CN106780466A (zh) 一种基于卷积神经网络的宫颈细胞图像识别方法
CN108665460A (zh) 基于组合神经网络和分类神经网络的图像质量评价方法
EP3719708A1 (en) Model test method and device
CN107239514A (zh) 一种基于卷积神经网络的植物识别方法及系统
CN107689034A (zh) 一种神经网络的训练方法、去噪方法及装置
CN110135386B (zh) 一种基于深度学习的人体动作识别方法和系统
CN114092769B (zh) 基于联邦学习的变电站多场景巡检分析方法
CN110189291A (zh) 一种基于多任务卷积神经网络的通用无参考图像质量评价方法
CN109118445A (zh) 一种基于多分支生成对抗网络的水下图像增强方法
CN110363727A (zh) 基于多尺度暗通道先验级联深度神经网络的图像去雾方法
CN106600595A (zh) 一种基于人工智能算法的人体特征尺寸自动测量方法
CN106846261A (zh) 基于卷积神经网络的水下图像处理方法
CN107993200A (zh) 基于深度学习的图像噪声水平估计方法
CN109241814A (zh) 基于yolo神经网络的行人检测方法
CN110503610A (zh) 一种基于gan网络的图像雨雪痕迹去除方法
CN109191389A (zh) 一种x光图像自适应局部增强方法
CN109800785A (zh) 一种基于自表达相关的数据分类方法和装置
CN108537747A (zh) 一种基于带对称跨层连接的卷积神经网络的图像修复方法
CN112686152B (zh) 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法
CN108038839A (zh) 一种流水生产线上双绞线绞距实时检测方法
CN110428011A (zh) 一种面向视频传输质量的深度学习图像失真分类方法
CN110516615A (zh) 基于卷积神经网络的人车分流控制方法
CN109614967A (zh) 一种基于负样本数据价值重采样的车牌检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191108

RJ01 Rejection of invention patent application after publication