CN110032662A - 基于改进的dice损失函数的视频图像失真效应模型构建方法 - Google Patents

基于改进的dice损失函数的视频图像失真效应模型构建方法 Download PDF

Info

Publication number
CN110032662A
CN110032662A CN201910405257.8A CN201910405257A CN110032662A CN 110032662 A CN110032662 A CN 110032662A CN 201910405257 A CN201910405257 A CN 201910405257A CN 110032662 A CN110032662 A CN 110032662A
Authority
CN
China
Prior art keywords
loss function
video image
dice
improved
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910405257.8A
Other languages
English (en)
Inventor
林丽群
陈柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201910405257.8A priority Critical patent/CN110032662A/zh
Publication of CN110032662A publication Critical patent/CN110032662A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于改进的dice损失函数的视频图像失真效应模型构建方法。首先，基于Dice损失函数进行函数改进，加入权重因子和平滑因子更好的适应样本数据集特征；其次，在DenseNet的密集型卷积神经网络采用改进的损失函数对数据进行训练，实现模型的分类构建；最后，利用训练好的模型对现有的视频图像进行分类预测，判断视频图像是否失真。本发明方法较采用传统的损失函数训练模型相比，改进的损失函数在六种常见的视频图像失真效应数据集里识别检测的精度有所提高，优势明显。

Description

基于改进的dice损失函数的视频图像失真效应模型构建方法
技术领域
本发明涉及视频图像失真效应技术领域，特别是一种基于改进的dice损失函数的视频图像失真效应模型构建方法。
背景技术
随着计算机软硬件技术的发展和网络用户规模的快速增长,视频图像成为了人们用来表示和传达信息的一种主流方式。然而视频图像的质量在从采集到最终呈现到用户面前，会因设备受损、环境因素、转换编码等影响而引人各种失真问题,特别是混合MC/DPCM/DCT视频编码算法[ITU90、ITU95、SEC91、SEC92]产生的压缩编码失真在很大程度上会阻碍用户从视频图像中获取清楚的信息，极大的影响了用户的视觉质量。
为了消除视频图像中的失真效应这一难题，多年来许多研究人员做了大量的工作。在过去的数十年里，受计算能力的限制，视频压缩失真效应的检测和识别一直都是一项非常困难的任务。但是在2012年，卷积神经网络(CNN)实现了图像识别领域的重大突破，也开始被应用在视频编码检测任务上，表现出了良好的效果。
图像识别检测性能的提高是因为CNN网络结构(如GoogleNet和ResNet)深度的增加。但是众多研究发现，当网络结构达到一定深度后，其性能也会趋于平均精度。近年来，考虑到实验设备和计算资源等因素，研究人员也在研究卷积神经网络模型的其他方面，如损失函数、激活函数、优化器等。其中，学术界和工业界在损失函数进行了很多研究并提出了很多性能良好的损失函数，都对图像识别性能提高起到了很大作用。
发明内容
本发明的目的在于提供一种基于改进的dice损失函数的视频图像失真效应模型构建方法，该方法提高了视频图像失真效应分类检测的精度。
为实现上述目的，本发明的技术方案是：一种基于改进的dice损失函数的视频图像失真效应模型构建方法，包括如下步骤：
步骤S1、基于Dice损失函数进行函数改进，加入权重因子和平滑因子更好的适应样本数据集特征；
步骤S2、在DenseNet的密集型卷积神经网络采用改进的损失函数对数据进行训练，实现模型的分类构建；
步骤S3、利用训练好的模型对现有的视频图像进行分类预测，判断视频图像是否失真。
在本发明一实施例中，所述步骤S1具体实现如下：
步骤S11、Dice Loss描述了在图像中感兴趣的结构仅占据扫描的非常小的区域，从而使学习过程陷入损失函数的局部最小值，因此要加大前景区域的权重Dice；其中Dice可以理解为是两个轮廓区域的相似程度，如果用A、B表示两个轮廓区域所包含的点集，则Dice可以表示为如果用TP，FP，FN表示是真阳性、假阳性、假阴性的个数，则Dice可以表示为
步骤S12、基于步骤S11的原理，对Dice loss加入平滑因子和权重因子，构造了一个新的Dice loss损失函数，函数表达式如下：
其中，ytrue为输入实例的真实类别，ypred为预测输入实例属于类别1的概率，ω是权重因子，ε是平滑因子；
步骤S13、根据步骤S12所改进的Dice loss损失函数，根据样本数据集的比例和样本特点设置平滑因子和权重因子值，以更好的贴合不均衡的训练场景下、以提高模型的训练效果，同时并且可直接在评价标准上进行优化，提升拟合效果。
在本发明一实施例中，所述步骤S2具体实现如下：
步骤S21、读取数据集，并利用图片生成器对数据样本进行包括拉伸、旋转的变换和数据扩充，得到比原来数据集更大的样本集训练，提高网络识图能力以模型拟合效果：
步骤S22、载入模型网络，并根据训练要求添加新层，搭建训练模型；
步骤S23、将步骤S1所改进设置的损失函数引入网络；
步骤S24、引入训练效果评价指标ACC、ROC/AUC和F1-Score，对模型训练过程进行实时评价；
步骤S25、实时保存训练模型和数据，并根据最终迭代结果画图。
在本发明一实施例中，所述步骤S3具体实现如下：
步骤S31、引入步骤S2训练的模型构建测试网络程序；
步骤S32、将利用H.265的编码器HM16.9编码的视频导入测试网络程序，让训练好的模型自动进行识别检测；
步骤S33、将检测视频的结果以0和1的识别值输出，检测视频图像编码过程是否存在失真效应。
相较于现有技术，本发明具有以下有益效果：本发明方法有效地提高了视频图像编码过程中失真效应的识别检测精度，具有非常广泛的应用前景。
附图说明
图1是本发明实施例过程中的整体工作流程图。
图2是本发明实施例过程中的损失函数算法实现流程图。
图3是本发明实施例中基于改进的Dice损失函数的网络训练流程图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明提供了一种基于改进的dice损失函数的视频图像失真效应模型构建方法，包括如下步骤：
步骤S1、基于Dice损失函数进行函数改进，加入权重因子和平滑因子更好的适应样本数据集特征；
步骤S2、在DenseNet的密集型卷积神经网络采用改进的损失函数对数据进行训练，实现模型的分类构建；
步骤S3、利用训练好的模型对现有的视频图像进行分类预测，判断视频图像是否失真。
以下为本发明一具体实施例。
本实施提供种基于改进的Dice函数的视频图像失真效应分类检测模型构建方法，分类检测整体工作流程如图1所示，包括以下步骤：步骤S1：基于Dice损失函数进行函数改进，加入权重因子和平滑因子更好的适应样本数据集特征；步骤S2：在DenseNet的密集型卷积神经网络采用改进的损失函数对数据进行训练，实现模型的分类构建；步骤S3：利用训练好的模型对现有的视频图像进行分类预测，判断视频图像是否失真。
损失函数算法实现流程图如图2所述：在本实施例中，所述步骤S1中，基于Dice损失函数进行函数改进，加入权重因子和平滑因子更好的适应样本数据集特征，具体包括以下步骤：
步骤S11：Dice Loss描述了在图像中感兴趣的结构仅占据扫描的非常小的区域，从而使学习过程陷入损失函数的局部最小值，因此要加大前景区域的权重Dice。其中Dice可以理解为是两个轮廓区域的相似程度，如果用A、B表示两个轮廓区域所包含的点集，则Dice可以表示为如果用TP，FP，FN表示是真阳性、假阳性、假阴性的个数，则Dice可以表示为
步骤S12：基于步骤S11所述的原理，本发明对Dice loss这一损失函数加入了平滑因子和权重因子，构造了一个新的损失函数，函数表达式如下：
其中，ytrue为输入实例的真实类别，ypred为预测输入实例属于类别1的概率，ω是权重因子，ε是平滑因子。
步骤S13：根据步骤S12所改进的Dice loss损失函数，根据样本数据集的比例和样本特点设置平滑因子和权重因子值，更好的贴合不均衡的训练场景下、以提高模型的训练效果，同时并且可以直接在评价标准上进行优化，提升拟合效果。
基于改进的Dice损失函数的网络训练流程图如图3所述：在本实施例中，所述步骤S2用以改进的Dice损失函数在DenseNet的密集型卷积神经网络训练样本数据，具体包括以下步骤：
步骤S21：读取训练数据集，并利用图片生成器对数据样本进行拉伸旋转等变换和数据扩充，得到比原来数据集更大的样本集训练，提高网络识图能力以模型拟合效果：
步骤S22：载入模型网络，并根据训练要求添加新层，搭建训练模型；
步骤S23：将步骤S1所改进设置的损失函数引入网络；
步骤S24：引入训练效果评价指标Acc、ROC/AUC和F1-Score，对模型训练过程进行实时评价；
步骤S25：实时保存训练模型和数据，并根据最终迭代结果画图。
进一步地，所述步骤S3利用训练好的模型对现有的视频图像进行分类预测，具体包括以下步骤：
步骤S31：引入步骤S2训练的模型构建测试网络程序；
步骤S32：将利用H.265的编码器HM16.9编码的视频作为测试样本导入测试网络程序，让训练好的模型自动进行识别检测；
步骤S33：将检测视频的结果以0和1的分类标签识别值输出，检测视频图像编码过程是否存在失真效应。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于改进的dice损失函数的视频图像失真效应模型构建方法，其特征在于，包括如下步骤：
步骤S1、基于Dice损失函数进行函数改进，加入权重因子和平滑因子更好的适应样本数据集特征；
步骤S2、在DenseNet的密集型卷积神经网络采用改进的损失函数对数据进行训练，实现模型的分类构建；
步骤S3、利用训练好的模型对现有的视频图像进行分类预测，判断视频图像是否失真。
2.根据权利要求1所述的基于改进的dice损失函数的视频图像失真效应模型构建方法，其特征在于，所述步骤S1具体实现如下：
步骤S11、Dice Loss描述了在图像中感兴趣的结构仅占据扫描的非常小的区域，从而使学习过程陷入损失函数的局部最小值，因此要加大前景区域的权重Dice；其中Dice可以理解为是两个轮廓区域的相似程度，如果用A、B表示两个轮廓区域所包含的点集，则Dice可以表示为如果用TP，FP，FN表示是真阳性、假阳性、假阴性的个数，则Dice可以表示为
步骤S12、基于步骤S11的原理，对Dice loss加入平滑因子和权重因子，构造了一个新的Dice loss损失函数，函数表达式如下：
其中，ytrue为输入实例的真实类别，ypred为预测输入实例属于类别1的概率，ω是权重因子，ε是平滑因子；
步骤S13、根据步骤S12所改进的Dice loss损失函数，根据样本数据集的比例和样本特点设置平滑因子和权重因子值，以更好的贴合不均衡的训练场景下、以提高模型的训练效果，同时并且可直接在评价标准上进行优化，提升拟合效果。
3.根据权利要求1所述的基于改进的dice损失函数的视频图像失真效应模型构建方法，其特征在于，所述步骤S2具体实现如下：
步骤S21、读取数据集，并利用图片生成器对数据样本进行包括拉伸、旋转的变换和数据扩充，得到比原来数据集更大的样本集训练，提高网络识图能力以模型拟合效果：
步骤S22、载入模型网络，并根据训练要求添加新层，搭建训练模型；
步骤S23、将步骤S1所改进设置的损失函数引入网络；
步骤S24、引入训练效果评价指标ACC、ROC/AUC和F1-Score，对模型训练过程进行实时评价；
步骤S25、实时保存训练模型和数据，并根据最终迭代结果画图。
4.根据权利要求1所述的基于改进的dice损失函数的视频图像失真效应模型构建方法，其特征在于，所述步骤S3具体实现如下：
步骤S31、引入步骤S2训练的模型构建测试网络程序；
步骤S32、将利用H.265的编码器HM16.9编码的视频导入测试网络程序，让训练好的模型自动进行识别检测；
步骤S33、将检测视频的结果以0和1的识别值输出，检测视频图像编码过程是否存在失真效应。
CN201910405257.8A 2019-05-16 2019-05-16 基于改进的dice损失函数的视频图像失真效应模型构建方法 Pending CN110032662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910405257.8A CN110032662A (zh) 2019-05-16 2019-05-16 基于改进的dice损失函数的视频图像失真效应模型构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910405257.8A CN110032662A (zh) 2019-05-16 2019-05-16 基于改进的dice损失函数的视频图像失真效应模型构建方法

Publications (1)

Publication Number Publication Date
CN110032662A true CN110032662A (zh) 2019-07-19

Family

ID=67242377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910405257.8A Pending CN110032662A (zh) 2019-05-16 2019-05-16 基于改进的dice损失函数的视频图像失真效应模型构建方法

Country Status (1)

Country Link
CN (1) CN110032662A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287966A (zh) * 2020-09-21 2021-01-29 深圳市爱深盈通信息技术有限公司 一种人脸识别方法、装置及电子设备
CN113516114A (zh) * 2021-05-19 2021-10-19 西安建筑科技大学 一种高效精确的自然场景文本检测方法、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN106709511A (zh) * 2016-12-08 2017-05-24 华中师范大学 基于深度学习的城市轨道交通全景监控视频故障检测方法
CN108401154A (zh) * 2018-05-25 2018-08-14 同济大学 一种图像曝光度无参考质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓忠豪 等: ""基于深度卷积神经网络的肺结节检测算法"", 《计算机应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287966A (zh) * 2020-09-21 2021-01-29 深圳市爱深盈通信息技术有限公司 一种人脸识别方法、装置及电子设备
CN113516114A (zh) * 2021-05-19 2021-10-19 西安建筑科技大学 一种高效精确的自然场景文本检测方法、设备和介质
CN113516114B (zh) * 2021-05-19 2023-09-29 西安建筑科技大学 一种自然场景文本检测方法、设备和介质

Similar Documents

Publication Publication Date Title
CN108171184B (zh) 基于Siamese网络的用于行人重识别的方法
CN110097053B (zh) 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法
CN109190752A (zh) 基于深度学习的全局特征和局部特征的图像语义分割方法
CN105426829B (zh) 基于人脸图像的视频分类方法和装置
CN109272500B (zh) 基于自适应卷积神经网络的织物分类方法
CN105574063A (zh) 基于视觉显著性的图像检索方法
CN104809481A (zh) 一种基于自适应色彩聚类的自然场景文本检测的方法
CN112150430B (zh) 一种利用岩石细观结构数字图像的数值分析方法
CN104899607B (zh) 一种传统云纹图案的自动分类方法
CN102695056A (zh) 一种提取压缩视频关键帧的方法
CN110390308B (zh) 一种基于时空对抗生成网络的视频行为识别方法
CN105184260A (zh) 一种图像特征提取方法及行人检测方法及装置
CN109886242A (zh) 一种行人重识别的方法及系统
CN110032662A (zh) 基于改进的dice损失函数的视频图像失真效应模型构建方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN110443303B (zh) 基于图像分割和分类的煤岩显微组分智能识别方法
CN104463091A (zh) 一种基于图像lgbp特征子向量的人脸图像识别方法
Chen et al. Fresh tea sprouts detection via image enhancement and fusion SSD
CN111191027B (zh) 一种基于高斯混合分布vae的广义零样本识别方法
CN109977892B (zh) 基于局部显著性特征和cnn-svm的舰船检测方法
Du et al. Image retrieval based on colour and improved NMI texture features
CN115984924A (zh) 一种基于类脑技术的自然场景下的表情识别方法
CN106570910B (zh) 基于自编码特征和近邻模型的图像自动标注方法
CN115830054A (zh) 基于多窗口高低频视觉变换器的裂缝图像分割方法
CN114898137A (zh) 面向人脸识别的黑盒对抗样本攻击方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190719

RJ01 Rejection of invention patent application after publication