CN114140645A - 基于改进自监督特征学习的摄影图像美学风格分类方法 - Google Patents
基于改进自监督特征学习的摄影图像美学风格分类方法 Download PDFInfo
- Publication number
- CN114140645A CN114140645A CN202111393879.7A CN202111393879A CN114140645A CN 114140645 A CN114140645 A CN 114140645A CN 202111393879 A CN202111393879 A CN 202111393879A CN 114140645 A CN114140645 A CN 114140645A
- Authority
- CN
- China
- Prior art keywords
- data
- aesthetic
- classification
- network
- improved self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000013145 classification model Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract 2
- 230000006870 function Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 8
- 238000012512 characterization method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 239000006185 dispersion Substances 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims description 2
- 238000001303 quality assessment method Methods 0.000 claims 1
- 238000005065 mining Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于改进自监督特征学习的摄影图像美学风格分类方法,首先对AVA美学数据集进行预处理;然后建立改进自监督特征学习神经网络,用二分类的AVA美学数据集对改进自监督特征学习神经网络进行预训练;再提取出预训练完成的改进自监督特征学习神经网络的特征提取网络部分,并连接一个SoftMax分类器,建立分类网络模型;最后采用LSTM神经网络结构输出具体的数据增强策略,得到分类精度最佳的摄影图像美学分类模型。本发明采用改进自监督特征学习模型进行预训练,学习到更好的美学特征,从数据集中寻找最佳数据增强策略,得到最佳的摄影图像美学分类模型。
Description
技术领域
本发明涉及一种摄影图像美学风格分类方法,特别涉及一个基于改进自监督特征学习的摄影图像美学风格分类方法。
背景技术
计算机视觉领域依靠大规模的有标注数据集取得了很大的成功,特别是卷积神经网络的应用,在图像物体识别领域取得了巨大的成功。但是在美学风格分类任务上也有了初步的尝试,但由于有标签的美学风格分类数据集较少。现有方法主要用有标签的大型图像识别数据集例如ImageNet做特征学习,再通过美学风格分类数据集对模型进行微调。然而ImageNet的标签不适用于美学风格分类任务的特征学习,因此模型分类效果较差。自监督学习是一种具有有监督形式的非监督学习方法,能从大规模无标注数据中挖掘自身的监督信息,并通过这种监督信息对网络进行训练,从而学习到对下游任务有价值的特征。因此,我们可以利用自监督学习,实现针对美学风格分类任务神经网络的定制化改造。
美学风格分类任务主要存在以下问题:有标签的美学风格分类数据集样本量较少,直接用于模型训练容易造成过拟合,导致模型泛化能力差;现有的大规模数据集不适用于美学风格分类任务的特征学习,直接在这些数据集上进行预训练,很难学习到对美学风格分类任务有价值的特征,进而影响模型分类的精度。
发明内容
针对上述问题,本发明提出了一种基于改进自监督特征学习的摄影图像美学风格分类方法。本发明的技术方案为:
一种基于改进自监督特征学习的摄影图像美学风格分类方法,步骤如下:
步骤1:对AVA美学数据集进行预处理。
步骤2:建立改进自监督特征学习神经网络。构建由特征提取网络、投影网络、改进自监督对比学习损失函数构成的神经网络模型。
步骤3:用二分类的AVA美学数据集对改进自监督特征学习神经网络进行预训练。
步骤4:提取出步骤3中预训练完成的改进自监督特征学习神经网络的特征提取网络部分,并连接一个SoftMax分类器,建立分类网络模型。
步骤5:摄影图像美学分类数据集是一个标注摄影属性的数据集,一共有14个摄影属性,采用LSTM神经网络结构输出具体的数据增强策略,并应用于摄影图像美学分类数据集的训练集部分,再训练步骤4中的分类网络模型,以该模型在摄影图像美学分类数据集的验证集中达到的分类精度作为奖励信号更新LSTM神经网络的参数,直到搜索到最佳的数据增强策略,同时得到分类精度最佳的摄影图像美学分类模型。
本发明的有益效果:
1.针对有标签的摄影图像美学分类数据集样本量较少的问题,采用改进自监督特征学习模型进行预训练,学习到更好的美学特征。
2.针对自监督特征学习在摄影图像美学风格分类上的数据增强问题,从数据集中寻找最佳数据增强策略,得到最佳的摄影图像美学分类模型。
附图说明
图1本发明方法实施例流程图。
具体实施方式
下面结合附图,对本发明的具体实施方案作进一步详细描述。
一种基于改进自监督特征学习的摄影图像美学风格分类方法,步骤如下:
步骤1:对AVA美学数据集进行预处理。
AVA美学数据集是一个美学质量评估的数据集,包括N(N=250000)张美学图像,每张图像都有若干人投票,投票的分数从0~9分。计算每张美学图像的平均得分,将大于等于5分的美学图像归类为高质量图像,将小于5分的美学图像归类为低质量图像。
步骤2:建立改进自监督特征学习神经网络。
所述的改进自监督特征学习神经网络由特征提取网络、投影网络、改进自监督对比学习损失函数构成。具体过程如下:
2-1.建立特征提取网络。
2-2.建立投影网络。
2-3.建立改进的自监督对比学习损失函数。
其中,符号·表示内积运算,表示温度系数zi表示数据经过特征提取网络Enc与投影网络Proj得到的特征向量,表示该特征向量的维度。则zj(i)与za表示索引为j(i)与索引为(a∈A(i))的数据经过特征提取网络与投影网络得到的特征向量。
在对比学习中,公式(1)不能覆盖到一种情况,即由于数据有标签的存在,属于同一类别的不止一个数据样本。为了应对这种情况,对公式(1)进行改进,得到改进的自监督对比学习损失函数如下:
1.可以选取任意数量正样本。
公式2相较于公式1最主要的改变是在同一批次数据中对于某一个基准数据,选取了所有的正样本(包括同一标签的剩余数据样本)。由于随机生成的批量数据量远大于类别数,因此公式2相较于公式1更能指导特征提取网络使同一类别的数据表征更为接近,最终形成更鲁棒的聚类表征空间。
2.更多的负样本可增强对比学习能力。
公式2保留了公式1中的分母中关于负样本对比学习的求和部分,这种形式包含了Noise Contrastive Estimation和N-pair loss,其中Noise Contrastive Estimation通过学习数据分布样本即正样本和噪声分布样本即负样本之间的区别,从而发现数据种的一些特性,而N-pair loss则是通过选取多个负样本,即一对正样本对,选取其他所有不同类别的样本作为负样本与其组合得到负样本对。这对于通过自监督对比学习进行的表征学习十分重要,通过增加负样本数量能提高其表征学习的能力。
3.对于难例样本挖掘的能力。
当与归一化一起使用时,公式1引入了一个梯度结构,来自难例样本的梯度贡献大,而容易区分的样本梯度贡献小,导致其对于隐含的难例样本挖掘能力。公式2保留了这个属性并且将其挖掘能力泛化至所有正样本。
步骤3:用二分类的AVA美学数据集对改进自监督特征学习神经网络进行预训练。
步骤4:提取出步骤3中预训练完成的改进自监督特征学习神经网络的特征提取网络部分,并连接一个SoftMax分类器,建立分类网络模型。
步骤5:摄影图像美学分类数据集是一个标注摄影属性的数据集,一共有14个摄影属性,分别是:Complementary Colors、Duotones、High Dynamic Range、Image Grain、LightonWhite、Long Exposure、Macro、Motion Blur、Negative Image、Rule of Thirds、Shallow DOF、Silhouettes、Soft Focus、Vanishing Point。采用LSTM神经网络结构输出具体的数据增强策略,并应用于摄影图像美学分类数据集的训练集部分,再训练步骤4中的分类网络模型,以该模型在摄影图像美学分类数据集的验证集中达到的分类精度作为奖励信号更新LSTM神经网络的参数,直到搜索到最佳的数据增强策略,同时得到分类精度最佳的摄影图像美学分类模型。
具体步骤如下:
5-1.确定搜索空间。
定义1个数据增强策略包含5个子策略,每个子策略包括2个图像处理函数,每个图像处理函数包括3个属性:图像处理函数类型、应用概率和对应图像处理函数的幅度参数。采用14种图像处理函数包括ShearX/Y,TranslateX/Y,Rotate,AutoContrast,Invert,Equalize,Solarize,Posterize,Contrast,Color,Brightness,Sharpness,Cutout,SamplePairing。应用概率离散为11个均匀间距的值。幅度参数范围离散为10个均匀间距的值。因此寻找1个子策略成为了(14×10×11)2种可能的空间中的搜索问题。那么寻找1个数据增强策略具有(14×10×11)5种可能。
5-2.确定搜索算法。
搜索算法由两部分组成,一部分是采用LSTM神经网络作为控制器,另一部分采用最近策略优化算法更新控制器的参数。在每一次训练过程中输出30组softmax预测值,因为1个策略包含5个子策略,每个子策略包括2个图像处理函数,每个图像处理函数包括3个属性。
5-3.确定反馈信号。
控制器需要通过一个奖励信号进行训练,该奖励信号定义为某个策略对于步骤4中的分类网络模型泛化能力的优化程度。将摄影图像美学分类数据集划分为训练集与验证集,在训练集上应用5个子策略生成增强的数据训练分类网络模型,然后再验证集上评估分类网络模型的精度,评估结果作为控制器的奖励信号。
5-4.搜索结束时,得到最佳数据增强策略与对应的摄影图像美学分类网络模型。
Claims (4)
1.一种基于改进自监督特征学习的摄影图像美学风格分类方法,其特征在于,步骤如下:
步骤1:对AVA美学数据集进行预处理;
步骤2:建立改进自监督特征学习神经网络;构建由特征提取网络、投影网络、改进自监督对比学习损失函数构成的神经网络模型;
步骤3:用二分类的AVA美学数据集对改进自监督特征学习神经网络进行预训练;
步骤4:提取出步骤3中预训练完成的改进自监督特征学习神经网络的特征提取网络部分,并连接一个SoftMax分类器,建立分类网络模型;
步骤5:摄影图像美学分类数据集是一个标注摄影属性的数据集,一共有14个摄影属性,采用LSTM神经网络结构输出具体的数据增强策略,并应用于摄影图像美学分类数据集的训练集部分,再训练步骤4中的分类网络模型,以该模型在摄影图像美学分类数据集的验证集中达到的分类精度作为奖励信号更新LSTM神经网络的参数,直到搜索到最佳的数据增强策略,同时得到分类精度最佳的摄影图像美学分类模型。
2.根据权利要求1所述的一种基于改进自监督特征学习的摄影图像美学风格分类方法,其特征在于,步骤1具体方法如下:
AVA美学数据集是一个美学质量评估的数据集,包括N(N=250000)张美学图像,每张图像都有若干人投票,投票的分数从0~9分;计算每张美学图像的平均得分,将大于等于5分的美学图像归类为高质量图像,将小于5分的美学图像归类为低质量图像。
3.根据权利要求2所述的一种基于改进自监督特征学习的摄影图像美学风格分类方法,其特征在于,步骤2具体方法如下:
所述的改进自监督特征学习神经网络由特征提取网络、投影网络、改进自监督对比学习损失函数构成;具体过程如下:
2-1.建立特征提取网络;
2-2.建立投影网络;
2-3.建立改进的自监督对比学习损失函数;
其中,符号·表示内积运算,表示温度系数zi表示数据经过特征提取网络Enc与投影网络Proj得到的特征向量,表示该特征向量的维度;则zj(i)与za表示索引为j(i)与索引为(a∈A(i))的数据经过特征提取网络与投影网络得到的特征向量;
在对比学习中,公式(1)不能覆盖到一种情况,即由于数据有标签的存在,属于同一类别的不止一个数据样本;为了应对这种情况,对公式(1)进行改进,得到改进的自监督对比学习损失函数如下:
4.根据权利要求3所述的一种基于改进自监督特征学习的摄影图像美学风格分类方法,其特征在于,步骤5具体方法如下:
摄影图像美学分类数据集是一个标注摄影属性的数据集,一共有14个摄影属性,分别是:Complementary Colors、Duotones、High Dynamic Range、Image Grain、LightonWhite、Long Exposure、Macro、MotionBlur、Negative Image、Rule ofThirds、ShallowDOF、Silhouettes、SoftFocus、Vanishing Point;采用LSTM神经网络结构输出具体的数据增强策略,并应用于摄影图像美学分类数据集的训练集部分,再训练步骤4中的分类网络模型,以该模型在摄影图像美学分类数据集的验证集中达到的分类精度作为奖励信号更新LSTM神经网络的参数,直到搜索到最佳的数据增强策略,同时得到分类精度最佳的摄影图像美学分类模型;
具体步骤如下:
5-1.确定搜索空间;
定义1个数据增强策略包含5个子策略,每个子策略包括2个图像处理函数,每个图像处理函数包括3个属性:图像处理函数类型、应用概率和对应图像处理函数的幅度参数;采用14种图像处理函数包括ShearX/Y,TranslateX/Y,Rotate,AutoContrast,Invert,Equalize,Solarize,Posterize,Contrast,Color,Brightness,Sharpness,Cutout,SamplePairing;应用概率离散为11个均匀间距的值;幅度参数范围离散为10个均匀间距的值;因此寻找1个子策略成为了(14×10×11)2种可能的空间中的搜索问题;那么寻找1个数据增强策略具有(14×10×11)5种可能;
5-2.确定搜索算法;
搜索算法由两部分组成,一部分是采用LSTM神经网络作为控制器,另一部分采用最近策略优化算法更新控制器的参数;在每一次训练过程中输出30组softmax预测值;
5-3.确定反馈信号;
控制器需要通过一个奖励信号进行训练,该奖励信号定义为某个策略对于步骤4中的分类网络模型泛化能力的优化程度;将摄影图像美学分类数据集划分为训练集与验证集,在训练集上应用5个子策略生成增强的数据训练分类网络模型,然后再验证集上评估分类网络模型的精度,评估结果作为控制器的奖励信号;
5-4.搜索结束时,得到最佳数据增强策略与对应的摄影图像美学分类网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111393879.7A CN114140645B (zh) | 2021-11-23 | 2021-11-23 | 基于改进自监督特征学习的摄影图像美学风格分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111393879.7A CN114140645B (zh) | 2021-11-23 | 2021-11-23 | 基于改进自监督特征学习的摄影图像美学风格分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114140645A true CN114140645A (zh) | 2022-03-04 |
CN114140645B CN114140645B (zh) | 2024-04-05 |
Family
ID=80390906
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111393879.7A Active CN114140645B (zh) | 2021-11-23 | 2021-11-23 | 基于改进自监督特征学习的摄影图像美学风格分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140645B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863234A (zh) * | 2022-04-29 | 2022-08-05 | 华侨大学 | 一种基于拓扑结构保持的图表示学习方法及系统 |
CN116188294A (zh) * | 2022-12-22 | 2023-05-30 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950655A (zh) * | 2020-08-25 | 2020-11-17 | 福州大学 | 一种基于多领域知识驱动的图像美学质量评价方法 |
-
2021
- 2021-11-23 CN CN202111393879.7A patent/CN114140645B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111950655A (zh) * | 2020-08-25 | 2020-11-17 | 福州大学 | 一种基于多领域知识驱动的图像美学质量评价方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114863234A (zh) * | 2022-04-29 | 2022-08-05 | 华侨大学 | 一种基于拓扑结构保持的图表示学习方法及系统 |
CN116188294A (zh) * | 2022-12-22 | 2023-05-30 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
CN116188294B (zh) * | 2022-12-22 | 2023-09-19 | 东莞理工学院 | 用于医学图像的数据增强方法、系统、智能终端及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114140645B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kunang et al. | Automatic features extraction using autoencoder in intrusion detection system | |
CN109086658B (zh) | 一种基于生成对抗网络的传感器数据生成方法与系统 | |
CN111126386B (zh) | 场景文本识别中基于对抗学习的序列领域适应方法 | |
Franc et al. | An iterative algorithm learning the maximal margin classifier | |
CN110717554B (zh) | 图像识别方法、电子设备及存储介质 | |
CN114140645B (zh) | 基于改进自监督特征学习的摄影图像美学风格分类方法 | |
CN110826639B (zh) | 一种利用全量数据训练零样本图像分类方法 | |
CN114444600A (zh) | 基于记忆增强原型网络的小样本图像分类方法 | |
CN112232395B (zh) | 一种基于联合训练生成对抗网络的半监督图像分类方法 | |
CN113269647A (zh) | 基于图的交易异常关联用户检测方法 | |
CN114998602A (zh) | 基于低置信度样本对比损失的域适应学习方法及系统 | |
CN112883931A (zh) | 基于长短期记忆网络的实时真假运动判断方法 | |
CN115270752A (zh) | 一种基于多层次对比学习的模板句评估方法 | |
CN114357221A (zh) | 一种基于图像分类的自监督主动学习方法 | |
CN112270334B (zh) | 一种基于异常点暴露的少样本图像分类方法及系统 | |
CN112883930A (zh) | 基于全连接网络的实时真假运动判断方法 | |
CN111401485A (zh) | 实用的纹理分类方法 | |
CN116681128A (zh) | 一种带噪多标签数据的神经网络模型训练方法和装置 | |
CN116665039A (zh) | 基于两阶段因果干预的小样本目标识别方法 | |
CN115587884A (zh) | 一种基于改进的极限学习机的用户贷款违约预测方法 | |
CN112766354B (zh) | 一种基于知识图谱的小样本图片识别方法及系统 | |
CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 | |
CN114462466A (zh) | 一种面向深度学习的数据去偏方法 | |
CN113392876A (zh) | 一种基于图神经网络的小样本图像分类方法 | |
Minnehan et al. | Manifold guided label transfer for deep domain adaptation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |