CN110427990B - 一种基于卷积神经网络的艺术图像分类方法 - Google Patents
一种基于卷积神经网络的艺术图像分类方法 Download PDFInfo
- Publication number
- CN110427990B CN110427990B CN201910661643.3A CN201910661643A CN110427990B CN 110427990 B CN110427990 B CN 110427990B CN 201910661643 A CN201910661643 A CN 201910661643A CN 110427990 B CN110427990 B CN 110427990B
- Authority
- CN
- China
- Prior art keywords
- size
- convolutional
- convolution
- layer
- kernels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的艺术图像分类方法，包括：获取每类艺术图像，图像裁切与构建训练集、验证集；然后使用空洞卷积、DKSE模块、深度可分离卷积搭建卷积神经网络；最后用训练集输入搭建好的卷积神经网络对其进行训练，得到可用来进行艺术图像分类的网络模型。本发明较传统方法相比，提取的艺术图像的整体特征与局部细节特征更加全面，可以适用于多种艺术图像分类研究，模型通用性较强，填补了现有多类艺术图像分类检索研究的不足；本发明中设计的卷积神经网络可减少对艺术图像分类人员的专业要求，避免了传统分类算法中复杂的特征提取和数据标注的工作；本发明卷积神经网络结构较其他卷积神经网络结构简单，分类准确率高。
Description
技术领域
本发明属于图像处理识别技术领域，具体涉及一种基于卷积神经网络的艺术图像分类方法。
背景技术
互联网数字媒体技术的发展，促进了自然艺术图像的分享和传播，但随着艺术图像数量的与日剧增，对其进行有效的分类检索是一个亟待解决的问题。面对海量的艺术图像数据，用传统手工提取特征方法可能存在标注失误以及标注不够客观等问题，而且对艺术图像分类人员的专业要求比较高。现有对艺术图像管理的研究工作主要是基于国画题材与表现手法的分类、根据画家创作风格而对画家的分类以及艺术画真假鉴别，而基于多类艺术图像风格特点的分类研究较少。
高峰等人在《基于表现手法的国画分类方法研究,Chinese Journal ofComputers.2017年第12期,2871-2882》一文中提出利用尺度不变特征变换特征检测子和边缘检测得到图像关键区域，通过关键区域特征和邻域内部差异性的描述，采用级联分类器分析得出工笔画和写意画在表现手法上的不同，但是所得到的局部关键区域特征不足以代表整体艺术图像的关键特征。根据国画中纹理、颜色、形状等特征，王征等人在《监督式异构稀疏特征选择的国画分类和预测,Journal of Computer-Aided Design&ComputerGraphics.2013年第12期,1848-1855》一文中采用传统方法进行监督式异构稀疏特征提取，但是特征只有96维，不足以描述国画的整体特征。Yao等人在《Characterizing eleganceof curves computationally for distinguishing Morrisseau paintings and theimitations,Proceedings ofthe 16th IEEE International Conference on ImageProcessing.2009:73-76》一文中提出根据Norval Morrisseau艺术图像中曲线的流畅性，判别真画与假画之间的区别，但是该方法仅针对Norval Morrisseau艺术画进行真假鉴别，模型通用性较差。每类艺术图像在纹理、颜色、线条等特征上有一定的相似之处，使用传统方法提取艺术图像特征并不能充分区别每类艺术图像的风格特点。
卷积神经网络(Convolutional Neural Networks，CNNs)在图像特征提取方面取得不错的结果，被广泛用于图像分类领域中；卷积神经网络中的不同大小的卷积核，可以提取图像的整体特征与局部细节特征，对艺术图像分类上能表现出不错的效果。
发明内容
鉴于上述，本发明提供了一种基于卷积神经网络的艺术图像分类方法，通过建立并训练卷积神经网络，实现对多类艺术图像的分类；相比采用传统方法提取的图像特征更加全面，对分类人员的要求更低，操作更简单，并有较高的准确率。
一种基于卷积神经网络的艺术图像分类方法，包括如下步骤：
(1)获取大量各类艺术图像，由专业人员对这些图像进行清洗和筛查，并人工为每张图像打上类别标签；
(2)对每张图像进行预处理，从而得到对应的图像数据样本；
(3)将所有样本分为训练集和验证集，搭建卷积神经网络并利用训练集样本对该卷积神经网络进行训练，得到用于艺术图像分类的网络模型；
(4)将待分类的艺术图像经预处理后输入所述网络模型中，即可得到该艺术图像的分类结果。
进一步地，所述步骤(1)中使用网络爬虫技术从艺术网站下载大量各类艺术图像，对于获取到的任一张图像，由专业人员裁剪掉图像中与艺术风格不相关的边框，并根据图像的艺术风格对其打上类别标签，在打标签的过程中对于不相关的类别图像进行筛除。
进一步地，所述步骤(2)中对于低分辨率的图像，直接将其压缩至m×m大小，进而基于RGB三通道像素值得到m×m×3大小的图像数据样本；对于高分辨率的图像，以m个像素点为步长将整个图像划分成多个m×m大小的图块；对于每一图块，基于RGB三通道像素值得到其对应m×m×3大小的图像数据样本，m为大于48的自然数。
进一步地，所述步骤(3)中的卷积神经网络从输入到输出由输入层、空洞卷积层、深度卷积层、3个深度可分离卷积层DS1～DS3、双核压缩激活层DKSE1、2个深度可分离卷积层DS4～DS5、双核压缩激活层DKSE2、2个深度可分离卷积层DS6～DS7、双核压缩激活层DKSE3、2个深度可分离卷积层DS8～DS9、全局平均池化层P以及全连接层依次连接组成。
进一步地，所述输入层为m×m×3大小的图像数据样本；所述空洞卷积层使用32个3×3×3大小的卷积核，步长为1，膨胀率为2；所述深度卷积层使用32个3×3大小的卷积核，步长为3；所述全局平均池化层P将深度可分离卷积层DS9输出特征图的空间信息压缩到1024个通道描述符中；所述全连接层使用n个节点作为输出，采用的激活函数为Softmax，n为艺术图像类别数。
进一步地，所述深度可分离卷积层DS1～DS9均包含深度卷积和逐点卷积两个子层；其中：深度可分离卷积层DS1的深度卷积子层使用32个3×3大小的卷积核，逐点卷积子层使用64个1×1×32大小的卷积核，步长均为1；深度可分离卷积层DS2的深度卷积子层使用64个3×3大小的卷积核，步长为2，逐点卷积子层使用128个1×1×64大小的卷积核，步长为1；深度可分离卷积层DS3的深度卷积子层使用128个3×3大小的卷积核，逐点卷积子层使用128个1×1×128大小的卷积核，步长均为1；深度可分离卷积层DS4的深度卷积子层使用128个3×3大小的卷积核，步长为2，逐点卷积子层使用256个1×1×128大小的卷积核，步长为1；深度可分离卷积层DS5的深度卷积子层使用256个3×3大小的卷积核，逐点卷积子层使用256个1×1×256大小的卷积核，步长均为1；深度可分离卷积层DS6的深度卷积子层使用256个3×3大小的卷积核，步长为2，逐点卷积子层使用512个1×1×256大小的卷积核，步长为1；深度可分离卷积层DS7的深度卷积子层使用512个3×3大小的卷积核，逐点卷积子层使用512个1×1×512大小的卷积核，步长均为1；深度可分离卷积层DS8的深度卷积子层使用512个3×3大小的卷积核，步长为2，逐点卷积子层使用1024个1×1×512大小的卷积核，步长为1；深度可分离卷积层DS9的深度卷积子层使用1024个3×3大小的卷积核，逐点卷积子层使用1024个1×1×1024大小的卷积核，步长均为1。
进一步地，所述双核压缩激活层DKSE1～DKSE3均包含四个卷积层C1～C4、全局平均池化层P1以及特征重标定层；其中：双核压缩激活层DKSE1中的卷积层C1使用128个1×1×128大小的卷积核，卷积层C2使用128个5×5×128大小的卷积核，步长均为1，双核压缩激活层DKSE1的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理，进而对卷积层C1和C2处理后得到的特征图进行特征融合，全局平均池化层P1将融合后的特征图空间信息压缩到128个通道描述符中并依次经由卷积层C3和C4进行处理，卷积层C3使用128/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作，卷积层C4使用128个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上，并将加权映射后的特征图进行特征融合后输出，r为特征图通道降维比例；
双核压缩激活层DKSE2中的卷积层C1使用256个1×1×256大小的卷积核，卷积层C2使用256个5×5×256大小的卷积核，步长均为1，双核压缩激活层DKSE2的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理，进而对卷积层C1和C2处理后得到的特征图进行特征融合，全局平均池化层P1将融合后的特征图空间信息压缩到256个通道描述符中并依次经由卷积层C3和C4进行处理，卷积层C3使用256/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作，卷积层C4使用256个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上，并将加权映射后的特征图进行特征融合后输出；
双核压缩激活层DKSE3中的卷积层C1使用512个1×1×512大小的卷积核，卷积层C2使用512个5×5×512大小的卷积核，步长均为1，双核压缩激活层DKSE3的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理，进而对卷积层C1和C2处理后得到的特征图进行特征融合，全局平均池化层P1将融合后的特征图空间信息压缩到512个通道描述符中并依次经由卷积层C3和C4进行处理，卷积层C3使用512/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作，卷积层C4使用512个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上，并将加权映射后的特征图进行特征融合后输出。
进一步地，所述空洞卷积层、深度卷积层、深度卷积子层、逐点卷积子层的输出均依次经批标准化和ReLu函数处理。
进一步地，所述步骤(3)中对卷积神经网络进行训练过程中采用交叉熵损失函数和Adam优化器通过正向传播和反向传播的方式按批次对网络进行训练。
进一步地，所述步骤(3)中当卷积神经网络训练完成后，利用验证集样本对其进行验证以及参数微调，从而最终确立用于艺术图像分类的网络模型。
基于上述技术方案，本发明具有以下有益技术效果：
(1)本发明较传统方法相比，提取艺术图像的整体特征与局部细节特征更加全面，可以适用于多种艺术图像分类研究，模型通用性较强，填补了现有多类艺术图像分类检索研究的不足。
(2)本发明中设计的卷积神经网络可减少对艺术图像分类人员的专业要求，避免了传统分类算法中复杂的特征提取和数据标注的工作。
(3)本发明中设计的卷积神经网络结构较其他卷积神经网络结构简单，分类准确率高。
附图说明
图1为本发明艺术图像分类方法的流程示意图。
图2为双核压缩激活层DKSE的内部模块示意图。
图3(a)为艺术图像原图。
图3(b)和图3(c)为对图3(a)裁切后得到的两个图块。
具体实施方式
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
如图1所示，本发明基于卷积神经网络的艺术图像分类方法包括如下步骤：
(1)制作图片库。
本实施方式需要对版画、中国画、油画、水粉画和水彩画共5种艺术图像进行分类。
1.1使用网络爬虫技术从艺术网站下载5类艺术图像，请专业艺术生对获取的艺术图像数据进行清洗和筛选，裁剪掉图像中与该类艺术风格不相关的边框，对不符合这5类艺术风格的艺术图像删除。
1.2将分辨率大且风格信息丰富的图像抽取出来，对其进行299×299大小的随机裁切并人工筛选风格信息丰富的图像，得到多张图块，如图3(a)～图3(c)所示，通过裁切对图像数据进行增强处理并将所有图像压缩为299×299×3大小。
1.3将步骤1.2中得到的每类艺术图像的80％的样本作为训练集，将剩下的20％的数据作为验证集；对5个类别编号，版画为1，中国画为2，油画为3，水粉画为4，水彩画为5，创建5个文件夹，分别以1～5编号命名，将图片按类别放入对应的文件夹内，完成标签的制作。
(2)搭建卷积神经网络并进行训练。
卷积神经网络依次由输入层、空洞卷积层D1、深度卷积层DW1、3个深度可分离卷积层DS1～DS3、双核压缩激活层DKSE1、2个深度可分离卷积层DS4～DS5、双核压缩激活层DKSE2、2个深度可分离卷积层DS6～DS7、双核压缩激活层DKSE3、2个深度可分离卷积层DS8～DS9、全局平均池化层P4和全连接层FC1组成。其中：
网络输入层的大小同图片的大小相同为299×299×3。
空洞卷积层D1使用32个3×3×3大小的卷积核，步长为1，膨胀率为2，卷积运算结束后，进行批标准化操作，激活函数为ReLu，ReLu函数定义为：
深度卷积层DW1使用32个3×3大小的卷积核，步长为3，卷积运算结束后，进行批标准化操作，激活函数为ReLu。
深度可分离卷积层DS1包括深度卷积DS1-DW和逐点卷积DS1-PW两个子层，其中深度卷积DS1-DW使用32个3×3大小的卷积核，逐点卷积DS1-PW使用64个1×1×32大小的卷积核，步长均为1，本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
深度可分离卷积层DS2包括深度卷积DS2-DW和逐点卷积DS2-PW两个子层，其中深度卷积DS2-DW使用64个3×3大小的卷积核，步长为2，逐点卷积DS2-PW使用128个1×1×64大小的卷积核，步长为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
深度可分离卷积层DS3包括深度卷积DS3-DW和逐点卷积DS3-PW两个子层，其中深度卷积DS3-DW使用128个3×3大小的卷积核，逐点卷积DS3-PW使用128个1×1×128大小的卷积核，步长均为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
如图2所示，双核压缩激活层DKSE1由并行卷积层C1～C2、全局平均池化层P1、卷积层C3、卷积层C4组成和特征重标定层S1组成，其操作过程如下：
①卷积层C1：使用128个1×1×128大小的卷积核，批标准化和ReLU激活函数，步长为1。
②卷积层C2：使用128个5×5×128大小的卷积核，批标准化和ReLU激活函数，步长为1。
③将卷积层C1和C2的特征图进行融合，公式如下：
U＝U1+U2
其中：U1是卷积层C1操作处理后的特征图，U2是卷积层C2操作处理后的特征图。
④全局平均池化层P1：将融合后的特征图U空间信息压缩到128个通道描述符中，生成描述特征通道信息的统计量S，公式如下：
其中：H和W分别表示特征图U的高和宽，Sc表示统计量S第c个通道的值，Uc(i,j)表示特征图U第c个通道(i,j)处的特征值。
⑤卷积层C3：使用128/r个1×1大小的卷积核、批标准化和ReLU函数进行操作，r为特征图通道降维比例。
⑥卷积层C4：使用128个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，Sigmoid函数公式如下：
其中：x为卷积操作处理后的特征图，y的值在[0,1]之间。
⑦特征重标定层S1：通过以下公式将归一化的特征分别加权映射到并行的卷积层C1和C2的特征图上，并将加权映射后的特征图进行特征融合；
Vc＝u1c·Zc+u2c·Zc
其中：u1c表示特征图U1的第c个通道的特征信息，Zc表示卷积层C4操作处理后的特征图第c个通道的特征信息，u2c表示特征图U2的第c个通道的特征信息，Vc表示融合后特征图第c个通道的特征信息。
深度可分离卷积层DS4包括深度卷积DS4-DW和逐点卷积DS4-PW两个子层，其中深度卷积DS4-DW使用128个3×3大小的卷积核，步长为2，逐点卷积DS4-PW使用256个1×1×128大小的卷积核，步长为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
深度可分离卷积层DS5包括深度卷积DS5-DW和逐点卷积DS5-PW两个子层，其中深度卷积DS5-DW使用256个3×3大小的卷积核，逐点卷积DS5-PW使用256个1×1×256大小的卷积核，步长均为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
双核压缩激活层DKSE2由并行卷积层C5～C6、全局平均池化层P2、卷积层C7、卷积层C8和特征重标定层S2组成。其中，卷积层C5使用256个1×1×256大小的卷积核，卷积层C6使用256个5×5×256大小的卷积核，步长均为1，输出均依次经过批标准化和ReLU函数处理；对卷积层C5和C6的特征图进行特征融合，全局平均池化层P2将融合后的特征图空间信息压缩到256个通道描述符中；卷积层C7使用256/r个1×1大小的卷积核、批标准化和ReLU函数进行操作；卷积层C8使用256个1×1大小的卷积核和Sigmoid函数进行特征归一化处理；特征重标定层S2将归一化的特征分别加权映射到并行卷积层C5、C6的特征图上，并将加权映射后的特征图进行特征融合。
深度可分离卷积层DS6包括深度卷积DS6-DW和逐点卷积DS6-PW两个子层，其中深度卷积DS6-DW使用256个3×3大小的卷积核，步长为2，逐点卷积DS6-PW使用512个1×1×256大小的卷积核，步长为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
深度可分离卷积层DS7包括深度卷积DS7-DW和逐点卷积DS7-PW两个子层，其中深度卷积DS7-DW使用512个3×3大小的卷积核，逐点卷积DS7-PW使用512个1×1×512大小的卷积核，步长均为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
双核压缩激活层DKSE3由并行卷积层C9～C10、全局平均池化层P3、卷积层C11、卷积层C12和特征重标定层S3组成。其中，卷积层C9使用512个1×1×512大小的卷积核，卷积层C10使用512个5×5×512大小的卷积核，步长均为1，输出均依次经过批标准化和ReLU函数处理；对卷积层C9和C10的特征图进行特征融合，全局平均池化层P3将融合后的特征图空间信息压缩到512个通道描述符中；卷积层C11使用512/r个1×1大小的卷积核、批标准化和ReLU函数进行操作；卷积层C12使用512个1×1大小的卷积核和Sigmoid函数进行特征归一化处理；特征重标定层将归一化的特征分别加权映射到并行卷积层C9、C10的特征图上，并将加权映射后的特征图进行特征融合。
深度可分离卷积层DS8包括深度卷积DS8-DW和逐点卷积DS8-PW两个子层，其中深度卷积DS8-DW使用512个3×3大小的卷积核，步长为2，逐点卷积DS6-PW使用1024个1×1×512大小的卷积核，步长为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
深度可分离卷积层DS9包括深度卷积DS9-DW和逐点卷积DS9-PW两个子层，其中深度卷积DS9-DW使用1024个3×3大小的卷积核，逐点卷积DS9-PW使用1024个1×1×1024大小的卷积核，步长均为1；本层中每次卷积运算完成后，均进行一次批标准化和ReLu激活函数操作。
全局平均池化层P4将深度可分离卷积层DS9的特征图空间信息压缩到1024个通道描述符中。
全连接层FC1(输出层)使用5个节点的输出维度，激活函数为Softmax，其计算方法为：
其中：yi为输出结果y中第i个值，本层中i的取值范围为[1,5]，xi为输入数x中的第i个值，本层中n的取值为5。
配置该网络模型，其中采用交叉熵损失函数，优化器为Adam，交叉熵损失函数的计算公式为：
其中：y(i)为第i个事件发生的真实概率值，
为第i个事件发生的估计概率值，m为样本总数，此处的值为32，i的取值范围为[1,32]。
训练卷积神经网络时，采用正向传播和反向传播的方法，将batch_size设置为32，每次按批次对网络进行训练；初始学习率为0.001，通过120次迭代后网络的分类准确率收敛，得到训练好的网络模型。
(3)用训练好的网络模型进行艺术图像分类。
对待分类艺术图像数据集，裁剪图片与该类风格不相关的边框，将图片压缩为299×299×3大小，将处理好的艺术图像输入训练好的网络模型，即可得到艺术图像的类别结果。
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。
Claims (8)
1.一种基于卷积神经网络的艺术图像分类方法，包括如下步骤：
(1)获取大量各类艺术图像，由专业人员对这些图像进行清洗和筛查，并人工为每张图像打上类别标签；
(2)对每张图像进行预处理，从而得到对应的图像数据样本；
(3)将所有样本分为训练集和验证集，搭建卷积神经网络并利用训练集样本对该卷积神经网络进行训练，得到用于艺术图像分类的网络模型；
所述卷积神经网络从输入到输出由输入层、空洞卷积层、深度卷积层、3个深度可分离卷积层DS1～DS3、双核压缩激活层DKSE1、2个深度可分离卷积层DS4～DS5、双核压缩激活层DKSE2、2个深度可分离卷积层DS6～DS7、双核压缩激活层DKSE3、2个深度可分离卷积层DS8～DS9、全局平均池化层P以及全连接层依次连接组成；
所述双核压缩激活层DKSE1～DKSE3均包含四个卷积层C1～C4、全局平均池化层P1以及特征重标定层；其中：双核压缩激活层DKSE1中的卷积层C1使用128个1×1×128大小的卷积核，卷积层C2使用128个5×5×128大小的卷积核，步长均为1，双核压缩激活层DKSE1的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理，进而对卷积层C1和C2处理后得到的特征图进行特征融合，全局平均池化层P1将融合后的特征图空间信息压缩到128个通道描述符中并依次经由卷积层C3和C4进行处理，卷积层C3使用128/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作，卷积层C4使用128个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上，并将加权映射后的特征图进行特征融合后输出，r为特征图通道降维比例；
双核压缩激活层DKSE2中的卷积层C1使用256个1×1×256大小的卷积核，卷积层C2使用256个5×5×256大小的卷积核，步长均为1，双核压缩激活层DKSE2的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理，进而对卷积层C1和C2处理后得到的特征图进行特征融合，全局平均池化层P1将融合后的特征图空间信息压缩到256个通道描述符中并依次经由卷积层C3和C4进行处理，卷积层C3使用256/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作，卷积层C4使用256个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上，并将加权映射后的特征图进行特征融合后输出；
双核压缩激活层DKSE3中的卷积层C1使用512个1×1×512大小的卷积核，卷积层C2使用512个5×5×512大小的卷积核，步长均为1，双核压缩激活层DKSE3的输入分别经卷积层C1和C2各自的卷积核、批标准化和ReLU函数并行处理，进而对卷积层C1和C2处理后得到的特征图进行特征融合，全局平均池化层P1将融合后的特征图空间信息压缩到512个通道描述符中并依次经由卷积层C3和C4进行处理，卷积层C3使用512/r个1×1大小的卷积核、批标准化和ReLU函数进行卷积操作，卷积层C4使用512个1×1大小的卷积核和Sigmoid函数进行特征归一化处理，特征重标定层将归一化的特征分别加权映射到并行卷积层C1和C2输出的特征图上，并将加权映射后的特征图进行特征融合后输出；
(4)将待分类的艺术图像经预处理后输入所述网络模型中，即可得到该艺术图像的分类结果。
2.根据权利要求1所述的艺术图像分类方法，其特征在于：所述步骤(1)中使用网络爬虫技术从艺术网站下载大量各类艺术图像，对于获取到的任一张图像，由专业人员裁剪掉图像中与艺术风格不相关的边框，并根据图像的艺术风格对其打上类别标签，在打标签的过程中对于不相关的类别图像进行筛除。
3.根据权利要求1所述的艺术图像分类方法，其特征在于：所述步骤(2)中对于低分辨率的图像，直接将其压缩至m×m大小，进而基于RGB三通道像素值得到m×m×3大小的图像数据样本；对于高分辨率的图像，以m个像素点为步长将整个图像划分成多个m×m大小的图块；对于每一图块，基于RGB三通道像素值得到其对应m×m×3大小的图像数据样本，m为大于48的自然数。
4.根据权利要求1所述的艺术图像分类方法，其特征在于：所述输入层为m×m×3大小的图像数据样本；所述空洞卷积层使用32个3×3×3大小的卷积核，步长为1，膨胀率为2；所述深度卷积层使用32个3×3大小的卷积核，步长为3；所述全局平均池化层P将深度可分离卷积层DS9输出特征图的空间信息压缩到1024个通道描述符中；所述全连接层使用n个节点作为输出，采用的激活函数为Softmax，n为艺术图像类别数。
5.根据权利要求1所述的艺术图像分类方法，其特征在于：所述深度可分离卷积层DS1～DS9均包含深度卷积和逐点卷积两个子层；其中：深度可分离卷积层DS1的深度卷积子层使用32个3×3大小的卷积核，逐点卷积子层使用64个1×1×32大小的卷积核，步长均为1；深度可分离卷积层DS2的深度卷积子层使用64个3×3大小的卷积核，步长为2，逐点卷积子层使用128个1×1×64大小的卷积核，步长为1；深度可分离卷积层DS3的深度卷积子层使用128个3×3大小的卷积核，逐点卷积子层使用128个1×1×128大小的卷积核，步长均为1；深度可分离卷积层DS4的深度卷积子层使用128个3×3大小的卷积核，步长为2，逐点卷积子层使用256个1×1×128大小的卷积核，步长为1；深度可分离卷积层DS5的深度卷积子层使用256个3×3大小的卷积核，逐点卷积子层使用256个1×1×256大小的卷积核，步长均为1；深度可分离卷积层DS6的深度卷积子层使用256个3×3大小的卷积核，步长为2，逐点卷积子层使用512个1×1×256大小的卷积核，步长为1；深度可分离卷积层DS7的深度卷积子层使用512个3×3大小的卷积核，逐点卷积子层使用512个1×1×512大小的卷积核，步长均为1；深度可分离卷积层DS8的深度卷积子层使用512个3×3大小的卷积核，步长为2，逐点卷积子层使用1024个1×1×512大小的卷积核，步长为1；深度可分离卷积层DS9的深度卷积子层使用1024个3×3大小的卷积核，逐点卷积子层使用1024个1×1×1024大小的卷积核，步长均为1。
6.根据权利要求5所述的艺术图像分类方法，其特征在于：所述空洞卷积层、深度卷积层、深度卷积子层、逐点卷积子层的输出均依次经批标准化和ReLu函数处理。
7.根据权利要求1所述的艺术图像分类方法，其特征在于：所述步骤(3)中对卷积神经网络进行训练过程中采用交叉熵损失函数和Adam优化器通过正向传播和反向传播的方式按批次对网络进行训练。
8.根据权利要求1所述的艺术图像分类方法，其特征在于：所述步骤(3)中当卷积神经网络训练完成后，利用验证集样本对其进行验证以及参数微调，从而最终确立用于艺术图像分类的网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910661643.3A CN110427990B (zh) | 2019-07-22 | 2019-07-22 | 一种基于卷积神经网络的艺术图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910661643.3A CN110427990B (zh) | 2019-07-22 | 2019-07-22 | 一种基于卷积神经网络的艺术图像分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110427990A CN110427990A (zh) | 2019-11-08 |
| CN110427990B true CN110427990B (zh) | 2021-08-24 |
Family
ID=68411683
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910661643.3A Active CN110427990B (zh) | 2019-07-22 | 2019-07-22 | 一种基于卷积神经网络的艺术图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110427990B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111008924B (zh) * | 2019-12-02 | 2023-09-12 | 西安交通大学深圳研究院 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN111488915B (zh) * | 2020-03-17 | 2023-04-11 | 天津大学 | 一种用于中国画分类的端到端的多任务特征融合方法 |
| CN111428876B (zh) * | 2020-03-18 | 2022-08-23 | 广西师范大学 | 基于自步学习的混合空洞卷积神经网络的图像分类方法 |
| CN111524060B (zh) * | 2020-03-31 | 2023-04-14 | 厦门亿联网络技术股份有限公司 | 一种实时人像背景虚化的系统、方法、存储介质和设备 |
| CN112001431B (zh) * | 2020-08-11 | 2022-06-28 | 天津大学 | 一种基于梳状卷积的高效图像分类方法 |
| CN111783974A (zh) * | 2020-08-12 | 2020-10-16 | 成都佳华物链云科技有限公司 | 模型构建及图像处理方法、装置、硬件平台及存储介质 |
| CN112183399A (zh) * | 2020-09-30 | 2021-01-05 | 珠海欧比特宇航科技股份有限公司 | 基于可分离卷积和密集连接的高光谱图像分类方法及介质 |
| CN112418410A (zh) * | 2020-12-14 | 2021-02-26 | 上海卓繁信息技术股份有限公司 | 多目标检测方法、装置和存储介质 |
| CN112686329A (zh) * | 2021-01-06 | 2021-04-20 | 西安邮电大学 | 基于双核卷积特征提取的电子喉镜图像分类方法 |
| CN113065426B (zh) * | 2021-03-19 | 2023-10-17 | 浙江理工大学 | 基于通道感知的手势图像特征融合方法 |
| CN113420795B (zh) * | 2021-06-07 | 2024-04-26 | 核工业北京地质研究院 | 一种基于空洞卷积神经网络的矿物光谱分类方法 |
| CN113486956B (zh) * | 2021-07-07 | 2022-03-25 | 山东力聚机器人科技股份有限公司 | 目标分割系统及其训练方法、目标分割方法及设备 |
| CN113688931B (zh) * | 2021-09-01 | 2024-03-29 | 什维新智医疗科技(上海)有限公司 | 一种基于深度学习的超声图像筛选方法和装置 |
| CN116721302B (zh) * | 2023-08-10 | 2024-01-12 | 成都信息工程大学 | 一种基于轻量级网络的冰雪晶粒子图像分类方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109063778A (zh) * | 2018-08-09 | 2018-12-21 | 中共中央办公厅电子科技学院 | 一种图像美学质量确定方法及系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102054178B (zh) * | 2011-01-20 | 2016-08-17 | 北京联合大学 | 一种基于局部语义概念的国画图像识别方法 |
| CN102147867B (zh) * | 2011-05-20 | 2012-12-12 | 北京联合大学 | 一种基于主体的国画图像和书法图像的识别方法 |
| CN103761295B (zh) * | 2014-01-16 | 2017-01-11 | 北京雅昌文化发展有限公司 | 基于图片自动分类的艺术类图片的定制化特征量提取方法 |
| CN110537204A (zh) * | 2017-06-28 | 2019-12-03 | 渊慧科技有限公司 | 使用分割和分类神经网络的可泛化医学图像分析 |
| CN109840537A (zh) * | 2017-11-29 | 2019-06-04 | 南京大学 | 一种基于交叉对比神经网络的图像多任务分类方法 |
| JP6896608B2 (ja) * | 2017-12-27 | 2021-06-30 | 富士フイルム株式会社 | 情報提示装置、方法およびプログラム |
| CN109447097B (zh) * | 2018-08-23 | 2021-01-08 | 浙江理工大学 | 一种基于卷积神经网络的面料主成分检测方法 |
| CN109711481B (zh) * | 2019-01-02 | 2021-09-10 | 京东方艺云科技有限公司 | 用于画作多标签识别的神经网络、相关方法、介质和设备 |
-
2019
- 2019-07-22 CN CN201910661643.3A patent/CN110427990B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805188A (zh) * | 2018-05-29 | 2018-11-13 | 徐州工程学院 | 一种基于特征重标定生成对抗网络的图像分类方法 |
| CN109063778A (zh) * | 2018-08-09 | 2018-12-21 | 中共中央办公厅电子科技学院 | 一种图像美学质量确定方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110427990A (zh) | 2019-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110427990B (zh) | 一种基于卷积神经网络的艺术图像分类方法 | |
| CN108562589B (zh) | 一种对磁路材料表面缺陷进行检测的方法 | |
| CN111753828B (zh) | 一种基于深度卷积神经网络的自然场景水平文字检测方法 | |
| US9129192B2 (en) | Semantic object proposal generation and validation | |
| CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
| EP1791082B1 (en) | Feature extraction using pixel cues and object cues | |
| CN109615604B (zh) | 基于图像重构卷积神经网络的零件外观瑕疵检测方法 | |
| CN110751072B (zh) | 基于知识嵌入图卷积网络的双人交互识别方法 | |
| CN112613097A (zh) | 一种基于计算机视觉的bim快速化建模方法 | |
| CN108492294B (zh) | 一种图像色彩和谐程度的评估方法及装置 | |
| CN108595558B (zh) | 一种数据均衡策略和多特征融合的图像标注方法 | |
| CN111914902B (zh) | 一种基于深度神经网络的中药识别与表面缺陷检测方法 | |
| CN113221956B (zh) | 基于改进的多尺度深度模型的目标识别方法及装置 | |
| CN109829924A (zh) | 一种基于主体特征分析的图像质量评价方法 | |
| CN111160389A (zh) | 一种基于融合vgg的岩性识别方法 | |
| CN111932645B (zh) | 基于生成对抗网络gan自动生成水墨画的方法 | |
| CN111932639B (zh) | 一种基于卷积神经网络的不均衡缺陷样本的检测方法 | |
| CN109815653A (zh) | 一种基于深度学习的pdf文本水印提取及比对方法 | |
| CN107633264B (zh) | 基于空谱多特征极限学习的线性共识集成融合分类方法 | |
| CN116310466A (zh) | 基于局部无关区域筛选图神经网络的小样本图像分类方法 | |
| CN111523586A (zh) | 一种基于噪声可知的全网络监督目标检测方法 | |
| CN111652307A (zh) | 基于卷积神经网络的红木家具智能无损鉴定方法及装置 | |
| CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 | |
| CN111461135A (zh) | 利用卷积神经网络集成的数字图像局部滤波取证方法 | |
| CN111046745B (zh) | 基于软块对角的多视聚类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230926 Address after: No. 998, Wenyi West Road, Yuhang District, Hangzhou City, Zhejiang Province Patentee after: HANGZHOU HUICUI INTELLIGENT TECHNOLOGY CO.,LTD. Address before: 310018 No. 2 street, Baiyang street, Hangzhou economic and Technological Development Zone, Zhejiang 928 Patentee before: ZHEJIANG SCI-TECH University |