CN111582331A - 一种基于卷积神经网络的绘画作品作者图像识别方法 - Google Patents

一种基于卷积神经网络的绘画作品作者图像识别方法 Download PDF

Info

Publication number
CN111582331A
CN111582331A CN202010326582.8A CN202010326582A CN111582331A CN 111582331 A CN111582331 A CN 111582331A CN 202010326582 A CN202010326582 A CN 202010326582A CN 111582331 A CN111582331 A CN 111582331A
Authority
CN
China
Prior art keywords
layer
output
training
block
author
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010326582.8A
Other languages
English (en)
Inventor
齐冬莲
白瑞
闫云凤
刘俊宏
徐文渊
吴越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yuanjian Information Technology Co ltd
Zhejiang University ZJU
Original Assignee
Hangzhou Yuanjian Information Technology Co ltd
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yuanjian Information Technology Co ltd, Zhejiang University ZJU filed Critical Hangzhou Yuanjian Information Technology Co ltd
Priority to CN202010326582.8A priority Critical patent/CN111582331A/zh
Publication of CN111582331A publication Critical patent/CN111582331A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的绘画作品作者图像识别方法。采集多位画家的绘画作品数字化后获得图片，以画家作为类别标签，构成训练集；使用ImageNet数据集做预处理后训练密连接网络DenseNet获得预训练模型；在预训练模型中添加深浅层特征融合部分构成多层特征融合的密连接网络；利用训练集经过预处理后对多层特征融合密连接网络进行再次训练得到识别绘画作品作者的网络模型；将待测绘画作品作预处理后输入网络模型中输出得到绘画作品的识别作者结果。本发明能够实现绘画作品作者的自动识别，具有较高的准确率。

Description

一种基于卷积神经网络的绘画作品作者图像识别方法
技术领域
本发明公开了一种基于卷积神经网络的绘画作品作者图像识别方法。
背景技术
绘画艺术在世界文明史上具有重要的地位。随着世界各地的数字化博物馆的发展，开始有了大量的数字化绘画作品馆藏。智能手机的快速普及使得对绘画作品做自动化分析的需求更加迫切。而对作品的作者识别是这其中一个重要的部分，对艺术研究者来说有一个自动化工具可以告诉他们画作的作者或者与相似的画家对于减轻工作量甚至发现以前未知的联系很有帮助。这样的自动化工具还可以进一步发展为针对个人的绘画推荐系统。
早期主要使用传统的图像处理的特征及各种分类器处理该问题但这种方法效果不佳且不是端对端方法不利于自动化。近些年也有人使用深度学习在绘画作品识别中取得一定效果，但是效果并不是十分理想。传统的卷积神经网络就是对图像做一层层的特征提取与筛选，在整个学习过程中不同的层对应的是图像不同级别的特征，第一层是边，接着是角，点等特征，随着网络的加深，更深的层提取到的是更加抽象的特征，直到得到图像整体的语义特征。一般情况下加深网络的深度能够使分类的准确度提高。
然而对于绘画作品的作者识别任务来讲，深层的内容语义特征固然重要，但是不同画家在画作的边缘、纹理和色彩等方面往往有重要区别，因此针对绘画作品缺乏有效的方式进行准确识别。
发明内容
为了解决背景技术中的问题，本发现提出一种基于卷积神经网络的绘画作品作者图像识别方法，能通过图像识别的技术方案高效识别绘画作品的作者。
本发明的技术方案包括以下步骤：
1)采集多位画家的绘画作品数字化后获得图片，以画家作为类别标签，构成训练集和测试集；
所述的训练集为多名不同画家的不同绘画风格的绘画作品数字化后的图片。
2)使用ImageNet数据集做预处理后训练密连接网络DenseNet获得预训练模型；
3)在步骤2)获得的预训练模型中添加深浅层特征融合部分构成多层特征融合的密连接网络(Multi-layer Feature Fusion DenseNet，MFDN)；
4)利用步骤1)的训练集经过步骤2)中与ImageNet数据集同样的预处理后对步骤3)的多层特征融合密连接网络(MFDN网络)进行再次训练得到识别绘画作品作者的网络模型；
5)针对待测的绘画作品做判别：将待测绘画作品作步骤2)中与ImageNet数据集同样的预处理，将预处理后的待测绘画作品输入步骤4)得到的网络模型中输出得到绘画作品的识别作者结果。
所述步骤2)中的预处理是将每张图片的RGB三个通道的每个像素值分别减去各自通道下的均值再乘一个缩放因子的处理。
具体实施中，RGB三个通道的像素值均值分别为126.680、116.779和103.939；缩放因子为0.017。每个像素值处理分别为：(XR-126.680)*0.017、(XG-116.779)*0.017、(XB-103.939)*0.017。
如图2所示，所述步骤3)中所使用的多层特征融合密连接网络结构包括输入层、输出层、一个卷积层(Convolution)、多个密连接块(DenseBlock)、多个过渡块(Tansition)、多个融合块(MergingBlock)、一个全局池化层(Global Pool)，一个全连接层；
输入层连接到卷积层的输入，卷积层的输出依次连接多个密连接块，最后一个密连接块的输出连接到全局池化层，全局池化层输出连接一个全连接层输出层，激活函数为softmax，相邻的密连接块之间连接有过渡块，即前一个密连接块的输出经过渡块连接到后一个密连接块的输入，除了最后一个密连接块以外的其他密连接块和卷积层的输出均经一个融合块连接到全局池化层的另一个输入，全局池化层的输出连接输出层；
每个密连接块包括多个依次顺序连接的子卷积层，每个子卷积层均接收自身前面每一个子卷积层输出的特征图和密连接块的原始输入叠加作为输入；卷积层输出所连接的融合块为第一融合块，是将卷积层输出的特征图通过卷积压缩，再池化处理成和最后一个密连接块输出的特征图尺寸相一致；除了第一融合块的其他融合块，是先从密连接块输出中提取出其中每个密连接块新生成的特征图，再将这些特征图通过卷积压缩，最后池化处理成和最后一个密连接块输出的特征图尺寸一致；过渡块是将输入进行卷积压缩再进行池化处理；全局池化层是各个融合块的输出和最后一个密连接块的输出叠加再做全局池化，再将全局池化后的结果连接到输出层做结果判别。从而将每个密连接块得到的所有特征图经过融合块后连接到最终层共同做出判别。
所述的融合块MergingBlock具体如图3：首先通过slice层将密连接块新产生的特征图分离出来，接着通过一个1×1的卷积层用于控制浅层特征抽取时的压缩比例。在特征融合块中卷积层的输出通道数为c*m，m为每个密连接块分离出的特征图数量，c为特征融合块的压缩因子。后经过相应的池化层，使特征抽取块的输出尺寸与最后一层的特征图一致以便实现并联操作。
所述步骤4)中，采用随机梯度下降法进行训练，训练中的涅斯捷罗夫动量(Nesterov momentum)设置为0.9，权重衰减(weight_decay)为10-6，批尺寸(batchsize)为32，初始学习率为10-3，最小学习率设置为10-4，训练使得网络模型中的参数微调。
所述步骤4)中，建立验证集不断验证，当训练中连续迭代10代(epoch)且验证集的损失函数值不下降时，学习率设置为原来的一半；并且在训练中连续迭代15代(epoch)验证集的准确率没有上升的情况下，停止训练。
本发明具有的有益的效果是：
相比于早期主要使用传统的图像处理的特征及各种分类器处理该问题，本方法准确率更高且是端对端方法有利于自动化。
本发明深层地挖掘了不同画家在画作的边缘、纹理和色彩等方面的重要区别，从在CNN的浅层特征中进行了网络结构设计和处理，将深层与浅层特征融合，能够加强最终对画作的识别，提高了准确率。
综合来说，本发明能够实现绘画作品作者的自动识别，具有较高的准确率。
附图说明
图1为具体实施例的画家的绘画作品。左侧两幅为IlyaRepin,John SingerSargent的作品，右侧两幅为Pablo Picasso不同时期作品。
图2为多层特征融合密连接网络结构示意图。
图3为融合块的结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
按照本发明发明内容完整实施的实施例如下：
1)采集多位画家的绘画作品数字化后获得图片，以画家作为类别标签，构成训练集；
2)使用ImageNet数据集做预处理后训练密连接网络DenseNet获得预训练模型；
3)在步骤2)获得的预训练模型中添加深浅层特征融合部分构成多层特征融合的密连接网络；
4)利用步骤1)的训练集经过步骤2)中与ImageNet数据集同样的预处理后对步骤3)的多层特征融合密连接网络进行再次训练得到识别绘画作品作者的网络模型；
5)针对待测的绘画作品做判别：将待测绘画作品作步骤2)中与ImageNet数据集同样的预处理，将预处理后的待测绘画作品输入步骤4)得到的网络模型中输出得到绘画作品的识别作者结果。
本实施例中选用wikiart作为数据集，作品从wikiorg.org下载得到，并且这些作品的标签也是由专家标注而得。
选用了23位画家的共8824幅作品作为的数据集，并且每个画家的作品都是380幅左右。将数据集划分为训练集和测试集两部分，划分比例为训练集比测试集等于4比1。图1为数据集中的4幅作品。
本方法与当前该领域中最先进方法对比结果如表1：
表1各方法绘画作品作者识别结果表
Experiment Top1 error rate(％)
Saleh et al[1] 36.94
Tan et al[2] 23.89
Huang X[3] 17.32
MFDN 13.17
由此可见，本发明能够实现绘画作品作者的自动识别功能并且具有较高的准确率。
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (5)

1.一种基于卷积神经网络的绘画作品作者图像识别方法，包括以下步骤：
1)采集多位画家的绘画作品数字化后获得图片，以画家作为类别标签，构成训练集；
2)使用ImageNet数据集做预处理后训练密连接网络DenseNet获得预训练模型；
3)在步骤2)获得的预训练模型中添加深浅层特征融合部分构成多层特征融合的密连接网络；
4)利用步骤1)的训练集经过步骤2)中与ImageNet数据集同样的预处理后对步骤3)的多层特征融合密连接网络进行再次训练得到识别绘画作品作者的网络模型；
5)针对待测的绘画作品做判别：将待测绘画作品作步骤2)中与ImageNet数据集同样的预处理，将预处理后的待测绘画作品输入步骤4)得到的网络模型中输出得到绘画作品的识别作者结果。
2.根据权利要求1所述的一种基于卷积神经网络的绘画作品作者图像识别方法，其特征在于：所述步骤2)中的预处理是将每张图片的RGB三个通道的每个像素值分别减去各自通道下的均值再乘一个缩放因子的处理。
3.根据权利要求1所述的一种基于卷积神经网络的绘画作品作者图像识别方法，其特征在于：所述步骤3)中所使用的多层特征融合密连接网络结构包括输入层、输出层、一个卷积层、多个密连接块、多个过渡块、多个融合块、一个全局池化层，一个全连接层；输入层连接到卷积层的输入，卷积层的输出依次连接多个密连接块，最后一个密连接块的输出连接到全局池化层，全局池化层输出连接一个全连接层，激活函数为softmax，相邻的密连接块之间连接有过渡块，除了最后一个密连接块以外的其他密连接块和卷积层的输出均经一个融合块连接到全局池化层的另一个输入，全局池化层的输出连接输出层；每个密连接块包括多个依次顺序连接的子卷积层，每个子卷积层均接收自身前面每一个子卷积层输出的特征图和密连接块的原始输入叠加作为输入；卷积层输出所连接的融合块为第一融合块，是将卷积层输出的特征图通过卷积压缩，再池化处理成和最后一个密连接块输出的特征图尺寸相一致；除了第一融合块的其他融合块，是先从密连接块输出中提取出其中每个密连接块新生成的特征图，再将这些特征图通过卷积压缩，最后池化处理成和最后一个密连接块输出的特征图尺寸一致；过渡块是将输入进行卷积压缩再进行池化处理；全局池化层是各个融合块的输出和最后一个密连接块的输出叠加再做全局池化，再将全局池化后的结果连接到输出层。
4.根据权利要求1所述的一种基于卷积神经网络的绘画作品作者图像识别方法，其特征在于：所述步骤4)中，采用随机梯度下降法进行训练，训练中的涅斯捷罗夫动量设置为0.9，权重衰减为10-6，批尺寸为32，初始学习率为10-3，最小学习率设置为10-4。
5.根据权利要求1所述的一种基于卷积神经网络的绘画作品作者图像识别方法，其特征在于：所述步骤4)中，还建立验证集不断验证，当训练中连续迭代10代(epoch)且验证集的损失函数值不下降时，学习率设置为原来的一半；并且在训练中连续迭代15代(epoch)验证集的准确率没有上升的情况下，停止训练。
CN202010326582.8A 2020-04-23 2020-04-23 一种基于卷积神经网络的绘画作品作者图像识别方法 Pending CN111582331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010326582.8A CN111582331A (zh) 2020-04-23 2020-04-23 一种基于卷积神经网络的绘画作品作者图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010326582.8A CN111582331A (zh) 2020-04-23 2020-04-23 一种基于卷积神经网络的绘画作品作者图像识别方法

Publications (1)

Publication Number Publication Date
CN111582331A true CN111582331A (zh) 2020-08-25

Family

ID=72125252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010326582.8A Pending CN111582331A (zh) 2020-04-23 2020-04-23 一种基于卷积神经网络的绘画作品作者图像识别方法

Country Status (1)

Country Link
CN (1) CN111582331A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668318A (zh) * 2021-03-15 2021-04-16 常州微亿智造科技有限公司 基于时间序列的作品作者识别方法
CN112926321A (zh) * 2021-04-12 2021-06-08 常州微亿智造科技有限公司 一种基于神经网络框架的文学作品作者识别方法
CN116010636A (zh) * 2022-12-01 2023-04-25 广东工业大学 一种基于美术图像标签的检索推送方法及其用途

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126507A (zh) * 2019-12-30 2020-05-08 国网北京市电力公司 一种基于卷积神经网络的绘画作品作者识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126507A (zh) * 2019-12-30 2020-05-08 国网北京市电力公司 一种基于卷积神经网络的绘画作品作者识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RUI BAI,ET AL.: "Author recognition of Fine-Art paintings", 《PROCEEDINGS OF THE 38TH CHINESE CONTROL CONFERENCE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668318A (zh) * 2021-03-15 2021-04-16 常州微亿智造科技有限公司 基于时间序列的作品作者识别方法
CN112926321A (zh) * 2021-04-12 2021-06-08 常州微亿智造科技有限公司 一种基于神经网络框架的文学作品作者识别方法
CN116010636A (zh) * 2022-12-01 2023-04-25 广东工业大学 一种基于美术图像标签的检索推送方法及其用途
CN116010636B (zh) * 2022-12-01 2023-08-11 广东工业大学 一种基于美术图像标签的检索推送方法及其用途

Similar Documents

Publication Publication Date Title
CN108038853B (zh) 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法
CN110543878B (zh) 一种基于神经网络的指针仪表读数识别方法
CN111582331A (zh) 一种基于卷积神经网络的绘画作品作者图像识别方法
CN107844795B (zh) 基于主成分分析的卷积神经网络特征提取方法
WO2016165082A1 (zh) 基于深度学习的图像隐写检测方法
CN109509187B (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN108961220B (zh) 一种基于多层卷积特征融合的图像协同显著性检测方法
CN105354581B (zh) 融合颜色特征与卷积神经网络的彩色图像特征提取方法
CN110348376A (zh) 一种基于神经网络的行人实时检测方法
CN105760835A (zh) 一种基于深度学习的步态分割与步态识别一体化方法
CN105678344A (zh) 一种电力仪表设备的智能分类方法
CN108108751A (zh) 一种基于卷积多特征和深度随机森林的场景识别方法
CN107016396B (zh) 一种装配连接件图像特征深度学习与识别方法
CN109615604A (zh) 基于图像重构卷积神经网络的零件外观瑕疵检测方法
CN109946304A (zh) 基于特征匹配的零件表面缺陷在线检测系统及检测方法
CN104778238B (zh) 一种视频显著性的分析方法及装置
CN111598854B (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN109146873A (zh) 一种基于学习的显示屏缺陷智能检测方法及装置
Musicco et al. Automatic point cloud segmentation for the detection of alterations on historical buildings through an unsupervised and clustering-based Machine Learning approach
CN115223054A (zh) 一种基于分区聚类与卷积的遥感影像变化检测方法
CN104881668B (zh) 一种基于代表性局部模式的图像指纹提取方法及系统
CN116029979A (zh) 一种基于改进Yolov4的布料瑕疵视觉检测方法
CN110443303B (zh) 基于图像分割和分类的煤岩显微组分智能识别方法
CN115797808A (zh) 一种无人机巡检缺陷图像的识别方法、系统、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200825

RJ01 Rejection of invention patent application after publication