CN109271544A - 自动挑选画家代表作的方法及装置 - Google Patents
自动挑选画家代表作的方法及装置 Download PDFInfo
- Publication number
- CN109271544A CN109271544A CN201810759512.4A CN201810759512A CN109271544A CN 109271544 A CN109271544 A CN 109271544A CN 201810759512 A CN201810759512 A CN 201810759512A CN 109271544 A CN109271544 A CN 109271544A
- Authority
- CN
- China
- Prior art keywords
- paint
- masterpiece
- style
- portfolio
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 239000003973 paint Substances 0.000 claims abstract description 94
- 238000010422 painting Methods 0.000 claims abstract description 40
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 239000012141 concentrate Substances 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims 1
- 238000003475 lamination Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 19
- 230000000694 effects Effects 0.000 description 16
- 238000012546 transfer Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数字图像处理技术领域，具体涉及一种自动挑选画家代表作的方法及装置，旨在解决如何从画家的多个作品中选出最具代表性画作的问题，为此目的，本发明的自动挑选画家代表作的方法包括：获取目标画家的作品集；利用预设的卷积神经网络提取作品集中每个绘画作品的风格‑内容特征；利用预设的连续性鲁棒聚类方法对当前作品集中每个绘画作品的风格‑内容特征进行聚类，根据聚类结果获取多个聚类类别对应的画作集合；利用预设的拒识算法更新所述画作集合并且根据更新后的画作集合获取代表作集合；重复聚类和拒识的过程直至满足预设的停止条件。基于本发明的方法及装置可以快速准确地从画家的作品集中自动选出最具代表性的作品。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种自动挑选画家代表作的方法及装置。
背景技术
随着数字图像处理技术的迅速发展，可以很容易地在互联网上找到数以百万计的关于绘画艺术的数字图像，这使得计算机辅助绘画分析更加符合社会需求，也方便了希望了解艺术作品的普通人。在过去几年中，研究人员在针对各种任务的艺术品自动分析方面取得了巨大进步，如识别西方绘画、推断绘画风格、区分真品和赝品、自动生成特定风格的艺术作品等。此外，通过使用图像处理以及深度学习技术，科学家们也提出了很多自动分析图片的方法。
但是，目前的自动图片分析方法中还没有能够解决如何以风格为导向的自动选取画家代表作的问题。作为自动艺术绘画分析的一个特例，以风格为导向的代表作选择侧重于探索一位艺术家的所有绘画，并旨在选择具体的视觉艺术风格。事实上，沉浸在艺术绘画中的艺术家倾向于以自己的风格表达物体或场景。然而，来自艺术家的绘画的外部形式和技术在其所有绘画作品中可能会有所不同。例如用户想要了解更多关于梵高艺术家画作的图像，并使用“梵高”作为关键词搜索。结果页面中会包含梵高的许多著名作品，但风格高度重叠，很难让用户了解梵高在各个不同时期的绘写风格和技巧。因此，在分析数字艺术画时，分析一位艺术家的绘画事业中的偏好演变以及发现多件艺术作品来表现艺术家的创作特征至关重要。
基于此，本发明提供了一种自动挑选画家代表作的方法及装置，通过机器学习方法以及神经网络算法，为用户自动地挑选画家的代表作。
发明内容
为了解决现有技术中的上述问题，即为了解决如何从画家的多个作品中选出最具代表性画作的问题，本发明第一方面，提供了一种自动挑选画家代表作的方法，包括：
步骤S1：获取目标画家的作品集，所述作品集包括所述目标画家的多个绘画作品；
步骤S2：利用预设的卷积神经网络提取所述作品集中每个绘画作品的风格-内容特征；
步骤S3：利用预设的连续性鲁棒聚类方法对当前作品集中每个绘画作品的风格-内容特征进行聚类，根据聚类结果获取多个聚类类别对应的画作集合；
步骤S4：利用预设的拒识算法更新所述画作集合并且根据更新后的画作集合获取代表作集合；
步骤S5：重复执行步骤S3-步骤S4直至满足预设的停止条件；
其中，所述画作集合包括相应聚类类别对应的多个绘画作品，所述代表作集合包括每个所述画作集合对应的绘画作品代表作。
进一步地，本发明提供的一个优选技术方案为：
所述拒识算法是基于贝叶斯分类算法的画作识别拒识算法；“利用预设的拒识算法更新所述画作集合并且根据更新后的画作集合获取代表作集合”的步骤包括：
利用贝叶斯分类算法计算每个所述画作集合中每个绘画作品属于当前聚类类别的概率；
分别对每个所述绘画作品对应的概率与预设的概率阈值进行比较并且根据比较结果选择性地调整所述每个绘画作品所属的聚类类别；
获取每个所述聚类类别的聚类中心对应的绘画作品并且根据所获取的绘画作品确定所述代表作集合。
进一步地，本发明提供的一个优选技术方案为：
“利用贝叶斯分类算法计算每个所述画作集合中每个绘画作品属于当前聚类类别的概率”的步骤包括：
按下式所示的方法计算所述每个绘画作品属于当前聚类类别的概率：
其中，所述P(ui|M)为第M个聚类类别中第i个绘画作品对应的风格-内容特征ui的概率，所述P(M)为第M个聚类类别的概率，所述P(ui)为第i个绘画作品对应的风格-内容特征ui的概率；
所述M类类条件概率密度分布如下式所示：
其中，所述μM为第M个聚类类别对应的风格-内容特征的均值，所述∑M为第M个聚类类别对应的风格-内容特征的协方差矩阵，所述D为利用所述风格-内容特征预先构建的特征向量的维度，所述T为转置运算。
进一步地，本发明提供的一个优选技术方案为：
所述概率阈值包括第一概率阈值和第二概率阈值；“分别对每个所述绘画作品对应的概率与预设的概率阈值进行比较并且根据比较结果选择性地调整所述每个绘画作品所属的聚类类别”的步骤包括：
若所述P(M|ui)小于等于所述第一概率阈值，则将所述绘画作品ui从所述作品集中移除；
若所述P(M|ui)与P(M'|ui)之差的绝对值小于等于所述第二概率阈值，则将所述绘画作品ui从所述作品集中移除；
其中，所述P(M'|ui)为第i个绘画作品对应的风格-内容特征ui属于第M'个聚类类别的概率。
进一步地，本发明提供的一个优选技术方案为：
所述卷积神经网络包括多个卷积层“利用预设的卷积神经网络提取所述作品集中每个绘画作品的风格-内容特征”的步骤包括：
获取所述每个绘画作品在特定卷积层对应的所有特征图并且根据所述特征图获取第一特征向量；
获取所述特定卷积层对应的特征图之间的相关性特征并根据所述相关性特征获取第二特征向量；
根据所述第一特征向量和第二特征向量获取所述风格-内容特征。
进一步地，本发明提供的一个优选技术方案为：
“获取所述特定卷积层对应的特征图之间的相关性特征”的步骤包括：
按下式所示的方法计算所述特征图之间的相关性特征：
其中，所述Cj为所述卷积神经网络中第j层卷积层对应的卷积核个数，所述Hj为所述第j层卷积层对应的特征图高度，所述Wj为所述第j层卷积层对应的特征图宽度，所述Fj(x)h,w,c为所述第j层卷积层中第c个卷积核对应的特征图中第h行第w列的像素值；所述Fj(x)h,w,c'为第j层卷积层中第c'个卷积核对应的特征图中第h行第w列的像素值。
进一步地，本发明提供的一个优选技术方案为：
“利用预设的连续性鲁棒聚类方法对当前作品集中每个绘画作品的风格-内容特征进行聚类”的步骤包括：
按下式所所示的目标函数，对所述作品集进行聚类：
其中，所述为所述作品集中第i个绘画作品对应的风格-内容特征；所述λ和ωp，q分别为预设的平衡参数；所述
K＝{k1,k2,...,kn}为代表作集合，所述kn为所述代表作集合中第n个代表作的风格-内容特征，所述ki为所述代表作集合中第i个代表作的风格-内容特征，kp为所述代表作集合中第p个代表作的风格-内容特征，kq为所述代表作集合中第q个代表作的风格-内容特征；所述ε是预设的数据连接图中所有数据连接所构成的连接集合，所述数据连接图是根据所述作品集中每个绘画作品的风格-内容特征所构建的聚类图，所述数据连接表示两个相关绘画作品的风格-内容特征在所述数据连接图上对应的数据关联关系；所述L为利用所述数据连接图中每个数据连接的预设的辅助变量所构建的辅助变量集合，所述(p,q)为所述数据连接图中第p个代表作的风格-内容特征kp与第q个代表作的风格-内容特征kq之间的数据连接，所述lp,q为所述数据连接(p,q)的辅助标量；所述所述μ为预设的尺度参数，所述ψ表示惩罚函数。
进一步地，本发明提供的一个优选技术方案为：
所述停止条件包括：重复执行步骤S3-步骤S4的次数达到设定的重复次数，或拒识的绘画作品数量小于设定的数量阈值，或拒识率小于设定的比例阈值；
其中，所述拒识的绘画作品为基于所述拒识算法从所述作品集中移除的绘画作品；所述拒识率为基于所述拒识算法从所述作品集中移除的绘画作品数量除以所述作品集中所有绘画作品数量得到的比值。
本发明的第二方面，还提供了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的自动挑选画家代表作的方法。
本发明的第三方面，该提供了一种控制装置，包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现上述的自动挑选画家代表作的方法。
与最接近的现有技术相比，上述技术方案至少具有如下有益效果：
本发明采用拒识算法从聚类类别中移除异样或易混淆的绘画作品实现对聚类作品集的更新，可以在聚类作品集得到更为准确的代表性作品；
本发明基于每个绘画作品的风格-内容特征并且采用连续性鲁棒聚类方法进行聚类，可以快速解开高维特征空间中的大规模数据，算法快捷、易于使用。
附图说明
图1是本发明实施例中一种自动挑选画家代表作方法的主要步骤示意图；
图2是本发明实施例中“梵高”的一个作品集及代表作图像示意图；
图3是本发明实施例中拒识算法原理的坐标示意图；
图4是本发明实施例中基于本发明方法选取的梵高的代表性作品集合示意图；
图5是本发明实施例中基于本发明方法选取的莫奈的代表性作品集合示意图；
图6是本发明实施例中基于梵高不同代表作作为风格图片得到的风格转移的效果对比示意图；
图7是本发明实施例中基于Francis Picabia绘画作品进行聚类和风格转移的效果对比示意图；
图8是本发明实施例中基于Paul cezanne绘画作品进行聚类和风格转移的效果对比示意图；
图9是本发明实施例中基于本发明的聚类算法与Kmeans算法聚类效果对比示意图；
图10是本发明实施例中基于K均值聚类的混淆矩阵示意图；
图11是本发明实施例中基于凝聚聚类的混淆矩阵示意图；
图12是本发明实施例中基于谱聚聚类的混淆矩阵示意图；
图13是本发明实施例中基于鲁棒连续聚类的混淆矩阵示意图；
图14是本发明实施例中基于本发明聚类的混淆矩阵示意图；
图15是本发明实施例中第一概率阈值为30％时的混淆矩阵比较示意图；
图16是本发明实施例中第一概率阈值为40％时的混淆矩阵比较示意图；
图17是本发明实施例中第一概率阈值为50％时的混淆矩阵比较示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
为了方便用户欣赏一名画家的所有风格的作品，了解画家不同时期的绘画技巧，本发明实施例提供了一种自动挑选画家代表作的方法，该方法主要分为三部分：提取图片特征，通过聚类得到原始结果，通过拒识机制更新代表作集合。提取图片特征时，提取的特征需要能够表示绘画作品内容以及风格信息，即可以根据内容风格特征对某一画家的画作进行聚类；基于连续鲁棒聚类方法，使用可迭代的鲁棒估计器，通过优化一个连续的目标来处理混杂很多的集群来解开它们高维特征空间中的大规模数据，这种方法快速、易于使用；引入基于贝叶斯分类算法的画作识别拒识算法，可以得到更具有代表性的画家代表作品。
下面结合附图，对本发明提供的自动挑选画家代表作的方法进行说明。
参阅附图1，图1示例性示出了本发明实施例中自动挑选画家代表作的方法的主要步骤，如图1所示，本实施例中的自动挑选画家代表作的方法可以包括下述内容：
步骤S101：获取目标画家的作品集，作品集包括目标画家的多个绘画作品。
参阅附图2，图2示例性示出了“梵高”的一个作品集及代表作，如图2所示，左数第一个虚线方框内示出的是“梵高”的一个作品集，该作品集包含梵高的多不同风格及内容的绘画作品；左数第二个虚线方框内示出的是“梵高”的一个代表作图像。可以看出梵高不同时期的绘画风格及内容具有高度的重叠性，很难从一个作品集中了解梵高在各个不同时期的绘写风格和技巧，并且与其他作品相比，代表作的风格特征鲜明，易于区分，所以本发明基于绘画作品的风格-内容特征进行作品集的聚类。
步骤S102：利用预设的卷积神经网络提取作品集中每个绘画作品的风格-内容特征。
具体地，获取每个绘画作品在特定卷积层对应的所有特征图并且根据特征图获取第一特征向量；
获取特定卷积层对应的特征图之间的相关性特征并根据相关性特征获取第二特征向量；
根据第一特征向量和第二特征向量获取风格-内容特征。
本实施例中，为了保证提取的特征更好的表达绘画作品信息，应该提取图片深层的特征。当表达不同内容的场景时，艺术家的绘画风格在使用不同的笔画和着色时通常会有所不同，使用在ImageNet数据库上预训练过的卷积神经网络VGG-19计算图片特征图。对于一张输入图像x而言，Fj(x)是VGG19网络卷积层j层的特征图，其大小为Cj×Hj×Wj。其中Cj是卷积核的个数，Hj是特征图像高度，Wj是特征图像的宽度。通过矩阵拉伸运算，将特征图转化为一维向量fc，其包含Cj×Hj×Wj个元素，用它作为图像的基于对象的表示，fc包含图像内容信息，以fc为第一特征向量。
一张绘画图像的风格信息包含其纹理，颜色，笔触特征，而在基于深度卷积神经网络的特征图中，每一个数字都来自于一个特定滤波器在特定位置的卷积，因此每个数字就代表一个特征的强度，G(·)是特征图之间的内积，而G(·)计算的实际上是两两特征之间的相关性，特征是同时出现的，相互加强或者相互减弱等等，同时，G(·)的对角线元素，还体现了每个特征在图像中出现的数量，因此，G(·)有助于把握整个图像的大体风格。在此基础上，要度量两个图像风格的差异，只需比较它们风格特征的差异即可。对G(·)进行拉伸变化，得到包含Cj×Cj个元素的一维向量作为风格特征向量fs，以fs为第二特征向量。故此，本发明通过公式(1)所示的方法得到图片深层的风格特征：
其中，Cj为第j层卷积层对应的卷积核个数，Hj为第j层卷积层对应的特征图高度，Wj为第j层卷积层对应的特征图宽度，Fj(x)h,w,c为第j层卷积层中第c个卷积核对应的特征图中第h行第w列的像素值；Fj(x)h,w,c'为第j层卷积层中第c'个卷积核对应的特征图中第h行第w列的像素值。
获得绘画图像的第一特征向量fc和第二特征向量fs后，将第一特征向量fc和第二特征向量fs进行拼接得到绘画作品的风格-内容特征fcs＝[fs,fc]。
步骤S103：利用预设的连续性鲁棒聚类方法对当前作品集中每个绘画作品的风格-内容特征进行聚类，根据聚类结果获取多个聚类类别对应的画作集合。
本实施例中，连续性鲁棒聚类方法是基于(Shah,S.A.,Koltun,V.:Robustcontinuous clustering.Proceedings of the National Academy of Sciences 114(37),9814–9819)中描述的聚类算法，使用一种可迭代的鲁棒估计器，通过优化一个连续的目标来处理混杂很多的集群来解开它们高维特征空间中的大规模数据。该鲁棒估计器的输入是以风格-内容特征为表示的n个绘画图像，它使用相互最近邻连接(mutual k-nearestneighbors)将所有输入的风格-内容特征数据点连接成图，并且使用公式(2)所示的目标函数来揭示数据中潜在的聚类结构，然后找到以风格-内容特征为表示的代表作集合。
其中，为作品集中第i个绘画作品的风格-内容特征；K＝{k1,k2,...,kn}为代表作集合，kn为第n代表作的风格-内容特征,ki为第i个代表作的风格-内容特征；kp为第p个代表作的风格-内容特征，kq为第q个代表作的风格-内容特征；λ和ωp，q分别为预设的平衡参数；ε是预设的数据连接图中所有数据连接所构成的连接集合，数据连接图是根据所述作品集中每个绘画作品的风格-内容特征所构建的聚类图，数据连接表示两个相关绘画作品的风格-内容特征在所述数据连接图上对应的数据关联关系；L为利用所述数据连接图中每个数据连接的预设的辅助变量所构建的辅助变量集合，(p,q)为数据连接图中第p个代表作的风格-内容特征kp与第q个代表作的风格-内容特征kq之间的数据连接，lp,q为数据连接(p,q)的辅助标量；μ为预设的尺度参数，ψ表示惩罚函数，这里ψ(lp，q)是忽略连接(p,q)的一个惩罚函数，迫使ε观察相同的潜在簇以便相同的风格-内容特征合并成一个风格-内容特征。如果ε的两个风格-内容特征的余弦相似度大于聚类阈值δ，则认为它们是连通的(默认设置为0.9)。当连接(p,q)被激活，ψ(lp，q)趋近于为零。
使用线性最小二乘系统的迭代优化算法实现对公式(2)的高效和可扩展的优化。可以通过分别固定公式(2)中的U和lp,q来依次优化，在迭代过程中，对ωp，q进行预先计算，μ自动减小，逐渐将非凸性引入到目标中，并且在每次更新μ后，根据公式(2)自动更新λ的值。然后得到最终的连接关系，有连接的两点属于同一类别，通过惩罚项的正则化作用，将潜在同一类别的样本所属的代表作合并成一个点，最终得到输入数据的代表作集合。
步骤S104：利用预设的拒识算法更新画作集合并且根据更新后的画作集合获取代表作集合。
具体地，利用贝叶斯分类算法计算每个画作集合中每个绘画作品属于当前聚类类别的概率；分别对每个绘画作品对应的概率与预设的概率阈值进行比较并且根据比较结果选择性地调整每个绘画作品所属的聚类类别；获取每个聚类类别的聚类中心对应的绘画作品并且根据所获取的绘画作品确定代表作集合。其中，画作集合包括相应聚类类别对应的多个绘画作品，代表作集合包括每个画作集合对应的绘画作品代表作。
基于质心的聚类方法特别容易受到混淆样本的影响，这将影响代表作品提取的准确性。基于这个现象，采用拒识算法来识别并移除在每个类别中不能被准确分类的图片，以生成更可靠和具有代表性的类别。将这个过程形式化为一个贝叶斯优化过程，其中将聚类生成的每个类别视为类先验条件概率密度分布，寻找被拒识的绘画图像。
本实施例中，将所有画作的特征集表示为U＝{ui|1≤i≤n}，其中属于类别M的集合UM中的元素是独立的，符合贝叶斯分布，那么利用公式(3)计算类别M类包含ui的类条件概率密度分布：
其中，μM为第M个聚类类别对应的风格-内容特征的均值，∑M为第M个聚类类别对应的风格-内容特征的协方差矩阵，T为转置运算，D为利用风格-内容特征预先构建的特征向量的维度，本实施中D为fcs＝[fs,fc]的向量维度。
计算绘画作品ui属于类别M的概率的公式如公式(4)所示
其中，P(ui|M)为第M个聚类类别中第i个绘画作品对应的风格-内容特征ui的概率，P(M)为第M个聚类类别的概率，P(ui)为第i个绘画作品对应的风格-内容特征ui的概率。
计算得到的P(ui|M)会受到难以辨识风格的绘画的影响。为了提高有代表性的绘画选择的效果，采用拒识算法移除满足以下条件的图像：
参阅附图3，图3示例性示出了拒识算法原理的坐标图，如图3所示，从上往下数第一个坐标图中可以看出，如果P(M|ui)小于或等于第一概率阈值Tr1，这意味着ui更可能是类别M的离群点，所以将ui对应的绘画作品从作品集中移除；从上往下数第二个坐标图中可以看出，如果ui属于类别M和类别M'的概率之差的绝对值小于或等于第二概率阈值Tr2，这意味着ui很容易被类别M和类别M'混淆，所以将ui对应的绘画作品从作品集中移除。
步骤S105：重复执行步骤S103-步骤S104直至满足预设的停止条件。
具体地，一旦这种拒绝完成，我们再次聚集剩余数据，修改每个群集的概率分布，重复群集拒绝过程直到满足停止条件为止。停止条件包括：重复执行步骤S103-步骤S104达到设定的重复次数或拒识绘画作品的数量小于设定的数量阈值或拒识率小于设定的比例阈值；其中，拒识的绘画作品为基于拒识算法从作品集中移除的绘画作品；拒识率为基于拒识算法从作品集中移除的绘画作品数量除以作品集中所有绘画作品数量得到的比值；最后，在每个聚类中选取P(M|ui)值最高的图像作为该类别的代表图像。
针对本实施例的自动挑选画家代表作的方法，使用大量样例图像进行了实验验证，具有良好的效果，下面结合附图进行说明。
参阅附图4，附图4示例示出了基于本发明方法选取的梵高的代表性作品集合。
继续参与附图5，附图5示例性示出了基于本发明方法选取的莫奈的代表性作品集合，结合附图4和附图5可以看出，基于本发明的方法可以较好的区分一个画家作品的风格和内容特征，能够从一个画家的大量的作品中精确的选取出不同风格和内容信息的代表性作品集合。
参与附图6，图6示例性示出了基于梵高不同代表作作为风格图片得到的风格转移的效果对比，如图6所示，基于本发明方法选取的梵高的代表性绘画作品，提取其风格特征作用于其它作品中，得到的风格转移效果，图6中左数第一幅图为原图，左数第二幅、第三幅、第四幅、第五幅分别为基于梵高不同代表性作品的风格特征作用于左数第一幅的原图上得到风格转移效果，可以看出当风格转移后原图会有较大的风格变化，从侧面反映基于本发明的方法可以较好地发现一副绘画作品的风格特征，从而解决了选取的画家代表作集中风格高度重叠的问题，得到代表作集合中风格更加多样化，并且包含了梵高著名的画作。
参阅附图7，图7示例性示出了基于Francis Picabia的绘画作品进行聚类和风格转移的效果对比图。
继续参阅附图8，图8示例性示出了基于Paul cezanne的绘画作品进行聚类和风格转移的效果对比图。图7和图8中每一行中左数第一列分别是其对应的左数最后一列图像的风格转移后的效果对比图，每一行中除了最后一列和最后一列，其它为基于本发明方法中聚类的结果，从图7和图8中可以看出本发明方法可以将基于图像的内容和风格信息进行聚类，将内容相似，风格相近的图像划分为一类。
参阅附图9，图9示例性示出了基于本发明聚类算法与Kmeans聚类算法聚类效果对比图。本发明在小画集上直观地显示定性分析，如图9所示，从上到下数第一个方框内示出的是基于本发明方法的聚类效果；从上到下数第二个方框内示出的是基于Kmeans聚类算法的聚类效果；其中，每个方框中从上到下数第一行的绘画风格为“辐射主义”，第二行的绘画风格为“哥特式”，第三行的绘画风格为“工笔”，每类中随机选择了10幅图像，在这30幅图像进行比较。基于标准质心的K均值通常用于生成有意义的聚类，聚类质心是每个聚类最具代表性的样本。但是，对于K均值聚类，类别的数量手动设置为3，与标准的K-means相比，本发明的方法能够自动检测“混淆主义”和“哥特式”风格的混淆“工笔”的失败案例，并拒绝这些混淆的样本。
参阅附图10至附图14，附图10至附图14分别示例性示出了不同聚类方法的混淆矩阵的比较，图10为基于K均值聚类的混淆矩阵；图11为基于凝聚聚类的混淆矩阵；图12为基于谱聚聚类的混淆矩阵；图13为基于鲁棒连续聚类的混淆矩阵；图14为基于本发明聚类的混淆矩阵。混淆矩阵的每一列表示鲁棒估计器对于绘画作品的类别预测；混淆矩阵的每一行表示绘画作品所属的真实类别；以颜色的深浅表示对绘画作品划分类别的准确性，颜色越深表示准确率越高，颜色越浅表示准确率越低。准确率从0至100％对应于颜色从白到黑的渐变。本实施例是在大规模数据集上进行的测试，在维基艺术网站上选择了7位艺术家的作品：“徐悲鸿”(共97幅)，“Kindinsky”(共218幅)，“Pierre Alechinsky”(共220幅)，“Edourad Manet”(共232幅)，“Albrecht Durer”(随机抽取838幅中的300幅)，“Monet”(随机抽取1339幅中的300幅)，“Vincent van Gogh”(随机抽取1928幅中的300幅)，需要说明的是，本实施中的附图中“徐悲鸿”均用“Xu-beihong”表示。
将本发明的聚类方法与三种传统的聚类方法进行了比较，标准K均值聚类(Kmeans)，凝聚聚类(A-cluster)和谱聚类(S-cluster)。绘画都是由内容风格的特征表示，采用欧几里德距离来衡量特征之间的相似性。
参阅表1，表1为本发明的聚类方法与三种传统的聚类方法的平均召回率和平均准确率对比表
表1
从表1可以看到，与其他方法相比，本发明具有更高的平均精确度，而平均召回率更低。通过拒绝混淆样本来实现选择性聚类，提高聚类精度，同时略微减少召回率，可以为代表性绘画选择生成更可靠的聚类。
参阅附图15至附图17，附图15至附图17分别示出了设置不同拒识阈值的混淆矩阵比较。在拒识过程中，使用不同的第一概率阈值来检测拒识算法的效果。图15为设置第一概率阈值Tr1为30％的混淆矩阵；图16为设置第一概率阈值Tr1为40％的混淆矩阵；图17为设置第一概率阈值Tr1为50％的混淆矩阵。混淆矩阵的每一列表示鲁棒估计器对于绘画作品的类别预测；混淆矩阵的每一行表示绘画作品所属的真实类别；本实施例以颜色的深浅表示对绘画作品划分类别的准确性，颜色越深表示准确率越高，颜色越浅表示准确率越低。准确率从0至100％对应于颜色从白到黑的渐变。从图15-图17中可以看到，当阈值处于较低水平时，较多的绘画作品被分类错误，随着阈值的增加，拒识率上升而分类错误概率下降。
进一步地，基于上述自动挑选画家代表作的方法实施例，本发明还提供了一种处理装置，该处理装置可以包括处理器、存储设备；处理器，适于执行各条程序；存储设备，适于存储多条程序；程序适于由处理器加载并执行如上述的自动挑选画家代表作的方法。
所属技术领域的技术人员可以清楚地了解到，为了描述的方便和简洁，本发明实施例的装置的具体工作过程以及相关说明，可以参考前述实施例方法中的对应过程，且与上述方法具有相同的有益效果，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的方法步骤及装置，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种自动挑选画家代表作的方法，其特征在于包括：
步骤S1：获取目标画家的作品集，所述作品集包括所述目标画家的多个绘画作品；
步骤S2：利用预设的卷积神经网络提取所述作品集中每个绘画作品的风格-内容特征；
步骤S3：利用预设的连续性鲁棒聚类方法对当前作品集中每个绘画作品的风格-内容特征进行聚类，根据聚类结果获取多个聚类类别对应的画作集合；
步骤S4：利用预设的拒识算法更新所述画作集合并且根据更新后的画作集合获取代表作集合；
步骤S5：重复执行步骤S3-步骤S4直至满足预设的停止条件；
其中，所述画作集合包括相应聚类类别对应的多个绘画作品，所述代表作集合包括每个所述画作集合对应的绘画作品代表作。
2.根据权利要求1所述的自动挑选画家代表作的方法，其特征在于，所述拒识算法是基于贝叶斯分类算法的画作识别拒识算法；“利用预设的拒识算法更新所述画作集合并且根据更新后的画作集合获取代表作集合”的步骤包括：
利用贝叶斯分类算法计算每个所述画作集合中每个绘画作品属于当前聚类类别的概率；
分别对每个所述绘画作品对应的概率与预设的概率阈值进行比较并且根据比较结果选择性地调整所述每个绘画作品所属的聚类类别；
获取每个所述聚类类别的聚类中心对应的绘画作品并且根据所获取的绘画作品确定所述代表作集合。
3.根据权利要求2所述的自动挑选画家代表作的方法，其特征在于，“利用贝叶斯分类算法计算每个所述画作集合中每个绘画作品属于当前聚类类别的概率”的步骤包括：
按下式所示的方法计算所述每个绘画作品属于当前聚类类别的概率：
其中，所述P(ui|M)为第M个聚类类别中第i个绘画作品对应的风格-内容特征ui的概率，所述P(M)为第M个聚类类别的概率，所述P(ui)为第i个绘画作品对应的风格-内容特征ui的概率；
所述P(ui|M)如下式所示：
其中，所述μM为第M个聚类类别对应的风格-内容特征的均值，所述ΣM为第M个聚类类别对应的风格-内容特征的协方差矩阵，所述D为利用所述风格-内容特征预先构建的特征向量的维度，所述T为转置运算。
4.根据权利要求3所述的自动挑选画家代表作的方法，其特征在于，所述概率阈值包括第一概率阈值和第二概率阈值；“分别对每个所述绘画作品对应的概率与预设的概率阈值进行比较并且根据比较结果选择性地调整所述每个绘画作品所属的聚类类别”的步骤包括：
若所述P(M|ui)小于等于所述第一概率阈值，则将所述绘画作品ui从所述作品集中移除；
若所述P(M|ui)与P(M'|ui)之差的绝对值小于等于所述第二概率阈值，则将所述绘画作品ui从所述作品集中移除；
其中，所述P(M'|ui)为第i个绘画作品对应的风格-内容特征ui属于第M'个聚类类别的概率。
5.根据权利要求1所述的自动挑选画家代表作的方法，其特征在于，所述卷积神经网络包括多个卷积层“利用预设的卷积神经网络提取所述作品集中每个绘画作品的风格-内容特征”的步骤包括：
获取所述每个绘画作品在特定卷积层对应的所有特征图并且根据所述特征图获取第一特征向量；
获取所述特定卷积层对应的特征图之间的相关性特征并根据所述相关性特征获取第二特征向量；
根据所述第一特征向量和第二特征向量获取所述风格-内容特征。
6.根据权利要求5所述的自动挑选画家代表作的方法，其特征在于，“获取所述特定卷积层对应的特征图之间的相关性特征”的步骤包括：
按下式所示的方法计算所述特征图之间的相关性特征：
其中，所述Cj为所述卷积神经网络中第j层卷积层对应的卷积核个数，所述Hj为所述第j层卷积层对应的特征图高度，所述Wj为所述第j层卷积层对应的特征图宽度，所述Fj(x)h,w,c为所述第j层卷积层中第c个卷积核对应的特征图中第h行第w列的像素值；所述Fj(X)h，w，c′为第j层卷积层中第c'个卷积核对应的特征图中第h行第w列的像素值。
7.根据权利要求1所述的自动挑选画家代表作的方法，其特征在于，“利用预设的连续性鲁棒聚类方法对当前作品集中每个绘画作品的风格-内容特征进行聚类”的步骤包括：
按下式所所示的目标函数，对所述作品集进行聚类：
其中，所述为所述作品集中第i个绘画作品对应的风格-内容特征；所述λ和ωp，q分别为预设的平衡参数；所述K＝{k1,k2,...,kn}为代表作集合，所述kn为所述代表作集合中第n个代表作的风格-内容特征，所述ki为所述代表作集合中第i个代表作的风格-内容特征，kp为所述代表作集合中第p个代表作的风格-内容特征，kq为所述代表作集合中第q个代表作的风格-内容特征；所述ε是预设的数据连接图中所有数据连接所构成的连接集合，所述数据连接图是根据所述作品集中每个绘画作品的风格-内容特征所构建的聚类图，所述数据连接表示两个相关绘画作品的风格-内容特征在所述数据连接图上对应的数据关联关系；所述L为利用所述数据连接图中每个数据连接的预设的辅助变量所构建的辅助变量集合，所述(p,q)为所述数据连接图中第p个代表作的风格-内容特征kp与第q个代表作的风格-内容特征kq之间的数据连接，所述lp,q为所述数据连接(p,q)的辅助标量；所述所述μ为预设的尺度参数，所述ψ表示惩罚函数。
8.根据权利要求1-7中任一项所述的自动挑选画家代表作的方法，其特征在于，所述停止条件包括：重复执行步骤S3-步骤S4的次数达到设定的重复次数，或拒识的绘画作品数量小于设定的数量阈值，或拒识率小于设定的比例阈值；
其中，所述拒识的绘画作品为基于所述拒识算法从所述作品集中移除的绘画作品；所述拒识率为基于所述拒识算法从所述作品集中移除的绘画作品数量除以所述作品集中所有绘画作品数量得到的比值。
9.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8中任一项所述的自动挑选画家代表作的方法。
10.一种控制装置，包括：
处理器，适于执行各条程序；
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-8中任一项所述的自动挑选画家代表作的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759512.4A CN109271544B (zh) | 2018-07-11 | 2018-07-11 | 自动挑选画家代表作的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759512.4A CN109271544B (zh) | 2018-07-11 | 2018-07-11 | 自动挑选画家代表作的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109271544A true CN109271544A (zh) | 2019-01-25 |
| CN109271544B CN109271544B (zh) | 2020-11-13 |
Family
ID=65148142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810759512.4A Active CN109271544B (zh) | 2018-07-11 | 2018-07-11 | 自动挑选画家代表作的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109271544B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126507A (zh) * | 2019-12-30 | 2020-05-08 | 国网北京市电力公司 | 一种基于卷积神经网络的绘画作品作者识别方法 |
| CN111163294A (zh) * | 2020-01-03 | 2020-05-15 | 重庆特斯联智慧科技股份有限公司 | 一种人工智能目标识别的建筑安全通道监测系统和方法 |
| CN112667906A (zh) * | 2020-12-31 | 2021-04-16 | 上海众源网络有限公司 | 一种up主的推荐方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630367A (zh) * | 2009-07-31 | 2010-01-20 | 北京科技大学 | 基于多分类器的手写体字符识别拒识方法 |
| US20140377795A1 (en) * | 2011-12-19 | 2014-12-25 | Opticul Diagnostics Ltd. | Spectroscopic means and methods for identifying microorganisms in culture |
| CN105893784A (zh) * | 2016-06-28 | 2016-08-24 | 中国科学院自动化研究所 | 基于图像的性格测试调查问卷生成方法及调查交互的方法 |
| CN106846321A (zh) * | 2016-12-08 | 2017-06-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于贝叶斯概率与神经网络的图像分割方法 |
| CN106874923A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格分类确定方法及装置 |
| CN107316042A (zh) * | 2017-07-18 | 2017-11-03 | 盛世贞观（北京）科技有限公司 | 一种绘画图像检索方法及装置 |
-
2018
- 2018-07-11 CN CN201810759512.4A patent/CN109271544B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630367A (zh) * | 2009-07-31 | 2010-01-20 | 北京科技大学 | 基于多分类器的手写体字符识别拒识方法 |
| US20140377795A1 (en) * | 2011-12-19 | 2014-12-25 | Opticul Diagnostics Ltd. | Spectroscopic means and methods for identifying microorganisms in culture |
| CN106874923A (zh) * | 2015-12-14 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 一种商品的风格分类确定方法及装置 |
| CN105893784A (zh) * | 2016-06-28 | 2016-08-24 | 中国科学院自动化研究所 | 基于图像的性格测试调查问卷生成方法及调查交互的方法 |
| CN106846321A (zh) * | 2016-12-08 | 2017-06-13 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于贝叶斯概率与神经网络的图像分割方法 |
| CN107316042A (zh) * | 2017-07-18 | 2017-11-03 | 盛世贞观（北京）科技有限公司 | 一种绘画图像检索方法及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126507A (zh) * | 2019-12-30 | 2020-05-08 | 国网北京市电力公司 | 一种基于卷积神经网络的绘画作品作者识别方法 |
| CN111163294A (zh) * | 2020-01-03 | 2020-05-15 | 重庆特斯联智慧科技股份有限公司 | 一种人工智能目标识别的建筑安全通道监测系统和方法 |
| CN112667906A (zh) * | 2020-12-31 | 2021-04-16 | 上海众源网络有限公司 | 一种up主的推荐方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109271544B (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Sequential spectral change vector analysis for iteratively discovering and detecting multiple changes in hyperspectral images | |
| Baron | Machine learning in astronomy: A practical overview | |
| Su et al. | Hyperspectral band selection using improved firefly algorithm | |
| De Morsier et al. | Kernel low-rank and sparse graph for unsupervised and semi-supervised classification of hyperspectral images | |
| CN106503727B (zh) | 一种高光谱图像分类的方法及装置 | |
| CN107506793B (zh) | 基于弱标注图像的服装识别方法及系统 | |
| Yang et al. | A fuzzy-statistics-based affinity propagation technique for clustering in multispectral images | |
| Bai et al. | Class incremental learning with few-shots based on linear programming for hyperspectral image classification | |
| CN104680179B (zh) | 基于邻域相似度的数据降维方法 | |
| WO2020253063A1 (zh) | 一种相似图片的检索方法及装置 | |
| CN105893947B (zh) | 基于多局部相关特征学习的两视角人脸识别方法 | |
| Zhao et al. | Efficient multiple-feature learning-based hyperspectral image classification with limited training samples | |
| Schwartz et al. | Automatically discovering local visual material attributes | |
| Luo et al. | Global salient information maximization for saliency detection | |
| CN107341505B (zh) | 一种基于图像显著性与Object Bank的场景分类方法 | |
| Datta et al. | Band elimination of hyperspectral imagery using partitioned band image correlation and capacitory discrimination | |
| CN109271544A (zh) | 自动挑选画家代表作的方法及装置 | |
| CN111680579B (zh) | 一种自适应权重多视角度量学习的遥感图像分类方法 | |
| Sharma et al. | Comparative study of distinctive image classification techniques | |
| CN110135237A (zh) | 一种手势识别方法 | |
| Mishra et al. | Medical image retrieval using self-organising map on texture features | |
| Deng et al. | Selective clustering for representative paintings selection | |
| Guo et al. | Spatial subspace clustering for drill hole spectral data | |
| Paoletti et al. | Parameter-free attention network for spectral-spatial hyperspectral image classification | |
| CN109255377A (zh) | 仪器识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |