CN109726725A - 一种基于大间隔类间互异性多核学习的油画作者识别方法 - Google Patents

Abstract

本发明公开了一种基于大间隔类间互异性多核学习的油画作者识别方法：A.输入待检测的扫描油画图像；B.对输入图像进行全局特征提取,所述全局特征包括整幅图像的特征并将所述图像描述成一个行向量,采取全局特征参数进行图像特征提取，所述全局特征参数包括：LBP、Color LBP、GIST、Color GIST、PHOG、CIE颜色空间直方图和Canny edge，针对所述全局特征参数构造出若干个油画全局特征的核矩阵；C.对输入图像进行局部特征提取,通过特征包框架处理所述局部特征；D.构造大间隔类间互异性多核学习模型，依此将步骤B和步骤C提取到的全局特征和局部特征两两组合，并且通过多个核函数计算出候选核特征矩阵，E.交替优化求解大间隔类间互异性多核学习模型。

Description

一种基于大间隔类间互异性多核学习的油画作者识别方法

技术领域

本发明涉及图像处理的技术领域，具体而言，涉及一种基于大间隔类间互异性多核学习的油画作者识别方法。

背景技术

随着互联网上的图像数量呈几何级数快速增长,快速有效地寻找所需的图像变得越来越困难，最近几年来，图像分类是一个非常受欢迎的话题，其分类对象包括人物、动植物、建筑等自然景物，且图像分类已被广泛应用到多媒体数据处理、医学图像分类和图像检测。尽管已有大量的图像分类模型针对不同种类的图像数据集，但在油画图像作者识别方面则关注较少，而这些数字化的油画图像是艺术家和收藏家们研究人类艺术进程、探索人类艺术世界的重要材料。为了满足艺术研究者们的工作需求，减少艺术工作者们进行海量人工研究的时间成本，对大规模的油画图像构建作者识别模型是非常重要的。目前适用于比较流行的基于内容的图像分类模型有基于纹理特征或空间位置特征的图像主体分类模型，但油画图像作者识别并非自然景物的客观图像主体，而是艺术家们抽象的艺术行为及表达方式(包括颜色、纹理、线描、留白等特征)较为主观易变，因此，仅仅利用现有算法要实现从大规模油画数据集中自动将作者分类是有困难的。因此必须具体分析油画图像多方面的特征，选取能更好地表述油画图像特点的特征，并且选取合理有效的特征融合方式。如何借助计算机视觉技术快速准确对油画图像进行作者识别是帮助艺术工作者探索历史、人文等领域迫切需要解决的问题。

针对油画画家识别来说，现有技术的存在以下的问题：

(1)油画图像的特征提取方案不完善，缺乏有效的特征融合方法。

(2)多核学习的一类方法中难以平衡模型参数范数约束和分类准确率之间的关系。

(3)多核学习用于多分类场景的拓展方法计算复杂度随类别数增加而增加，难以实现高效多分类。

发明内容

有鉴于此，本发明所要解决的技术问题是，针对现有对油画图像分类研究过少的问题，提出一种基于大间隔类间互异性多核学习的油画图像作者识别方法，为油画图像的分类提供一种有效、客观的方法。具体来说如下：

(1)对一幅油画图像从颜色、纹理、空间布局三个方面分别提取全局特征和局部特征，目的是从多角度提取图像特征描述子，全面理解油画图像所表达的信息。

(2)通过引入Hinge-loss多类损失函数，实例化多类多核学习的损失函数形式，并用Lp范数约束核组合系数，降低多核学习模型的稀疏性。

(3)通过提出一种交替优化求解多类多核学习的方法，将多类多核学习问题当作一个整体求解，避免了采用一对一或一对多的多分类器拓展方法造成的模型计算复杂度随类别数目增加而增长的情况。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，公开一种基于大间隔类间互异性多核学习的油画作者识别方法，其特征在于，包括如下步骤：

A.输入待检测的扫描油画图像；

B.对输入图像进行全局特征提取,所述全局特征包括整幅图像的特征并将所述图像描述成一个行向量,采取全局特征参数进行图像特征提取，所述全局特征参数包括：LBP、Color LBP、GIST、Color GIST、PHOG、CIE颜色空间直方图和Canny edge，针对步骤B中所述的全局特征参数构造出若干个油画全局特征的核矩阵；

C.对输入图像进行局部特征提取,通过特征包框架处理所述局部特征；

D.构造大间隔类间互异性多核学习模型，依此将步骤B和步骤C提取到的全局特征和局部特征两两组合，并且通过多个核函数计算出候选核特征矩阵；

E.交替优化求解大间隔类间互异性多核学习模型。

优选地，步骤C中所述的通过特征包框架处理所述局部特征，进一步包括：首先将输入图像转化为一个局部关键点特征的无序集合，然后通过聚类算法(如K-means)将局部关键点特征进行聚类,最终得到的聚类中心可以作为视觉词典中的一个特征单词。

优选地，步骤C进一步包括，通过对Complete LBP、SIFT、Color SIFT、SSIM四种不同的全局特征和相应的不同核函数构造出若干个油画局部特征的核矩阵。

优选地，步骤D中所述的依此将步骤B和步骤C提取到的全局特征和局部特征两两组合，并且通过多个核函数计算出候选核特征矩阵，进一步包括：

预测函数为：

对应的决策函数为：

其中，n表示训练样本集数量，q表示候选核函数数量，c_r,i表示第i个样本在第r类中的分类器组合系数，β_r,k表示第k个核函数在第r类中的核函数组合系数，K表示具体的核函数表达式。

优选地，步骤E进一步包括，优化求解基于大间隔类间互异性的多核学习模型的过程如下：

(1)随机矩阵B的值作为初始值；

(2)固定矩阵B的值，求解优化问题，更新矩阵C的值；

(3)固定矩阵C的值，求解优化问题，更新矩阵B的值；

(4)重复步骤2和3，直到矩阵B和矩阵C的值与上一次迭代基本一致(即收敛)或达到最大迭代次数后为止。

优选地，步骤(2)进一步包括：初始化和组合系数B后，优化问题为如下形式的求解：

其中，通过求解优化问题可以在一个完整的求解周期中完成对矩阵C的值的解析。

优选地，步骤(3)进一步包括：在确定分类器系数C后，优化问题为如下形式的求

解

其中，并且p∈(0,1]。

本发明进一步公开了一种电子设备，其特征在于，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于大间隔类间互异性多核学习的油画作者识别方法。

本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于大间隔类间互异性多核学习的油画作者识别方法。

综上所述，本发明针对多分类场景提供了一种稳定且高效的大间隔类间互异性多核学习模型。该模型一方面采用更适合多分类问题的多类间隔，通过使用可多类Hinge-loss损失函数和最大化多类核间隔，使多个类别之间的有效信息得到充分利用，提高算法的稳定性与分类性能；另一方面，该算法通过整体求解原始问题的策略并且使用Lp范数(0＜p≤1)提升了模型的稀疏性。得到了更佳高效稳定的优化求解算法。

较好的平衡了模型的稀疏性与分类准确性，最终达到较好的分类结果。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的一种基于大间隔类间互异性多核学习的油画作者识别方法的流程图。

图2是本发明中的Bag of Features局部特征降维示意图。

图3是本发明油画作者识别结果示意图。

具体实施方式

为了使得本发明的目的、技术方案及优点更加清楚明白，以下结合其实施例，对本发明进行进一步详细说明；应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。对于本领域技术人员而言，在查阅以下详细描述之后，本实施例的其它方法、方法和/或特征将变得显而易见。旨在所有此类附加的方法、方法、特征和优点都包括在本说明书内、包括在本发明的范围内，并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征，并且这些特征根据以下将详细描述将是显而易见的。

实施例一

如图1所示，为本发明提出了一种基于大间隔类间互异性多核学习的油画作者识别方法的流程图，本发明的具体实施方式如下：

A.输入待检测的扫描油画图像。

B.对输入图像进行全局特征提取。全局特征包括整幅图像的特征，它将一幅图像描述成一个行向量。多变的全局特征可以被用来表达构建整幅图像的直方图信息。本发明采取以下全局特征参数进行图像特征提取。

(1)LBP：局部二值特征是一种有效的纹理描述算子，该算子能够度量和提取图像的纹理信息，同时对光照具有不变性。本发明使用LBP算子来提取整幅灰度图像的纹理信息，并且使用旋转不变等价(rotation invariant uniform)LBP进行图像纹理的提取，其中像素半径为2，取20个邻近像素，得到的纹理直方图维度是383。

(2)Color LBP：由于LBP特征是对灰度图像提取的，没有考虑色彩信息，本发明通过对RGB彩色图像的三通道分别提取色彩LBP特征，以此获得图像的色彩纹理特征。ColorLBP特征参数与LBP特征参数保持一致，通过RGB彩色图像的三通道色彩提取，将三通道的特征串联形成一个1149维的直方图特征。

(3)GIST：GIST是一个捕捉图像空间结构的全局描述算子，该特征能模拟人的视觉提取图像中粗略但简明扼要的上下文信息。本发明使用GIST算子来提取整幅图像的空间布局特征，本发明将每张图像缩放为，每个Gabor-like滤波器输出至大小为的栅格上，最终的得到的直方图特征维度是512。

(4)Color GIST：与Color LBP类似，本发明通过计算R、G、B三通道的GIST特征，将三个通道的特征串联起来形成一个1536维的直方图特征。

(5)PHOG：PHOG描述子可以捕获图像的局部特征以及它的空间布局，本发明使用该描述子是为了挖掘画作局部物体与整体的空间布局关系。实验中，PHOG特征采用标准参数设置，将0到360度的方向平均分成20个方向角，最终得到维度是1700的直方图特征。

(6)Color PHOG：本发明计算R、G、B三通道的PHOG特征，并将它们串联起来形成一个5100维的直方图特征。

(7)CIE颜色空间直方图：画家对于颜色的认识与运用往往各有差异，给定由某些颜色轴定义的离散颜色空间，通过离散图像颜色并计算图像中每个离散颜色出现的次数来获得颜色直方图。用CIE直方图的原因是人眼对CIE颜色空间有更佳均匀的感知，本发明将CIE三个通道分别分为4部分，总共获得64维直方图特征。

(8)Canny edge：形状是图像检索的重要和强大的属性，它可以表示在颜色和纹理直方图中不存在的空间信息，本发明通过油画的线条描述图像的形状信息，采用Canny算子提取油画的线描信息，并利用边缘方向的直方图用于表示每个图像形状属性的全局信息，其中将线条方向0至360度均分为30份，最终得到维度是30的线条方向直方图信息。

针对上述提取到的八种全局特征和不同的核函数可以构造出若干个油画全局特征的核矩阵。

C.对输入图像进行局部特征提取。本发明使用流行的特征包框架处理局部特征。借鉴文本检索领域中成功的Bag-of-Words方法，特征包框架首先将输入图像转化为一个局部关键点特征的无序集合，然后通过聚类算法将局部关键点特征进行聚类,最终得到的聚类中心可以作为视觉词典中的一个特征单词,特征单词通过视觉词典的聚类中心对应的码字来表示，所有特征单词构建出一个视觉词典用来对局部特征进行降维。一个视觉词典的大小由其中所包含的特征单词个数来决定。特征包框架的工作原理是将输入图像的每个特征单词通过计算与视觉词典中特征单词的距离，找到与视觉词典最相近的一个特征单词，最后统计每个特征单词出现的直方图分布特征作为视觉词典的输出特征，即Bag-of-Features。

(1)Complete LBP：本发明使用Complete LBP在特征包框架中提取纹理描述符。在Complete LBP中，图像中的一个区域由其中心像素和局部差异符号-幅度(sign-magnitude)变换表示。

(2)SIFT：为了捕获一幅图像的外观信息，本发明使用流行的SIFT描述子。SIFT描述子在物体识别、纹理识别和动作识别任务中展现出优异的表现力。本发明提取一幅灰度图像的SIFT信息，最终得到一个128维的向量。

(3)Color SIFT：为了整合图像的颜色信息，本发明对一幅图像的R、G、B三通道提取Color SIFT特征。本发明也使用OpponentSIFT和CSIFT来提取比Color SIFT特征。

(4)SSIM：与上述的描述子不同，SSIM是一个图像自相似性描述符。该特征可以度量一个图像的布局。每个局部图像的尺寸是5×5，相关区域的半径取40个像素。最终得到一个30维度的向量。

针对上述提取到的四种全局特征和不同的核函数可以构造出若干个油画局部特征的核矩阵。

D.构造大间隔类间互异性多核学习模型。

依此将步骤B和步骤C提取到的全局特征和局部特征两两组合，并且通过众多核函数计算出候选核特征矩阵。对于基于大间隔类间互异性的多核学习方法，它的预测函数为：

对应的决策函数为：

其中，n表示训练样本集数量，q表示候选核函数数量，c_r,i表示第i个样本在第r类中的分类器组合系数，β_r,k表示第k个核函数在第r类中的核函数组合系数，K表示具体的核函数表达式。 根据上面结果，可以将基于大间隔类间互异性的多核学习方法模型表示成如下优化问题：

基于大间隔多类互异性的多核学习方法模型可以从不同类数据样本中学习到与之相对应类别的核函数组合方式及其权重。因此，在利用了最大化多类核间隔的规则下优化问题可以为不同类的样本学习到与其他类不同的核自由组合系数，即最后一个约束优化条件。

E.交替优化求解大间隔类间互异性多核学习模型。

优化求解基于大间隔类间互异性的多核学习模型的过程如下：

(1)随机矩阵B的值作为初始值；

(2)固定矩阵B的值，求解优化问题，更新矩阵C的值；

(3)固定矩阵C的值，求解优化问题，更新矩阵B的值；

(4)重复步骤2和3，直到矩阵B和矩阵C的值与上一次迭代基本一致(即收敛)或达到最大迭代次数后为止。

其中步骤2和步骤3属于重要操作，下面将分别具体说明：

(1)优化求解分类器系数C

初始化和组合系数B后，优化问题可写为如下形式：

其中，

基于大间隔类间互异性的多核学习模型优化求解的方法将矩阵C当作一个整体。通过求解优化问题可以在一个完整的求解周期中完成对矩阵C值的解析。这样可以有效地降低算法的时间复杂度，增强多核学习模型在应用于多分类问题时的训练过程效率。从上面的分析可知，优化问题本质上是关于矩阵C的凸二次优化问题，作为一个已经解决的有成熟解决方案的优化问题，可以很多工具进行求解过程。本专利采用优化工具包CVX中SeDuMi算法来求解凸二次优化问题。

(2)优化求解核组合系数B

在确定分类器系数C后，优化问题可写成如下优化问题：

其中，并且p∈(0,1]。

借鉴前面相似的思路，这里可以将改写后的优化问题看作一个整体求解，得到矩阵B的值。这种求解方法可以降低多核学习模型的时间复杂度，节约求解多类多核问题的计算资源。观察改写后的优化问题可以发现，当p∈(0,1)时目标函数会变成非凸的，这给优化求解带来了困难。无论p取何值，第一步通过数学变换将改写后的优化问题转换为只有一个未知量B的便于求解的凸优化问题；然后用现有的成熟的凸优化问题求解方案去求解转换后的凸优化问题。具体来说，本发明采用泰勒公式近似将的多项式表达形式引入模型，通过其一阶泰勒展开表达式去近似令在x′₀处一阶泰勒展开，从而的一阶泰勒展开为：

将代入改写后的优化问题中去，从而得到如下结果：

通过分析上面的目标表达式，可以看出上面的目标表达式已经成功的转换为一个只有未知矩阵B的凸优化表达式，即线性规划，它能够被众多现有的算法快速准确地求解。本发明同样使用优化工具包CVX中SeDuMi算法来求解线性规划。

回顾求解过程对矩阵B和矩阵C的交替优化处理，本发明阐述的优化求解多类多核学习算法的避免了将多分类问题看作许多二分类问题进行求解，而是将多类多核学习整合为一个整体模型统一求解，在一定程度上降低了算法的训练时间，节约了计算资源。

图2是图像分割降维的过程示意图，图3为本实施例的识别结果图，由此可见，上述实例提供了一种基于大间隔类间互异性多核学习的油画作者识别方法，首先通过对输入的油画图像从颜色、纹理和空间布局三个方面进行全局特征和局部特征提取，其次采用更适合多分类问题的多类间隔，通过使用可多类Hinge-loss损失函数和最大化多类核间隔，使多个类别之间的有效信息得到充分利用，提高算法的稳定性与分类性能；最后通过整体求解原始问题的策略并且使用Lp范数(0＜p≤1)提升了模型的稀疏性，得到了更佳高效稳定的优化求解算法，能很好地将不同作者的油画图像有效的进行分类。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。也就是说上面讨论的方法，系统或设备等均是示例。各种配置可以适当地省略，替换或添加各种过程或组件。例如，在替代配置中，可以以与所描述的顺序不同的顺序执行方法，和/或可以添加，省略和/或组合各种阶段。而且，关于某些配置描述的特征可以以各种其他配置组合。可以以类似的方式组合配置的不同方面和元素。此外，随着技术的发展许多元素仅是示例而不限制本公开或权利要求的范围。

在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置例如，已经示出了众所周知的电路、过程、算法、结构和技术而没有不必要的细节，以避免模糊配置。该描述仅提供示例配置，并且不限制权利要求的范围，适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。

此外，尽管每个操作可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，可以重新排列操作的顺序。一个过程可能有其他步骤。此外，可以通过硬件、软件、固件、中间件、代码、硬件描述语言或其任何组合来实现方法的示例。当在软件、固件、中间件或代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的非暂时性计算机可读介质中，并通过处理器执行所描述的任务。

综上，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，所述权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (9)

1.一种基于大间隔类间互异性多核学习的油画作者识别方法，方法包括如下步骤：

A.输入待检测的扫描油画图像；

B.对输入图像进行全局特征提取,所述全局特征包括整幅图像特征，同时将所述图像转换为行向量,采取全局特征参数进行图像特征提取，所述全局特征参数包括：LBP、ColorLBP、GIST、Color GIST、PHOG、CIE颜色空间直方图和Canny edge，针对步骤B中所述的全局特征参数构造出若干个油画全局特征的核矩阵；

C.对输入图像进行局部特征提取,通过特征包框架处理所述局部特征；

D.构造大间隔类间互异性多核学习模型，依此将步骤B和步骤C提取到的全局特征和局部特征两两组合，并且通过多个核函数计算出候选核特征矩阵；

E.交替优化求解大间隔类间互异性多核学习模型。

2.如权利要求1所述的一种基于大间隔类间互异性多核学习的油画作者识别方法，步骤C中所述局部特征的处理包括：首先将输入图像转化为一个局部关键点特征的无序集合，通过聚类算法将局部关键点特征进行聚类,所得到的聚类中心作为视觉词典中的一个特征单词，所有特征单词构建出一个视觉词典用来对局部特征进行降维。

3.如权利要求2所述的一种基于大间隔类间互异性多核学习的油画作者识别方法，其特征在于，步骤C进一步包括，通过计算与视觉词典中特征单词的距离，找到与视觉词典最相近的一个特征单词，通过统计每个特征单词出现的直方图分布特征来作为视觉词典的输出特征；步骤C通过对Complete LBP、SIFT、Color SIFT、SSIM四种不同的全局特征和相应的不同核函数构造出若干个油画局部特征的核矩阵。

4.如权利要求1所述的一种基于大间隔类间互异性多核学习的油画作者识别方法，其特征在于，步骤D中所述的依此将步骤B和步骤C提取到的全局特征和局部特征两两组合，并且通过多个核函数计算出候选核特征矩阵，进一步包括：

预测函数为：

对应的决策函数为：

其中，n表示训练样本集数量，q表示候选核函数数量，c_r,i表示第i个样本在第r类中的分类器组合系数，β_r,k表示第k个核函数在第r类中的核函数组合系数，K表示具体的核函数表达式，

5.如权利要求1所述的一种基于大间隔类间互异性多核学习的油画作者识别方法，其特征在于，步骤E进一步包括，优化求解基于大间隔类间互异性的多核学习模型的过程如下：

(1)随机矩阵B的值作为初始值；

(2)固定矩阵B的值，求解优化问题，更新矩阵C的值；

(3)固定矩阵C的值，求解优化问题，更新矩阵B的值；

(4)重复步骤2和3，直到矩阵B和矩阵C的值与上一次迭代基本一致(即收敛)或达到最大迭代次数后为止。

6.如权利要求5所述的一种基于大间隔类间互异性多核学习的油画作者识别方法，其特征在于，步骤(2)进一步包括：初始化和组合系数B后，优化问题为如下形式的求解：

其中，通过求解优化问题可以在一个完整的求解周期中完成对矩阵C的值的解析。

7.如权利要求5所述的一种基于大间隔类间互异性多核学习的油画作者识别方法，其特征在于，步骤(3)进一步包括：在确定分类器系数C后，优化问题为如下形式的求解：

其中，并且p∈(0,1]。

8.一种电子设备，其特征在于，

包括：处理器；

以及，存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7所述的基于大间隔类间互异性多核学习的油画作者识别方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7所述的基于大间隔类间互异性多核学习的油画作者识别方法。