CN109919165A - 一种基于相似度的多示例字典学习分类方法及装置 - Google Patents

Abstract

本发明公开了一种基于相似度的多示例字典学习分类方法，包括：获得训练集；针对从正包集合中选择出的每个正候选示例，重复执行以下步骤，循环迭代，训练分类器，直至满足预设的迭代停止条件：分别计算训练集中每个示例对于正类和负类的相似性权重；将训练集中每个示例经过字典学习，获得每个示例的稀疏编码；学习一个投影字典，将每个示例的稀疏编码重新表示；基于投影重新表示的每个示例及每个示例的相似性权重，训练分类器；基于训练后的分类器，获得目标包所属类别。应用本发明实施例所提供的技术方案，可以对目标包进行类别的准确确定，提高了分类器的分类效果。本发明还公开了一种基于相似度的多示例字典学习分类装置，具有相应技术效果。

Description

一种基于相似度的多示例字典学习分类方法及装置

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种基于相似度的多示例字典学习分类方法及装置。

背景技术

随着计算机技术的快速发展，多示例学习的受关注程度越来越高。多示例学习被提出是用来解决包的分类问题的，包中由许多示例所构成。对于一个正包，它至少包含一个正示例，相反的，对于负包，它仅仅由负示例所构成。

如今，多示例学习已经广泛地应用于多种现实领域，例如：对于药物分子活性预测、数据挖掘、图像分类、文本分类、恶意软件分类等等。以图像分类为例，大多数情况下，是将整副图像进行标记，而不是将图像中的每个区域进行标记。如图1所示，在这副被标记为“马”的图像中，除了包含与标记为“马”对应的区域外，还包含其他与标记无关的区域，如“草地”、“树木”，这些无关的区域往往会成为“噪声”，影响分类器的分类效果。有人提出对图像的每个区域进行精确标记来排除掉这些噪声区域对分类器分类效果的影响，但是这样做需要花费很大的人力、物力。但是，如果把图像分割成许多区域，每个区域看作是一个示例，图像看作是包，则图像分类问题就可以在多示例学习的框架下得以解决。此外，如果图像中至少有一个区域包含所指示的对象，则此图像就被称为正包，否则，这张图像就叫做负包。利用多示例学习可以提高图像分类的效率。

目前，关于多示例学习已经做了很多工作。常见的如Diverse Density(DD)方法，旨在找到一个数据点(目标概念)，该数据点与正包中的示例最接近，与负包的示例最远。如果所选数据点与其任何示例之间的距离均小于阈值，则测试包被分类为正。

而在实际应用中，训练集正包中的模糊示例对分类器的训练的影响较大，现有技术中的方法并未考虑到这种影响，导致分类器的分类效果不是很理想，准确率不高。

发明内容

本发明的目的是提供一种基于相似度的多示例字典学习分类方法及装置，以准确确定包的类别，提高分类器的分类效果。

为解决上述技术问题，本发明提供如下技术方案：

一种基于相似度的多示例字典学习分类方法，包括：

获得训练集，所述训练集包含正包集合和负包集合，所述正包集合和所述负包集合中的每个示例均由基于相似性的数据模型表示；

依次从所述正包集合中选择一个正候选示例，针对选择出的每个正候选示例，重复执行以下步骤，循环迭代，训练基于支持向量机的分类器，直至满足预设的迭代停止条件：

分别计算所述训练集中每个示例对于正类和负类的相似性权重，其中，所述正候选示例与正类和负类的相似性权重分别为1和0，所述负包集合中的每个示例与正类和负类的相似性权重分别为0和1；

将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码；

学习一个投影字典，将每个示例的稀疏编码重新表示；

基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器；

基于训练后的所述分类器，获得待进行类别确定的目标包所属类别。

在本发明的一种具体实施方式中，所述基于相似性的数据模型中的元素包括示例、示例对于正类的相似性权重和示例对于负类的相似性权重。

在本发明的一种具体实施方式中，所述依次从所述正包集合中选择一个正候选示例，包括：

按照所述正包集合中每个示例与所述正包集合的相似度从大到小的顺序，依次将所述正包集合中的每个示例作为正候选示例。

在本发明的一种具体实施方式中，所述分别计算所述训练集中每个示例对于正类和负类的相似性权重，包括：

针对所述训练集中除所述正候选示例和所述负包集合外的每个示例，根据该示例与所述正候选示例的相似度，及该示例与所述负包集合的负相似度，计算该示例对于正类的相似性权重；

根据该示例与所述负包集合的相似度，及该示例与所述正候选示例的负相似度，计算该示例对于负类的相似性权重。

在本发明的一种具体实施方式中，所述将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码，包括：

根据以下公式将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码：

其中，λ和ρ均为大于0的标量常数，是一个合成字典，通过最小化重构误差项获得，是合成字典A的惩罚项，||E||_2,1是稀疏编码E＝[e₁,e₂,…,e_i,…,e_l]的惩罚项，用于保持所学习到的特征是稀疏性的，训练集X＝{(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…,(x_l,y_l)}，i＝1,2,…,l，l为所述训练集中示例总数，x_i表示示例，y_i表示标签。

在本发明的一种具体实施方式中，所述学习一个投影字典，将每个示例的稀疏编码重新表示，包括：

通过以下公式学习一个投影字典，将每个示例的稀疏编码重新表示：

其中，表示投影字典，是投影字典P的惩罚项，能够保持投影字典P每一项最小。

在本发明的一种具体实施方式中，所述基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器，包括：

通过以下目标函数，基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器：

其中，x_i∈S_q表示从正包集合中被挑选的正候选示例，示例x_i拥有一个正标签y_i＝+1；x_j∈S_a和x_k∈S_a表示正包集合中未被挑选为正候选示例的模糊示例，对于示例x_j它被期望有一个正标签y_j＝+1，对于示例x_k它被期待拥有一个负标签y_k＝-1；x_g∈S^-表示负示例，m⁺(x_j)ξ_j和m^-(x_k)ξ_k是误差项，拥有不同的权重，c₁、c₂、c₃、c₄是正则化参数，控制超平面余量和误差之间的权衡，W是支持向量机中的超平面；子集S_q中的示例x_i对于正类的权重误差为对于负类的权重误差为0；子集S_a中的模糊示例在目标函数中的权重误差为为未被挑选的模糊示例x_j对于正类的权重误差，为未被挑选的模糊示例x_k对于负类的权重误差；子集S^-中的示例x_g对于正类的权重误差为0，对于负类的权重误差为

一种基于相似度的多示例字典学习分类装置，包括：

训练集获得模块，用于获得训练集，所述训练集包含正包集合和负包集合，所述正包集合和所述负包集合中的每个示例均由基于相似性的数据模型表示；

分类器训练模块，用于依次从所述正包集合中选择一个正候选示例，针对选择出的每个正候选示例，重复执行以下步骤，循环迭代，训练基于支持向量机的分类器，直至满足预设的迭代停止条件：

分别计算所述训练集中每个示例对于正类和负类的相似性权重，其中，所述正候选示例与正类和负类的相似性权重分别为1和0，所述负包集合中的每个示例与正类和负类的相似性权重分别为0和1；

将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码；

学习一个投影字典，将每个示例的稀疏编码重新表示；

基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器；

类别确定模块，用于基于训练后的所述分类器，获得待进行类别确定的目标包所属类别。

在本发明的一种具体实施方式中，所述分类器训练模块，具体用于：

按照所述正包集合中每个示例与所述正包集合的相似度从大到小的顺序，依次将所述正包集合中的每个示例作为正候选示例。

在本发明的一种具体实施方式中，所述分类器训练模块，具体用于：

针对所述训练集中除所述正候选示例和所述负包集合外的每个示例，根据该示例与所述正候选示例的相似度，及该示例与所述负包集合的负相似度，计算该示例对于正类的相似性权重；

根据该示例与所述负包集合的相似度，及该示例与所述正候选示例的负相似度，计算该示例对于负类的相似性权重。

应用本发明实施例所提供的技术方案，将字典学习与多示例学习相结合构建一个统一的模型，从训练集的正包集合中挑选正候选示例，将训练集中的正包集合中的未被挑选的模糊示例对于正类和负类分别产生两个相似性权重，基于多示例数据经过字典学习后重新表示的稀疏编码数据和未被挑选的模糊示例的相似性权重构建基于支持向量机(SVM)的分类器，利用训练后获得的分类器可以对目标包进行类别的准确确定，提高了分类器的分类效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种图像的示意图；

图2为本发明实施例中一种基于相似度的多示例字典学习分类方法的实施流程图；

图3为本发明实施例中字典学习示意图；

图4为本发明实施例中一种基于相似度的多示例字典学习分类装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图2所示，为本发明实施例所提供的一种基于相似度的多示例字典学习分类方法的实施流程图，该方法可以包括以下步骤：

S210：获得训练集。

训练集包含正包集合和负包集合，正包集合和负包集合中的每个示例均由基于相似性的数据模型表示。

在实际应用中，可以根据待进行类别确定的包的类型选取相应的训练集。如要进行图像分类，可以选取Tiger数据集作为训练集，Tiger数据集的正包是由100个老虎图像组成，而负包是通过从其他动物中选择100个图像而形成的，例如熊、猫、狼、绵羊、狮子、鹰、斑马、蛇、美洲狮、羚羊等。

训练集中的正包构成的集合为正包集合，训练集中的负包构成的集合为负包集合。正包集合和负包集合中均有多个示例。

可以先将训练集中所有包中的示例重新排列为：

X＝{(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…,(x_l,y_l)}，i＝1,2,…,l。

X表示训练集，x_i表示示例，具体可以是示例的特征向量，y_i表示标签，l为训练集中示例总数。

然后，将每个示例转换为基于相似性的数据模型，即每个示例均由基于相似性的数据模型表示。基于相似性的数据模型中的元素包括示例、示例对于正类的相似性权重和示例对于负类的相似性权重。如下式(1)所示：

{x,m⁺(x),m^-(x)} (1)

其中，x可以表示任意一个示例，m⁺(x)表示该示例x对于正类的相似性权重，m^-(x)表示该示例x对于负类的相似性权重。并且，0≤m⁺(x)≤1，0≤m^-(x)≤1。

S220：依次从正包集合中选择一个正候选示例，针对选择出的每个正候选示例，重复执行步骤S221至步骤S224，循环迭代，训练基于支持向量机的分类器，直至训练后的分类器满足预设条件。

在本发明实施例中，给定一个示例x和一个子集S，示例x和子集S的相似度可以基于以下公式(2)获得：

其中，R(x,S)表示示例x与子集S的相似度，|S|表示子集S的大小。利用指数函数可以使得R(x,S)的取值范围在0和1之间。当示例x与子集S的相似度很大时，R(x,S)就越接近于1。当示例x与子集S的相似度很小时，R(x,S)就越接近于0。

给定一个示例x，子集S⁺和S^-，示例x和子集S⁺的相似度可以基于以下公式(3)获得：

其中，子集S⁺表示训练集的正包集合，子集S^-表示训练集的负包集合，R(x,S⁺)表示示例x和子集S⁺的相似度，当R(x,S⁺)的值越大，示例x和子集S⁺就越相似。R(x,S^-)表示示例x和子集S^-的相似度，1-R(x,S^-)表示示例x和子集S^-的负相似度。当示例x越接近于子集S⁺和远离子集S^-，G(x∈S⁺|S⁺∪S^-)的值就越大。也就是说，示例x更类似于一个正示例而不太可能是一个负示例。

对于正包如果其中的示例x满足以下条件，则可以将其挑选为正候选示例：

可以按照正包集合中每个示例与正包集合的相似度从大到小的顺序，依次将正包集合中的每个示例作为正候选示例。即将G(x∈S⁺|S⁺∪S^-)最大值对应的示例作为正候选示例。可以将正候选示例放到子集S_q中，对于正包集合中未被挑选的模糊示例可以将其放在子集S_a中。

S221：分别计算训练集中每个示例对于正类和负类的相似性权重。

其中，正候选示例与正类和负类的相似性权重分别为1和0，负包集合中的每个示例与正类和负类的相似性权重分别为0和1。

基于相似性数据模型，训练集可以转换为一个伪数据集，伪数据集由三部分组成：子集S_q、子集S^-和子集S_a。其中，子集S_q中包含正候选示例，{x,1,0}；子集S^-中包含负包集合中的所有负示例，{x,0,1}；子集S_a包含正包集合中未被挑选为正候选示例的模糊示例，{x,m⁺(x),m^-(x)}。可以看出，子集S_q中的正候选示例与正类和负类的相似性权重分别为1和0，子集S^-中的每个示例与正类和负类的相似性权重分别为0和1，对于子集S_a中未被挑选为正候选示例的模糊示例，其与正类和负类的相似性权重m⁺(x)和m^-(x)是未知的。

在本发明实施例中，计算相似性权重m⁺(x)的基本思想是：通过考虑示例与正类的相似度和示例与负类的负相似度来计算，同样，m^-(x)是通过考虑示例与正类的负相似度以及示例与负类的相似度来计算。

即针对训练集中除正候选示例和负包集合外的每个示例，根据该示例与正候选示例的相似度，及该示例与负包集合的负相似度，计算该示例对于正类的相似性权重；

根据该示例与负包集合的相似度，及该示例与正候选示例的负相似度，计算该示例对于负类的相似性权重。

具体的，子集S_a中的未被挑选为正候选示例的模糊示例x与正类和负类对应的相似性权重可以通过以下公式(5)、(6)计算得到：

在步骤S220中，根据可以从训练集的正包集合中挑选正候选示例放到子集S_q中，而子集S^-是训练集中所有负包集合中的示例，所以，子集S_q和子集S^-是可以被确定的。

当给定子集S_q和子集S^-，可以计算出示例x对于正类的相似性权重m⁺(x)和对于负类的相似性权重m^-(x)。

S222：将训练集中每个示例经过字典学习，获得每个示例的稀疏编码。

字典学习，是通过使用合成字典的线性组合来表示输入数据，如图3所示，字典学习得到的稀疏编码E通常可以减少数据X的冗余信息并提高分类器的判别力，已成功应用于计算机视觉和图像分析领域的各种实际问题中。

这里X表示输入数据，D表示字典学习的字典构造原子，E表示重构得到的稀疏编码系数。重构得到的稀疏编码系数E用于分类将变得非常有效，它不仅能够减少数据的冗余信息，降低训练集中噪声对分类效果的影响，还能够提高分类器的判别能力。

在本发明实施例中，可以根据以下公式将训练集中每个示例经过字典学习，获得每个示例的稀疏编码，示例重新表示的稀疏系数：

其中，λ和ρ均为大于0的标量常数，是一个合成字典，通过最小化重构误差项获得，是合成字典A的惩罚项，||E||_2,1是稀疏编码E＝[e₁,e₂,…,e_i,…,e_l]的惩罚项，用于保持所学习到的特征是稀疏性的，训练集X＝{(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…,(x_l,y_l)}，i＝1,2,…,l，l为训练集中示例总数，x_i表示示例，y_i表示标签。

在实际应用中，可以通过计算具有K个原子的合成字典A来获得训练集X中每个示例的稀疏表示。目前，大多数字典学习模型对于规则化稀疏编码系数项采用的是l₀范数或者是l₁范数，但是在计算时会非常耗时。值得一提的是，l_2,1范数规则化项能够保证稀疏编码系数行稀疏，最重要的是优化解决l_2,1范数规则化项是非常有效的。所以，本发明实施例通过上述公式(7)将训练集中每个示例经过字典学习，获得每个示例的稀疏编码。

S223：学习一个投影字典，将每个示例的稀疏编码重新表示。

传统的字典学习模型旨在学习合成字典A和稀疏编码E以稀疏地表示数据X，可以学习一个投影字典去分析获得稀疏编码系数E，这样稀疏编码系数可以近似为E≈PX，之后重新表示的数据将变得非常有效。这里的投影字典能够通过从给定的数据中计算特征来桥接具有近似编码系数的数据。

具体的，可以通过以下公式(8)学习一个投影字典，将每个示例的稀疏编码重新表示：

其中，表示投影字典，是投影字典P的惩罚项，能够保持投影字典P每一项最小。

S224：基于投影重新表示的每个示例及每个示例的相似性权重，训练分类器。

将投影重新表示的示例加上示例的相似性权重一同训练基于支持向量机(SVM)的分类器。

目前，大多数存在的字典学习模型只是学习一个合成字典，之后将学习得到的输入数据的稀疏编码直接作为特征用于分类。本发明实施例是学习一个合成字典A和一个投影字典P，之后将学习得到的稀疏编码E近似为E≈PX，也就是说，单个示例的每一项对应于学习得到的稀疏编码系数的每一项，e_i≈Px_i，这样输入数据的稀疏编码E可以被分析获得，使得被重新表示的多示例数据变得非常有效。之后将Px_i作为特征用于分类。

对于子集S_a中的未被挑选为正候选示例的模糊示例，其与两个相似性权重相关联，这两个相似性权重分别表示其与正类和负类相对应的相似性。然后，基于所选择的正示例、负示例、未选择的示例及其相似度权重，建立基于相似度的多示例字典学习模型。目标函数f如以下公式(9)所示：

其中，x_i∈S_q表示从正包集合中被挑选的正候选示例，示例x_i拥有一个正标签y_i＝+1；x_j∈S_a和x_k∈S_a表示正包集合中未被挑选为正候选示例的模糊示例，对于示例x_j它被期望有一个正标签y_j＝+1，对于示例x_k它被期待拥有一个负标签y_k＝-1；x_g∈S^-表示负示例，m⁺(x_j)ξ_j和m^-(x_k)ξ_k是误差项，拥有不同的权重，c₁、c₂、c₃、c₄是正则化参数，控制超平面余量和误差之间的权衡，W是支持向量机中的超平面；子集S_q中的示例x_i对于正类的权重误差为对于负类的权重误差为0；子集S_a中的模糊示例在目标函数中的权重误差为为未被挑选的模糊示例x_j对于正类的权重误差，为未被挑选的模糊示例x_k对于负类的权重误差；子集S^-中的示例x_g对于正类的权重误差为0，对于负类的权重误差为

针对选择出的每个正候选示例，重复执行上述步骤S221至步骤S224的操作，循环迭代可以计算出合成字典、稀疏编码、投影字典和分类器。直至满足预设的迭代停止条件，获得训练后的分类器。

迭代停止条件为：f^(t)-f^(t+1)≤ωf^(t)，其中，f^(t)和f^(t+1)分别为f在迭代第t次和第t+1次的值，ω是一个阈值，可以根据实际情况进行设定和调整，如设置为0.01。

在实际应用中，可以通过一个交互式迭代框架固定其他变量来更新每个变量，来求解模型，得到分类器。

S230：基于训练后的分类器，获得待进行类别确定的目标包所属类别。

目标包为待进行类别确定的包，基于训练后的分类器，可以获得目标包所属类别。

本发明实施例将字典学习、投影字典学习结合到多示例学习中以获得一个统一的模型。对于在正包中难以获得的示例标签，首先通过基于相似性的数据模型从正包中挑选初始化的正候选示例。对于正包中剩余的未被选择的模糊示例，并未被忽略，分别将其生成两个相似性权重来表示对正类和负类的相似性。然后，通过字典学习和投影表示对多示例数据进行重新表示，将重新表示的多示例数据和模糊示例的相似性权重结合到学习阶段，构造基于支持向量机(SVM)的分类器。通过最小化重构误差来获得投影字典，并且所学习的投影字典能够将输入示例数据与稀疏码桥接，从而能够分析获得稀疏编码，也就是说，通过学习投影字典，多示例数据经过合成字典学习后的稀疏编码可以被分析获得，且将字典学习和分类器训练结合在一个框架下共同学习，将更有利于分类。最后，利用交互式框架对模型进行求解，得到分类器。基于训练获得的分类器，对目标包进行类别的确定。

应用本发明实施例所提供的方法，将字典学习与多示例学习相结合构建一个统一的模型，从训练集的正包集合中挑选正候选示例，将训练集中的正包集合中的未被挑选的模糊示例对于正类和负类分别产生两个相似性权重，基于多示例数据经过字典学习后重新表示的稀疏编码数据和未被挑选的模糊示例的相似性权重构建基于支持向量机(SVM)的分类器，利用训练后获得的分类器可以对目标包进行类别的准确确定，提高了分类器的分类效果。

在实际应用中，训练集所基于的数据集有很多，如Musk、Fox、tiger、Elephant数据集。Musk数据集是公开可用的数据集，由Dietterich等人在药物分子活性问题中引入。Musk数据集由Musk1和Musk2数据集组成，Musk1数据集包含47个正包和45个负包，总共有476个示例。Musk2数据集有39个正包和63个负包，总共有6598个示例。在这个数据集中，药物分子被看作是一个包，每个分子形状都被看作一个示例，每个示例由一个166维的特征向量表示。Stuart Andrews提出了用于图像注释的Fox、Tiger和Elephant数据集。Fox、Tiger和Elephant的每个数据集都有100个正包和100个负包。在Tiger数据集中，正包是由100个老虎图像组成，而负包是通过从其他动物中选择100个图像而形成的，例如熊、猫、狼、绵羊、狮子、鹰、斑马、蛇、美洲狮、羚羊等。每个图像都被视为一个包，每个区域都被当作一个示例。大象和狐狸数据集的形成方式与老虎数据集相似。表1为根据正负包的数量、示例和特征总结的上述这些数据集。

数据集	正包数量	负包数量	特征维度	示例总数
					Musk1	47	45	166	476
Musk2	39	63	166	6598
					Fox	100	100	230	1220
Tiger	100	100	100	1320
					Elephant	100	100	230	1391

表1

为了充分说明本发明实施例的优越性，对本发明实施例的技术方案(Our method)与其它多示例学习方案和多示例字典学习方案进行性能对比。以分类准确率为标准，具体实验结果可参见下表2。

表2

本发明实施例所提供的技术方案，其分类准确率在Musk1、Musk2、Fox、Tiger和Elephant数据集比其他多示例学习方法(mi-SVM、MI-SVM、EM-DD、SMILE)和多示例字典学习方法(DMIL)的分类准确度都高，而且在整体性能上优于APR方案的。

相应于上面的方法实施例，本发明实施例还提供了一种基于相似度的多示例字典学习分类确定装置，下文描述的基于相似度的多示例字典学习分类装置与上文描述的基于相似度的多示例字典学习分类方法可相互对应参照。

参见图4所示，该装置可以包括以下模块：

训练集获得模块410，用于获得训练集，训练集包含正包集合和负包集合，正包集合和负包集合中的每个示例均由基于相似性的数据模型表示；

分类器训练模块420，用于依次从正包集合中选择一个正候选示例，针对选择出的每个正候选示例，重复执行以下步骤，循环迭代，训练基于支持向量机的分类器，直至满足预设的迭代停止条件：

分别计算训练集中每个示例对于正类和负类的相似性权重，其中，正候选示例与正类和负类的相似性权重分别为1和0，负包集合中的每个示例与正类和负类的相似性权重分别为0和1；

将训练集中每个示例经过字典学习，获得每个示例的稀疏编码；

学习一个投影字典，将每个示例的稀疏编码重新表示；

基于投影重新表示的每个示例及每个示例的相似性权重，训练分类器；

类别确定模块430，用于基于训练后的分类器，获得待进行类别确定的目标包所属类别。

应用本发明实施例所提供的装置，将字典学习与多示例学习相结合构建一个统一的模型，从训练集的正包集合中挑选正候选示例，将训练集中的正包集合中的未被挑选的模糊示例对于正类和负类分别产生两个相似性权重，基于多示例数据经过字典学习后重新表示的稀疏编码数据和未被挑选的模糊示例的相似性权重构建基于支持向量机(SVM)的分类器，利用训练后获得的分类器可以对目标包进行类别的准确确定，提高了分类器的分类效果。

在本发明的一种具体实施方式中，基于相似性的数据模型中的元素包括示例、示例对于正类的相似性权重和示例对于负类的相似性权重。

在本发明的一种具体实施方式中，分类器训练模块420，具体用于：

按照正包集合中每个示例与正包集合的相似度从大到小的顺序，依次将正包集合中的每个示例作为正候选示例。

在本发明的一种具体实施方式中，分类器训练模块420，具体用于：

针对训练集中除正候选示例和负包集合外的每个示例，根据该示例与正候选示例的相似度，及该示例与负包集合的负相似度，计算该示例对于正类的相似性权重；

根据该示例与负包集合的相似度，及该示例与正候选示例的负相似度，计算该示例对于负类的相似性权重。

在本发明的一种具体实施方式中，分类器训练模块420，具体用于：

根据以下公式将训练集中每个示例经过字典学习，获得每个示例的稀疏编码：

其中，λ和ρ均为大于0的标量常数，是一个合成字典，通过最小化重构误差项获得，是合成字典A的惩罚项，||E||_2,1是稀疏编码E＝[e₁,e₂,…,e_i,…,e_l]的惩罚项，用于保持所学习到的特征是稀疏性的，训练集X＝{(x₁,y₁),(x₂,y₂),…,(x_i,y_i),…,(x_l,y_l)}，i＝1,2,…,l，l为训练集中示例总数，x_i表示示例，y_i表示标签。

在本发明的一种具体实施方式中，分类器训练模块420，具体用于：

通过以下公式学习一个投影字典，将每个示例的稀疏编码重新表示：

其中，表示投影字典，是投影字典P的惩罚项，能够保持投影字典P每一项最小。

在本发明的一种具体实施方式中，分类器训练模块420，具体用于：

通过以下目标函数，基于投影重新表示的每个示例及每个示例的相似性权重，训练分类器：

其中，x_i∈S_q表示从正包集合中被挑选的正候选示例，示例x_i拥有一个正标签y_i＝+1；x_j∈S_a和x_k∈S_a表示正包集合中未被挑选为正候选示例的模糊示例，对于示例x_j它被期望有一个正标签y_j＝+1，对于示例x_k它被期待拥有一个负标签y_k＝-1；x_g∈S^-表示负示例，m⁺(x_j)ξ_j和m^-(x_k)ξ_k是误差项，拥有不同的权重，c₁、c₂、c₃、c₄是正则化参数，控制超平面余量和误差之间的权衡，W是支持向量机中的超平面；子集S_q中的示例x_i对于正类的权重误差为对于负类的权重误差为0；子集S_a中的模糊示例在目标函数中的权重误差为为未被挑选的模糊示例x_j对于正类的权重误差，为未被挑选的模糊示例x_k对于负类的权重误差；子集S^-中的示例x_g对于正类的权重误差为0，对于负类的权重误差为

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于相似度的多示例字典学习分类方法，其特征在于，包括：

获得训练集，所述训练集包含正包集合和负包集合，所述正包集合和所述负包集合中的每个示例均由基于相似性的数据模型表示；

依次从所述正包集合中选择一个正候选示例，针对选择出的每个正候选示例，重复执行以下步骤，循环迭代，训练基于支持向量机的分类器，直至满足预设的迭代停止条件：

分别计算所述训练集中每个示例对于正类和负类的相似性权重，其中，所述正候选示例与正类和负类的相似性权重分别为1和0，所述负包集合中的每个示例与正类和负类的相似性权重分别为0和1；

将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码；

学习一个投影字典，将每个示例的稀疏编码重新表示；

基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器；

基于训练后的所述分类器，获得待进行类别确定的目标包所属类别。

2.根据权利要求1所述的方法，其特征在于，所述基于相似性的数据模型中的元素包括示例、示例对于正类的相似性权重和示例对于负类的相似性权重。

3.根据权利要求1所述的方法，其特征在于，所述依次从所述正包集合中选择一个正候选示例，包括：

按照所述正包集合中每个示例与所述正包集合的相似度从大到小的顺序，依次将所述正包集合中的每个示例作为正候选示例。

4.根据权利要求1所述的方法，其特征在于，所述分别计算所述训练集中每个示例对于正类和负类的相似性权重，包括：

针对所述训练集中除所述正候选示例和所述负包集合外的每个示例，根据该示例与所述正候选示例的相似度，及该示例与所述负包集合的负相似度，计算该示例对于正类的相似性权重；

根据该示例与所述负包集合的相似度，及该示例与所述正候选示例的负相似度，计算该示例对于负类的相似性权重。

5.根据权利要求1至4之中任一项所述的方法，其特征在于，所述将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码，包括：

根据以下公式将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码：

其中，λ和ρ均为大于0的标量常数，是一个合成字典，通过最小化重构误差项获得，是合成字典A的惩罚项，||E||_2,1是稀疏编码E＝[e₁,e₂,…,e_i,…,e_l]的惩罚项，用于保持所学习到的特征是稀疏性的，训练集X＝{(x₁，y₁)，(x₂，y₂)，…(x₁，y₁)，…，(x₁，y₁)}，i＝1,2,…,l，l为所述训练集中示例总数，x_i表示示例，y_i表示标签。

6.根据权利要求5所述的方法，其特征在于，所述学习一个投影字典，将每个示例的稀疏编码重新表示，包括：

通过以下公式学习一个投影字典，将每个示例的稀疏编码重新表示：

其中，表示投影字典，是投影字典P的惩罚项，能够保持投影字典P每一项最小。

7.根据权利要求6所述的方法，其特征在于，所述基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器，包括：

通过以下目标函数，基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器：

其中，x_i∈S_q表示从正包集合中被挑选的正候选示例，示例x_i拥有一个正标签y_i＝+1；x_j∈S_a和x_k∈S_a表示正包集合中未被挑选为正候选示例的模糊示例，对于示例x_j它被期望有一个正标签y_j＝+1，对于示例x_k它被期待拥有一个负标签y_k＝-1；x_g∈S^-表示负示例，m⁺(x_j)ξ_j和m^-(x_k)ξ_k是误差项，拥有不同的权重，c₁、c₂、c₃、c₄是正则化参数，控制超平面余量和误差之间的权衡，W是支持向量机中的超平面；子集S_q中的示例x_i对于正类的权重误差为对于负类的权重误差为0；子集S_a中的模糊示例在目标函数中的权重误差为 为未被挑选的模糊示例x_j对于正类的权重误差，为未被挑选的模糊示例x_k对于负类的权重误差；子集S^-中的示例x_g对于正类的权重误差为0，对于负类的权重误差为

8.一种基于相似度的多示例字典学习分类装置，其特征在于，包括：

训练集获得模块，用于获得训练集，所述训练集包含正包集合和负包集合，所述正包集合和所述负包集合中的每个示例均由基于相似性的数据模型表示；

分类器训练模块，用于依次从所述正包集合中选择一个正候选示例，针对选择出的每个正候选示例，重复执行以下步骤，循环迭代，训练基于支持向量机的分类器，直至满足预设的迭代停止条件：

分别计算所述训练集中每个示例对于正类和负类的相似性权重，其中，所述正候选示例与正类和负类的相似性权重分别为1和0，所述负包集合中的每个示例与正类和负类的相似性权重分别为0和1；

将所述训练集中每个示例经过字典学习，获得每个示例的稀疏编码；

学习一个投影字典，将每个示例的稀疏编码重新表示；

基于投影重新表示的每个示例及每个示例的相似性权重，训练所述分类器；

类别确定模块，用于基于训练后的所述分类器，获得待进行类别确定的目标包所属类别。

9.根据权利要求8所述的装置，其特征在于，所述分类器训练模块，具体用于：

按照所述正包集合中每个示例与所述正包集合的相似度从大到小的顺序，依次将所述正包集合中的每个示例作为正候选示例。

10.根据权利要求8或9所述的装置，其特征在于，所述分类器训练模块，具体用于：

针对所述训练集中除所述正候选示例和所述负包集合外的每个示例，根据该示例与所述正候选示例的相似度，及该示例与所述负包集合的负相似度，计算该示例对于正类的相似性权重；

根据该示例与所述负包集合的相似度，及该示例与所述正候选示例的负相似度，计算该示例对于负类的相似性权重。