CN107636678A - 用于预测图像样本的属性的方法和设备 - Google Patents

Abstract

本申请涉及用于预测图像样本的属性的方法和系统。用于预测图像样本的属性的方法包括：从包括多个训练图像样本的训练集获得多个图像子集；逐渐地分裂每个图像子集以生成用于预测的决策森林；确定测试图像样本在所述决策森林中的节点的路径；合并所确定的每个路径中的所有叶节点处的训练图像样本；对所有已合并的训练图像样本进行聚类以获得重叠簇，每个已合并的训练图像样本被聚类成重叠簇中的至少一个；以及从重叠簇预测所述测试图像样本的属性。

Description

用于预测图像样本的属性的方法和设备

技术领域

本申请涉及机器学习，且特定地涉及用于预测图像样本的属性的方法和设备。

背景技术

在许多视觉任务中存在数据不平衡的现象，从低层次的边缘检测到高层次的人脸年龄估计和头部姿势估计等不一而足。在广泛使用的FG-NET和MORPH数据库中，年轻的图像常常比年老的图像多得多，人体头部很少表现出极端的姿势，并且在BSDS500数据库上各种图像边缘图像数据结构服从幂律分布(power-law distribution)。

如果不处理该不平衡的问题，则会导致常规视觉算法对多数类有很强的学习偏向而对少数类有较差的预测准确性，并且兴趣度通常相等或更大(例如，很少有边缘可传递关于自然图像的最重要的语义信息)。对少数类学习不足应归于由于示例的数目有限或甚至没有示例造成的完全缺乏表示，尤其是在存在小数据集的情况下。例如，FG-NET和Pointing’04头部姿势数据集总共仅分别具有1002和2790个图像(8个图像具有60+年龄且60个图像具有俯仰角90°)；并且FG-NET没有针对60以上的某些年龄级的图像。这会给从通常具有较高可变性的少数类样本推断不可见(unseen)数据时提出了更大的挑战。更糟糕的是，小的不平衡数据集会伴随着类重叠问题，这进一步使学习难度加重。

在机器学习领域，存在三种常见的方法来应对数据不平衡的负面影响：重采样、代价敏感学习(cost-sensitive learning)和集成学习(ensemble learning)。重采样方法的目的在于通过欠采样多数类或过采样少数类(或两者)来使类先验相等，但会很容易排除有价值的信息或引入噪声。通过调整与样本相关联的误分类代价(misclassificationcost)，通常认为代价敏感学习(cost-sensitive learning)的方法比随机重采样方法带来的效果更好，然而，真实的代价(true cost)常常是未知的。待进一步改进的一种有效技术是求助于集成学习(即使在没有任何先验的情况下)。Chen等人将装袋(bagging)和代价敏感决策树相结合，生成随机森林的加权版本，据我们所知，该加权版本只是基于随机森林的不平衡学习方法。他们在叶子节点处进行节点分裂和聚合期间使用类权重来平衡基尼准则(Gini criterion)。

以上方法具有两个共同的缺点：1)它们被设计成用于分类或者回归，但没有针对两者的通用解决方案。2)它们对未见过的外形和在观察到的数据空间上合成新标签方面的解释能力有限。这在不平衡和小的样本数量相组合的情况下更为严重，其中少数类由于样本/标签的数目过度减少(或甚至没有)而被过少表示。在本文中，解决了在分类与回归两种情况中的数据不平衡和不可见数据推断的问题。

发明内容

本申请的一个方面公开了一种用于预测图像样本的属性的方法。用于预测图像样本的属性的所述方法可包括：从包括多个训练图像样本的训练集获得多个图像子集；逐渐地分裂(splitting)这些图像子集中的每一个以生成用于预测的决策森林；确定测试图像样本在决策森林中的节点的路径；合并所确定的每个路径中的所有叶节点处的训练图像样本；对所有已合并的训练图像样本进行聚类以获得重叠簇，这些已合并的每个训练图像样本被聚类成重叠簇中的至少一个；以及从重叠簇预测测试图像样本的属性。

根据本申请的实施方案，分裂可包括：将训练图像样本聚类成决策森林的每个节点处的不同类；将权重分配给所聚类处理后的类，其中更大的权重被分配给具有更少训练图像样本的类，而更小的权重被分配给具有更多训练图像样本的类；以及基于所分配的权重来分裂训练图像样本。

根据本申请的实施方案，决策森林具有的深度可使得每个类中的所有训练图像样本具有相同属性。

根据本申请的实施方案，决策森林的信息增益可低于固定阈值。

根据本申请的实施方案，在决策森林的叶节点处的训练图像样本可具有低于固定阈值的大小。

根据本申请的实施方案，分裂可包括：通过用于分类的代价敏感线性支持向量机来分裂训练图像样本。

根据本申请的实施方案，分裂可包括：通过用于回归的代价敏感线性支持向量回归来分裂训练图像样本。

根据本申请的实施方案，聚类可包括：计算已合并的训练图像样本中的两个样本之间的偏置点间距离；以及基于偏置点间距离将已合并的训练图像样本中的每一个样本分配给至少一个簇以获得重叠簇，其中如果已合并的训练图像样本中的两个样本具有相同属性，则偏置点间距离是已合并的训练图像样本中的两者的欧几里德距离乘以等于或大于1的因数，否则偏置点间距离是欧几里德距离乘以小于1的因数。

根据本申请的实施方案，预测可包括：发现重叠簇中近似测试图像样本的簇；从所发现的簇计算测试图像样本的系数估计值；经由类近邻近似来更新系数估计值；使用所更新的系数估计值来预测测试图像样本的属性。

本申请的另一个方面公开了一种用于预测图像样本的属性的系统。用于预测图像样本的属性的所述系统可包括：分裂装置，其用于从包括多个训练图像样本的训练集获得多个图像子集、并逐渐地分裂这些子集中的每一个以生成用于预测的决策森林；确定装置，其与分裂装置电连接，并且用于确定测试图像样本在决策森林中的节点的路径；聚类装置，其与确定装置电连接，并且用于合并所确定的每个路径中的所有叶节点处的训练样本、并对所有已合并的训练样本进行局部聚类以获得重叠簇，这些重叠簇中的每一个均具有至少两个属性；以及预测装置，其与聚类装置电连接，并且用于从重叠簇预测测试样本的属性。

根据本申请的实施方案，分裂装置可进一步包括：聚类单元，其用于将训练图像样本聚类成决策森林的每个节点处的不同类；第一分配单元，其与聚类单元电连接，并且用于将权重分配给经过聚类处理后的类，其中更大的权重被分配给具有更少训练图像样本的类，而更小的权重被分配给具有更多训练图像样本的类；以及分裂单元，其与分配单元电连接，并且用于基于所分配的权重来分裂训练图像样本。

根据本申请的实施方案，分裂单元可以是用于分类的代价敏感线性支持向量机。

根据本申请的实施方案，分裂单元可以是用于回归的代价敏感线性支持向量回归。

根据本申请的实施方案，聚类装置可进一步包括：计算单元，其用于计算已合并的训练图像样本中的两者之间的偏置点间距离；以及第二分配单元，其与计算单元电连接，并且用于基于偏置点间距离将已合并的每个训练图像样本分配给至少一个簇以获得重叠簇，其中如果已合并的训练图像样本中的两个样本具有相同属性，则计算单元可通过计算已合并的训练图像样本中的所述两个样本的欧几里德距离乘以等于或大于1的因数来计算偏置点间距离，否则通过计算欧几里德距离乘以小于1的因数来计算偏置点间距离。

根据本申请的实施方案，预测装置可进一步包括：发现单元，其用于发现重叠簇中近似测试图像样本的簇；估计单元，其与发现单元电连接，并且用于从所发现的簇计算测试图像样本的系数估计值；更新单元，其与估计单元电连接，并且用于经由类近邻近似来更新系数估计值；以及预测单元，其与更新单元电连接，并且用于使用所更新的系数估计值来预测测试图像样本的属性。

本申请的另一个方面涉及一种用于预测图像样本的属性的系统。所述系统可包括：存储器，其可存储可执行部件；以及电联接到存储器的处理器，其可执行部件以执行系统的操作，其中这些可执行部件可包括：分裂部件，其用于从包括多个训练图像样本的训练集获得多个图像子集、并逐渐地分裂每个子集以生成用于预测的决策森林；确定部件，其用于确定测试图像样本在决策森林中的节点的路径；聚类部件，其用于合并在所确定的每个路径中的所有叶节点处的训练样本、并对所有已合并的训练样本进行局部聚类以获得重叠簇；以及预测部件，其用于从重叠簇预测测试样本的属性。

根据本申请的实施方案，分裂部件可进一步包括：聚类子部件，其用于将训练图像样本聚类成决策森林的每个节点处的不同类；第一分配子部件，其用于将权重分配给经过聚类处理后的类，其中更大的权重被分配给具有更少训练图像样本的类，而更小的权重被分配给具有更多训练图像样本的类；以及分裂子部件，其用于基于所分配的权重来分裂训练图像样本。

根据本申请的实施方案，聚类部件可进一步包括：计算子部件，其用于计算已合并的训练图像样本中的两个样本之间的偏置点间距离；以及第二分配子部件，其用于基于偏置点间距离将已合并的训练图像样本中的一个样本分配给至少一个簇以获得重叠簇，其中如果已合并的训练图像样本中的所述两个样本具有相同属性，则计算子部件可通过计算已合并的训练图像样本中的两个样本的欧几里德距离乘以等于或大于1的因数来计算偏置点间距离，否则通过计算欧几里德距离乘以小于1的因数来计算偏置点间距离。

根据本申请的实施方案，预测部件可进一步包括：发现子部件，其用于发现重叠簇中近似测试图像样本的簇；估计子部件，其用于从所发现的簇计算测试图像样本的系数估计值；更新子部件，其用于经由类近邻近似来更新系数估计值；以及预测子部件，其用于使用所更新的系数估计值来预测测试图像样本的属性。

本申请以自然的方式将集成学习与代价敏感学习相结合而不进行重采样，由此避免信息损失和添加噪声。

附图说明

下文参考附图来描述本发明的例示性非限制性实施方案。附图是说明性的，并且一般不按确切的比例绘制。用相同的附图标号来引用不同图上的相同或类似元件。

图1说明了根据本申请的实施方案的用于预测图像样本的属性的方法。

图2说明了根据本申请的实施方案的生成决策森林的子步骤。

图3说明了根据本申请的实施方案的获得重叠簇的子步骤。

图4说明了根据本申请的实施方案的用于预测图像样本的属性的系统。

图5说明了根据本申请的实施方案的分裂装置的示意性框图。

图6说明了根据本申请的实施方案的聚类装置的示意性框图。

图7说明了根据本申请的实施方案的预测装置的示意性框图。

图8说明了根据本申请的实施方案的用于预测图像样本的属性的系统。

具体实施方式

下文中，将参考详细描述以及附图来详细描述本申请的实施方案。

将参考训练集来描述本申请的各种实施方案，其中x_i∈R^D是样本s_i的特征向量，且y_i是样本s_i的标签。本申请的目的在于对样本特征x作无偏预测(即使在存在严重不平衡和小的数据集的情况下)。标签y∈C是指用于分类的类系数(例如，边缘类)和用于回归的数值(例如，年龄和姿势角)。为了识别针对多数类的正确决策区域和针对少数类的更重要决策区域，本申请借助于有效而稳健的随机决策森林。随机决策森林是从多个随机数据子集学习到的决策树集成。每个树将输入空间递归地划分成不相连分区，从而以由粗到细的方式生成候选决策区域。

图1说明了根据本申请的实施方案的用于预测图像样本的属性的方法1000。

在步骤S100中，接收训练集并通过(例如)采样从训练集获得多个图像子集。

然后，在步骤S200中，逐渐地分裂图像子集中的每一个以生成决策树。所生成的决策树构成了用于预测测试图像样本的属性的决策森林。

现将参考图2来详细描述步骤S200。

如图2中所示，在步骤S210中，(例如)通过采用众所周知的K均值技术将节点j处的训练样本S_j聚类成两个类为进行分类，节点j处的训练样本S_j被聚类成两个类，以便被分裂成左节点或右节点。对于多类情况(例如，10类情况)而言，将10个类聚类成包括5个类似的类的一部分和包括其他5个类的另一部分，然后逐渐地分裂这两个部分。然后，在步骤S220中，为了防止偏向于多数类(majorityclass)，将权重分配给经过聚类处理的类。在本申请中，将权重定义为簇分布的函数。例如，权重可与因数f(p_k)＝(1-p_k)/p_k相关联，其中显然，f(p_k)给予少数类(minority class)更大的权重而不损失整体性能。然后，在步骤S230中，对于具有局部样本S_j的节点j而言，S_j可被代价敏感分裂成和具体地说，代价敏感分裂可采用因数f(p_k)。当达到最大深度或局部样本大小|S_j|降到固定阈值以下时，步骤S230停止。为进行分类，如果等式(1)中所描述的信息增益降到固定阈值以下，则步骤S230也可停止。将信息增益定义为：

其中H表示类熵。为进行回归，可以将信息增益替换为标签方差，所述标签方差被定义为：H(S)＝∑_y(y-μ)²/|S|其中μ＝∑_yy/|S|。因此，获得了决策森林。

例如，为进行分类，可由线性SVM的代价敏感版本来确定步骤S230中所使用的分裂函数：

其中w是权重向量，C是正则化参数，并且如果则z_i＝1，否则z_i＝-1。最后，通过sgn(w^Tx_i)将每个训练样本发送到或为进行回归，可由对代价敏感的线性SVR来确定步骤S230中所使用的分裂函数：

其中ε≥0。节点通过将数值预测{w^Tx_i}与标签的局部均值相比较而向左或向右形成分支。

然后，在步骤S300中，将测试图像样本输入到步骤S200中所生成的决策森林的每个决策树。根据决策树的每个节点的分裂准则，可以在决策树中的每一个中确定可以由测试图像样本到达的节点，且因此可以确定测试图像样本在决策森林中的节点的路径。

然后，在步骤S400中，合并在所确定的每个路径中的所有叶节点处的训练样本，从而分割出覆盖尽可能多的少数样本的更广泛的决策区域。即，可由测试样本到达的叶节点的所有样本集{L_t}被合并成更大的样本集L＝∪_tL_t。

然后，在步骤S500中，将已合并的训练样本聚类成重叠簇。即，已合并的每个训练图像样本可属于至少一个簇，使得重叠簇可具有互补的外形，从而丰富簇表示。

现将参考图3来详细描述步骤S500。

如图3中所示，在步骤S510中，计算已合并的训练样本中的两者之间的偏置点间距离。例如，x_i与x_j之间的点间距离具有标签偏置(label-biased)的属性：

其中d是欧几里德距离，如果x_i与x_j的类标签不同，则1(y_i≠y_j)＝1，并且g(y)＝τy/(max{y}-y)是互惠增函数，τ是权衡参数。和不同类的数据相比，偏置距离由于更偏爱“同一类”数据，因此使聚类变得有判别力。在极端情况下(例如，在分类情况中)，其仍形成都完全来自一个类的多个簇(即使簇成员在外形上明显不同)，这适合于进行分类处理。可在用于聚类的K均值技术中使用偏置点间距离。

然后，在S520中，基于偏置点间距离将已合并的每个训练样本分配给至少一个簇。例如，通过在每个迭代中，基于样本x_i的最近质心将样本x_i的簇分配(cluster assignment)释放到多于一个的质心 从而允许簇彼此重叠(经验上ω＝0.8)。

下文中，现将在根据本申请的实施方案的示例中详细论述步骤S500。

给定N个训练样本，为了将N个训练样本聚类成K个重叠簇，将执行以下步骤：

I.确定K个簇的质心；

II.计算N-K图像样本与K个簇的质心之间的偏置距离；

III.将图像样本中的每一个分配给多于一个的质心，即通过以下步骤来允许簇彼此重叠：在每个迭代中，基于样本x_i的最近质心将样本x_i的簇分配(cluster assignment)释放到多于一个的质心 然后通过使用经修改的K均值技术(基于偏置距离和多重分配)将N个图像样本聚类成K个簇。这导致重叠簇各自包含一些“类间”样本，但具有互补的外形以丰富簇表示；

IV.更新K个簇的质心；以及

V.重复II-IV，直到K个重叠簇的质心收敛。

然后，在步骤S600中，可以从重叠簇预测测试样本的属性。

下文中将详细描述步骤S600。给定步骤500生成K个重叠簇这些重叠簇具有它们的特征矩阵和标签，在步骤S600中预测样本q的标签。

具体地，在步骤S600中，首先，通过仿射包模型(affine hull model)AH_k对重叠簇中的每一个都进行建模，所述仿射包模型能够说明不同模式的不可见的数据。每一AH_k涵盖其样本的所有可能的仿射组合，并且可以被参数化为：

AH_k＝{x＝μ_k+U_kv_k,k＝1,...,K} (5)

其中是质心，U_k是从居中的L_k的SVD获得的标准正交基，且v_k是系数向量。

然后，通过计算(即，确定指数k)来确定哪个仿射包模型被用来近似样本q。使用μ_k+U_kv_k来更新该样本q。

然后，基于所更新的q和所确定的指数k，将稳健估计值估计为：

基于所估计的可通过下式来确定稀疏系数α_k：

因此，稀疏系数α_k受估计值的约束。

然后，对所属的簇及其与类近邻稀疏先验的近似的联合优化用公式表示为：

其中ε≥0，并且λ和γ是调节参数。

重复这些操作，直到达到收敛。然后，将样本q的标签预测为用于回归的或通过在y_k(具有用于分类的稀疏分量)当中进行多数投票来预测样本q的标签。

下文给出了根据本申请的实施方案的用于预测样本的属性的方法的操作列表。

本申请还涉及根据本申请的实施方案的用于预测图像样本的属性的系统。

图4说明了根据本申请的实施方案的用于预测图像样本的属性的系统2000。将参考如上文所提到的训练集来描述系统2000。

如图4中所示，系统2000包括分裂装置100、确定装置200、聚类装置300和预测装置400。

如图5中所示，分裂装置100包括聚类单元110、第一分配单元120和分裂单元130。训练集被输入到聚类单元110中。聚类单元110用于通过(例如)采样从训练集生成多个图像子集。此外，聚类单元110通过采用(例如)众所周知的K均值技术将节点j处的训练样本S_j聚类成两个类

第一分配单元120与聚类单元110电连接。第一分配单元120用于根据聚类单元110的输出将权重分配给经过聚类处理的类。所述权重与步骤S220中所提到的权重相同，本文中将不重复其详细描述。

分裂单元130与第一分配单元120电连接。基于所分配的权重，分裂单元130可将节点j处的局部样本S_j代价敏感分裂成和分裂单元130可采用因数f(p_k)以向局部样本S_j执行代价敏感分裂。当达到最大深度或局部样本大小|S_j|降到固定阈值以下时，分裂单元130可停止分裂。为进行分类，如果等式(1)中所描述的信息增益降到固定阈值以下，则分裂单元130也可停止分裂。为进行回归，可以将信息增益替换为上文所提到的标签方差。因此，获得了决策森林。

确定装置200与分裂装置100电连接。由分裂装置100将所生成的决策森林输出到确定装置200。测试样本被输入到确定装置200。然后，确定装置200用于确定在每个决策树中可以由测试图像样本到达的节点，且因此确定测试图像样本在决策森林中的节点的路径。

聚类装置300与确定装置200电连接。聚类装置300用于合并在所确定的每个路径中的所有叶节点处的训练样本，从而分割出覆盖尽可能多的少数样本的更广泛的决策区域。即，聚类装置300将可由测试样本到达的叶节点的所有样本集{L_t}合并成更大的样本集L＝∪_tL_t。然后，聚类装置300将已合并的训练样本聚类成重叠簇。

如图6中所示，聚类装置300进一步包括计算单元310和第二分配单元320。

计算单元310用于计算已合并的训练样本中的两者之间的偏置点间距离。例如，偏置点间距离可以是如等式(4)中所定义的偏置点间距离。

第二分配单元320与计算单元310电连接。由计算单元310将偏置点间距离输出到第二分配单元320。然后，第二分配单元320用于基于偏置点间距离将已合并的每个训练样本分配给至少一个簇。例如，第二分配单元320通过在每个迭代中，基于样本x_i的最近质心将样本x_i的簇分配(cluster assignment)释放到多于一个的质心从而允许簇彼此重叠(经验上ω＝0.8)。

预测装置400与聚类装置300电连接。由聚类装置300将重叠簇输出到预测装置400。然后，预测装置400用于从重叠簇预测测试样本的属性。

如图7中所示，预测装置400包括发现单元410、估计单元420、更新单元430和预测单元440。

发现单元410用于发现重叠簇中近似测试样本的簇。估计单元420与发现单元410电连接，并且用于从所发现的簇计算测试图像样本的系数估计值。更新单元430与估计单元420电连接，并且用于经由类近邻近似来更新系数估计值。预测单元440与更新单元430电连接，并且用于使用所更新的系数估计值来预测测试图像样本的属性。预测装置的操作与步骤S600中所描述的步骤基本相同。

本申请还涉及根据本申请的实施方案的用于预测测试样本的属性的系统3000。

如图8中所示，系统3000包括：存储器3100，其存储可执行部件；以及处理器3200，其联接到存储器3100并且用于执行可执行部件，以执行系统3000的操作。这些可执行部件包括：分裂部件3110，其用于从包括多个训练图像样本的训练集获得多个图像子集、并逐渐地分裂这些子集中的每一个以生成用于预测的决策森林；确定部件3120，其用于确定测试图像样本在决策森林中的节点的路径；聚类部件3130，其用于合并在所确定的每个路径中的所有叶节点处的训练样本、并对所有已合并的训练样本进行局部聚类以获得重叠簇；以及预测部件3140，其用于从重叠簇预测测试样本的属性。

根据本申请的实施方案，分裂部件3110进一步包括：聚类子部件，其用于将训练图像样本聚类成决策森林的每个节点处的不同类；第一分配子部件，其用于将权重分配给经过聚类处理的类，其中更大的权重被分配给具有更少训练图像样本的类，而更小的权重被分配给具有更多训练图像样本的类；以及分裂子部件，其用于基于所分配的权重来分裂训练图像样本。

根据本申请的实施方案，聚类部件3130进一步包括：计算子部件，其用于计算已合并的训练图像样本中的两个样本之间的偏置点间距离；以及第二分配子部件，其用于基于偏置点间距离将已合并的一个训练图像样本分配给至少一个簇以获得重叠簇，其中如果已合并的训练图像样本中的两个样本具有相同属性，则计算子部件通过计算已合并的训练图像样本中的两个样本的欧几里德距离乘以等于或大于1的因数来计算偏置点间距离，否则通过计算欧几里德距离乘以小于1的因数来计算偏置点间距离。

根据本申请的实施方案，预测部件3140进一步包括：发现子部件，其用于发现重叠簇中近似测试图像样本的簇；系数估计值计算子部件，其用于从所发现的簇计算测试图像样本的系数估计值；更新子部件，其用于经由类近邻近似来更新系数估计值；以及预测子部件，其用于使用所更新的系数估计值来预测测试图像样本的属性。

可以在数字电子电路中或在计算机硬件、固件、软件或其组合中实施在本发明的范围内的实施方案。可以在有形地体现在机器可读存储装置中、供由可编程处理器执行的计算机程序产品中实施在本发明的范围内的设备；并且可以由执行指令程序的可编程处理器来执行在本发明的范围内的方法动作，以通过操作于输入数据并生成输出来执行本发明的功能。

有利地，在一个或多个计算机程序中实施在本发明的范围内的实施方案，所述计算机程序可在包括至少一个可编程处理器的可编程处理器上执行，所述至少一个可编程处理器经联接以从数据存储系统、至少一个输入装置和至少一个输出装置接收数据和指令以及将数据和指令传输到数据存储系统、至少一个输入装置和至少一个输出装置。可以以高阶面向程序或面向对象的编程语言或以汇编语言或机器语言(若需要)来实施每个计算机程序；并且在任何情况下，语言可以是编译或解译语言。通过示例，合适的处理器包括通用处理器与专用微处理器两者。一般地，处理器将从只读存储器和/或随机存取存储器接收指令和数据。一般地，计算机将包括用于存储数据文件的一个或多个大容量存储装置。

在本发明的范围内的实施方案包括用于携带或具有存储在其上的计算机可执行指令、计算机可读指令或数据结构的计算机可读媒体。此类计算机可读媒体可以是任何可用的媒体，其可由通用或专用计算机系统存取。计算机可读媒体的示例可包括：物理存储媒体，诸如RAM、ROM、EPROM、CD-ROM或其他光碟存储装置、磁碟存储装置或其他磁性存储装置；或任何其他媒体，其可以用来携带或存储呈计算机可执行指令、计算机可读指令或数据结构的形式的所要程序代码构件并且其可由通用或专用计算机系统存取。以上中的任一者可以辅以ASIC(专用集成电路)或并入于其中。虽然已示出和描述了本发明的实施方案，但是在不背离本发明的真实范围的情况下可对此类实施方案作出改变和修改。

虽然已描述了本发明的优选示例，但是本领域技术人员可以在知道基本发明性概念后即刻对这些示例作出变化或修改。所附权利要求旨在被视为包括优选示例并且所有变化或修改都落在本发明的范围内。

显然，本领域技术人员可以在不背离本发明的精神和范围的情况下对本发明作出变化或修改。因而，如果这些变化或修改属于权利要求和等效技术的范围，则它们也可落入本发明的范围中。

Claims (19)

1.一种用于预测图像样本的属性的方法，包括：

从包括多个训练图像样本的训练集获得多个图像子集；

逐渐地分裂每个所述图像子集以生成用于预测的决策森林；

确定测试图像样本在所述决策森林中的节点的路径；

合并所确定的每个路径中的所有叶节点处的训练图像样本；

对所有已合并的训练图像样本进行聚类以获得重叠簇，每个已合并的训练图像样本被聚类成所述重叠簇中的至少一个；以及

从所述重叠簇预测所述测试图像样本的属性。

2.根据权利要求1所述的方法，其中，所述分裂包括：

将所述训练图像样本聚类成所述决策森林的每个节点处的不同类；

为经过聚类后的类分配权重，其中给具有更少训练图像样本的类分配更大的权重，而给具有更多训练图像样本的类分配更小的权重；以及

基于所分配的权重来分裂所述训练图像样本。

3.根据权利要求2所述的方法，其中所述决策森林具有的深度能够使得每个所述类的所有训练图像样本具有相同属性。

4.根据权利要求2所述的方法，其中所述决策森林的信息增益低于固定阈值。

5.根据权利要求1所述的方法，其中在所述决策森林的所述叶节点处的训练图像样本具有低于固定阈值的大小。

6.根据权利要求2所述的方法，其中，所述分裂包括：

通过用于分类的代价敏感线性支持向量机来分裂所述训练图像样本。

7.根据权利要求2所述的方法，其中，所述分裂包括：

通过用于回归的代价敏感线性支持向量回归来分裂所述训练图像样本。

8.根据权利要求1所述的方法，其中所述聚类包括：

计算已合并的训练图像样本中的两个样本之间的偏置点间距离；以及

基于所述偏置点间距离将已合并的每个所述训练图像样本分配给至少一个簇以获得所述重叠簇，

其中，如果已合并的所述训练图像样本中的所述两个样本具有相同属性，则所述偏置点间距离是已合并的所述训练图像样本中的所述两个样本的欧几里德距离乘以等于或大于1的因数，否则所述偏置点间距离是所述欧几里德距离乘以小于1的因数。

9.根据权利要求1所述的方法，其中所述预测包括：

发现所述重叠簇中近似所述测试图像样本的簇；

从所发现的簇计算所述测试图像样本的系数估计值；

经由类近邻近似来更新所述系数估计值；

使用所更新的系数估计值来预测所述测试图像样本的所述属性。

10.一种用于预测图像样本的属性的系统，其包括：

分裂装置，其用于从包括多个训练图像样本的训练集获得多个图像子集、并逐渐地分裂每个所述图像子集以生成用于预测的决策森林；

确定装置，其与所述分裂装置电连接，并且用于确定测试图像样本在所述决策森林中的节点的路径；

聚类装置，其与所述确定装置电连接，并且用于合并所确定的每个路径中的所有叶节点处的训练样本、并对所有已合并的训练样本进行局部聚类以获得重叠簇，所述重叠簇中的每一个具有至少两个属性；以及

预测装置，其与所述聚类装置电连接，并且用于从所述重叠簇预测所述测试样本的属性。

11.根据权利要求10所述的系统，其中所述分裂装置进一步包括：

聚类单元，其将所述训练图像样本聚类成所述决策森林的每个节点处的不同类；

第一分配单元，其与所述聚类单元电连接，并且为经过聚类后的类分配权重，其中更大的权重被分配给具有更少训练图像样本的类，而更小的权重被分配给具有更多训练图像样本的所述类；以及

分裂单元，其与所述分配单元电连接，并且基于所分配的权重来分裂所述训练图像样本。

12.根据权利要求11所述的系统，其中所述分裂单元是用于分类的代价敏感线性支持向量机。

13.根据权利要求11所述的系统，其中所述分裂单元是用于回归的代价敏感线性支持向量回归。

14.根据权利要求10所述的系统，其中所述聚类装置进一步包括：

计算单元，其用于计算已合并的训练图像样本中的两个样本之间的偏置点间距离；以及

第二分配单元，其与所述计算单元电连接，并且基于所述偏置点间距离将已合并的训练图像样本中的一个样本分配给至少一个簇以获得所述重叠簇，

其中，如果已合并的训练图像样本中的所述两个样本具有相同属性，则所述计算单元通过计算已合并的训练图像样本中的所述两个样本的欧几里德距离乘以等于或大于1的因数来计算所述偏置点间距离，否则通过计算所述欧几里德距离乘以小于1的因数来计算所述偏置点间距离。

15.根据权利要求10所述的系统，其中所述预测装置进一步包括：

发现单元，其用于发现所述重叠簇中近似所述测试图像样本的簇；

估计单元，其与所述发现单元电连接，并且从所发现的簇中计算所述测试图像样本的系数估计值；

更新单元，其与所述估计单元电连接，并且用经由类近邻近似来更新所述系数估计值；以及

预测单元，其与所述更新单元电连接，并且使用所更新的系数估计值来预测所述测试图像样本的所述属性。

16.一种用于预测图像样本的属性的系统，其包括：

存储器，其存储可执行部件；以及

处理器，其电联接到所述存储器来执行所述可执行部件以执行所述系统的操作，其中，所述可执行部件包括：

分裂部件，其用于从包括多个训练图像样本的训练集获得多个图像子集、并逐渐地分裂每个所述图像子集以生成用于预测的决策森林；

确定部件，其用于确定测试图像样本在所述决策森林中的节点的路径；

聚类部件，其用于合并确定的每个路径中的所有叶节点处的训练图像样本、并对所有已合并的训练样本进行聚类以获得重叠簇；以及

预测部件，其用于从所述重叠簇预测所述测试样本的属性。

17.根据权利要求16所述的系统，其中所述分裂部件进一步包括：

聚类子部件，其用于将所述训练图像样本聚类成所述决策森林的每个节点处的不同类；

第一分配子部件，其用于将权重分配给经过聚类处理的类，其中更大的权重被分配给具有更少训练图像样本的类，而更小的权重被分配给具有更多训练图像样本的类；以及

分裂子部件，其用于基于所分配的权重来分裂所述训练图像样本。

18.根据权利要求16所述的系统，其中所述聚类部件进一步包括：

计算子部件，其用于计算已合并的训练图像样本中的两个样本之间的偏置点间距离；以及

第二分配子部件，其用于基于所述偏置点间距离将已合并的训练图像样本中的一个样本分配给至少一个簇以获得所述重叠簇，

其中，如果已合并的训练图像样本中的所述两个样本具有相同属性，则所述计算子部件通过计算已合并的训练图像样本中的所述两个样本的欧几里德距离乘以等于或大于1的因数来计算所述偏置点间距离，否则通过计算所述欧几里德距离乘以小于1的因数来计算所述偏置点间距离。

19.根据权利要求16所述的系统，其中所述预测部件进一步包括：

发现子部件，其用于发现所述重叠簇中近似所述测试图像样本的簇；

估计子部件，其用于从所发现的簇计算所述测试图像样本的系数估计值；

更新子部件，其用于经由类近邻近似来更新所述系数估计值；以及

预测子部件，其用于使用所更新的系数估计值来预测所述测试图像样本的所述属性。