CN102713945B - 模式识别器和模式识别方法 - Google Patents

Abstract

损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示。损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和。识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。

Description

模式识别器和模式识别方法

技术领域

本发明涉及模式识别器、模式识别方法以及用于模式识别的程序，以识别输入数据的模式，以及涉及识别字典创建设备、识别字典创建方法以及用于识别字典创建的程序，以创建用于模式识别的识别字典。

背景技术

将输入数据分成两组的已知典型方法包括在专利文献(PTL)1和非专利文献(NPL)1中描述的技术。

PTL1中描述的软空白(margin)分类系统被配置为确定包括训练集合的每个数据向量中的权重向量和偏差的参数，并且基于多个约束确定针对每个数据向量的松弛变量的最小非负值。PTL1中描述的软空白分类系统被配置为确定成本函数的最小值以满足多个约束。

NPL1中描述的方法是当不能线性地分离输入数据时将模式映射到有限或无限维特征空间中，并且对特征空间执行线性分离。

引用列表

专利文献

专利文献1：日本专利申请特开No.8-087572(1996)(0009段)

非专利文献

NPL1：C.Cortes and V.N.Vapnik，″Support vector Networks，″Machine Learning，vol.20，pp.273-297，1995.

发明内容

技术问题

以下描述了使用PTL1和NPL1中描述的分类方法的典型模式识别器。图17示出了典型模式识别器。图17中示出的模式识别器包括数据输入部201、特征提取部202、识别字典创建部203、分类部206和结果输出部208。识别字典创建部203包括损失计算部204和空白计算部205。

在被称作学习创建识别字典的阶段，特征提取部202将从数据输入部201输入的数据转换成d维特征向量，并且识别字典创建部203创建识别字典207。在识别数据阶段，特征提取部202将从数据输入部201输入的数据转换成d维特征向量，并且分类部206使用识别字典207对数据进行分类，并且其后，结果输出部208输出分类结果。

这里，识别字典创建部203创建识别字典207，使得评价函数最小化，评价函数是通过将损失计算部204所计算的损失与空白计算部205所计算的空白的倒数相加来获得的。

图18示出了根据可以被线性分离的数据来创建识别字典的处理。首先，参照图18描述可以被线性分离的数据集合的情况。图18中的黑点(下文中描述为“●”)指示属于负类别的数据，并且白点(下文中描述为“○”)指示属于正类别的数据。在典型模式识别器中，找到在负数据和正数据之间具有最大空白的平行空白边界(即，实线302和实线303)，并且创建识别字典，使得位于距离平行空白边界相等距离处的虚线301用作判定边界。

接着，参照图19描述了不能对数据集合进行线性分离的情况。图19示出了根据不能被线性分离的数据来创建识别字典的处理。类似于图18，实线402和实线403是平行空白边界，并且虚线401是位于距离平行空白边界相等距离处的判定边界。然而，与图18的情况不同，方框所包围的数据406、407包含在数据集合中，并因此可以对数据进行线性分离。

在如上不能对数据集合进行线性分离的情况下，典型模式识别器的识别字典创建部203计算与指示为“●”的数据的空白边界(即，实线402)的偏差量404和与指示为“○”的数据的空白边界(即实线403)的偏差量405的总和作为损失。然后，识别字典创建部203创建具有空白边界和判定边界的识别字典，使得该损失可以最小化，并且空白可以最大化。同时，识别字典创建部203找到判定边界，以使表达式1所定义的值L最小化。

[数学公式1]

     (表达式1)

表达式1中的因子C是确定空白与损失之间的平衡的参数，并且该因子的值可以使用交叉验证通过试误法来确定。

但是，在使用典型模式识别器将输入数据分成组的方法中，当用于学习的数据包含噪声或者数据数目较小时，存在针对没有学习的新数据的分类精度劣化的问题。参照图12和21，以下描述该问题。图20示出了不能对数据进行线性分离的情况。

图20的数据504是由于噪声而位于远离原始分布位置处的数据，或者是由于数据数目较少而看起远离分布的数据。在这样的情况下，典型模式识别器将判定边界(虚线501)设置在与使数据之间的空白最大化的实线502和实线503等距的位置处。

以下描述了将没有学习的新数据添加至图20的数据集合的情况。图21示出了将没有学习的新数据添加至图20的数据集合的情况。当在图21的虚线602的位置处设置判定边界时，指示为“○”的数据的误差数目变为1，并且指示为“●”的数据的误差数目变为1，并且从而误差总数变为2。然而，在典型模式识别器所使用的方法中，由于在虚线601的位置处设置判定边界，因此指示为“○”的数据的误差数目变为3(即，误差总数变为3)，并因此分类精度不幸地劣化。这样，即使在用于学习的数据包含噪声或者数据数目较少的情况下，也需要针对没有学习的新数据的高分类精度。

为了克服上述问题，本发明的示例性目的是提供一种模式识别器、一种模式识别方法以及一种用于模式识别的程序，即使在用于学习的数据包含噪声或者数据数目较小的情况下也能够以高分类精度来执行对没有学习的新数据的模式识别，以及提供一种识别字典创建设备、一种识别字典创建方法以及一种用于识别字典创建的程序，以创建用于模式识别的识别字典。

问题的解决方案

根据本发明的模式识别器包括：损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及模式分类装置，使用识别字典对数据的模式进行分类。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。

根据本发明的识别字典创建设备创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式。识别字典创建设备包括：损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；以及识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化。

根据本发明的模式识别方法包括以下步骤：针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；基于针对每个类别而计算的损失，来计算类别之间损失差的总和；基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化；以及使用校正后的识别字典来对数据的模式进行分类。

根据本发明的识别字典创建方法是创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式。该方法包括以下步骤：针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；基于针对每个类别而计算的损失，来计算类别之间损失差的总和；基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化。

根据本发明的模式识别程序使计算机执行以下处理，包括：损失计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建处理，基于损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及模式分类处理，使用识别字典对数据的模式进行分类。在识别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别之间损失差的总和之和最小化，并且在模式分类处理中，使用校正后的识别字典来对数据的模式进行分类。

根据本发明的识别字典创建程序应用于被配置为创建模式识别器所使用的识别字典的计算机，模式识别器被配置为识别数据的模式。该程序使计算机执行以下处理，包括：损失计算处理，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；损失差计算处理，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；识别字典创建处理，基于损失计算处理中针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。在识别字典创建处理中，基于输入特征向量来校正识别字典，以使损失计算处理中针对类别而计算的损失总和与损失差计算处理中计算的类别之间损失差的总和之和最小化。

本发明的有利效果

根据本发明，即使在用于学习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精度来执行对没有学习的新数据的模式识别。

附图说明

图1示出了示意根据本发明的模式识别器的一个示例性实施例的框图。

图2示出了示意创建识别字典的示例性处理的流程图。

图3示出了示意使用识别字典的示例性识别处理的流程图。

图4示出了确定判定边界的示例性操作。

图5示出了确定判定边界的示例性操作。

图6示出了确定判定边界的示例性操作。

图7示出了确定判定边界的示例性操作。

图8示出了确定判定边界的示例性操作。

图9示出了确定判定边界的示例性操作。

图10示出了示意创建识别字典的示例性处理的流程图。

图11示出了计算类别1的连续损失的示例性处理的流程图。

图12示出了计算类别2的连续损失的示例性处理的流程图.

图13示出了示意计算评价值的示例性处理的流程图。

图14示出了示意针对一个输入数据而执行的示例性分类处理的流程图。

图15示出了根据本发明的模式识别器的示例性最小配置的框图。

图16示出了示意根据本发明的识别字典创建设备的示例性最小配置的框图。

图17示出了典型模式识别器。

图18示出了根据能够被线性分离的数据来创建识别字典的处理。

图19示出了根据不能被线性分离的数据来创建识别字典的处理。

图20示出了不能被线性分离的数据集合。

图21示出了将没有学习的新数据添加至数据集合的情况。

具体实施方式

以下参照附图描述本发明的示例性实施例。

图1是示出了根据本发明的模式识别器的一个示例性实施例的框图。本发明的模式识别器包括：数据输入部101；特征提取部102；识别字典创建部103；分类部106；以及结果输出部108。识别字典创建部103还包括连续损失计算部104、损失差计算部105和识别字典确定部109。

数据输入部101向特征提取部102通知输入至识别器的要识别的数据。要识别的数据的示例包括摄像机拍摄的图像数据。

特征提取部102基于从数据输入部101通知的数据，来提取d个特征值(下文中可以被描述为d维特征向量)。特征提取部102所执行的一个示例性提取方法是将图像数据转换成单色灰度图像，并然后将整个图像划分成10高×10宽的区域，并且找到每个区域中图像亮度值的平均，从而可以获得100维特征向量。通过特征提取部102提取多维特征向量的方法不限于上述方法。由于广泛已知从输入数据中提取多维特征向量的方法，因此省略对其详细描述。

在被称作“学习”以创建识别字典107的阶段，识别字典创建部103将特征提取部102所提取的d维特征向量输入到连续损失计算部104和损失差计算部105中，并且基于连续损失计算部104和损失差计算部105的计算结果来创建识别字典107。

连续损失计算部104基于d维特征向量来计算针对每个类别的损失。然后，连续损失计算部104计算所计算的类别损失的总和。在以下描述中，为了与典型方法所计算的损失相区分，连续损失计算部104所计算的损失被描述为连续损失。

损失差计算部105基于d维特征向量来计算一个类别的损失与另一类别的损失之间的差。然后损失差计算部105计算类别之间所有差的总和。

识别字典确定部109确定要基于连续损失计算部104所计算的连续损失的总和与损失差计算部105所计算的类别之间损失差的总和而创建的识别字典。

在识别数据的阶段，分类部106使用特征提取部102所提取的d维特征向量和识别字典107来执行对数据模式的分类处理，并且向结果输出部108通知分类结果。例如，分类部106可以对输入数据的模式进行分类，以识别数据所属的类别。由于广泛已知使用d维特征向量和识别字典的分类方法，因此省略对其详细描述。

结果输出部108输出从分类部106接收到的分类结果。

接着，以下详细描述识别字典创建部103的操作。识别字典创建部103的连续损失计算部104根据以下示例的表达式2来计算针对第k类别的连续损失。

[数学公式2]

$L_k\left(\stackrel{\→}{\mathrm{\α}}\right)=\frac{P_k}{N_k}\underset{n=1}{\overset{N_k}{\mathrm{\Σ}}}r({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})$        (表达式2)

表达式2中的P_k表示针对第k类别的先验概率，N_k表示属于第k类别的特征向量的数目，向量x_kn表示属于第k类别的第n特征向量，并且向量α表示用作识别字典107的分类器参数。

这里，先验概率是指与答案已知的数据有关的存在概率或出现频率。例如，令所有数据的数目为N，数据中包括的类别k数据的比率是类别k的先验概率。作为先验概率的期望值，例如可以预先设置统计上已知的值。例如，当所有特征向量的数目是N，并且类别的数目是K时，可以将类别k的先验概率设置为P_k＝N_k/N。这里，N＝N₁+…N_K。在这种情况下先验概率P_k是答案属于类别k的学习数据与所有学习数据之比。

分类器参数是指与针对要使用的分类器而定义的分类有关的参数。例如，当核函数用作判别函数时，用于对每个核函数进行加权的因子可以用作表达式2中示例的参数α。

表达式2中示例的函数r(下文中这可以描述为r(·))表示作为白变量给出的特征向量引起分类误差的风险，并且分类误差的风险越大，该函数返回的值越大。例如，用于计算第k类别与特征向量x的相似度的判别函数g_k(下文中这可以描述为g_k(·))可以是以下函数。

[数学公式3]

$g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})$

即，判别函数g_k是随着属于第k类别的程度越大计算的值越大的函数。此外，令最可能引起针对向量x_kn的识别误差的类别是第j类别，计算第j类别与特征向量x的相似度的判别函数g_j(下文中这可以描述为g_j(·))可以是以下函数。

[数学公式4]

$g_j({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})$

同时，连续损失计算部104使用以下示例的表达式3至表达式6来计算特征向量x引起分类误差的风险。

[数学公式5]

$r({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})=f(g_i({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})-g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}}))$       (表达式3)

[数学公式6]

$r({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})=f(g_j({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})/g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}}))$        (表达式4)

[数学公式7]

$r({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})=f\left(\frac{g_j({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})}{g_i({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})+g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})}\right)$       (表达式5)

[数学公式8]

$r({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})=f\left(\frac{g_j({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})-g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})}{g_i({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})+g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})}\right)$        (表达式6)

这里，函数f(下文中，这可以描述为f(·))可以是任何单调递增函数，并且例如可以定义为以下示例的表达式7。

[数学公式9]

$f\left(x\right)=\frac{1}{1+\exp (-\mathrm{\β}(x+\mathrm{\ξ}))}$      (表达式7)

这里，β和ξ是超参数(hyper parameter)，将期望值设置为超参数。使用与在典型分类器中设置值的方法类似的方法，可以针对β和ξ来设置值。这样，连续损失计算部104计算对属于类别k的输入向量x所引起的误差度加以表示的风险总和，从而计算类别k的连续损失。

以上描述解决了连续损失计算部104使用判别函数gk来计算第k类别与特征向量x的相似度，从而计算风险的情况。这里，用于风险计算的判别函数g_k不限于计算第k类别与特征向量x的相似度的函数。

例如，连续损失计算部104可以使用判别函数来计算第k类别与特征向量x之间的距离，以计算风险。在这种情况下，使用判别函数计算的输出值越小(即，它们彼此越靠近)，属于目标类别的程度越大。相应地，连续损失计算部104可以使用交换了表达式3至表达式6中示例的g_k(·)和g_j(·)的表达式来计算风险。

接着，连续损失计算部104计算针对类别而计算的连续损失的总和。即，令类别数目为K，连续损失计算部104使用以下示例的表达式8来计算连续损失的总和。

[数学公式10]

$\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{L}_k\left(\stackrel{\→}{\mathrm{\α}}\right)$          (表达式8)

接着，损失差计算部105计算类别之间损失差的总和。例如，损失差计算部105使用如下所示例的表达式9来计算第j类别与第k类别之间损失差的总和。

[数学公式11]

$\frac{1}{2}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{(L_j\left(\stackrel{\→}{\mathrm{\α}}\right)-L_k\left(\stackrel{\→}{\mathrm{\α}}\right))}^2$       (表达式9)

接着，识别字典确定部109确定分类器参数α，以使连续损失计算部104所计算的连续损失的总和与损失差计算部105所计算的类别之间损失差的总和的加权线性和最小化。例如，识别字典确定部109确定分类器参数α，以使连续损失计算部104使用表达式8所计算的连续损失的总和与损失差计算部105使用表达式9所计算的类别之间损失差的总和的加权线性和最小化。同时，识别字典确定部109可以确定分类器参数α，以使使用以下示例表达式10计算的值L(α)最小化。

[数学公式12]

$L\left(\stackrel{\→}{\mathrm{\α}}\right)=\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{L}_l\left(\stackrel{\→}{\mathrm{\α}}\right)+\frac{\mathrm{\λ}}{2}\underset{j=1}{\overset{K}{\mathrm{\Σ}}}\underset{k=1}{\overset{K}{\mathrm{\Σ}}}{(L_j\left(\stackrel{\→}{\mathrm{\α}}\right)-L_k\left(\stackrel{\→}{\mathrm{\α}}\right))}^2$      (表达式10)

这里，λ表示超参数。识别字典确定部109可以确定分类器参数α，以例如通过交叉验证使L(α)最小化。

分类部106使用确定的分类器参数α来执行对输入数据的分类处理。相应地，通过识别字典确定部109对分类器参数α的确定意味着创建要用于对输入数据的分类处理的识别字典。

当输入新数据时，识别字典确定部109基于输入的新数据通过上述方法校正分类器参数α，以使评价值L(α)最小化。基于这一点，可以认为识别字典确定部109基于输入数据来校正识别字典，以使评价值L(α)最小化。

数据输入部101、特征提取部102、识别字典创建部103(更具体地，连续损失计算部104、损失差计算部105和识别字典确定部109)、分类部106和结果输出部108可以由根据程序(模式识别程序)操作的计算机的CPU来实现。例如，当在模式识别器的存储部(未示出)中存储该程序时，CPU读取该程序并且作为数据输入部101、特征提取部102、识别字典创建部103(更具体地，连续损失计算部104、损失差计算部105和识别字典确定部109)、分类部106和结果输出部108进行操作。备选地，数据输入部101、特征提取部102、识别字典创建部103(更具体地，连续损失计算部104、损失差计算部105和识别字典确定部109)、分类部106和结果输出部108可以使用它们专用硬件来实现。

备选地，识别字典创建部103(更具体地，连续损失计算部104、损失差计算部105和识别字典确定部109)可以作为一个设备(识别字典创建设备)进行操作。

接着，以下描述该操作。首先，描述创建识别字典阶段处的处理。图2是示出了创建识别字典的示例性处理的流程图。在以下描述中，表达式10用作评价函数。在以下描述中，创建识别字典可以被称作学习。

首先，使用用于学习的数据集合(即，用于创建识别字典的数据集合)来初始化识别字典(步骤S701)。更具体地，识别字典创建部103设置分类器参数α的初始值，使得模式识别器变得准备用于学习。此外，识别字典创建部103为要作为后续处理中的比较目标的变量L设置足够大的值。

接着，数据输入部101读取输入数据(步骤S702)，并且向特征提取部102通知该数据。特征提取部102执行从输入数据中的特征提取，因此将输入数据转换成d维特征向量(步骤S703)。识别字典确定部109将分类器参数α校正为识别字典，以减小表达式10所定义的评价函数L(α)(步骤S704和步骤S705)。更具体地，识别字典确定部109校正分类器参数α，以使连续损失计算部104所计算的连续损失的总和与损失差计算部105所计算的类别之间损失差的总和的加权线性和最小化。

识别字典确定部109将评价函数L(α)的值与变量L的值相比较。然后，当评价函数L(α)的值与变量L的值之间的差足够小(即，收敛至恒定值)时(步骤S706处的是)，识别字典确定部109将此时的α确定为分类器参数，以结束处理。另一方面，当不能认为评价函数L(α)的值与变量L的值之间的差足够小(即，不收敛与恒定值)(步骤S706处的否)时，识别字典确定部109将此时L(α)的值替换成变量L，并然后重复步骤S704或后续步骤的处理。

接着，以下描述识别数据阶段处的处理。图3是示出了使用识别字典的示例性识别处理的流程图。首先，分类部106对识别字典进行初始化(步骤S801)。更具体地，分类部106将识别字典创建部103所创建的识别字典设置为可用状态。接着，数据输入部101读取输入数据(步骤S802)，并且向特征提取部102通知该数据。特征提取部102执行从输入数据中提取特征，因此将输入数据转换成d维特征向量(步骤S803)。分类部106使用识别字典来执行对转换后的特征向量的分类处理(步骤S804)，并且向结果输出部108通知分类结果。然后，结果输出部108输出从分类部106接收到的分类结果(步骤S805)。

分类部106确定对输入数据的读取是否结束(步骤S806)。当对输入数据的读取没有结束(步骤S806处的否)时，则重复步骤S802或后续步骤的处理。另一方面，当对输入数据的读取结束(步骤S806处的是)时，分类部106结束处理。

如上所述，根据本发明示例性实施例，连续损失计算部104针对每个类别计算特征向量的连续损失，特征向量对属于该类别的数据的特征加以指示。此外，损失差计算部105基于针对每个类别而计算的损失来计算类别之间损失差的总和。然后识别字典确定部109基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典。识别字典确定部109还基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化。然后，分类部106使用校正后的识别字典来分类数据模式。因此，即使在用于学习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精度来执行对没有学习的新数据的模式识别。

即，在本示例性实施例中，确定识别字典以减小连续损失，并且减小类别之间的损失差，并且因此即使在用于学习的数据包含噪声或者数据数目较少的情况下，也可以为没有学习的新数据实现高分类精度。以下通过具体示例详细描述这样的效果。在以下特定示例中，为了便于说明，示例了两个类别的情况。当类别的数目是2时，上述表达式10可以定义为以下表达式11。

[数学公式13]

$L\left(\stackrel{\→}{\mathrm{\α}}\right)=L_1\left(\stackrel{\→}{\mathrm{\α}}\right)+L_2\left(\stackrel{\→}{\mathrm{\α}}\right)+\mathrm{\λ}{(L_1\left(\stackrel{\→}{\mathrm{\α}}\right)-L_2\left(\stackrel{\→}{\mathrm{\α}}\right))}^2$     (表达式11)

图4和图5示出了为图18所示的状态下的数据确定判定边界的示例性操作。在以下描述中，附图中的黑点(下文中描述为“●”)指示属于类别1的数据，白点(下文中中描述为“○”)指示属于类别2的数据。图4的虚线901表示分类器所设置的判定边界。实线902表示在与更靠近类别1的虚线901相距特定恒定距离ξ的位置处设置的空白边界。图4中阴影所指示的区域中包含的“●”数据的连续损失的总和变为类别1的连续损失L₁(α)。

类似地，图5的虚线1001表示在与图4的虚线901的位置相同的位置处设置的判定边界。实线1002表示类似地在与靠近类别2的虚线1001相距特定恒定距离ξ的位置处设置的空白边界。图5中阴影所指示的区域中包含的“○”数据的连续损失的总和变成类别2的连续损失L₂(α)。

如图4和图5所示，判定边界变得越远离指示为“●”的类别1数据，类别1的连续损失L₁(α)越小。判定边界变得越远离指示为“○”的类别2数据，类别2的连续损失L₂(α)变得越小。

为了便于说明，以下描述了使用表达式2、表达式3、表达式7和表达式11的情况。这里，表达式2中先验概率的值是P_k＝N_k，并且针对表达式7中β的值，设置足够大值。在这种情况下，类别1的连续损失L₁(α)近似等于图4阴影区域中包含的“●”的数目。类别2的连续损失L₂(α)近似等于图5阴影区域中包含的“○”的数目。

这里，为了找到α以使表达式11的右侧的第一项和第二项最小化意味着找到判定边界以使第一项和第二项的总和(即，连续损失)最小化。此外，为了找到α以使表达式11的右侧的第三项最小化意味着找到其中图4阴影区域中包含的“●”的数目等于图5阴影区域中包含的“○”的数目的判定边界。相应地，当表达式11中的λ值足够大时，在“●”的数目和“○”的数目变得彼此相等的情况下，找到判定边界以使图4阴影区域中包含的“●”的数目与图5阴影区域中包含的“○”的数目的总和最小化。

图6和图7示出了为图20所示状态下的数据确定判定边界的示例操作。在图6和7所示的示例中，将用“●”指示的类别1数据添加至用“○”指示的类别2数据的附近。同样在这种情况下，在“●”的数目和“○”的数目变得彼此相等的情况下，确定判定边界以使图6阴影区域中包含的“●”的数目与图7阴影区域中包含的“○”的数目的总和最小化。即，在图6的虚线1101或图7的虚线1201的位置处设置该判定边界。

相应地，即使在如图21所示例地输入新数据时，例如，可以以比典型模式识别器所找到的分类精度更高的分类精度来确定判定边界。即，可以实现更高分类精度。

此外，根据本示例性实施例，使判定边界与空白边界之间的距离ξ较小，从而可以获得与典型模式识别器所确定的判定边界类似的判定边界。如下参照图8和图9描述这一点。图8和图9示出了为图20所示状态下的数据确定判定边界的另一示例性操作。

当使距离ξ的值较小时，相应地，使图8阴影区域中包含的“●”的数目和图9阴影区域中包含的“○”的数目较少。因此，在强烈依赖于判定边界附近存在的数据的位置处设置判定边界(图8的虚线1301或图9的虚线1401)，并且从而可以获得与典型模式识别器所确定的判定边界(例如，图21的虚线601)类似的结果。

以下通过特定示例描述本发明。本发明的范围不限于以下描述。在以下描述中，假定类别的数目是2，并且核判别函数用作针对每个类别的判别函数。即，类别k的判别函数定义为以下示例的表达式12。

[数学公式14]

$g_k({\stackrel{\→}{x}}_{\mathrm{kn}};\stackrel{\→}{\mathrm{\α}})=\underset{i=1}{\overset{N_k}{\mathrm{\Σ}}}{\mathrm{\α}}_{\mathrm{ki}}K({\stackrel{\→}{x}}_{\mathrm{kn}},{\stackrel{\→}{x}}_{\mathrm{ki}})$      (表达式12)

这里，向量x_ki是属于类别k的学习数据，并且α_ki是分类器参数。K是核函数(在下文中，这可以描述为K(·))，并且可以使用以下示例的表达式13中定义的高斯核函数或类似函数。

[数学公式15]

$K(\stackrel{\→}{x},\stackrel{\→}{y})=\exp (-\mathrm{\γ}{\left|\right|\stackrel{\→}{x}-\stackrel{\→}{y}\left|\right|}^2)$     (表达式13)

这里，γ(γ＞0)是指定高斯核的幅度的参数，并且可以预先为γ设置期望值。在本示例中，表达式2和表达式6用作计算第k类别的连续损失的表达式。表达式11用作评价函数。

在本示例中，首先，描述在创建识别字典阶段处的处理。首先，准备多个输入数据用于学习，并且将每个输入数据转换成d维特征向量(在下文中，描述为输入向量)。在下文中，为了便于说明，将属于类别1的输入向量表示为(x[1]，x[2]，…，x[N1])，，并且将属于类别2的输入向量表示为(x[N1+1]，x[N1+2]，…，x[N1+N2])。

将期望值设置为表达式2的先验概率P_k。例如，将类别1的先验概率P₁设置为P₁＝N1/N，并且将类别2的先验概率P₂设置为P₂＝N2/N。这里，N表示输入向量的总数，并且N＝N1+N2成立。

此外，准备(α[1]，α[2]，…α[N1])用于与类别1有关的识别字典，并且准备(α[N1+1]，α2[N1+2]，…α2[N1+N2])用于与类别2有关的识别字典，并且为所有值设置1。此外，准备最小值ε以指示参数值的变化量，并且例如可以设置0.01作为该ε的值。

图10是示出了本示例中用于创建识别字典的示例性处理的流程图。首先，为变量L_new和L_old设置足够大的值(步骤S1501)，并且另外为变量i设置1(步骤S1502)。识别字典创建部103存储第i参数α[i]的值作为变量α’，并且将α[i]减小ε。其后，识别字典创建部103计算表达式11的评价值L(α)，并且存储该评价值作为变量L’(步骤S1503)。当变量L’的值不小于变量L_new时(步骤S1504处的否)，过程前进至步骤S1506。另一方面，当变量L’的值小于变量L_new时(步骤S1504处的是)，过程前进至步骤S1505。在步骤S1505，识别字典创建部103存储变量L’的值作为L_new，并且存储变量i的值作为变量j(步骤S1505)。

接着，识别字典创建部103将作为变量α’存储的值返回至α[i](步骤S1506)。当变量i的值小于总数N1+N2(步骤S1507处的是)时，识别字典创建部103将i的值增加1(步骤S1508)，其后过程返回至步骤S1503以重复以下处理。另一方面，当在步骤S1507处变量i的值不小于总数N1+N2(步骤S1507处的否)时，过程前进至S1509。

当变量L_new的值不小于L_old(步骤S1509处的否)时，处理结束。另一方面，当变量L_new的值小于L_old(步骤S1509处的是)时，处理前进至步骤S1510。在步骤S1510处，识别字典创建部103存储L_new的值作为L_old，并且改变第j参数α[j]的值，以减小ε(步骤S1510)。然后过程返回至步骤S1502，并且重复以下处理。

这里，以下描述步骤S1503处计算评价值L(α)的处理。如在表达式11中示例的，评价值L(α)的值可以通过分别计算类别1和类别2的连续损失L₁(α)和L₂(α)来获得。

首先，参照流程图描述找到类别1的连续损失L₁(α)的处理。图11是示出了计算类别1的连续损失的示例性处理的流程图。

首先，识别字典创建部103将变量L1的值设置为0，并且将变量n的值设置为1(步骤S1601)。此外，识别字典创建部103将变量i的值设置为1，并且将变量G1的值设置为0(步骤S1602)。接着，识别字典创建部103使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G1相加(步骤S1603)。

这里当变量i的值小于N1(步骤S1604处的是)时，识别字典创建部103将变量i的值增加1(步骤S1605)，并且过程返回至步骤S1603，以重复以下处理。另一方面，当变量i的值不小于N1(步骤S1604处的否)时，过程前进至步骤S1606。在步骤S1606，识别字典创建部103将i的值设置为N1+1，并且将G2的值设置为0(步骤S1606)。

接着，识别字典创建部103使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G2相加(步骤S1607)。这里当变量i的值小于N1+N2(步骤S1608处的是)时，识别字典创建部103将变量i的值增加1(步骤S1609)，并且过程返回至步骤S1607，以重复以下处理。另一方面，当变量i的值不小于N1+N2(步骤S1608处的否)时，过程前进至步骤S1610。

为变量G1设置的值是类别1的判别函数的值，为变量G2设置的值是类别2的判别函数的值。然后，识别字典创建部103根据表达式6找到与属于类别1的输入向量x[n]有关的连续损失(步骤S1610)。当变量n的值小于N1(步骤S1611处的是)时，识别字典创建部103将变量n的值增加1(步骤S1612)，并且过程返回至步骤S1602，以重复以下处理。另一方面，当变量n的值不小于N1(步骤S1611处的否)时，过程前进至步骤S1613。

识别字典创建部103根据表达式2通过将变量L1与设置为期望值的先验概率P₁相乘来计算值，并且还将通过用计算结果除以类别1的输入向量的数目N1而获得的值设置为变量L1(S1613)。其后过程结束。

接着参照流程图描述找到类别2的连续损失L₂(α)的处理。图12是示出了计算类别2的连续损失的示例性处理的流程图。

首先，识别字典创建部103将变量L2的值设置为0，并且将变量n的值设置为N1+1(步骤S1701)。此外，识别字典创建部103将变量i的值设置为1，并且将变量G1的值设置为0(步骤S1702)。接着，识别字典创建部103使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G1相加(步骤S1703)。

这里当变量i的值小于N1(步骤S1704处的是)时，识别字典创建部103将变量i的值增加1(步骤S1705)，并且过程返回至步骤S1703，以重复以下处理。另一方面，当变量i的值不小于N1(步骤S1704处的否)时，过程前进至步骤S1706。在步骤S1706，识别字典创建部103将i的值设置为N1+1，并且将G2的值设置为0(步骤S1706)。

接着，识别字典创建部103使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G2相加(步骤S1707)。这里当变量i的值小于N1+N2(步骤S1708处的是)时，识别字典创建部103将变量i的值增加1(步骤S1709)，并且过程返回至步骤S1707，以重复以下处理。另一方面，当变量i的值不小于N1+N2(步骤S1708处的否)时，过程前进至步骤S1710。

类似于类别1的情况，为变量G1设置的值是类别1的判别函数的值，为变量G2设置的值是类别2的判别函数的值。然后，识别字典创建部103根据表达式6找到与属于类别2的输入向量x[n]有关的连续损失(步骤S1710)。当变量n的值小于N1+N2(步骤S1711处的是)时，识别字典创建部103将变量n的值增加1(步骤S1712)，并且过程返回至步骤S1702，以重复以下处理。另一方面，当变量n的值不小于N1+N2(步骤S1711处的否)时，过程前进至步骤S1713。

识别字典创建部103根据表达式2通过将变量L2与设置为期望值的先验概率P₂相乘来计算值，并且还将通过用计算结果除以类别2的输入向量的数目N2而获得的值设置为变量L2(S1713)。其后过程结束。

接着参照流程图描述找到评价值L(α)的处理。图13是示出了计算评价值的示例性处理的流程图。以下描述根据表达式11找到评价值L(α)的情况。

首先，识别字典创建部103将通过使上述处理中计算的变量L1和变量L2相加而获得的值设置为变量L(步骤S1801)。此外，识别字典创建部103将通过使上述处理中计算的变量L1和L2之差的平方与期望值λ相乘而获得值设置为变量L’(步骤S1802)。接着，识别字典创建部103将通过使步骤S1801处设置为变量L的值与步骤S1802处设置为变量L’的值相加而获得的值设置为变量L(步骤S1803)，并且过程结束。因此获得L值用作图10中步骤S1503处的评价值L(α)。

这是描述创建识别字典的阶段处的处理。接着，以下描述使用识别字典来识别数据的阶段处的处理。这里假定通过预定特征提取将输入数据转换成d维特征向量x。因此下文中将转换后的特征向量描述为输入向量。

图14是示出了针对一个输入数据而执行的示例性分类处理的流程图。首先，分类部106将变量i的值设置为1，并且将变量G1的值设置为0(步骤S1901)。此外，分类部106使用输入向量x[n]和x[i]来计算表达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G1相加(步骤S1903)。

这里当变量i的值小于N1(步骤S1903处的是)时，分类部106将变量i的值增加1(步骤S194)，并且过程返回至步骤S1902，以重复以下处理。另一方面，当变量i的值不小于N1(步骤S1903处的否)时，过程前进至步骤S1905。在步骤S1905，分类部106将i的值设置为N1+1，并且将G2的值设置为0(步骤S1905)。

接着，分类部106使用输入向量x和x[i]来计算表达式13中示例的核函数的值，并且将通过使计算结果与第i参数α[i]相乘所获得的值与变量G2相加(步骤S1906)。这里当变量i的值小于N1+N2(步骤S1907处的是)时，分类部106将变量i的值增加1(步骤S1908)，并且过程返回至步骤S1906，以重复以下处理。另一方面，当变量i的值不小于N1+N2(步骤S1907处的否)时，过程前进至步骤S1909。

最后，分类部106输出通过从变量G1的值减去变量G2的值所获得的值(即，G1-G2的值)，并且识别输入向量所属的类别，以结束处理(步骤S1909)。这里，当输出值为正时，输入向量x被分类为属于类别1。另一方面，当输出值不为正时，输入向量x被分类为属于类别2。

本示例描述了类别的数目是2的情况。类别的数目不限于2，并且可以是3或更大。本示例描述分类器使用表达式13所定义的核函数的情况。分类器所使用的函数不限于核函数。

以下描述了根据本发明的模式识别器的最小配置的示例。图15是示出了根据本发明的模式识别器的示例性最小配置的框图。根据本发明的模式识别器包括：损失计算装置81(例如，连续损失计算部104)，为每个类别计算(例如，使用表达式8计算)特征向量的损失(例如，连续损失)，特征向量对属于该类别的数据的特征加以指示；损失差计算装置82(例如，损失差计算部105)，基于针对每个类别而计算的损失，来计算(例如，使用表达式9计算)类别之间损失差的总和；识别字典创建装置83(例如，识别字典确定部109)，基于损失计算装置81针对类别而计算的损失总和(例如，使用表达式8计算的连续损失总和)以及类别之间损失差的总和(例如，使用表达式9所计算的类别之间损失差的总和)，来创建识别字典(例如，确定分类器参数α)；以及模式分类装置84(例如，分类部106)，使用识别字典对数据的模式进行分类。

识别字典创建装置83基于输入特征向量来校正识别字典，以使损失计算装置81针对类别而计算的损失总和与损失差计算装置82计算的类别之间损失差的总和之和(例如，表达式10所定义的评价函数的评价值L(α))最小化，并且模式分类装置84使用校正后的识别字典来对数据的模式进行分类。

利用这种配置，即使在用于学习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精度来执行对没有学习的新数据的模式识别。

以下描述根据本发明的识别字典创建设备的最小配置的示例。图16是示出了根据本发明的识别字典创建设备的示例最小配置的框图。根据本发明的识别字典创建设备创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式。识别字典创建设备包括：损失计算装置91(例如，连续损失计算部104)，针对每个类别计算(例如，使用表达式8计算)特征向量的损失(例如，连续损失)，特征向量对属于该类别的数据的特征加以指示；损失差计算装置92(例如，损失差计算部105)，基于针对每个类别而计算的损失，来计算(例如，使用表达式9计算)类别之间损失差的总和；以及识别字典创建装置93(例如，识别字典确定部109)，基于损失计算装置91针对类别而计算的损失总和(例如使用表达式8计算的连续损失总和)以及类别之间损失差的总和(例如，使用表达式9所计算的类别之间损失差的总和)，来创建识别字典(例如，确定分类器参数α)。

识别字典创建装置93基于输入特征向量来校正识别字典，以使损失计算装置91针对类别而计算的损失总和与损失差计算装置92计算的类别之间损失差的总和之和(例如，表达式10所定义的评价函数的评价值L(α))最小化。

由于使用这样创建的识别字典来执行模式识别，因此即使在用于学习的数据包含噪声或者数据数目较少的情况下，也可以以高分类精度来执行对没有学习的新数据的模式识别。

这里应注意，在任一上述示例性实施例中还公开了以下描述的模式识别器和识别字典创建设备。

(1)模式识别器包括：损失计算装置(例如，连续损失计算部104)，为每个类别计算(例如，使用表达式8计算)特征向量的损失(例如，连续损失)，特征向量对属于该类别的数据的特征加以指示；损失差计算装置(例如，损失差计算部105)，基于针对每个类别而计算的损失，来计算(例如，使用表达式9计算)类别之间损失差的总和；识别字典创建装置(例如，识别字典确定部109)，基于损失计算装置针对类别而计算的损失总和(例如使用表达式8计算的连续损失总和)以及类别之间损失差的总和(例如，使用表达式9所计算的类别之间损失差的总和)，来创建识别字典(例如，确定分类器参数α)；以及模式分类装置(例如，分类部106)，使用识别字典对数据的模式进行分类。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和(例如，表达式10所定义的评价函数的评价值L(α))最小化，并且模式分类装置使用校正后的识别字典来对数据的模式进行分类。

(2)在模式识别器中，损失计算装置基于风险(例如，表达式3至表达式6和表达式7所计算的风险)的总和(例如，表达式2所计算的风险总和)来计算每个类别的损失，所述风险的总和对特征向量所属类别的分类误差度加以指示。

(3)在模式识别器中，损失计算装置使用核函数来计算(例如，使用表达式12和表达式13计算)每个类别的损失，并且模式分类装置使用基于核函数而创建的识别字典来对数据的模式进行分类。

(4)模式识别器还包括：特征向量提取装置(例如，特征提取部102)，从作为要识别数据输入的数据中提取特征向量。损失计算装置计算为每个类别计算特征向量提取装置所提取的特征向量的损失，并且模式分类装置使用识别字典对特征向量提取装置所提取的特征向量的模式进行分类。

(5)识别字典创建设备创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式。识别字典创建设备包括：损失计算装置(例如，连续损失计算部104)，针对每个类别计算(例如，使用表达式8计算)特征向量的损失(例如，连续损失)，特征向量对属于该类别的数据的特征加以指示；损失差计算装置(例如，损失差计算部105)，基于针对每个类别而计算的损失，来计算(例如，使用表达式9计算)类别之间损失差的总和；以及识别字典创建装置(例如，识别字典确定部109)，基于损失计算装置针对类别而计算的损失总和(例如使用表达式8计算的连续损失总和)以及类别之间损失差的总和(例如，使用表达式9所计算的类别之间损失差的总和)，来创建识别字典(例如，确定分类器参数α)。识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和(例如，表达式10所定义的评价函数的评价值L(α))最小化。

(6)在识别字典创建设备中，损失计算装置基于风险(例如，表达式3至表达式6和表达式7所计算的风险)总和(例如，表达式2所计算的风险总和)来计算每个类别的损失，所述风险总和对特征向量所属类别的分类误差度加以指示。

尽管参照示例性实施例及其示例具体示出和描述了本发明，但是本发明不限于这些示例性实施例和示例。本领域技术人员应当理解，可以在不背离权利要求所限定的本发明的精神和范围的前提下在形式和细节方面进行各种改变。

本申请基于并要求2010年1月14日递交的日本专利申请No.2010-5447的优先权的权益，其全部公开通过引用合并于此。

(补充注释1)模式识别方法包括以下步骤：从作为要识别数据输入的数据中提取特征向量，针对每个类别计算提取的特征向量的损失，并且使用识别字典对提取的特征向量的模式进行分类。

(补充注释2)模式识别程序使计算机执行以下处理，包括：特征向量提取处理，从作为要识别数据输入的数据中提取特征向量。在损失计算处理中，针对每个类别计算特征向量提取处理中提取的特征向量的损失。在模式分类处理中，使用识别字典对特征向量提取处理中提取的特征向量的模式进行分类。

工业适用性

本发明优选地用于对输入数据的模式进行识别的模式识别器。例如，本发明的模式识别器优选地用于图像识别。

附图标记列表

101 数据输入部

102 特征提取部

103 识别字典创建部

104 连续损失计算部

105 损失差计算部

106 分类部

107 识别字典

108 结果输出部

109 识别字典确定部

Claims (7)

1.一种模式识别器，包括：

损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；

损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；

识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；以及

模式分类装置，使用识别字典对数据的模式进行分类，

其中，识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化，并且

模式分类装置使用校正后的识别字典来对数据的模式进行分类。

2.根据权利要求1所述的模式识别器，其中，损失计算装置基于风险的总和来计算每个类别的损失，所述风险的总和对特征向量所属类别的分类误差度加以指示。

3.根据权利要求1所述的模式识别器，其中，

损失计算装置使用核函数来计算每个类别的损失，并且

模式分类装置使用基于核函数而创建的识别字典来对数据的模式进行分类。

4.根据权利要求1所述的模式识别器，还包括：特征向量提取装置，从作为要识别数据输入的数据中提取特征向量，

其中，损失计算装置为每个类别计算特征向量提取装置所提取的特征向量的损失，并且

模式分类装置使用识别字典对特征向量提取装置所提取的特征向量的模式进行分类。

5.一种识别字典创建设备，创建模式识别器所使用的识别字典，模式识别器被配置为识别数据的模式，所述识别字典创建设备包括：

损失计算装置，针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；

损失差计算装置，基于针对每个类别而计算的损失，来计算类别之间损失差的总和；以及

识别字典创建装置，基于损失计算装置针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；

其中，识别字典创建装置基于输入特征向量来校正识别字典，以使损失计算装置针对类别而计算的损失总和与损失差计算装置计算的类别之间损失差的总和之和最小化。

6.根据权利要求5所述的识别字典创建设备，其中，损失计算装置基于风险的总和来计算每个类别的损失，所述风险的总和对特征向量所属类别的分类误差度加以指示。

7.一种模式识别方法，包括以下步骤：

针对每个类别计算特征向量的损失，特征向量对属于该类别的数据的特征加以指示；

基于针对每个类别而计算的损失，来计算类别之间损失差的总和；

基于针对类别而计算的损失总和以及类别之间损失差的总和，来创建识别字典；

基于输入特征向量来校正识别字典，以使针对类别而计算的损失总和与类别之间损失差的总和之和最小化；以及

使用校正后的识别字典来对数据的模式进行分类。