CN101042742A - 模式识别方法 - Google Patents

Abstract

根据本发明的一个实施例，提出了一种用于根据基函数来对向量空间中的向量集合的分布以及类界限进行近似的模式识别方法。该方法包括：在两个基向量之间定义有方向的基函数(ST1至ST6)，并且利用有方向的基函数的线性组合来执行近似(ST7至ST8)。

Description

模式识别方法

技术领域

本发明涉及这样一种模式识别方法，该模式识别方法用于根据基函数来对向量空间中的向量集合的分布以及两个或多个向量集合(类)的界限进行近似。

背景技术

使用被称为径向基函数(在下文中被称为球形基函数)的基函数的方法是已知的。数个研究组已经独立地提出了球形基函数。作为这种提议的一个示例，在这里引用了J.E.Moody和C.Darken所著的“Fast Learning in Networks of Locally-Tuned Processing Units”(Neural Computation 1，第281-294页，1989年)。球形基函数在中心上具有峰值并且在各个方向上都对称。对于球形基函数，所谓的高斯型球形基函数是最通行的，并且通过下述公式来表示：

       o_i(x)＝exp[-‖x-ξ_i‖²/2σ_i ²]，

其中，x是与输入模式相对应的向量，并且ξ_i是第i个基向量(用于表示在高斯分布中的位置的参数)，而σ_i是第i个标准偏差(用于表示高斯分布的扩展的参数)。第i个高斯型基函数的值是o_i(x)，当x接近于ξ_i时，该第i个高斯型基函数的值是非负的且很大，并且当x＝ξ_i时，该第i个高斯型基函数的值采用最大值1。通过提供充够数目的基函数并且使用由下述公式所表示的加权线性组合，可将任何任意选择的向量集合的分布近似为期望的精度级，所述公式为：

$y_1\left(x\right)=\underset{i=1}{\overset{H^{\′}}{\mathrm{\Σ}}}{w}_{1i}{o}_i\left(x\right),$

其中，1是向量集合的类编号，并且w_1i是第i个基函数相对于类1而言的分布率(加权参数)，而H′是基函数的数目。上述公式表示未知的输入模式相似于特定类的程度(相似度)，因此它可用于对类进行分类。例如，如果：

              C(x)＝arg max₁(y₁(x)]，

那么可根据基函数所定义的类界限来确定输入模式的类。在上述公式3中，argmax₁[·]是提供相似度的最大值的类的编号。

使用球形基函数的模式识别方法提供了这样的优点，其中包括：与基于一般的S形函数的前馈神经网络一样，通过学习可使参数最优化；但是，与一般神经网络不同，独立的基函数的分布率在直觉上是易于了解的。

然而，与从现实世界中所观测到的模式相对应的向量的分布通常很复杂，并且因此必须准备很大数目的基函数以便对这种分布进行精确地近似。相反，当所获得的抽样数目小时，近似会产生相对于适当分布(群体分布)而言也很复杂这样的状态(过度学习)。

发明内容

因此，本发明的目的就是提供这样一种模式识别方法，该模式识别方法适于根据与已知的可比性方法相比数目更少的基向量来对可能很复杂的向量集合的分布以及类的界限进行近似。

根据本发明的一个实施例，提供了一种用于根据基函数来对向量空间中的向量集合的分布以及类界限进行近似的方法。该方法包括：在两个基向量之间定义有方向的基函数，并且利用有方向的基函数的线性组合来执行近似。

在下面的描述中对本发明的另外的目的和优点进行阐述，并且这些目的和优点在某种程度上是可从该描述中显而易见地得知的，或者可从本发明的实践中获悉。借助于尤其是在下文中所指出的手段及组合可实现并获得本发明的目的和优点。

附图说明

包含在说明书中并构成了说明书一部分的附图对本发明的实施例进行了说明，并且与以上给出的一般描述以及以下给出的对实施例的详细说明一起用于说明本发明的原理。

图1是作为示例而示出的本发明的实施例的处理操作的流程图；

图2是作为示例而示出的与输入模式相对应的向量、基函数、以及向量集合的分布的图示；

图3是作为示例而示出的基函数的图示；

图4是作为示例而示出的对模式分布进行近似的示意性说明；

图5是使用传统的球形基函数、对与图4相同的模式分布进行近似的示意性说明；

图6是作为示例而示出的当所获得的抽样数目小时的基函数的示意性图示；

图7是作为示例而示出的当所获得的抽样数目小时对模式分布进行近似的示意性说明；

图8是作为示例而示出的、使用传统的球形基函数对与图7相同的模式分布进行近似的示意性说明；

图9是示出了通过学习抽样来定义参数的方法的流程图；以及

图10是给出了作为示例的硬件结构的硬件的示意性方框图。

具体实施方式

下面参考附图对本发明的实施例进行描述。

<第一实施例>

图1是该实施例的处理操作的流程图。图2是与输入模式相对应的向量、基函数、以及向量集合的分布的示意性图示。

首先，输入一个模式(ST1)。在这里所使用的表述“模式”是指诸如数字图像的像素值或一行特征量这样的计算机可处理的数字值串。模式可以被认为是具有这种数字值作为分量(ST2，ST3)的向量。通过下述公式来表示与输入模式相对应的向量：

                 x＝[x₁，x₂，…，x_M]^T，

其中，x₁、x₂、…、x_M表示模式的数字值串(每个向量的单元)，并且M表示单元的数目。

此后，通过计算确定基函数的值(ST4至ST6)。根据这个实施例，在两个基向量之间定义基函数，以便如果基向量的数目是H，那么基函数的数目是H²。该实施例提出了通过下述公式所表示的基函数o_ij(x)，所述公式在两个基向量的位置上具有峰值，并且具有集中在用于连接两个峰值的线段上的增强了的特征。该公式是：

       o_ij(x)＝exp[-‖x-ξ_i‖²‖x-ξ_j‖²/2σ_ij ²]，

其中，x表示与输入模式相对应的向量，并且ξ_i表示第i个基向量，同时ξ_j表示第j个基向量，并且σ_ij表示在第i个和第j个基向量之间定义的基函数的标准偏差。

基函数实质上与传统的球形基函数的不同之处在于，当将基向量作为中心进行查看时它不是在所有方向上都对称的(并且具有取决于其它某个基向量的方向的增强了的特征)。图3是作为示例而示出的基函数的图示。本发明基于“线性插值的假定”或者“当两个基向量之间的距离短时这两个基向量之间的线性内插强这样的假定”。图3给出了当两个向量之间的距离为长、中等、以及短时的三个不同基函数的轮廓图。

与球形基函数一样，o_ij(x)的值是非负的，并且当x接近ξ_i或ξ_j时变大，以便当x＝ξ_i或x＝ξ_j时采用最大值1。另外，或类似地，可通过由下面的公式所表示的加权线性组合(ST7，ST8)来对向量集合的分布y1(x)进行近似：

$y_1\left(x\right)=\underset{i=1}{\overset{H}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{H}{\mathrm{\&Sigma;}}}{w}_{1\mathrm{ij}}{o}_{\mathrm{ij}}\left(x\right),$

其中，1表示向量集合的类编号，并且w_1ij表示在第i个基向量与第j个基向量之间定义的基函数的类1的分布率，而H表示基函数的数目。

最后，借助于如下所示的公式来通过计算确定输入模式相似于该类的程度(相似度)或C(x)：

                 C(x)＝arg max₁[y₁(x)]，

其中，argmax₁[·]是提供相似度的最大值的类的编号。

该实施例中的基函数的优点在于，可学习参数，并且与传统的球形基函数一样分布率在直觉上是易于了解的，并且另外可克服传统方法的问题。更具体地说，可通过比以往更少的基向量对向量的复杂分布进行近似。图4是借助于该实施例对模式分布进行近似的示意性说明。因为该实施例中的基函数具有示出了由实线所表示的椭圆形或圆柱形扩展(不对称)这样的特征，因此，与仅示出了圆形扩展的传统基函数相比，它是具有高度表现性的。

图5是使用传统的球形基函数来对与图4相同的模式分布进行近似的示意性说明。图5示意性地示出了传统的基函数需要比该实施例(仅需要三个基向量)更多的基向量。

通常，当模式分布很复杂但是在从本地观察的情况下该模式分布是本地连续的(尤其是线性的)时，由于本发明的基函数的插值可能性，可降低基向量的数目。在插值不能有助于对模式分布进行近似的最坏情况下，根据该实施例的基函数等效于传统的球形基函数。

另外，如果所获得的抽样少，那么使用基函数的近似不会变得比群体分布更复杂，但是非常接近于后者。图6是当所获得的抽样数目小时该实施例中的基函数的示意性说明，并且图7是当所获得的抽样数目小时对模式分布进行近似的示意性说明。该实施例中的基函数具有这样的意义，即，根据用于基向量的插值的数学模型来预测输入模式的本地波动。

图8是使用传统的球形基函数来对与图7相同的模式分布进行近似的示意性说明。图8示意性地说明了传统的球形基函数仅位于所获得的小数目的抽样周围以便产生与群体分布显著不同的近似。

通常，从现实世界所观测到的模式的波动在本地是连续的，由于本发明的基函数的插值可能性，可以根据较少抽样来对群体分布进行更精确的近似。

<第二实施例>

本发明并不局限于上述的第一实施例，并且可以按照与上述第一实施例相独立的各种方式实现，只要在两个基向量之间定义了有方向的(不是在所有方面上都对称)基函数即可。例如，第二实施例提出了由下面的公式所定义的基函数：

      o′_ij(x)＝exp[-‖x-h_ij‖²‖ξ_i-ξ_j‖²/2σ_ij ²]，

其中，x表示与输入模式相对应的向量，并且h_ij表示与用于连接第i个和第j个基向量的线段相垂直的垂线距x的英尺，而ξ_i和ξ_j分别表示第i个和第j个基向量，并且o_ij表示在第i个和第j个基向量之间定义的基函数的标准偏差。

基向量的特征在于下述的圆柱形轮廓图，所述圆柱形轮廓图具有作为核心的用于连接两个基向量的线段，并且在与其相垂直的方向上延伸。在上述公式中，h_ij实际上是通过使用x、ξ_i、以及ξ_j的公式来表示的，因此参数的数目与第一实施例中的参数数目相同。与第一实施例不同的是，第二实施例的特征在于，两个基向量通过与它们之间的距离相对应的恒定值相连。

<第三实施例>

第三实施例涉及对参数的学习。本发明中的基函数具有包括w_1ij、ξ_i、ξ_j、以及o_ij在内的四个参数。如果要处理的模式的分布是已知的，那么可以根据该分布来定义参数。然而，从现实世界中所获得的模式的分布通常是未知的。

因此，该实施例提出了一种通过对抽样进行学习来定义参数的技术。图9是通过对抽样进行学习来定义参数的方法的流程图。参考图9，首先，通过使用适当值来对该参数进行初始化(ST11)。此后，根据下述公式来为所获得的抽样更新参数(ST12至ST14)：

               w′_1ij＝w_1ij-α[ε(x，y)/w_1ij]

               ξ′_i＝ξ_i-α[ε(x，y)/ξ_i]

               ξ′_j＝ξ_j-α[ε(x，y)/ξ_j]

               σ′_ij＝σ_ij-α[ε(x，y)/σ_ij]

其中，ε(x，y)是学习误差，并且使用y_c作为教导信号(所期望的值)通过下述公式来表示：

                ε(x，y)＝(y_c-y(x))²/2，

其中，α是学习恒量，并且为正值。按照这种方式顺序地对参数进行更新，并且当ε(x，y)显示出足够小的值时(或者当学习会话的数目超过预定数目时)，结束学习会话。可与第一和第二实施例中的模式识别处理相独立地实现对参数的学习。

如上面所指出的，利用适于根据基函数来对向量空间中的向量集合的分布和类界限进行近似的模式识别方法，通过在两个基向量之间定义有方向的基函数(不是在所有方向都对称)并且根据其线性组合来执行近似，可以用较少的基向量来对向量集合的分布以及类界限进行近似。另外，如果所获得的抽样数目小，那么使用基函数的近似不会变得比群体分布更复杂，但是与传统基函数不同的是它非常接近于后者。

尤其是，使用下述基函数，通过对强插值与短距离的关系进行建模，可以对向量集合和类界限进行近似，其中所述基函数在两个基向量的位置上具有峰值，并且示出了通过其尺寸与它们之间的距离相对应的非线性曲面来连接两个峰值这样的特征。

使用下述基函数，通过对强插值与短距离的关系进行建模，还可以对向量集合和类界限进行近似，所述基函数在两个基向量的位置上具有峰值，并且其特征在于圆柱形轮廓图，该圆柱形轮廓图具有作为核心的用于连接两个基向量的线段并且在与其相垂直的方向上延伸。

此外，即使当要处理的模式的分布是未知的时，也可通过在输入抽样的同时根据误差最低标准顺序地对参数进行更新来定义参数。

该实施例的上述处理序列可被编写为计算机程序(代码)并且被存储在计算机可读存储介质(例如，磁盘、光盘、或者半导体存储器)中，并且必要时可以借助于计算机(处理器)来读取并执行任何计算机程序。通过经由传输介质将任何这种计算机程序从计算机传送到另一计算机，来分发该计算机程序。

包含有该处理序列的任何计算机程序可通过具有如图10所示的硬件资源的信息处理装置(计算机)11来执行。图10所示的处理器(CPU等)10可以执行从存储设备(硬盘等)12中加载到易失性存储器(RAM等)13中的计算机程序，根据输入设备(鼠标、键盘等)14的操作来在显示器15上显示各种信息(处理操作的结果)，和/或将其存储在存储设备12中。

对于本领域普通技术人员来说很容易想到其他优点和修改。因此，本发明的很宽方面并不局限于在这里所给出和描述的具体细节和典型实施例。因此，在不脱离由随后权利要求和其等效内容所定义的一般发明概念的精神或范围的情况下，可以做出各种修改。

Claims (4)

1、一种用于根据基函数来对向量空间中的向量集合的分布以及类界限进行近似的模式识别方法，其特征在于包括：

在两个基向量之间定义有方向的基函数(ST1～ST6)；以及

利用有方向的基函数的线性组合来执行近似(ST7～ST8)。

2、根据权利要求1的方法，其特征在于，使用下述基函数来执行近似，所述基函数在两个基向量的位置上具有峰值，并且通过其尺寸与两个峰值之间的距离相对应的非线性曲面来连接两个峰值。

3、根据权利要求1的方法，其特征在于，使用下述基函数来执行近似，所述基函数在用于连接两个基向量的线段上具有峰值，并且具有通过使用峰值作为核心所形成的、在与其相垂直的方向上延伸、并且尺寸与它们之间的距离相对应的圆柱形轮廓图。

4、根据权利要求1的方法，其特征在于，在输入抽样的同时，根据误差最低标准来顺序地对基函数的参数进行更新(ST12～ST14)。

Images