CN1922632A - 参考数据优化学习方法及模式识别系统 - Google Patents

Abstract

本发明旨在能够对要添加的新参考数据有效地进行学习的模式识别系统。在所述模式识别系统中，计算与模式搜索目标的输入数据与多个参考数据之间的相似性等同的距离，并基于与作为已识别的优胜者的参考数据集合相对应的固定次数的输入数据，计算其重心以优化参考数据。此外，改变阈值以扩大/缩小识别区域，从而防止错误识别并提高识别率。

Description

参考数据优化学习方法及模式识别系统

发明领域

本发明涉及用于为将要识别的模式匹配过程添加参考数据的参考数据优化学习方法，以及采用该方法识别/学习参考数据的模式识别系统。

背景技术

在模式识别系统中，模式匹配过程是识别过程的重要因素。根据常规系统，基于处理器实现的模型是最普遍的。该模型采用的方法是依次地将输入模式的数据与存储器中的多个参考数据进行比较以检测表示最相似模式的数据。然而，该模型的方法存在一个问题，即，依次比较必然需要大量处理时间，并且用于处理的时间的增加与比较数据的数目的增加成比例。就参考数据而言，由于依次比较，在比较顺序的改变上或者新参考数据的注册上没有学习的概念，使得不可能通过学习来获得处理时间降低的效果。

模式识别和学习是构建人工智能系统所必需的功能，该人工智能系统具有与人脑功能相类似的能力。因此，从技术上讲，在集成电路中实现这些功能是非常重要的。迄今所提出的实现模式识别和学习功能的大多数方法都采用神经网络。在以下的文献1中描述了一个示例。

[文献1]Yoshihito Amamiya，“Neural Network LSI”，Institute ofElectronics，Information and Communication Engineers，1995。

然而，采用神经网络的方法存在一个问题，即，每个神经元的阈值和每个网络的负荷必须更新，这必然需要大量的处理时间。由于没有可行的方法来有效地在网络中存储模式，因此模式的信息必须包含在网络结构自身中。此外，为了在完成网络学习之后再进行学习以识别新的模式，就必须对整个网络进行重新学习，并且通过学习同时执行识别过程难以更新网络负荷。

目前，在使用采用神经网络的硬件实现方法上的进展没有最初设想的那么快，并且现在难于在集成度和功耗方面实现LSI。在这些情况下，就需要采用新的硬件的更好的实现方法，所述新硬件能够通过结合存储器元件来有效地存储模式。

考虑到以上所述，最近已经提出了基于完全并行架构的小面积/高速度的相联存储器的开发。在以下的文献2到8中详细描述了示例。

[文献2]H.J.Mattausch，N.Omori，s.Fukae，T.Koide和T.Gyoten，“Fully-parallel pattern-matching engine with dynamicadaptability to Haming or Manhattan distance”，2002 Symposium onVLSI Circcuit Dig.OfTech.Papers，pp.252-255，2002。

[文献3]T.Koide，Y.Yano，H.J.Mattausch，“An associativememory for real-time applications requiring fully parallel nearestManhattan-distance-search”，Proc.Of the Workshop on Synthesis AndSystem Integration of Mixed Technologies，pp.200-205，2003。

[文献4]H.J.Mattausch，T.Gyohten，Y.Soda，T.Koide，“Compactassociative-memory architecture with fully-parallel search capability forthe minimum Hamming distance”，IEEE Journal of Solid-StateCircuits，Vol.37，pp.218-227，2002。

[文献5]Y.Yano，T.Koide，H.J.Mattausch，“Fully parallel nearestManhattan-distance search memory with large reference-patternnumber”，Extend.Abst.Of the International Conf.On Solid-StateDevices and Materials，pp.254-255，2002

[文献6]日本专利申请特许公开No.2001-011760

[文献7]日本专利申请特许公开No.2002-159436

[文献8]日本专利申请特许公开No.2002-165759

相联存储器具有最小距离搜索功能，该功能是实现识别功能的重要元素，并且相联存储器能够通过基于数字比较运算和模拟最小值运算将搜索数据与每个参考数据进行比较，从而在所有的数据之间进行并行比较。因此，由于相联存储器能够实现高速模式匹配过程，所以相联存储器引人关注。

然而，即使是在基于相联存储器的模式识别系统的情况中，仍然需要确立能够有效学习以识别新参考数据的特定方法，并且添加或者替换参考数据的过程需要大量时间。

发明内容

如上所述，在人工智能系统中，执行与输入环境中的变化对应的模式识别的功能是必需的，并且通过学习执行广范围的识别也是重要的。根据常规系统，采用基于处理器或者神经网络的方法进行学习。为了实现学习，在基于处理器的系统中，必须采用一种方法或者其他方法更新参考数据，并且在基于神经网络的系统中，整个网络的每个网络负荷都必须更新。因此，在共同执行模式识别和学习的情况中，上述常规系统存在一个问题，即，在功耗和电路尺寸方面难以集成。基于用于实现高速匹配过程的相联存储器的模式识别系统已经提出。然而，仍然需要建立特别的方法来执行有效学习以识别将要添加的新参考数据，对于参考数据的识别/学习过程而言，大量的时间是必需的。

本发明的一个目的是提供一种参考数据优化学习方法，其能够在相对短的时间内，实现对模式匹配过程所必需的新参考数据的识别的自动学习，并且提供了模式识别系统，其通过使用所述方法能够缩短模式识别所必需的时间。

本发明的参考数据优化学习方法具有以下特征：

(1)提供了一种参考数据优化学习方法，其执行对与模式搜索目标的输入数据和多个参考数据之间的相似性等同的距离的计算，并且所述方法用于模式识别，以选择在由阈值判定的识别区域中存在的具有最小距离的参考数据作为识别数据，并且所述方法通过学习所述识别数据来优化用于所述模式识别的所述参考数据。所述方法的特征在于其包括：对与要被选择作为所述识别数据的所述参考数据相对应的输入数据进行固定次数的读取；获得所述输入数据和所述参考数据之间的距离分布的重心点；以及优化所述参考数据的位置，以将其置于所述重心点上。

(2)在段落(1)中所描述的方法中，在对所述参考数据的位置进行优化时，限制移动以防止在所述参考数据的识别区域与相邻参考数据的识别区域之间出现重叠。

(3)在段落(1)中所描述的方法中，在对所述参考数据进行优化时，通过改变阈值来扩大/缩小识别区域，以防止在相互邻接的参考数据中设定的识别区域之间出现重叠。

(4)所述参考数据优化学习方法可以执行对与模式搜索目标的输入数据和多个参考数据之间的相似性等同的距离的运算，并且所述方法可以用于模式识别，所述模式识别选择在由阈值判定的识别区域中存在的具有最小距离的参考数据作为识别数据，并且所述方法通过学习所述识别数据来优化用于所述模式识别的所述参考数据。所述方法可以包括：对在识别区域内部和外部存在的输入数据的数量进行计数；以及确定所述识别区域内部和外部的输入数据的数量中哪一侧的数量首先达到固定次数；通过改变达到所述固定次数的所述侧的阈值，优化所述参考数据的位置，以扩大/缩小所述识别区域。

(5)在段落(3)或(4)中所描述的方法中，在对所述参考数据进行优化时，从预先设定的概率分布中选择所述阈值的改变量。

(6)在段落(3)或(4)中所描述的方法中，仅仅在表示一组所述输入数据的中心和当前参考数据之间的距离的值大于参考值时，才改变所述阈值。

(7)在段落(1)中所描述的方法中，欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个被用作距离索引，以用于所述距离计算。

根据本发明的模式识别系统具有以下特征：

(8)所述系统包括：相联存储器，其至少配备有用于存储用于识别输入模式的搜索数据的多个参考数据的参考数据存储装置，用于获得所述搜索数据和最小距离内存在的参考数据的最小距离搜索装置；以及用于根据所述最小距离是否等于或者大于阈值来确定所述搜索数据与所述最小距离的参考数据之间的相同性的确定装置；以及优化装置，其用于对与要被选择作为识别数据的所述参考数据相对应的输入数据进行固定次数的读取，获得所述输入数据和所述参考数据之间的距离分布的重心点，以及优化所述参考数据的位置，以将其置于所述重心点上。所述系统的特征在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

(9)在段落(8)中所描述的系统中，所述优化装置限制移动，以防止在由所述参考数据的阈值决定的识别区域与相邻参考数据的识别区域之间出现重叠。

(10)在段落(8)中所描述的系统中，所述优化装置通过改变所述阈值来扩大/缩小识别区域，以防止在由阈值所决定的相互邻接的参考数据的识别区域之间出现重叠。

(11)所述系统包括：相联存储器，其至少配备有用于存储用于识别输入模式的搜索数据的多个参考数据的参考数据存储装置，用于获得所述搜索数据和最小距离内存在的参考数据的最小距离搜索装置；以及用于根据所述最小距离是否等于或者大于阈值来确定所述搜索数据与所述最小距离的参考数据之间的相同性的确定装置；以及优化装置，其用于对在由所述阈值所决定的识别区域内部和外部存在的输入数据的数量进行计数，并改变首先达到固定次数的一侧的所述阈值，以扩大/缩小所述识别区域。所述系统的特征可以在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

(12)在段落(10)或(11)中所描述的系统中，所述优化装置从预先设定的概率分布中选择所述阈值的改变量。

(13)在段落(10)或(11)中所描述的系统中，所述优化装置将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并仅仅在大于所述参考值时改变所述阈值。

(14)在段落(8)或(11)中所描述的系统中，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

(15)在段落(8)或(11)中所描述的系统中，所述相联存储器和所述优化装置结合在一个单片集成电路中。

(16)模式识别系统可以包括：算术处理设备，其配备有处理器和存储装置，所述处理器用于根据程序执行算术处理，所述存储装置用于至少存储多个用于识别输入模式的搜索数据的参考数据、所述处理器的算术处理结果、以及用于所述算术处理的参数，所述处理器基于所述程序获得所述搜索数据和最小距离内存在的参考数据，并根据所述最小距离是否等于或者大于阈值，来确定所述搜索数据与所述最小距离的参考数据之间的相同性；以及优化装置，其用于对与要被选择作为识别数据的所述参考数据相对应的输入数据进行固定次数的读取，获得所述输入数据和所述参考数据之间的距离分布的重心点，以及优化所述参考数据的位置，以将其置于所述重心点上。所述系统的特征可以在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

(17)在段落(16)中所描述的系统中，所述优化装置限制移动，以防止在由所述参考数据的阈值所决定的识别区域与相邻参考数据的识别区域之间出现重叠。

(18)在段落(16)中所描述的系统中，所述优化装置通过改变所述阈值来扩大/缩小识别区域，以防止在由阈值所决定的相互邻接的参考数据的识别区域之间出现重叠。

(19)所述系统可以包括：算术处理设备，其配备有处理器和存储装置，所述处理器用于根据程序执行算术处理，所述存储装置用于至少存储多个用于识别输入模式的搜索数据的参考数据、所述处理器的算术处理结果、以及用于所述算术处理的参数，所述处理器基于所述程序获得所述搜索数据和最小距离内存在的参考数据，并根据所述最小距离是否等于或者大于阈值，来确定所述搜索数据与所述最小距离上的参考数据之间的相同性；以及优化装置，其用于对在由所述阈值所决定的识别区域内部和外部存在的输入数据的数量进行计数，并改变首先达到固定次数的一侧的所述阈值，以扩大/缩小所述识别区域。所述系统的特征可以在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

(20)在段落(18)或(19)中所描述的系统中，所述优化装置从预先设定的概率分布中选择所述阈值的改变量。

(21)在段落(18)或(19)中所描述的系统中，所述优化装置将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并仅仅在大于所述参考值时改变所述阈值。

(22)在段落(16)或(19)中所描述的系统中，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离的计算。

(23)在段落(16)或(19)中所描述的系统中，所述算术处理设备和所述优化装置结合在一个单片集成电路中。

附图简述

图1是本发明的方法所采用的相联存储器的概念图；

图2是示出图1的相联存储器的示例性的完全并行的相联存储器配置示例的方框图；

图3是根据本发明的优化学习方法的概念图；

图4是根据本发明的优化学习方法的概念图；

图5是根据本发明的优化学习方法的概念图；

图6是示出本发明所采用的相联存储器的参考数据与输入数据之间的相关性的示图；

图7是示出根据本发明的参考数据和识别区域的优化学习算法的流程图；

图8是示出缩小/放大识别区域的情况的概念图，以用于解释图7的阈值优化学习算法；

图9是示出根据本发明选择阈值更新量的概率分布的特征图；

图10是示出根据本发明的被添加了学习功能的相联存储器的结构的方框图；

图11是图10所示的学习电路的特定配置的方框图；

图12是示出当图11所示的概率分布储存存储器为Dg＝3时，对所生成的随机数进行选择的示例的概念图；

图13是示出根据本发明的参考数据优化学习的仿真结果的图形；

图14是示出根据本发明的阈值优化学习(识别区域优化)的仿真结果的图形；

图15A是示出图13的仿真中所使用的输入数据的变化情况的正态分布的波形图；

图15B是示出图14的仿真中所使用的输入数据的变化情况的均匀分布的波形图；以及

图16是示出采用根据本发明的优化学习方法的处理器模式识别系统的配置的方框图。

具体实施方式

以下将参考附图详细描述实现本发明的最优方式。

如图1所示，采用本发明的方法的相联存储器是功能性存储器，其基于预先指定的距离索引，利用相似性来比较在存储器中预先存储的多个参考数据(或者模板)和输入数据(或搜索数据)，并检测与所述输入数据最相似(最近距离)的参考数据(以下称为优胜者)，以执行模式匹配。

图2是示出作为相联存储器示例的，执行完全并行的最小距离搜索的一种类型(完全并行的相联存储器)的配置示例的方框图，其研发意在追求实现高速处理、小面积和低功耗。在图中，存储器内核部分包括存储器区域100，优胜者排队放大电路(以下称为WLA电路)200，优胜者取得电路(以下称为WTA电路)300，并具有作为外围电路的列解码器和R/W电路(M×W列)110，行解码器(R行)120以及搜索数据存储电路(M比特×W)130。

存储器区域100包括W×R个由SRAM存储单元构成的单元存储电路(US)，其用于依照单位(M比特)来存储参考数据，W×R个单元比较电路(UC)，其用于为每个单元计算参考数据与搜索数据之间的差的绝对值(以下所称的曼哈顿距离)，R个字权重比较电路(WC)，用于将所计算的距离转换为模拟电压(或电流)。

由字权重比较电路WC所生成的比较结果信号C_i进入WLA电路200。WLA电路200基于自己的均衡性来控制该信号C_i，并在初始阶段将行间电压的差放大到最大。WLA电路200和WTA电路300的特征在于，相对于行数R，能够利用小线性O(R)面积实现面积增加比率。

WTA电路300具有对由WLA电路200所放大的行间电压输出LA_i的差进行进一步放大的功能。在WTA电路300的输出M_i中，生成数字信号，其中优胜者行为“1”，其他失败者行为“0”。WLA电路200采用内部反馈信号F，以使放大点的优胜者行能够获得最大程度的放大。当返回到字权重比较电路WC时，WLA电路200中所包含的电压跟随器电路用于实现高反馈速度。

当存在向量a＝(a₁，a₂，...，a_i，...，a_N)，b＝(b₁，b₂，...，b_i，...，b_N)时，曼哈顿距离D用以下公式表示。

[公式1]

$D=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}|a_i-b_i|$

图3是根据本发明的优化学习算法的概念图。将通过颜色色调和形状对模式进行二维分类的情况作为示例。在图3的左上方(a)，在输入数据(八角形标记)和四个预先存储的参考数据A、B、C和D之间，将具有最小曼哈顿距离1的最类似模式选作优胜者。在该情况中的优胜者是八角形标记A。最小曼哈顿距离被设定为“优胜者距离Dw_i”。

如果优胜者距离Dw_i等于或者小于用于决定与参考数据i对应的预先指定的识别区域的阈值距离Dth_i(Dw_i≤Dth_i)，则将优胜者看作已识别的优胜者。这个内部距离Dw_i称为“已识别的优胜者距离Drw_i”。因此，当在预先指定的阈值中存在最相似模式时，由相联存储器识别出所述模式。另一方面，如果Dw_i大于Dth_i(Dw_i＞Dth_i)，则认为它的输入数据与相关的参考数据不相似，被认为与任何参考数据不相似，并且没有识别出来。然而，相联存储器将参考数据与输入数据进行比较以搜索优胜者，从而获得优胜者距离Dw_i。因此，重要的是为有效识别准备最优参考数据。例如，在图3的中心(b)，当输入数据分布如图所示时，由参考数据B所指示的一组输入数据的中心优选地是最优参考数据B′。

由于“已识别的优胜者距离Drw_i”是通过将优胜者距离Dw_i与阈值Dth_i进行比较而确定的，因此最优阈值Dth_i的设定对于改善识别来说是重要的。例如，对于阈值Dth_i，假设使得与特定参考数据对应的所有(相似)输入数据都能够被识别出来(100％)的阈值为Dmax_i，当Dth_i与Dmax_i相比太小时，识别率下降，或者相反地，当它太大并且与其他参考数据(图3中的[c]和[d])相匹配时，会发生错误识别。因而，由于当阈值Dth_i的区域(识别区域)重叠参考数据时存在取决于重叠度的错误识别的可能性，因此必须消除识别区域的重叠。

可以通过如图4的下面部分(c)所示偏移参考数据(C→C′，D→D′)，或者通过如图5的下面部分(c)所示减小参考数据i的阈值Dth_i，来实现重叠的消除。明显的是，在基于相联存储器的系统中，必须基于对于每个参考数据i的阈值Dth_i的优化来优化识别区域，以执行正确的识别。

因此，本发明的最优学习有两个含义，即，更新参考数据以使其为最优的“参考数据最优学习”，和更新每个参考数据的阈值以使其为最优的“识别区域最优学习”。以下将参考图6到9详细描述学习算法。

在以下的描述中，US、SB和G分布表示参考数据、输入数据和参考数据与输入数据之间的差的向量。如图6所示，在相联存储器中所存储的参考数据的集合为US＝{US₁，US₂，...，US_i，...，US_R}(R是相联存储器的数据的数量(行数))。每个参考数据都由M比特的W个字构成。因此，它能够用US_i＝{x_i1，x_i2，...，x_ij，...，x_iw}(W是相联存储器的向量的数量(列数))表示。对于参考数据US_i(1≤i≤R)，被识别为已识别优胜者的N个输入数据的集合被定义为SB_i＝{SB_i，1，SB_i，2，...，SB_i，k，...，SB_i，N}(1≤K≤N)，并且输入数据定义为SB_i，K＝(y_i1，k，y_i2，k，...，y_ij，k，...，y_iw，k)(1≤j≤W)。

图7是示出根据本发明的参考数据与识别区域的优化学习算法的流程图。

首先，将要描述参考数据的优化学习算法。根据该算法，假设最优参考数据是所有输入数据的重心(中心)，以将特定参考数据作设定为已识别的优胜者(图3中[a])。然而，由于在其中输入数据随着时间而连续输入的在线识别中开始不会马上知道所有输入数据，因此通常难以获得最佳参考数据。因此，根据本发明，基于与被设定为已识别的优胜者的参考数据相对应的固定次数的输入数据，计算其重心以优化参考数据。通过这种过程，即使是当输入数据分布由于这样或那样的原因而改变时，也可以令人满意地应对分布的变化。

将要参考图7的流程图描述用于更新参考数据以使其为最优的学习算法。首先，当将输入数据SB_i，k输入到US(步骤S1)以执行优胜者检测时(步骤S2)，US_i成为优胜者。然后，计算优胜者距离Dw_i，k以与阈值Dth_i进行比较(步骤S3)。当比较结果为Dw_i，K≤Dth_i时，识别为Drw_i＝Dw_i，k，并且由以下等式(1)计算将被存储的输入数据SB_i，k与参考数据US_i之间的向量差G_i，k(步骤S4)。

[公式2]

G_i，k＝SB_i，k-US_i                             (1)

基于与已经N次变为优胜者(步骤S6，S7)的参考数据相对应的输入数据，通过以下等式(2)更新参考数据US_i(步骤S8)。

[公式3]

${\mathrm{US}}_i={\mathrm{US}}_i+\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{G}_{i,k}---\left(2\right)$

对于输入数据的每次输入都执行识别，为已经N次成为已识别优胜者的参考数据计算N次G_i，k(步骤S6，S7)。G_i，k是表示输入数据与已经成为已识别的优胜者的参考数据之间的差的程度的向量。等式(2)的第二项是根据N次的G_i，k计算出的，并且确定参考数据与输入数据之间的差的重心的程度。如果所述差大，则按照等式(2)更新参考数据以使其最优，以减小该差(步骤S8)。差的程度的标准是从N次的输入数据与具有阈值(例如曼哈顿距离)的参考数据之间的差中获得的距离(例如曼哈顿距离)的比。由等式(2)的第二项所表示的差的标准与用于以下所述的更新过程的等式(7)类似。参考数据的更新程序与阈值更新程序类似，并且当输入数据的重心与参考数据之间的差大时，更新参考数据和阈值。

接下来，描述用于优化每个参考数据US_i的阈值Dth_i的学习算法。

首先，阈值的改变意味着识别区域的缩小或扩大。为了该目的，必须确定将输入数据输入到识别区域的内部/外部的比率。根据本发明，对图8中虚线所示的识别区域的内部(≤Dth_i)或者外部(＞Dth_i)中存在的输入数据的数量进行计数(步骤S6，S10)，并且当固定次数的预先指定的输入数据被生成N次时，就缩小/扩大识别区域。

当特定参考数据US_i成为优胜者(步骤S2)时，即，如果优胜者距离小于阈值时，则将优胜者距离设定为已识别的优胜者距离Drw_i，k(1，2，...，k，...，N)(步骤S3)，并且将这些输入数据的集合设定为SB_i＝{SB_i，1，SB_i，2，...，SB_i，k，...，SB_i，N}。另一方面，如果优胜者距离大于阈值，则将优胜者距离设定为已识别的优胜者距离Dw_i，k(1，2，...，k，...，N)，并且将这些输入数据的集合设定为SBe_i＝{SBe_i，1，SBe_i，2，...，SBe_i，k，...，SBe_i，N}。这些是用于获得阈值更新量Dc的参数。通过以下等式(3)，(4)获得Dth_i与Dw_i之间的差Dg_i(步骤S11)。Dg_i表示N次的输入数据偏离阈值的程度，并且阈值更新意味着该偏移的减小。

[公式4]

如图9所示，阈值的更新量Dc_i是从预先设定的概率分布中选择的，例如，从具有三角分布的概率分布中。图9示出了选择阈值更新量Dc_i的概率分布ρ(Dc_i)，A指示Dg_i＝4的情况，B指示Dg_i＝3的情况。

[公式5]

$p\left({\mathrm{Dc}}_i\right)=\frac{2}{{({\mathrm{Dg}}_i+1)}^2}{\mathrm{Dc}}_i+\frac{2}{{\mathrm{Dg}}_i+1}---\left(5\right)$

因此，按如下对阈值进行学习。

[公式6]

在对参考数据的学习和阈值的学习中执行更新过程。如果从由以下等式(8)和(9)所表示的Gm_i的每个维度的均值中获得曼哈顿距离Gt_i，由以下等式(10)所表示的曼哈顿距离Gt_i小于阈值(例如，大约为阈值的20％)，则参考数据和阈值都不更新。这是因为Gt_i表示一组输入数据的中心与当前参考数据之间的曼哈顿距离，即，新参考数据从当前参考数据US_i移动的程度，并且由于小的Gt_i意味着小更新量，因此即使是执行更新，也不期望识别率增加很多。因此，在小更新量的情况下，防止更新以抑制更新次数，并且执行参考数据的有效优化。

[公式7]

${\mathrm{Gm}}_i=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{G}_{i,k}---\left(8\right)$

=(z_i1，z_i2，...，z_ij，...，z_iW)                                (9)

[公式8]

${\mathrm{Gt}}_i=\frac{1}{N}\underset{j=1}{\overset{W}{\mathrm{\Σ}}}\left|z_{\mathrm{ij}}\right|---\left(10\right)$

接下来，将要描述基于参考数据和识别区域的优化算法的基于相联存储器的体系结构。

图10是示出基于相联存储器的优化学习系统的体系结构的方框图。所述体系结构包括控制电路500、学习电路600、比较电路700、数据存储电路800、以及相对于相联存储器设备400的存储目的地选择电路900。

相联存储器设备400包括用作执行最小距离搜索的相联存储器410，用于临时存储输入数据的输入缓存器420，以及将相联存储器410所提取的二进制数字(仅仅对优胜者输出为“1”，对其他地址行输出为“0”)转换为行地址的编码器430。

控制电路500控制整个系统的过程。学习电路600学习并更新用于决定相联存储器设备400的参考数据和识别区域的阈值，以使其为最优值。比较电路700包括分别为阈值比较和更新控制而准备的比较器710，720。数据存储电路800包括第一到第四存储器810到840，分别用于存储阈值学习、参考数据学习、阈值减小以及阈值放大的计算结果。存储目的地选择电路900包括第一和第二计数器910，920，用于选择分别通过控制电路500和学习电路600的过程而获得的数据的存储目的地。

图11是示出学习电路600的特定配置的方框图。该学习电路600包括减法器601、加法器602、除法器603、随机数产生器604、概率分布储存存储器605、用于块601到605的数据输入/输出的寄存器(REG)611到615、输入选择开关621以及输出选择开关622，输入选择开关621用于选择性地读取来自输入缓存器420的输入数据、来自编码器430的优胜者行地址、以及来自数据存储电路800的存储器810到840的数据(以下称为存储器1、存储器2、存储器3和存储器4)，并将这些数据传递到减法器601、加法器602、除法器603，输出选择开关622用于将读入寄存器611到615中的数据传递到相联存储器设备400、数据存储电路800。

以下将描述图10和11所示的配置的结构中的特定操作。

为了简化解释，假设将US_i＝(80，110)预先存储在处于W＝2的参考数据的第i行上的相联存储器410中。首先，假设阈值Dth_i＝10存储在用于阈值存储的存储器1中，当将输入数据SB_i，1＝(75，112)输入到相联存储器410时，如果第i行变为优胜者，则从相联存储器410单独地将“1”输出到第i行，而将“0”输出到其他行。将(0，...，1，...，0)^T(T表示转置)从相联存储器410输入到编码器430，并从编码器430输出行地址i。

在已经将i行输入到学习电路600之后，基于距离索引(曼哈顿距离)计算参考数据第i行US_i＝(80，110)与输入数据SB_i，1＝(75，112)之间的距离。采用减法器601执行每个维度的减法。从等式(1)获得以下。

[公式9]

G_i，k＝SB_i，k-US_i                              (11)

     ＝(75，112)-(80，110)                       (12)

     ＝(-5，2)                                   (13)

在基于该计算结果进行的补数的转换之后，采用加法器602计算优胜者距离Dw_i，1＝7。由于采用用于阈值比较的第一比较器710将阈值与优胜者距离进行比较得到Dth_i＞Dw_i，1，因此该优胜者是已识别的优胜者，将G_i，1存储在用于参考数据学习的存储器2中。设定Dw_i，1＝Drw_i，1＝7，并将Drw_i，1存储在用于阈值减小的存储器3中。

当{SB_i，2，SB_i，3，SB_i，4}＝{(86，112)，(81，114)，(77，105)}和成为优胜者的输入数据被输入预定的固定次数(N＝4)时，获得{G_i，2，G_i，3，G_i，4}＝{(6，2)，(1，4)，(-3，5)}和{Drw_i，2，Drw_i，3，Drw_i，4}＝{8，5，8}。将Gm_i＝{-1，13}存储在用于参考数据学习的存储器2中，并且将以下的等式存储在用于阈值减小的存储器2中。

[公式10]

$\underset{k=1}{\overset{N}{\mathrm{\Σ}}}|{\mathrm{Dth}}_i-{\mathrm{Drw}}_{i,k}|=12$

由于N＝4的输入，通过采用减法器601从等式(10)获得Gt_i＝3。当Gt_i＝3被确定为作为更新量太小时，不执行学习。假设在更新之前，更新量等于或者小于阈值的20％就认为更新量太小，则Gt_i＝3大于该值，因而对参考数据和阈值区域进行优化。从等式(2)中，将参考数据更新到US_i＝(0，3)+(80，110)＝(80，113)，并且按照等式(3)将阈值变为Dg_i＝3。

以下将要描述采用等式(5)生成Dc_i的方法。在图9中，在Dg_i＝3的情况下，相对于Dg_i＝3，概率分布储存存储器605预先存储0.00到0.45、0.46到0.71、0.72到0.91、以及0.92到1.00。在该情况下，由随机数产生器604生成0.00到1.00的均匀随机数。如图12所示，在0.00到0.45、0.46到0.71、0.72到0.91、以及0.92到1.00的情况下，分别获得随机数Dc＝0、Dc_i＝1、Dc_i＝2以及Dc_i＝3。当获得Dc_i＝1时，根据等式(6)将阈值更新到Dth_i＝10-1＝9。

每个参考数据的参考数据更新学习算法和阈值更新学习算法(识别区域优化算法)在计算机上采用C语言实现，并且采用计算机执行仿真来验证其有效性。图13和14示出了结果。学习的次数就意味着实际更新参考数据或者阈值的次数。

图13的仿真条件是R＝1，W＝5以及N＝4，对于输入数据的变化采用正态分布。正态分布是图15A所示的概率分布，并且通过由以下等式所表示的概率，获得偏离中心的方差s。

[公式11]

$p\left(s\right)=\frac{1}{{2\mathrm{\π\σ}}^2}\exp [-\frac{s^2}{2{\mathrm{\σ}}^2}]---\left(14\right)$

在该仿真中，设定σ＝3。为了对参考数据的优化的执行进行检查，当输入数据的中心改变时，检查所述改变是否伴随有参考数据的变化。作为它的方法，当输入数据被输入固定次数时，输入数据的中心的值在每个维度上增加“1”，从而逐渐地发生改变。换句话说，当输入数据首先为(10，15)时，在第一次改变后其变为(11，16)。

图14的仿真条件是R＝1，W＝5以及N＝4，对于输入数据的变化采用正态分布和均匀分布。均匀分布是图15B中所示的概率分布，并且通过由以下等式所表示的概率，获得偏离中心的方差s。

[公式12]

$p\left(s\right)=\frac{1}{2\×3\mathrm{\σ}}---\left(15\right)$

-3σ≤s≤3σ                                           (16)

在该仿真中，设定σ＝3。在仿真中，输入数据不改变。

作为表示优化程度的索引，在图13中采用了错误率，在图14中采用了距离错误率。在该情况下，采用以下等式表示错误率α_i。

[公式13]

${\mathrm{\α}}_i=\frac{|{\mathrm{MSE}}_i-{\mathrm{MSE}0}_i|}{{\mathrm{MSE}0}_i}---\left(17\right)$

${\mathrm{MSE}}_i=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|{\mathrm{SB}}_{i,k}-{\mathrm{US}}_i\left|\right|}^2---\left(18\right)$

MSE0_i=∫||SB0_i-US0_i||²p(SB0_i)d^WSB0_i                            (19)

MSE_i是相对于第i行参考数据的输入数据的均方误差(为每个固定次数进行计算)。MSE0_i是对于理想参考数据的所有输入数据的估计的均方误差，当无限地将输入数据输入时，可以采用均方误差MSE_i生成错误。换句话说，错误率α_i是表示当前均方误差MS E_i与要生成的误差MSE0_i之间的偏差程度的比例。该错误率α_i表示当其接近“0”时，参考数据更接近最优。

距离错误率由以下等式表示

[公式14]

${\mathrm{\αD}}_i=\frac{|{\mathrm{Dth}}_i-{D\max }_i|}{{D\max }_i}---\left(20\right)$

Dmax_i是识别率为100％时的阈值。因此，该距离错误率表示当其接近“0”时，识别区域更接近最优。从图13的结果中，能够理解，通过增加学习次数来优化参考数据。还能够理解，参考数据跟随着输入数据分布的变化，根据输入数据的所述变化而变为最优参考数据。在图14中，采用了两种输入数据的分布，即正态分布和均匀分布，并且两者都变为其中在学习之后的识别率变为等于或者大于75％的阈值。其可能的原因是在正态分布的输入情况下，输入数据不均匀地围绕着最优参考数据的中心，难以增加阈值，导致距离错误率的增加。

已经通过使用曼哈顿距离作为距离索引的示例描述了实施例。然而，也能够使用其他索引，例如欧几里得距离，汉明距离和马哈拉诺比斯距离。

已经采用基于相联存储器的模式识别系统的方式描述了实施例。然而，本发明并不局限于此。例如，本发明能采用基于处理器的模式识别系统。以下将参考图16描述基于处理器的系统的实施例。

图16是示出采用本发明的优化学习方法的基于处理器的模式识别系统的配置的方框图。在图16中，1000是中央处理器(CPU)，1100是存储器，1300是用于在CPU 1000与存储器1100之间传输写入数据、读取数据的数据总线。

CPU 1000包括算术和逻辑单元(ALU)1010，寄存器1011到1013，和控制器1020。控制器1020控制存储器1100的读取/写入，它还根据预先录入的程序命令ALU 1010选择性地执行加法/减法、比较、除法等等。在ALU 1010的输入/输出部分，寄存器1011到1013设置为缓存器。

存储器1100包括用于临时存储输入数据SB1到SBR的区域1110，用于存储参考数据US₁₁到US_RW以能够进行更新的区域1120，用于存储阈值数据Dth₁到Dth_R的区域1130，用于存储CPU 1000的距离计算结果D₁到D_R的区域1140，用于存储优胜者距离Dw_1，1到Dw_R，N的区域1150，用于存储优胜者距离与阈值之间的差Dg₁到Dg_R的区域1160，用于存储搜索数据和参考数据之间的差G_1，1到G_R，N的区域1170，用于存储输入到阈值的内部的次数的1到N的值(第一计数器值)的区域1180，用于存储输入到阈值外部的次数的1到N的值(第一计数器值)的区域1190，以及用于存储可能的阈值更新量数据Dc的区域1200，并且读取/写入是通过CPU 1000端的控制器1020进行控制的。

根据以上配置，对于控制器1020的执行程序来说，通过软件执行与相联存储器的过程相类似的过程。即，在CPU 1000中，通过与存储器1100的数据转送，计算与模式搜索目标与多个参考数据之间相似性等同的距离，并且将在由阈值决定的识别区域中最小距离内所存在的参考数据选择作为已识别的数据。

在该情况下，基于图7的流程图的参考数据的优化学习过程就包含在控制器1020的执行程序中。因此，在存储器1100中的参考数据始终更新为最优，从而能够缩短模式识别所必需的时间。如上所述，在基于处理器的常规系统中，由于不包含采用参考数据的优化学习的更新过程，因此难以缩短模式识别的时间以及提高识别率。然而，通过包含本发明的优化过程解决了该问题，并且实现了模式识别时间的缩短以及识别率的提高。

在基于处理器的系统中，作为距离索引的示例，也能够使用除了曼哈顿距离以外的其他索引，例如欧几里得距离、汉明距离和马哈拉诺比斯距离。

工业应用

本发明能够用于人工智能、自动机器人、验证系统、非法进入检测系统(IDS)、数据银行系统、因特网路由器、对象识别、电子武器、家用辅助机器人等等的模式匹配过程中。

Claims (34)

1、一种参考数据优化学习方法，其执行对与模式搜索目标的输入数据与多个参考数据之间的相似性等同的距离的计算，并且所述方法用于模式识别，以选择在由阈值所决定的识别区域中存在的具有最小距离的参考数据作为识别数据，并且所述方法通过学习所述识别数据来优化用于所述模式识别的所述参考数据，所述方法的特征在于包括：

对与要被选择作为所述识别数据的所述参考数据相对应的输入数据进行固定次数的读取的步骤；

获得所述输入数据和所述参考数据之间的距离分布的重心点的步骤；以及

优化所述参考数据的位置，以将其置于所述重心点上的步骤。

2、如权利要求1所述的参考数据优化学习方法，其特征在于，优化所述参考数据的位置的步骤限制移动以防止在所述参考数据的识别区域与相邻参考数据的识别区域之间出现重叠。

3、如权利要求1所述的参考数据优化学习方法，其特征在于，优化所述参考数据的位置的步骤通过改变阈值来扩大/缩小识别区域，以防止在相互邻接的参考数据中设定的所述识别区域之间出现重叠。

4、如权利要求3所述的参考数据优化学习方法，其特征在于，优化所述参考数据的位置的步骤从预先设定的概率分布中选择所述阈值的改变量。

5、如权利要求3所述的参考数据优化学习方法，其特征在于，优化所述参考数据的位置的步骤将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并且只有在大于所述参考值时，改变所述阈值。

6、如权利要求1所述的参考数据优化学习方法，其特征在于，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

7、一种参考数据优化学习方法，其执行对与模式搜索目标的输入数据与多个参考数据之间的相似性等同的距离的计算，并且所述方法用于模式识别，以选择在由阈值所决定的识别区域中存在的具有最小距离的参考数据作为识别数据，并且所述方法通过学习所述识别数据来优化用于所述模式识别的所述参考数据，所述方法的特征在于包括：

对在所述识别区域内部和外部存在的输入数据的数量进行计数的步骤；

确定所述识别区域内部的输入数据的数量和外部的输入数据的数量中哪一侧的数量首先达到固定次数的步骤；以及

通过改变达到所述固定次数的所述侧的阈值，对所述参考数据的位置进行优化，以扩大/缩小所述识别区域的步骤。

8、如权利要求7所述的参考数据优化学习方法，其特征在于，优化所述参考数据的位置的步骤从预先设定的概率分布中选择所述阈值的改变量。

9、如权利要求8所述的参考数据优化学习方法，其特征在于，优化所述参考数据的位置的步骤将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并且只有在大于所述参考值时，才改变所述阈值。

10、如权利要求7所述的参考数据优化学习方法，其特征在于，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

11、一种模式识别系统，其特征在于包括：

相联存储器，其至少配备有用于存储用来识别输入模式的搜索数据的多个参考数据的参考数据存储装置，用于获得所述搜索数据和最小距离内存在的参考数据的最小距离搜索装置，以及用于根据所述最小距离是否等于或者大于阈值来确定所述搜索数据与所述最小距离的参考数据之间的相同性的确定装置；以及

优化装置，其用于对与要被选择作为识别数据的所述参考数据相对应的输入数据进行固定次数的读取，获得所述输入数据和所述参考数据之间的距离分布的重心点，并优化所述参考数据的位置，以将其置于所述重心点上，

其特征在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

12、如权利要求11所述的模式识别系统，其特征在于，所述优化装置限制移动，以防止在由所述参考数据的阈值所决定的识别区域与相邻参考数据的识别区域之间出现重叠。

13、如权利要求11所述的模式识别系统，其特征在于，所述优化装置通过改变所述阈值来扩大/缩小识别区域，以防止在由阈值所决定的相互邻接的参考数据的识别区域之间出现重叠。

14、如权利要求11所述的模式识别系统，其特征在于，所述优化装置从预先设定的概率分布中选择所述阈值的改变量。

15、如权利要求11所述的模式识别系统，其特征在于，所述优化装置将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并且只有在大于所述参考值时，才改变所述阈值。

16、如权利要求11所述的模式识别系统，其特征在于，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

17、如权利要求11所述的模式识别系统，其特征在于，所述相联存储器和所述优化装置结合在单片集成电路中。

18、一种模式识别系统，其特征在于包括：

相联存储器，其至少配备有用于存储用来识别输入模式的搜索数据的多个参考数据的参考数据存储装置，用于获得所述搜索数据和最小距离内存在的参考数据的最小距离搜索装置，以及用于根据所述最小距离是否等于或者大于阈值来确定所述搜索数据与所述最小距离的参考数据之间的相同性的确定装置；以及

优化装置，其用于对在由所述阈值所决定的识别区域内部和外部存在的输入数据的数量进行计数，并改变首先达到固定次数的一侧的所述阈值，以扩大/缩小所述识别区域，

其特征在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

19、如权利要求18所述的模式识别系统，其特征在于，所述优化装置从预先设定的概率分布中选择所述阈值的改变量。

20、如权利要求18所述的模式识别系统，其特征在于，所述优化装置将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并且只有在大于所述参考值时，才改变所述阈值。

21、如权利要求18所述的模式识别系统，其特征在于，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

22、如权利要求18所述的模式识别系统，其特征在于，所述相联存储器和所述优化装置结合在单片集成电路中。

23、一种模式识别系统，其特征在于包括：

算术处理设备，其配备有处理器和存储装置，所述处理器用于根据程序执行算术处理，所述存储装置用于至少存储多个用于识别输入模式的搜索数据的参考数据、所述处理器的算术处理结果、以及用于所述算术处理的参数，所述处理器基于所述程序获得所述搜索数据和最小距离内存在的参考数据，并根据所述最小距离是否等于或者大于阈值，来确定所述搜索数据与所述最小距离的参考数据之间的相同性；以及

优化装置，其用于对与要被选择作为识别数据的所述参考数据相对应的输入数据进行固定次数的读取，获得所述输入数据和所述参考数据之间的距离分布的重心点，并优化所述参考数据的位置，以将其置于所述重心点上，

其特征在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

24、如权利要求23所述的模式识别系统，其特征在于，所述优化装置限制移动，以防止在由所述参考数据的阈值决定的识别区域与相邻参考数据的识别区域之间出现重叠。

25、如权利要求23所述的模式识别系统，其特征在于，所述优化装置通过改变所述阈值来扩大/缩小识别区域，以防止在由阈值决定的相互邻接的参考数据的识别区域之间出现重叠。

26、如权利要求25所述的模式识别系统，其特征在于，所述优化装置从预先设定的概率分布中选择所述阈值的改变量。

27、如权利要求25所述的模式识别系统，其特征在于，所述优化装置将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并且只有在大于所述参考值时，才改变所述阈值。

28、如权利要求23所述的模式识别系统，其特征在于，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

29、如权利要求23所述的模式识别系统，其特征在于，所述算术处理器设备和所述优化装置结合在单片集成电路中。

30、一种模式识别系统，其特征在于包括：

算术处理设备，其配备有处理器和存储装置，所述处理器用于根据程序执行算术处理，所述存储装置用于至少存储用于识别输入模式的搜索数据的多个参考数据、所述处理器的算术处理结果、以及用于所述算术处理的参数，所述处理器基于所述程序获得所述搜索数据和最小距离内存在的参考数据，并根据所述最小距离是否等于或者大于阈值，来确定所述搜索数据与所述最小距离的参考数据之间的相同性；以及

优化装置，其用于对在由所述阈值决定的识别区域内部和外部存在的输入数据的数量进行计数，并改变首先达到固定次数的一侧的所述阈值，以扩大/缩小所述识别区域；

其特征在于，基于所述被优化的参考数据，对在所述参考数据存储装置中存储的参考数据进行更新。

31、如权利要求30所述的模式识别系统，其特征在于，所述优化装置从预先设定的概率分布中选择所述阈值的改变量。

32、如权利要求30所述的模式识别系统，其特征在于，所述优化装置将表示一组所述输入数据的中心与当前参考数据之间的距离的值与参考值进行比较，并且只有在大于所述参考值时，才改变所述阈值。

33、如权利要求30所述的模式识别系统，其特征在于，使用欧几里得距离、曼哈顿距离、汉明距离和马哈拉诺比斯距离中的一个作为距离索引，以用于所述距离计算。

34、如权利要求30所述的模式识别系统，其特征在于，所述算术处理器设备和所述优化装置结合在单片集成电路中。

Images