CN100552664C - 模式匹配装置以及方法 - Google Patents

Abstract

本发明提供一种模式匹配装置以及方法，其中模式匹配装置针对构成标准模式的各特征要素，通过将与邻接的特征要素近似的特征要素合并成一个特征要素，来压缩标准模式。另外，生成压缩后的压缩标准模式B′x的每个特征要素的压缩比的序列作为压缩信息Nx。然后，将压缩后的压缩标准模式B′x与针对该压缩标准模式B′x生成的压缩信息Nx相关联地存储，模式匹配处理单元(15)在输入了输入模式A后，由复原单元(21)根据与该压缩标准模式B′x相关联的压缩信息Nx，把压缩标准模式B′x伸长，将其复原成标准模式。然后，距离计算单元(23)利用动态规划法计算复原后的标准模式与输入模式A的模式间距离。

Description

模式匹配装置以及方法

技术领域

本发明涉及在判定声音、文字、图形等的输入模式是否是预先设想的标准模式中的某一个的模式识别领域中利用的模式匹配装置以及方法。

背景技术

在现有的模式识别领域中，广泛应用动态规划法(Dynamicprogramming：DP)作为模式匹配方式。以声音的模式识别领域为例，说明动态规划法的原理。

声音模式A如以下(1)式那样表现。

A＝a₁、a₂、...、a_i、...、a_I                    ...(1)

在(1)式中，i{i＝1、2、...、I}表示时间，a是指声音模式A在时间i的特征要素。

因此，针对各种单词中的每一种，预先准备与声音模式A相同的、用特征要素的时间序列表现的标准模式B。该标准图像B如以下(2)式那样表现。

B＝b₁、b₂、...、b_j、...、b_J                    ...(2)

在(2)式中，j{j＝1、2、...、J}表示时间，b是指声音模式B在时间j的特征要素。

模式匹配装置把所输入的声音模式A与各种单词的标准模式B分别进行比较，求出模式之间的距离。然后，把最小距离的标准模式作为识别结果输出。

在实际的声音模式中，由于发音速度的变动，产生时间轴畸变。动态规划法作为矫正该时间轴畸变的方法是极其有效的。

在动态规划法中，反复运算以下(3)式表示的递推公式。

$g(i,j)=\min \left[\begin{array}{c}g(i,j-1)+d(i,j)\\ g(i-1,j-1)+2d(i,j)\\ g(i-1,j)+d(i,j)\end{array}\right]...\left(3\right)$

在(3)式中，d(i，j)是声音模式A的特征要素a_i与标准模式B的特征要素b_j的要素间距离。g(i，j)是声音模式A与标准模式B的要素间累积距离。

模式匹配装置反复计算上述递推公式(3)。然后，如图9所示，在A、B平面上求出使a_i与b_j最佳对应的路径(DP-pass)。

上述递推公式(3)的最上面的式子针对图10所示的A、B平面上的任意点(i，j)，规定了与下方邻接点(i，j-1)的关系。该递推公式(3)的中间的式子针对点(i，j)，规定了与左下方邻接点(i-1，j-1)的关系。该递推公式(3)的最下面的式子针对点(i，j)，规定了与左侧邻接点(i-1，j)的关系。

另外，有时也通过从该递推公式(3)省略最上面的式子来加入倾斜限制。这种情况下，对于任意的点(i，j)规定图11所示的关系。

但是，一般准备多个在模式匹配中所必需的标准模式。因此，考虑通过压缩标准模式，来谋求存储标准模式的区域的效率化。作为压缩标准模式的方法包括以下的方法。即，对于构成标准模式的各特征要素，取其与分别邻接的特征要素的平均。然后，在存在近似的要素的情况下，把它们合并成一个特征要素。这样来压缩标准模式。

然而，在用上述的方法压缩了标准模式的情况下，在模式识别中有益的时间信息消失。即，由于把邻接的特征要素合并成一个，因此各要素分别具有的时间信息消失。时间信息从标准模式中消失后，一般易于发生匹配错误(matching error)。特别是，在由于噪声(noise)的混入而使被识别为部分近似的特征模式的数量多的情况下，匹配错误显著出现。

发明内容

本发明的目的在于，即使在压缩了标准模式的情况下也降低匹配错误的发生率。

本发明实施方式的模式匹配装置针对构成标准模式的各特征要素，通过将与邻接的特征要素近似的特征要素合并为一个特征要素，来压缩标准模式。另外，生成压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息。然后，将压缩后的压缩标准模式与针对该压缩标准模式生成的压缩信息相关联地存储。另外，根据与该压缩标准模式相关联存储的压缩信息，把所存储的压缩标准模式伸长，复原成标准模式。然后，利用动态规划法计算复原后的标准模式与输入模式的模式间距离。

附图说明

图1是表示本发明实施方式的模式匹配装置的结构的框图。

图2是用于说明在该模式匹配装置中进行的标准模式压缩处理的图。

图3是表示在该模式匹配装置的存储单元中存储的数据结构的模式图。

图4是表示第1实施方式中的模式匹配处理单元的主要部分结构的框图。

图5是表示第2实施方式中的模式匹配处理单元中的主要部分结构的框图。

图6是用于说明由第2实施方式的模式匹配处理单元计算的第1递推公式的图。

图7是用于说明由第2实施方式的模式匹配处理单元计算的第2递推公式的图。

图8是用于说明由第2实施方式的模式匹配处理单元计算的第3递推公式的图。

图9是用于说明现有的动态规划法的图。

图10是用于说明用现有的动态规划法计算的递推公式的图。

图11是用于说明用现有的动态规划法计算的递推公式的其它例子的图。

具体实施方式

以下，使用附图说明把本发明适用于声音模式识别领域的实施方式。首先，使用图1～图4说明第1实施方式。

图1是表示本实施方式的模式匹配装置10的主要部分结构的框图。模式匹配装置10具备声音分析单元11、模式压缩单元12、压缩信息生成单元13、存储单元14以及模式匹配处理单元15。

向声音分析单元11输入声音信号M。声音信号M是从通过麦克风(microphone)输入的声音进行变换后得到的电信号。声音分析单元11分析所输入的声音信号M。然后，按照时间序列抽取出输入声音的特征要素a，生成用上述(1)式表示的声音模式A。声音模式A输出到模式匹配处理单元15。

在模式压缩单元12中，输入多个标准模式(pattern)B1、B2、B3、...。针对各种单词中的每一种预先准备各标准模式B1、B2、B3、...。这些标准模式B1、B2、B3、...没有被压缩。模式压缩单元12沿着时间方向分别压缩所输入的各标准模式B1、B2、B3、...。

关于其压缩方法，使用图2进行说明。在该图中，b₁、b₂、b₃、...、b₉表示任意的标准模式Bx的各特征要素。标准模式Bx是各特征要素b₁、b₂、b₃、...、b₉按其顺序排列成时间序列后得到的。

模式压缩单元12针对构成标准模式Bx的各特征要素b₁、b₂、b₃、...、b₉，分别求出与邻接的特征要素的距离。然后，在距离小于等于预先设定的阈值的情况下，把这些邻接的多个特征要素置换成一个平均特征要素b′_k(k＝1、2、3、...)。通过该处理，局部地把多个特征要素压缩为平均特征要素。通过对标准模式Bx的整体实施该处理，生成压缩标准模式B′x。

在图2的例子的情况下，邻接的特征要素b₂与b₃的距离小于等于阈值，把这些特征要素b₂、b₃置换成平均特征要素b′₂{b′₂＝(b₂+b₃)/2}。另外，邻接的特征要素b₄、b₅以及b₆的距离小于等于阈值，把这些特征要素b₄、b₅以及b₆置换成平均特征要素b′₃{b′₃＝(b₄+b₅+b₆)/3}。另外，邻接的特征要素b₇与b₈的距离小于等于阈值，把这些特征要素b₇、b₈置换成平均特征要素b′₄{b′₄＝(b₇+b₈)/2}。这样，标准模式Bx(＝b₁、b₂、b₃、...、b₉)被压缩成压缩标准模式B′x(b′₁、b′₂、b′₃、b′₄、b′₅)。

压缩信息生成单元13把由上述模式压缩单元12压缩后的压缩标准模式B′x的每个特征要素b′₁、b′₂、b′₃、b′₄、b′₅的压缩比n1、n2、n3、n4、n5的序列生成为压缩信息Nx。在本实施方式中，如图2所示，把表示压缩标准模式B′x的各特征要素b′₁、b′₂、b′₃、b′₄、b′₅分别代表原来的标准模式Bx的几个特征要素的值定义为压缩比n₁、n₂、n₃、n₄、n₅。

即，压缩标准模式B′x的特征要素b′₁仅代表标准模式的特征要素b₁，因此压缩比n1是“1”。同样，特征要素b′₂代表特征要素b₂和b₃，因此压缩比n2是“2”。特征要素b′₃代表特征要素b₄、b₅和b₆，因此压缩比n3是“3”。特征要素b′₄代表特征要素b₇和b₈，因此压缩比n4是“2”。特征要素b′₅仅代表特征要素b₉，因此压缩比n5是“1”。

这样，针对压缩标准模式B′x的压缩信息Nx为“1，2，3，1，2”。

存储单元14如图3所示，使由模式压缩单元12压缩后的压缩标准模式B′x与压缩信息生成单元13针对该压缩标准模式生成的压缩信息Nx相关联地存储。

模式匹配处理单元15如图4所示，具备复原单元21、平滑化处理单元22和距离计算单元23。

复原单元21根据与该压缩标准模式B′x相关联地存储的压缩信息Nx，把存储单元14中存储的压缩标准模式B′x伸长，将其复原成标准模式B_x1。例如，在图2的例子的情况下，与压缩标准模式B′x(b′₁、b′₂、b′₃、b′₄、b′₅)相关联的压缩信息Nx(n1、n2、n3、n4、n5)是“1，2，3，1，2”。

从而，特征要素b′₁保持不变。特征要素b′₂变成邻接的2个特征要素b′₂、b′₂。特征要素b′₃变成邻接的3个特征要素b′₃、b′₃、b′₃。特征要素b′₄变成邻接的2个特征要素b′₄、b′₄。特征要素b′₅保持不变。这样，压缩标准模式B′x复原成标准模式B_x1(b′₁、b′₂、b′₂、b′₃、b′₃、b′₃、b′₄、b′₄、b′₅)。

平滑化处理单元22针对由复原单元21复原后的标准模式B_x1，由低通滤波器(low pass filter)进行平滑化处理。复原后的标准模式B_x1中产生由压缩引起的噪声。通过实施平滑化处理，能够除去这种噪声。

距离计算单元23利用众所周知的动态规划法计算经由声音分析单元11输入的声音模式A与由平滑化处理单元22进行了平滑化处理后的标准模式B_x1的模式间距离Gx。例如，通过上述(3)式所示的递推公式的反复运算来计算模式间距离Gx。

模式匹配处理单元15针对所有的压缩标准模式B′x，反复执行上述复原单元21、平滑化处理单元22以及距离计算单元23的处理。然后，求出计算出的模式间距离Gx为最小的标准模式B_x1，作为声音模式A的识别结果G输出。

这样，在本实施方式的模式匹配装置10中，在通过压缩标准模式B_x生成压缩标准模式B′x时，生成该压缩标准模式B′x的每个特征要素的压缩比序列作为压缩信息Nx。然后，使压缩标准模式B′x与针对该压缩标准模式B′x生成的压缩信息Nx相关联地存储在存储单元14中。

在输入声音信号M后，由声音分析单元11按照时间序列抽取出输入声音的特征要素a，生成声音模式A。声音模式A输出到模式匹配处理单元15。模式匹配处理单元15针对存储单元14中存储的所有压缩标准模式B′x，执行以下的模式匹配处理。

首先，从存储单元14读出任意的压缩标准模式B′x和与其相关联的压缩信息Nx。然后，根据压缩信息Nx把压缩标准模式B′x伸长，复原成标准模式B_x1。接着，对复原后的标准模式B_x1进行平滑化处理。然后，利用动态规划法计算所输入的声音模式A与实施了平滑化处理后的标准模式B_x1的模式间距离Gx。

这样，模式匹配处理单元15针对每个压缩标准模式B′x，计算与声音模式A的模式间距离Gx。然后，将模式间距离Gx为最小的标准模式B_x1作为声音模式A的识别结果G输出。

这样，不是将压缩后的标准模式B′x直接用于计算与声音模式A的模式间距离，而是在利用压缩信息Nx复原成标准模式B_x1以后使用。从而，由于加入了由于标准模式Bx的压缩而丢失的时间信息，因此降低了匹配错误的发生率。

接着，说明第2实施方式。第2实施方式中，仅模式匹配处理单元15与第1实施方式不同。图5的结构图示出第2实施方式中的模式匹配处理单元15的主要部分结构。

模式匹配处理单元15具备递推公式设定单元31和距离计算单元32。距离计算单元32通过在递推公式设定单元31中设定的递推公式的反复运算，计算声音模式A与压缩标准模式B′x的模式间距离Gx。此时，使用与压缩标准模式B′x相关联地存储的压缩信息Nx，进行递推公式的计算。

在递推公式设定单元31中，设定以下(4)式所示的递推公式。

$g(i,j)=\min \left[\begin{array}{cc}g(i-1,j)+d(i,j)& \\ g({i-n}_{j-1},j-1)+\underset{k=1}{\overset{n_{j-1}-1}{\mathrm{\Σ}}}d(i-k,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}>1)\\ g(i-1,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}=1)\end{array}\right]...\left(4\right)$

在(4)式中，d(i，j)是声音模式A的特征要素a_i与压缩标准模式B′x的特征要素b′_j的要素间距离。g(i，j)是声音模式A与压缩标准模式B′x要素间累积距离。n_j-1是压缩信息Nx的要素(压缩比)。

上述递推公式(4)的最上面的式子针对图6所示的A、B平面上的任意点(i，j)，规定了与左侧邻接点(i-1，j)的关系。

该递推公式(4)的最下面的式子是压缩信息要素n_j-1为“1”的情况。这种情况下，针对点(i，j)，规定了与左斜下方邻接点(i-1，j-1)的关系。

该递推公式(4)的中间的式子是压缩信息要素n_j-1比“1”大的情况。这种情况下，针对点(i，j)，规定了与从左斜下方邻接点(i-1，j-1)开始、按照与特征要素b′_j-1相对应的压缩信息要素n_j-1伸长了限制路径长度后的点(i-n_j-1，j-1)的关系。

通过反复进行这种递推公式(4)的运算，压缩标准模式B′x的特征要素b′_j-1被分派了与输入模式A的n_j-1个要素a_i的对应。从而，由于加入了由于标准模式B_x1的压缩而丢失的时间信息，因此降低了匹配错误的发生率。

可以得到同样效果的递推公式并不限于上述(4)式。例如，也可以如图7所示，在递推公式设定单元31中设定针对特征要素b′_j进行限制路径长度的伸长的下述(5)式的递推公式。

$g(i,j)=\min \left[\begin{array}{cc}g(i-n_j,j)+\underset{k=1}{\overset{n_j-1}{\mathrm{\Σ}}}d(i-k,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j>1)\\ g(i-1,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j=1)\\ g(i-1,j-1)+2d(i,j)& \end{array}\right]...\left(5\right)$

或者，也可以如图8所示，在递推公式设定单元31中设定针对特征要素b′_j和b′_j-1两方进行限制路径长度的伸长的下述(6)式的递推公式。

$g(i,j)=\min \left[\begin{array}{cc}g(i-n_j,j)+\underset{k=1}{\overset{n_j-1}{\mathrm{\Σ}}}d(i-k,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j>1)\\ g(i-1,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j=1)\\ g({i-n}_{j-1},j-1)+\underset{k=1}{\overset{n_{j-1}-1}{\mathrm{\Σ}}}d(i-k,j-1)+2d(i-j)& (\underset{\·}{\·\·}{n}_{j-1}>1)\\ g(i-1,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}=1)\end{array}\right]...\left(6\right)$

在上述各实施方式中，在压缩标准模式B_x时，取近似的多个特征要素的平均，但也可以选择近似的特征要素中的一个作为代表。另外，还可以使用基于代码本(codebook)的聚类(clustering)方法。

另外，在上述实施方式中，直接使用压缩信息Nx的要素(压缩比)，但也可以使用预定的倍率、例如0.8倍的值来计算模式间距离。

另外，在上述实施方式示出了适用于声音的模式识别领域的情况，但本发明也同样能够适用于文字、图形等的模式识别领域中。此外，在不脱离本发明宗旨的范围内当然可以进行各种变形实施。

Claims (9)

1.一种模式匹配装置，求出分别用特征要素的时间序列表示的标准模式与输入模式的模式间距离，并将该模式间距离作为识别结果输出，其特征在于，具备：

模式压缩单元(12)，针对构成上述标准模式的各特征要素，通过将邻接的特征要素中近似的特征要素合并成一个特征要素，来压缩上述标准模式；

压缩信息生成单元(13)，生成由上述模式压缩单元压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息；

存储单元(14)，将由上述模式压缩单元压缩后的上述压缩标准模式与由上述压缩信息生成单元针对该压缩标准模式生成的上述压缩信息相关联地存储；

模式复原单元(21)，根据与上述压缩标准模式相关联地存储的上述压缩信息，把由上述存储单元存储的该压缩标准模式伸长，复原成上述标准模式；以及

距离计算单元(23)，利用动态规划法计算由上述模式复原单元复原后的上述标准模式与上述输入模式的模式间距离。

2.根据权利要求1所述的模式匹配装置，其特征在于，还具备：

平滑化处理单元(22)，使由上述模式复原单元复原后的标准模式平滑化，

上述距离计算单元利用动态规划法计算由上述平滑化处理单元平滑后的标准模式与上述输入模式的模式间距离。

3.一种模式匹配装置，求出分别用特征要素的时间序列表示的标准模式与输入模式的模式间距离，并将该模式间距离作为识别结果输出，其特征在于，具备：

模式压缩单元(12)，针对构成上述标准模式的各特征要素，通过将邻接的特征要素中近似的特征要素合并成一个特征要素，来压缩上述标准模式；

压缩信息生成单元(13)，生成由上述模式压缩单元压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息；

存储单元(14)，将由上述模式压缩单元压缩后的上述压缩标准模式与由上述压缩信息生成单元针对该压缩标准模式生成的上述压缩信息相关联地存储；

距离计算单元(32)，利用动态规划法的递推公式，计算由上述存储单元存储的上述压缩标准模式与上述输入模式的模式间距离，其中，上述递推公式具有由上述压缩信息生成单元针对该压缩标准模式生成的上述压缩信息作为变量。

4.根据权利要求3所述的模式匹配装置，其特征在于，

设上述输入模式的特征要素a_i与上述压缩标准模式的特征要素b_j的要素间距离为d(i，j)、上述输入模式与上述压缩标准模式的要素间累积距离为g(i，j)、作为上述压缩比n的序列的压缩信息为n_j，则在上述距离计算单元中使用的递推公式表示如下：

$g(i,j)=\min \left[\begin{array}{cc}g(i-1,j)+d(i,j)& \\ g(i-n_{j-1},j-1)+\underset{k=1}{\overset{n_{j-1}-1}{\mathrm{\Σ}}}d(i-k,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}>1)\\ g(i-1,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}=1)\end{array}\right].$

5.根据权利要求3所述的模式匹配装置，其特征在于，

设上述输入模式的特征要素a_i与上述压缩标准模式的特征要素b_j的要素间距离为d(i，j)、上述输入模式与上述压缩标准模式的要素间累积距离为g(i，j)、作为上述压缩比n的序列的压缩信息为n_j，则在上述距离计算单元中使用的递推公式表示如下：

$g(i,j)=\min \left[\begin{array}{cc}g(i-n_j,j)+\underset{k=1}{\overset{n_j-1}{\mathrm{\Σ}}}d(i-k,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j>1)\\ g(i-1,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j=1)\\ g(i-1,j-1)+2d(i,j)& \end{array}\right].$

6.根据权利要求3所述的模式匹配装置，其特征在于，

设上述输入模式的特征要素a_i与上述压缩标准模式的特征要素b_j的要素间距离为d(i，j)、上述输入模式与上述压缩标准模式的要素间累积距离为g(i，j)、作为上述压缩比n的序列的压缩信息为n_j，则在上述距离计算单元中使用的递推公式表示如下：

$g(i,j)=\min \left[\begin{array}{cc}g(i-n_j,j)+\underset{k=1}{\overset{n_j-1}{\mathrm{\Σ}}}d(i-k,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j>1)\\ g(i-1,j)+d(i,j)& (\underset{\·}{\·\·}{n}_j=1)\\ g(i-n_{j-1},j-1)+\underset{k=1}{\overset{n_{j-1}-1}{\mathrm{\Σ}}}d(i-k,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}=1)\\ g(i-1,j-1)+2d(i,j)& (\underset{\·}{\·\·}{n}_{j-1}=1)\end{array}\right].$

7.一种模式匹配装置中的模式匹配方法，该模式匹配装置求出分别以特征要素的时间序列表示的标准模式与输入模式的模式间距离，并将该模式间距离作为识别结果输出，其特征在于，上述模式匹配方法包括：

压缩步骤，针对构成上述标准模式的各特征要素，通过将邻接的特征要素中近似的特征要素合并成一个特征要素，来压缩上述标准模式；

生成步骤，生成在上述压缩步骤中压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息；

复原步骤，根据由上述生成步骤针对上述压缩标准模式生成的上述压缩信息，把在上述压缩步骤中压缩后的该压缩标准模式伸长，复原成上述标准模式；以及

计算步骤，利用动态规划法计算通过上述复原步骤复原后的上述标准模式与上述输入模式的模式间距离。

8.根据权利要求7所述的模式匹配方法，其特征在于，还包括：

平滑化步骤，使由上述复原步骤复原后的标准模式平滑化，

上述计算步骤利用动态规划法计算由上述平滑化步骤平滑后的标准模式与上述输入模式的模式间距离。

9.一种模式匹配装置中的模式匹配方法，该模式匹配装置求出分别以特征要素的时间序列表示的标准模式与输入模式的模式间距离，并将该模式间距离作为识别结果输出，其特征在于，上述模式匹配方法包括：

压缩步骤，针对构成上述标准模式的各特征要素，通过将邻接的特征要素中近似的特征要素合并成一个特征要素，来压缩上述标准模式；

生成步骤，生成在上述压缩步骤中压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息；以及

计算步骤，利用动态规划法的递推公式，计算在上述压缩步骤中压缩后的上述压缩标准模式与上述输入模式的模式间距离，其中，上述递推公式具有由上述生成步骤针对上述压缩标准模式生成的上述压缩信息作为变量。

Images