CN1190764A - 利用候选表进行分类的模式识别设备及其方法 - Google Patents

Abstract

通过在候选表中说明的变换,从输入模式的特征向量计算出的基准特征向量的值变换为候选种类集。然后,利用候选种类集进行模式识别。通过适当设定变换,在保持识别精度的同时进行高速处理。

Description

利用候选表进行分类的模式识别设备及其方法

本发明涉及模式识别，并且更具体地涉及通过估计输入模式或其特征向量所属的种类识别模式的模式识别设备以及其方法。

近来，为了使公司中的工作流更为有效，已经开发出电子文件归档和根据需要进行电子文件编码的系统。从而，极为需要一种识别低质量的文件例如传真文件等的文件识别设备。尤其，为了编码印刷后的字符串信息，字符识别设备是必可不少的。为了其实用性及普及性，在保持高识别精度的同时以高速估计字符种类是极为重要的。

另外，作为电子会议和保安系统中的一种技术要素识别人脸的技术变为更加重要。需要可以以高速和高精度实时辨别人脸的人脸识别技术。

随着诸如计算机图形系统、CAD(计算机辅助设计)系统、DTP(桌面出版)系统等变为普及，作为有效地把三维或二维物体输入到计算机中并且实现重复使用的手段，识别三维物体或者二维图形对象的技术变得更为重要。因此，以高速和高精度识别实际物体或者图形对象的技术对于这些系统几乎是最重要的。

如上面所述，高速及高精度识别模式的技术作为构成不同类型的实际模式识别设备的技术要素起着重要的作用。这里，在下面简单定义模式识别中经常使用的术语。

识别目标被称为模式，所有模式形成的集被称为模式空间。从模式中抽取特性得到的一个或多个特性量的组合被称为特征向量。特征向量的元素数量被称为特征向量的维数。

特征向量的各元素值的组合称为特征向量的值。由所有的特征向量值形成的集称为特征空间。特征空间的维数等于特征向量的维数，特征向量是特征空间的元素。

特征向量的元素的子集称为部分特征向量。部分特征向量的各个元素的值的组合称为部分特征向量的值。由所有的部分特征向量的值形成的集称为部分特征空间部分特征空间的维数等于部分特征向量的维数，部分特征向量是部分特征空间的元素。

可被识别成为恒等类型的模式或者特征向量的集称为种类。尤其，可被识别为恒等类型的模式的集称为种类模式集，而可被识别为恒等类型的特征向量的集称为种类特征集。

确定输入的模式或特征向量属于哪种种类(种类模式集或种类特征集)称为模式识别。尤其，如果输入的模式或特征向量可能属于种类集中所包含的某种种类，则该种类集称为候选种类集。

存在普通过压缩特性从而明显地减小进行变换时用于计算距离的特征向量的维数而明显减少处理时间的常规方法，即快速模式识别方法。图1是一个方块图，表示这种通过压缩特性采取高速分类的模式识别设备的结构。

图1所示的模识别设备中，特征抽取单元1从输入模式抽取特征向量，特征压缩单元2进行特征向量的线性变换，并且得到维数减少的压缩特征向量；压缩特征字典4包括和各个种类对应的压缩特征向量；而粗分类执行单元3获取由特征压缩单元2得到的压缩特征向量和压缩特征字典4中每个压缩特征向量之间的距离，按距离的升序分类种类，并且从距离最短的种类开始输出预定数量的种类以作为候选种类集。

但是，常规模式识别具有下述问题。

在通过压缩特征采用高速分类的模式识别下，当压缩特征向量和把特征向量变换成维数减少的压缩特征向量时出现信息丢失。因此，有时可能不能获得正确的候选种类集。这是因为包括其距离离输入模式的压缩特征向量为最短的压缩特征向量在内的种类并不总是包括输入模式的压缩特征向量。从而大大降低低质量输入模式的识别精度。并且还稍微降低高质量输入模式的识别精度。

本发明的一个目的是提供一种模式识别设备及其方法，这种设备可以在消除识别精度降低的同时使对候选种类集的计算更快。

作为本发明的第一方面，一种模式识别设备包括一个表存储单元和一个候选种类计算单元。表存储单元存储说明生成变换所需信息的候选表，变换的输入是从模式的特征向量计算出的基准特征向量的值，而变换的输出是候选种类集。候选种类计算单元利用候选表得到对应于一基准特征向量的一给定值的候选种类，并且输出所得到的候选种类集。

基准特征向量一个由候选种类计算单元参照的特征向量。例如，由特征向量的部分元素组的一个部分特征向量可充当准特征向量。

照本发明的第二方面，种模式识别设备包括多个表存储单元、多个候选种类计算单元以及一个种类筛选单元。多个表存储单元的每个存储说明生成变换所需信息的候选表，变换的输入是从模式的特征向量计算出的基准特征向量的值，而变换的输出是候选种类集。

候选种类计算单元配置成多个表存储单元中的每一个，它利用候选表得到对应一给定基准特征向量的值的候选种类集，并且输出所得到的候选种类集。种类筛选单元筛选来多个候选种类计算元输出多个候选种集，并且输出筛选的结果。

作为本发明的三个方面，一模式识别设备包括个存储单和一个候选类计算单元。存储单元存储表示模式的特征的特征量数据和特征种类集之间的对应关系。候选种类计算单元通过利用该对应关系获得对应于给定特征量数据的候选种类集，并且输出所得到的候选种类集。

图1是一个示意图，表示常规模式识别设备的结构；

图2是一个示意图，表示按照本发明的模式识别设备的原理。

图3A是一个示意图，表示候选表的一个记录；

图3B是一个示意图，表示种类和基准特征空间；

图4是一个方块图，表示信息处理设备的结构；

图5表示候选表的结构；

图6是一个示意图，表示第一模式识别设备的结构；

图7是个示意图，表示第二模式识别设备的结构；

图8是一个示意图，表示第一基准特征空间；

图9举例说明第一候选表；

图10是一个示意图，表示第三模式识别设备的结构；

图11是一个示意图，表示Voronoi分区；

图12是一个示意图，表示第二基准特征空间；

图13是一个示意图，表示第三基准特征空间；

图14举例说明第二候选表；

图15是一个流程图，表示利用学习模式生成候选表的处理；

图16是一个流程图，表示利用学习模式进行估计的处理；

图17是一个流程图，表示生成候选种类集的处理；

图18是一个流程图，表示利用Voronoi分区生成候选表的处理；

图19是一个流程图，表示利用Voronoi分区进行估计的处理；

图20是一个示意图，表示第四模式识别设备的结构；

图21是一个示意图，表示第五模式识别设备的结构；

图22是一个流程图，表示第六模式识别设备的结构。

参照附图，下面详细解释根据本发明的各种实施例。

图2是一个示意图，表示根据本发明的模式识别设备的原理。图2中所示的设备包括表存储单元11和候选种类计算单元12。

表存储单元11存储候选表13，该表说明为产生变换所需的信息，变换的输入是从模式的特征向量计算出的基准特征向量的值，而变换的输出是候选种类集。

候选种类计算单元12利用候选表13得到对应于一给定基准特征向量的值的候选种类集，并且输出所得到的候选种类集。

基准征向量是一个由候选种类计算单元12参照的特征向量。基准特征向量的素数量称之为准特征向量的数。基准特征向的值的集称为基准特空间。基准特征空的维数等于基特征向量的维数，基准特征向量是基准特征空间的一个元素。例如，由特征向量的部分元素构成的部分特征向量充当基准特征向量。

候选表13存储表示基准特征向量的各个值和候选种类集之间的对应关系的变换信息。因此，参照候选表13可以立即得到对应于某特定基准特征向量的值的候选种类集。当给出基准特征向量的值时，候选种类计算单元12通过把该值输入到候选表13的变换中得到对应的候选种类集，并且输出所得到的集。

借助这种模式识别设备，可以通过简单地参照候选表并且不必进行对特征向量间的距离的麻烦的计算输出候选种类表，从而明显地提高模式识别处理的速度。此外，通过适当地设定候选表13中的变换，可把识别精度实现成和不应用本发明的情况下几乎相同的程度。

举例来说，图2所示的表存储单元11对应于后面说明的图4中的存储器32，而候选种类计算单元12对应于CPU(中央处理设备)31及存储器32。

按照本发明，设置一个候选种类计算单元，其通过参照一个事先准备的候选表并且不用计算特征各之间的距离来输出候选种类集。候选表包括为产生换所需的信息的说明，变换的输入是从特征向量计算出的某个基特征向量的值变换的输出是某个候选种类集。

候选种类计算单元根据输入的基准特征向量的值从候选表得到候选种类集，并且输出得到的集。如果在候选表中存储着作为基准特征向量的值以及对种类集的变换的适当信息，可以实现其速度明显提高的分类处理，同时仍可把精度保持在和不应用根据本发明的高速分类方法的情况下几乎相同程度的精度上。

图3A举例说明候选表中的一条记录。图3A中所示的基准特性划分元素“x”指示基准特征向量的特定值的范围或者一个特定值，并且对应于基准特征空间的特定区域或者点。如果对候选种类计算单元提供的基准特征向量的值包含在基准特征划分元素“x”之内，作为分类的结果输出对应的候选种类集(B、C、G、H、K)。

图3B表示种类和基准特性空间之间的关系。当产生候选表时，基准特征空间22根据适当的标准被划分为多个基准特征划分元素，并且对特征空间21对应的各个种类A、B、C、D、E、F、G、H、I、J、K、L和M在基准特征空间22中的投影(基准特征投影)进行估计。这样，例如，得到一个各个基准特征划分元素的范围和各个种类的基准特征投影共用的部分，而且把拥有共用部分的种类集识别为对应的候选种类集。

因为种类B、C、G、H和K的投影和基准特处划分元素“x”在本情况下共享一个部分，把这些种类包括成为其元素的集(B、C、G、H、K)将成为对应于基准特征划分元素“x”的候选种类集，如图3A中所示。以类似的方式可以得到对应于另一个基准特征划分元素“y”的候选种类集。

如上面所述，一个包括着由基准特征投影和基准特征划分元素共享部分的种类被识别成为一个候选种类集中的一个元素，并且把基特征划分元素和候选种类集的组合存储成候选表。从而候选种类计算单元得到包括着基准特征向量的给定值的基准特征划分元素，并且利用候选表得到相应的候选种类集。依靠这种处理，可以在不降低其精度的前提下实现高速分类。

图4是一个方块图，表示用于这种模式识别设备的信息处理设备的结构。图4所示的信息处理设备包括CPU(中央处理设备)31、存储器32、输入设备33、输出设备34、外部存储设备35、介质驱动设备36、网络连接设备37以及光电转换器38。通过总线39，所有这些单元得到互连。

CPU31利用存储在存储器32中的程序以及候选表完成模式识别设备的处理。对于存储器32，例如采用ROM(只读存储器)、RAM(随机存取存储器)等。

输入设备33例如对应键盘、指点器等。它用于输入用户的请求或指令。输出设备34对应显示设备、打印机等。它用于输出对用户的询问、处理的结果等。

外部存储设备35例如对应磁盘设备、光盘设备、磁光盘设备等。它可以存储程序或数据。另外，它可用作存储模式、特征向量、候补表等的数据库。

介质驱动设备36驱动可移动的存储介质40，并可以访问介质存储的内容。对于可移动的存储介质40，可以采用例如存储器卡、软盘、CD-ROM(大容量只读存储器)、光盘、磁光盘等中的任一种计算机可读的存储介质。可移动存储介质40存储用于执行模式识别处理的程序以及数据。

网络连接设备37和任选的通信网络例如LAN(局域网)连接，并且除通信外还进行数据转换等。经过网络连接设备37，模式识别设备可以接收来自外部数据库等的请求的数据或程序。光电转换器38例如是图象扫描器。它用于输入要处理的模式。

参照图5至图14，下面解释基准特征向量、候选表和模式识别设备结构的具体例子。图5表示用于该实施例的候选表的结构。图5所示的候选表存储多个基准特征划分元素和候选种类集的组合，并用于分类基准特征向量。

图6示意表示包含候选表的第一模式识别设备的结构，该设备利用输入特征向量的部分特征向量进行高速分类。图6所示的模式识别设备包括一个候选表41和一个候选种类计算单元42，候选表41存储从特征向量计算出的基准特征向量的值和种类集的各种组合。

候选种类计算单元42把输入特征向量的某个部分识别为基准特征向量，利用基准特征向量的值及候选表41得到候选种类集，并且输出所得到的集。

假定由特征向量构成的特征空间是由“K”个不重叠的种类特征集C₁、C₂…、C_K覆盖。同时，假定所有种类特征集的集是C_SET，这可用下式表示：

C_SET＝{C₁、C₂、…、C_K}

并假定特征空间的维数为“N”，特征向量“f”可用其元素表示成：

f＝(f₁、f₂、…，f_N)

此时，候选种类计算单元42估计包括着输入特征向量f_IN所属于的种类C_IN∈C_SET的候选种类集C_CAND，并且输出估计的种类集。对于基准特征向量，可采用特征向量的任何部分特征向量。

假定二维部分特征向量g＝(f₁、f₂)是基准特向量，通过二维部分特征向量的值和候选种类集的组合构造候选表41。二维部分特征向量可能采取的所有的值被登记到候选表41中。假定特征向量“f”的每个元素可以取三个值“0”、“1”及“2”中的任一值，则候选表41将包括下述组合：

((0，0)，  C_(0，0))

((0，1)，  C_(0，1))

((0，2)，  C_(0，2))

((1，0)，  C_(1，0))

((1，1)，  C_(1，1))

((1，2)，  C_(1，2))

((2，0)，  C_(2，0))

((2，1)，  C_(2，1))

((2，2)，  C_(2，2))

这里，C_(p、q)C_SET是一个候选种类集，其对应于基准特征向量的值(p、q)(p＝0、1、2；q＝0、1、2)。在该情况下，基准特征空间中的点(p、q)将成为基准特征划分元素。

候选种类计算单元42从输入的特征向量得到二维特征向量的值(p、q)，从候选表41得带左侧元素为(p、q)的组合，并且输出作为右侧元素的候选种类集C_(p、q)。

借助这种模式识别设备，通过参照候选表而无须计算距离就可以快速地得到候选种类集。如果存储在候选表41中的有关候选种类集是适用的，可以实现以高速和高精度进行模式识别的模式识别设备。

图7示意表示第二模式识别设备的结构，该设备从输入模式中得到特征向量，把特征向量的一部分识别为基准特征向量，并且利用候选表进行高速分类。

图7所示的模式识别设备包括一个用于从输入字符模式中抽取特征向量的特征抽取单元51，一个候选种类计算单元52和一个候选表53。候选表53例如是通过利用供学习进程的字符模式集生成的。

假定字符模式的种类数量为“K”，并且由对应的特征向量构成的特征空间是由“K”个不重叠的种类特征集C₁、C₂、…、C_K覆盖的。此时，所有种类特征集的集C_SET可表示成：

C_SET＝{C₁、C₂、…C_K}

候选种类计算单元52估计包括着输入字符模式P_IN所属于的种类C_IN∈C_SET，并且输出所估计的集。

首先解释特征抽取单元51执行的特征抽取处理。对于经常用于从字符模式抽取特征的特征量，可以引用方向线元素特征量。这是一种通过把字符模式划分成二维网格并且计算每个网格中外线方向分量(outlinedirection components)的数量得到的一种特征量。

假定采用7×7的网格，则网格数量总共为49个。并且假定把外线方向分量分类成四种主要的方向，例如水平、垂直、在斜线及左斜线四种方向，则由49×4结果可得到196个特征量。依靠这种处理，从输入字符模式抽取一个196维的特征向量。

假定特征空间的维数为“N”，利用其元素特征向量“f”可以一般地表示成：

f＝(f₁、f₂、…、f_N)

特征向量“f”的各个元素的值对应于一个特定网格中所包括的外线象素上所具有的某特定方向分量的象素的数量。这例如用一个等于或大于“0”的整数值表示。

并且假定特征向量的一个元素“f1”是一个一维基准特征向量“r”，而且该基准特征向量可采取的值的范围为A≤r＜B，这样区间〔A、B)将成为基准特征空间。

假定把基准特征空间〔A，B)划分成网格，并且每个部分充当基准特征划分元素，后者是候选表的元素。因为该情况下基准特征空间是一维的，所以如果按如下把区间〔A，B)划分成“L+1”个区间R_i＝〔S_i-1，S_i)(i＝0，1，…，L)，则每个区间R_i将作为一个基准特征划分元素：

A＝S_-1＜S₀＜S₁＜S₂＜…＜S_L＝B

如果基准特征空间定义成无穷空间，则令“A＝-∞”并令“B＝+∞”是充分的。

例如，根据“L”为6的假设，图8所示的一维基准特征空间55划分成为七个基准特征划分元素R₀＝(-∞，S₀)、R₁＝〔S₀，S₁)、R₂＝〔S₁，S₂)、R₃＝〔S₂，S₃)、R₄＝〔S₃，S₄)、R₅＝〔S₄，S₅)、R₆＝〔S₅，+∞)。

对应于每个基准特征划分元素“R_i”的候选种类集是通过估计学习字符模式集中的每个字符种类的基准特征投影得到的。从而，通过利用所得到的各候选种类集生成候选表53。

但是，请注意，学习字符模式集包括属于有关字符种类的字符模式，其数量是足够的。按如下进行对特定字符种类“C_K”的基准特征投影的估计：

首先，从学习字符模式集抽取属于字符种类“C_K”的字符模式，并且从字符模式抽取特征。接着，得到对应的特征向量。然后，从得到的特征向量集获得特征向量的第一元素“f₁”的集F_K，集F_K构成的分布接近字符种类C_K的基准特征投影。之后，得到集F_K的元素的最小值MIN_K和最大值MAX_K。从而，在考虑一特定裕度M下，可以把字符种类C_K的基准特征投影的估计值Q_K用下述闭区间定义：

Q_K＝〔MIN_K-M，MAX_K+M〕

可以从上述的基准特征划分元素“R_j”和每个字符种类“C_K”的基准特征投影“Q_K”得到和各个特征划分元素“R_i”相组合的候选种类集“Di”。

从而，用于基准特征划分元素“R_i”的候选种类集“Di”定义为字符种类“C_K”集，在每个字符种类“C_K”中某个基准特征划分元素“R_i”和基准特征投影“Q_K”共享一个部分(“R_i”和“Q_K”的交集不是空集)。通过这种定义，候选种类集“Di”将成为一个字符种类表，分别具有属于基准特征划分元素“R_i”的基准特征向量的值的字符模式有可能属于该表。

因此，可以得到足以包括保持识别精度的字符种类的候选种类集“D_i”。通过组合基准特征划分元素“R_i”和候选种类集“D_i”可构造候选表53。

因为在图8中示出种类B、C、G、H和K的投影和基准特征划分元素R₃共享特征空间54的一部分，包括着作为其元素的各种类的集(B、C、G、H、K)成为对应于基准特征划分元素R₃的候选种类集。同样，以类似的方式得到其它基准特征划分元素对应的候选种类集。从而，候选表53例如将如图9所示。

如果输入特征向量的第一个元素的值是“r”，候选种类计算单元52把该值识别成基准特征向量的值，并且得到值“r”属于的基准特征划分元素“R_i”。由于在本情况下基准特征划分元素“R_i”是一个一维区间，很容易确定值“r”属于那个区间。接着，候选种类计算单元52通过利用候选表53得到对应于基准特征划分元素“R_i”的候选种类“D_i”，并把得到的种类输出为字符识别结果。预计输入字符模式所属于的字符种类包含在输出候选种类集之中。

借助这种模式识别设备，无须计算距离而是对照表格，可以在不降低其精度的前提下快速得到输入字符模式预期所属于的候选种类。

图10示意表示用于从输入字符模式得到特征向量的第三模式识别设备的结构，该设备把特征向量的部分特征向量用作为基准特征向量，并且利用候选表进行高速细致分类。

图10所示的模式识别设备包括特征抽取单元61、候选种类计算单元62、细分类执行单元63、候选表64以及用于进行细分类的字典65。特征抽取单元61从输入字符模式中抽取特征向量。

此处，利用Voronoi分区生成候选表64，Voronoi分区是由在字典中登记的每个字符种类的一个代表特征向量构成的。

Voronoi分区是根据离多个在一任意空间中给定的点的距离定义的一种类型的区域。它也称为Voronoi区域。

种类特征集C_SET、特征向量“f”、基准特征空间、基准划分元素“R_i”等的注释以及抽取特征的处理内容类似于第二模式识别设备的有关说明。候选种类计算单元62估计包含着输入字符模式P_IN所属于的种类C_IN∈C_SET的候选种类集C_CAND，并且输出估计的集。

细分类执行单元63把候选种类计算单元62输出的候选种类作为输入，并利用字典65计算距离。字典65存储各个字符种类的代表特征向量。细分类执行单元63得到一个离对应于输入字符模式的特征向量距离为最近的代表特征向量，并把对应于所得到的向量的字符种类输出为估计的字符种类。

这里，对应于各个字符种类“C_K”的基准特征投影的估计值“Q_K”不仅是通过利用学习字符模式集而且是通过利用Voronoi分区“V_K”得到的，Voronoi分区“V_K”是从各对应着登记在字典65中用于细分类的各个字符种类“Cj”的代表特征向量“Ej”的集得到的。

字符种类“C_K”的Voronoi分区“V_K”是特征向量“f”的一个集，当得到一个任意特征向量“f”和字典65中登记的所有代表特征向量之间的距离时，该集到字符种类“C_K”的代表特征向量“E_K”的距离最短。已知可以基于距离计算通过利用细分类分割特征空间得到Voronoi分区。

例如，假定在一个二维特征空间中给出对应于处类C₁、C₂、C₃、C₄、C₅和C₆的代表特征向量E₁、E₂、E₃、E₄、E₅和E₆，对应的Voronoi分区V₁、V₂、V₃、V₄、V₅和V₆将如图11中所示。在该图中，Voronoi分区V₃和V₅之间边界上的特征向量f＝(f₁，f₂)对代表特征向量E₃和E₅是等距离的。对于其它边界上其它点这种情况是相同的。

通常，如果在N维特征空间采用欧氏距离，Voronoi分区将成为由特征空间中的超平面构成的一个超凸多面体。如果采用城市街区距离，Voroni分区将成为一个超多面体。此外，如果采用例如Mahalanobis距离的非线性距离，Voronoi分区将成为由超表面构成的一个有界子集。

N维空间中的一个超表面表示一个N-1维的表面，而超平面表示它的一种特殊形式。后面将说明各种距离如城市街区距离的定义和意义。

假定特征向量“f”的一个元素“f₁”是基准特征向量，Voronoi分区“V_K”在基准特征空间中的基准特征投影的估计值“Q_K”规定为属于Voronoi分区“V_K”的值域。若距离为欧氏距离，则可用线性规划方法得到Voronoi分区“V_K”的基准特征向量的最小值和最大值，并且可从这些值中得到基准特征投影的估计值“Q_K”。

对于更一般的距离，若采用一维基准特征向量，则可利用非线性规划方法从Voronoi分区“V_K”得到基准特征投影的估计值“Q_K”。后面会说明利用线性和非线性规划方法估计基准特征投影的方法。

接着，通过利用上述基准特征划分元素“R_i”和各个字符种类“C_K”的基准特征投影“Q_K”得到和每个基准特征划分元素“R_i”组合的候选种类集“D_i”。

例如，这是充分的，即把每个字符种类“C_K”中基准特征划分元素“R_i”和基准特征投影“Q_K”共享着一个部分的字符种类“C_K”的集定义为对应于基准特征划分元素“R_i”的候选种类集“D_i”。借助这种处理，候选种类集“D_i”将成为一个字符种类表，具有属于基准特征划分元素“R_i”的基准特征向量的值的字符模式有可能属于该表。

图12是一个示意图，表示种类的Voronoi分区和二维基准特征空间之间的关系。在图12的特征空间71中，对应于各自种类的Voronoi分区A、B、C、D、E、F、G、H、I、H、K、L和M投影到基准特征空间72，从而可以得到各个Voronoi分区在基准特征空间72中的投影区域。这些区域将成为基准特征投影的估计值。

接着，得到各个基准特征划分元素的区域和各个种类的基准特征投影共享的部分，并且把包含着共享部分的种类集识别成相应的候选种类集。

因为在本情况下种类B、C、G、H和K的投影与基特征划分元素“x”有共享部分，以这些种类作为其元素的集(B，C，G，H，K)将成为对应于基准特征划分元素“x”的候选种类集，这类似于图3A中所示记录的方式。按类似方法还可以得到对应于别的基准特征划分元素“y”的候选种类集。

候选表64由基准特征划分元素“R_i”和候选种类集“D_i”的组合构成。候选种类计算单元62按类似于第二模式识别设备的方式利用候选表64从输入特征向量得到候选种类集，并且把得到的集传送到细分类执行单元63。

细分类执行单元63通过参照字典65抽取属于经候选种类计算单元62筛选后的候选种类集的各个字符种类的代表特征向量。然后，细分类执行单元63计算各代表特征向量与对应于输入字符模式的特征向量之间的距离，并且把其距离为最短的字符种类输出为估计的字符种类。

如上面所述，得到用于细分类的对应于各个字符种类的Voronoi分区的基准特征投影，并且把对应于与基准特征划分元素具有共用部分的基准特征投影的字符种类识别为候选种类，从而可以得到用于细分类的包含充分及必要的字符种类的候选种类集。

借助这种处理，通过参照一个表可以快速筛选预期属于输入字符模式的各个候选种类，同时保证细分类的精度。从而，可以足够地减少进行细分类的目标字符种类的数量，并且可以实现一种高精度下快速进行识别的模式识别设备。

接着，考虑在图10所示的模式识别设备中把特征向量“f”的二个元素(f₁，f₂)识别成二维基准特征向量“r”的情况。假定基准特征向量“r”的各个元素的可取值的范围为f₁∈〔A₁，B₁)及f₂∈〔A₂，B₂)，从而矩形区域〔A₁，B₁)×〔A₂，B₂)将成为基准特征空间。

把基准特征空间〔A₁，B₁)×〔A₂，B₂)划分成网格，并且把网格作为将是候选表64中的元素的基准特征划分元素。因此，把区间〔A₁，B₁)划分成“L₁+1”个区段，把区间〔A₂，B₂)划分成“L₂+1”个区段。

A₁＝S_-1＜S₀＜S₁＜S₂＜…＜S_L1＝B₁

A₂＝t_-1＜t₀＜t₁＜t₂＜…＜t_L2＝B₂

如果采用标志“i”和“j”，可按如下定义基准特征划分元素R_(i，j)：

R_(i，j)＝矩形〔S_i-1，sj)×〔t_i-1，t_j)

其中i＝0，1，…，L₁，j＝0，1，…，L₂。从而，基准特征划分元素R_(i，j)将成为一个二维矩形区域。例如，图13所示的二维基准空间74划分成为24个(把L₁和L₂分别设为5和3，并且由(5+1)×(3+1)得到)基准特征划分元素。

然后，抽取属于对应于各个字符种类“C_K”的Voronoi分区“V_K”的全部特征向量，并且基准特征向量(f₁，f₂)的值的范围识别成基准特征投影的估计值“Q_K”。并且把每个其中基准特征划分元素R_(i，j)和基准特征投影“Q_K”共享一个部分的字符种类“C_K”的集识别成对应于基准特性划分元素R_(i，j)的候选种类集D_(i，j)。

在该情况下，候选表64是由基准特征划分元素R_(i，j)和候选种类集D_(i，j)的组合构成的。特征抽取单元61和细分类执行单元63的处理类似于前面的说明。

因为在图13的特征空间73中种类B、C及K的投影和基特征划分元素X＝〔S₂，S₃)×〔t₀，t₁)共享一个部分，把这些种类包含为其元素的集(B，C，D)将成为对应于基准特征划分元素X的候选种类集。另外，种类G、H及K的投影和基准特性划分元素Y＝〔S₂，S₃)×〔t₁，t₂)共享一个部分，把这些种类G、H及K包含为其元素的集(G，H，K)将成为对应于基准特征划分元素Y的候选种类集。因此，候选表64例如将如图14所示。

如果输入特征向量的第一和第二元素分别为“r₁”和“r₂”，候选种类计算单元62把r＝(r₁，r₂)识别成基准特征向量的值，并且首先得到该值所属于的基准特征划分元素R_(i，j)由于基准特征划分元素R_(i，j)是一个二维矩形区域，很容易确定值“r”所属于的区域。然后，候选种类计算单元62得到对应于该基准特征划分元素R_(i，j)的候选种类集D_(i，j)，并把得到的集传送到细致分类执行单元63。

如上面所述，基准特征空间不局限于一维空间。通常，可能把它设成为任意维数的空间。下面概述当基准特征空间为二维或更多维时生成候选表的方法。下面的例子涉及基准特征空间为二维的情况。但是，当基准特征空间为三维和三维以上时仍可用类似的方式生成候选表。

首先，考虑这种情况，即基准特征空间是由垂直于坐标轴的直线划界的并且划分成为网格，每个网格识别为一个基准特征划分元素。假定每个网格的二维标志为(i，j)，并且相应的网格用K(i，j)表示。如果种类“C”在基准特征空间的投影和网格K(i，j)共享一个部分，则种类“C”识别为网格K(i，j)的候选种类集S(i，j)中的一个元素。

因此基准特征空间中所得到的每个网格K(i，j)和候选种类集S(i，j)的组合用该网格的标志(i，j)及该候选种类集所属的各个种类的标志表示，并且存储成候选表。

接着，考虑通过采用量化点进行基准特征空间的Voronoi分区，并把每个Voronoi区域识别为基准特征划分元素的情况。在该情况下，假定代表基准特征空间中的每个Voronoi区域的量化点的标志为“i”，并且每个量化点用(x_i，y_i)表示。如果种类“C”在基准特征空间中的投影和包含着量化点(x_i，y_i)的Voronoi区域“V_i”共享一个部分，则把种类“C”识别为用于Voronoi区域“Vi”的候选种类集S(i)中的一个元素。

在基准特征空间中所得到的每个Voronoi区域“V_i”和候选种类集S(i)的组合从而利用代表基准特征空间中的Voronoi区域“V_i”的量化点的标志和属于候选种类集中的各个种类的标志表示的，而且作为候选表存储。

例如，在上述说明的例子中存在两种作为得到某个种类在基准特征空间中的投影的基础的方法。一种方法是通过把对应于供学习的模式集(学习模式)的特征向量投影到基准特征空间来估计基准特征投影的方法，另一种方法是基于Voronoi分区利用登记在一个字典中用于细分类的代表特征向量来估计基准特征投影的方法。

下面参照图15至19解释利用每种估计方法生成候选表的处理流程。

图15是一个流程图，表示利用学习模式生成候选表的处理。图15所示的流程图涉及一维基准特征空间的情况。但是，该流程也可应用于更多维数的基准特征空间的情况。

一旦开始处理，模式识别设备首先得到基准特征空间中的基准特征划分元素R_i＝(S_i-1，S_i)，i＝0，1，…，L(步骤S1)。接着，模式识别设备利用学习模式对基准特征空间的投影得到对应于每个种类C_K(K＝1，…，K)的基准特征投影的估计值Q_K＝〔MIN_K，MAX_K〕(步骤S2)。

接着，模式识别设备从估计值Q_K(K＝1，…，K)得到用于每个基准特征划分元件“R_i”的候选种类集“D_i”。然后，模式识别设备把各个基准特征划分元素“R_j”和候选种类集“D_i”的组合存储到候选表中(步骤S4)，并结束处理。

图16是一个流程图，表示在图15的步骤S2中进行的估计基准特征投影的处理。一旦开始该处理时，模式识别设备首先为属于种类“C_K”的每个学习模式得到基准特征向量“r”，并生成各基准特征向量“r”的集“F_K”(步骤S11)。

拉着，模式识别设备得到集“F_K”的元件的最小值“MIN_K”和最大值“MAX_K”(步骤S12)，并且把闭区间〔MIN_K，MAX_K〕设成估计值“Q_K”(步骤S13)，并且把控制回送给图15的处理。如果考虑一个裕量“M”，可把闭区间〔MIN_K-M，MAX_K+M〕设成估计值“Q_K”。

图17是一个流程，表示图15的步骤S3中进行的生成候选种类集的处理。一旦开始处理，模式识别设备把候选种类集“D_i”的初始值识别为一个空集中(步骤S21)，把控制变量“k”设成“1”(步骤S22)，并得到基准特征投影“Q_K”和基准特征划分元素“R_i”的交集“X”(步骤S23)。

接着模式识别设备判定交集“X”是否是一个空集(步骤S24)。若不是空集，模式识别设备把对应于估计值“Q_K”的种类“C_K”增添到候选种类集“D_i”中(步骤S25)，并把“k”的值和“K”比较(步骤S26)。如果“k”的值小于“K”，则模式识别设备对“k”值递增1(步骤S27)，并重复S23中及之后的处理。

若在步骤S24中交集“X”是空集，模式识别设备不向候选种类集“D_i”增添种类“C_K”而是立即进行步骤S26的处理。当“k”的值在步骤S26中达到“K”时，模式识别设备把控制回送给图15的处理。以这种方式，其中基准特征划分元素“R_i”和基准特征投影“Q_K”共享一个部分的种类“C_K”毫无例外地增添到候选种类集“D_i”中。这个处理是对每个基准特征划分元素“R_i”都进行的。

图18是一个流程图，表示利用Voronoi分区生成候选表的处理。图18所示的流程图涉及一维基准特征空间的情况。但是，该流程也可应用于更高维数的基准特征空间的情况。

一旦开始处理，模式识别设备在基准特征空间对i＝0，1，…，L得到基准特征划分元素R_i＝(S_i-i，S_i)(步骤S31)。接着，模式识别设备通过利用线性规划方法基于特征空间中的Voronoi分区为每个种类C_k(k＝1，…，K)得到基准特征投影的估计值Q_K＝〔MIN_K，MAX_K〕(步骤S32)。

接着，模式识别设备按类似于图17所示的生成候选种类集的处理方式从估计值Q_K(k＝1，…，K)得到对应于各个基准特征划分元素“R_i”的候选种类集“D_i”(步骤S33)。设备把每个基准特征划分元素“R_i”和候选种类集“D_i”的组合存储到候选表里(步骤S34)，并结束处理。

图19是一个流程图，表示图18的步骤S32中进行的估计基准特征投影的处理。一旦开始处理，模式识别设备得到一个平面方程(等距平面)，其与对应于登记在字典中的种类“C_K”的代表特征向量“E_K”和对应于别的种类C_j(j＝1，…，K；j≠k)的代表特征向量“E_j”是等距的(步骤S41)。但请注意，在本情况下特征空间是N维空间。

当在特征空间中把欧氏距离用作距离时，Voronoi分区“V_K”将成为特征空间中的一个超凸多面体，可以把它认为是特征空间中由多个超平面构成的一个子集。因此，其为一个对两个代表向量等距的平面的超平面可以用一个线性方程表示，在该线性方程中特征向量f＝(f₁，f₂，…，f_N)充当变量。

接着，模式识别设备通过利用已得到的超平面方程得到Voronoi分区“V_K”对种类“C_K”满足的联立线性不等方程组(步骤S42)。联立线性不等方程组例如按如下表示：

接着，设备把特征向量“f”和方向向量h＝(h₁，h₂，…，h_N)的内积识别为一维基准特征向量(基准特征)“r”(步骤S43)。此时，基准特征向量“r”将变为如下：

r＝h₁f₁+h₂f₂+…+h_Nf_N

即，基准特征“r”是用特征向量“f”的元素的线性组合表示的。

最后，获得基准特征投影Q_K的问题是一个得到满足上述线性不等方程组的线性组合“r”的最小值和最大值的线性规划问题。该问题可用周知的线性规划方法求解。

从而，模式识别设备利用线性规划方法在已得到的联立不等式的限制下得到基准特征“r”的最小值“MIN_K”和最大值“MAX_K”(步骤S44)，把闭区间〔MIN_K，MAX_K〕识别成基准特征投影的估计值“Q_K”(步骤S45)，并把控制回送给图18的处理。

此处，为估计处理采用线性规划方法。通常，可以用非线性规划方法得到一维区间中的最小值和最大值。在该情况下，例如把下面通过利用某个非线性函数“R”从特征向量的元素得到的值定义为基准特征“r” 。

r＝R(f₁，f₂，…，f_N)

这时，Voronoi分区成为由特征空间中的超凸表面包围的特征空间中的一个子集。因此，用于字符种类“C_K”的Voronoi分区“V_K”可用下述联立非线性不等式组表示：

最后，可知获得基准特性投影“Q_K”的问题是一个得到满足上述联立不等式组的基准特征“r”的最小值和最大值的非线性规划问题。由计算机进行的非线性规划问题的数值计算是周知的一种数学编程领域。通过这种计算求解这个问题。

在上述实施例中，为了得到候选种类采用一种类型的基准特征向量。但是，可通过利用从一个特征向量计算出的多个基准向量得到多个相应的候选种类集，并且可输出它们的逻辑积。

在这种情况下，设置多个对应于不同基准特征向量的候选表，并且对每个候选表配置一个候选种类计算单元。每个候选种类计算单元把一种特定类型的基准特征向量的值作为输入，对照相应的候选表，并输出相应的候选种类集。另外，配置一个用于计算各候选种类集的逻辑积的候选种类筛选单元，以便在最后阶段筛选候选种类及输出筛选过的种类组。

图20是一个示意图，表示第四模式识别设备的结构，该设备利用二种类型的基准特征向量在二级上计算候选种类。图20所示的模式识别设备包括一个基准特征向量计算单元81，候选表82和83，候选种类计算单元84和85，以及一个候选种类筛选单元86。

基准特征向量计算单元81从一个输入的N维特征向量“f”计算两个基准特征向量r₁和r₂。第一级的候选种类计算单元84把基准特征向量r₁作为输入，并利用事先存储的候选表82输出候选种类集D₁(r₁)。第二级处的候选种类计算单元85把基准特征向量r₂作为输入，并利用事先存储的候选表83输出候选种类集D₂(r₂)。

候选种类筛选单元86利用两个候选种类集D₁(r₁)和D₂(r₂)，得到它们的积D₁(r₁)∩D₂(r₂)，并且把得到的积输出为最终候选种类集。

基准特征向量计算单元81例如分别把特征向量“f”的第一元素f₁输出为一维基准特征向量r₁，把特征向量“f”的第二元素f₂输出为一维基准特征向量r₂。假定各个基准特征向量值的范围是A₁≤r₁＜B₁及A₂≤r₂＜B₂，区间〔A₁，B₁)和〔A₂，B₂)分别成为第一和第二基准特征空间。

这里，假定把各个基准特征空间划分为网格，并把它们用作将成为候选表的元素的基准特征划分元素。因为基准特征空间〔A₁，B₁)和〔A₂，B₂)都一维的，它们分别划分为L₁个和L₂个区间，并且各个区间被定义为基准特征划分元素：

A₁＝s₀＜s₁＜s₂＜…＜s_L1＝B₁

A₂＝t₀＜t₁＜t₂＜…＜t_L2＝B₂

从而，基准特征空间〔A₁，B₁)中的各个区间〔S_i-1，S_i)将成为用于基准特征向量r₁的基准特征划分元素R_1j，其中j＝1，…，L₁。同时，基准特征空间〔A₂，B₂)中的各个区间〔t_j-1，t_j)将成为用于基准特征向量r₂的基准特征划分元素R_2j，其中j＝1，…，L₂。

通过利用学习特征向量集估计用于各个种类的基准特征投影得到各个基准特征划分元素R_1i和R_2j和各个候选种类集。假定学习特征向量集包括足够数量属于各个种类的特征向量。下面说明为某特定种类“C_K”估计基准特征投影的方法。

首先，从属于学习特征向量集中的种类“C_K”的特征向量集得到的特性向量的第一元素“f₁”的集F_1K。集F_1K形成一种近似于种类“C_K”的第一基准特征投影的分布。得到集“F_1K”的元素的最小值MIN(F_1K)和最大值MAX(F_1K)，并在考虑一特定的裕度“M”下把种类“C_K”的第一基准特征投影的估计值“Q_1K”定义为：

Q_1K＝〔MIN(F_1K)-M，MAX(F_1K)+M〕

并且以类似的方式估计第二基准特征投影。首先，从属于学习特征向量集中的种类“C_K”的特征向量集得到特征向量的第二元素“f₂”的集F_1K。集“F_2K”形成一种近似于种类“C_K”的第二基准特征投影的分布。得到集“F_2K”的元素的最小值MIN(F_2K)和最大值MAX(F_2K)，并在考虑一特定的裕度“M”下把种类“C_K”的第二基准特征投影的估计值Q_2K定义为：

Q_2K＝〔MIN(F_2K)-M，MAX(F_2K)+M〕

接着，根据下述过程利用各个种类“C_K”的基准特征投影Q_1K和Q_2K得到和各个基准特征划分元素R_1i和R_2j组合的候选种类集D₁(r₁)＝D_1j和D₂(r₂)＝D_2j。

把其中基准特征划分元素R_1i和对应的基准特征投影Q_1K共享着一个部分的种类“C_K”的集假定成是用于基准特征划分元素R_1i的候选种类集D_1i。基于该假定，可以列出其特征向量具有属于基准特征划分元素R_1i的基准特征向量的值的种类，并且成为候选种类集D_1i。

类似地，把其中基准特征划分元素“R_2j”和对应的基准特征投影“Q_2K”共享着一个部分的种类“C_K”的集假定成是用于基准特征划分元素R_2j的候选种类集D_2j。基于该假定，可以列出其特征向量具有属于基准特征划分元素R_2j的基准特征向量的值的种类，并且成为候选种类集D_2j。

候选种类计算单元84所参考的候选表82是用基准特征划分元素R_1i和候选种类集D_1j的组合构成的。类似地，候选种类计算单元83所参考的候选表83是用基准特征划分元素R_2j和候选种类集D_2j的组合构成的。

如果基准特征向量的给定值是“r₁”，候选种类计算单元84首先得到值r₁所属于的基准特征划分元素R_1i。接着，该单元通过利用候选表82得到对应于基准特征划分元素R_1i的候选种类集D_1i，并输出得到的该集。输出的候选种类集D_1i预期包含着输入特征向量属于的种类。

类似地，如果基准特征向量的给定值是“r₂”，候选种类计算单元85首先得到值r₂所属于的基准特征划分元素R_2j。接着，该单元通过利用候选表83得到对应于基准特征划分元素R_2j的候选种类集D_2j，并输出得到的该集。输出的候选种类集D_2j预期包含着输入特征向量属于的种类。

然后，候选种类筛选单元86得到两个候选种类集D_1i和D_2j的积D_1i∩D_2j，并把该积识别为最终候选种类集。可以预计从候选种类筛选单元86输出的候选种类集仍包含着输入特征向量所属于的种类。该候选种类集的元素数量要比原始两个候选种类集D_1i和D_2j的元素数量少。因此，候选种类筛选单元86确定用作为最终级的筛选候选种类集。

因为按照这种模式识别设备使用两个一维基准特征向量，和采用单个一维特征向量的情况相比可减少候选种类的数量。而且，和采用单个二维基准特征向量的情况相比，明显减少基准特征划分元素的数量，从而减少候选表所需的存储容量。

通过如上述利用多个相对低维数的基准特征向量，在存储容量切实充足下可以实现以高精度快速识别模式的模式识别设备。这种得到多个候选种类集的处理可以串行进行。但是，若并行进行可以进一步减少处理时间。

同时，下面将说明为什么根据本发明的模式识别设备几乎不降低识别精度的原因。按照本发明在进行高速分类之后，为了鉴别输入模式的种类，正常地和追加地利用对原始特征向量的距离计算进行细致分类。

识别精度的降低为“0”的现象意味着输出的候选种类集的累积识别精度保证(不降低)在以后的级中进行的细致分类的精度。累积积别精度表示任何候选种类集包括着输入模式的真实种类的可能性。理想上，希望累积识别精度为100％。

实际上，并不总是需要把输出的候选种类集的累积识别精度置为100％。累积识别精度等于或者高于在后面的级中进行的细致分类的精度就够了。因此，通过在候选表中登记包括足够数量的候选种类的候选种类集可以实现其精度下降实际上为“0”的模式识别设备。

如果真实种类未包括在候选种类集中，即，如果出现分类误差，类似的分类误差有可能在细致分类阶段发生。从而，最终的累积识别精度没有什么差别。在这个意义上，根据本发明的高速分类明智地利用细致分类所施加的限制，从而在不降低精度的前提下实现高速分类。

按照本发明的基准特征向量并不必须是如上所述的部分特征向量。任何可由特征向量计算出的向量可充当基准特征向量。例如，由图1所示的模式识别设备采用的压缩特征向量就是一种类型。

图21是一个示意图，表示第五模式识别设备的结构，该设备把压缩特征向量用为基准特征向量以得到候选种类集，并对得到的候选种类集进行细致分类。图21所示的模式识别设备21包括特征抽取单元91、特征压缩单元92、候选种类计算单元93、细分类执行单元94、候选表95和字典96。

特征抽取单元91从输入模式抽取特征向量。特征压缩单元92对特征向量进行适当的变换以生成维数较少的压缩特征向量。候选种类计算单元93参照候选表95，并得到对应于给定压缩特征向量的候选种类集。

细分类执行单元94对候选种类计算单元93输出的候选种类集中的每个候选种类计算存储在字典96中的代表特征向量和输入模式1的特征向量之间的距离。然后，细分类执行单元94按距离的升序分类候选种类，并且从距离为最短的种类开始输出规定数量的序列。

借助这种模式识别设备，通过适当地选择用于压缩特征的变换方法可以生成所需的基准特征向量，而且通过利用对应的候选表可以更有效地筛选候选种类集。另外，压缩特征后所产生的压缩特征向量不直接用于计算距离，而是充当查阅候选表的值。由此，从原理上看不会降低处理精度。

图22是一个示意图，表示第六模式识别设备的结构，该设备通过把压缩特征向量作为基准特征向量以得到候选种类集，并且进行粗分类和细分类。图22所示的模式识别设备包括特征抽取单元101、特征压缩单元102、候选种类计算单元103、粗分类执行单元104、细分类执行单元105、候选表106、压缩特征字典107和字典108。

特征抽取单元101、特征压缩单元102、候选种类计算单元103以及候选表106的性能类似于图21所示的特征抽取单元91、特征压缩单元92、候选种类计算单元93和候选表95的性能。

粗分类执行单元104对候选种类计算单元103输出的候选种类集中的每个候选种类计算存储在压缩特征字典107中的压缩特征向量和输入模式的压缩特征向量之间的距离。粗分类执行单元104按距离的升序分类候选种类，并从距离最短的种类开始把预定数量的种类序列输出为候选种类集。

细分类执行单元105对粗分类执行单元104输出的候选种类集中的每个候选种类计算存储在字典108中的代表特征向量和输入模式的特征向量之间的距离。细分类执行单元105按距离的升序分类候选种类，并从距离最短的种类开始输出预定数量的种类序列。

借助这种模式识别设备，粗分类执行单元104筛选从候选种类计算单元103输出的候选种类集，并且把筛选后的集传送到细分类执行单元105。因此，瞄向细分类的候选种类得到进一步的限制，从而改善处理速度。

按照图21和22所示的模式识别设备，不改变地把压缩特征向量用作为基准特征向量。但是可把压缩特征向量的部分特征向量用作基准特征向量。在这种情况下，进一步减少基准特征向量的维数并且改善处理速度。

对于从特征向量生成压缩特征向量的变换，可使用线性变换。因为线性变换通过进行相对简单的计算，即变换矩阵和向量相乘来压缩特征向量，它的计算效率高于非线性变换。至于利用线性变换压缩特性的方法，正则判别分析、主分量分析等是周知的方法。

利用正则判别分析，从各种种类提供的样本模式的N维特征向量计算一个互种类方差矩阵和一个内种类方差矩阵，并且利用这些方差矩阵得到本征向量。这样，选择“M”个(M＜N)本征向量并定义一个M维空间。若输入一个未知的模式，计算其特征向量和各个本征向量的内积，从而生成其元素是内积的计算结果的M维压缩特征向量。

依靠这种分析方法，N维平均特征向量投影到由“M”个本征向量规定的“M”个坐标轴上，从而使互种类散布变大和使内种类散布变小。借助这种处理，进行变换，从而在特征压缩之后不同类型的模式分离而相同类型的模式靠近在M维空间中。

另一方面，借助主分量分析，为各个种类计算主分量向量的组合从而使各种种类分离。接着，为每个种类生成其中把主分量向量用作为其坐标轴的另一个新空间，并且通过把输入模式的特征向量投影到各个种类的主分量向量上生成压缩特征向量。通过利用压缩特征向量计算输入模式和各个种类之间的距离。

依靠这种分析方法，如果在特征空间的闭区域中存在相似的种类，通过把要识别的模式的特征向量投影到对应于每个种类的主分量向量中可以得到更准确的识别结果。该方法主要用于识别具有少数种类的相似字符模式。

在上面所说明的实施例中，对于生成Voronoi分区的处理以及对于进行候选种类的粗、细分类的处理都必须计算向量间的距离。此时，除了常规欧氏距离之外还可以定义和使用任何距离。例如，可采用周知的各种距离，如城市街区距离、Mahalanobis距离、修正Mahalanobis距离、Bayes(贝叶斯)判别函数、修正Bayes判别函数等。

这里，把向量g＝(g₁，g₂，…，g_n)和向量p＝(P₁，P₂，…，p_n)之间的距离定义为：

城市街区距离 $D_{\mathrm{CB}}(g,p)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}|g_i-p_i|$ Mahalanobis距离 $D_m(g,p)={(g-p)}^T{\mathrm{\Σ}}_j^{-1}(g-p)$

其中“p”是某特定种类的各学习模式“P_i”(i＝1，2，…，N)的平均，而“∑_j ¹”是由下列方程式定义的协方差矩阵(也称为方差矩阵)：

∑_j＝(1/N)∑(P_i-P)(P_i-P)^T

假定∑_j的本征值为λ₁，λ₂，…，λ_n，(λ₁＞λ₂＞…＞λ_n)，对应的本征向量分别为Φ₁，Φ₂，…Φ_n，则Φ＝(Φ₁，Φ₂，…，Φ_n)、D_m(g，p)可按如下表示：[修正Mahalanobis距离] $D_m^2(g,p)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\left({\mathrm{\φ}}^T(g-p)\right)}^2}{{\mathrm{\λ}}_i}$

注意λ_i＝λ(常数)(m＜＜n，M+1≤i≤n)

修正Mahalanobis距离是为了克服Mahalanobis距离的实际问题(计算量和精度)而提出的，并且基于后面描述的修正Bayes判别函数的概念。

〔Bayes判别函数〕

f(g)＝(g-p)^T∑^-1(g-p)+|n|∑|

Bayes判别函数(二次判别函数)表示向量“g”和“p”之间的距离。若目标按正态分布并已知特征向量的平均值及协方差矩阵时它是最优判别函数。

[修正Bayes判别函数] $f_2\left(g\right)=\underset{i=1}{\overset{k}{\mathrm{\Σ}}}\frac{{\left\{{{\mathrm{\Φ}}_i}^T(g-p)\right\}}^2}{{\mathrm{\λ}}_i}$ $+\underset{i=k+1}{\overset{n}{\mathrm{\Σ}}}\frac{{\left\{{{\mathrm{\Φ}}_i}^T(g-p)\right\}}^2}{{\mathrm{\λ}}_{k+1}}$ $+\ln (\underset{i=1}{\overset{k}{\mathrm{\Π}}}{\mathrm{\λ}}_i\•\underset{i=k+1}{\overset{n}{\mathrm{\Π}}}{\mathrm{\λ}}_{k+1})$

修正Bayes判别函数是一种函数，当要辩别复杂的字符模式等时用来克服高维本征向量的计算精度问题。

这些距离基于种类特征集的分布是正态分布的并且每种种类的出现概率相等的假设。若各个种类的分布的协方差矩阵相同，基于Mahalanobisk距离修正Mahalanobis距离进行细致分类。若协方差矩阵不同，即它们是普通的，基于修正Bayes判别函数进行细致分类。

本发明不仅可应用于字符模式，并且也是一种用于识别任何模式例如二维图形、三维物体和人脸图象的技术。

根据本发明，在识别任何模式的处理中利用候选表允许把识别精度的下降遏止为最少并使种类分类更快速。尤其，如果基于和登记在字典中用于细分类的种类相似的分区生成候选表，有可能防止细分类精度的下降。

Claims (31)

1.一种模式识别设备，包括：

表存储装置，用于存储说明生成一种变换所需信息的候选表，该变换的输入是从模式的特征向量计算出的基准特征向量的值，其输出是候选种类集；以及

候选种类计算装置，通过使用候选表得到对应于给定基准特征向量的值的候选种类集，并输出得到的候选种类集。

2.根据权利要求1的模式识别设备，还包括基准特征向量计算装置，用于从模式的特征向量计算基准特征向量。

3.根据权利要求2的模式识别设备，其中所述基准特征向量计算装置把模式的特征向量的一个或多个部分特征向量输出为一个或多个基准特征向量。

4.根据权利要求1的模式识别设备，其中：

所述表存储装置通过利用把由基准特征向量的值的集构成的基准特征空间划分成两个或多个空间，以作为基准特征划分元素而得到的各个子集，存储包含着关于基准特征划分元素和候选种类集组合的信息的候选表；以及

所述候选种类计算装置得到包含着给定基准特征向量的值的基准特征划分元素并通过利用候选表得到和已获得的基准特征划分元素对应的候选种类集。

5.根据权利要求4的模式识别设备，其中所述表存储装置存储关于通过以网格方式划分基准特征空间而得到的基准特征划分元素的信息。

6.根据权利要求4的模式识别设备，其中所述表存储装置存储通过估计对应于每个种类的特征向量集在基准特征空间中的投影的范围及利用所得到的估计值而生成的候选表。

7.根据权利要求6的模式识别设备，其中当基准特征划分元素和估计值共享一个部分时，通过把对应于估计值的种类用作为对应于基准特征划分元素的候选种类集中的元素生成所述候选表。

8.根据权利要求6的模式识别设备，其中通过得到作为投影到对应于各个种类的一维基准特征空间的估计值的一维基准特征向量的最小值和最大值生成所述候选表。

9.根据权利要求6的模式识别设备，其中所述候选表是基于通过利用线性规则方法得到的估计值生成的。

10.根据权利要求6的模式识别设备，其中所述候选表是基于通过利用非线性规划法得到的估计值生成的。

11.根据权利要求6的模式识别设备，其中候选表是基于通过利用从一组供学习的模式集获得的基准特征向量的值的分布得到的估计值生成的。

12.根据权利要求6的模式识别设备，其中所述候选表是基于通过把基于登记在字典中的各个种类的代表特征向量的特征空间里的Voronoi分区元素在基准特征空间投影所得到的估计值生成的。

13.根据权利要求1的模式识别设备，还包括特征抽取装置，用于从输入模式生成模式的特征向量。

14.根据权利要求1的模式识别设备，还包括：

字典存储装置，用于存储登记各个种类的代表特征向量的细分类字典；以及

细分类执行装置，用于利用细分类字典得到包含在候选种类集中的每个候选种类的代表特征向量，用于得到每个候选种类的代表特征向量和模式的特征向量之间的距离，及用于按距离的升序输出预定数量的候选种类。

15.根据权利要求1的模式识别设备，还包括：

特压缩装置，用于对模式的特征向量进行预定的变换并得到低维的压缩特征向量，其中所述候选种类计算装置利用从给定压缩特征向量的值计算出的基准特征向量的值得到候选种类集。

16.根据权利要求15的模式识别设备，其中所述候选种类计算装置把压缩特征向量的部分特征向量用作基准特征向量。

17.根据权利要求15的模式识别设备，还包括：

字典存储装置，用于存储登记各个种类的压缩特征向量的压缩特征字典；以及

粗分类执行装置，用于利用压缩特征字典得到各个候选种类的压缩特征向量，用于得到各个候选种类的压缩特征向量和从所述特征压缩装置输出的压缩特征向量之间的距离，及用于按距离的升序输出预定数量的候选种类。

18.根据权利要求17的模式识别设备，其中所述粗分类执行装置利用欧氏距离、城市街区距离、Mahalanobis距离、修正Mahalanobis距离、Bayes判别函数及修正Bayes判别函数中的一种作为对距离的定义。

19.根据权利要求17的模式识别设备，还包括：

字典存储装置，用于存储登记各个种类的代表特征向量的细分类字典；以及

细分类执行单元，用于通过利用细分类字典得到从所述粗分类执行装置输出的各候选种类的代表特征向量，用于得到各候选种类的代表特征向量和模式的特征向量之间的距离，及用于按升序的距离输出预定数量的候选种类。

20.根据权利要求19的模式识别设备，其中所述细分类执行装置把欧氏距离、城市街区距离、Mahalanobis距离、修正Mahalanobis距离、Bayes判别函数及修正Bayes判别函数中的一种作为距离的定义。

21.根据权利要求15的模式识别设备，其中所述特征压缩装置利用线性变换生成压缩特征向量。

22.根据权利要求21的模式识别设备，其中所述特征压缩装置通过利用特征空间中的主分量分析得到线性变换。

23.根据权利要求21的模式识别设备，其中所述特征压缩装置通过利用特征空间中的正则判别分析得到线性变换。

24.根据权利要求1的模式识别设备，其中模式对应于字符、人脸、三维物体和二维图形中的至少一种类型的信息。

25.一种模式识别设备，包括：

多个表存储装置，各用于存储说明生成一种变换所需信息的候选表，该变换的输入是从模式的特征向量计算出的基准特征向量值，其输出是候选种类集；

多个候选种类计算装置，分别配置给所述多个表存储装置，各用于通过使用候选表得到对应于给定基准特征向量的值的候选种类集并输出得到的候选种类集；以及

种类筛选装置，用于筛选从所述多个候选种类计算装置输出的多个候选种类集并输出筛选结果。

26.根据权利要求25的模式识别设备，其中所述种类筛选装置计算多个候选种类集的逻辑积并筛选多个候选种类集。

27.一种模式识别设备，包括：

存储装置，用于存储表示模式的特征的特征量数据和候选种类集之间的对应关系，以及

候选种类计算装置，用于通过该对应关系得到对应于给定特征量数据的候选种类集并且输出得到的候选种类集。

28.一种计算机可读的存储介质，当其由计算机使用时用于使计算机执行下述操作：

通过利用说明生成一种变换的所需信息的候选表得到对应于给定基准特征向量的值的候选种类集，该变换的输入是从模式的特征向量计算出的基准特征向量的值，其输出是候选种类集；以及

输出得到的候选种类集。

29.一种计算机可读的存储介质，当其由计算机使用时用于使计算机执行下述操作：

通过利用表示模式的特征的特征量数据和候选种类表之间的对应关系得到对应于给定特征量数据的候选种类集；以及

输出得到的候选种类集。

30.一种模式识别方法，包括步骤：

通过利用说明生成一种变换的所需信息的候选表得到对应于给定基准特征向量的值的候选种类集，该变换的输入是从模式的特征向量计算出的基准特征向量的值，其输出是候选种类集；以及

输出得到的候选种类集。

31.一种模式识别方法，包括步骤：

通过利用表示模式的特征的特征量数据和候选种类集之间的对应关系得到对应于给定特征量数据的候选种类集；以及输出得到的候选种类集。

Images