CN104318304A - 一种用于模式识别的基于样本学习的bp网络结构设计方法 - Google Patents

Abstract

本发明提供了一种用于模式识别的基于样本学习的BP网络结构设计方法，包括：在模式能够被超曲面所完全覆盖的情况下，假设学习样本的基元素的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式，则将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。本发明在传统的BP网络结构设计准则的基础上，提出了一种基于仿生/拓扑模式识别的神经网络结构设计准则。该设计准则在模式能够被超曲面完全覆盖的条件下，不仅能够有效提高了仿生模式识别过程中神经网络的学习性能，而且也能使得网络结构满足特定识别任务的要求。

Description

一种用于模式识别的基于样本学习的BP网络结构设计方法

技术领域

本发明涉及网络结构设计领域，更具体地说，本发明涉及一种用于模式识别的基于样本学习的BP(Back Propagation)网络结构设计方法。

背景技术

神经网络是实现模式识别十分有效的工具，但是由于神经网络的自身不足，使得模式识别在应用过程中必然存在各种各样的问题。比如以前向神经网络作为实现工具为例，在模式识别的学习过程中存在如下三个方面的困难，其一是学习速度缓慢；其二是局部极小值问题；其三是针对特定问题选择合理的神经网络结构。大量应用实践证明，网络结构过大易引起网络训练速度太慢，甚至出现过拟合现象，而网络结构过小又容易造成不收敛的问题。实际应用中的网络结构确定往往带有人为主观因素，缺乏一定的理论指导。

传统模式识别系统中的神经网络结构设计，大致上可以分为三类：一是对神经网络权连接的修剪策略，即在获得理想的训练精度之后，动态地删掉多余地权和节点；二是对隐节点地增长与修剪策略；三是子网增长地神经网络结构。

M.Gori和A.Tesi提出的确保BP前向神经网络学习性能有效提高的网络结构设计准则是：假设所分模式是线性可分的，若网络结构采用单隐节点层结构，且网络的输入层与隐节点层为全连接方式；进一步假设学习样本的类别数为C，则可将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。该准则虽然被严格限制在模式线性可分的前提下使用，但无论是从理论分析上，还是实际应用中都具有十分重要的指导意义。故此，随后有不少学者在此结论的基础上将学习环境进行修改之后，使得该准则进一步推广到非线性的环境中。

但是，现有技术的BP网络结构设计方法仍存在学习过程的陷入局部极小值和学习速度慢等问题。

发明内容

本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种能够缓解学习过程的陷入局部极小值和学习速度慢等问题的基于样本学习的BP网络结构设计方法。

为了实现上述技术目的，根据本发明，提供了一种用于模式识别的基于样本学习的BP网络结构设计方法，包括：在模式能够被超曲面所完全覆盖的情况下，假设学习样本的基元素的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式，则将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。

本发明提出了一个基于提高模式识别系统性能的BP神经网络结构设计方法。该方法基于无论是不同类样本点间还是同类样本点间都存在有先验知识这一结论，通过利用同类样本中所蕴含的先验知识对神经网络的结构进行设计，不仅能够确保模式识别过程中的学习过程有效收敛，而且也使得网络结构的设计满足特定任务的要求，并可应用于模式识别、异常检测、图像处理等领域。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1示意性地示出了根据本发明优选实施例的用于模式识别的基于样本学习的BP网络结构设计方法的示意图。

需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。

具体实施方式

为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。

传统模式识别理论认为：同类样本点之间没有任何关系的先验知识存在，一切都只能从特征空间的不同类样本的划分出发了。然而在自然界实际规律中并非如此，自然界中任何欲被认识的两个同类事物之间必至少存在一个渐变过程，在这个渐变过程中间的各事物是属于同一类的。故此，在特征空间中同类样本点之间存在的连续性规律，是模式识别中用来作为样本点分布的“先验知识”，从而来提高对事物的认识能力。

如今，与模式识别技术有关的新理论与新方法层出不穷。其中最为引人注目的一个就是称之为“仿生模式识别”的新理论。与传统的以“最佳划分”为目标的统计模式识别不同，它是基于样本间的“最佳覆盖”为前提，即它是通过对同类样本的覆盖去认识事物，而不是以不同类样本的划分认识事物为目的，它的数学方法在于研究特征空间中样本集合的拓扑性质。因此又称为“拓扑模式识别”。

为了解决仿生(拓扑)模式识别系统中存在的上述问题，本发明的研究基本思路是：训练样本点之间无论是不同类还是同类的都存在有先验知识。通过这些样本中所隐含的先验知识，重点是同类样本间的先验知识进行神经网络结构的设计，不仅解决了由于神经网络固定拓扑结构所带来的困难，而且也缓解了学习过程的陷入局部极小值和学习速度慢等问题。

传统的、确保BP前向神经网络学习性能有效提高的网络结构设计准则是：假设所分模式是线性可分的，若网络结构采用单隐节点层结构，且网络的输入层与隐节点层为全连接方式；进一步假设学习样本的类别数为C，则可将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。

该准则虽然被严格限制在模式线性可分的前提下使用，但无论是从理论分析上，还是实际应用中都具有十分重要的指导意义。故此，随后在此结论的基础上将学习环境进行修改之后，使得该准则进一步推广到非线性的环境中。

上述设计准则的关键在于如何将隐节点层进行分组，而分组的关键又在于如何划分原始样本数据，这本身也是一个对样本空间识别问题。M.Gori和A.Tesi不仅从理论上，而且也从多种实验结果中证明了根据上述准则设计的神经网络在模式识别的实际应用中能够确保算法有效收敛，并且学习时间有效缩短。因而非常值得将此准则在仿生模式识别领域中进行推广。

但是，现在所面临的问题是：在仿生模式识别中完成的是对同类样本进行覆盖，此时输入样本的类别数为1(即C＝1)。从表面上看，无法将原始样本空间进行划分，即无法将隐节点层进行与样本类别数目相等的分组。因而上述结论似乎不适用于基于“认识”的仿生模式识别过程。但是从拓扑学的角度对训练样本的拓扑属性进行分析之后，发现通过“拓扑基”可以在两者之间架起一道桥梁，从而将上述结论推广至仿生模式识别过程中。

图1示意性地示出了根据本发明优选实施例的用于模式识别的基于样本学习的BP网络结构设计方法的示意图。如图1所示，本发明所提的、作为新的、仿生(拓扑)模式识别实现工具的三层前向神经网络有效提高学习性能的网络结构设计方法包括：假设模式是能够被超曲面所完全覆盖的(即，在模式能够被超曲面所完全覆盖的情况下，步骤S1的判断结果为“是”)，而且假设学习样本的“基元素”的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式(步骤S2的判断结果为“是”)，则可将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接(步骤S3)。

上述设计准则的关键在于如何将隐节点层进行分组，而分组的关键又在于如何确定“基元素”的数目，不同的识别任务产生不同的“基元素”个数，如此一来就将网络结构设计中关键的隐节点神经元数目确定与特定任务下的样本空间划分紧密联系了起来，也使得网络的结构设计与特定环境下的特定任务紧密联系了起来。

基于“认识”的仿生模式识别理论中，被“认识”的事物A的每一个输入样本都对应高维特征空间Rn中一个n维超球体，也就是一个球形邻域。完成对“事物A”的认识过程就是在特征空间Rn中对所有训练样本点集所形成的无穷多个球形邻域的“并”进行覆盖。

在特征空间中，同类样本间存在着连续性规律。也就是特征空间的所有属于A类事物的全体点集为A，若集合A中存在任意两个元素x与y，则对任意大于零的值ε，则必存在集合B，

B＝{x₁，x₂，…，x_n|x₁＝x，x_n＝y}    (1)

使得其中，ρ(x₁，x_n)＜ε，ε＞0，n-1≥m≥1。

从上述定义可以看出集合B为全体点集A的一个子集，集合B中的每一点都有一个球形邻域包含于A，则根据有关集合的定义可以推出：集合B是开集。

度量空间X的开集具有如下基本性质：

(1)X为开集，Φ为开集。

(2)任意两个开集的交是开集。

(3)任意两个开集簇的并是开集。

一般地，我们都用“ε-δ”语言去描述函数的连续性，也就是说，我们之所以谈论连续性，是因为我们有着一个点的“邻域”的思想。如何将“邻域”的概念推广到任意集合上去？这就是拓扑的思想。有关拓扑空间的定义如下：

定义1设X为非空集合，J为X的子集簇，如果满足下列条件：

(1)X，Φ∈J。

(2)若A，B∈J，则A∩B∈J。

(3)若J_I∈J则

则称J为X的拓扑，偶对(X，J)为拓扑空间。此外，J的每一个成员均为拓扑空间(X，J)的开集。

从上述拓扑的定义与度量空间的开集的性质相比较，可以将拓扑的条件简化为下述的条件：

(1)J中任意有限个成员之交仍为J的成员。

(2)J中任意个成员之并仍为J的成员。

出于上述结论，可以想到拓扑空间的“拓扑基”的概念。

定义2设(X，J)为拓扑空间，B为J的子簇，若J的每一成员(即X的每一开集)都是B的某些成员的并，即对于每一U∈J，存在使得则称B为拓扑J的基。

从定义2可以看出，在讨论度量空间的拓扑的时候，开集起着基本重要的作用，一方面，每个球形邻域都是开集，也就是说每一个开集都是若干个球形邻域的并集。

证明1设U为一开集，则对于每一x∈U，有：B(x，ε_X)∈U由开集定义可得：

∪_XeUB(x，ε_X)＝U    (2)

另一方面，可以说度量空间的拓扑是由所有的球形邻域通过集簇的“并”这一运算产生的。

证明2设B为拓扑空间(X，J)的开集簇(即)，且B为拓扑空间X的拓扑基，对于每一x∈X以及x的每一邻域U_x，存在V_x∈B使得

另一方面，假设A为x的邻域，且A是X的任一开集。据条件对于每一x∈A，由于A为x的邻域，故存在V_x∈B使得于是可得：

A＝∪_xeAV_x    (3)

亦即A为B中的成员，而B为X的拓扑基。

从上述结论可以得出：若特征空间Rn中所有球形邻域构成的“集簇”是存在的，并且是这个度量空间作为拓扑空间时的“拓扑基”，则可以将仿生模式识别理论中有关样本点的覆盖问题变得更加简单化一些，使得对所有训练样本“点集”的“并”覆盖，转变成为对所有训练样本点集所形成的若干个“集簇”(即拓扑基，以下简称为“基元素”)的“并”覆盖。

又由于训练样本的“基元素”是由输入训练样本的特性决定的，故可以得出同类样本中“基元素”的数目与不同类样本中类别数目是一一对应的。就可以将上一节中所提到的传统的神经网络设计准则推广到基于同类样本覆盖的仿生模式识别中来。

本发明在传统的BP网络结构设计准则的基础上，提出了一种基于仿生(拓扑)模式识别的神经网络结构设计准则。该设计准则在模式能够被超曲面完全覆盖的条件下，不仅能够有效提高了仿生模式识别过程中神经网络的学习性能，而且也能使得网络结构满足特定识别任务的要求。

此外，需要说明的是，除非特别说明或者指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (2)

1.一种用于模式识别的基于样本学习的BP网络结构设计方法，其特征在于包括：在模式能够被超曲面所完全覆盖的情况下，假设学习样本的基元素的数目为C，如果BP网络结构采用的是单隐节点层结构，且BP网络的输入层与隐节点层为全连接方式，则将隐节点层划分为C个子节点组，且各个子节点组只与其相应的输出层节点相连接。

2.根据权利要求1所述的BP网络结构设计方法，其特征在于，所述BP网络结构设计方法用于异常检测。