CN106408084A - 一种知识与数据混合驱动的二型模糊神经网络设计方法 - Google Patents

Abstract

本发明公开了知识在二型模糊神经网络中的嵌入方法，并在此基础上公开一种知识与数据混合驱动的二型模糊神经网络设计方法，设计方法步骤如下：(1)在二型模糊神经网络中嵌入知识；(2)利用数据在步骤(1)的知识约束下进行结构自组织和参数自学习；(3)进行性能验证，若二型模糊神经网络的输出与实际系统输出一致，则得到知识与数据混合驱动的二型模糊神经网络；若二型模糊神经网络的输出与实际系统输出不一致，则返回步骤(2)对结构自组织方法及参数自学习方法进行调整。本发明采用二型模糊神经网络进行系统建模及控制，在基于数据的同时充分利用各类知识，有助于提高所设计的二型模糊神经网络的性能，取得更好的建模与控制效果。

Description

一种知识与数据混合驱动的二型模糊神经网络设计方法

技术领域

本发明涉及一种知识与数据混合驱动的二型模糊神经网络设计方法。属于人工智能技术领域。

背景技术

模糊理论和神经网络技术是近几年来人工智能研究较为活跃的两个领域，模糊神经网络就是模糊理论同神经网络相结合的产物，汇集了神经网络与模糊理论的优点，集学习、联想、识别、信息处理于一体。二型模糊与一型模糊相比，增强了系统描述和处理不确定性的能力，具有更大优势。

当前，对于很多复杂生产过程和设备而言，建立精确机理模型是很困难的，但这些复杂研究对象每天都在产生大量数据。因此，通过数据驱动方法，有效利用大量离在线数据，实现对复杂生产过程和设备的建模、优化与控制已成为一大研究热点，其理论、方法及应用日益受到重视。

但是，所得到的实际数据不可避免会受到人为因素的影响以及各类噪声的干扰，有时还会存在错误数据，这一系列不确定性因素的存在使得基于数据建立的系统模型的精度受到限制，对控制效果也会产生不利影响。

发明内容

本发明的目的是为克服上述现有技术的不足，提供一种知识在二型模糊神经网络中的嵌入方法，进而提供一种知识与数据混合驱动的二型模糊神经网络设计方法。

为实现上述目的，本发明采用下述技术方案：

知识在二型模糊神经网络中的嵌入方法，包括步骤：

(A)归类总结常见知识，并将其分类为可规则化知识和难以规则化知识，两者分别进入步骤(B)和(C)；

(B)可规则化知识转化为结构约束，即以神经节点的方式直接嵌入二型模糊神经网络；

(C)难以规则化知识通过满足二型模糊神经网络的参数的嵌入条件，形成参数约束公式，以参数约束的形式嵌入相关知识。

步骤(A)中，所述常见知识包括经验知识、关于部分已知关系的语言描述、被辨识系统特性及要求以及被辨识系统局部行为知识；其中，被辨识系统特性及要求包括连续性、对称性、单调性、凹凸性和光滑性，被辨识系统局部行为知识包括插值点、极值点、边界、不动点和静态增益。

经验知识、关于部分已知关系的语言描述和被辨识系统局部行为知识，易于转换成二型模糊规则，分类为可规则化知识；其他知识向二型模糊规则的转化相对困难，分类为难以规则化知识。

步骤(B)的方法是：以二型模糊规则刻画可规则化知识的输入输出关系，将知识诱导的规则直接嵌入二型模糊神经网络。

当可规则化知识为经验知识或关于部分已知关系的语言描述时，采用“如果…，那么…”的形式，直接转化为二型模糊规则；当可规则化知识为插值点时，假定待辨识系统的插值点为即则构造下述二型模糊规则嵌入该知识：如果x₁为x₂为…，x_n为则输出值y为其中，n为输入变量的个数，x₁,x₂,…,x_n为输入，y为输出，为二型模糊集合，其中心为为区间权重，其中心为y⁰，其他被辨识系统局部行为知识的嵌入方式与插值点类似。

步骤(B)嵌入的二型模糊规则，其二型模糊集合的中心、区间权重的中心在后续优化过程中保持不变。

步骤(C)的方法是：通过对二型模糊神经网络的参数形成约束来实现知识的嵌入，分析二型模糊神经网络的输入输出关系表达式，并在此表达式的基础上进行理论分析，从而得到知识诱导的参数约束。

步骤(C)中，所述参数包括区间权重参数、二型模糊集合的中心及宽度。

步骤(C)中所采用的二型模糊神经网络包括输入层、二型模糊化层、规则层、降型和输出层；具体如下：

输入层分别为n个输入变量的取值x₁,x₂,…,x_n；

二型模糊化层将n个输入值进行二型模糊化，其中输入值x_i的二型模糊集合为 和二型模糊集合由步骤(B)中的可规则化知识诱导，二型模糊集合由后续结构自组织方法得到，i＝1,2,…,n；

规则层包括M条由知识所诱导的二型模糊规则(“K”代表相应二型模糊规则由知识诱导得到)和N条结构自组织方法得到的规则符号(“D”代表相应二型模糊规则由结构自组织得到)，分别赋值为：

如果x₁为x₂为…，x_n为那么输出值y为

如果x₁为x₂为…，x_n为那么输出值y为

其中，为区间权重，s＝1,…,M，t＝1,…,N，M,N分别为由知识诱导的和由结构自组织得到的二型模糊规则数，二型模糊规则的激活强度分别记为其中X＝(x₁,…,x_n)；

降型和输出层，采用Karnik-Mendel算法得输出值y(X)＝ξ(X,θ)^TW，其中，“^T”表示向量转置，ξ(X,θ)为激活强度标准化后得到的强度向量，θ为二型模糊集合的中心及宽度参数向量，为区间权重构成的向量。

步骤(C)中难以规则化知识对二型模糊神经网络的输入输出构成约束，进而对二型模糊神经网络的参数构成约束，抽象化知识诱导的参数约束为θ∈Θ和W∈Ω，其中Θ和Ω是参数向量θ和W的可行范围。

知识与数据混合驱动的二型模糊神经网络设计方法，包括步骤：

(1)按照上述的嵌入方法实现知识在二型模糊神经网络中的嵌入；

(2)利用数据在步骤(1)的知识约束下进行结构自组织和参数自学习；

(3)进行性能验证，若二型模糊神经网络的输出与实际系统输出一致，则得到知识与数据混合驱动的二型模糊神经网络；若二型模糊神经网络的输出与实际系统输出不一致，则返回步骤(2)对结构自组织方法及参数自学习方法进行调整。

步骤(2)中的结构自组织包括：

(21)初始化：利用知识诱导的二型模糊规则进行初始化；

(22)二型模糊规则生成：设定数据与二型模糊规则间的匹配标准及阈值，其中的匹配标准为距离度量；当数据输入时，计算其与已知二型模糊规则的匹配程度，若部分度量值在阈值内，将数据归类到最匹配二型模糊规则，并修改二型模糊规则的参数，在此过程中知识诱导二型模糊规则中的二型模糊集合及区间权重的中心保持不变；若度量值均不符合阈值条件，则返回步骤(21)，产生新的二型模糊规则；

(23)二型模糊规则合并：定义二型模糊规则间的距离度量及合并阈值ε，当存在二型模糊规则间的距离小于该阈值ε时，则进行二型模糊规则合并，在此过程中注意知识所形成的约束；

(24)二型模糊规则拆分：设定二型模糊规则拆分阈值δ，当某二型模糊规则中二型模糊集合宽度大于阈值δ时，将相应模糊集合的中心左、右移动δ，宽度变为原来的50％，实现二型模糊集合拆分，进而实现二型模糊规则的拆分；

(25)二型模糊规则修剪：在二型模糊规则生成过程中，若某二型模糊规则激活强度小于修剪阈值r，则对二型模糊规则进行删除，实现修剪，但知识诱导的二型模糊规则不修剪。

在步骤(21)～(25)中，通过结构自组织算法确定二型模糊集合参数，在步骤(2)中的参数自学习在参数约束下仅优化区间权重。

其中，多输入单输出的情况下，步骤(2)中参数自学习的具体方法是：

假定实际系统输入输出数据集为{X_l,y_l}_l＝1,…,L，其中L为数据个数，X_l为第l个输入数据向量，y_l为第l个数据的输出量；在输入X_l时，二型模糊神经网络的输出为y(X_l)＝ξ(X_l,θ₀)^TW，其中θ₀为由结构自组织方法确定的二型模糊集合的中心及宽度参数向量，区间权重向量为待优化参数；关于数据集的误差平方和E(W)为

其中Φ＝[ξ(X₁,θ₀),ξ(X₂,θ₀),…,ξ(X_L,θ₀)]^T,Y＝[y₁,y₂,…,y_L]^T，“^T”表示向量转置；

因此，参数自学习问题转化为下述约束优化问题

该问题为带约束的二次规划问题，采用active-set算法予以解决。

知识与数据混合驱动的二型模糊神经网络，是由上述设计方法得到的。

本发明的有益效果：

为处理不确定性并改善建模及控制效果，可以考虑采用两种途径，其一是充分利用各类知识(包括生产过程或设备等研究对象的相关特性、操作经验知识、局部行为知识等)来增加有用信息，其二是选择抗噪声干扰好、逼近精度高的建模与控制方法。本发明提出了一种知识与数据混合驱动的二型模糊神经网络设计方法，不仅具有二型模糊系统处理各种不确定性、抗干扰等方面的优势，且具有神经网络自学习及自适应的功能。对之前的二型模糊神经网络进行了大量改进，是对其的继承与发展。本发明采用二型模糊神经网络进行系统建模及控制，在基于数据的同时充分利用各类知识，有助于提高所设计的二型模糊神经网络的性能，取得更好的建模与控制效果。具体如下：

1、本发明通过数据驱动方法，有效利用大量离在线数据，实现对复杂生产过程和设备的建模,同时通过充分利用各类知识中的信息来提升数据驱动方法的建模及控制效果，在现实应用中能取得更好的效果；

2、所设计的二型模糊神经网络，充分利用了二型模糊理论来克服数据中存在的各类强不确定性，利用神经网络来加强系统的学习能力，更加适应于现实中具有各类不确定性系统的建模与控制；

3、在二型模糊神经网络设计过程中利用了自组织方法，能有效解决模糊神经网络规则获取及规则爆炸问题，更加适用于多变量问题的建模与控制。

附图说明

图1是嵌入知识的二型模糊神经网络结构图；

图2是知识与数据驱动二型模糊神经网络设计方法示意图。

具体实施方式

下面结合附图和实施例对本发明进行进一步的阐述，应该说明的是，下述说明仅是为了解释本发明，并不对其内容进行限定。

实施例：

如图1和图2所示，本发明的知识与数据混合驱动的二型模糊神经网络，是由以下设计方法得到，包括步骤：

(1)按照上述的嵌入方法实现知识在二型模糊神经网络中的嵌入；

(2)利用数据在步骤(1)的知识约束下进行结构自组织和参数自学习；

(3)进行性能验证，若二型模糊神经网络的输出与实际系统输出一致，则得到知识与数据混合驱动的二型模糊神经网络；若二型模糊神经网络的输出与实际系统输出不一致，则返回步骤(2)对结构自组织方法及参数自学习方法进行调整。

步骤(1)知识在二型模糊神经网络中的嵌入方法，包括步骤：

(A)归类总结常见知识，并将其分类为可规则化知识和难以规则化知识，两者分别进入步骤(B)和(C)；

(B)可规则化知识转化为结构约束，即以神经节点的方式直接嵌入二型模糊神经网络；

(C)难以规则化知识通过满足二型模糊神经网络的参数的嵌入条件，形成参数约束公式，以参数约束的形式嵌入相关知识。

步骤(A)中，所述常见知识包括经验知识、关于部分已知关系的语言描述、被辨识系统特性及要求以及被辨识系统局部行为知识；其中，被辨识系统特性及要求包括连续性、对称性、单调性、凹凸性和光滑性，被辨识系统局部行为知识包括插值点、极值点、边界、不动点和静态增益。其中，经验知识、关于部分已知关系的语言描述和被辨识系统局部行为知识，易于转换成二型模糊规则，分类为可规则化知识；其他知识向二型模糊规则的转化相对困难，分类为难以规则化知识。

步骤(B)的方法是：以二型模糊规则刻画可规则化知识的输入输出关系，将知识诱导的规则直接嵌入二型模糊神经网络。当可规则化知识为经验知识或关于部分已知关系的语言描述时，采用“如果…，那么…”的形式，直接转化为二型模糊规则；当可规则化知识为插值点时，假定待辨识系统的插值点为即则构造下述二型模糊规则嵌入该知识：如果x₁为x₂为…，x_n为则输出值y为其中，n为输入变量的个数，x₁,x₂,…,x_n为输入，y为输出，为二型模糊集合，其中心为为区间权重，其中心为y⁰，其他被辨识系统局部行为知识的嵌入方式与插值点类似。步骤(B)嵌入的二型模糊规则，其二型模糊集合的中心、区间权重的中心在后续优化过程中保持不变。

步骤(C)的方法是：通过对二型模糊神经网络的参数(包括区间权重参数、二型模糊集合的中心及宽度)形成约束来实现知识的嵌入，分析二型模糊神经网络的输入输出关系表达式，并在此表达式的基础上进行理论分析，从而得到知识诱导的参数约束。步骤(C)中所采用的二型模糊神经网络包括输入层、二型模糊化层、规则层、降型和输出层；具体如下：

输入层分别为n个输入变量的取值x₁,x₂,…,x_n；

二型模糊化层将n个输入值进行二型模糊化，其中输入值x_i的二型模糊集合为 和二型模糊集合由步骤(B)中的可规则化知识诱导，二型模糊集合由后续结构自组织方法得到，i＝1,2,…,n；

规则层包括M条由知识所诱导的二型模糊规则(“K”代表相应二型模糊规则由知识诱导得到)和N条结构自组织方法得到的规则符号(“D”代表相应二型模糊规则由结构自组织得到)，分别赋值为：

如果x₁为x₂为…，x_n为那么输出值y为

如果x₁为x₂为…，x_n为那么输出值y为

其中，为区间权重，s＝1,…,M，t＝1,…,N，M,N分别为由知识诱导的和由结构自组织得到的二型模糊规则数，二型模糊规则的激活强度分别记为其中X＝(x₁,…,x_n)；

降型和输出层，采用Karnik-Mendel算法得输出值y(X)＝ξ(X,θ)^TW，其中，“^T”表示向量转置，ξ(X,θ)为激活强度标准化后得到的强度向量，θ为二型模糊集合的中心及宽度参数向量，为区间权重构成的向量。

步骤(C)中难以规则化知识对二型模糊神经网络的输入输出构成约束，进而对二型模糊神经网络的参数构成约束，抽象化知识诱导的参数约束为θ∈Θ和W∈Ω，其中Θ和Ω是参数向量θ和W的可行范围。

步骤(2)中的结构自组织包括：

(21)初始化：利用知识诱导的二型模糊规则进行初始化；

(22)二型模糊规则生成：设定数据与二型模糊规则间的匹配标准及阈值，其中的匹配标准为距离度量；当数据输入时，计算其与已知二型模糊规则的匹配程度，若部分度量值在阈值内，将数据归类到最匹配二型模糊规则，并修改二型模糊规则的参数，在此过程中知识诱导二型模糊规则中的二型模糊集合及区间权重的中心保持不变；若度量值均不符合阈值条件，则返回步骤(21)，产生新的二型模糊规则；

(23)二型模糊规则合并：定义二型模糊规则间的距离度量及合并阈值ε，当存在二型模糊规则间的距离小于该阈值ε时，则进行二型模糊规则合并，在此过程中注意知识所形成的约束；

(24)二型模糊规则拆分：设定二型模糊规则拆分阈值δ，当某二型模糊规则中二型模糊集合宽度大于阈值δ时，将相应模糊集合的中心左、右移动δ，宽度变为原来的50％，实现二型模糊集合拆分，进而实现二型模糊规则的拆分；

(25)二型模糊规则修剪：在二型模糊规则生成过程中，若某二型模糊规则激活强度小于修剪阈值r，则对二型模糊规则进行删除，实现修剪，但知识诱导的二型模糊规则不修剪。

在步骤(21)～(25)中，通过结构自组织算法确定二型模糊集合参数，在步骤(2)中的参数自学习在参数约束下仅优化区间权重。

其中，多输入单输出的情况下，步骤(2)中参数自学习的具体方法是：

假定实际系统输入输出数据集为{X_l,y_l}_l＝1,…,L，其中L为数据个数，X_l为第l个输入数据向量，y_l为第l个数据的输出量；在输入X_l时，二型模糊神经网络的输出为y(X_l)＝ξ(X_l,θ₀)^TW，其中θ₀为由结构自组织方法确定的二型模糊集合的中心及宽度参数向量，区间权重向量为待优化参数；关于数据集的误差平方和E(W)为

其中Φ＝[ξ(X₁,θ₀),ξ(X₂,θ₀),…,ξ(X_L,θ₀)]^T,Y＝[y₁,y₂,…,y_L]^T，“^T”表示向量转置；

因此，参数自学习问题转化为下述约束优化问题

该问题为带约束的二次规划问题，采用active-set算法予以解决。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.知识在二型模糊神经网络中的嵌入方法，其特征在于，包括步骤：

(A)归类总结常见知识，并将其分类为可规则化知识和难以规则化知识，两者分别进入步骤(B)和(C)；

(B)可规则化知识转化为结构约束，即以神经节点的方式直接嵌入二型模糊神经网络；

(C)难以规则化知识通过满足二型模糊神经网络的参数的嵌入条件，形成参数约束公式，以参数约束的形式嵌入相关知识。

2.根据权利要求1所述的嵌入方法，其特征在于，步骤(A)中，所述常见知识包括经验知识、关于部分已知关系的语言描述、被辨识系统特性及要求以及被辨识系统局部行为知识；其中，被辨识系统特性及要求包括连续性、对称性、单调性、凹凸性和光滑性，被辨识系统局部行为知识包括插值点、极值点、边界、不动点和静态增益。

3.根据权利要求1所述的嵌入方法，其特征在于，步骤(B)的方法是：以二型模糊规则刻画可规则化知识的输入输出关系，将知识诱导的规则直接嵌入二型模糊神经网络。

4.根据权利要求1所述的嵌入方法，其特征在于，步骤(C)的方法是：通过对二型模糊神经网络的参数形成约束来实现知识的嵌入，分析二型模糊神经网络的输入输出关系表达式，并在此表达式的基础上进行理论分析，从而得到知识诱导的参数约束。

5.根据权利要求1所述的嵌入方法，其特征在于，步骤(C)中所采用的二型模糊神经网络包括输入层、二型模糊化层、规则层、降型和输出层；具体如下：

输入层分别为n个输入变量的取值x₁,x₂,…,x_n；

二型模糊化层将n个输入值进行二型模糊化，其中输入值x_i的二型模糊集合为 和二型模糊集合由步骤(B)中的可规则化知识诱导，二型模糊集合由后续结构自组织方法得到，i＝1,2,…,n；

规则层包括M条由知识所诱导的二型模糊规则和N条结构自组织方法得到的规则符号，分别赋值为：

如果x₁为x₂为为那么输出值y为

如果x₁为x₂为为那么输出值y为

其中，为区间权重，s＝1,…,M，t＝1,…,N，M,N分别为由知识诱导的和由结构自组织得到的二型模糊规则数，二型模糊规则的激活强度分别记为其中X＝(x₁,…,x_n)；

降型和输出层，采用Karnik-Mendel算法得输出值y(X)＝ξ(X,θ)^TW，其中，“T”表示向量转置，ξ(X,θ)为激活强度标准化后得到的强度向量，θ为二型模糊集合的中心及宽度参数向量，为区间权重构成的向量。

6.知识与数据混合驱动的二型模糊神经网络设计方法，其特征在于，包括步骤：

(1)按照权利要求1～5中任一项所述的嵌入方法实现知识在二型模糊神经网络中的嵌入；

(2)利用数据在步骤(1)的知识约束下进行结构自组织和参数自学习；

(3)进行性能验证，若二型模糊神经网络的输出与实际系统输出一致，则得到知识与数据混合驱动的二型模糊神经网络；若二型模糊神经网络的输出与实际系统输出不一致，则返回步骤(2)对结构自组织方法及参数自学习方法进行调整。

7.根据权利要求6所述的设计方法，其特征在于，步骤(2)中的结构自组织包括：

(21)初始化：利用知识诱导的二型模糊规则进行初始化；

(22)二型模糊规则生成：设定数据与二型模糊规则间的匹配标准及阈值，其中的匹配标准为距离度量；当数据输入时，计算其与已知二型模糊规则的匹配程度，若部分度量值在阈值内，将数据归类到最匹配二型模糊规则，并修改二型模糊规则的参数，在此过程中知识诱导二型模糊规则中的二型模糊集合及区间权重的中心保持不变；若度量值均不符合阈值条件，则返回步骤(21)，产生新的二型模糊规则；

(23)二型模糊规则合并：定义二型模糊规则间的距离度量及合并阈值ε，当存在二型模糊规则间的距离小于该阈值ε时，则进行二型模糊规则合并，在此过程中注意知识所形成的约束；

(24)二型模糊规则拆分：设定二型模糊规则拆分阈值δ，当某二型模糊规则中二型模糊集合宽度大于阈值δ时，将相应模糊集合的中心左、右移动δ，宽度变为原来的50％，实现二型模糊集合拆分，进而实现二型模糊规则的拆分；

(25)二型模糊规则修剪：在二型模糊规则生成过程中，若某二型模糊规则激活强度小于修剪阈值r，则对二型模糊规则进行删除，实现修剪，但知识诱导的二型模糊规则不修剪。

8.根据权利要求6所述的设计方法，其特征在于，在步骤(21)～(25)中，通过结构自组织算法确定二型模糊集合参数，在步骤(2)中的参数自学习在参数约束下仅优化区间权重。

9.根据权利要求6所述的设计方法，其特征在于，多输入单输出的情况下，步骤(2)中参数自学习的具体方法是：

假定实际系统输入输出数据集为{X_l,y_l}_l＝1,…,L，其中L为数据个数，X_l为第l个输入数据向量，y_l为第l个数据的输出量；在输入X_l时，二型模糊神经网络的输出为y(X_l)＝ξ(X_l,θ₀)^TW，其中θ₀为由结构自组织方法确定的二型模糊集合的中心及宽度参数向量，区间权重向量为待优化参数；关于数据集的误差平方和E(W)为

$E\left(W\right)=\frac{1}{2}\underset{l=1}{\overset{L}{\Σ}}{(\mathrm{\ξ}{\left(X_l,{\mathrm{\θ}}_0\right)}^{T}W-y_l)}^2=\frac{1}{2}{(Y-\mathrm{\Φ}W)}^T(Y-\mathrm{\Φ}W),$

其中Φ＝[ξ(X₁,θ₀),ξ(X₂,θ₀),…,ξ(X_L,θ₀)]^T,Y＝[y₁,y₂,…,y_L]^T，“T”表示向量转置；

因此，参数自学习问题转化为下述约束优化问题

$\underset{W}{min}\frac{1}{2}{(Y-\mathrm{\Φ}W)}^T(Y-\mathrm{\Φ}W),$

s.t.W∈Ω

该问题为带约束的二次规划问题，采用active-set算法予以解决。

10.知识与数据混合驱动的二型模糊神经网络，是由权利要求6～9中任一项所述的设计方法得到的。