CN105488564A - 一种神经网络知识表示方法 - Google Patents

一种神经网络知识表示方法 Download PDF

Info

Publication number
CN105488564A
CN105488564A CN201510828509.XA CN201510828509A CN105488564A CN 105488564 A CN105488564 A CN 105488564A CN 201510828509 A CN201510828509 A CN 201510828509A CN 105488564 A CN105488564 A CN 105488564A
Authority
CN
China
Prior art keywords
neural network
tag
label
network model
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510828509.XA
Other languages
English (en)
Inventor
林琳
郭丰
钟诗胜
王晨
谢晓龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201510828509.XA priority Critical patent/CN105488564A/zh
Publication of CN105488564A publication Critical patent/CN105488564A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3323—Design verification, e.g. functional simulation or model checking using formal methods, e.g. equivalence checking or property checking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种神经网络知识表示方法，定义当前表示方法对应的神经网络类型。仅包含BP神经网络模型和模糊神经网络模型。分解特定神经网络模型结构，并通过可扩展标记语言XML标签的方式加以表达。分离特定神经网络模型的结构标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中可包含其他标签。分离特定神经网络模型的信息标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中不可包含其他标签，但一定包含该标签所关联的信息值，关联后的根节点用来表示特定神经网络模型对应的一个完整知识。本发明实现了神经网络知识的表达与存储，能够有效支持复杂装备的设计过程。

Description

一种神经网络知识表示方法
技术领域
本发明涉及数字化技术领域，具体地说，涉及一种神经网络知识表示方法。
背景技术
数字化技术对导弹研制的推动作用主要体现在数字化设计技术、数字化验证技术和数字化制造技术方面，其中，数字化设计技术又包括三维建模技术、多学科设计优化技术、基于仿真的设计技术、数字样机技术和知识工程等。国内在导弹的数字化设计平台的研究方面取得了一定的进展。
美国标准和技术自然研究所关于产品设计的主要研究方向就是基于知识的产品数字化设计。2001年NASA的哥达德航天飞行中心建立了卫星快速开发部(RapidSpacecraftDevelopmentOffice,RSDO)其方法是联合NASA以外,包括欧洲的各大航天公司,建立型号型谱,到2008年完成三期平台建立，通过这些公用平台,RSDO可以根据用户需求在哥达德航天飞行中心的集成设计中心快速完成适应性修改。
为推行航空航天器的快速研制,欧洲航天局(ESA)从2004年开始着手建设设计资源中心(DesignResourceCenter,DRC),分成系统级、分系统级和设备级三个层次,建立产品型谱库。
在防空导弹的设计过程中，特别是结构部件设计过程中，有很多类型的知识，包括一些设计计算过程，专家的经验，设计规范等，这些都是关于导弹设计的知识，其对导弹的设计有着重要的影响。如何利用知识工程原理，将产品研发中长期积累的知识、专家经验、规则、规范要求和设计规律等提炼出来构成知识库，并通过对知识库中知识的运用支持产品的方案设计，以增强企业的研发能力，已经成了制约我国导弹产品设计全过程数字化的瓶颈问题。
发明内容
为了克服现有技术中存在的缺陷，本发明提出了一种神经网络知识表示方法，神经网络知识的表达，需要能够描述神经网络的结构和参数，即根据所表达的知识，不仅可以构建神经网络的结构，还可以确定神经网络的参数值，如每个神经元的激活函数，不同神经元之间的连接权重，每个神经元的阈值等。由于不同的神经网络具有不同的结构形式，因此，需要针对不同的神经网络，研究并设计相应的知识表达方法。
其技术方案如下：
一种神经网络知识表示方法，包括以下步骤：
步骤一：定义当前表示方法对应的神经网络类型。在本说明书中，仅包含BP神经网络模型和模糊神经网络模型。后续步骤拟统称特定神经网络模型。
步骤二：分解特定神经网络模型结构，并通过可扩展标记语言XML标签的方式加以表达。其中的标签包括用于描述网络内部结构的结构标签，以及用来表示网络各节点值信息的信息标签。
步骤三：分离特定神经网络模型的结构标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中可包含其他标签。
步骤四：分离特定神经网络模型的信息标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中不可包含其他标签，但一定包含该标签所关联的信息值，表示方法如<标签>信息值<\标签>。
步骤五：基于可扩展标记语言XML规则将所有标签关联起来。关联后的根节点用来表示特定神经网络模型对应的一个完整知识。
本发明的有益效果为：对特定神经网络模型加以分析，通过特定的知识表达方将模型中的知识分解并组织起来，为知识重用和进一步表达提供基础。
如前文所示，本发明针对不同神经网络的特点，提出了神经网络知识表达方法，实现了神经网络知识的表达与存储，能够有效支持复杂装备的设计过程。
附图说明
图1为神经网络知识表示方法的流程图：
图2为BP神经网络的结构形式；
图3为BP算法的流程图；
图4为BP神经网络知识表达方法；
图5为BP神经网络知识表达方法结构图；
图6为模糊神经网络结构图；
图7为过程神经网络算法流程图；
图8为模糊神经网络知识描述；
图9为模糊神经网络知识表达结构图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。
参照图1，一种神经网络知识表示方法，包括以下步骤：
步骤一：定义当前表示方法对应的神经网络类型。在本说明书中，仅包含BP神经网络模型和模糊神经网络模型。后续步骤拟统称特定神经网络模型。
步骤二：分解特定神经网络模型结构，并通过可扩展标记语言XML标签的方式加以表达。其中的标签包括用于描述网络内部结构的结构标签，以及用来表示网络各节点值信息的信息标签。
步骤三：分离特定神经网络模型的结构标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中可包含其他标签。
步骤四：分离特定神经网络模型的信息标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中不可包含其他标签，但一定包含该标签所关联的信息值，表示方法如<标签>信息值<\标签>。
步骤五：基于可扩展标记语言XML规则将所有标签关联起来。关联后的根节点用来表示特定神经网络模型对应的一个完整知识。
神经网络知识的表达，需要能够描述神经网络的结构和参数，即根据所表达的知识，不仅可以构建神经网络的结构，还可以确定神经网络的参数值，如每个神经元的激活函数，不同神经元之间的连接权重，每个神经元的阈值等。由于不同的神经网络具有不同的结构形式，因此，需要针对不同的神经网络，研究并设计相应的知识表达方法。下面针对两种不同的神经网络，对其知识表达方法进行描述。
(一)BP神经网络知识
BP(BackPropagation)网络是一种按误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存储大量的输入-输出模式映射关系，而且不需要事前揭示描述这种映射关系的数学方程。BP算法的学习规则是最速下降法，然后通过反向传播来不断的调整网络的权值和阈值，最终使网络的误差平方和最小。典型结构如图2所示。
BP神经网络的学习过程由信息的正向传播和误差的反向传播两个过程组成。输入层接收外来的输入信息，并传递给中间层的神经元；中间层神经元接收输入层传来的信息，经过神经元的计算，然后传给下一层；如果有多个中间层，则逐层传递，直到传递给输出层；输出层的计算结果便是实际输出。将实际输出与标准输出进行比较，求得误差平方和，然后利用最速下降法，根据误差来依次求输出层以及各个中间层权值和阈值的增量，从而对整个网络的权值和阈值进行调整，这样便完成了一次学习过程。如此不断往复，最终达到一定训练次数或误差小到容许的范围内便停止学习，网络训练结束。算法流程如图3所示。
BP神经网络有着较强的功能和广泛的应用。可以用作分类、聚类以及预测等。神经网络需要有一定数量的历史数据作为训练样本，通过利用这些样本对神经网络进行训练，网络可以学习到数据中隐含的知识或模式。BP神经网络就是一个黑箱系统，已知输入和输出，用BP神经网络来模拟输入和输出之间的映射关系，只不过这些输入和输出都是离散的数字量。因此，在训练过程中，知识表示能够有效将BP神经网络结构加以表示，从而为其他计算过程提供必要的基础。
针对BP神经网络的结构和算法流程的特点，BP神经网络的典型知识表达方式应该如图4所示。
如图4所示，BP神经网络的知识表示包括权重、阈值、训练函数三部分。权重用于存储输入层到隐含层与隐含层到输出层的权重；阈值则是分别存储隐含层神经元与输出层神经元的阈值；训练函数则是用于存储隐含层与输出层的训练函数。具体的标签语法及其含义如表1所示。
表1BP神经网络表示标签涵义说明
所有标签的层次关系如图5所示。
说明：类似的，图5中的“1:1”表示父标签与子标签是一对一的关系，即一个父标签下，只能有一个该子标签；图中“1:m”表示父标签与子标签是一对多的关系，即一个父标签下，可以有任意有限个该子标签。
(二)模糊神经网络知识
人工神经网络是属于人工智能范畴的一种计算技术，它根据人们对生物神经网络的研究成果设计出来，具有良好的数学描述，可以方便的用计算机程序加以模拟。作为一种具有高度非线性映射能力的计算模型，它己被广泛应用于模式识别、自动控制等诸多领域。模糊技术以模糊逻辑为基础，能模仿人的模糊综合判断推理来处理常规方法难以解决的模糊信息处理的难题。二者各有优点，它们的结合始于1988年，其基本的结合方式包括：以模糊算子代替神经网络中的神经元传递函数、采用模糊参数作为神经网络的权值、采用模糊变量作为神经网络的输入信号等。其结构如图6所示。
整个模糊神经网络由多个BP神经网络组成。假设样本经过处理后，有n条模糊规则，那么，模糊神经网络便总共由n+1个BP神经网络组成。其中，有n个BP神经网络模拟n条模糊规则，如图中所示的NN1到NNn，它们每一个都是普通的BP神经网络。剩下的一个BP神经网络为隶属度网络NNmf，其作用是为每条模糊规则分配隶属度。根据各个BP神经网络的功能不同，其输出形式也不相同。所有的神经网络的输入都是一样的，均为样本的输入形式，但是输出不同。代表模糊规则的NN1到NNn的输出g1到gn为样本的输出形式，而隶属度网络NNmf的输出则为所有模糊规则的隶属度。即有多少条模糊规则，便有多少个输出值。图中所示，隶属度网络NNmf的输出为m维向量，其形式为[μ1,μ2,…,μm]，μi代表第i条模糊规则的隶属度。假设某一个输入属于第s条模糊规则，则NNmf网络的输出向量为[μ1,…,μs-1,μs,μs+1…,μm]＝[0,…,0,1,0,…,0]，即第μs为1，其余的均为0。得到各个神经网络的输出值后，便可以计算整个模糊神经网络的输出值。如图所示，整个模糊神经网络的输出值为每条模糊规则的输出乘以该条模糊规则的隶属度，然后求和即可，即为了进一步说明过程神经网络的工作原理，其流程如图7所示。
模糊神经网络可用于模糊回归、模糊控制器、模糊专家系统、模糊频谱分析、模糊矩阵方程、通用逼近器等。模糊神经网络结合了神经网络系统和模糊系统的长处，它在处理非线性、模糊性等问题上有很大的优越性，在智能信息处理方面存在巨大的潜力。
过程神经网络知识的表达方式如图8所示。
如图8所示，模糊神经网络的知识表达方法中包括两部分，分别为NNmf神经网络参数部分和规则神经网络参数部分。如前文所述，NNmf神经网络用于给不同的规则神经网络分配权重，规则神经网络部分包括所有的规则神经网络，每一个神经网络代表一条规则。对于NNmf神经网络和每一个规则神经网络，都可以转换为一个BP神经网络，因此，对于每一个神经网络的表达方式，与BP神经网络类似。模糊神经网络知识表达方法中定义的标签及其含义，如表2所示。
表2BP神经网络表示标签涵义说明
上面表格给出了模糊神经网络知识中所有标签的名称及含义，具体的层次关系如图9所示。
图9中描述了模糊神经网络知识表达的结构，由图中可以看出，模糊神经网络由一个NNmf神经网络和任意有限多个规则神经网络共同组成，每一个都是一个BP神经网络。这样，通过定义的标签及其结构关系，可以清晰准确的描述模糊神经网络知识。
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (1)

1.一种神经网络知识表示方法，其特征在于，包括以下步骤：
步骤一：定义当前表示方法对应的神经网络类型；在本说明书中，仅包含BP神经网络模型和模糊神经网络模型；后续步骤拟统称特定神经网络模型；
步骤二：分解特定神经网络模型结构，并通过可扩展标记语言XML标签的方式加以表达；其中的标签包括用于描述网络内部结构的结构标签，以及用来表示网络各节点值信息的信息标签；
步骤三：分离特定神经网络模型的结构标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中包含其他标签；
步骤四：分离特定神经网络模型的信息标签，标签格式分为起始标签<标签>和结束标签<\标签>表示，标签对中不能包含其他标签，但一定包含该标签所关联的信息值，表示方法为<标签>信息值<\标签>；
步骤五：基于可扩展标记语言XML规则将所有标签关联起来；关联后的根节点用来表示特定神经网络模型对应的一个完整知识。
CN201510828509.XA 2015-11-25 2015-11-25 一种神经网络知识表示方法 Pending CN105488564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510828509.XA CN105488564A (zh) 2015-11-25 2015-11-25 一种神经网络知识表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510828509.XA CN105488564A (zh) 2015-11-25 2015-11-25 一种神经网络知识表示方法

Publications (1)

Publication Number Publication Date
CN105488564A true CN105488564A (zh) 2016-04-13

Family

ID=55675534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510828509.XA Pending CN105488564A (zh) 2015-11-25 2015-11-25 一种神经网络知识表示方法

Country Status (1)

Country Link
CN (1) CN105488564A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096723A (zh) * 2016-05-27 2016-11-09 北京航空航天大学 一种基于混合神经网络算法的用于复杂工业产品性能评估方法
CN107817204A (zh) * 2017-11-01 2018-03-20 中国科学院地质与地球物理研究所 一种页岩微米孔隙结构分析方法及装置
CN109598337A (zh) * 2018-12-05 2019-04-09 河南工业大学 分解模糊神经网络优化方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096723A (zh) * 2016-05-27 2016-11-09 北京航空航天大学 一种基于混合神经网络算法的用于复杂工业产品性能评估方法
CN106096723B (zh) * 2016-05-27 2018-10-30 北京航空航天大学 一种基于混合神经网络算法的用于复杂工业产品性能评估方法
CN107817204A (zh) * 2017-11-01 2018-03-20 中国科学院地质与地球物理研究所 一种页岩微米孔隙结构分析方法及装置
CN107817204B (zh) * 2017-11-01 2018-12-28 中国科学院地质与地球物理研究所 一种页岩微米孔隙结构分析方法及装置
CN109598337A (zh) * 2018-12-05 2019-04-09 河南工业大学 分解模糊神经网络优化方法及装置
CN109598337B (zh) * 2018-12-05 2021-02-02 河南工业大学 基于分解模糊神经网络的二氧化硫浓度预测方法

Similar Documents

Publication Publication Date Title
Windarto et al. Implementation of artificial intelligence in predicting the value of Indonesian oil and gas exports with BP algorithm
Wen et al. Big data driven marine environment information forecasting: a time series prediction network
Yu et al. Data mining-assisted short-term wind speed forecasting by wavelet packet decomposition and Elman neural network
Wu et al. Evolving RBF neural networks for rainfall prediction using hybrid particle swarm optimization and genetic algorithm
CN111143536B (zh) 基于人工智能的信息抽取方法及存储介质和相关装置
CN106779087A (zh) 一种通用机器学习数据分析平台
CN105631479A (zh) 基于非平衡学习的深度卷积网络图像标注方法及装置
CN102117281B (zh) 一种构建领域本体的方法
CN110516245A (zh) 细粒度情感分析方法、装置、计算机设备及存储介质
CN108197294A (zh) 一种基于深度学习的文本自动生成方法
CN112100383A (zh) 一种面向多任务语言模型的元-知识微调方法及平台
CN101782976A (zh) 一种云计算环境下机器学习自动选择方法
CN102622609B (zh) 一种基于支持向量机的三维模型自动分类方法
CN105488564A (zh) 一种神经网络知识表示方法
CN101833691A (zh) 一种基于fpga的最小二乘支持向量机串行结构实现方法
CN108363685B (zh) 基于递归变分自编码模型的自媒体数据文本表示方法
CN108628959A (zh) 一种基于交通大数据的本体构建方法
Han et al. A Hybrid BPNN-GARF-SVR PredictionModel Based on EEMD for Ship Motion.
Zhai et al. Combining PSO-SVR and Random Forest Based Feature Selection for Day-ahead Peak Load Forecasting.
Kumar Improved Prediction of Wind Speed using Machine Learning.
CN108280095A (zh) 智能虚拟客服系统
CN102270190B (zh) 一种复杂决策问题的计算机建模与求解处理方法
CN112256869B (zh) 一种基于题意文本的同知识点试题分组系统和方法
Kocak A new high order fuzzy ARMA time series forecasting method by using neural networks to define fuzzy relations
CN115309858A (zh) 算术表达式的生成方法、装置、设备、介质及产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160413