CN110532545A - 一种基于复合神经网络建模的数据信息抽取方法 - Google Patents
一种基于复合神经网络建模的数据信息抽取方法 Download PDFInfo
- Publication number
- CN110532545A CN110532545A CN201910665705.8A CN201910665705A CN110532545A CN 110532545 A CN110532545 A CN 110532545A CN 201910665705 A CN201910665705 A CN 201910665705A CN 110532545 A CN110532545 A CN 110532545A
- Authority
- CN
- China
- Prior art keywords
- neural network
- module
- complex neural
- data information
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 28
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 210000002569 neuron Anatomy 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 150000001875 compounds Chemical class 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 17
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 201000003373 familial cold autoinflammatory syndrome 3 Diseases 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006854 communication Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种基于复合神经网络建模的数据信息抽取方法，方法步骤包括：建立训练模块和复合神经网络模型；利用训练模块对复合神经网络模型进行训练；收集数据信息，构建数据库模块；利用优化的复合神经网络模型对数据库模块进行信息抽取。本发明在BP和CNN的复合神经网络模型的基础上，对信息进行抽取，两者的配合、互补，使得信息抽取准确性高，速度快，满足当前对信息抽取的需求。
Description
技术领域
本发明涉及数据信息抽取领域，尤其涉及一种基于复合神经网络建模的数据信息抽取方法。
背景技术
人工神经网络，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。最近十多年来，人工神经网络的研究工作不断深入，已经取得了很大的进展，其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性，人工神经网络的种类也逐渐多样，其中BP和CNN应用最为广泛。
其中BP是一种按误差反向传播训练的多层前馈网络，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小；CNN是一类包含卷积计算且具有深度结构的前馈神经网络，仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得CNN能够以较小的计算量对格点化特征。但两种神经网络单独使用时，仍然具有一定的局限性，比如在对数据信息抽取时，单独的一种神经网络模型的准确性和高效性已经不能满足人们的需求。
为解决上述问题，本申请中提出一种基于复合神经网络建模的数据信息抽取方法。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题，本发明提出一种基于复合神经网络建模的数据信息抽取方法，本发明在BP和CNN的复合神经网络模型的基础上，对信息进行抽取，两者的配合、互补，使得信息抽取准确性高，速度快，满足当前对信息抽取的需求。
(二)技术方案
为解决上述问题，本发明提供了一种基于复合神经网络建模的数据信息抽取方法，包括如下步骤：
S1、建立训练模块和复合神经网络模型，其中复合神经网络模型由CNN和 BP复合构成；
S2、利用训练模块对复合神经网络模型进行训练，得到优化的复合神经网络模型；其中优化的复合神经网络模型包括输入模块、隐模块和输出模块；
S3、收集数据信息，构建数据库模块；
S4、利用优化的复合神经网络模型对数据库模块进行信息抽取；抽取过程为：
a1、通过输入模块向优化的复合神经网络模型下达指令信号；
a2、信号输送至隐模块，并沿正方向在神经元之间逐级传递；
a3、若在传递过程中得到匹配的数据信息，输出模块将数据信息调出，结束工作过程；
a4、若信号传递至神经网络的底端，仍未得到匹配数据信息，则转入反向传播，信号沿原路径返回；返回过程中，修改各级神经元的权值和阈值，减小信号误差；
a5、信号不断沿正反方向往返在各级神经元之间，并同时修改各级神经元的权值和阈值，直至得到匹配的数据信息，输出模块将数据信息调出，结束工作过程。
优选的，在S2中，利用训练模块对复合神经网络模型进行训练包括信号的前向传播和误差的反向传播两个过程。
优选的，计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行；正向传播时，输入模块输入信号，通过隐模块作用于输出节点，经过非线性变换，通过输出模块产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程；误差反传是将输出误差通过隐模块向输入模块逐层反传，并将误差分摊给各层所有神经元，从各层神经元获得的误差信号，调整各神经元的权值和阈值。通过调整输入模块节点与隐模块节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。
优选的，隐模块中设置有卷积层。
优选的，用于对输入数据进行特征提取的卷积层，其内部包含多个卷积核；卷积核在工作时，对输入特征做矩阵元素乘法求和并叠加偏差量，计算函数为
其中b为偏差量，Zl和Zl+1表示第l+1层的卷积输入和输出，也被称为特征图，Ll+1为Zl+1的尺寸，这里假设特征图长宽相同，Z(i，j)对应特征图的像素，K为特征图的通道数，f、s0和p是卷积层参数，对应卷积核大小、卷积步长和填充层数。
本发明的上述技术方案具有如下有益的技术效果：
本发明在BP和CNN的复合神经网络模型的基础上，对信息进行抽取，其中BP是一种按误差反向传播训练的多层前馈网络，它的基本思想是梯度下降法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差为最小；CNN是一类包含卷积计算且具有深度结构的前馈神经网络，仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得CNN能够以较小的计算量对格点化特征；两者的配合、互补，使得信息抽取准确性高，速度快，满足当前对信息抽取的需求。
附图说明
图1为本发明提出的一种基于复合神经网络建模的数据信息抽取方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明提出的一种基于复合神经网络建模的数据信息抽取方法，包括如下步骤：
S1、建立训练模块和复合神经网络模型，其中复合神经网络模型由CNN和 BP复合构成；
S2、利用训练模块对复合神经网络模型进行训练，得到优化的复合神经网络模型；其中优化的复合神经网络模型包括输入模块、隐模块和输出模块；
S3、收集数据信息，构建数据库模块；
S4、利用优化的复合神经网络模型对数据库模块进行信息抽取；抽取过程为：
a1、通过输入模块向优化的复合神经网络模型下达指令信号；
a2、信号输送至隐模块，并沿正方向在神经元之间逐级传递；
a3、若在传递过程中得到匹配的数据信息，输出模块将数据信息调出，结束工作过程；
a4、若信号传递至神经网络的底端，仍未得到匹配数据信息，则转入反向传播，信号沿原路径返回；返回过程中，修改各级神经元的权值和阈值，减小信号误差；
a5、信号不断沿正反方向往返在各级神经元之间，并同时修改各级神经元的权值和阈值，直至得到匹配的数据信息，输出模块将数据信息调出，结束工作过程。
在一个可选的实施例中，在S2中，利用训练模块对复合神经网络模型进行训练包括信号的前向传播和误差的反向传播两个过程。
在一个可选的实施例中，计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行；正向传播时，输入模块输入信号，通过隐模块作用于输出节点，经过非线性变换，通过输出模块产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程；误差反传是将输出误差通过隐模块向输入模块逐层反传，并将误差分摊给各层所有神经元，从各层神经元获得的误差信号，调整各神经元的权值和阈值。通过调整输入模块节点与隐模块节点的联接强度以及阈值，使误差沿梯度方向下降，经过反复学习训练，确定与最小误差相对应的网络参数(权值和阈值)，训练即告停止。
在一个可选的实施例中，隐模块中设置有卷积层。
在一个可选的实施例中，用于对输入数据进行特征提取的卷积层，其内部包含多个卷积核；卷积核在工作时，对输入特征做矩阵元素乘法求和并叠加偏差量，计算函数为
其中b为偏差量，Zl和Zl+1表示第l+1层的卷积输入和输出，也被称为特征图，Ll+1为Zl+1的尺寸，这里假设特征图长宽相同，Z(i，j)对应特征图的像素，K为特征图的通道数，f、s0和p是卷积层参数，对应卷积核大小、卷积步长和填充层数。
本发明中，在BP和CNN的复合神经网络模型的基础上，对信息进行抽取， 其中BP是一种按误差反向传播训练的多层前馈网络，它的基本思想是梯度下降 法，利用梯度搜索技术，以期使网络的实际输出值和期望输出值的误差均方差 为最小；CNN是一类包含卷积计算且具有深度结构的前馈神经网络，仿造生物的 视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数 共享和层间连接的稀疏性使得CNN能够以较小的计算量对格点化特征；两者的 配合、互补，使得信息抽取准确性高，速度快，满足当前对信息抽取的需求。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (5)
1.一种基于复合神经网络建模的数据信息抽取方法，其特征在于，包括如下步骤：
S1、建立训练模块和复合神经网络模型，其中复合神经网络模型由CNN和BP复合构成；
S2、利用训练模块对复合神经网络模型进行训练，得到优化的复合神经网络模型；其中优化的复合神经网络模型包括输入模块、隐模块和输出模块；
S3、收集数据信息，构建数据库模块；
S4、利用优化的复合神经网络模型对数据库模块进行信息抽取；抽取过程为：
a1、通过输入模块向优化的复合神经网络模型下达指令信号；
a2、信号输送至隐模块，并沿正方向在神经元之间逐级传递；
a3、若在传递过程中得到匹配的数据信息，输出模块将数据信息调出，结束工作过程；
a4、若信号传递至神经网络的底端，仍未得到匹配数据信息，则转入反向传播，信号沿原路径返回；返回过程中，修改各级神经元的权值和阈值，减小信号误差；
a5、信号不断沿正反方向往返在各级神经元之间，并同时修改各级神经元的权值和阈值，直至得到匹配的数据信息，输出模块将数据信息调出，结束工作过程。
2.根据权利要求1所述的一种基于复合神经网络建模的数据信息抽取方法，其特征在于，在S2中，利用训练模块对复合神经网络模型进行训练包括信号的前向传播和误差的反向传播两个过程。
3.根据权利要求2所述的一种基于复合神经网络建模的数据信息抽取方法，其特征在于，计算误差输出时按从输入到输出的方向进行，而调整权值和阈值则从输出到输入的方向进行；正向传播时，输入模块输入信号，通过隐模块作用于输出节点，经过非线性变换，通过输出模块产生输出信号，若实际输出与期望输出不相符，则转入误差的反向传播过程；误差反传是将输出误差通过隐模块向输入模块逐层反传，并将误差分摊给各层所有神经元，从各层神经元获得的误差信号，调整各神经元的权值和阈值。
4.根据权利要求1所述的一种基于复合神经网络建模的数据信息抽取方法，其特征在于，隐模块中设置有卷积层。
5.根据权利要求4所述的一种基于复合神经网络建模的数据信息抽取方法，其特征在于，用于对输入数据进行特征提取的卷积层，其内部包含多个卷积核；卷积核在工作时，对输入特征做矩阵元素乘法求和并叠加偏差量，计算函数为
其中b为偏差量，Zl和Zl+1表示第l+1层的卷积输入和输出，也被称为特征图，Ll+1为Zl+1的尺寸，这里假设特征图长宽相同，Z(i，j)对应特征图的像素，K为特征图的通道数，f、s0和p是卷积层参数，对应卷积核大小、卷积步长和填充层数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665705.8A CN110532545A (zh) | 2019-07-23 | 2019-07-23 | 一种基于复合神经网络建模的数据信息抽取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910665705.8A CN110532545A (zh) | 2019-07-23 | 2019-07-23 | 一种基于复合神经网络建模的数据信息抽取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110532545A true CN110532545A (zh) | 2019-12-03 |
Family
ID=68661714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910665705.8A Pending CN110532545A (zh) | 2019-07-23 | 2019-07-23 | 一种基于复合神经网络建模的数据信息抽取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110532545A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831657A (zh) * | 2020-06-28 | 2020-10-27 | 苏州市测绘院有限责任公司 | 一种水准测量数据实时处理方法 |
| CN111881034A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种基于距离的对抗样本生成方法 |
| CN113177997A (zh) * | 2021-04-25 | 2021-07-27 | 上海雷鸣文化传播有限公司 | 一种基于神经网络图形算法实现水墨效果渲染的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7069256B1 (en) * | 2002-05-23 | 2006-06-27 | Oracle International Corporation | Neural network module for data mining |
| CN106845478A (zh) * | 2016-12-30 | 2017-06-13 | 同观科技（深圳）有限公司 | 一种字符置信度的二次车牌识别方法及装置 |
| CN108460742A (zh) * | 2018-03-14 | 2018-08-28 | 日照职业技术学院 | 一种基于bp神经网络的图像复原方法 |
-
2019
- 2019-07-23 CN CN201910665705.8A patent/CN110532545A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7069256B1 (en) * | 2002-05-23 | 2006-06-27 | Oracle International Corporation | Neural network module for data mining |
| CN106845478A (zh) * | 2016-12-30 | 2017-06-13 | 同观科技（深圳）有限公司 | 一种字符置信度的二次车牌识别方法及装置 |
| CN108460742A (zh) * | 2018-03-14 | 2018-08-28 | 日照职业技术学院 | 一种基于bp神经网络的图像复原方法 |
Non-Patent Citations (1)
| Title |
|---|
| 姚红革等: "基于小波分析和BP神经网络的图像特征提取", 《西安工业大学学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831657A (zh) * | 2020-06-28 | 2020-10-27 | 苏州市测绘院有限责任公司 | 一种水准测量数据实时处理方法 |
| CN111881034A (zh) * | 2020-07-23 | 2020-11-03 | 深圳慕智科技有限公司 | 一种基于距离的对抗样本生成方法 |
| CN113177997A (zh) * | 2021-04-25 | 2021-07-27 | 上海雷鸣文化传播有限公司 | 一种基于神经网络图形算法实现水墨效果渲染的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107247989A (zh) | 一种神经网络训练方法及装置 | |
| CN104978580B (zh) | 一种用于无人机巡检输电线路的绝缘子识别方法 | |
| CN110532545A (zh) | 一种基于复合神经网络建模的数据信息抽取方法 | |
| CN105160400B (zh) | 基于l21范数的提升卷积神经网络泛化能力的方法 | |
| CN110060475A (zh) | 一种基于深度强化学习的多交叉口信号灯协同控制方法 | |
| CN107358293A (zh) | 一种神经网络训练方法及装置 | |
| CN109241291A (zh) | 基于深度强化学习的知识图谱最优路径查询系统及其方法 | |
| CN110223517A (zh) | 基于时空相关性的短时交通流量预测方法 | |
| CN106558058A (zh) | 分割模型训练方法、道路分割方法、车辆控制方法及装置 | |
| CN109492556A (zh) | 面向小样本残差学习的合成孔径雷达目标识别方法 | |
| CN106650725A (zh) | 基于全卷积神经网络的候选文本框生成和文本检测方法 | |
| CN104217214A (zh) | 基于可配置卷积神经网络的rgb-d人物行为识别方法 | |
| CN109063569A (zh) | 一种基于遥感影像的语义级变化检测方法 | |
| CN109817276A (zh) | 一种基于深度神经网络的蛋白质二级结构预测方法 | |
| CN108021947A (zh) | 一种基于视觉的分层极限学习机目标识别方法 | |
| CN108629288A (zh) | 一种手势识别模型训练方法、手势识别方法及系统 | |
| CN108710906A (zh) | 基于轻量级网络LightPointNet的实时点云模型分类方法 | |
| CN107944386A (zh) | 基于卷积神经网络的视觉场景识别方法 | |
| CN109101629A (zh) | 一种基于深度网络结构和节点属性的网络表示方法 | |
| CN109241995A (zh) | 一种基于改进型ArcFace损失函数的图像识别方法 | |
| CN111488498A (zh) | 基于图神经网络的“节点-图”跨层图匹配方法及系统 | |
| CN110289987B (zh) | 基于表征学习的多智能体系统网络抗攻击能力评估方法 | |
| CN106650918B (zh) | 构建系统模型的方法和装置 | |
| Pérez et al. | Physics-Informed Long-Short Term Memory Neural Network Performance on Holloman High-Speed Test Track Sled Study | |
| CN106896724A (zh) | 用于太阳跟踪器的跟踪系统及跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220913 Address after: 361000 units 1702 and 1703, No. 59, Chengyi North Street, phase III, software park, Xiamen, Fujian Applicant after: XIAMEN USEEAR INFORMATION TECHNOLOGY Co.,Ltd. Address before: Unit 1701, unit 1704, No. 59, Chengyi North Street, phase III, software park, Xiamen City, Fujian Province, 361000 Applicant before: FUJIAN QIDIAN SPACE-TIME DIGITAL TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191203 |
|
| RJ01 | Rejection of invention patent application after publication |