CN113569055B - 基于遗传算法优化神经网络的露天矿知识图谱构建方法 - Google Patents
基于遗传算法优化神经网络的露天矿知识图谱构建方法 Download PDFInfo
- Publication number
- CN113569055B CN113569055B CN202110843700.7A CN202110843700A CN113569055B CN 113569055 B CN113569055 B CN 113569055B CN 202110843700 A CN202110843700 A CN 202110843700A CN 113569055 B CN113569055 B CN 113569055B
- Authority
- CN
- China
- Prior art keywords
- bilstm
- model
- individual
- data set
- strip mine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002068 genetic effect Effects 0.000 title claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 24
- 238000010276 construction Methods 0.000 title claims abstract description 14
- 238000005457 optimization Methods 0.000 title claims description 18
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000035772 mutation Effects 0.000 claims description 24
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 10
- 230000002265 prevention Effects 0.000 claims description 5
- 210000000349 chromosome Anatomy 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000001172 regenerating effect Effects 0.000 claims description 2
- 238000013097 stability assessment Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 description 9
- 238000012795 verification Methods 0.000 description 6
- 239000012634 fragment Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 101100129590 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcp5 gene Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009401 outcrossing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Physiology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Animal Behavior & Ethology (AREA)
- Genetics & Genomics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于遗传算法优化神经网络的露天矿知识图谱构建方法，属于露天矿山稳定性评估技术领域。包括：获取露天矿灾害相关数据并对其进行处理构建命名实体识别数据集；利用遗传算法对现有BERT‑BILSTM‑CRF模型进行优化，并利用命名实体识别数据集中的数据训练优化的BERT‑BILSTM‑CRF模型，获得命名实体识别模型；构建关系抽取标注数据集；利用遗传算法对现有BILSTM模型进行优化，并利用关系抽取标注数据集中的数据训练优化的BILSTM模型，获得关系抽取模型；将待抽取的露天矿灾害相关数据依次输入到命名实体识别模型和关系抽取模型进行实体关系抽取得到三元组，并存入Neo4j图数据库，构建露天矿知识图谱。该方法能够兼顾上下文信息，能够搭建露天矿稳定性领域高质量的知识图谱。
Description
技术领域
本发明属于露天矿山稳定性评估技术领域，具体涉及一种基于遗传算法优化神经网络的露天矿知识图谱构建方法。
背景技术
露天矿边坡稳定性是露天开采领域研究的关键问题。如何针对不同的露天矿提出合理的边坡设计及稳定性控制方案，是采矿工程科学技术人员亟待解决的问题。露天矿边坡稳定性受多种因素的影响，灾害模式也比较复杂。露天矿边坡安全设计、管理和灾害预警防控目前存在诸多问题。大量的类比案例没有形成数据库和深度分析归纳，缺乏智能化的分析理论，或者给矿山的生产带来安全隐患，或者导致成本增加。因此需要构建案例库、知识库和专家系统，建立一种灾害多因素多模式识别数学模型例如深度学习知识图谱开展分析案例，进行案例聚类和模式匹配。
构建露天矿稳定性领域的灾害多因素模式的知识图谱的难点在于如何高效、高质量、快速地搭建。由于目前对矿业信息的获取大多来源于非结构的文本数据，所以想要搭建高质量的知识图谱就需要从非结构的文本数据中获取到准确的实体、关系和属性。准确地获取实体、关系和属性取决于命名实体识别模型和关系抽取模型的好坏。因此，设计出好的神经网络模型是非常关键的。神经网络模型的结构和超参数对模型效果起着关键的作用，大多数神经网络模型的结构和超参数都是通过手动设计的，对于没有专业知识的人员来说，很难设计出最佳的神经网络模型。
发明内容
针对现有技术中存在的问题，本发明提供一种基于遗传算法优化神经网络的露天矿知识图谱构建方法。
本发明的技术方案是：
一种基于遗传算法优化神经网络的露天矿知识图谱构建方法，该方法包括如下步骤：
步骤1：获取露天矿灾害相关数据，包括灾害发生的原因、灾害发生的形式、灾害治理措施，灾害预防措施；
步骤2：对露天矿灾害相关数据进行处理，构建命名实体识别数据集；
步骤3：利用遗传算法对现有的BERT-BILSTM-CRF模型的结构和超参数进行优化，并利用所述命名实体识别数据集中的数据训练优化的BERT-BILSTM-CRF模型，获得命名实体识别模型；
步骤4：根据所述露天矿灾害相关数据和所述命名实体识别模型，构建关系抽取标注数据集；
步骤5：利用遗传算法对现有的BILSTM模型的结构和超参数进行优化，并利用所述关系抽取标注数据集中的数据训练优化的BILSTM模型，获得关系抽取模型；
步骤6：将待抽取的露天矿灾害相关数据依次输入到所述命名实体识别模型和所述关系抽取模型进行实体关系抽取得到三元组，并存入Neo4j图数据库，构建露天矿知识图谱。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述对露天矿灾害相关数据进行处理，构建命名实体识别数据集的方法为：首先过滤掉露天矿灾害相关数据中的无效词汇以及敏感词汇；然后将数据处理为单个字存入数据集Word中；再然后采用BIO标注方式对数据集Word中的每个字分别标注，标签存入数据集Label中；最后将数据集Word中的每个字和数据集Label中与数据集Word中的每个字对应的标签分别打包成元组后组合在一起构成命名实体识别数据集。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述步骤3包括如下具体步骤：
步骤3.1：为现有的BERT－BILSTM－CRF模型的每一个超参数设置初始化范围；
步骤3.2：设置遗传算法的最大迭代次数与设置种群规模；
步骤3.3：初始化个体：随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体；
步骤3.4：通过构建与每个个体相对应的BERT-BILSTM-CRF模型确定每个个体的适应度；
步骤3.5：根据每个个体的适应度，采用锦标赛选择算法选择出预设数量的优秀个体进入下一代；
步骤3.6：每次从优秀个体中选择两个个体进行交叉操作；
步骤3.7：对交叉操作后得到的新个体进行突变操作；
步骤3.8：重复执行步骤3.4至步骤3.7，直到达到最大迭代次数，选取最大的适应度对应的BERT-BILSTM-CRF模型，获得命名实体识别模型。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述BERT－BILSTM－CRF模型的超参数包括结构超参数和训练超参数，其中结构超参数包括BILSTM层数和BILSTM隐藏层神经元数量，训练超参数包括时期epochs、批大小batchsize、学习率和优化器。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述确定每个个体的适应度的方法为：在确定每个个体的适应度时，首先将个体中的数值解析成BERT-BILSTM-CRF模型对应部分的超参数，根据解析出的超参数及其对应的数值构建出与每个个体相对应的BERT-BILSTM-CRF模型；然后，利用命名实体识别数据集中的数据对每个个体所对应的BERT-BILSTM-CRF模型进行训练、验证与测试，每个个体所对应的BERT-BILSTM-CRF模型测试后都会得到F1值，将每个F1值作为对应个体的适应度。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述每次从优秀个体中选择两个个体进行交叉操作的方法为：采用两点交叉方式，随机生成两个交叉点作为个体交叉的开始位置和个体交叉的结束位置，然后对在两个交叉点之间的部分染色体进行交叉操作。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述对交叉操作后的新个体进行突变操作的方法为：首先设置个体中每个对应位置的超参数的突变概率为P、针对每个对应位置的超参数生成一个[0,1]的随机数，如果生成的随机数小于或者等于P，则对当前位置的超参数进行突变操作，突变方式为从预设的每一个超参的初始化范围内重新生成一个随机数代替当前位置的超参数值；如果生成的随机数大于P，则不对当前位置的超参数进行突变操作。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述步骤4包括如下具体步骤：
步骤4.1：将露天矿灾害相关数据中的文本拆分成单个句子得到相应的句子数据集Sentence＝{sentence1,sentence2,sentence3,......,sentencem}，m表示句子的个数；
步骤4.2：通过调用命名实体识别模型识别句子数据集Sentence中的实体得到实体数据集Entity；
步骤4.3：手动抽取句子数据集Sentence中实体之间的关系得到关系数据集Relation；
步骤4.4：将Entity，Relation，Sentence合并得到关系抽取标注数据集Relation-Data＝{[entity1,relation1,sentence1],[entity2,relation2,sentence2],[entity3,relation3,senten-ce3],……,[entitym,relationm,sentencem]}，其中m表示句子的个数。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述步骤5包括如下具体步骤：
步骤5.1：为现有的BILSTM模型的每一个超参数设置初始化范围；
步骤5.2：设置遗传算法的最大迭代次数与设置种群规模；
步骤5.3：初始化个体：随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体；
步骤5.4：通过构建与每个个体相对应的BILSTM模型确定每个个体的适应度；
步骤5.5：根据每个个体的适应度，采用锦标赛选择算法选择出预设数量的优秀个体进入下一代；
步骤5.6：每次从优秀个体中选择两个个体进行交叉操作；
步骤5.7：对交叉操作后得到的新个体进行突变操作；
步骤5.8：重复执行步骤5.4至步骤5.7，直到达到最大迭代次数，选取最大的适应度对应的BERT-BILSTM-CRF模型，获得命名实体识别模型。
进一步地，根据所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，所述BILSTM模型的超参数包括结构超参数和训练超参数，其中结构超参数包括BILSTM层数和BILSTM隐藏层神经元数量，训练超参数包括时期epochs、批大小batch size、学习率和优化器。
本发明采用以上技术方案，具有以下有益效果：本方法针对手动设计神经网络模型结构和超参数方面的困难，将遗传算法与BERT-BILSTM-CRF模型、BILSTM模型相结合，进行模型超参数自动优化和选择，有效提高了模型的精度，经过多次迭代，得到最优的BERT-BILSTM-CRF模型作为命名实体识别模型和最优的BILSTM模型作为关系抽取模型。根据命名实体识别模型和关系抽取模型实现在露天矿文本数据中抽取实体关系，从而有效建立三元组，进而构建露天矿知识图谱。该方法能够兼顾上下文信息，增强泛化能力，能够搭建露天矿稳定性领域高质量的知识图谱。
附图说明
图1为本实施方式的基于遗传算法优化神经网络的露天矿知识图谱构建方法的流程示意图；
图2为本实施方式中利用遗传算法和现有的BERT-BILSTM-CRF模型建立命名实体识别模型的流程示意图；
图3为本实施方式的BERT-BILSTM-CRF模型的结构示意图；
图4为将知识图谱应用于专家系统的流程图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权力要求所限定的范围。
图1为是本发明实施方式的基于遗传算法优化神经网络的露天矿知识图谱构建方法的流程示意图，所述基于遗传算法优化神经网络的露天矿知识图谱构建方法，具体包括如下步骤：
步骤1：获取露天矿灾害相关数据，包括灾害发生的原因、灾害发生的形式、灾害治理措施，灾害预防措施；
在本实施例中，首先选择网上露天矿行业网站作为数据源，然后利用网络爬虫技术从相关网站上获取露天矿灾害相关的数据，包括露天矿灾害发生的原因、灾害发生的形式、灾害治理措施，灾害预防措施。
步骤2：对露天矿灾害相关数据进行处理，构建命名实体识别数据集；
首先过滤掉露天矿灾害相关数据中的无效词汇以及敏感词汇；然后定义数据中每个字构成的数据集Word＝{word1,word2,word3,……,wordnum1}，以及每个字对应的标签构成的数据集,Label＝{label1,label2,label3,……,labelnum2}。其中num1为数据集中字的个数；num2为数据集中标签的个数，Label包含{B-X，I-X，O}三种标签，X表示某种实体类型。在本实施方式中，采用BIO标注方式，将数据集中的每个元素标注为“B-X”、“I-X”或者“O”。其中，“B-X”表示此元素所在的片段属于X类型并且此元素在此片段的开头，“I-X”表示此元素所在的片段属于X类型并且此元素在片段的中间位置，“O”表示此元素所在片段不属于任何类型，即非实体；再然后遍历预处理后的数据，将数据处理为单个字存入数据集Word中，若所述单个字对应的词为X类型实体，则将实体的第一个字标注为“B-X”，并将该标签存入数据集Label中，实体剩余字标注为“I-X”，标注标签存入数据集Label中，将所有非实体标注为“O”标注标签存入数据集Label中；最后将数据集Word中的每个字，和数据集Label中与数据集Word中的每个字对应的标签构成的分别打包成元组后组合在一起构成命名实体识别数据集，Word、Label＝{[word1,label1],[word2,label2],[word3,label3],……,[wordn,labeln]}。其中n为预处理后的数据中字的个数，wordn为数据集中第n个字，labeln为数据集中第n个字的标签。
步骤3：利用遗传算法对现有的BERT-BILSTM-CRF模型的结构和超参数进行优化，并利用步骤2中得到的命名实体识别数据集中的数据训练优化的BERT-BILSTM-CRF模型，获得命名实体识别模型。所述步骤3如图2所示包括如下具体步骤：
步骤3.1：为现有的BERT－BILSTM－CRF模型的每一个超参数设置初始化范围；
根据神经网络模型的结构特点，BERT－BILSTM－CRF模型的超参数包括结构超参数和训练超参数，其中结构超参数包括BILSTM层数和BILSTM隐藏层神经元数量，训练超参数包括时期(epochs)、批大小(batch size)、学习率和优化器；在本实施例中，为每一个超参数设置的初始化范围如下：BILSTM层数[1,4]，BILSTM隐藏层神经元数量[200,400]，时期[1,100]，批大小[8,64]，学习率[0.00001,0.00003]和优化器[1,5]。其中，优化器的初始化范围表示相应优化器类型，其中1表示随机梯度下降算法(SGD)、2表示基于动量的算法(Momentum)、3表示自适应梯度算法(Adagrad)、4表示Adam算法、5表示前向均方根梯度下降算法(RMSprop)。
步骤3.2：设置遗传算法的最大迭代次数与设置种群规模；
在本实施例中，本步骤中的遗传算法的最大迭代次数设置为30代；在本实施例中，种群规模设置为50。
步骤3.3：初始化个体，方法为：随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体；
在本实施例中，种群中的个体采用实数编码，随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体。例如，随机生成BILSTM层数为2层，根据BILSTM层数，随机生成神经元数量为200，表示每个隐藏层神经元数量，然后生成时期为50，批大小为32，学习率为0.00001，优化器为2，则个体表示为{2,200,50,32,0.00001,2}；
步骤3.4：通过构建与每个个体相对应的BERT-BILSTM-CRF模型确定每个个体的适应度。
由上述可知，种群内的个体是根据BERT-BILSTM-CRF模型所需要的超参数组成的集合，本实施例在确定每个个体的适应度时，首先将个体中的数值解析成BERT-BILSTM-CRF模型对应部分的超参数，根据解析出的超参数及其对应的数值构建出与每个个体相对应的可训练的BERT-BILSTM-CRF模型，如图3所示。然后，将命名实体识别数据集按照5:3:2比例分割成命名实体识别训练集、命名实体识别验证集和命名实体识别测试集。使用命名实体识别训练集对每个个体所对应的BERT-BILSTM-CRF模型进行训练，使用命名实体识别验证集进行模型验证，使用命名实体识别测试集进行模型测试，每个个体所对应的BERT-BILSTM-CRF模型测试后都会得到F1值，将每个F1值作为对应个体的适应度进行保存。
步骤3.5：根据每个个体的适应度，采用锦标赛选择算法选择出预设数量的优秀个体进入下一代，适应度越高的个体越优秀。
步骤3.6：每次从优秀个体中选择两个个体进行交叉操作，采用两点交叉方式，随机生成两个交叉点作为个体交叉的开始位置和个体交叉的结束位置，然后对在两个交叉点之间的部分染色体进行交叉操作。
步骤3.7：对交叉操作后得到的新个体进行突变操作。
在本实施例中，对交叉操作后的新个体进行突变操作的方法为：首先设置个体中每个对应位置的超参数的突变概率为0.2、针对每个对应位置的超参数设置生成一个[0,1]的随机数，如果生成的随机数小于或者等于0.2，则对当前位置的超参数进行突变操作。突变方式为从预设的每一个超参的初始化范围内重新生成一个随机数代替当前位置的超参数值。如果生成的随机数大于0.2，则不对当前位置超参数进行突变操作。
步骤3.8：重复执行步骤3.4至步骤3.7，直到达到最大迭代次数，选取最大的F1值也即最大的适应度对应的BERT-BILSTM-CRF模型，获得命名实体识别模型。
步骤4：根据所述露天矿灾害相关数据和所述命名实体识别模型，构建关系抽取标注数据集；
步骤4.1：将露天矿灾害相关数据中的文本拆分成单个句子得到相应的句子数据集Sentence＝{sentence1,sentence2,sentence3,......,sentencem}，m表示句子的个数；
步骤4.2：通过调用命名实体识别模型识别句子数据集Sentence中的实体得到实体数据集Entity；
步骤4.3：手动抽取句子数据集Sentence中实体之间的关系得到关系数据集Relation；
步骤4.4：将Entity，Relation，Sentence合并得到关系抽取标注数据集Relation-Data＝{[entity1,relation1,sentence1],[entity2,relation2,sentence2],[entity3,relation3,senten-ce3],……,[entitym,relationm,sentencem]}，其中m表示句子的个数。
步骤5：利用遗传算法对现有的BILSTM模型的结构和超参数进行优化，并利用步骤4中得到的关系抽取标注数据集中的数据训练优化的BILSTM模型，获得关系抽取模型。
步骤5.1：为现有的BILSTM模型的每一个超参数设置初始化范围；
根据神经网络模型的结构特点，BILSTM模型的超参数包括结构超参数和训练超参数，其中结构超参数包括BILSTM层数和BILSTM隐藏层神经元数量，训练超参数包括时期(epochs)、批大小(batch size)、学习率和优化器。
在本实施例中，为每一个超参数设置的初始化范围如下：BILSTM层数[1,4]、BILSTM隐藏层神经元数量[200,400]、时期[1,100]、批大小[8,64]、学习率[0.00001,0.00003]、优化器[1,5]。其中，优化器的初始化范围表示相应优化器类型，其中1表示随机梯度下降算法(SGD)、2表示基于动量的算法(Momentum)、3表示自适应梯度算法(Adagrad)、4表示Adam算法、5表示前向均方根梯度下降算法(RMSprop)。
步骤5.2：设置遗传算法的最大迭代次数与设置种群规模；
在本实施例中，本步骤中的遗传算法的最大迭代次数设置为50代。当个体数量到达预设的种群规模形成种群，在本实施例中，种群规模设置为50。
步骤5.3：初始化个体：随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体；
在本实施例中，种群中的个体采用实数编码，随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体。例如，随机生成BILSTM层数为2层，根据BILSTM层数，随机生成神经元数量为200，表示每个隐藏层神经元数量，然后生成时期为50，批大小为32，学习率为0.00001，优化器为2，则个体表示为{2,200,50,32,0.00001,2}。
步骤5.4：通过构建与每个个体相对应的BILSTM模型确定每个个体的适应度；
由上述可知，种群内的个体是根据BILSTM模型所需要的超参数组成的集合，本实施例在确定每个个体的适应度时，首先将个体中的数值解析成BILSTM模型对应部分的超参数，根据解析出的超参数及其对应的数值构建出与每个个体相对应的可训练的BILSTM模型。然后，将关系抽取标注数据集按照5:3:2比例分割成关系抽取标注训练集、关系抽取标注验证集和关系抽取标注测试集。使用关系抽取标注训练集对每个个体所对应的BILSTM模型进行训练，使用关系抽取标注验证集进行模型验证，使用关系抽取标注测试集进行模型测试，每个个体所对应的BILSTM模型测试后都会得到模型F1值，将每个F1值作为对应个体的适应度进行保存。
步骤5.5：根据每个个体的适应度，采用锦标赛选择算法选择出预设数量的优秀个体进入下一代，适应度越高的个体越优秀。
步骤5.6：每次从优秀个体中选择两个个体进行交叉操作，采用两点交叉方式，随机生成两个交叉点作为个体交叉的开始位置和个体交叉的结束位置，然后对在两个交叉点之间的部分染色体进行交叉操作；
步骤5.7：对交叉操作后得到的新个体进行突变操作；
在本实施例中，对交叉操作后的新个体进行突变操作的方法为：首先设置个体中每个对应位置的超参数的突变概率为0.2、针对每个对应位置的超参数设置生成一个[0,1]的随机数，如果生成的随机数小于或者等于0.2，则对当前位置的超参数进行突变操作。突变方式为从预设的每一个超参的初始化范围内重新生成一个随机数代替当前位置的超参数值。如果生成的随机数大于0.2，则不对当前位置超参数进行突变操作；
步骤5.8：重复执行步骤5.4至步骤5.7，直到达到最大迭代次数，选取最大的F1值也即最大的适应度对应的BILSTM模型，获得关系抽取模型。
步骤6：将待抽取的露天矿灾害相关数据依次输入到所述命名实体识别模型和所述关系抽取模型进行实体关系抽取得到三元组，并存入Neo4j图数据库，构建露天矿稳定性领域的知识图谱；
首先调用命名实体识别模型和关系抽取模型抽取待抽取文本，得到包含实体、属性、属性值的三元组triple＝{Item1,Relationship,Item2}；然后将得到的实体、属性、属性值三元组triple存入三元组数据集Triples得到Triples＝{triple1,triple2,triple3,……,triples}，其中s表示三元组个数；将获得的三元组数据集Triples存入到Neo4j图数据库，构建露天矿稳定性领域的知识图谱；
本发明创造性的提出了遗传算法与BERT-BILSTM-CRF模型、BILSTM模型相结合，进行模型超参数自动优化和选择，经过多次迭代，得到最优的BERT-BILSTM-CRF模型作为命名实体识别模型和最优的BILSTM模型作为关系抽取模型。根据命名实体识别模型和关系抽取模型实现在露天矿文本数据中抽取实体关系，从而有效建立三元组，进而构建露天矿稳定性领域高质量的知识图谱。
本发明构建的露天矿稳定性领域的知识图谱可以用于专家系统中，通过建立人机交互平台，挖掘用户的输入信息与所述露天矿稳定性领域知识图谱之间的关系，将挖掘出的专家信息返回给用户，具体是，如图4所示，通过人机交互平台获取用户的输入信息，利用所述命名实体识别模型识别用户输入中的实体；将识别出的实体与所述露天矿稳定性领域知识图谱中的实体根据余弦相似度进行对齐；对提取出的每个实体进行权重赋值。如果某个实体跟越多的其他实体关联，说明这个实体越关键，权重越高。权重的大小与该实体和其他实体在知识图谱中的距离成反比；在所述的露天矿稳定性领域知识图谱中检索与全部实体距离最近的实体；将检索到的结果返回。
这样就解决了传统神经网络模型的结构和超参数的选择需要有经验的专家进行设计，而非专业人士在神经网络模型结构和超参数的设计方面具有很大困难的问题。
以上所述仅为本发明的实施例子而已，并不用于限制本发明。凡在本发明的原则之内，所做的等同替换，均应在本发明的保护范围之内，本发明未作详细阐述的内容属于本专业领域技术人员公知的已有技术。
Claims (7)
1.一种基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，该方法包括如下步骤：
步骤1：获取露天矿灾害相关数据，包括灾害发生的原因、灾害发生的形式、灾害治理措施，灾害预防措施；
步骤2：对露天矿灾害相关数据进行处理，构建命名实体识别数据集；
步骤3：利用遗传算法对现有的BERT-BILSTM-CRF模型的结构和超参数进行优化，并利用所述命名实体识别数据集中的数据训练优化的BERT-BILSTM-CRF模型，获得命名实体识别模型；
步骤4：根据所述露天矿灾害相关数据和所述命名实体识别模型，构建关系抽取标注数据集；
步骤5：利用遗传算法对现有的BILSTM模型的结构和超参数进行优化，并利用所述关系抽取标注数据集中的数据训练优化的BILSTM模型，获得关系抽取模型；
步骤6：将待抽取的露天矿灾害相关数据依次输入到所述命名实体识别模型和所述关系抽取模型进行实体关系抽取得到三元组，并存入Neo4j图数据库，构建露天矿知识图谱；
所述步骤3包括如下具体步骤：
步骤3.1：为现有的BERT－BILSTM－CRF模型的每一个超参数设置初始化范围；
步骤3.2：设置遗传算法的最大迭代次数与设置种群规模；
步骤3.3：初始化个体：随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体；
步骤3.4：通过构建与每个个体相对应的BERT-BILSTM-CRF模型确定每个个体的适应度；
步骤3.5：根据每个个体的适应度，采用锦标赛选择算法选择出预设数量的优秀个体进入下一代；
步骤3.6：每次从优秀个体中选择两个个体进行交叉操作；
步骤3.7：对交叉操作后得到的新个体进行突变操作；
步骤3.8：重复执行步骤3.4至步骤3.7，直到达到最大迭代次数，选取最大的适应度对应的BERT-BILSTM-CRF模型，获得命名实体识别模型；
所述步骤4包括如下具体步骤：
步骤4.1：将露天矿灾害相关数据中的文本拆分成单个句子得到相应的句子数据集Sentence＝{sentence1,sentence2,sentence3,......,sentencem}，m表示句子的个数；
步骤4.2：通过调用命名实体识别模型识别句子数据集Sentence中的实体得到实体数据集Entity；
步骤4.3：手动抽取句子数据集Sentence中实体之间的关系得到关系数据集Relation；
步骤4.4：将Entity，Relation，Sentence合并得到关系抽取标注数据集Relation-Data＝{[entity1,relation1,sentence1],[entity2,relation2,sentence2],[entity3,relation3,senten-ce3],……,[entitym,relationm,sentencem]}，其中m表示句子的个数；
所述步骤5包括如下具体步骤：
步骤5.1：为现有的BILSTM模型的每一个超参数设置初始化范围；
步骤5.2：设置遗传算法的最大迭代次数与设置种群规模；
步骤5.3：初始化个体：随机从上述每一个超参数的初始化范围内生成一个数值，利用所有生成的超参数的数值组成一个集合，表示一个个体；
步骤5.4：通过构建与每个个体相对应的BILSTM模型确定每个个体的适应度；
步骤5.5：根据每个个体的适应度，采用锦标赛选择算法选择出预设数量的优秀个体进入下一代；
步骤5.6：每次从优秀个体中选择两个个体进行交叉操作；
步骤5.7：对交叉操作后得到的新个体进行突变操作；
步骤5.8：重复执行步骤5.4至步骤5.7，直到达到最大迭代次数，选取最大的适应度对应的BERT-BILSTM-CRF模型，获得命名实体识别模型。
2.根据权利要求1所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，所述对露天矿灾害相关数据进行处理，构建命名实体识别数据集的方法为：首先过滤掉露天矿灾害相关数据中的无效词汇以及敏感词汇；然后将数据处理为单个字存入数据集Word中；再然后采用BIO标注方式对数据集Word中的每个字分别标注，标签存入数据集Label中；最后将数据集Word中的每个字和数据集Label中与数据集Word中的每个字对应的标签分别打包成元组后组合在一起构成命名实体识别数据集。
3.根据权利要求1所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，所述BERT－BILSTM－CRF模型的超参数包括结构超参数和训练超参数，其中结构超参数包括BILSTM层数和BILSTM隐藏层神经元数量，训练超参数包括时期epochs、批大小batch size、学习率和优化器。
4.根据权利要求1所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，所述确定每个个体的适应度的方法为：在确定每个个体的适应度时，首先将个体中的数值解析成BERT-BILSTM-CRF模型对应部分的超参数，根据解析出的超参数及其对应的数值构建出与每个个体相对应的BERT-BILSTM-CRF模型；然后，利用命名实体识别数据集中的数据对每个个体所对应的BERT-BILSTM-CRF模型进行训练、验证与测试，每个个体所对应的BERT-BILSTM-CRF模型测试后都会得到F1值，将每个F1值作为对应个体的适应度。
5.根据权利要求1所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，所述每次从优秀个体中选择两个个体进行交叉操作的方法为：采用两点交叉方式，随机生成两个交叉点作为个体交叉的开始位置和个体交叉的结束位置，然后对在两个交叉点之间的部分染色体进行交叉操作。
6.根据权利要求1所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，所述对交叉操作后的新个体进行突变操作的方法为：首先设置个体中每个对应位置的超参数的突变概率为P、针对每个对应位置的超参数生成一个[0,1]的随机数，如果生成的随机数小于或者等于P，则对当前位置的超参数进行突变操作，突变方式为从预设的每一个超参的初始化范围内重新生成一个随机数代替当前位置的超参数值；如果生成的随机数大于P，则不对当前位置的超参数进行突变操作。
7.根据权利要求1所述的基于遗传算法优化神经网络的露天矿知识图谱构建方法，其特征在于，所述BILSTM模型的超参数包括结构超参数和训练超参数，其中结构超参数包括BILSTM层数和BILSTM隐藏层神经元数量，训练超参数包括时期epochs、批大小batch size、学习率和优化器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110843700.7A CN113569055B (zh) | 2021-07-26 | 2021-07-26 | 基于遗传算法优化神经网络的露天矿知识图谱构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110843700.7A CN113569055B (zh) | 2021-07-26 | 2021-07-26 | 基于遗传算法优化神经网络的露天矿知识图谱构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113569055A CN113569055A (zh) | 2021-10-29 |
| CN113569055B true CN113569055B (zh) | 2023-09-22 |
Family
ID=78167315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110843700.7A Active CN113569055B (zh) | 2021-07-26 | 2021-07-26 | 基于遗传算法优化神经网络的露天矿知识图谱构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569055B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115115227A (zh) * | 2022-06-28 | 2022-09-27 | 华南理工大学 | 一种用于造纸领域的产品质量知识图谱构建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109243172A (zh) * | 2018-07-25 | 2019-01-18 | 华南理工大学 | 基于遗传算法优化lstm神经网络的交通流预测方法 |
| CN109543047A (zh) * | 2018-11-21 | 2019-03-29 | 焦点科技股份有限公司 | 一种基于医疗领域网站的知识图谱构建方法 |
| CN111341386A (zh) * | 2020-02-17 | 2020-06-26 | 大连理工大学 | 引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法 |
| CN111522965A (zh) * | 2020-04-22 | 2020-08-11 | 重庆邮电大学 | 一种基于迁移学习的实体关系抽取的问答方法及系统 |
| CN111813950A (zh) * | 2020-05-20 | 2020-10-23 | 淮阴工学院 | 一种基于神经网络自适应寻优调参的建筑领域知识图谱构建方法 |
| CN112288075A (zh) * | 2020-09-29 | 2021-01-29 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11078531B2 (en) * | 2017-12-13 | 2021-08-03 | King Abdullah University Of Science And Technology | Deepsimulator method and system for mimicking nanopore sequencing |
-
2021
- 2021-07-26 CN CN202110843700.7A patent/CN113569055B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109243172A (zh) * | 2018-07-25 | 2019-01-18 | 华南理工大学 | 基于遗传算法优化lstm神经网络的交通流预测方法 |
| CN109543047A (zh) * | 2018-11-21 | 2019-03-29 | 焦点科技股份有限公司 | 一种基于医疗领域网站的知识图谱构建方法 |
| CN111341386A (zh) * | 2020-02-17 | 2020-06-26 | 大连理工大学 | 引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法 |
| CN111522965A (zh) * | 2020-04-22 | 2020-08-11 | 重庆邮电大学 | 一种基于迁移学习的实体关系抽取的问答方法及系统 |
| CN111813950A (zh) * | 2020-05-20 | 2020-10-23 | 淮阴工学院 | 一种基于神经网络自适应寻优调参的建筑领域知识图谱构建方法 |
| CN112288075A (zh) * | 2020-09-29 | 2021-01-29 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
Non-Patent Citations (2)
| Title |
|---|
| Sarcasm Detection using Genetic Optimization on LSTM with CNN;Darkunde Mayur Ashok 等;《2020 International Conference for Emerging Technology (INCET)》;第1-2页 * |
| 自适应学习系统中知识图谱的人机协同构建方法与应用研究;李振 等;《现代教育技术》;第29卷(第10期);第80-86页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113569055A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alcalá et al. | A fast and scalable multiobjective genetic fuzzy system for linguistic fuzzy modeling in high-dimensional regression problems | |
| CN109408823B (zh) | 一种基于多通道模型的特定目标情感分析方法 | |
| CN112818105B (zh) | 一种融合上下文信息的多轮对话方法及系统 | |
| Velu et al. | Visual data mining techniques for classification of diabetic patients | |
| CN113761893B (zh) | 一种基于模式预训练的关系抽取方法 | |
| Kumar et al. | A benchmark to select data mining based classification algorithms for business intelligence and decision support systems | |
| CN112800203B (zh) | 一种融合文本和知识表征的问答匹配方法及系统 | |
| CN110909125B (zh) | 推文级社会媒体谣言检测方法 | |
| CN113569055B (zh) | 基于遗传算法优化神经网络的露天矿知识图谱构建方法 | |
| CN113988075A (zh) | 基于多任务学习的网络安全领域文本数据实体关系抽取法 | |
| CN113704393A (zh) | 关键词提取方法、装置、设备及介质 | |
| CN115472221A (zh) | 一种基于深度学习的蛋白质适应度预测方法 | |
| Zhang et al. | Dual attention graph convolutional network for relation extraction | |
| CN113239699A (zh) | 一种融合多特征的深度知识追踪方法及系统 | |
| US20170292357A1 (en) | Methods, systems, and computer-readable media for evaluating service companies, identifying candidate wells and designing hydraulic refracturing | |
| Chrisnanto et al. | The uses of educational data mining in academic performance analysis at higher education institutions (case study at UNJANI) | |
| CN116342167A (zh) | 基于序列标注命名实体识别的智能成本度量方法和装置 | |
| CN115391523A (zh) | 风电场多源异构数据处理方法及装置 | |
| CN114692615A (zh) | 一种针对小语种的小样本意图识别方法 | |
| Choi et al. | Does active learning reduce human coding?: A systematic comparison of neural network with nCoder | |
| CN114611489A (zh) | 文本逻辑条件抽取ai模型构建方法、抽取方法及系统 | |
| Pandey | State of the art on grammatical inference using evolutionary method | |
| CN113326371A (zh) | 一种融合预训练语言模型与抗噪声干扰远程监督信息的事件抽取方法 | |
| Kushnir et al. | Deep Neural Network Model for Text Semantic Analysis Based on Word Embeddings | |
| Chilukuri et al. | A Novel Model for Prediction of Next Word using Machine Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |