CN110390023A - 一种基于改进bert模型的知识图谱构建方法 - Google Patents
一种基于改进bert模型的知识图谱构建方法 Download PDFInfo
- Publication number
- CN110390023A CN110390023A CN201910589155.6A CN201910589155A CN110390023A CN 110390023 A CN110390023 A CN 110390023A CN 201910589155 A CN201910589155 A CN 201910589155A CN 110390023 A CN110390023 A CN 110390023A
- Authority
- CN
- China
- Prior art keywords
- knowledge
- bert
- model
- construction method
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 41
- 238000010276 construction Methods 0.000 title claims abstract description 37
- 230000006872 improvement Effects 0.000 title description 4
- 239000013598 vector Substances 0.000 claims abstract description 32
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 18
- 239000000463 material Substances 0.000 claims description 6
- 230000006798 recombination Effects 0.000 claims description 6
- 238000005215 recombination Methods 0.000 claims description 6
- 239000012141 concentrate Substances 0.000 claims 1
- 239000013604 expression vector Substances 0.000 claims 1
- 230000001737 promoting effect Effects 0.000 abstract 1
- 238000007726 management method Methods 0.000 description 39
- 238000000034 method Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000011161 development Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明的一种基于改进BERT模型的知识图谱构建方法，获取多源异构数据，存储获取的多源异构数据至大数据平台；基于本体针对获取的多源异构数据进行知识建模；基于BERT‑BiGRU‑CRF模型进行知识获取；基于词向量的知识融合，将获取的异类数据源进行实体融合和属性融合；采用图形数据库进行知识储存。本发明采用企业知识图谱突破传统的计算模式，深度整合企业经营管理领域的内外信息和数据，后期能够更加有效地挖掘预警潜在风险，提高企业经营管理的效率，有利于提升后续的企业经营管理风险智能诊断的准确性。
Description
技术领域
本发明属于知识图谱技术领域，尤其涉及企业经营管理领域，具体的涉及一种基于改进BERT模型的知识图谱构建方法。
背景技术
知识图谱是新一代基于语义的结构化信息组织方式，由谷歌公司在2012年提出。不同于现有主流的关系数据模型，知识图谱着力于以符号形式描述物理世界中的概念及其相互关系，其基本组成单位是“实体-关系-实体”三元组，以及实体及其相关属性-值对，实体间通过关系相互联结，构成网状的知识结构。目前国内外已有多种方法用于短文本相似度计算，如复旦大学的张奇教授提出了一种句子相似度度量的方法，考虑句子中的uni-gram、bi-gram和tri-gram，通过回归方法将这几种相似度结果综合起来。目前，国内外在知识图谱领域的研究，主要围绕知识图谱构建与知识图谱应用两个方向。
企业经营管理外部风险主要体现在舆情危机，内部风险主要体现在物资管理、廉政建设、法律事务、企业文化等内部经营管理风险，如果这些风险不能得到及时地化解，将对企业的品牌建设，经营管理，乃至国家形象带来不可估量的影响和损害。
在外部经营风险方面，企业由于其特殊的身份、地位及广泛影响力，一直是舆论场中备受热议、争议的对象。在这种情况下，发生舆情风险的可能性不断增加，一旦某项政策不能达到公众的认同，企业与社会间互动平衡性便会被打破，从而对企业的发展产生冲击。随着网络媒体的发展，公众拥有了更多的发声工具，舆论的放大镜和扩音器作用更加明显。因此，加强舆情风险管控更加重要。所以，如何快速准确地收集舆论舆情，识别公众对于企业重大政策、业务或产品的立场，及时定位舆情源头、开展舆情处置，是企业品牌管理工作的重要内容，也是维护公司积极的外部经营环境的工作要求。
在内部经营风险方面，其内部风险控制体系建设是否健全，将直接影响企业的经济效益。所以，如何有效规避风险发生、如何加强风险预判能力、及时化解风险隐患、降低经营成本和风险损失、提高风险管理水平，已经成为公司发展经营中的重要工作。另一方面，由于企业内部经营管理风险成因复杂、风险分析和识别难度高，目前企业主要依靠专家经验，风险分析主要局限在各部门各系统，无法满足企业高质量的发展需求。基于企业内部不同来源的经营管理数据，如工物资管理数据以及投诉样本、法律事务、企业文化和廉政建设数据，利用深度学习等技术构建多主体多维度的知识图谱，智能地判别企业内部风险因素、风险指标、风险特征和风险成因，将会是一个复杂工程。
发明内容
为解决上述现有技术的中的不足，本发明的目的在于提供一种基于改进BERT模型的知识图谱构建方法，助力网络舆情监测分析，帮助公司及时发现外部经营风险，基于深度学习、知识图谱等技术，有效发现内部经营管理制度、流程、规范中存在的逻辑漏洞、落实不当、管理不到位等风险，实现企业内部经营管理风险的常态化监测及告警。
本发明公开了一种基于改进BERT模型的知识图谱构建方法，包括如下步骤：
获取多源异构数据，存储获取的多源异构数据至大数据平台；
基于本体针对获取的多源异构数据进行知识建模；
基于BERT-BiGRU-CRF模型进行知识获取；
基于词向量的知识融合，将获取的异类数据源进行实体融合和属性融合；
采用图形数据库进行知识储存。
作为上述方案的进一步优化，所述多源异构数据来源涉及企业的经营管理方面，包括外部舆情、内部物资管理、廉政建设、法律事务以及企业文化方面。
作为上述方案的进一步优化，基于本体知识建模通过领域本体构建，具体步骤包括如下：
获取当前事物涉及领域的术语以及概念；
基于获取的术语以及概念进行概念分组和重组，构建重组后的本体框架；
基于获取的术语与概念，定义术语集中类及其属性、类与类的相互联系以及集中类的实例；
基于当前的领域本体，转化成网络本体语言进行本体的形式化描述。
作为上述方案的进一步优化，所述BERT-BiGRU-CRF模型包括三个部分，BERT层、BiGRU层以及CRF层：
基于BERT预训练语言模型，获取输入的语义表示，且获取输入的任意字的向量；
基于字向量序列传输至BiGRU层，进行语义编码；
通过CRF层输出概率最大的标签序列。
作为上述方案的进一步优化，所述知识获取通过构建BERT预训练语言模型，进行知识的获取，包括实体识别、关系识别和属性识别。
作为上述方案的进一步优化，所述BERT预训练语言模型通过训练深度双向语言表示向量以及预训练二分类的模型，进行句子的关系学习。
作为上述方案的进一步优化，基于Word2vec进行词向量的计算，进行词向量的语义信息挖掘，计算词向量的相似性与属性的相似词，融合对齐实体与相似属性。
本发明采用上述的技术方案，与现有技术相比，一种基于改进BERT模型的知识图谱构建方法，具有以下技术效果：
1、本发明示例的一种基于改进BERT模型的知识图谱构建方法，获取多源异构数据，存储获取的多源异构数据至大数据平台；基于本体针对获取的多源异构数据进行知识建模，基于BERT-BiGRU-CRF模型进行知识获取，基于词向量的知识融合，将获取的异类数据源进行实体融合和属性融合，并采用图形数据库进行知识储存，基于深度学习、知识图谱等技术，有效发现内部经营管理制度、流程、规范中存在的逻辑漏洞、落实不当、管理不到位等风险，实现企业内部经营管理风险的常态化监测及告警。
2、本发明示例的一种基于改进BERT模型的知识图谱构建方法，采用企业知识图谱突破传统的计算模式，深度整合企业经营管理领域的内外信息和数据，后期能够更加有效地挖掘预警潜在风险，提高企业经营管理的效率，有利于提升后续的企业经营管理风险智能诊断的准确性。
3、本发明示例的一种基于改进BERT模型的知识图谱构建方法，知识图谱以结构化、语义化的方式描述了企业经营管理中的概念、实体和关系，使管理者对企业经营的全过程有更加全面和深刻的认识，有助于经营管理决策的科学化、合理化，减少决策的盲目性，同时提升风险决策的准确性和时效性，降低风险决策的复杂度和成本开销，避免或减少由于决策失误而带来的损失。
4、本发明示例的一种基于改进BERT模型的知识图谱构建方法，采用基于BERT-BiGRU-CRF模型的知识获取方法，BERT预训练语言模型通过双向Transformer结构动态生成字的上下文语义表示，比传统的词向量表示更能表征语句特征，有效提升中文命名实体识别的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为本发明实施例一种基于改进BERT模型的知识图谱构建方法的流程示意图；
图2为本发明实施例一种基于改进BERT模型的知识图谱构建方法的本体建模的流程示意图
图3为本发明实施例一种基于改进BERT模型的知识图谱构建方法的企业经营风险本体定义示意图；
图4为本发明实施例一种基于改进BERT模型的知识图谱构建方法的BERT-BiGRU-CRF模型整体结构图；
图5为本发明实施例一种基于改进BERT模型的知识图谱构建方法的BERT-BiGRU-CRF模型的流程示意图；
图6为本发明实施例一种基于改进BERT模型的知识图谱构建方法的BERT预训练语言模型结构图；
图7为GRU本发明实施例一种基于改进BERT模型的知识图谱构建方法的单元结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
如图1-7所示，本实施例公开了一种基于改进BERT模型的知识图谱构建方法，包括如下步骤：
步骤S1，获取多源异构数据，存储获取的多源异构数据至大数据平台；
具体的，本发明实施例的多源异构数据来源涉及企业的经营管理方面，包括外部舆情、内部物资管理、廉政建设、法律事务以及企业文化方面；
企业经营管理领域知识来源包括各类结构化数据、半结构化数据及非结构化数据；
具体的，结构化数据为存储在关系数据库或面向对象数据库中的数据；基于行业的信息化发展，企业经营的数据存储于关系数据库，所述关系数据库采用经典的关系模型，且通过二维表的形式进行数据存储，直观且易于理解；本发明实施例基于结构化数据，通过扩充数据，构建企业经营管理领域知识图谱；
具体的，半结构化数据包括各行业网站的数据，基于通过行业网站获取的特性，半结构化数据保持数据的专业性；
基于网站数据的半结构化特性，通过标签抽取网站内容数据的知识过程中，仅需通过其结构进行解析，本发明实施例优选为：通过网络爬虫获取行业数据时，即可提取相应的语义标签；
针对非结构化数据，主要数据为文本，在企业经营管理领域相关的手册、标准、规范等，以及互联网网页、开放链接数据、开放知识库、在线百科，甚至数据库中结构化数据的某些字段中，均存在大量文本；基于文本的无结构性，获取知识的提取难度大，基于自然语言处理技术，实现领域知识的自动识别和抽取；
步骤S2，基于本体针对获取的多源异构数据进行知识建模；
基于本体的建模方法，有效描述事物的基本特征、内在联系和演化规律；
本体的目标是捕获相关领域的知识，提供对该领域知识的共同理解，确定该领域内共同认可的词汇，基于不同层级的形式化模式，提出词汇间相互关系的明确定义；
本体作为共享的形式化概念模型，清晰定义概念的联系，将被刻画的知识对象富含语义，形成良性的概念层次结构以及对逻辑推理的支持；
具体的，基于本体知识建模通过领域本体构建，具体步骤包括如下：
步骤S21，获取当前事物涉及领域的术语以及概念；
步骤S22，基于获取的术语以及概念进行概念分组和重组，构建重组后的本体框架；
步骤S23，基于获取的术语与概念，定义术语集中类及其属性、类与类的相互联系以及集中类的实例；
步骤S24，基于当前的领域本体，转化成网络本体语言进行本体的形式化描述；
具体的，根据企业经营管理有关标准规范，归纳企业经营管理方案相关概念，可分为内外部共9大类：舆情危机类、物资管理类、廉政建设类、法律事物类、企业文类、工程管理类、营销管理类、财务管理类以及投诉样本；
上述的类概念细分成多个子概念，形成具有层级关系的概念体系，每个概念类具有的特征不同，基于属性进行标志，现实世界中的实体对象对应特定的概念，并且具有不同特征值；
企业经营风险本体定义如图3所示；
步骤S3，基于BERT-BiGRU-CRF模型进行知识获取；
具体的，知识获取包括实体识别、关系识别和属性识别，
具体的，实体识别作为知识结构化和数字化的基础，基于已定义的概念模式进行实体识别，记之为命名实体识别；
通过在识别文本的实体同时，并划分其分类，提供实体的语义基础，结束实体链接过程；
基于命名实体识别，可检测文本中新实体，并将其加入现有知识库，基于实体链接，针对性地发现特定实体的新知识；
更具体的，采用非结构化的文本数据为例，本实施例采用基于深度学习的方法，运用典型的深度学习模型BERT-BiGRU-CRF进行企业经营管理领域的实体识别；
如图4所示，BERT-BiGRU-CRF模型包括三个部分，BERT层、BiGRU层以及CRF层：
步骤S31，基于BERT预训练语言模型，获取输入的语义表示，且获取输入的任意字的向量；
步骤S32，基于字向量序列传输至BiGRU层，进行语义编码；
步骤S33，通过CRF层输出概率最大的标签序列；
具体的，BERT预训练语言模型结构如图6所示，BERT采用双向Transformer作为编码器，用于融合字左右两侧的上下文；BERT预训练语言模型通过“Masked语言模型”和“下一个句子预测”任务，分别捕捉词级别和句子级别的表示，并进行联合训练；
“Masked语言模型”进行深度双向语言表示向量的训练，通过遮住句子里某些单词，让编码器预测这个单词的原始词汇来进行训练；
“下一个句子预测”是指预训练一个二分类的模型，来进行句子间的关系学习；
具体的，循环神经网络通过引入定向循环来处理序列化数据，其网络结构分为三层，分别为输入层，隐层，输出层，隐层之间可以前后相连，使得当前隐层的信息可以传递到下个节点，作为下个节点输入的一部分，这样使得序列中的节点能够“记忆”前文的信息，达到序列建模的目的；
GRU是RNN的一种变体，GRU将遗忘门和输入门合成为一个单一的更新门，同时混合细胞状态和隐藏状态，其单元结构如图7所示，具体计算过程如下所示：
Zt＝σ(Wi*[ht-1，xt]) (1)
rt＝σ(Wr*[ht-1，xt]) (2)
上式中σ是sigmoid函数，·是点积，xt为时刻t的输入向量，ht是隐藏状态，也是输出向量，包含前面t时刻所有有效信息；Zt是一个更新门，控制信息流入下一个时刻，rt是一个重置门，控制信息丢失，二者共同决定隐藏状态的输出；Wi、Wr以及Wc分别为对应公式的乘积系数，其中i、t、r和c均属于自然数集合；
基于GRU只能能够考虑长远的上下文信息，无法考虑标签之间的依赖关系，比如在命名实体识别中，有些标签不能连续出现，因此，模型不能独立的使用ht来做标签决策，CRF能通过考虑标签之间的相邻关系获得全局最优标签序列，因此使用CRF来建模标签序列；
步骤S4，基于词向量的知识融合，将获取的异类数据源进行实体融合和属性融合；
具体的，不同的数据源可能包含对同一实体的描述数据，基于异类数据来源进行知识图谱的构建过程，需要对实体进行对齐，完成不同数据源下知识融合，提取不同来源的实体描述的是否为现实世界中的同一实体；
知识图谱基于属性和属性值来描述实体的内在特性，不同的数据源可能指向同一概念或含义相同属性，进而在构建知识图谱或知识库过程中，需要对上述的属性进行对齐和融合；
更具体的，如“王维”可能指唐朝诗人、画家，也可能指清华大学教授、博士生导师和北京儿童医院副主任医师等；当构建知识图谱时，需要进行实体、属性对齐；
基于本发明实施例的词向量表述，通过实体、属性的叙述，通过文本相似性进行属性的相似对齐，对企业经营管理领域中名称进行归一化研究，解决单一数据源知识图谱覆盖面过低的问题，从多种数据源促进知识融合；
本实施例采用Word2vec及词向量技术挖掘文本中的潜在语义信息，计算属性相似词，融合对齐实体的相似属性；
具体的，词向量采用低纬实数向量进行词的表示，且所述词向量的任意值代表具有语义以及语法解释特征；该特征是通过上下文分析得到的，其特点是将有用的句法和语义特征用于表示该词；
优选的，存在一个词向量[0.543，-0.242，-0.143，0.435，…，-0.107]，其中的0.543即为该词向量的一个解释特征；具体而言，通常采用50维或100维的实数向量表示一个词；在获取两个词的词向量后，采用余弦相似度计算其相似距离；
步骤S5，采用图形数据库进行知识储存；
基于图形数据库系统存储知识，能充分发挥图数据库对图结构数据的表示能力，利用图数据库提供的管理工具，能快速、方便地处理各类复杂知识获取需求；
优选的，本实施例采用Neo4j存储企业经营管理领域知识，对应的概念、实体、关系分别对应Neo4j的标签、节点、边/关系；
基于Neo4j的Cypher命令对图形数据库操作，包括LOAD(批量导入CSV格式的数据)、CREATE(创建节点或关系)、MATCH(查找匹配节点或关系)、WHERE(设置匹配条件)、SET(设置节点或关系的属性值)以及RETURN(返回需要的节点、关系或属性)命令；
更具体的，通过从多种异构数据源提取的企业经营管理知识基于实体以及关系类型分别存放于不同的CSV文件，采用LOAD语句批量导入相应的知识；
通过采用Cypher命令实现新知识的动态集成和管理，在不考虑存储工具的限制前提下，基于现有知识图谱能无限拓展领域相关各种类型知识。
本发明的一种基于改进BERT模型的知识图谱构建方法，获取多源异构数据，存储获取的多源异构数据至大数据平台；基于本体针对获取的多源异构数据进行知识建模；基于BERT-BiGRU-CRF模型进行知识获取；基于词向量的知识融合，将获取的异类数据源进行实体融合和属性融合；采用图形数据库进行知识储存。本发明采用企业知识图谱突破传统的计算模式，深度整合企业经营管理领域的内外信息和数据，后期能够更加有效地挖掘预警潜在风险，提高企业经营管理的效率，有利于提升后续的企业经营管理风险智能诊断的准确性。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
除说明书所述的技术特征外，其余技术特征为本领域技术人员的已知技术，为突出本发明的创新特点，其余技术特征在此不再赘述。
Claims (8)
1.一种基于改进BERT模型的知识图谱构建方法，其特征在于，包括如下步骤：
获取多源异构数据，存储获取的多源异构数据至大数据平台；
基于本体针对获取的多源异构数据进行知识建模；
基于BERT-BiGRU-CRF模型进行知识获取；
基于词向量的知识融合，将获取的异类数据源进行实体融合和属性融合；
采用图形数据库进行知识储存。
2.根据权利要求1所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，所述多源异构数据来源涉及企业的经营管理方面，包括外部舆情、内部物资管理、廉政建设、法律事务以及企业文化方面。
3.根据权利要求1所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，基于本体知识建模通过领域本体构建，具体步骤包括如下：
获取当前事物涉及领域的术语以及概念；
基于获取的术语以及概念进行概念分组和重组，构建重组后的本体框架；
基于获取的术语与概念，定义术语集中类及其属性、类与类的相互联系以及集中类的实例；
基于当前的领域本体，转化成网络本体语言进行本体的形式化描述。
4.根据权利要求1所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，所述BERT-BiGRU-CRF模型包括三个部分，BERT层、BiGRU层以及CRF层：
基于BERT预训练语言模型，获取输入的语义表示，且获取输入的任意字的向量；
基于字向量序列传输至BiGRU层，进行语义编码；
通过CRF层输出概率最大的标签序列。
5.根据权利要求1或4所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，所述知识获取通过构建BERT预训练语言模型，进行知识的获取，包括实体识别、关系识别和属性识别。
6.根据权利要求5所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，所述BERT预训练语言模型通过训练深度双向语言表示向量以及预训练二分类的模型，进行句子的关系学习。
7.根据权利要求1所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，基于Word2vec进行词向量的计算，进行词向量的语义信息挖掘，计算词向量的相似性与属性的相似词，融合对齐实体与相似属性。
8.根据权利要求1所述的一种基于改进BERT模型的知识图谱构建方法，其特征在于，所述进行知识储存采用的图形数据库为Neo4j图形数据库系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910589155.6A CN110390023A (zh) | 2019-07-02 | 2019-07-02 | 一种基于改进bert模型的知识图谱构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910589155.6A CN110390023A (zh) | 2019-07-02 | 2019-07-02 | 一种基于改进bert模型的知识图谱构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110390023A true CN110390023A (zh) | 2019-10-29 |
Family
ID=68286173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910589155.6A Pending CN110390023A (zh) | 2019-07-02 | 2019-07-02 | 一种基于改进bert模型的知识图谱构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390023A (zh) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110889556A (zh) * | 2019-11-28 | 2020-03-17 | 福建亿榕信息技术有限公司 | 一种企业经营风险预测方法和系统 |
| CN110990536A (zh) * | 2019-12-06 | 2020-04-10 | 重庆邮电大学 | 一种基于bert和知识图谱感知的cql生成方法 |
| CN111125371A (zh) * | 2019-12-13 | 2020-05-08 | 中国地质大学（武汉） | 一种基于深度学习的地质灾害文献知识图谱构建方法 |
| CN111143448A (zh) * | 2019-12-03 | 2020-05-12 | 北京博瑞彤芸科技股份有限公司 | 一种知识库构建方法 |
| CN111223004A (zh) * | 2019-11-14 | 2020-06-02 | 国网湖北省电力有限公司电力科学研究院 | 一种面向业务应用的继电保护知识建模方法及平台 |
| CN111259663A (zh) * | 2020-01-14 | 2020-06-09 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
| CN111309828A (zh) * | 2020-03-27 | 2020-06-19 | 广东省智能制造研究所 | 一种大型设备的知识图谱构建方法及装置 |
| CN111538895A (zh) * | 2020-07-07 | 2020-08-14 | 成都数联铭品科技有限公司 | 一种基于图网络的数据处理系统 |
| CN111949779A (zh) * | 2020-07-29 | 2020-11-17 | 交控科技股份有限公司 | 基于知识图谱的轨道交通智能应答方法及系统 |
| CN112115238A (zh) * | 2020-10-29 | 2020-12-22 | 电子科技大学 | 一种基于bert和知识库的问答方法和系统 |
| CN112131275A (zh) * | 2020-09-23 | 2020-12-25 | 中国科学技术大学智慧城市研究院(芜湖) | 全息城市大数据模型和知识图谱的企业画像构建方法 |
| CN112287668A (zh) * | 2020-10-29 | 2021-01-29 | 杭州尚尚签网络科技有限公司 | 基于机器学习的两阶段合同必备条款缺失风险预警方法 |
| CN112487212A (zh) * | 2020-12-18 | 2021-03-12 | 清华大学 | 领域知识图谱的构建方法及装置 |
| CN112507136A (zh) * | 2020-12-18 | 2021-03-16 | 南京摄星智能科技有限公司 | 一种知识驱动的业务操作图谱构建方法 |
| CN112507131A (zh) * | 2020-12-15 | 2021-03-16 | 深圳供电局有限公司 | 一种电力调度知识图谱构建方法、设备及系统 |
| CN112528037A (zh) * | 2020-12-04 | 2021-03-19 | 北京百度网讯科技有限公司 | 基于知识图谱的边关系预测方法、装置、设备及存储介质 |
| CN112785414A (zh) * | 2021-01-04 | 2021-05-11 | 上海海事大学 | 一种基于知识图谱和本体推理机的信贷风险预测方法 |
| CN112989068A (zh) * | 2021-04-28 | 2021-06-18 | 新疆大学 | 针对唐诗知识的知识图谱构建方法及唐诗知识问答系统 |
| CN113326381A (zh) * | 2020-02-28 | 2021-08-31 | 拓尔思天行网安信息技术有限责任公司 | 基于动态本体的语义和知识图谱分析方法、平台及设备 |
| CN113449116A (zh) * | 2021-06-22 | 2021-09-28 | 青岛海信网络科技股份有限公司 | 一种图谱构建、预警方法、设备及介质 |
| WO2021196520A1 (zh) * | 2020-03-30 | 2021-10-07 | 西安交通大学 | 一种面向税务领域知识图谱的构建方法及系统 |
| CN113935329A (zh) * | 2021-10-13 | 2022-01-14 | 昆明理工大学 | 基于自适应特征识别与去噪的非对称文本匹配方法 |
| CN114385829A (zh) * | 2022-01-12 | 2022-04-22 | 北京百度网讯科技有限公司 | 知识图谱创建方法、装置、设备以及存储介质 |
| CN114417015A (zh) * | 2022-01-26 | 2022-04-29 | 西南交通大学 | 一种高速列车可维修性知识图谱构建方法 |
| CN116091045A (zh) * | 2023-02-28 | 2023-05-09 | 武汉烽火技术服务有限公司 | 一种基于知识图谱的通信网络运维方法和运维装置 |
| WO2023123182A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳晶泰科技有限公司 | 多源异构数据的处理方法、装置、计算机设备及存储介质 |
| CN116467403A (zh) * | 2023-06-05 | 2023-07-21 | 北京华宇信息技术有限公司 | 企业身份信息数据融合方法及装置 |
| CN117114521A (zh) * | 2023-08-28 | 2023-11-24 | 北京智谱华章科技有限公司 | 一种基于大模型和知识图谱的企业辅助决策系统 |
| CN117875414A (zh) * | 2023-12-06 | 2024-04-12 | 中新金桥数字科技(北京)有限公司 | 一种知识图谱模型构建方法 |
| CN118277638A (zh) * | 2024-05-29 | 2024-07-02 | 天津建设发展集团股份公司 | 企业信息管理方法及系统 |
| CN118427363A (zh) * | 2024-05-21 | 2024-08-02 | 武汉光谷联合集团有限公司 | 一种基于产业云的企业画像构建方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108449A (zh) * | 2017-12-27 | 2018-06-01 | 哈尔滨福满科技有限责任公司 | 一种面向医疗领域的基于多源异构数据问答系统及该系统的实现方法 |
| CN108875051A (zh) * | 2018-06-28 | 2018-11-23 | 中译语通科技股份有限公司 | 面向海量非结构化文本的知识图谱自动构建方法及系统 |
| US20190164015A1 (en) * | 2017-11-28 | 2019-05-30 | Sigma Ratings, Inc. | Machine learning techniques for evaluating entities |
-
2019
- 2019-07-02 CN CN201910589155.6A patent/CN110390023A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190164015A1 (en) * | 2017-11-28 | 2019-05-30 | Sigma Ratings, Inc. | Machine learning techniques for evaluating entities |
| CN108108449A (zh) * | 2017-12-27 | 2018-06-01 | 哈尔滨福满科技有限责任公司 | 一种面向医疗领域的基于多源异构数据问答系统及该系统的实现方法 |
| CN108875051A (zh) * | 2018-06-28 | 2018-11-23 | 中译语通科技股份有限公司 | 面向海量非结构化文本的知识图谱自动构建方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 周杰等: "探索知识图谱在商业银行风控领域的应用", 《信息技术与标准化》 * |
| 张玉峰等: "领域本体构建与可视化展示研究", 《情报理论与实践》 * |
| 杨飘等: "基于BERT嵌入的中文命名实体识别方法", 《计算机工程》 * |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223004A (zh) * | 2019-11-14 | 2020-06-02 | 国网湖北省电力有限公司电力科学研究院 | 一种面向业务应用的继电保护知识建模方法及平台 |
| CN110889556A (zh) * | 2019-11-28 | 2020-03-17 | 福建亿榕信息技术有限公司 | 一种企业经营风险预测方法和系统 |
| CN111143448B (zh) * | 2019-12-03 | 2023-05-12 | 北京博瑞彤芸科技股份有限公司 | 一种知识库构建方法 |
| CN111143448A (zh) * | 2019-12-03 | 2020-05-12 | 北京博瑞彤芸科技股份有限公司 | 一种知识库构建方法 |
| CN110990536A (zh) * | 2019-12-06 | 2020-04-10 | 重庆邮电大学 | 一种基于bert和知识图谱感知的cql生成方法 |
| CN111125371B (zh) * | 2019-12-13 | 2023-06-20 | 中国地质大学（武汉） | 一种基于深度学习的地质灾害文献知识图谱构建方法 |
| CN111125371A (zh) * | 2019-12-13 | 2020-05-08 | 中国地质大学（武汉） | 一种基于深度学习的地质灾害文献知识图谱构建方法 |
| US11775776B2 (en) | 2020-01-14 | 2023-10-03 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and apparatus for processing information |
| CN111259663B (zh) * | 2020-01-14 | 2023-05-26 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
| CN111259663A (zh) * | 2020-01-14 | 2020-06-09 | 北京百度网讯科技有限公司 | 信息处理方法和装置 |
| CN113326381A (zh) * | 2020-02-28 | 2021-08-31 | 拓尔思天行网安信息技术有限责任公司 | 基于动态本体的语义和知识图谱分析方法、平台及设备 |
| CN111309828A (zh) * | 2020-03-27 | 2020-06-19 | 广东省智能制造研究所 | 一种大型设备的知识图谱构建方法及装置 |
| CN111309828B (zh) * | 2020-03-27 | 2024-02-20 | 广东省智能制造研究所 | 一种大型设备的知识图谱构建方法及装置 |
| WO2021196520A1 (zh) * | 2020-03-30 | 2021-10-07 | 西安交通大学 | 一种面向税务领域知识图谱的构建方法及系统 |
| CN111538895A (zh) * | 2020-07-07 | 2020-08-14 | 成都数联铭品科技有限公司 | 一种基于图网络的数据处理系统 |
| CN111949779A (zh) * | 2020-07-29 | 2020-11-17 | 交控科技股份有限公司 | 基于知识图谱的轨道交通智能应答方法及系统 |
| CN112131275A (zh) * | 2020-09-23 | 2020-12-25 | 中国科学技术大学智慧城市研究院(芜湖) | 全息城市大数据模型和知识图谱的企业画像构建方法 |
| CN112287668B (zh) * | 2020-10-29 | 2024-01-23 | 杭州尚尚签网络科技有限公司 | 基于机器学习的两阶段合同必备条款缺失风险预警方法 |
| CN112115238A (zh) * | 2020-10-29 | 2020-12-22 | 电子科技大学 | 一种基于bert和知识库的问答方法和系统 |
| CN112287668A (zh) * | 2020-10-29 | 2021-01-29 | 杭州尚尚签网络科技有限公司 | 基于机器学习的两阶段合同必备条款缺失风险预警方法 |
| CN112115238B (zh) * | 2020-10-29 | 2022-11-15 | 电子科技大学 | 一种基于bert和知识库的问答方法和系统 |
| CN112528037B (zh) * | 2020-12-04 | 2024-04-09 | 北京百度网讯科技有限公司 | 基于知识图谱的边关系预测方法、装置、设备及存储介质 |
| CN112528037A (zh) * | 2020-12-04 | 2021-03-19 | 北京百度网讯科技有限公司 | 基于知识图谱的边关系预测方法、装置、设备及存储介质 |
| CN112507131A (zh) * | 2020-12-15 | 2021-03-16 | 深圳供电局有限公司 | 一种电力调度知识图谱构建方法、设备及系统 |
| CN112487212A (zh) * | 2020-12-18 | 2021-03-12 | 清华大学 | 领域知识图谱的构建方法及装置 |
| CN112507136A (zh) * | 2020-12-18 | 2021-03-16 | 南京摄星智能科技有限公司 | 一种知识驱动的业务操作图谱构建方法 |
| CN112507136B (zh) * | 2020-12-18 | 2023-07-14 | 中国电子科技集团公司第十五研究所 | 一种知识驱动的业务操作图谱构建方法 |
| CN112785414A (zh) * | 2021-01-04 | 2021-05-11 | 上海海事大学 | 一种基于知识图谱和本体推理机的信贷风险预测方法 |
| CN112785414B (zh) * | 2021-01-04 | 2024-01-26 | 上海海事大学 | 一种基于知识图谱和本体推理机的信贷风险预测方法 |
| CN112989068B (zh) * | 2021-04-28 | 2022-04-19 | 新疆大学 | 针对唐诗知识的知识图谱构建方法及唐诗知识问答系统 |
| CN112989068A (zh) * | 2021-04-28 | 2021-06-18 | 新疆大学 | 针对唐诗知识的知识图谱构建方法及唐诗知识问答系统 |
| CN113449116A (zh) * | 2021-06-22 | 2021-09-28 | 青岛海信网络科技股份有限公司 | 一种图谱构建、预警方法、设备及介质 |
| CN113935329A (zh) * | 2021-10-13 | 2022-01-14 | 昆明理工大学 | 基于自适应特征识别与去噪的非对称文本匹配方法 |
| WO2023123182A1 (zh) * | 2021-12-30 | 2023-07-06 | 深圳晶泰科技有限公司 | 多源异构数据的处理方法、装置、计算机设备及存储介质 |
| CN114385829A (zh) * | 2022-01-12 | 2022-04-22 | 北京百度网讯科技有限公司 | 知识图谱创建方法、装置、设备以及存储介质 |
| CN114417015B (zh) * | 2022-01-26 | 2023-05-12 | 西南交通大学 | 一种高速列车可维修性知识图谱构建方法 |
| CN114417015A (zh) * | 2022-01-26 | 2022-04-29 | 西南交通大学 | 一种高速列车可维修性知识图谱构建方法 |
| CN116091045A (zh) * | 2023-02-28 | 2023-05-09 | 武汉烽火技术服务有限公司 | 一种基于知识图谱的通信网络运维方法和运维装置 |
| CN116467403A (zh) * | 2023-06-05 | 2023-07-21 | 北京华宇信息技术有限公司 | 企业身份信息数据融合方法及装置 |
| CN117114521A (zh) * | 2023-08-28 | 2023-11-24 | 北京智谱华章科技有限公司 | 一种基于大模型和知识图谱的企业辅助决策系统 |
| CN117875414A (zh) * | 2023-12-06 | 2024-04-12 | 中新金桥数字科技(北京)有限公司 | 一种知识图谱模型构建方法 |
| CN118427363A (zh) * | 2024-05-21 | 2024-08-02 | 武汉光谷联合集团有限公司 | 一种基于产业云的企业画像构建方法 |
| CN118277638A (zh) * | 2024-05-29 | 2024-07-02 | 天津建设发展集团股份公司 | 企业信息管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390023A (zh) | 一种基于改进bert模型的知识图谱构建方法 | |
| CN110889556B (zh) | 一种企业经营风险特征数据信息提取方法和提取系统 | |
| CN114579875B (zh) | 基于知识图谱的设备故障诊断与维修知识推荐系统 | |
| CN111967761B (zh) | 一种基于知识图谱的监控预警方法、装置及电子设备 | |
| Guarino et al. | An ontology of meta-level categories | |
| US8631048B1 (en) | Data alignment system | |
| CN111428054A (zh) | 一种网络空间安全领域知识图谱的构建与存储方法 | |
| CN109885698A (zh) | 一种知识图谱构建方法及装置、电子设备 | |
| CN110717049A (zh) | 一种面向文本数据的威胁情报知识图谱构建方法 | |
| CN110990590A (zh) | 一种基于强化学习和迁移学习的动态金融知识图谱构建方法 | |
| CN110888943B (zh) | 基于微模板的法院裁判文书辅助生成的方法和系统 | |
| US20130060772A1 (en) | Predictive analytic method and apparatus | |
| US20140108304A1 (en) | Semantic Request Normalizer | |
| Neutel et al. | Towards Automatic Ontology Alignment using BERT. | |
| CN112818385B (zh) | 基于常识推理的多模态资源的本质内容处理方法及系统 | |
| CN116822625A (zh) | 一种发散式关联的风机设备运检知识图谱构建及检索方法 | |
| Parthasarathy et al. | Sentiment analyzer: Analysis of journal citations from citation databases | |
| CN113157931A (zh) | 一种融合图谱构建方法及装置 | |
| Lv et al. | Text analytics for supporting stakeholder opinion mining for large-scale highway projects | |
| US20140081894A1 (en) | Pluggable modules in a cascading learning system | |
| Li et al. | Neural factoid geospatial question answering | |
| CN113610626A (zh) | 银行信贷风险识别知识图谱构建方法、装置、计算机设备及计算机可读存储介质 | |
| CN117171428B (zh) | 一种提升搜索和推荐结果准确性的方法 | |
| Banerjee et al. | Neural language model based intelligent semantic information retrieval on NCDOT projects for knowledge management | |
| Chang et al. | A progressive query language and interactive reasoner for information fusion support |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191029 |
|
| RJ01 | Rejection of invention patent application after publication |