CN113342982B - 融合RoBERTa和外部知识库的企业行业分类方法 - Google Patents

融合RoBERTa和外部知识库的企业行业分类方法 Download PDF

Info

Publication number
CN113342982B
CN113342982B CN202110742262.5A CN202110742262A CN113342982B CN 113342982 B CN113342982 B CN 113342982B CN 202110742262 A CN202110742262 A CN 202110742262A CN 113342982 B CN113342982 B CN 113342982B
Authority
CN
China
Prior art keywords
network
vector
enterprise
information
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110742262.5A
Other languages
English (en)
Other versions
CN113342982A (zh
Inventor
陈钢
佘祥荣
水新莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Information Intelligence Innovation Research Institute
Original Assignee
Yangtze River Delta Information Intelligence Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Information Intelligence Innovation Research Institute filed Critical Yangtze River Delta Information Intelligence Innovation Research Institute
Priority to CN202110742262.5A priority Critical patent/CN113342982B/zh
Publication of CN113342982A publication Critical patent/CN113342982A/zh
Application granted granted Critical
Publication of CN113342982B publication Critical patent/CN113342982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合RoBERTa和外部知识库的企业行业分类方法，包括：步骤1、基于预训练语言模型的语义表征编码；步骤2、基于GRU的候选集生成网络；步骤3、额外知识嵌入；步骤4、行业类别预测。该企业行业分类方法不仅能够使用预训练语言模型提取企业经营范围特征，而且还可以通过外部知识库和类别语义信息增强行业分类的准确性。

Description

融合RoBERTa和外部知识库的企业行业分类方法
技术领域
本发明涉及一种融合RoBERTa和外部知识库的企业行业分类方法。
背景技术
目前，现有的企业数量已有数千万家，并且每年都有大量新企业设立，如何准确、快速地对构建企业的行业标签是目前亟待解决的问题。
现有的解决办法通常会借助机器学习的手段进行数据挖掘自动完成企业行业分类。其中，主流的方法有两种：一种是使用传统的机器学习方法，首先人工提取特征，再利用经典的分类算法(如朴素贝叶斯)等分类器完成行业分类；另一种是利用深度学习技术(如循环神经网络)完成自动的特征提取和分类任务。相比一级行业分类，二级行业分类在经营范围的描述上不同行业之间存在更多相似性，这导致利用常规方法很难发现这种微小的差异，进而较难作出正确的判断。
现有一些公开的相关发明专利使用词向量表示可以作为初始的词向量嵌入到神经网络模型中，从而使神经网络模型可以获取更多更精确的语义信息以提升分类的准确率。然而，这些模型往往无法结合上下文信息获得更为全面的语义信息。
因此，急需要提供一种融合RoBERTa和外部知识库的企业行业分类方法来解决上述技术问题。
发明内容
本发明的目的是提供一种融合RoBERTa和外部知识库的企业行业分类方法，该企业行业分类方法不仅能够使用预训练语言模型提取企业经营范围特征，而且还可以通过外部知识库和类别语义信息增强行业分类的准确性。
为了实现上述目的，本发明提供了一种融合RoBERTa和外部知识库的企业行业分类方法，包括：
步骤1、基于预训练语言模型的语义表征编码；
步骤2、基于GRU的候选集生成网络；
步骤3、额外知识嵌入；
步骤4、行业类别预测。
优选地，步骤1中包括：将经过预处理后的企业经营范围文本序列输入预训练模型，并将输出的特征向量作为输入到下一层网络的语义表征向量。
优选地，步骤2中的候选集为对企业类别可能判断的候选选项的集合，并且，在步骤2中使用GRU网络作为候选集的生成网络。
优选地，步骤2包括：
步骤2a、经过预训练模型编码后的语义向量结果xt构成集合X＝{xt|t＝1,2,…,n}，将X与类别语义信息作为模块的输入；
步骤2b、输入向量xt与上一步隐藏状态ht-1线性组合并经过sigmod激活函数非线性化处理后得到更新门zt和重置门rt；
步骤2c、由重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt线性组合后经过tanh激活函数非线性化处理得到候选状态
步骤2d、由更新门zt、隐藏状态ht-1和候选状态共同计算得到新的隐藏状态ht，计算公式为：/>
步骤2e、将不同时间节点隐藏状态ht构成集合H＝{ht|t＝1,2,…,n,n+1,…,n+m}经由全连接层以及softmax函数后得到候选集C＝{ci|i＝1,2,…,m}；
步骤2f、对候选集使用全连接层进行维度转换，输出与预训练语言模型同维度的结果
步骤2g、在候选集生成网络中添加跳层连接，用于防止训练过程中网络层数加深后可能存在的信息丢失和网络退化；通过将网络的输入部分与输出结果使用门控机制进行相加，得到最终网络输出结果Vout，其中，
Vout＝f(X)+X
其中f是主干网络，由多个网络层组成的非线性变换。
优选地，步骤3中包括：构建一个基于企业描述信息的Query-Tag预测模型，使用BiGRU网络作为信息提取网络，为输出层提供输入序列中每一个点的完整上下文信息；同时，引入注意力机制增强补充额外知识后的预测效果。
优选地，步骤3包括：
步骤3a、将企业其他信息作为外部知识信息引入Query-Tag预测模型，以键值对的形式构建出结构化的外部知识；输入到模型中的结构化知识库表示为一个键值对列表
L＝[(s1,v1),(s2,v2),…,(sn,vn)]
其中，si表示企业额外信息对应类型，vi表示对应企业额外信息的具体内容；
步骤3b、将结构化知识库L＝[(s1,v1),(s2,v2),…,(sn,vn)]经过嵌入得到向量L＝[I1,I2,…,In]；
步骤3c、将向量L中的元素Ii分别输入前向GRU和反向GRU得到前向隐藏状态和反向隐藏状态/>拼接前向和反向隐藏状态得到BiGRU的隐藏状态/>
步骤3d、对BiGRU的隐藏状态hi应用注意力机制，并引入知识库上下文向量u来衡量知识的重要性，得到有助于增强行业分类的额外知识向量V；
步骤3e、通过全连接网络将额外知识向量V的维度转换为与主干网络相同维度的结果向量
优选地，步骤4中包括将额外知识特征与经营范围特征Vout进行拼接得到Vconcat，将Vconcat输入分类器中实现行业预测：
p＝softmax(WVconcat+b)
同时，使用正确类别的负对数似然作为训练的损失函数：
其中，j是企业E的分类类别。
根据上述技术方案，本发明为了使RoBERTa模型适用于中文环境下的企业行业分类任务，使用哈工大讯飞联合实验室发布的RoBERTa-wwm-ext作为文本特征提取模型。处理后的文本表征向量被输入到候选集生成网络，产生包含类别候选集的特征向量，额外知识作为补充信息在使用BiGRU向量化后与特征向量进行拼接得到融合的特征向量，融合后的特征向量最终输入到分类器进行类别预测，以实现行业类别预测。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明中企业行业分类模型结构图；
图2是本发明中基于GRU的候选集生成网络结构图；
图3是本发明中额外知识嵌入模块的结构示意图；
图4是本发明中RoBERTa-GRU-EKB模型的测试结果混淆矩阵热力图；
图5是部分类别对应不同模型的预测准确率的比较图；
图6是本发明提供的一种融合RoBERTa和外部知识库的企业行业分类方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明中，在未作相反说明的情况下，包含在术语中的方位词仅代表该术语在常规使用状态下的方位，或为本领域技术人员理解的俗称，而不应视为对该术语的限制。
参见图6，本发明提供一种融合RoBERTa和外部知识库的企业行业分类方法，包括：
步骤1、基于预训练语言模型的语义表征编码；
步骤2、基于GRU的候选集生成网络；
步骤3、额外知识嵌入；
步骤4、行业类别预测。
为了使RoBERTa模型适用于中文环境下的企业行业分类任务，本发明使用哈工大讯飞联合实验室发布的RoBERTa-wwm-ext作为文本特征提取模型。处理后的文本表征向量被输入到候选集生成网络，产生包含类别候选集的特征向量，额外知识作为补充信息在使用BiGRU向量化后与特征向量进行拼接得到融合的特征向量，融合后的特征向量最终输入到分类器进行类别预测，以实现行业类别预测。其中提出的企业行业分类模型结构如图1所示。
具体的，步骤1中包括将经过预处理后的企业经营范围文本序列输入预训练模型，并将输出的(特征)向量作为输入到下一层网络的语义表征向量。
步骤2中的候选集为对企业类别可能判断的候选选项的集合，并且，如图2所示，在步骤2中使用GRU网络作为候选集的生成网络。
具体的，步骤2包括：
步骤2a、经过预训练模型编码后的语义向量结果xt构成集合X＝{xt|t＝1,2,…,n}，将X与类别语义信息作为模块的输入；
步骤2b、输入向量xt与上一步隐藏状态ht-1线性组合并经过sigmod激活函数非线性化处理后得到更新门zt和重置门rt；
步骤2c、由重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt线性组合后经过tanh激活函数非线性化处理得到候选状态
步骤2d、由更新门zt、隐藏状态ht-1和候选状态共同计算得到新的隐藏状态ht，计算公式为：/>
步骤2e、将不同时间节点隐藏状态ht构成集合H＝{ht|t＝1,2,…,n,n+1,…,n+m}经由全连接层以及softmax函数后得到候选集C＝{ci|i＝1,2,…,m}；
步骤2f、对候选集使用全连接层进行维度转换，输出与预训练语言模型同维度的结果
步骤2g、在候选集生成网络中添加跳层连接，用于防止训练过程中网络层数加深后可能存在的信息丢失和网络退化；通过将网络的输入部分与输出结果使用门控机制进行相加，得到最终网络输出结果Vout，其中，
Vout＝f(X)+X
其中f是主干网络，由多个网络层组成的非线性变换。
在步骤3中，通过引入企业其他外部知识可以有效提高模型的理解层次，提升行业预测准确性。为此，构建一个基于企业描述信息的Query-Tag预测模型，使用BiGRU网络作为信息提取网络，为输出层提供输入序列中每一个点的完整上下文信息；同时，引入注意力机制增强补充额外知识后的预测效果。
具体的，步骤3包括：
步骤3a、将企业其他信息作为外部知识信息引入Query-Tag预测模型，以键值对的形式构建出结构化的外部知识；输入到模型中的结构化知识库表示为一个键值对列表
L＝[(s1,v1),(s2,v2),…,(sn,vn)]
上式中，si表示企业额外信息对应类型，vi表示对应企业额外信息的具体内容；
步骤3b、将结构化知识库L＝[(s1,v1),(s2,v2),…,(sn,vn)]经过嵌入得到向量L＝[I1,I2,…,In]；
步骤3c、将向量L中的元素Ii分别输入前向GRU和反向GRU得到前向隐藏状态和反向隐藏状态/>拼接前向和反向隐藏状态得到BiGRU的隐藏状态/>
步骤3d、对BiGRU的隐藏状态hi应用注意力机制，并引入知识库上下文向量u来衡量知识的重要性，得到有助于增强行业分类的额外知识向量V；
步骤3e、通过全连接网络将额外知识向量V的维度转换为与主干网络相同维度的结果向量
其中，额外知识嵌入模块分为BiGRU部分和attention部分，具体结构如图3所示。
步骤4中包括将额外知识特征与经营范围特征Vout进行拼接得到Vconcat，将Vconcat输入分类器中实现行业预测：
p＝softmax(WVconcat+b)
同时，使用正确类别的负对数似然作为训练的损失函数：
其中，j是企业E的分类类别。
在以往的行业划分规范中，企业所属行业由企业的经营范围描述而得。然而，由于企业的经营范围描述往往涉及到多个行业的描述，人工分类的工作存在着更多的困难。企业行业预测算法的一般过程是从企业的经营范围文本中提取特征，然后使用分类器实现分类预测。在现如今庞大的行业规模下，人工分类存在效率低下、可靠性不高等问题。随着大规模数据集的出现，机器学习特征工程的难度越来越大，而深度学习模型可以从数据本身学习数据的内在特征。
针对此，本发明使用RoBERTa对企业经营范围中对行业分类重要的特征进行提取，通过基于GRU的候选集生成网络生成相关类别候选集，同时通过外部知识库嵌入补充额外信息，最后将外部知识库特征与经营范围特征进行融合，完成对企业行业类别的预测。同时，利用目前最先进的预训练语言模型RoBERTa代替传统的TFIDF、word2vec等模型，使模型能有效的提取文本的上下文语义信息。而且，本发明使用了一种结合双向门限循环神经网络(BiGRU)和注意力(Attention)机制的额外知识嵌入模块，该模块通过引入企业其他外部知识，可以有效提高模型的理解层次，提升行业预测的准确性。还进一步地提出了一种基于GRU的候选集生成网络，该网络通过GRU生成分类候选集用于增强本文算法的分类能力，并在此基础上引入跳层连接机制以解决深度网络训练中的信息丢失和网络退化问题。
由此可见，本发明利用深度学习模型和外部知识库提供一种分类识别速度快、准确率高的企业行业分类方法，对于市场监管、产业经济等需要企业准确行业类别的领域应用具有重要意义。
进一步的，为了更加直观有效地展示本发明模型的效果，图4中给出了提出的RoBERTa-GRU-EKB模型的测试结果的混淆矩阵热力图，并给出了部分类别预测准确率各模型对比直方图。从图4可知对角线上的方格颜色较深，这表明本发明提出模型在每个类别上的预测性能均较好。
此外，图5中列举了部分类别对应不同模型的预测准确率。从图5中可知本发明提出的模型均优于其他模型的分类准确率，进一步证明了本发明模型的优越性。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (2)

1.一种融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，包括：
步骤1、基于预训练语言模型的语义表征编码；
步骤2、基于GRU的候选集生成网络；
步骤3、额外知识嵌入；
步骤4、行业类别预测；其中，
步骤2中的候选集为对企业类别可能判断的候选选项的集合，并且，在步骤2中使用GRU网络作为候选集的生成网络；
步骤2包括：
步骤2a、经过预训练模型编码后的语义向量结果xt构成集合X＝{xt|t＝1,2,…,n}，将X与类别语义信息作为模块的输入；其中，i为行业类别文字中的第i个字，m为行业类别文字总字数，s为用作区分的标号；
步骤2b、输入向量xt与上一步隐藏状态ht-1线性组合并经过sigmod激活函数非线性化处理后得到更新门zt和重置门rt；
步骤2c、由重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt线性组合后经过tanh激活函数非线性化处理得到候选状态
步骤2d、由更新门zt、隐藏状态ht-1和候选状态共同计算得到新的隐藏状态ht，计算公式为：/>
步骤2e、将不同时间节点隐藏状态ht构成集合H＝{ht|t＝1,2,…,n,n+1,…,n+m}经由全连接层以及softmax函数后得到候选集C＝{ci|i＝1,2,…,m}；其中，n为预训练模型的输出向量数量，m为候选集数量；
步骤2f、对候选集使用全连接层进行维度转换，输出与预训练语言模型同维度的结果其中，t为某个时间步，n为总时间步，C为类别候选集；
步骤2g、在候选集生成网络中添加跳层连接，用于防止训练过程中网络层数加深后可能存在的信息丢失和网络退化；通过将网络的输入部分与输出结果使用门控机制进行相加，得到最终网络输出结果Vout，其中，
Vout＝f(X)+X
其中，f是主干网络，由多个网络层组成的非线性变换；
步骤3中包括：构建一个基于企业描述信息的Query-Tag预测模型，使用BiGRU网络作为信息提取网络，为输出层提供输入序列中每一个点的完整上下文信息；同时，引入注意力机制增强补充额外知识后的预测效果；
步骤3包括：
步骤3a、将企业其他信息作为外部知识信息引入Query-Tag预测模型，以键值对的形式构建出结构化的外部知识；输入到模型中的结构化知识库表示为一个键值对列表
L＝[(s1,v1),(s2,v2),…,(sn,vn)]
其中，si表示企业额外信息对应类型，vi表示对应企业额外信息的具体内容；
步骤3b、将结构化知识库L＝[(s1,v1),(s2,v2),…,(sn,vn)]经过嵌入得到向量L＝[I1,I2,…,In]；
步骤3c、将向量L中的元素Ii分别输入前向GRU和反向GRU得到前向隐藏状态和反向隐藏状态/>拼接前向和反向隐藏状态得到BiGRU的隐藏状态/>
步骤3d、对BiGRU的隐藏状态hi应用注意力机制，并引入知识库上下文向量u来衡量知识的重要性，得到有助于增强行业分类的额外知识向量V；
步骤3e、通过全连接网络将额外知识向量V的维度转换为与主干网络相同维度的结果向量
步骤4中包括将额外知识特征与经营范围特征Vout进行拼接得到Vconcat，将Vconcat输入分类器中实现行业预测：
p＝softmax(WVconcat+b)
其中，W为可学习矩阵，V为输出向量，b为可学习参数；
同时，使用正确类别的负对数似然作为训练的损失函数：
其中，j是企业E的分类类别。
2.根据权利要求1所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤1中包括：将经过预处理后的企业经营范围文本序列输入预训练模型，并将输出的特征向量作为输入到下一层网络的语义表征向量。
CN202110742262.5A 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法 Active CN113342982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110742262.5A CN113342982B (zh) 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110742262.5A CN113342982B (zh) 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法

Publications (2)

Publication Number Publication Date
CN113342982A CN113342982A (zh) 2021-09-03
CN113342982B true CN113342982B (zh) 2023-07-25

Family

ID=77481996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110742262.5A Active CN113342982B (zh) 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法

Country Status (1)

Country Link
CN (1) CN113342982B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740012A (zh) * 2018-12-14 2019-05-10 南京理工大学 基于深度神经网络对图像语义进行理解和问答的方法
CN112015900A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 医学属性知识图谱构建方法、装置、设备及介质
CN112905804A (zh) * 2021-02-22 2021-06-04 国网电力科学研究院有限公司 一种电网调度知识图谱的动态更新方法及装置
CN112966823A (zh) * 2020-12-24 2021-06-15 东南大学 一种基于知识图谱推理的场所识别方法
CN113010693A (zh) * 2021-04-09 2021-06-22 大连民族大学 融合指针生成网络的知识图谱智能问答方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682217A (zh) * 2016-12-31 2017-05-17 成都数联铭品科技有限公司 一种基于自动信息筛选学习的企业二级行业分类方法
CN111125380B (zh) * 2019-12-30 2023-04-21 华南理工大学 一种基于RoBERTa和启发式算法的实体链接方法
CN111626056B (zh) * 2020-04-11 2023-04-07 中国人民解放军战略支援部队信息工程大学 基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置
CN113011185A (zh) * 2020-07-17 2021-06-22 上海浦东华宇信息技术有限公司 法律领域文本分析识别方法、系统、存储介质及终端
CN111930942B (zh) * 2020-08-07 2023-08-15 腾讯云计算(长沙)有限责任公司 文本分类方法、语言模型训练方法、装置及设备
CN112100326B (zh) * 2020-08-28 2023-04-18 广州探迹科技有限公司 一种抗干扰的融合检索和机器阅读理解的问答方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740012A (zh) * 2018-12-14 2019-05-10 南京理工大学 基于深度神经网络对图像语义进行理解和问答的方法
CN112015900A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 医学属性知识图谱构建方法、装置、设备及介质
CN112966823A (zh) * 2020-12-24 2021-06-15 东南大学 一种基于知识图谱推理的场所识别方法
CN112905804A (zh) * 2021-02-22 2021-06-04 国网电力科学研究院有限公司 一种电网调度知识图谱的动态更新方法及装置
CN113010693A (zh) * 2021-04-09 2021-06-22 大连民族大学 融合指针生成网络的知识图谱智能问答方法

Also Published As

Publication number Publication date
CN113342982A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN110134757B (zh) 一种基于多头注意力机制的事件论元角色抽取方法
CN109934261B (zh) 一种知识驱动参数传播模型及其少样本学习方法
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN109933792A (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN113535953B (zh) 一种基于元学习的少样本分类方法
CN113705218A (zh) 基于字符嵌入的事件元素网格化抽取方法、存储介质及电子装置
CN115409018B (zh) 基于大数据的公司舆情监测系统及其方法
CN113051922A (zh) 一种基于深度学习的三元组抽取方法及系统
CN114492460B (zh) 基于衍生提示学习的事件因果关系抽取方法
CN116245097A (zh) 训练实体识别模型的方法、实体识别方法及对应装置
CN115374786A (zh) 实体和关系联合抽取方法及装置、存储介质和终端
CN116484024A (zh) 一种基于知识图谱的多层次知识库构建方法
CN111597816A (zh) 一种自注意力命名实体识别方法、装置、设备及存储介质
CN111178080A (zh) 一种基于结构化信息的命名实体识别方法及系统
CN112699685A (zh) 基于标签引导的字词融合的命名实体识别方法
CN117113937A (zh) 一种基于大规模语言模型的电力领域阅读理解方法和系统
CN113342982B (zh) 融合RoBERTa和外部知识库的企业行业分类方法
CN116304064A (zh) 一种基于抽取式的文本分类方法
CN115859989A (zh) 基于远程监督的实体识别方法及系统
CN113449517B (zh) 基于bert门控多窗口注意力网络模型的实体关系抽取方法
CN115062123A (zh) 一种对话生成系统的知识库问答对生成方法
CN114781381A (zh) 基于规则和神经网络模型融合的标准指标抽取方法
CN113869054A (zh) 一种基于深度学习的电力领域项目特征识别方法
CN113988083A (zh) 一种用于航运新闻摘要生成的事实性信息编码与评估方法
CN114154505A (zh) 一种面向电力规划评审领域的命名实体识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Building 5, Wuhu Science and Technology Industrial Park, Wuhu City, Anhui Province, 241000

Applicant after: Yangtze River delta information intelligence Innovation Research Institute

Address before: 241000 Wuhu Intelligent Collaborative Innovation Center

Applicant before: Institute of smart city University of science and technology of China (Wuhu)

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant