CN113342982A - 融合RoBERTa和外部知识库的企业行业分类方法 - Google Patents

融合RoBERTa和外部知识库的企业行业分类方法 Download PDF

Info

Publication number
CN113342982A
CN113342982A CN202110742262.5A CN202110742262A CN113342982A CN 113342982 A CN113342982 A CN 113342982A CN 202110742262 A CN202110742262 A CN 202110742262A CN 113342982 A CN113342982 A CN 113342982A
Authority
CN
China
Prior art keywords
network
enterprise
vector
knowledge base
roberta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110742262.5A
Other languages
English (en)
Other versions
CN113342982B (zh
Inventor
陈钢
佘祥荣
水新莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute Of Smart City University Of Science And Technology Of China Wuhu
Original Assignee
Institute Of Smart City University Of Science And Technology Of China Wuhu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Smart City University Of Science And Technology Of China Wuhu filed Critical Institute Of Smart City University Of Science And Technology Of China Wuhu
Priority to CN202110742262.5A priority Critical patent/CN113342982B/zh
Publication of CN113342982A publication Critical patent/CN113342982A/zh
Application granted granted Critical
Publication of CN113342982B publication Critical patent/CN113342982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种融合RoBERTa和外部知识库的企业行业分类方法，包括：步骤1、基于预训练语言模型的语义表征编码；步骤2、基于GRU的候选集生成网络；步骤3、额外知识嵌入；步骤4、行业类别预测。该企业行业分类方法不仅能够使用预训练语言模型提取企业经营范围特征，而且还可以通过外部知识库和类别语义信息增强行业分类的准确性。

Description

融合RoBERTa和外部知识库的企业行业分类方法
技术领域
本发明涉及一种融合RoBERTa和外部知识库的企业行业分类方法。
背景技术
目前，现有的企业数量已有数千万家，并且每年都有大量新企业设立，如何准确、快速地对构建企业的行业标签是目前亟待解决的问题。
现有的解决办法通常会借助机器学习的手段进行数据挖掘自动完成企业行业分类。其中，主流的方法有两种：一种是使用传统的机器学习方法，首先人工提取特征，再利用经典的分类算法(如朴素贝叶斯)等分类器完成行业分类；另一种是利用深度学习技术(如循环神经网络)完成自动的特征提取和分类任务。相比一级行业分类，二级行业分类在经营范围的描述上不同行业之间存在更多相似性，这导致利用常规方法很难发现这种微小的差异，进而较难作出正确的判断。
现有一些公开的相关发明专利使用词向量表示可以作为初始的词向量嵌入到神经网络模型中，从而使神经网络模型可以获取更多更精确的语义信息以提升分类的准确率。然而，这些模型往往无法结合上下文信息获得更为全面的语义信息。
因此，急需要提供一种融合RoBERTa和外部知识库的企业行业分类方法来解决上述技术问题。
发明内容
本发明的目的是提供一种融合RoBERTa和外部知识库的企业行业分类方法，该企业行业分类方法不仅能够使用预训练语言模型提取企业经营范围特征，而且还可以通过外部知识库和类别语义信息增强行业分类的准确性。
为了实现上述目的，本发明提供了一种融合RoBERTa和外部知识库的企业行业分类方法，包括：
步骤1、基于预训练语言模型的语义表征编码；
步骤2、基于GRU的候选集生成网络；
步骤3、额外知识嵌入；
步骤4、行业类别预测。
优选地，步骤1中包括：将经过预处理后的企业经营范围文本序列输入预训练模型，并将输出的特征向量作为输入到下一层网络的语义表征向量。
优选地，步骤2中的候选集为对企业类别可能判断的候选选项的集合，并且，在步骤2中使用GRU网络作为候选集的生成网络。
优选地，步骤2包括：
步骤2a、经过预训练模型编码后的语义向量结果xt构成集合X＝{xt|t＝1,2,…,n}，将X与类别语义信息
Figure BDA0003130494140000021
作为模块的输入；
步骤2b、输入向量xt与上一步隐藏状态ht-1线性组合并经过sigmod激活函数非线性化处理后得到更新门zt和重置门rt；
步骤2c、由重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt线性组合后经过tanh激活函数非线性化处理得到候选状态
Figure BDA0003130494140000022
步骤2d、由更新门zt、隐藏状态ht-1和候选状态
Figure BDA0003130494140000023
共同计算得到新的隐藏状态ht，计算公式为：
Figure BDA0003130494140000024
步骤2e、将不同时间节点隐藏状态ht构成集合H＝{ht|t＝1,2,…,n,n+1,…,n+m}经由全连接层以及softmax函数后得到候选集C＝{ci|i＝1,2,…,m}；
步骤2f、对候选集使用全连接层进行维度转换，输出与预训练语言模型同维度的结果
Figure BDA0003130494140000025
步骤2g、在候选集生成网络中添加跳层连接，用于防止训练过程中网络层数加深后可能存在的信息丢失和网络退化；通过将网络的输入部分与输出结果使用门控机制进行相加，得到最终网络输出结果Vout，其中，
Vout＝f(X)+X
其中f是主干网络，由多个网络层组成的非线性变换。
优选地，步骤3中包括：构建一个基于企业描述信息的Query-Tag预测模型，使用BiGRU网络作为信息提取网络，为输出层提供输入序列中每一个点的完整上下文信息；同时，引入注意力机制增强补充额外知识后的预测效果。
优选地，步骤3包括：
步骤3a、将企业其他信息作为外部知识信息引入Query-Tag预测模型，以键值对的形式构建出结构化的外部知识；输入到模型中的结构化知识库表示为一个键值对列表
L＝[(s1,v1),(s2,v2),…,(sn,vn)]
其中，si表示企业额外信息对应类型，vi表示对应企业额外信息的具体内容；
步骤3b、将结构化知识库L＝[(s1,v1),(s2,v2),…,(sn,vn)]经过嵌入得到向量L＝[I1,I2,…,In]；
步骤3c、将向量L中的元素Ii分别输入前向GRU和反向GRU得到前向隐藏状态
Figure BDA0003130494140000031
和反向隐藏状态
Figure BDA0003130494140000032
拼接前向和反向隐藏状态得到BiGRU的隐藏状态
Figure BDA0003130494140000033
步骤3d、对BiGRU的隐藏状态hi应用注意力机制，并引入知识库上下文向量u来衡量知识的重要性，得到有助于增强行业分类的额外知识向量V；
步骤3e、通过全连接网络将额外知识向量V的维度转换为与主干网络相同维度的结果向量
Figure BDA0003130494140000034
优选地，步骤4中包括将额外知识特征
Figure BDA0003130494140000041
与经营范围特征Vout进行拼接得到Vconcat，将Vconcat输入分类器中实现行业预测：
Figure BDA0003130494140000042
p＝softmax(WVconcat+b)
同时，使用正确类别的负对数似然作为训练的损失函数：
Figure BDA0003130494140000043
其中，j是企业E的分类类别。
根据上述技术方案，本发明为了使RoBERTa模型适用于中文环境下的企业行业分类任务，使用哈工大讯飞联合实验室发布的RoBERTa-wwm-ext作为文本特征提取模型。处理后的文本表征向量被输入到候选集生成网络，产生包含类别候选集的特征向量，额外知识作为补充信息在使用BiGRU向量化后与特征向量进行拼接得到融合的特征向量，融合后的特征向量最终输入到分类器进行类别预测，以实现行业类别预测。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：
图1是本发明中企业行业分类模型结构图；
图2是本发明中基于GRU的候选集生成网络结构图；
图3是本发明中额外知识嵌入模块的结构示意图；
图4是本发明中RoBERTa-GRU-EKB模型的测试结果混淆矩阵热力图；
图5是部分类别对应不同模型的预测准确率的比较图；
图6是本发明提供的一种融合RoBERTa和外部知识库的企业行业分类方法的流程图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
在本发明中，在未作相反说明的情况下，包含在术语中的方位词仅代表该术语在常规使用状态下的方位，或为本领域技术人员理解的俗称，而不应视为对该术语的限制。
参见图6，本发明提供一种融合RoBERTa和外部知识库的企业行业分类方法，包括：
步骤1、基于预训练语言模型的语义表征编码；
步骤2、基于GRU的候选集生成网络；
步骤3、额外知识嵌入；
步骤4、行业类别预测。
为了使RoBERTa模型适用于中文环境下的企业行业分类任务，本发明使用哈工大讯飞联合实验室发布的RoBERTa-wwm-ext作为文本特征提取模型。处理后的文本表征向量被输入到候选集生成网络，产生包含类别候选集的特征向量，额外知识作为补充信息在使用BiGRU向量化后与特征向量进行拼接得到融合的特征向量，融合后的特征向量最终输入到分类器进行类别预测，以实现行业类别预测。其中提出的企业行业分类模型结构如图1所示。
具体的，步骤1中包括将经过预处理后的企业经营范围文本序列输入预训练模型，并将输出的(特征)向量作为输入到下一层网络的语义表征向量。
步骤2中的候选集为对企业类别可能判断的候选选项的集合，并且，如图2所示，在步骤2中使用GRU网络作为候选集的生成网络。
具体的，步骤2包括：
步骤2a、经过预训练模型编码后的语义向量结果xt构成集合X＝{xt|t＝1,2,…,n}，将X与类别语义信息
Figure BDA0003130494140000061
作为模块的输入；
步骤2b、输入向量xt与上一步隐藏状态ht-1线性组合并经过sigmod激活函数非线性化处理后得到更新门zt和重置门rt；
步骤2c、由重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt线性组合后经过tanh激活函数非线性化处理得到候选状态
Figure BDA0003130494140000062
步骤2d、由更新门zt、隐藏状态ht-1和候选状态
Figure BDA0003130494140000063
共同计算得到新的隐藏状态ht，计算公式为：
Figure BDA0003130494140000064
步骤2e、将不同时间节点隐藏状态ht构成集合H＝{ht|t＝1,2,…,n,n+1,…,n+m}经由全连接层以及softmax函数后得到候选集C＝{ci|i＝1,2,…,m}；
步骤2f、对候选集使用全连接层进行维度转换，输出与预训练语言模型同维度的结果
Figure BDA0003130494140000065
步骤2g、在候选集生成网络中添加跳层连接，用于防止训练过程中网络层数加深后可能存在的信息丢失和网络退化；通过将网络的输入部分与输出结果使用门控机制进行相加，得到最终网络输出结果Vout，其中，
Vout＝f(X)+X
其中f是主干网络，由多个网络层组成的非线性变换。
在步骤3中，通过引入企业其他外部知识可以有效提高模型的理解层次，提升行业预测准确性。为此，构建一个基于企业描述信息的Query-Tag预测模型，使用BiGRU网络作为信息提取网络，为输出层提供输入序列中每一个点的完整上下文信息；同时，引入注意力机制增强补充额外知识后的预测效果。
具体的，步骤3包括：
步骤3a、将企业其他信息作为外部知识信息引入Query-Tag预测模型，以键值对的形式构建出结构化的外部知识；输入到模型中的结构化知识库表示为一个键值对列表
L＝[(s1,v1),(s2,v2),…,(sn,vn)]
上式中，si表示企业额外信息对应类型，vi表示对应企业额外信息的具体内容；
步骤3b、将结构化知识库L＝[(s1,v1),(s2,v2),…,(sn,vn)]经过嵌入得到向量L＝[I1,I2,…,In]；
步骤3c、将向量L中的元素Ii分别输入前向GRU和反向GRU得到前向隐藏状态
Figure BDA0003130494140000071
和反向隐藏状态
Figure BDA0003130494140000072
拼接前向和反向隐藏状态得到BiGRU的隐藏状态
Figure BDA0003130494140000073
步骤3d、对BiGRU的隐藏状态hi应用注意力机制，并引入知识库上下文向量u来衡量知识的重要性，得到有助于增强行业分类的额外知识向量V；
步骤3e、通过全连接网络将额外知识向量V的维度转换为与主干网络相同维度的结果向量
Figure BDA0003130494140000074
其中，额外知识嵌入模块分为BiGRU部分和attention部分，具体结构如图3所示。
步骤4中包括将额外知识特征
Figure BDA0003130494140000075
与经营范围特征Vout进行拼接得到Vconcat，将Vconcat输入分类器中实现行业预测：
Figure BDA0003130494140000076
p＝softmax(WVconcat+b)
同时，使用正确类别的负对数似然作为训练的损失函数：
Figure BDA0003130494140000077
其中，j是企业E的分类类别。
在以往的行业划分规范中，企业所属行业由企业的经营范围描述而得。然而，由于企业的经营范围描述往往涉及到多个行业的描述，人工分类的工作存在着更多的困难。企业行业预测算法的一般过程是从企业的经营范围文本中提取特征，然后使用分类器实现分类预测。在现如今庞大的行业规模下，人工分类存在效率低下、可靠性不高等问题。随着大规模数据集的出现，机器学习特征工程的难度越来越大，而深度学习模型可以从数据本身学习数据的内在特征。
针对此，本发明使用RoBERTa对企业经营范围中对行业分类重要的特征进行提取，通过基于GRU的候选集生成网络生成相关类别候选集，同时通过外部知识库嵌入补充额外信息，最后将外部知识库特征与经营范围特征进行融合，完成对企业行业类别的预测。同时，利用目前最先进的预训练语言模型RoBERTa代替传统的TFIDF、word2vec等模型，使模型能有效的提取文本的上下文语义信息。而且，本发明使用了一种结合双向门限循环神经网络(BiGRU)和注意力(Attention)机制的额外知识嵌入模块，该模块通过引入企业其他外部知识，可以有效提高模型的理解层次，提升行业预测的准确性。还进一步地提出了一种基于GRU的候选集生成网络，该网络通过GRU生成分类候选集用于增强本文算法的分类能力，并在此基础上引入跳层连接机制以解决深度网络训练中的信息丢失和网络退化问题。
由此可见，本发明利用深度学习模型和外部知识库提供一种分类识别速度快、准确率高的企业行业分类方法，对于市场监管、产业经济等需要企业准确行业类别的领域应用具有重要意义。
进一步的，为了更加直观有效地展示本发明模型的效果，图4中给出了提出的RoBERTa-GRU-EKB模型的测试结果的混淆矩阵热力图，并给出了部分类别预测准确率各模型对比直方图。从图4可知对角线上的方格颜色较深，这表明本发明提出模型在每个类别上的预测性能均较好。
此外，图5中列举了部分类别对应不同模型的预测准确率。从图5中可知本发明提出的模型均优于其他模型的分类准确率，进一步证明了本发明模型的优越性。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (7)

1.一种融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，包括：
步骤1、基于预训练语言模型的语义表征编码；
步骤2、基于GRU的候选集生成网络；
步骤3、额外知识嵌入；
步骤4、行业类别预测。
2.根据权利要求1所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤1中包括：将经过预处理后的企业经营范围文本序列输入预训练模型，并将输出的特征向量作为输入到下一层网络的语义表征向量。
3.根据权利要求1所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤2中的候选集为对企业类别可能判断的候选选项的集合，并且，在步骤2中使用GRU网络作为候选集的生成网络。
4.根据权利要求3所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤2包括：
步骤2a、经过预训练模型编码后的语义向量结果xt构成集合X＝{xt|t＝1,2,…,n}，将X与类别语义信息
Figure FDA0003130494130000011
作为模块的输入；
步骤2b、输入向量xt与上一步隐藏状态ht-1线性组合并经过sigmod激活函数非线性化处理后得到更新门zt和重置门rt；
步骤2c、由重置门rt与隐藏状态ht-1的哈达玛积和输入向量xt线性组合后经过tanh激活函数非线性化处理得到候选状态
Figure FDA0003130494130000012
步骤2d、由更新门zt、隐藏状态ht-1和候选状态
Figure FDA0003130494130000013
共同计算得到新的隐藏状态ht，计算公式为：
Figure FDA0003130494130000021
步骤2e、将不同时间节点隐藏状态ht构成集合H＝{ht|t＝1,2,,n,n+1,…,n+m}经由全连接层以及softmax函数后得到候选集C＝{ci|i＝1,2,…,m}；
步骤2f、对候选集使用全连接层进行维度转换，输出与预训练语言模型同维度的结果
Figure FDA0003130494130000022
步骤2g、在候选集生成网络中添加跳层连接，用于防止训练过程中网络层数加深后可能存在的信息丢失和网络退化；通过将网络的输入部分与输出结果使用门控机制进行相加，得到最终网络输出结果Vout，其中，
Vout＝f(X)+X
其中，f是主干网络，由多个网络层组成的非线性变换。
5.根据权利要求1所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤3中包括：构建一个基于企业描述信息的Query-Tag预测模型，使用BiGRU网络作为信息提取网络，为输出层提供输入序列中每一个点的完整上下文信息；同时，引入注意力机制增强补充额外知识后的预测效果。
6.根据权利要求5所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤3包括：
步骤3a、将企业其他信息作为外部知识信息引入Query-Tag预测模型，以键值对的形式构建出结构化的外部知识；输入到模型中的结构化知识库表示为一个键值对列表
L＝[(s1,v1),(s2,v2),…,(sn,vn)]
其中，si表示企业额外信息对应类型，vi表示对应企业额外信息的具体内容；
步骤3b、将结构化知识库L＝[(s1,v1),(s2,v2),…,(sn,vn)]经过嵌入得到向量L＝[I1,I2,…,In]；
步骤3c、将向量L中的元素Ii分别输入前向GRU和反向GRU得到前向隐藏状态
Figure FDA0003130494130000031
和反向隐藏状态
Figure FDA0003130494130000032
拼接前向和反向隐藏状态得到BiGRU的隐藏状态
Figure FDA0003130494130000033
步骤3d、对BiGRU的隐藏状态hi应用注意力机制，并引入知识库上下文向量u来衡量知识的重要性，得到有助于增强行业分类的额外知识向量V；
步骤3e、通过全连接网络将额外知识向量V的维度转换为与主干网络相同维度的结果向量
Figure FDA0003130494130000034
7.根据权利要求1所述的融合RoBERTa和外部知识库的企业行业分类方法，其特征在于，步骤4中包括将额外知识特征
Figure FDA0003130494130000035
与经营范围特征Vout进行拼接得到Vconcat，将Vconcat输入分类器中实现行业预测：
Figure FDA0003130494130000036
p＝softmax(WVconcat+b)
同时，使用正确类别的负对数似然作为训练的损失函数：
Figure FDA0003130494130000037
其中，j是企业E的分类类别。
CN202110742262.5A 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法 Active CN113342982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110742262.5A CN113342982B (zh) 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110742262.5A CN113342982B (zh) 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法

Publications (2)

Publication Number Publication Date
CN113342982A true CN113342982A (zh) 2021-09-03
CN113342982B CN113342982B (zh) 2023-07-25

Family

ID=77481996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110742262.5A Active CN113342982B (zh) 2021-06-24 2021-06-24 融合RoBERTa和外部知识库的企业行业分类方法

Country Status (1)

Country Link
CN (1) CN113342982B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701633A (zh) * 2023-06-14 2023-09-05 上交所技术有限责任公司 一种基于专利大数据的行业分类方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682217A (zh) * 2016-12-31 2017-05-17 成都数联铭品科技有限公司 一种基于自动信息筛选学习的企业二级行业分类方法
CN109740012A (zh) * 2018-12-14 2019-05-10 南京理工大学 基于深度神经网络对图像语义进行理解和问答的方法
CN111125380A (zh) * 2019-12-30 2020-05-08 华南理工大学 一种基于RoBERTa和启发式算法的实体链接方法
CN111626056A (zh) * 2020-04-11 2020-09-04 中国人民解放军战略支援部队信息工程大学 基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置
CN111930942A (zh) * 2020-08-07 2020-11-13 腾讯云计算(长沙)有限责任公司 文本分类方法、语言模型训练方法、装置及设备
CN112015900A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 医学属性知识图谱构建方法、装置、设备及介质
CN112100326A (zh) * 2020-08-28 2020-12-18 广州探迹科技有限公司 一种抗干扰的融合检索和机器阅读理解的知识库问答方法及系统
CN112905804A (zh) * 2021-02-22 2021-06-04 国网电力科学研究院有限公司 一种电网调度知识图谱的动态更新方法及装置
CN112966823A (zh) * 2020-12-24 2021-06-15 东南大学 一种基于知识图谱推理的场所识别方法
CN113010693A (zh) * 2021-04-09 2021-06-22 大连民族大学 融合指针生成网络的知识图谱智能问答方法
CN113011185A (zh) * 2020-07-17 2021-06-22 上海浦东华宇信息技术有限公司 法律领域文本分析识别方法、系统、存储介质及终端

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682217A (zh) * 2016-12-31 2017-05-17 成都数联铭品科技有限公司 一种基于自动信息筛选学习的企业二级行业分类方法
CN109740012A (zh) * 2018-12-14 2019-05-10 南京理工大学 基于深度神经网络对图像语义进行理解和问答的方法
CN111125380A (zh) * 2019-12-30 2020-05-08 华南理工大学 一种基于RoBERTa和启发式算法的实体链接方法
CN111626056A (zh) * 2020-04-11 2020-09-04 中国人民解放军战略支援部队信息工程大学 基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置
CN113011185A (zh) * 2020-07-17 2021-06-22 上海浦东华宇信息技术有限公司 法律领域文本分析识别方法、系统、存储介质及终端
CN111930942A (zh) * 2020-08-07 2020-11-13 腾讯云计算(长沙)有限责任公司 文本分类方法、语言模型训练方法、装置及设备
CN112100326A (zh) * 2020-08-28 2020-12-18 广州探迹科技有限公司 一种抗干扰的融合检索和机器阅读理解的知识库问答方法及系统
CN112015900A (zh) * 2020-09-07 2020-12-01 平安科技（深圳）有限公司 医学属性知识图谱构建方法、装置、设备及介质
CN112966823A (zh) * 2020-12-24 2021-06-15 东南大学 一种基于知识图谱推理的场所识别方法
CN112905804A (zh) * 2021-02-22 2021-06-04 国网电力科学研究院有限公司 一种电网调度知识图谱的动态更新方法及装置
CN113010693A (zh) * 2021-04-09 2021-06-22 大连民族大学 融合指针生成网络的知识图谱智能问答方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHUNWEI LEI ET AL.: "Leveraging Neural network-based model for context classification of classroom dialogue text", 《COMMUNICATIONS INF COMPUTER AND INFORMATION SCIENCE》, pages 1 - 6 *
万莹 等: "基于信息增强BERT的关系分类", 《中文信息学报》, vol. 35, no. 3, pages 69 - 77 *
高雅 等: "结合注意力机制的新闻文本情感分析算法", 《新型工业化》, vol. 10, no. 7, pages 15 - 18 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116701633A (zh) * 2023-06-14 2023-09-05 上交所技术有限责任公司 一种基于专利大数据的行业分类方法

Also Published As

Publication number Publication date
CN113342982B (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
CN109992782B (zh) 法律文书命名实体识别方法、装置及计算机设备
CN110134757B (zh) 一种基于多头注意力机制的事件论元角色抽取方法
CN106502985B (zh) 一种用于生成标题的神经网络建模方法及装置
CN110532554A (zh) 一种中文摘要生成方法、系统及存储介质
CN112256866B (zh) 一种基于深度学习的文本细粒度情感分析算法
CN109919175B (zh) 一种结合属性信息的实体多分类方法
CN113535953B (zh) 一种基于元学习的少样本分类方法
CN111325264A (zh) 一种基于熵的多标签数据分类方法
CN112328797A (zh) 一种基于神经网络和注意力机制的情感分类方法及系统
CN109933792A (zh) 基于多层双向lstm和验证模型的观点型问题阅读理解方法
CN111222318A (zh) 基于双通道双向lstm-crf网络的触发词识别方法
CN110569505A (zh) 一种文本输入方法及装置
CN112163089A (zh) 一种融合命名实体识别的军事高技术文本分类方法及系统
CN113673242A (zh) 一种基于k邻近结点算法和对比学习的文本分类方法
CN111400494A (zh) 一种基于GCN-Attention的情感分析方法
CN114492460B (zh) 基于衍生提示学习的事件因果关系抽取方法
CN111090724B (zh) 一种基于深度学习的可评判文本内容与实体相关性的实体抽取方法
CN112699685A (zh) 基于标签引导的字词融合的命名实体识别方法
CN115687609A (zh) 一种基于Prompt多模板融合的零样本关系抽取方法
CN113553847A (zh) 用于对地址文本进行解析的方法、装置、系统和存储介质
Ding et al. A knowledge-enriched and span-based network for joint entity and relation extraction
CN113342982A (zh) 融合RoBERTa和外部知识库的企业行业分类方法
CN116432125B (zh) 基于哈希算法的代码分类方法
CN113051904A (zh) 一种面向小规模知识图谱的链接预测方法
CN116384379A (zh) 一种基于深度学习的中文临床术语标准化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Building 5, Wuhu Science and Technology Industrial Park, Wuhu City, Anhui Province, 241000

Applicant after: Yangtze River delta information intelligence Innovation Research Institute

Address before: 241000 Wuhu Intelligent Collaborative Innovation Center

Applicant before: Institute of smart city University of science and technology of China (Wuhu)

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant