CN115130462B - 一种基于深度神经网络的信息抽取方法 - Google Patents

一种基于深度神经网络的信息抽取方法 Download PDF

Info

Publication number
CN115130462B
CN115130462B CN202210719139.6A CN202210719139A CN115130462B CN 115130462 B CN115130462 B CN 115130462B CN 202210719139 A CN202210719139 A CN 202210719139A CN 115130462 B CN115130462 B CN 115130462B
Authority
CN
China
Prior art keywords
batch
information
model
training
bert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210719139.6A
Other languages
English (en)
Other versions
CN115130462A (zh
Inventor
王亚强
李凯伦
唐聃
舒红平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu University of Information Technology
Original Assignee
Chengdu University of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu University of Information Technology filed Critical Chengdu University of Information Technology
Priority to CN202210719139.6A priority Critical patent/CN115130462B/zh
Publication of CN115130462A publication Critical patent/CN115130462A/zh
Application granted granted Critical
Publication of CN115130462B publication Critical patent/CN115130462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及自然语言序列标注技术领域，公开了一种基于深度神经网络的信息抽取方法，BERT‑BiLSTM‑CRF模型能够解决信息抽取任务中存在的一词多义与同物异名问题，以及信息抽取任务中存在的待抽取信息长短不统一和待抽取信息有错别字、描述简短等问题，通过批量过采样的方式增加批量中少数类样本信息的数量，使得模型在训练的过程中可以有效学习到少数类样本信息的特征，从而在一定程度上解决数据类别分布不均衡的问题，使得少数类样本信息的抽取效果有显著提升。

Description

一种基于深度神经网络的信息抽取方法
技术领域
本发明属于自然语言处理下的序列标注领域，涉及一种信息抽取的方法。
背景技术
信息抽取属于自然语言处理领域下的序列标注任务。过去常常使用统计机器学习方法去解决序列标注任务，其中最常用的就是条件随机场(Conditional random field,CRF)。CRF优于其他一般的统计学习方法，如最大熵马尔可夫模型(Maximum entropyMarkov model，MEMM)、隐马尔可夫模型(Hidden Markov model，HMM)。CRF是一种通过最大化条件概率来训练模型的无向图模型，其可以充分地利用数据中的特征，在所有状态上进行全局归一化，从而求得全局的最优解。解决了HMM的独立假设问题和MEMM的标注偏置问题。但是，CRF模型和其他统计机器学习模型一样，无法自动地从文本中提取丰富的语义特征，在特征提取方面仍然需要大量的人工参与。
近年来，基于预训练语言模型的深度神经网络被应用于序列标注任务。其中，预训练语言模型可以自动地从文本序列中提取出丰富的词义特征、语义级特征以及语法结构特征，使得其在序列标注任务上取得了相当理想的效果。但是，这些方法往往是基于类别分布均衡的数据集进行训练的，而真实地统计数据往往存在数据类别分布不均衡的问题，即：某一类信息的数量远少于其他信息的数量。这使得深度神经网络模型会拟合于数量较多的类别样本，忽略数量较少的类别样本的特征，从而影响模型的性能。
目前，解决数据类别分布不均衡问题，主要有三种数据级解决方法：
(1)过采样：通过不同的方法在数据集中尽可能多地合成现有的少数类别样本以平衡数据集的数据类别分布。
(2)欠采样：通过随机采样、k-近邻、聚类、分类决策边界敏感样本识别等方法对多数类样本进行选择性采样。从而过滤掉部分多数类样本，使得数据集中数据类别分布均衡。
(3)过采样与欠采样相结合的混合采样方法：通过将过采样的样本合成和欠采样的样本抽取相融合，构造类别均衡的数据集。
但是，在对复杂模型进行训练的过程中，对数量较多的类别样本对进行欠采样，将多数类样本的数量和少数类样本的数量均衡到相同水平。这会在一定程度上导致数据集中部分多数类样本的特征缺失，使得模型在拟合数据集时，无法充分学习到多数类样本数据的特征，从而影响模型性能。
发明内容
为解决上述问题，本发明采用BERT-BiLSTM-CRF模型，采用批量过采样的方式，提供了一种可全面、准确、均衡地抽取信息的方法。
本发明的技术方案如下：
一种基于深度神经网络的信息抽取方法，包括无监督域内继续预训练和基于批量过采样的有监督训练；
上述信息为中医临床四诊信息；
具体地，包括以下步骤：
S1:对开放域预训练语言模型BERT的掩码语言模型(Masked LanguageModel,MLM)进行无监督域内继续预训练；
S2:将S1中域内继续预训练之后的BERT模型与BiLSTM-CRF模型组
合成BERT-BiLSTM-CRF模型；
S3：对BERT-BiLSTM-CRF模型进行有监督训练；
在上述步骤S2中BERT-BiLSTM-CRF模型中，输入层将训练数据按字粒度进行分词，然后输入BERT层进行特征提取，BERT模型对输入的序列进行多种不同的线性变换，得到多个不同的Attention结果，并通过多头注意力机制将不同线性变换得到的Attention结果拼接起来，得到每个词在不同空间下的位置信息，从而给BERT层输出的词向量注入丰富的上下文语境信息；BiLSTM层的前向过程和后向过程的LSTM单元可以舍弃当前时刻输入词向量的无用信息，并将当前时刻输入词向量的有用信息传递给下一时刻的LSTM单元，然后，将双向过程中每个时刻对应的输出拼接，得到包含长距离上下文信息的词向量；CRF模型利用邻近标签之间的依赖关系对BiLSTM层输出的所有词向量进行解码，从而得到最优的预测序列；
上述批量过采样处理流程包括批处理策略、按比例P随机移除、随机选取、插入四个步骤，具体如下：
a)批处理策略：首先，将训练数据集D中所有的数据样本(xi,yi)按洗牌算法随机排列到列表中。然后，使用大小为M(批量大小)的滑动窗口去将列表划分为批量集合B，批量集合B中的批量Bk的数量批量Bk的大小为M，即：一个批量Bk中包含M个数据样本(xi,yi)；
b)按比例P随机移除：针对步骤a)中生成的每一个批量Bk，按批量过采样比例P随机从Bk中移除个数据样本(xi,yi)；
c)随机选取：从少数类样本信息数据集W中有放回地随机选取个数据样本，与步骤b)中在每个批量Bk中随机移除的数据样本数量相等；
d)插入：针对步骤b)中处理后的每一个批量Bk，将步骤c)中生成的个数据样本插入批量Bk中，形成批量过采样后的批量B'k。其中，批量集合B'中批量B'k的数量N'与批量集合B中批量Bk的数量N相等，即：
步骤c)中的少数类样本信息数据集为闻诊信息数据集，由训练数据集D中所有包含闻诊信息的数据样本构成。
进一步地，S3中通过小批量梯度下降方法对BERT-BiLSTM-CRF模型进行有监督训练。
进一步地，S3中对BERT-BiLSTM-CRF模型进行有监督训练的数据集是经过批量过采样处理的标注数据。
进一步地，步骤c)针对步骤b)中处理后的的每一个批量Bk都会重新执行一次。
进一步地，上述批量大小M，批量过采样比例P都为模型训练过程中的超参。
进一步地，上述批量过采样流程在训练模型的过程中会多次执行，执行次数与模型训练过程中的超参Epochs相等。
进一步地，上述步骤S2中BERT-BiLSTM-CRF模型组合的方法是，将无监督域内继续预训练后的BERT模型与BiLSTM模型相组合，用于输入序列的特征提取，并在其末尾组合一个用于抽取信息的CRF模型。
综上所述，本发明的有益效果是：
BERT-BiLSTM-CRF模型能够解决信息抽取任务中存在的一词多义与同物异名问题，以及信息抽取任务中存在的待抽取信息长短不统一和待抽取信息有错别字、描述简短等问题，通过批量过采样的方式增加批量少数类样本信息的数量，使得模型在训练的过程中可以有效学习到少数类样本信息的特征，从而在一定程度上解决数据类别分布不均衡的问题，使得少数类样本信息的抽取效果有显著提升。
附图说明
图1是实施例一的中医临床四诊信息抽取方法框架图；
图2是实施例一BERT-BiLSTM-CRF模型框架图；
图3是实施例一四诊信息批量过采样流程图；
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明附图，对本发明技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，指示方位或位置关系为基于附图所示的方位或位置关系，或者是该发明使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接连接，也可以通过中间媒介间接连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义；实施例中的附图用以对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
实施例一：
本实施例的中医临床四诊信息抽取方法框架图如图1所示，此方法由两部分组成，第一部分是无监督域内继续预训练，第二部分是有监督训练和批量过采样；
首先，使用无标注的中医临床记录数据对开放域预训练语言模型BERT(Bidirectional Encoder Representation from Transformers)的掩码语言模型(MaskedLanguage Model,MLM)进行无监督域内继续预训练，使得开放域的预训练语言模型更加适用于下游任务；
然后，将域内继续预训练之后的BERT模型与BiLSTM-CRF模型进行组合(模型框架图如图2所示)，并在域内高质量带标注数据集上利用小批量梯度下降方法对模型进行有监督训练。
在图2的前两层中，输入层将中医临床记录文本序列按字粒度进行分词，然后输入BERT层进行特征提取。而BERT模型对输入的序列进行多种不同的线性变换，得到多个不同的Attention结果，并通过多头注意力机制将不同线性变换得到的Attention结果拼接起来，得到每个词在不同空间下的位置信息，从而给BERT层输出的词向量注入丰富的上下文语境信息。这使得组合后的BERT-BiLSTM-CRF模型能够解决中医临床四诊信息抽取任务中存在的一词多义与同物异名问题。
在图2的后两层中，BiLSTM层的前向过程和后向过程的LSTM单元可以舍弃当前时刻输入词向量的无用信息，并将当前时刻输入词向量的有用信息传递给下一时刻的LSTM单元。然后，将双向过程中每个时刻对应的输出拼接，便可得到包含长距离上下文信息的词向量。最后，CRF模型利用邻近标签之间的依赖关系对BiLSTM层输出的所有词向量进行解码，从而得到最优的预测序列。这也使得组合后的BERT-BiLSTM-CRF模型能够在一定程度上解决中医临床四诊信息抽取任务中存在的待抽取信息长短不统一和待抽取信息有错别字、描述简短等问题。
但是，中医临床四诊信息带标注数据集还存在数据类别分布不均衡的问题，数据集中闻诊信息的数量远少于其他三诊信息的数量。在此数据集上对组合后的BERT-BiLSTM-CRF模型进行有监督训练，会使得模型过拟合数量较多的四诊类别样本，而忽略数量较少的四诊类别样本的特征。所以，本发明使用批量过采样的方式去增加批量中闻诊信息的数量，使得模型在训练的过程中可以有效学习到闻诊信息的特征，从而在一定程度上解决数据类别分布不均衡的问题。批量过采样的流程图如图3所示。
在图3中，主要有4个步骤，包括：
(1)批处理策略：首先，将训练数据集D中所有的数据样本(xi,yi)按洗牌算法随机排列到列表中。然后，使用大小为M(批量大小)的滑动窗口去将列表划分为批量集合B。因此，批量集合B中的批量Bk的数量批量Bk的大小为M，即：一个批量Bk中包含M个数据样本(xi,yi)。
(2)按比例P随机移除：针对步骤(1)中生成的每一个批量Bk，按批量过采样比例P随机从Bk中移除个数据样本(xi,yi)。
(3)随机选取：从闻诊信息数据集W中有放回地随机选取个数据样本，与步骤(2)中在每个批量Bk中随机移除的数据样本数量相等。此操作针对步骤(2)中处理后的的每一个批量Bk都会重新执行一次。
(4)插入：针对步骤(2)中处理后的每一个批量Bk，将步骤(3)中生成的个数据样本插入批量Bk中，形成批量过采样后的批量B'k。其中，批量集合B'中批量B'k的数量N'与批量集合B中批量Bk的数量N相等，即：
上述的步骤中，批量大小M，批量过采样比例P都为模型训练过程中的超参。闻诊信息数据集W由训练数据集D中所有包含闻诊信息的数据样本构成。图3所示的批量过采样流程在训练模型的过程中会多次执行，执行次数与模型训练过程中的超参Epochs相等。
本发明针对中医临床记录数据集中的四诊信息的抽取进行了一系列实验，实验结果如下表所示。首先，在HMM、CRF、BiLSTM、BiLSTM-CRF四个基线方法上分别进行了中医临床记录中四诊信息的抽取实验。然后，在本发明提出的深度学习方法上进行了实验。本发明使用常见的评价指标F1-Score(F1分数)来评价实验模型对每个中医四诊类别的抽取效果，以及使用Accuracy(准确率)来评价实验模型的整体抽取性能。
表1实验结果表格
首先，从表中可以看出，本发明的性能优于其他基线方法。就Accuracy而言，本文提出的方法达到了0.9570，相对于其他基线方法有0.0078到0.029的提升。就每个标签的F1值而言，本发明相比于基线方法中的最佳方法(CRF)有0.0009到0.0357的提升。
分析表中的结果后发现，本发明对于样本量极少的“B-闻”和“I-闻”标签的标注效果有显著提升。这是因为批量过采样增加了批量中闻诊信息出现的频率，使得原本在训练过程中容易被模型忽略的闻诊信息特征，可以有效地被模型学习到。从而在很大程度上消除了数据类别分布不均衡对模型性能的影响。并且，本发明移除批量过采样之后，“B-闻”和“I-闻”标签F1值的大幅降低也充分证明了此结论。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度神经网络的信息抽取方法，其特征在于，包括无监督域内继续预训练和基于批量过采样的有监督训练；
所述信息为中医临床四诊信息；
所述方法包括以下步骤：
S1:对开放域预训练语言模型BERT的掩码语言模型(Masked Language Model,MLM)进行无监督域内继续预训练；
S2:将S1中域内继续预训练之后的BERT模型与BiLSTM-CRF模型组合成BERT-BiLSTM-CRF模型；
S3：对BERT-BiLSTM-CRF模型进行有监督训练；
所述批量过采样处理流程包括批处理策略、按比例P随机移除、随机选取、插入；
所述批量过采样处理流程的具体步骤为：
a)批处理策略：首先，将训练数据集D中所有的数据样本(xi,yi)按洗牌算法随机排列到列表中。然后，使用批量大小为M的滑动窗口去将列表划分为批量集合B，批量集合B中的批量Bk的数量批量Bk的大小为M，即：一个批量Bk中包含M个数据样本(xi,yi)；
b)按比例P随机移除：针对步骤a)中生成的每一个批量Bk，按批量过采样比例P随机从Bk中移除个数据样本(xi,yi)；
c)随机选取：从少数类样本信息数据集W中有放回地随机选取个数据样本，与步骤b)中在每个批量Bk中随机移除的数据样本数量相等；
d)插入：针对步骤b)中处理后的每一个批量Bk，将步骤c)中生成的个数据样本插入批量Bk中，形成批量过采样后的批量B'k，其中，批量集合B'中批量B'k的数量N'与批量集合B中批量Bk的数量N相等，即：/>所述步骤S2中BERT-BiLSTM-CRF模型，输入层将训练数据按字粒度进行分词，然后输入BERT层进行特征提取，BERT模型对输入的序列进行多种不同的线性变换，得到多个不同的Attention结果，并通过多头注意力机制将不同线性变换得到的Attention结果拼接起来，得到每个词在不同空间下的位置信息，从而给BERT层输出的词向量注入丰富的上下文语境信息；BiLSTM层的前向过程和后向过程的LSTM单元可以舍弃当前时刻输入词向量的无用信息，并将当前时刻输入词向量的有用信息传递给下一时刻的LSTM单元，然后，将双向过程中每个时刻对应的输出拼接，得到包含长距离上下文信息的词向量；CRF模型利用邻近标签之间的依赖关系对BiLSTM层输出的所有词向量进行解码，从而得到最优的预测序列；
所述步骤c)中所述的少数类样本信息数据集W为闻诊信息数据集，由训练数据集D中所有包含闻诊信息的数据样本构成。
2.根据权利要求1所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述S3中通过小批量梯度下降方法对BERT-BiLSTM-CRF模型进行有监督训练。
3.根据权利要求2所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述S3中对BERT-BiLSTM-CRF模型进行有监督训练的数据集是经过批量过采样处理的标注数据。
4.根据权利要求1所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述步骤c)针对步骤b)中处理后的的每一个批量Bk都会重新执行一次。
5.根据权利要求4所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述批量大小M，批量过采样比例P都为模型训练过程中的超参。
6.根据权利要求4所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述批量过采样流程在训练模型的过程中会多次执行，执行次数与模型训练过程中的超参Epochs相等。
7.根据权利要求1所述的一种基于深度神经网络的信息抽取方法，其特征在于，所述步骤S2中BERT-BiLSTM-CRF模型组合的方法为，将无监督域内继续预训练后的BERT模型与BiLSTM模型相组合，用于输入序列的特征提取，并在其末尾组合一个用于抽取信息的CRF模型。
CN202210719139.6A 2022-06-23 2022-06-23 一种基于深度神经网络的信息抽取方法 Active CN115130462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210719139.6A CN115130462B (zh) 2022-06-23 2022-06-23 一种基于深度神经网络的信息抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210719139.6A CN115130462B (zh) 2022-06-23 2022-06-23 一种基于深度神经网络的信息抽取方法

Publications (2)

Publication Number Publication Date
CN115130462A CN115130462A (zh) 2022-09-30
CN115130462B true CN115130462B (zh) 2023-09-01

Family

ID=83379490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210719139.6A Active CN115130462B (zh) 2022-06-23 2022-06-23 一种基于深度神经网络的信息抽取方法

Country Status (1)

Country Link
CN (1) CN115130462B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492026A (zh) * 2018-11-02 2019-03-19 国家计算机网络与信息安全管理中心 一种基于改进的主动学习技术的电信欺诈分类检测方法
CN111274814A (zh) * 2019-12-26 2020-06-12 浙江大学 一种新型的半监督文本实体信息抽取方法
CN111783462A (zh) * 2020-06-30 2020-10-16 大连民族大学 基于双神经网络融合的中文命名实体识别模型及方法
CN112381116A (zh) * 2020-10-21 2021-02-19 福州大学 基于对比学习的自监督图像分类方法
CN113157916A (zh) * 2021-03-10 2021-07-23 南京航空航天大学 一种基于深度学习的民航突发事件抽取方法
CN114548106A (zh) * 2022-02-22 2022-05-27 辽宁工程技术大学 一种基于albert的科协活动命名实体识别的方法
CN114549850A (zh) * 2022-01-24 2022-05-27 西北大学 一种解决模态缺失问题的多模态图像美学质量评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11532378B2 (en) * 2020-11-23 2022-12-20 NE47 Bio, Inc. Protein database search using learned representations
US12008830B2 (en) * 2022-01-07 2024-06-11 Infrrd Inc. System for template invariant information extraction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492026A (zh) * 2018-11-02 2019-03-19 国家计算机网络与信息安全管理中心 一种基于改进的主动学习技术的电信欺诈分类检测方法
CN111274814A (zh) * 2019-12-26 2020-06-12 浙江大学 一种新型的半监督文本实体信息抽取方法
CN111783462A (zh) * 2020-06-30 2020-10-16 大连民族大学 基于双神经网络融合的中文命名实体识别模型及方法
CN112381116A (zh) * 2020-10-21 2021-02-19 福州大学 基于对比学习的自监督图像分类方法
CN113157916A (zh) * 2021-03-10 2021-07-23 南京航空航天大学 一种基于深度学习的民航突发事件抽取方法
CN114549850A (zh) * 2022-01-24 2022-05-27 西北大学 一种解决模态缺失问题的多模态图像美学质量评价方法
CN114548106A (zh) * 2022-02-22 2022-05-27 辽宁工程技术大学 一种基于albert的科协活动命名实体识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于半监督学习和迁移学习的序列标注算法研究;陆旭;《中国优秀硕士学位论文》(第05期);I138-1598 *

Also Published As

Publication number Publication date
CN115130462A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
Terechshenko et al. A comparison of methods in political science text classification: Transfer learning language models for politics
CN106599032B (zh) 一种结合稀疏编码和结构感知机的文本事件抽取方法
CN107590177B (zh) 一种结合监督学习的中文文本分类方法
CN106202543A (zh) 基于机器学习的本体匹配方法和系统
CN109492105B (zh) 一种基于多特征集成学习的文本情感分类方法
CN113392191B (zh) 一种基于多维度语义联合学习的文本匹配方法和装置
CN109299263B (zh) 文本分类方法、电子设备
CN115713085B (zh) 文献主题内容分析方法及装置
CN116451114A (zh) 基于企业多源实体特征信息的物联网企业分类系统及方法
Dhar et al. Bengali news headline categorization using optimized machine learning pipeline
Amin et al. Multiclass classification for bangla news tags with parallel cnn using word level data augmentation
Wang et al. Customer emotion analysis using deep learning: Advancements, challenges, and future directions
Imad et al. Automated Arabic News Classification using the Convolutional Neural Network.
CN115130462B (zh) 一种基于深度神经网络的信息抽取方法
Alabdulkarim et al. Exploring Sentiment Analysis on Social Media Texts
CN116384379A (zh) 一种基于深度学习的中文临床术语标准化方法
Wang et al. Weakly Supervised Chinese short text classification algorithm based on ConWea model
Patsiouras et al. Greekpolitics: Sentiment analysis on greek politically charged tweets
CN115630140A (zh) 一种基于文本特征融合的英语阅读材料难度判断的方法
CN115510855A (zh) 多关系词对标签空间的实体关系联合抽取方法
Mouri et al. An empirical study on bengali news headline categorization leveraging different machine learning techniques
CN113590768A (zh) 一种文本关联度模型的训练方法及装置、问答方法及装置
CN110766073A (zh) 一种强化主题注意力机制的移动应用分类方法
Arslan et al. Enabling Digital Transformation through Business Text Classification with Small Datasets
Ranzato A text segmentation technique based on language models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant