CN116205230A - 实体识别方法、装置、电子设备及存储介质 - Google Patents

实体识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116205230A
CN116205230A CN202211712884.4A CN202211712884A CN116205230A CN 116205230 A CN116205230 A CN 116205230A CN 202211712884 A CN202211712884 A CN 202211712884A CN 116205230 A CN116205230 A CN 116205230A
Authority
CN
China
Prior art keywords
rule
entity
entity recognition
training sample
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211712884.4A
Other languages
English (en)
Inventor
肖飞
冯韬
易显维
胡加学
赵景鹤
贺志阳
鹿晓亮
魏思
胡国平
陈祖吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Iflytek Medical Technology Co ltd
Original Assignee
Iflytek Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Iflytek Medical Technology Co ltd filed Critical Iflytek Medical Technology Co ltd
Priority to CN202211712884.4A priority Critical patent/CN116205230A/zh
Publication of CN116205230A publication Critical patent/CN116205230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请提出一种实体识别方法、装置、电子设备及存储介质，方法包括：将待识别文本输入到预先训练的实体识别模型中，得到待识别文本对应的实体标签；其中，实体识别模型至少通过将预先构建的实体识别规则嵌入与实体识别规则相匹配的第一训练样本，并利用嵌入实体识别规则后的第一训练样本进行实体识别训练得到，与实体识别规则相匹配的第一训练样本，包括能够通过实体识别规则识别样本中的实体的文本样本。采用本方案，将预先构建的实体识别规则融入到实体识别模型中，实体识别规则可以在样本较少时，也能得到较高的识别效果，因此，融入了实体识别规则的实体识别模型，能够提高实体识别模型的准确率，从而提高医疗文本的命名实体识别的准确率。

Description

实体识别方法、装置、电子设备及存储介质
技术领域
本申请涉及实体识别技术领域，尤其涉及一种实体识别方法、装置、电子设备及存储介质。
背景技术
在近年来，随着网络和医疗信息技术的发展，互联网医疗逐渐兴起，医疗大数据也逐渐产生。而医疗大数据在医疗行业有着尤为重要的作用。对于医疗大数据的应用，医疗文本中医疗命名实体的识别为基础工作。
对于医疗文本的命名实体识别，通常采用有监督方法训练识别模型，将医疗文本作为一个序列，利用该识别模型来预测序列中每个字或词的标签，从而提取出文本中的实体。但是该方法往往需要大量有标注的数据才能获得较好的效果，例如基于条件随机场(CRF)的统计学习方案。在样本量较小时，训练出的模型准确率较低，从而影响医疗文本中的命名实体识别的准确率。
发明内容
基于上述现有技术的缺陷和不足，本申请提出一种实体识别方法、装置、电子设备及存储介质，能够提高医疗文本中的命名实体识别的准确率。
根据本申请实施例的第一方面，提供了一种实体识别方法，包括：
将待识别文本输入到预先训练的实体识别模型中，得到所述待识别文本对应的实体标签；
其中，所述实体识别模型至少通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到，与所述实体识别规则相匹配的第一训练样本，包括能够通过所述实体识别规则识别样本中的实体的文本样本。
可选的，通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到实体识别模型，包括：
将预先构建的实体识别规则嵌入到与预先构建的实体识别规则相匹配的第一训练样本对应的样本特征中，得到所述第一训练样本对应的输入特征；
将所述输入特征输入到神经网络中进行实体识别，得到所述第一训练样本对应的输出标签；
根据利用所述实体识别规则确定的所述第一训练样本对应的样本标签和所述输出标签，对所述神经网络的网络参数进行调整，得到实体识别模型。
可选的，所述神经网络对所述第一训练样本对应的输入特征进行实体识别的步骤包括：
对所述第一训练样本对应的输入特征进行编码操作，得到所述第一训练样本对应的编码特征；
基于注意力机制，对第一训练样本中的每个字对应的编码特征结合第一训练样本中的其他字对应的编码特征，确定第一训练样本中的每个字对应的注意力编码特征；
根据第一训练样本对应的注意力编码特征，预测所述第一训练样本对应的输出标签。
可选的，将预先构建的实体识别规则嵌入到与预先构建的实体识别规则相匹配的第一训练样本对应的样本特征中，得到所述第一训练样本对应的输入特征，包括；
基于有限自动状态机的转换规则，对预先构建的实体识别规则进行规则表征，得到包含所述实体识别规则的规则特征；
提取与所述实体识别规则相匹配的第一训练样本对应的样本特征；
将所述规则特征与所述第一训练样本对应的样本特征融合，得到所述第一训练样本对应的输入特征。
可选的，基于有限自动状态机的转换规则，对预先构建的实体识别规则进行规则表征，得到包含所述实体识别规则的规则特征，包括：
基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量；
对所述规则张量进行张量秩分解，将分解后的规则矩阵作为包含所述实体识别规则的规则特征。
可选的，基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量，包括：
基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的有限自动状态机；
利用张量降维的方式，将所述有限自动状态机转换为独立有限自动状态机，将所述独立有限自动状态机对应的张量作为预先构建的实体识别规则对应的规则张量。
可选的，所述实体识别模型的训练过程还包括：
获取医疗文本，以及所述医疗文本对应的标注标签，所述标注标签包括实体标注标签；
将所述医疗文本输入到所述实体识别模型中，得到所述医疗文本对应的输出标签，所述输出标签至少包括从所述医疗文本中识别到的实体的标签；
根据所述医疗文本对应的标注标签和所述医疗文本对应的输出标签，对所述实体识别模型进行模型参数调整。
根据本申请实施例的第二方面，提供了一种实体识别装置，包括：
标签识别模块，用于将待识别文本输入到预先训练的实体识别模型中，得到所述待识别文本对应的实体标签；
其中，所述实体识别模型至少通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到，与所述实体识别规则相匹配的第一训练样本，包括能够通过所述实体识别规则识别样本中的实体的文本样本。
根据本申请实施例的第三方面，提供了一种电子设备，包括：存储器和处理器；
其中，所述存储器与所述处理器连接，用于存储程序；
所述处理器，用于通过运行所述存储嚣中的程序，实现上述实体识别方法。
根据本申请实施例的第四方面，提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述实体识别方法。
本申请提出的实体识别方法，包括：将待识别文本输入到预先训练的实体识别模型中，得到待识别文本对应的实体标签；其中，实体识别模型至少通过将预先构建的实体识别规则嵌入与实体识别规则相匹配的第一训练样本，并利用嵌入实体识别规则后的第一训练样本进行实体识别训练得到，与实体识别规则相匹配的第一训练样本，包括能够通过实体识别规则识别样本中的实体的文本样本。采用本申请的技术方案，可以将预先构建的实体识别规则融入到实体识别模型中，而实体识别规则可以在样本较少时，也能得到较高的识别效果，因此，融入了实体识别规则的实体识别模型，能够提高实体识别模型的准确率，从而提高医疗文本的命名实体识别的准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请实施例提供的一种实体识别方法的流程示意图；
图2是本申请实施例提供的一种训练实体识别模型的处理流程示意图；
图3是本申请实施例提供的训练实体识别模型的处理流程框图；
图4是本申请实施例提供的实体识别规则对应的有限自动状态机的形式示例图；
图5是本申请实施例提供的与实体识别规则相匹配的文本利用实体识别规则对应的有限自动状态机的示例图；
图6是本申请实施例提供的神经网络的结构示意图；
图7是本申请实施例提供的另一种训练实体识别模型的处理流程示意图；
图8是本申请实施例提供的一种实体识别装置的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请实施例技术方案适用于实体识别场景，尤其适用于对医疗文本中的命名实体识别的应用场景。采用本申请实施例技术方案，能够提高实体识别模型的准确度，从而提高对医疗文本中命名实体的识别准确度。
随着信息社会的大发展，大数据成为与自然资源同等重要的战略资源，医疗领域每天产生大量数据，医疗大数据也逐渐产生，在医疗行业中，医疗大数据的研究和应用可以及时有效提高诊断准确性、减少医患矛盾、节约医疗资源、提高医疗质量等。而医药大数据的研究和应用的前提和基础之一是医疗文本中命名实体的识别，医疗文本中相关实体的识别是医疗大数据应用的基础工作。医疗命名实体识别是指识别医疗文本中具有特定意义的实体。
对于医疗文本的命名实体识别，通常采用有监督方法训练识别模型，将医疗文本作为一个序列，利用该识别模型来预测序列中每个字或词的标签，从而提取出文本中的实体。但是该方法往往需要大量有标注的数据才能获得较好的效果，例如基于条件随机场(CRF)的统计学习方案。在样本量较小时，训练出的模型准确率较低，从而影响医疗文本中的命名实体识别的准确率。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提出一种实体识别方法，参见图1所示，该方法包括：
S101、将待识别文本输入到预先训练的实体识别模型中，得到待识别文本对应的实体标签。
具体的，对于需要识别命名实体的医疗文本，将该医疗文本作为待识别文本输入到预先训练完成的实体识别模型中，利用该实体识别模型可以识别出该待识别文本对应的实体标签，得到待识别文本对应的实体标签后，可以根据该实体标签，从该待识别文本中提取出对应的实体，该实体则为需要识别命名实体的医疗文本中的医疗命名实体。另外，实体识别模型在对待识别文本进行实体识别时，不仅可以识别出该待识别文本对应的实体标签，也可以识别出其中的非实体标签，该非实体标签对应的是该待识别文本中的非实体。
本实施例中，实体识别模型至少是通过将预先构建的实体识别规则嵌入与该实体识别规则相匹配的第一训练样本，利用嵌入了实体识别规则后的第一训练样本进行实体识别训练得到的。其中，与实体识别规则相匹配的第一训练样本包括能够通过该实体识别规则识别出样本中的实体的文本样本。例如，如果实体识别规则为“医生开具了<药物>”的正则化规则，那么与该实体识别规则相匹配的第一训练样本可以包括“医生开具了阿司匹林”，该第一训练样本可以通过实体识别规则将样本中的实体识别出来，即识别出“阿司匹林”为<药物>实体。
本实施例中，预先构建的实体识别规则可以包含多个规则，对实体识别模型进行训练的第一训练样本中可以包含每个实体识别规则对应的训练样本，其中，每个训练样本均为与其对应的实体识别规则相匹配，且嵌入了其对应的实体识别规则的文本样本。利用这些训练样本对实体识别模型进行训练，便可将这些训练样本对应的实体识别规则均融合到该实体识别模型中，从而使得该实体识别模型融合了构建的所有实体识别规则，增强了该实体识别模型的效果。由于基于实体识别规则的方法进行实体识别，可以利用较少的样本量便能得到较为准确的实体识别，因此，将实体识别规则融合到实体识别模型中，便可以使得实体识别模型在利用少量样本训练时，也可以得到准确性较高的模型，从而提高实体识别模型的准确度，以使对医疗文本的命名实体识别的准确率得以提升。
本实施例中，预先构建的实体识别规则可以是人工制定的规则，也可以是根据历史识别经验确定的规则，还可以是单纯预设的规则。其中，实体识别规则的构建是基于线上数据，以及医疗文本数据库构建的，实体识别规则可以包括一些纯文本匹配的词典(如：发热、咳嗽等)、含有推理逻辑的规则(如：正则表达式等)、通过关键词及其同义信息的文法规则(如：腹泻，写腹泻及腹泻的同义词的规则，然后把这些词统一给腹泻这个语义)。
通过上述介绍可见，本申请实施例提出的实体识别方法，将待识别文本输入到预先训练的实体识别模型中，得到待识别文本对应的实体标签；其中，实体识别模型至少通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到，与所述实体识别规则相匹配的第一训练样本，包括能够通过所述实体识别规则识别样本中的实体的文本样本。采用本申请的技术方案，可以将预先构建的实体识别规则融入到实体识别模型中，而实体识别规则可以在样本较少时，也能得到较高的识别效果，因此，融入了实体识别规则的实体识别模型，能够提高实体识别模型的准确率，从而提高医疗文本的命名实体识别的准确率。
作为一种可选的实施方式，参见图2所示，本申请另一实施例公开了，对实体识别模型的训练过程，即通过将预先构建的实体识别规则嵌入与实体识别规则相匹配的第一训练样本，并利用嵌入实体识别规则后的第一训练样本进行实体识别训练得到实体识别模型，包括：
S201、将预先构建的实体识别规则嵌入到与预先构建的实体识别规则相匹配的第一训练样本对应的样本特征中，得到第一训练样本对应的输入特征。
具体的，本实施例可以从医疗数据库中提取出能够通过预先构建的实体识别规则识别出实体的医疗文本作为第一训练样本，然后提取出该第一训练样本对应的样本特征，将预先构建的实体识别规则嵌入到该第一训练样本对应的样本特征中，将得到的新特征作为该第一训练样本对应的输入特征。其中，将实体识别规则嵌入到第一训练样本对应的样本特征中，可以将该实体识别规则对应的规则信息融合到第一训练样本对应的样本特征中的方式来实现，具体步骤如下所述：
第一，基于有限自动状态机的转换规则，对预先构建的实体识别规则进行规则表征，得到包含实体识别规则的规则特征。
为了将实体识别规则嵌入到第一训练样本中，首先需要提取该实体识别规则的规则特征。由于现有技术中具有将正则化规则转换成有限自动状态机的方式，而有限自动状态机可以采用张量的形式来表示对应的正则化规则，这样便可以从有限自动状态机对应的张量中提取到对应的正则化规则的规则信息。因此，本实施例可以利用有限自动状态机(FST)的转换规则，对预先构建的实体识别规则进行规则表征，从而得到包含该实体识别规则对应的规则信息的规则特征。
例如，当实体识别规则(RE)为“医生开具了<药物>”时，对应的有限自动状态机(FST)的形式如图4所示，当qO、q1、q2均表示有限自动状态机(FST)的状态，也是实体识别规则中的实体和非实体，当该实体识别规则(RE)对应的第一训练样本为“医生开具了阿司匹林”时，实体识别规则(RE)的匹配过程为，从第一训练样本中匹配到<阿司匹林>，并将其标签确定为<药物>标签，如图5所示，q0～q2对应的标签均为非实体标签，即为O，q3对应的标签为实体标签，为B-药物，即实体中的第一个字符，q4～q6对应的标签为实体标签，为I-药物。通过实体识别规则(RE)转换的有限自动状态机(FST)的状态转移可以看出实体识别规则(RE)的匹配过程，因此，可以从实体识别规则(RE)转换的有限自动状态机(FST)中提取实体识别规则(RE)的规则信息。
其中，现有技术中已经公开了将正则化规则转换为有限自动状态机(FST)的方式，因此本实施例不再具体阐述有限自动状态机的转换规则。
具体的，首先，本实施例将预先构建的实体识别规则(RE)按照有限自动状态机的转换规则转换为对应的规则张量，该规则张量中包含有该实体识别规则(RE)的规则信息。由于直接表示有限自动状态机(FST)至少需要一个四阶的张量。其中，输入的词表大小为V，输出的标签集合大小为L(如：<药物>标签、<疾病>标签等)，有限自动状态机(FST)的状态数为K，那么表示该有限自动状态机(FST)的张量则为V*L*K*K的张量，该张量可以表示状态之间的转移以及转移时的输入、输出。但是四阶张量的空间复杂度以及参数量较大，为了减少状态机的推断空间复杂度和参数量，基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量的具体步骤可以如图3所示，先基于有限自动状态机的转换规则，将预先构建的实体识别规则(RE)转换为有限自动状态机(FST)，再利用张量降维的方式，将该有限自动状态机(FST)转换为独立有限自动状态机(i-FST)，并将该独立有限自动状态机(i-FST)对应的张量作为预先构建的实体识别规则对应的规则张量。
基于独立有限自动状态机(i-FST)的条件独立性，独立有限自动状态机(i-FST)相比于有限自动状态机(FST)的维度低，只需要用一个V*K*K的三阶张量来表示随着输入的状态转移，以及一个K*L的矩阵O来表示到达的状态与输出标签的对应即可。
本实施例在将实体识别规则转换为对应的规则张量后，为了减少有限自动状态机(FST)推断的时间复杂度，需要对规则张量进行张量秩分解，用分解后的矩阵来替代之前的张量来表征实体识别规则。由于规则张量为三阶张量，那么对该规则张量进行张量秩分解可以分解为三个矩阵ER、DS、DE，其中，
Figure BDA0004017779700000091
vt＝ER[xt]、
Figure BDA0004017779700000092
Figure BDA0004017779700000093
其中的xt表示t时刻的输入，也就是第一训练样本中的第t个字符。本实施例中将分解后的矩阵vt作为规则矩阵，将该规则矩阵作为包含实体识别规则的规则信息的规则特征。对于上述张量秩分解的公式为现有的张量秩分解方式，本实施例不再具体阐述。
第二，提取与实体识别规则相匹配的第一训练样本对应的样本特征。
本实施例需要提取出与实体识别规则相匹配的第一训练样本对应的样本特征，其中，该样本特征可以采用word2vec、bert等词向量表征。
第三，将规则特征与第一训练样本对应的样本特征融合，得到第一训练样本对应的输入特征。
为了将实体识别规则嵌入到第一训练样本中，需要将实体识别规则对应的规则特征与第一训练样本对应的样本特征融合，从而得到第一训练样本对应的输入特征。其中，在规则特征与样本特征融合过程中需要设置规则嵌入比例，根据该规则嵌入比例对规则特征与样本特征进行融合。如：
vt0＝ηER[xt]+(1-η)ut·G
其中，vt表示融合后的输入特征，ER[xt]表示规则特征，ut·G表示第一训练样本的样本特征，η表示规则嵌入比例。
S202、将输入特征输入到神经网络中进行实体识别，得到第一训练样本对应的输出标签。
具体的，将实体识别规则嵌入到第一训练样本中得到的输入特征输入到神经网络中，以使该神经网络对该输入特征进行实体识别，输出该第一训练样本对应的输出标签，其中该输出标签中包含实体标签，还可以包含非实体标签，其中，标签可以采用BIO结构，O表示非实体标签，B和I均表示实体标签，B表示实体中的第一个字符的标签。
进一步地，神经网络对第一训练样本对应的输入特征进行实体识别的步骤包括：
第一，对第一训练样本对应的输入特征进行编码操作，得到第一训练样本对应的编码特征。
第一训练样本对应的输入特征输入到神经网络之后，神经网络中的编码网络可以对该输入特征进行编码操作，从而得到第一训练样本对应的编码特征。如图6所示，f1～f5为融合了第一训练样本的样本特征与实体识别规则(RE)的规则特征的输入特征，h1～h5为对输入特征进行编码后的编码特征。本实施例中，编码网络可以采用BiLSTM网络，还可以采用GRU网络、CNN网络、Transformer等。
第二，基于注意力机制，对第一训练样本中的每个字对应的编码特征结合第一训练样本中的其他字对应的编码特征，确定第一训练样本中的每个字对应的注意力编码特征。
为了考虑当前字受到全局其它字的影响，本实施例需要利用注意力机制，将第一训练样本中的每个字对应的编码特征结合该第一训练样本中其他字对应的编码特征，确定第一训练样本中的每个字对应的注意力编码特征，从而实现上下文结合。具体公式如下所述：
Figure BDA0004017779700000101
Figure BDA0004017779700000102
其中，Spi表示第i个字符的注意力编码特征，hj表示第j个字符的编码特征，αpik表示第j个字符对第i个字符的注意力得分，hi表示第i个字符的编码特征，Wsp表示预设的权重矩阵。
如图6所示，s1～s5为第一训练样本中每个字符对应的注意力编码特征。
第三，根据第一训练样本对应的注意力编码特征，预测第一训练样本对应的输出标签。
神经网络确定了第一训练样本对应的注意力编码特征后，需要将注意力编码特征输入到softmax分类器中，以使softmax分类器对注意力编码特征进行字符标签的概率预测，从而确定第一训练样本中每个字符对应的输出标签。其中，softmax分类器对注意力编码特征进行输出标签的预测公式为：
pi＝softmax(Wp[Spi；hi]+bp)
其中，Wp表示激活层(即softmax分类器)的权重矩阵，bp表示激活层(即softmax分类器)的偏置项。
S203、根据利用实体识别规则确定的第一训练样本对应的样本标签和输出标签，对神经网络的网络参数进行调整，得到实体识别模型。
具体的，由于第一训练样本是与实体识别规则相匹配的，也就是说第一训练样本可以通过实体识别规则识别到该样本中的实体，因此，本实施例需要基于实体识别规则对该第一训练样本进行实体识别，确定该第一训练样本对应的样本标签，其中，第一训练样本对应的样本标签中包含实体标签，还可以包含非实体标签。本实施例可以通过计算第一训练样本对应的样本标签和神经网络输出的第一训练样本对应的输出标签之间的交叉熵损失函数，从而根据该交叉熵损失函数对神经网络的网络参数进行调整，从而实现对神经网络的训练，直至交叉熵损失函数符合损失范围时，结束对神经网络的训练，将最终的神经网络作为实体识别模型。
作为一种可选的实施方式，参见图7所示，本申请另一实施例公开了，实体识别模型的训练过程还包括如下步骤：
S701、获取医疗文本，以及医疗文本对应的标注标签。
具体的，本实施例可以从科教文献指南、电子病例、医学教材、医学指南、医学报告单等中，获取医疗文本，并对获取到的医疗文本进行人工数据标注，从而得到医疗文本对应的标注标签，将医疗文本以及医疗文本对应的标注标签组成医疗资源数据集。其中，医疗文本对应的标注标签包括实体标注标签，还可以包括非实体标注标签。
如，医疗资源数据集中包括：医疗文本(x1，......，xn)，标注标签(y1，......，yn)，其中，x1，......，xn代表的是医疗文本的每个字，y1，......，yn代表的是医疗文本的每个字对应的标注标签。
对于医疗文本的标注可以采用BIO的标注方法，例如，对于医疗文本“医生开具了阿司匹林”，如果要识别文本中的药物实体，可以将其标注为“OOOOOB-药物I-药物I-药物”，即对于实体的开头的字符，标注为B加上实体类型，实体的中间和结尾全部标注为I加上实体类型，其它均标注为O。
S702、将医疗文本输入到实体识别模型中，得到医疗文本对应的输出标签。
具体的，将获取到的医疗文本输入到融合了实体识别规则的实体识别模型中，得到该实体识别模型输出的医疗文本对应的输出标签。其中，医疗文本对应的输出标签至少包括从医疗文本中识别到的实体的标签，还可以包括非实体的标签。
S703、根据医疗文本对应的标注标签和医疗文本对应的输出标签，对实体识别模型进行模型参数调整。
具体的，本实施例可以计算医疗文本对应的标注标签和该医疗文本对应的输出标签之间的交叉熵损失函数，根据该交叉熵损失函数对实体识别模型进行模型参数调整，从而提高该实体识别模型的准确度。
由于本实施例中的实体识别模型学习到了预先构建的实体识别规则，该实体识别模型便学习到了基于实体识别规则对医疗文本进行实体识别时，可以在数据标注完成的样本量较少时能够达到较好的训练效果的能力。本实施例还可以利用大量的数据标注完成的样本对融合了实体识别规则的实体识别模型进行训练，可以在数据标注完成的样本量较多时，进一步提升实体识别模型的准确度，以使最终得到的实体识别模型在数据缺乏的样本和数据丰富的样本上都能获得较好的实体识别性能，有效增强了模型对不同场景和不同数据的自适应能力。
与上述的实体识别方法相对应的，本申请实施例还提出一种实体识别装置，参见图8所示，该装置包括：
标签识别模块100，用于将待识别文本输入到预先训练的实体识别模型中，得到待识别文本对应的实体标签；
其中，实体识别模型至少通过将预先构建的实体识别规则嵌入与实体识别规则相匹配的第一训练样本，并利用嵌入实体识别规则后的第一训练样本进行实体识别训练得到，与实体识别规则相匹配的第一训练样本，包括能够通过实体识别规则识别样本中的实体的文本样本。
本申请实施例提出的实体识别装置，标签识别模块100将待识别文本输入到预先训练的实体识别模型中，得到待识别文本对应的实体标签；其中，实体识别模型至少通过将预先构建的实体识别规则嵌入与实体识别规则相匹配的第一训练样本，并利用嵌入实体识别规则后的第一训练样本进行实体识别训练得到，与实体识别规则相匹配的第一训练样本，包括能够通过实体识别规则识别样本中的实体的文本样本。采用本申请的技术方案，可以将预先构建的实体识别规则融入到实体识别模型中，而实体识别规则可以在样本较少时，也能得到较高的识别效果，因此，融入了实体识别规则的实体识别模型，能够提高实体识别模型的准确率，从而提高医疗文本的命名实体识别的准确率。
作为一种可选的实施方式，本申请另一实施例还公开了，实体识别装置还包括：规则嵌入模块、网络识别模块和第一参数调整模块。
规则嵌入模块，用于将预先构建的实体识别规则嵌入到与预先构建的实体识别规则相匹配的第一训练样本对应的样本特征中，得到第一训练样本对应的输入特征；
网络识别模块，用于将输入特征输入到神经网络中进行实体识别，得到第一训练样本对应的输出标签；
第一参数调整模块，用于根据利用实体识别规则确定的第一训练样本对应的样本标签和输出标签，对神经网络的网络参数进行调整，得到实体识别模型。
作为一种可选的实施方式，本申请另一实施例还公开了，神经网络对第一训练样本对应的输入特征进行实体识别的步骤包括：
对第一训练样本对应的输入特征进行编码操作，得到第一训练样本对应的编码特征；
基于注意力机制，对第一训练样本中的每个字对应的编码特征结合第一训练样本中的其他字对应的编码特征，确定第一训练样本中的每个字对应的注意力编码特征；
根据第一训练样本对应的注意力编码特征，预测第一训练样本对应的输出标签。
作为一种可选的实施方式，本申请另一实施例还公开了，规则嵌入模块包括：规则表征单元、样本特征提取单元和特征融合单元。
规则表征单元，用于基于有限自动状态机的转换规则，对预先构建的实体识别规则进行规则表征，得到包含实体识别规则的规则特征；
样本特征提取单元，用于提取与实体识别规则相匹配的第一训练样本对应的样本特征；
特征融合单元，用于将规则特征与第一训练样本对应的样本特征融合，得到第一训练样本对应的输入特征。
作为一种可选的实施方式，本申请另一实施例还公开了，规则表征单元，具体用于：
基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量；
对规则张量进行张量秩分解，将分解后的规则矩阵作为包含实体识别规则的规则特征。
作为一种可选的实施方式，本申请另一实施例还公开了，规则表征单元基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量，包括：
基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的有限自动状态机；
利用张量降维的方式，将有限自动状态机转换为独立有限自动状态机，将独立有限自动状态机对应的张量作为预先构建的实体识别规则对应的规则张量。
作为一种可选的实施方式，本申请另一实施例还公开了，实体识别装置还包括：获取模块、输入模块和第二参数调整模块。
获取模块，用于获取医疗文本，以及医疗文本对应的标注标签，标注标签包括实体标注标签；
输入模块，用于将医疗文本输入到实体识别模型中，得到医疗文本对应的输出标签，输出标签至少包括从医疗文本中识别到的实体的标签；
第二参数调整模块，用于根据医疗文本对应的标注标签和医疗文本对应的输出标签，对实体识别模型进行模型参数调整。
本实施例提供的实体识别装置，与本申请上述实施例所提供的实体识别方法属于同一申请构思，可执行本申请上述任意实施例所提供的实体识别方法，具备执行实体识别方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的实体识别方法的具体处理内容，此处不再加以赘述。
本申请另一实施例还提出一种电子设备，参见图7所示，该设备包括：
存储器200和处理器210；
其中，所述存储器200与所述处理器210连接，用于存储程序；
所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的实体识别方法。
具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。
处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：
总线可包括一通路，在计算机系统各个部件之间传送信息。
处理器210可以是通用处理嚣，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
处理器210可包括主处理器，还可包括基带芯片、调制解调器等。
存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。
通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。
处理器210执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请上述实施例所提供的任意一种实体识别方法的各个步骤。
本申请另一实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的实体识别方法的各个步骤。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，各实施例中记载的技术特征可以进行替换或者组合。
本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种实体识别方法，其特征在于，包括：
将待识别文本输入到预先训练的实体识别模型中，得到所述待识别文本对应的实体标签；
其中，所述实体识别模型至少通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到，与所述实体识别规则相匹配的第一训练样本，包括能够通过所述实体识别规则识别样本中的实体的文本样本。
2.根据权利要求1所述的方法，其特征在于，通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到实体识别模型，包括：
将预先构建的实体识别规则嵌入到与预先构建的实体识别规则相匹配的第一训练样本对应的样本特征中，得到所述第一训练样本对应的输入特征；
将所述输入特征输入到神经网络中进行实体识别，得到所述第一训练样本对应的输出标签；
根据利用所述实体识别规则确定的所述第一训练样本对应的样本标签和所述输出标签，对所述神经网络的网络参数进行调整，得到实体识别模型。
3.根据权利要求2所述的方法，其特征在于，所述神经网络对所述第一训练样本对应的输入特征进行实体识别的步骤包括：
对所述第一训练样本对应的输入特征进行编码操作，得到所述第一训练样本对应的编码特征；
基于注意力机制，对第一训练样本中的每个字对应的编码特征结合第一训练样本中的其他字对应的编码特征，确定第一训练样本中的每个字对应的注意力编码特征；
根据第一训练样本对应的注意力编码特征，预测所述第一训练样本对应的输出标签。
4.根据权利要求2所述的方法，其特征在于，将预先构建的实体识别规则嵌入到与预先构建的实体识别规则相匹配的第一训练样本对应的样本特征中，得到所述第一训练样本对应的输入特征，包括：
基于有限自动状态机的转换规则，对预先构建的实体识别规则进行规则表征，得到包含所述实体识别规则的规则特征；
提取与所述实体识别规则相匹配的第一训练样本对应的样本特征；
将所述规则特征与所述第一训练样本对应的样本特征融合，得到所述第一训练样本对应的输入特征。
5.根据权利要求4所述的方法，其特征在于，基于有限自动状态机的转换规则，对预先构建的实体识别规则进行规则表征，得到包含所述实体识别规则的规则特征，包括：
基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量；
对所述规则张量进行张量秩分解，将分解后的规则矩阵作为包含所述实体识别规则的规则特征。
6.根据权利要求5所述的方法，其特征在于，基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的规则张量，包括：
基于有限自动状态机的转换规则，将预先构建的实体识别规则转换为对应的有限自动状态机；
利用张量降维的方式，将所述有限自动状态机转换为独立有限自动状态机，将所述独立有限自动状态机对应的张量作为预先构建的实体识别规则对应的规则张量。
7.根据权利要求1所述的方法，其特征在于，所述实体识别模型的训练过程还包括：
获取医疗文本，以及所述医疗文本对应的标注标签，所述标注标签包括实体标注标签；
将所述医疗文本输入到所述实体识别模型中，得到所述医疗文本对应的输出标签，所述输出标签至少包括从所述医疗文本中识别到的实体的标签；
根据所述医疗文本对应的标注标签和所述医疗文本对应的输出标签，对所述实体识别模型进行模型参数调整。
8.一种实体识别装置，其特征在于，包括：
标签识别模块，用于将待识别文本输入到预先训练的实体识别模型中，得到所述待识别文本对应的实体标签；
其中，所述实体识别模型至少通过将预先构建的实体识别规则嵌入与所述实体识别规则相匹配的第一训练样本，并利用嵌入所述实体识别规则后的所述第一训练样本进行实体识别训练得到，与所述实体识别规则相匹配的第一训练样本，包括能够通过所述实体识别规则识别样本中的实体的文本样本。
9.一种电子设备，其特征在于，包括：存储器和处理嚣；
其中，所述存储器与所述处理器连接，用于存储程序；
所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至7中任一项所述的实体识别方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的实体识别方法。
CN202211712884.4A 2022-12-26 2022-12-26 实体识别方法、装置、电子设备及存储介质 Pending CN116205230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211712884.4A CN116205230A (zh) 2022-12-26 2022-12-26 实体识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211712884.4A CN116205230A (zh) 2022-12-26 2022-12-26 实体识别方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116205230A true CN116205230A (zh) 2023-06-02

Family

ID=86515364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211712884.4A Pending CN116205230A (zh) 2022-12-26 2022-12-26 实体识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116205230A (zh)

Similar Documents

Publication Publication Date Title
CN110162749B (zh) 信息提取方法、装置、计算机设备及计算机可读存储介质
CN106980683B (zh) 基于深度学习的博客文本摘要生成方法
CN111858944B (zh) 一种基于注意力机制的实体方面级情感分析方法
CN109960728B (zh) 一种开放域会议信息命名实体识别方法及系统
CN111177326A (zh) 基于精标注文本的关键信息抽取方法、装置及存储介质
CN113987187B (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN112364170B (zh) 数据情感分析方法、装置、电子设备及介质
CN112749562A (zh) 命名实体识别方法、装置、存储介质及电子设备
CN114154504B (zh) 一种基于多信息增强的中文命名实体识别算法
CN112633002A (zh) 样本标注、模型训练、命名实体识别方法和装置
CN111538841B (zh) 基于知识互蒸馏的评论情感分析方法、装置及系统
CN112818698B (zh) 一种基于双通道模型的细粒度的用户评论情感分析方法
CN111666500A (zh) 文本分类模型的训练方法及相关设备
CN112948676A (zh) 文本特征提取模型的训练方法、文本推荐方法及装置
CN112667782A (zh) 一种文本分类方法、装置、设备及存储介质
CN113254675B (zh) 基于自适应少样本关系抽取的知识图谱构建方法
CN117236335B (zh) 基于提示学习的两阶段命名实体识别方法
CN111241820A (zh) 不良用语识别方法、装置、电子装置及存储介质
CN113987167A (zh) 基于依赖感知图卷积网络的方面级情感分类方法及系统
CN111428501A (zh) 命名实体的识别方法、识别系统及计算机可读存储介质
WO2023134085A1 (zh) 问题答案的预测方法、预测装置、电子设备、存储介质
CN114492661B (zh) 文本数据分类方法和装置、计算机设备、存储介质
CN112732863A (zh) 电子病历标准化切分方法
CN117094325A (zh) 水稻病虫害领域命名实体识别方法
WO2023116572A1 (zh) 一种词句生成方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination