CN114548103B - 一种命名实体识别模型的训练方法和命名实体的识别方法 - Google Patents
一种命名实体识别模型的训练方法和命名实体的识别方法 Download PDFInfo
- Publication number
- CN114548103B CN114548103B CN202011342129.2A CN202011342129A CN114548103B CN 114548103 B CN114548103 B CN 114548103B CN 202011342129 A CN202011342129 A CN 202011342129A CN 114548103 B CN114548103 B CN 114548103B
- Authority
- CN
- China
- Prior art keywords
- named entity
- data
- model
- identified
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 79
- 239000013598 vector Substances 0.000 claims description 116
- 238000004590 computer program Methods 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种命名实体识别模型的训练方法和命名实体的识别方法，其中，命名实体识别模型的训练方法，包括：获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体相关联，所述标识信息用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置；将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型。本发明实施例提供的方案至少可以解决现有的命名实体的识别方法存在识别的准确性较差的问题。
Description
技术领域
本发明涉及自然语言处理领域，具体涉及一种命名实体识别模型的训练方法和命名实体的识别方法。
背景技术
命名实体识别(Named Entity Recognition，NER)是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。
现有技术中，在对命名实体进行识别的过程中，通常是预先构建命名实体数据库，然后，在待识别数据中检测是否存在命名实体数据库中的命名实体，从而完成命名实体的识别过程。然而，由于中文实体命名存在大量的交叉和相互包含的现象，例如，某一待识别数据为“北京大学第三医院是三级甲等医院”，其中，该待识别数据中的命名实体为“北京大学第三医院”，在此情况下，若采用现有技术中的方法可能识别出的命名实体为“北京大学”，从而导致所识别出的命名实体与待识别数据所指示的语义不匹配。可见，现有的命名实体的识别方法存在识别的准确性较差的问题。
发明内容
本发明提供了一种命名实体识别模型的训练方法和命名实体的识别方法，以解决现有的命名实体的识别方法存在识别的准确性较差的问题。
为了解决上述技术问题，本发明的具体实现方案如下：
第一方面，本发明实施例提供了一种命名实体识别模型的训练方法，包括：
获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体相关联，所述标识信息用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置；
将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型。
第二方面，本发明实施例还提供一种命名实体的识别方法，包括：
获取待识别数据；
将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体，所述命名实体识别模型包括第一子模型和第二子模型；
所述将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体包括：
将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及所述第二指示信息；
所述第二子模型对接收到的所述第一子模型输出的待识别数据和第二指示信息进行处理，得到目标命名实体，所述第二指示信息与所述目标命名实体语义相关联。
第三方面，本发明实施例还提供一种命名实体模型的训练装置，包括：
第一获取模块，用于获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体相关联，所述标识信息用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置；
训练模块，用于将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型。
第四方面，本发明实施例还提供一种命名实体的识别装置，包括：
第二获取模块，用于获取待识别数据；
识别模块，用于将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体，所述命名实体识别模型包括第一子模型和第二子模型；
所述识别模块，包括：
第一识别子模块，用于将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及所述第二指示信息；
第二识别子模块，用于基于所述第二子模型对接收到的所述第一子模型输出的待识别数据和第二指示信息进行处理，得到目标命名实体，所述第二指示信息与所述目标命名实体语义相关联。
第五方面，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述命名实体识别模型的训练方法的步骤，或实现上述所述命名实体的识别方法的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述命名实体识别模型的训练方法的步骤，或实现上述命名实体的识别方法的步骤。
本发明实施例中，在对命名实体识别模型进行训练时，通过在训练数据中标识出具有关联关系的命名实体和指示信息，以便于命名实体识别模型学习命名实体和指示信息之间的语义关联关系。这样，后续在基于训练好的命名实体识别模型对命名实体进行识别时，命名实体识别模型可以基于待识别数据中的指示信息确定与指示信息相对应的命名实体，通过结合指示信息来对命名实体进行识别，进一步提高命名实体的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种命名实体识别模型的训练方法的流程图；
图2是本发明实施例提供的一种命名实体的识别方法的流程图之一；
图3是本发明实施例提供的一种命名实体的识别方法的流程图之二；
图4是本发明实施例提供的一种命名实体识别模型的训练装置的结构图；
图5是本发明实施例提供的一种命名实体的识别装置的结构图；
图6是本发明实施例提供的电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种命名实体识别模型的训练方法。请参见图1，图1是本发明实施例提供的命名实体识别模型的训练方法的流程图，如图1所示，包括以下步骤：
步骤101、获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体语义相关联，所述标识信息用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置。
具体地，上述训练文本可以是文本语句，且所述文本语句中可以包括所述第一命名实体和所述第一指示信息，应当说明的是，所述文本语句还可以包括所述第一命名实体和所述第一指示信息之外的其他信息。在所述文本语句中可以存在至少一个与所述第一命名实体相关联的第一指示信息。
上述第一命名实体与所述第一指示信息相关联可以是指：第一命名实体与第一指示信息具有语义关联关系；包括因果关联关系、包含关联关系等常见的关联关系。例如，所述文本语句可以是“您已逾期两天，请及时还款，注意征信再见。”，其中，所述第一命名实体可以是该文本语句中的“逾期”二字，此时，由于该文本语句中的“及时还款”或“注意征信”均与“逾期”之间具有语义关联关系，因此，在此情况下，所述第一指示信息可以是“及时还款”或“注意征信”。
上述标识信息可以是位置标识信息，该位置标识信息分别记录上述第一命名实体和第一指示信息在训练文本中的位置，这样，后续命名实体识别模型在基于所述训练数据进行训练时，可以基于所述标识信息确定第一命名实体和第一指示信息，进而学习第一命名实体和第一指示信息之间的语义关联关系。
此外，上述标识信息也可以是训练文本中的特定标识，例如，在制作所述训练文本时，可以通过特定的符号分别标识第一命名实体和第一指示信息。
步骤102、将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型。
其中，可以采用BiLSTM+CRF框架构建所述学习模型，然后基于所述训练数据对学习模型进行训练，以使学习模型学习到文本语句、第一命名实体以及第三指示信息之间的语义关联关系，从而得到所述命名实体识别模型。这样，后续命名实体识别模型可以基于待识别数据中的指示信息确定与指示信息相对应的命名实体，从而可以提高命名实体的准确率。
应当说明的是，在对学习模型进行训练时，可以向学习模型输入多个不同的训练数据，以便于学习模型分别基于多个不同的训练数据进行训练，从而提高对学习模型的训练效果。
该实施方式中，在对学习模型进行训练时，通过在训练数据中标识出具有关联关系的命名实体和指示信息，以便于学习模型学习命名实体和指示信息之间的关联关系。这样，后续在基于训练好的命名实体识别模型对命名实体进行识别时，命名实体识别模型可以基于待识别数据中的指示信息确定与指示信息相对应的命名实体，从而可以提高命名实体的准确率。
可选地，所述命名实体识别模型可以是一个联合模型，具体而言，所述命名实体模型可以包括第一子模型和第二子模型，其中，所述第一子模型用于将所述第一命名实体转换为实体向量，将所述第一指示信息转换为指示向量，将所述训练文本转换为文本向量；所述第二子模型用于基于所述实体向量、所述指示向量和所述文本向量，学习文本、实体和指示信息之间的关联关系。应当理解的是，所述第一子模型和第二子模型也可以是指同一模型中的不同数据处理层，其中，所述第一子模型用于接收文本数据，所述第二子模型用于接收所述第一子模型所输出的数据，并基于第一子模型所输出的数据对文本数据中的命名实体进行识别。
具体地，所述第一子模型可以是基于循环神经网络(Recurrent Neural Network,RNN)与注意力机制(Attention Mechanism)所搭建的模型。所述第二子模型可以采用BiLSTM+CRF框架构建所述学习模型，然后基于所述训练数据对第一子模型和第二子模型分别进行训练，从而得到所述命名实体识别模型。
该实施方式中，通过命名实体识别模型将命名实体、指示信息以及训练文本之间的语义关联关系转换为向量之间的关联关系，命名实体识别模型通过学习向量之间的语义关联关系，进而学习到命名实体、指示信息以及训练文本之间的语义关联关系。其中，所述向量之间的语义关联关系可以是向量之间的距离关系。
请参见图2，图2是本发明实施例提供的一种命名实体的识别方法，包括：
步骤201、获取待识别数据；
其中，所述待识别数据可以是与上述训练文本类似的数据。具体而言，所述待识别数据可以是各种携带有命名实体的各类多媒体数据，例如，所述待识别数据可以在是语音质检场景下，基于客服与客户之间的对话所生成的语音数据；此外，所述待识别数据也可以是诸如新闻文章和技术文档等各类文本数据。
步骤202、将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体，所述命名实体识别模型包括第一子模型和第二子模型；
所述将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体包括：
将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及所述第二指示信息；
所述第二子模型对接收到的所述第一子模型输出的待识别数据和第二指示信息进行处理，得到目标命名实体，所述第二指示信息与所述目标命名实体语义相关联。
其中，所述第二指示信息可以是所述待识别数据中所包括的、且能够体现所述待识别数据的语义的信息。具体地，所述第二指示信息可以是所述待识别数据中的能够体现所述待识别数据的语义所指示的场景的短句，例如，当所述待识别数据为“您已逾期两天，请及时还款，注意征信，再见”，此时，由于该待识别数据的语义所指示的场景为催款场景，因此，所述第二指示信息可以是“及时还款”和“注意征信”。
应当说明的是，可以基于所述待识别数据，确定至少一个第二指示信息，且各第二指示信息的语义所指示的场景可以相同。
上述待识别数据的语义与所述第二指示信息的语义相关联可以是指：所述待识别数据的语义所指示的场景与所述第二指示信息的语义所指示的场景相同。
上述待识别数据可以包括至少一个命名实体，其中，所述待识别数据所包括的命名实体中还可能包括与当前业务场景不同的命名实体，例如，当所述待识别数据所包括的命名实体为“北京大学附属第一医院”时，该命名实体中实际上还包括“北京大学”这一与医院场景无关的命名实体。本实施例中，在对待识别数据中的命名实体进行识别时，可以将第二指示信息作为其中一个识别条件，由于所述第二指示信息与待识别数据的语义相关联，这样，可以确保所识别出的目标命名实体为所述第二指示信息所指示的场景下的命名实体，从而避免了由于命名实体之间的交叉和相互包含的现象，而导致的所识别出的命名实体与待识别数据所指示的场景无关的问题。
应当说明到的是，可以预先对所述命名实体识别模型进行训练，使得命名实体识别模型能够学习到待识别数据、命名实体与指示信息之间的语义关联关系，这样，当向所述命名实体识别模型输入待识别数据，命名实体识别模型即可先基于待识别数据确定第二指示信息，然后，基于待识别数据和第二指示信息确定目标命名实体。
该实施方式中，在对待识别数据中的命名实体进行识别时，通过先基于第一子模型确定第二指示信息，然后，再由第二子模型基于待识别数据与第二指示信息进行识别得到目标命名实体，由于所述待识别数据与所述第二指示信息的语义相关联，而所述目标命名实体为所述待识别数据中与所述第二指示信息相关联的命名实体，这样，可以确保所识别出的目标命名实体与待识别数据所指示的语义相匹配，从而可以提高所识别出的命名实体的准确性。
可选地，所述将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及所述第二指示信息，包括：
将所述待识别数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据进行查询，得到所述第二指示信息，输出所述待识别数据和所述第二指示信息。
具体地，可以预先构建一个用于存储相关业务场景的指示信息的数据库，然后，基于所述待识别数据在所述数据库中进行查询，以确定所述第二指示信息，此外，也可以通过其他方式确定所述第二指示信息。
可选地，所述命名实体识别模型由上述命名实体识别模型的训练方法训练得到。
具体地，由于所述命名实体识别模型预先学习到命名实体、训练文本与指示信息之间的关联关系，这样，命名实体识别模型在对待识别数据进行识别时，在待识别数据中识别到命名实体之后，可以进一步基于待识别数据中的指示信息确定所识别到的命名实体是否正确，当基于待识别数据中的指示信息确定所识别到的命名实体为目标命名实体时，输出所述目标命名实体。从而提高了命名实体识别的准确性。
可选地，所述第一子模型基于所述待识别数据在第一数据库中进行查询，得到所述第二指示信息，包括：
对所述待识别数据进行编码，得到第一向量；
基于所述第一向量在第一数据库中进行查询，得到至少一个第二向量，其中，所述第一数据库用于存储与指示信息相对应的指示向量，所述第二向量为所述第一数据库中的指示向量；
基于所述至少一个第二向量确定所述第二指示信息。
具体地，在构建第一数据库时，可以预先确定与当前业务场景相关的各种指示信息，然后，对所确定的所有指示信息分别进行编码，以得到与指示信息相对应的指示向量，并可将指示信息和指示向量关联存储于所述第一数据库，此外，也可以仅将所述指示向量存储于第一数据库。
其中，可以预先在命名实体识别模型中搭建第一子模型，以将所述指示信息转换为指示向量，同时，所述第一子模型也可以将待识别数据转换为第一向量，所述第一子模型可以是基于循环神经网络(Recurrent Neural Network,RNN)与注意力机制(AttentionMechanism)所搭建的模型。
上述第二向量所对应的指示信息所指示的语义可以与所述待识别数据所指示的语义相关联，可以通过在第一数据库中进行查询，以从第一数据库中查询出所有与待识别数据相关联的指示向量，进而可以分别通过所查询得到的所有第二向量确定目标向量，当然，也可以基于所查询得到的每个第二向量分别输入命名实体识别模型进行识别，从而提高识别到目标命名实体的可能性。
该实施方式中，通过将待识别数据和指示信息分别转换为向量形式，以便于基于向量之间的关系，确定与所述待识别数据的语义相关联的第二指示信息。
可选地，所述基于所述第一向量在第一数据库中信息查询，得到至少一个第二向量，包括：
计算所述第一向量与所述第一数据库中的每个所述指示向量之间的距离；
在所述第一向量与指示向量之间的距离满足预设条件的情况下，将所述指示向量确定为所述第二向量。
具体地，可以通过判断第一向量与第一数据库中的每个指示向量之间的距离关系，以确定所述第二向量。其中，上述第一向量与指示向量之间的距离满足预设条件可以是指：第一向量和指示向量之间的距离为一个定值或者在一个预设范围之内，并将与第一向量之间的距离满足所述预设条件的指示向量确定为所述第二向量。此外，也可以通过计算所述第一向量与第一数据库中每个指示向量之间的距离，然后，按照距离大小进行排序，并从中取出距离较小的前n个指示向量作为所述第二向量，从而得到所述至少一个第二向量。
其中，所述距离可以是欧几里得距离、曼哈顿距离、明可夫斯基距离等。应当说明的是，可以预先基于优化函数对第一子模型进行训练，使得待识别数据与第二指示信息输入第一子模型进行转换之后得到的第一向量与第四向量之间满足所述预设条件，其中，所述第一向量为所述第一子模型对所述待识别数据进行转换得到的向量，所述第四向量为所述第一子模型对所述第二指示信息进行转换得到的向量，所述待识别数据的语义与所述第二指示信息的语义相关联。其中，所述优化函数可以是常见的损失函数，例如，可以是交叉熵(cross entropy)损失函数。
该实施方式中，通过分别以向量形式表示指示信息和待识别数据，并通过判断向量之间的距离，从而实现在第一数据库中确定第二指示信息的过程。
可选地，所述基于所述至少一个第二向量确定所述第二指示信息，包括：
对所述至少一个第二向量进行平均池化处理，得到目标向量；
基于所述目标向量确定所述第二指示信息，其中，所述目标向量为与所述第二指示信息相对应的指示向量。
具体地，可以通过对所述至少两个第二向量进行平均池化处理，以得到目标向量，然后，基于所述目标向量可以在第一数据库中唯一确定一个与目标向量相对应的所述第二指示信息。
该实施方式中，通过对至少一个第二向量进行平均池化处理，以得到目标向量，然后基于目标向量确定第二指示信息，这样，可以进一步提高对目标命名实体进行识别的准确性。
可选地，在所述待识别数据为语音数据的情况下，所述将所述待识别数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据在第一数据库中进行查询，得到所述第二指示信息之前，所述方法还包括：
将所述待识别数据转换为目标文本数据；
所述将所述待识别数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据在第一数据库中进行查询，得到所述第二指示信息，包括：
将所述目标文本数据输入所述第一子模型，由于所述第一子模型基于所述待识别数据在第一数据库中进行查询，得到所述第二指示信息
所述第二子模型接收所述第一子模型输出的待识别数据和第二指示信息，并基于所接收到的所述待识别数据和所述第二指示信息，对所述待识别数据和所述第二指示信息进行处理，得到目标命名实体，包括：
所述第二子模型接收所述第一子模型输出的目标文本数据和第二指示信息，并基于所接收到的所述目标文本数据和所述第二指示信息，对所述待识别数据和所述第二指示信息进行处理，得到目标命名实体。
具体地，上述目标文本数据可以是将所述待处理数据转换为文本数据所得到的数据；此外，上述目标文本数据也可以是将所述待处理数据转换为文本数据，然后，对所述文本数据进行预处理所得到的数据。
其中，可以采用自动语音识别(Automatic Speech Recognition，ASR)技术将所述待识别数据转换为所述文本数据。上述预处理可以包括以下至少一种处理技术：数据清洗、文本纠错、去除短文本、平衡样本等。
该实施方式中，在将所述待识别数据输入命名实体识别模型之前，设置数据转换步骤，使得本发明实施例所提供的命名实体的识别方法可以实现在语音质检场景下对命名实体进行识别的过程。从而有效的扩展了本发明实施例所提供的方法的应用场景。
请参见图3，本发明实施例以在语音质检场景下，对语音数据中的命名实体进行识别为例，对本发明实施例所提供的命名实体的识别方法作进一步的解释说明。具体包括以下步骤：获取语音数据；将语音数据转换为目标文本数据；将所述目标文本数据输入命名实体识别模型，由于第一子模型将目标文本数据转换为第一向量；计算第一向量与第一数据库中每个指示向量之间的距离；得到至少一个第二向量；基于所述至少一个第二向量确定第二指示信息，所述第一子模型输出目标文本数据与第二指示信息，并将目标文本数据与第二指示信息传输至第二子模型进行处理得到目标命名实体，其中，在将目标文本数据和第二指示信息传输至第二子模型之后，第二子模型可以先输出目标命名实体在目标文本数据中的标签，然后基于该标签所指示的位置确定所述目标命名实体。
请参见图4，图4是本发明实施例提供的一种命名实体模型的训练装置400，包括：
第一获取模块401，用于获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体相关联，所述标识信息用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置；
训练模块402，用于将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型。
本发明实施例提供的命名实体模型的训练装置400能够实现上述方法实施例中的各个过程，为避免重复，这里不再赘述。
请参见图5，图5是本发明实施例提供的一种命名实体的识别装置500，包括：
第二获取模块501，用于获取待识别数据；
识别模块502，用于将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体，所述命名实体识别模型包括第一子模型和第二子模型；
所述识别模块502，包括：
第一识别子模块，用于将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及所述第二指示信息；
第二识别子模块，用于基于所述第二子模型对接收到的所述第一子模型输出的待识别数据和第二指示信息进行处理，得到目标命名实体，所述第二指示信息与所述目标命名实体语义相关联。
可选地，所述识别模块502还包括：
查询子模块，用于将所述待识别数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据在第一数据库中进行查询，得到所述第二指示信息，输出所述待识别数据和所述第二指示信息。
可选地，所述查询子模块，包括：
编码单元，用于对所述待识别数据进行编码，得到第一向量；
查询单元，用于基于所述第一向量在第一数据库中进行查询，得到至少一个第二向量，其中，所述第一数据库用于存储与指示信息相对应的指示向量，所述第二向量为所述第一数据库中的任一指示向量；
确定单元，用于基于所述至少一个第二向量确定所述第二指示信息。
可选地，所述查询单元包括：
计算子单元，用于计算所述第一向量与所述第一数据库中的每个所述指示向量之间的距离；
第一确定子单元，用于在所述第一向量与指示向量之间的距离满足预设条件的情况下，将所述指示向量确定为所述第二向量。
可选地，所述确定单元，包括：
池化子单元，用于对所述至少一个第二向量进行平均池化处理，得到目标向量；
第二确定子单元，用于基于所述目标向量确定所述第二指示信息，其中，所述目标向量为与所述第二指示信息相对应的指示向量。
可选地，所述查询子模块，包括：
转换单元，用于将所述目标文本数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据进行查询，对所述待识别数据进行识别，得到所述第二指示信息；
识别子模块，还用于在所述第二子模型对接收到所述第一子模型输出的所述目标文本数据和所述第二指示信息进行处理，输出所述目标命名实体。
本发明实施例提供的命名实体的识别装置500能够实现上述方法实施例中的各个过程，为避免重复，这里不再赘述。
参见图6，图6是本发明又一实施提供的电子设备的结构图，如图6所示，服务器升级装置，包括：服务接口流控装置600包括：处理器601、存储器602及存储在所述存储器602上并可在所述处理器上运行的计算机程序，数据发送装置600中的各个组件通过总线接口603耦合在一起，所述计算机程序被所述处理器601执行时实现如下步骤：
获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体相关联，所述标识信息用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置；
将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型。
本发明实施例还提供一种电子设备，包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (10)
1.一种命名实体识别模型的训练方法，其特征在于，包括：
获取训练数据，其中，所述训练数据包括训练文本和标识信息，所述训练文本包括第一命名实体和第一指示信息，所述第一指示信息与所述第一命名实体语义相关联，所述第一指示信息用于指示待识别数据的语义信息，所述标识信息为所述训练文本中的标识，所述标识用于指示所述第一命名实体与所述第一指示信息在所述训练文本中的位置；
将所述训练数据输入预先构建的学习模型进行训练，得到所述命名实体识别模型，所述学习模型用于根据所述标识信息确定所述训练文本中的所述第一命名实体和所述第一指示信息，并学习所述第一命名实体和所述第一指示信息之间的语义关联关系。
2.一种命名实体的识别方法，其特征在于，包括：
获取待识别数据；
将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体，所述命名实体识别模型包括第一子模型和第二子模型；
所述将所述待识别数据输入命名实体识别模型，得到所述命名实体识别模型输出的目标命名实体，包括：
将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及第二指示信息；
所述第二子模型对接收到的所述第一子模型输出的待识别数据和所述第二指示信息进行处理，得到目标命名实体，所述第二指示信息与所述目标命名实体语义相关联。
3.根据权利要求2所述的方法，其特征在于，所述将所述待识别数据输入所述第一子模型，通过所述第一子模型输出所述待识别数据及所述第二指示信息，包括：
将所述待识别数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据在第一数据库进行查询，得到所述第二指示信息，并输出所述待识别数据和所述第二指示信息。
4.根据权利要求3所述的方法，其特征在于，所述第一子模型基于所述待识别数据在第一数据库进行查询，得到所述第二指示信息，包括：
对所述待识别数据进行编码，得到第一向量；
基于所述第一向量在所述第一数据库中进行查询，得到至少一个第二向量，其中，所述第一数据库用于存储与指示信息相对应的指示向量，所述第二向量为所述第一数据库中的指示向量；
基于所述至少一个第二向量确定所述第二指示信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一向量在第一数据库中进行查询，得到至少一个第二向量，包括：
计算所述第一向量与所述第一数据库中的每个所述指示向量之间的距离；
在所述第一向量与指示向量之间的距离满足预设条件的情况下，将所述指示向量确定为所述第二向量。
6.根据权利要求4所述的方法，其特征在于，所述基于所述至少一个第二向量确定所述第二指示信息，包括：
对所述至少一个第二向量进行平均池化处理，得到目标向量；
基于所述目标向量确定所述第二指示信息，其中，所述目标向量为与所述第二指示信息相对应的指示向量。
7.根据权利要求3至6任一项所述的方法，其特征在于，在所述待识别数据为语音数据的情况下，所述将所述待识别数据输入所述第一子模型，通过所述第一子模型基于所述待识别数据在第一数据库进行查询，得到所述第二指示信息之前，所述方法还包括：
将所述待识别数据转换为目标文本数据。
8.根据权利要求2所述的方法，其特征在于，所述命名实体识别模型由权利要求1所述的命名实体识别模型的训练方法训练得到。
9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1所述的命名实体识别模型的训练方法的步骤，或实现如权利要求2至8中任一项所述命名实体的识别方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述的命名实体识别模型的训练方法的步骤，或实现如权利要求2至8中任一项所述命名实体的识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011342129.2A CN114548103B (zh) | 2020-11-25 | 2020-11-25 | 一种命名实体识别模型的训练方法和命名实体的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011342129.2A CN114548103B (zh) | 2020-11-25 | 2020-11-25 | 一种命名实体识别模型的训练方法和命名实体的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114548103A CN114548103A (zh) | 2022-05-27 |
| CN114548103B true CN114548103B (zh) | 2024-03-29 |
Family
ID=81659198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011342129.2A Active CN114548103B (zh) | 2020-11-25 | 2020-11-25 | 一种命名实体识别模型的训练方法和命名实体的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114548103B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407180A (zh) * | 2016-08-30 | 2017-02-15 | 北京奇艺世纪科技有限公司 | 一种实体消歧方法及装置 |
| CN108363816A (zh) * | 2018-03-21 | 2018-08-03 | 北京理工大学 | 基于句义结构模型的开放式实体关系抽取方法 |
| CN108595708A (zh) * | 2018-05-10 | 2018-09-28 | 北京航空航天大学 | 一种基于知识图谱的异常信息文本分类方法 |
| CN109284763A (zh) * | 2017-07-19 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种生成分词训练数据的方法和服务器 |
| CN109344401A (zh) * | 2018-09-18 | 2019-02-15 | 深圳市元征科技股份有限公司 | 命名实体识别模型训练方法、命名实体识别方法及装置 |
| CN109992782A (zh) * | 2019-04-02 | 2019-07-09 | 深圳市华云中盛科技有限公司 | 法律文书命名实体识别方法、装置及计算机设备 |
| CN110222167A (zh) * | 2019-07-03 | 2019-09-10 | 阿里巴巴集团控股有限公司 | 一种获取目标标准信息的方法和系统 |
| CN110717324A (zh) * | 2019-09-06 | 2020-01-21 | 暨南大学 | 裁判文书答案信息提取方法、装置、提取器、介质和设备 |
| CN110717331A (zh) * | 2019-10-21 | 2020-01-21 | 北京爱医博通信息技术有限公司 | 一种基于神经网络的中文命名实体识别方法、装置、设备以及存储介质 |
| CN110765271A (zh) * | 2018-07-09 | 2020-02-07 | 株式会社理光 | 一种实体发现与实体链接的联合处理方法及装置 |
| CN111164676A (zh) * | 2017-11-15 | 2020-05-15 | 英特尔公司 | 经由环境语境采集进行的语音模型个性化 |
| CN111159770A (zh) * | 2019-12-31 | 2020-05-15 | 医渡云（北京）技术有限公司 | 文本数据脱敏方法、装置、介质及电子设备 |
| CN111241829A (zh) * | 2020-01-14 | 2020-06-05 | 成都嗨翻屋科技有限公司 | 一种基于神经网络的智能歌词修改方法及辅助系统 |
| CN111444723A (zh) * | 2020-03-06 | 2020-07-24 | 深圳追一科技有限公司 | 信息抽取模型训练方法、装置、计算机设备和存储介质 |
| CN111553164A (zh) * | 2020-04-29 | 2020-08-18 | 平安科技（深圳）有限公司 | 命名实体识别模型的训练方法、装置、计算机设备 |
| CN111738003A (zh) * | 2020-06-15 | 2020-10-02 | 中国科学院计算技术研究所 | 命名实体识别模型训练方法、命名实体识别方法和介质 |
| CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8311973B1 (en) * | 2011-09-24 | 2012-11-13 | Zadeh Lotfi A | Methods and systems for applications for Z-numbers |
| EP2931892B1 (en) * | 2012-12-12 | 2018-09-12 | The Broad Institute, Inc. | Methods, models, systems, and apparatus for identifying target sequences for cas enzymes or crispr-cas systems for target sequences and conveying results thereof |
| CN112541357B (zh) * | 2020-12-24 | 2023-11-24 | 深圳市优必选科技股份有限公司 | 实体识别方法、装置及智能设备 |
-
2020
- 2020-11-25 CN CN202011342129.2A patent/CN114548103B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106407180A (zh) * | 2016-08-30 | 2017-02-15 | 北京奇艺世纪科技有限公司 | 一种实体消歧方法及装置 |
| CN109284763A (zh) * | 2017-07-19 | 2019-01-29 | 阿里巴巴集团控股有限公司 | 一种生成分词训练数据的方法和服务器 |
| CN111164676A (zh) * | 2017-11-15 | 2020-05-15 | 英特尔公司 | 经由环境语境采集进行的语音模型个性化 |
| CN108363816A (zh) * | 2018-03-21 | 2018-08-03 | 北京理工大学 | 基于句义结构模型的开放式实体关系抽取方法 |
| CN108595708A (zh) * | 2018-05-10 | 2018-09-28 | 北京航空航天大学 | 一种基于知识图谱的异常信息文本分类方法 |
| CN110765271A (zh) * | 2018-07-09 | 2020-02-07 | 株式会社理光 | 一种实体发现与实体链接的联合处理方法及装置 |
| CN109344401A (zh) * | 2018-09-18 | 2019-02-15 | 深圳市元征科技股份有限公司 | 命名实体识别模型训练方法、命名实体识别方法及装置 |
| CN109992782A (zh) * | 2019-04-02 | 2019-07-09 | 深圳市华云中盛科技有限公司 | 法律文书命名实体识别方法、装置及计算机设备 |
| CN110222167A (zh) * | 2019-07-03 | 2019-09-10 | 阿里巴巴集团控股有限公司 | 一种获取目标标准信息的方法和系统 |
| CN110717324A (zh) * | 2019-09-06 | 2020-01-21 | 暨南大学 | 裁判文书答案信息提取方法、装置、提取器、介质和设备 |
| CN110717331A (zh) * | 2019-10-21 | 2020-01-21 | 北京爱医博通信息技术有限公司 | 一种基于神经网络的中文命名实体识别方法、装置、设备以及存储介质 |
| CN111159770A (zh) * | 2019-12-31 | 2020-05-15 | 医渡云（北京）技术有限公司 | 文本数据脱敏方法、装置、介质及电子设备 |
| CN111241829A (zh) * | 2020-01-14 | 2020-06-05 | 成都嗨翻屋科技有限公司 | 一种基于神经网络的智能歌词修改方法及辅助系统 |
| CN111444723A (zh) * | 2020-03-06 | 2020-07-24 | 深圳追一科技有限公司 | 信息抽取模型训练方法、装置、计算机设备和存储介质 |
| CN111553164A (zh) * | 2020-04-29 | 2020-08-18 | 平安科技（深圳）有限公司 | 命名实体识别模型的训练方法、装置、计算机设备 |
| CN111738003A (zh) * | 2020-06-15 | 2020-10-02 | 中国科学院计算技术研究所 | 命名实体识别模型训练方法、命名实体识别方法和介质 |
| CN111950269A (zh) * | 2020-08-21 | 2020-11-17 | 清华大学 | 文本语句处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于TF-IDF中文文本分类实现;石凤贵;;现代计算机;20200225(06);第52-55+76页 * |
| 基于深度学习的自然场景文本检测与识别综述;王建新;王子亚;田萱;;软件学报;20200515(05);第229-260页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114548103A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109165291B (zh) | 一种文本匹配方法及电子设备 | |
| CN109284399B (zh) | 相似度预测模型训练方法、设备及计算机可读存储介质 | |
| CN110727779A (zh) | 基于多模型融合的问答方法及系统 | |
| CN111026840B (zh) | 文本处理方法、装置、服务器和存储介质 | |
| CN110909144A (zh) | 问答对话方法、装置、电子设备及计算机可读存储介质 | |
| CN113326702B (zh) | 语义识别方法、装置、电子设备及存储介质 | |
| CN113590778A (zh) | 智能客服意图理解方法、装置、设备及存储介质 | |
| CN116991875B (zh) | 一种基于大模型的sql语句生成、别名映射方法及设备 | |
| CN115827819A (zh) | 一种智能问答处理方法、装置、电子设备及存储介质 | |
| CN114492396A (zh) | 用于汽车专有名词的文本错误纠正方法及可读存储介质 | |
| CN111782793A (zh) | 智能客服处理方法和系统及设备 | |
| CN113408287A (zh) | 实体识别方法、装置、电子设备及存储介质 | |
| CN116150306A (zh) | 问答机器人的训练方法、问答方法及装置 | |
| CN110750626B (zh) | 一种基于场景的任务驱动的多轮对话方法及系统 | |
| CN113486174B (zh) | 模型训练、阅读理解方法、装置、电子设备及存储介质 | |
| CN113012687B (zh) | 一种信息交互方法、装置及电子设备 | |
| CN118114679A (zh) | 服务对话质量管控方法、系统、电子设备及存储介质 | |
| CN113705207A (zh) | 语法错误识别方法及装置 | |
| CN114548103B (zh) | 一种命名实体识别模型的训练方法和命名实体的识别方法 | |
| CN115688758A (zh) | 一种语句意图识别方法、装置和存储介质 | |
| CN116561271A (zh) | 问答处理方法及装置 | |
| CN112818689A (zh) | 一种实体识别方法、模型训练方法及装置 | |
| CN116340352A (zh) | 数据查询方法、装置、存储介质及电子设备 | |
| CN114417881B (zh) | 敏感词检测方法、装置、电子设备及存储介质 | |
| CN116186219A (zh) | 一种人机对话交互方法方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |