CN113408273A - 实体识别模型的训练与实体识别方法、装置 - Google Patents

Abstract

本公开提供了一种实体识别模型的训练与实体识别方法、装置，涉及自然语言处理、深度学习技术领域。实体识别模型的训练方法包括：获取训练数据；构建包含第一网络层、第二网络层与第三网络层的神经网络模型；使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。实体识别方法包括：获取待识别文本；将所述待识别文本、对应不同实体类型的行业词典与目标实体类型向量输入实体识别模型；根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果。

Description

实体识别模型的训练与实体识别方法、装置

技术领域

本公开涉及计算机技术领域，尤其涉及自然语言处理、深度学习技术领域。提供了一种实体识别模型的训练与实体识别方法、装置、电子设备和可读存储介质。

背景技术

在获取用户输入的用于检索的查询词(query)时，为了更加准确地获取用户的检索需求，需要识别出查询词中的全部实体或者特定实体。由于查询词中的实体对应不同的实体类型，现有技术通常会采用设置多个实体识别模型来分别识别对应不同实体类型的实体的方式，导致识别步骤较为繁琐、识别准确性较低的技术问题。

发明内容

根据本公开的第一方面，提供了一种实体识别模型的训练方法，包括：获取训练数据，所述训练数据中包含多个训练文本与多个训练文本中对应不同实体类型的实体标注结果；构建包含第一网络层、第二网络层与第三网络层的神经网络模型，所述第一网络层用于根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列，所述第二网络层用于根据所述训练文本的第一语义向量序列与目标实体类型向量得到所述训练文本的第二语义向量序列；使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。

根据本公开的第二方面，提供了一种实体识别方法，包括：获取待识别文本；将所述待识别文本、对应不同实体类型的行业词典、目标实体类型向量输入实体识别模型；根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果。

根据本公开的第三方面，提供了一种实体识别模型的训练装置，包括：第一获取单元，用于获取训练数据，所述训练数据中包含多个训练文本与多个训练文本中对应不同实体类型的实体标注结果；构建单元，用于构建包含第一网络层、第二网络层与第三网络层的神经网络模型，所述第一网络层用于根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列，所述第二网络层用于根据所述训练文本的第一语义向量序列与目标实体类型向量得到所述训练文本的第二语义向量序列；训练单元，用于使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。

根据本公开的第四方面，提供了一种实体识别装置，包括：第二获取单元，用于获取待识别文本；处理单元，用于将所述待识别文本、对应不同实体类型的行业词典、目标实体类型向量输入实体识别模型；识别单元，用于根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果。

根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。

由以上技术方案可以看出，通过引入对应不同实体类型的行业词典与目标实体类型向量的方式来训练神经网络模型，使得神经网络模型能够学习文本中不同实体之间的依赖关系，且不会受到文本中的实体存在重叠的实体类型的限制，从而实现了通过一个实体识别模型来识别不同实体类型的实体的技术效果，提升了实体识别模型在识别文本中与不同实体类型所对应的实体时的准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；

图3是根据本公开第三实施例的示意图；

图4是根据本公开第四实施例的示意图；

图5是根据本公开第五实施例的示意图；

图6是根据本公开第六实施例的示意图；

图7是用来实现本公开实施例的实体识别模型的训练与实体识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和机构的描述。

图1是根据本公开第一实施例的示意图。如图1所示，本实施例的实体识别模型的训练方法，具体可以包括如下步骤：

S101、获取训练数据，所述训练数据中包含多个训练文本与多个训练文本中对应不同实体类型的实体标注结果；

S102、构建包含第一网络层、第二网络层与第三网络层的神经网络模型，所述第一网络层用于根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列，所述第二网络层用于根据所述训练文本的第一语义向量序列与目标实体类型向量得到所述训练文本的第二语义向量序列；

S103、使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。

本实施例的实体识别模型的训练方法，通过引入对应不同实体类型的行业词典与目标实体类型向量的方式来训练神经网络模型，使得神经网络模型能够学习文本中不同实体之间的依赖关系，且不会受到文本中的实体存在重叠的实体类型的限制，从而提升了实体识别模型在识别文本中与不同实体类型所对应的实体时的准确性。

本实施例执行S101获取的训练数据中，训练文本的实体标注结果为训练文本中对应不同实体类型的实体，训练文本中的同一个实体可能对应于多个实体类型；本实施例可以将训练文本中对应不同实体类型的实体进行全部标注，还可以仅将训练文本中对应特定实体类型的实体进行标注。

本实施例中的实体类型包含品牌实体类型、品类实体类型、颜色实体类型、人群实体类型、时间实体类型与款式实体类型等中的至少一种，本实施例对实体类型的数量不进行限制。

举例来说，若本实施例中的训练文本为“吉普夹克男春季”，则该训练文本的实体标注结果可以为：对应品牌实体类型的“吉普”、对应品类实体类型的“夹克”、对应人群实体类型的“男”、对应时间实体类型的“春季”与对应款式实体类型的“春季”等。

本实施例在执行S101获取了包含多个训练文本与多个训练文本的实体标注结果的训练数据之后，执行S102构建包含第一网络层、第二网络层与第三网络层的神经网络模型。

本实施例执行S102所构建的神经网络模型中，第一网络层用于根据训练文本与对应不同实体类型的行业词典，得到训练文本的第一语义向量序列。

具体地，本实施例中的第一网络层在根据训练文本与对应不同实体类型的行业词典得到训练文本的第一语义向量序列时，可以采用的可选实现方式为：将训练文本作为输入，得到训练文本中各语义单元的初始语义向量；将各语义单元在对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量；将各语义单元的初始语义向量与标识向量进行拼接，根据拼接结果得到各语义单元的第一语义向量；根据各语义单元的第一语义向量得到训练文本的第一语义向量序列。

本实施例中的第一网络层由第一神经网络与第二神经网络构成；第一神经网络为预训练模型，例如Ernie模型，用于根据训练文本，得到训练文本中各语义单元的初始语义向量；第二神经网络为递归神经网络，例如双向长短期记忆网络，用于根据训练文本中各语义单元的初始语义向量与各语义单元的标识向量之间的拼接结果，得到各语义单元的第一语义向量，并相应地得到训练文本的第一语义向量序列。

其中，本实施例包含多个行业词典，每个行业词典对应不同的实体类型，不同的行业词典中包含对应不同实体类型的多个词语；本实施例还可以定时地对使用的行业词典进行更新。

举例来说，本实施例中对应品牌实体类型的行业词典中包含不同品牌的词语；对应品类实体类型的行业词典中包含不同品类的词语。

本实施例在将各语义单元在对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量时，可以采用的可选实现方式为：设置对应不同实体类型的行业词典的顺序；针对每个语义单元，依次将该语义单元在对应不同实体类型的行业词典中进行匹配；在确定行业词典中存在与该语义单元相匹配的词语的情况下，将标识向量中对应该行业词典位置处的向量设置为1，否则设置为0。

举例来说，若本实施例中存在3个行业词典，依次为对应品牌实体类型的行业词典1、对应品类实体类型的行业词典2与对应时间实体类型的行业词典3，若训练文本中包含的语义单元为“吉普”，且仅在行业词典1中包含“吉普”这个词语，则本实施例所得到的对应语义单元“吉普”的标识向量即为(1，0，0)。

也就是说，本实施例中的第一网络层通过引入对应不同实体类型的行业词典的方式，使得第一语义向量能够融合实体类型，从而提升了所得到的第一语义向量序列的准确性。

本实施例执行S102所构建的神经网络模型中，第二网络层用于根据训练文本的第一语义向量序列与目标实体类型向量，得到训练文本的第二语义向量序列；其中，本实施例中的目标实体类型向量与从训练文本中所识别的目标实体类型相对应。

具体地，本实施例中的第二网络层在根据训练文本的第一语义向量序列与目标实体类型向量，得到训练文本的第二语义向量序列时，可以采用的可选实现方式为：根据第一语义向量序列中各语义单元的第一语义向量进行注意力计算，得到各语义单元的第一计算结果；根据第一语义向量序列中各语义单元的第一语义向量与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果；将各语义单元的第一计算结果与第二计算结果进行拼接，得到各语义单元的第二语义向量；根据各语义单元的第二语义向量，得到训练文本的第二语义向量序列。

本实施例在获取目标实体类型向量时，可以采用以下方式：确定目标实体类型，该目标实体类型对应于从训练文本中所要识别的实体的实体类型；将与目标实体类型对应的实体类型向量作为目标实体类型向量。

本实施例在得到与实体类型对应的实体类型向量时，可以采用的可选实现方式为：确定不同实体类型的描述词语，例如品牌实体类型的描述词语为“brand”；将训练文本中的实体替换为相应的描述词语之后，例如将训练文本中的“吉普”替换为“brand”，对所得到的替换文本进行无监督学习，例如使用Erine模型进行无监督学习；将替换文本中对应描述词语的向量，作为各实体类型的实体类型向量，例如将经过预设学习次数之后所得到的描述词语的向量作为实体类型向量。本实施例还可以定时地根据上述方法对实体类型向量进行更新。

本实施例中的第二网络层由第一注意力网络与第二注意力网络构成；第一注意力网络用于根据第一语义向量序列中各语义单元的第一语义向量进行注意力计算，得到各语义单元的第一计算结果；第二注意力网络用于根据第一语义向量序列中各语义单元的第一语义向量与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果。

本实施例在根据第一语义向量序列中各语义单元的第一语义向量与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果时，可以采用的可选实现方式为：计算目标实体类型向量与各语义单元的第一语义向量之间的相似度，例如计算余弦相似度；根据计算得到的相似度与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果，例如将各相似度与目标实体类型向量进行点乘的方式来得到第二计算结果。

也就是说，本实施例通过获取目标实体类型向量，使得神经网络模型能够识别训练文本中与目标实体类型所对应的实体，进而提升神经网络模型在进行实体识别时的准确性。

本实施例执行S102所构建的神经网络模型中，第三网络层用于根据训练文本的第二语义向量序列，对训练文本中与目标实体类型对应的实体进行标注；本实施例中的第三网络层可以为条件随机场(Conditional Random Fields)模型，通过BIO标注的方式来识别训练文本中的相应实体。

举例来说，若本实施例中的训练文本为“吉普夹克男春季”，若目标实体类型向量对应的实体类型为品牌实体类型，则本实施例标注的是训练文本中的品牌实体“吉普”。

本实施例在执行S102构建包含第一网络层、第二网络层与第三网络层的神经网络模型之后，执行S103使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练神经网络模型，得到实体识别模型。

利用本实施例执行S103训练得到的实体识别模型，将待识别文本、对应不同实体类型的词典与目标实体类型向量作为实体识别模型的输入之后，即可根据实体识别模型输出的标注结果来得到待识别文本中的目标实体。

具体地，本实施例在执行S103使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练神经网络模型，得到实体识别模型时，可以采用的可选实现方式为：针对每个训练文本，将该训练文本与对应不同实体类型的行业词典作为第一网络层的输入，得到第一网络层输出的第一语义向量序列；将第一语义向量序列与目标实体类型向量作为第二网络层的输入，得到第二网络层输出的第二语义向量序列；将第二语义向量序列作为第三网络层的输入，根据第三网络层的输出结果得到训练文本的实体识别结果；根据训练文本的实体识别结果与对应目标实体类型的实体标注结果来更新神经网络模型的参数，直至神经网络模型收敛，得到实体识别模型。

另外，本实施例中的神经网络模型在完成对训练文本的标注之后，还会输出对应该训练文本的分值，因此本实施例还可以包含以下内容：根据对应各训练文本的分值，确定满足预设条件的训练文本；将所确定的训练文本作为新样本添加到训练数据中，以用于对神经网络模型进行训练。

本实施例在根据对应各训练文本的分值确定满足预设条件的训练文本时，可以选取分值大于预设阈值的训练文本，还可以基于信息熵的计算方式来得到训练文本的不确定性值，进而选取不确定性值小于预设阈值的训练文本。

本实施例中对于未被选取的训练文本，可以直接舍弃，也可以通过采样的方式，将所采样得到的训练文本进行人工标注。

也就是说，本实施例还能够实现训练数据的增强，根据标注结果来筛选训练文本，使得神经网络模型能够使用质量更好的训练数据进行训练，从而提升神经网络模型的训练质量。

本实施例采用上述方法，通过引入对应不同实体类型的行业词典与目标实体类型向量的方式来训练神经网络模型，使得神经网络模型能够学习文本中不同实体之间的依赖关系，且不会受到文本中的实体存在重叠的实体类型的限制，从而提升了实体识别模型在识别文本中与不同实体类型所对应的实体时的准确性。

图2是根据本公开第二实施例的示意图。如图2所示，本实施例在执行S101获取训练数据时，具体可以包括如下步骤：

S201、获取对应不同实体类型的种子词集合；

S202、扩展所述种子词集合，得到对应不同实体类型的行业词典；

S203、针对所述行业词典中的每个词语，得到包含该词语的文本作为训练文本，将该词语作为训练文本中与该词语所在行业词典的实体类型对应的实体标注结果。

也就是说，本实施例能够结合数据挖掘技术来快速地获取训练数据，避免了对于人工标注数据的依赖问题，降低了神经网络模型的训练成本。

本实施例执行S201所获取的不同种子词集合中，可以包含对应不同实体类型的少量的词语；本实施例在执行S202时，可以通过百科知识库，将与种子词集合中的词语存在关联的词语一同加入种子词集合，从而得到对应不同实体类型的行业词典。

本实施例在执行S202得到对应不同实体类型的行业词典之后，还可以对各行业词典的合理性进行验证，例如对行业词典中所包含词语的覆盖率与匹配率进行验证。

本实施例在执行S203得到包含行业词典中词语的文本时，可以基于各词语进行文本搜索，从而实现文本的自动获取。

图3是根据本公开第三实施例的示意图。如图3所示，本实施例的实体识别方法，具体可以包括如下步骤：

S301、获取待识别文本；

S302、将所述待识别文本、对应不同实体类型的行业词典与目标实体类型向量输入实体识别模型；

S303、根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果。

本实施例的实体识别方法，通过预先训练得到的实体识别模型来从待识别文本中提取相应的实体，由于该实体识别模型能够学习文本中不同实体之间的依赖关系，且不会受到文本中的实体存在重叠的实体类型的限制，从而提升了所得到的实体识别结果的准确性。

本实施例执行S301获取的待识别文本，可以为用户在进行搜索时所输入的查询词(query)文本。

本实施例在执行S302将目标实体类型向量输入实体识别模型时，可以分别将对应全部实体类型的实体类型向量作为目标实体类型向量，经过实体识别模型的多次识别，从而得到待识别文本中对应不同实体类型的多个实体识别结果。

本实施例在执行S302将目标实体类型向量输入实体识别模型时，还可以根据所获取的目标实体类型，将与该目标实体类型对应的实体类型向量作为目标实体类型向量输入实体识别模型，即本实施例还可以实现对待识别文本中特定实体类型的实体进行提取的目的。

图4是根据本公开第四实施例的示意图。图4中示出了本实施例的实体识别的流程图：将待识别文本与对应不同实体类型的行业词典输入第一网络层的第一神经网络，得到第一网络层输出的训练文本中各语义单元的第一语义向量；将各语义单元的第一语义向量与目标实体类型向量输入第二网络层，得到第二网络层输出的训练文本中各语义单元的第二语义向量；将各语义单元的第二语义向量输入第三网络层，得到第三网络层输出的训练文本中对应目标实体类型的实体标注结果；本实施例中的目标实体类型为“品牌实体类型”，则实体识别模型输出的为待识别文本中品牌实体的标注结果，其中B表示品牌实体的开始、I表示品牌实体中的内容、O表示与品牌实体无关的内容。

图5是根据本公开第五实施例的示意图。如图5所示，本实施例的实体识别模型的训练装置500，包括：

第一获取单元501、用于获取训练数据，所述训练数据中包含多个训练文本与多个训练文本中对应不同实体类型的实体标注结果；

构建单元502、用于构建包含第一网络层、第二网络层与第三网络层的神经网络模型，所述第一网络层用于根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列，所述第二网络层用于根据所述训练文本的第一语义向量序列与目标实体类型向量得到所述训练文本的第二语义向量序列；

训练单元503、用于使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。

第一获取单元501获取的训练数据中，训练文本的实体标注结果为训练文本中对应不同实体类型的实体，训练文本中的同一个实体可能对应于多个实体类型；本实施例可以将训练文本中对应不同实体类型的实体进行全部标注，还可以仅将训练文本中对应特定实体类型的实体进行标注。

第一获取单元501获取训练数据时，还可以采用以下方式：获取对应不同实体类型的种子词集合；扩展种子词集合，得到对应不同实体类型的行业词典；针对行业词典中的每个词语，得到包含该词语的文本作为训练文本，将该词语作为训练文本中与该词语所在行业词典的实体类型对应的实体标注结果。

也就是说，第一获取单元501能够结合数据挖掘技术来快速地获取训练数据，避免了对于人工标注数据的依赖问题，降低了神经网络模型的训练成本。

本实施例在由第一获取单元501获取了包含多个训练文本与多个训练文本的实体标注结果的训练数据之后，由构建单元502构建包含第一网络层、第二网络层与第三网络层的神经网络模型。

构建单元502所构建的神经网络模型中，第一网络层用于根据训练文本与对应不同实体类型的行业词典，得到训练文本的第一语义向量序列。

具体地，构建单元502所构建的第一网络层在根据训练文本与对应不同实体类型的行业词典得到训练文本的第一语义向量序列时，可以采用的可选实现方式为：将训练文本作为输入，得到训练文本中各语义单元的初始语义向量；将各语义单元在对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量；将各语义单元的初始语义向量与标识向量进行拼接，根据拼接结果得到各语义单元的第一语义向量；根据各语义单元的第一语义向量得到训练文本的第一语义向量序列。

构建单元502所构建的第一网络层由第一神经网络与第二神经网络构成；第一神经网络为预训练模型，用于根据训练文本，得到训练文本中各语义单元的初始语义向量；第二神经网络为递归神经网络，用于根据训练文本中各语义单元的初始语义向量与各语义单元的标识向量之间的拼接结果，得到各语义单元的第一语义向量，并相应地得到训练文本的第一语义向量序列。

其中，本实施例包含多个行业词典，每个行业词典对应不同的实体类型，不同的行业词典中包含对应不同实体类型的多个词语；构建单元502还可以定时地对使用的行业词典进行更新。

构建单元502所构建的第一网络层将各语义单元在对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量时，可以采用的可选实现方式为：设置对应不同实体类型的行业词典的顺序；针对每个语义单元，依次将该语义单元在对应不同实体类型的行业词典中进行匹配；在确定行业词典中存在与该语义单元相匹配的词语的情况下，将标识向量中对应该行业词典位置处的向量设置为1，否则设置为0。

也就是说，构建单元502所构建的第一网络层通过引入对应不同实体类型的行业词典的方式，使得第一语义向量能够融合实体类型，从而提升了所得到的第一语义向量序列的准确性。

构建单元502所构建的神经网络模型中，第二网络层用于根据训练文本的第一语义向量序列与目标实体类型向量，得到训练文本的第二语义向量序列；其中，本实施例中的目标实体类型向量与从训练文本中所识别的目标实体类型相对应。

具体地，构建单元502所构建的第二网络层在根据训练文本的第一语义向量序列与目标实体类型向量，得到训练文本的第二语义向量序列时，可以采用的可选实现方式为：根据第一语义向量序列中各语义单元的第一语义向量进行注意力计算，得到各语义单元的第一计算结果；根据第一语义向量序列中各语义单元的第一语义向量与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果；将各语义单元的第一计算结果与第二计算结果进行拼接，得到各语义单元的第二语义向量；根据各语义单元的第二语义向量，得到训练文本的第二语义向量序列。

构建单元502在获取目标实体类型向量时，可以采用以下方式：确定目标实体类型，该目标实体类型对应于从训练文本中所要识别的实体的实体类型；将与目标实体类型对应的实体类型向量作为目标实体类型向量。

构建单元502在得到与实体类型对应的实体类型向量时，可以采用的可选实现方式为：确定不同实体类型的描述词语；将训练文本中的实体替换为相应的描述词语之后，对所得到的替换文本进行无监督学习；将替换文本中对应描述词语的向量，作为各实体类型的实体类型向量。本实施例还可以定时地根据上述方法对实体类型向量进行更新。

构建单元502所构建的第二网络层由第一注意力网络与第二注意力网络构成；第一注意力网络用于根据第一语义向量序列中各语义单元的第一语义向量进行注意力计算，得到各语义单元的第一计算结果；第二注意力网络用于根据第一语义向量序列中各语义单元的第一语义向量与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果。

构建单元502所构建的第二网络层在根据第一语义向量序列中各语义单元的第一语义向量与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果时，可以采用的可选实现方式为：计算目标实体类型向量与各语义单元的第一语义向量之间的相似度；根据计算得到的相似度与目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果。

也就是说，构建单元502所构建的第二网络层通过获取目标实体类型向量，使得神经网络模型能够识别训练文本中与目标实体类型所对应的实体，进而提升神经网络模型在进行实体识别时的准确性。

构建单元502所构建的神经网络模型中，第三网络层用于根据训练文本的第二语义向量序列，对训练文本中与目标实体类型对应的实体进行标注；本实施例中的第三网络层可以为条件随机场(Conditional Random Fields)模型，通过BIO标注的方式来识别训练文本中的相应实体。

本实施例在由构建单元502构建包含第一网络层、第二网络层与第三网络层的神经网络模型之后，由训练单元503使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练神经网络模型，得到实体识别模型。

训练单元503在使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练神经网络模型，得到实体识别模型时，可以采用的可选实现方式为：针对每个训练文本，将该训练文本与对应不同实体类型的行业词典作为第一网络层的输入，得到第一网络层输出的第一语义向量序列；将第一语义向量序列与目标实体类型向量作为第二网络层的输入，得到第二网络层输出的第二语义向量序列；将第二语义向量序列作为第三网络层的输入，根据第三网络层的输出结果得到训练文本的实体识别结果；根据训练文本的实体识别结果与对应目标实体类型的实体标注结果来更新神经网络模型的参数，直至神经网络模型收敛，得到实体识别模型。

另外，本实施例中的神经网络模型在完成对训练文本的标注之后，还会输出对应该训练文本的分值，因此训练单元503还可以包含以下内容：根据对应各训练文本的分值，确定满足预设条件的训练文本；将所确定的训练文本作为新样本添加到训练数据中，以用于对神经网络模型进行训练。

训练单元503在根据对应各训练文本的分值确定满足预设条件的训练文本时，可以选取分值大于预设阈值的训练文本，还可以基于信息熵的计算方式来得到训练文本的不确定性值，进而选取不确定性值小于预设阈值的训练文本。

也就是说，训练单元503还能够实现训练数据的增强，根据标注结果来筛选训练文本，使得神经网络模型能够使用质量更好的训练数据进行训练，从而提升神经网络模型的训练质量。

图6是根据本公开第六实施例的示意图。如图6所示，本实施例的实体识别装置600，包括：

第二获取单元601、用于获取待识别文本；

处理单元602、用于将所述待识别文本、对应不同实体类型的行业词典、目标实体类型向量输入实体识别模型；

识别单元603、用于根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果。

第二获取单元601获取的待识别文本，可以为用户在进行搜索时所输入的查询词(query)文本。

处理单元602将目标实体类型向量输入实体识别模型时，可以分别将对应全部实体类型的实体类型向量作为目标实体类型向量，经过实体识别模型的多次识别，从而得到待识别文本中对应不同实体类型的多个实体识别结果。

处理单元602在将目标实体类型向量输入实体识别模型时，还可以根据所获取的目标实体类型，将与该目标实体类型对应的实体类型向量作为目标实体类型向量输入实体识别模型，即本实施例还可以实现对待识别文本中特定实体类型的实体进行提取的目的。

本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

如图7所示，是根据本公开实施例的实体识别模型的训练与实体识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如实体识别模型的训练与实体识别方法。例如，在一些实施例中，实体识别模型的训练与实体识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。

在一些实施例中，计算机程序的部分或者全部可以经由ROM702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的实体识别模型的训练与实体识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行实体识别模型的训练与实体识别方法。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (21)

1.一种实体识别模型的训练方法，包括：

获取训练数据，所述训练数据中包含多个训练文本与多个训练文本中对应不同实体类型的实体标注结果；

构建包含第一网络层、第二网络层与第三网络层的神经网络模型，所述第一网络层用于根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列，所述第二网络层用于根据所述训练文本的第一语义向量序列与目标实体类型向量得到所述训练文本的第二语义向量序列；

使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。

2.根据权利要求1所述的方法，其中，所述第一网络层根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列包括：

将训练文本作为输入，得到训练文本中各语义单元的初始语义向量；

将各语义单元在所述对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量；

将各语义单元的初始语义向量与所述标识向量进行拼接，根据拼接结果得到各语义单元的第一语义向量；

根据各语义单元的第一语义向量得到训练文本的第一语义向量序列。

3.根据权利要求2所述的方法，其中，所述将各语义单元在对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量包括：

设置对应不同实体类型的行业词典的顺序；

针对每个语义单元，依次将该语义单元在对应不同实体类型的行业词典中进行匹配；

在确定行业词典中存在与该语义单元相匹配的词语的情况下，将标识向量中对应该行业词典位置处的向量设置为1，否则设置为0。

4.根据权利要求1所述的方法，其中，所述第二网络层根据训练文本的第一语义向量序列与目标实体类型向量，得到训练文本的第二语义向量序列包括：

根据第一语义向量序列中各语义单元的第一语义向量进行注意力计算，得到各语义单元的第一计算结果；

根据第一语义向量序列中各语义单元的第一语义向量与所述目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果；

将各语义单元的第一计算结果与第二计算结果进行拼接，得到各语义单元的第二语义向量；

根据各语义单元的第二语义向量，得到训练文本的第二语义向量序列。

5.根据权利要求4所述的方法，其中，所述根据第一语义向量序列中各语义单元的第一语义向量与所述目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果包括：

计算所述目标实体类型向量与各语义单元的第一语义向量之间的相似度；

根据计算得到的相似度与所述目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果。

6.根据权利要求1所述的方法，其中，所述使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型包括：

针对每个训练文本，将该训练文本与对应不同实体类型的行业词典作为所述第一网络层的输入，得到所述第一网络层输出的第一语义向量序列；

将所述第一语义向量序列与目标实体类型向量作为所述第二网络层的输入，得到所述第二网络层输出的第二语义向量序列；

将所述第二语义向量序列作为所述第三网络层的输入，根据所述第三网络层的输出结果得到训练文本的实体识别结果；

根据训练文本的实体识别结果与训练文本中对应目标实体类型的实体标注结果来更新所述神经网络模型的参数，直至所述神经网络模型收敛，得到所述实体识别模型。

7.根据权利要求1所述的方法，其中，所述获取训练数据包括：

获取对应不同实体类型的种子词集合；

扩展所述种子词集合，得到对应不同实体类型的行业词典；

针对所述行业词典中的每个词语，得到包含该词语的文本作为训练文本，将该词语作为训练文本中与该词语所在行业词典的实体类型对应的实体标注结果。

8.一种实体识别方法，包括：

获取待识别文本；

将所述待识别文本、对应不同实体类型的行业词典与目标实体类型向量输入实体识别模型；

根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果；

其中，所述实体识别模型是根据权利要求1-7中任一项方法预先训练得到的。

9.根据权利要求8所述的方法，其中，所述将目标实体类型向量输入实体识别模型包括：

获取目标实体类型；

将与所述目标实体类型对应的实体类型向量，作为所述目标实体类型向量输入所述实体识别模型。

10.一种实体识别模型的训练装置，包括：

第一获取单元，用于获取训练数据，所述训练数据中包含多个训练文本与多个训练文本中对应不同实体类型的实体标注结果；

构建单元，用于构建包含第一网络层、第二网络层与第三网络层的神经网络模型，所述第一网络层用于根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列，所述第二网络层用于根据所述训练文本的第一语义向量序列与目标实体类型向量得到所述训练文本的第二语义向量序列；

训练单元，用于使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型。

11.根据权利要求10所述的装置，其中，所述构建单元所构建的第一网络层在根据训练文本与对应不同实体类型的行业词典得到所述训练文本的第一语义向量序列时，具体执行：

将训练文本作为输入，得到训练文本中各语义单元的初始语义向量；

将各语义单元在所述对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量；

将各语义单元的初始语义向量与所述标识向量进行拼接，根据拼接结果得到各语义单元的第一语义向量；

根据各语义单元的第一语义向量得到训练文本的第一语义向量序列。

12.根据权利要求11所述的装置，其中，所述构建单元所构建的第一网络层在将各语义单元在对应不同实体类型的行业词典中进行匹配，根据匹配结果得到各语义单元的标识向量时，具体执行：

设置对应不同实体类型的行业词典的顺序；

针对每个语义单元，依次将该语义单元在对应不同实体类型的行业词典中进行匹配；

在确定行业词典中存在与该语义单元相匹配的词语的情况下，将标识向量中对应该行业词典位置处的向量设置为1，否则设置为0。

13.根据权利要求10所述的装置，其中，所述构建单元所构建的第二网络层在根据训练文本的第一语义向量序列与目标实体类型向量，得到训练文本的第二语义向量序列时，具体执行：

根据第一语义向量序列中各语义单元的第一语义向量进行注意力计算，得到各语义单元的第一计算结果；

根据第一语义向量序列中各语义单元的第一语义向量与所述目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果；

将各语义单元的第一计算结果与第二计算结果进行拼接，得到各语义单元的第二语义向量；

根据各语义单元的第二语义向量，得到训练文本的第二语义向量序列。

14.根据权利要求13所述的装置，其中，所述构建单元所构建的第二网络层在根据第一语义向量序列中各语义单元的第一语义向量与所述目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果时，具体执行：

计算所述目标实体类型向量与各语义单元的第一语义向量之间的相似度；

根据计算得到的相似度与所述目标实体类型向量进行注意力计算，得到各语义单元的第二计算结果。

15.根据权利要求10所述的方法，其中，所述训练单元在使用多个训练文本、对应不同实体类型的行业词典、目标实体类型向量与多个训练文本中对应不同实体类型的实体标注结果训练所述神经网络模型，得到实体识别模型时，具体执行：

针对每个训练文本，将该训练文本与对应不同实体类型的行业词典作为所述第一网络层的输入，得到所述第一网络层输出的第一语义向量序列；

将所述第一语义向量序列与目标实体类型向量作为所述第二网络层的输入，得到所述第二网络层输出的第二语义向量序列；

将所述第二语义向量序列作为所述第三网络层的输入，根据所述第三网络层的输出结果得到训练文本的实体识别结果；

根据训练文本的实体识别结果与训练文本中对应目标实体类型的实体标注结果来更新所述神经网络模型的参数，直至所述神经网络模型收敛，得到所述实体识别模型。

16.根据权利要求10所述的装置，其中，所述第一获取单元在获取训练数据时，具体执行：

获取对应不同实体类型的种子词集合；

扩展所述种子词集合，得到对应不同实体类型的行业词典；

针对所述行业词典中的每个词语，得到包含该词语的文本作为训练文本，将该词语作为训练文本中与该词语所在行业词典的实体类型对应的实体标注结果。

17.一种实体识别装置，包括：

第二获取单元，用于获取待识别文本；

处理单元，用于将所述待识别文本、对应不同实体类型的行业词典与目标实体类型向量输入实体识别模型；

识别单元，用于根据所述实体识别模型的输出结果，提取所述待识别文本中与目标实体类型对应的实体，作为所述待识别文本的实体识别结果；

其中，所述实体识别模型是根据权利要求10-16中任一项装置预先训练得到的。

18.根据权利要求17所述的装置，其中，所述处理单元在将目标实体类型向量输入实体识别模型时，具体执行：

获取目标实体类型；

将与所述目标实体类型对应的实体类型向量，作为所述目标实体类型向量输入所述实体识别模型。

19.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。

Images