CN111597814B - 一种人机交互命名实体识别方法、装置、设备及存储介质 - Google Patents

一种人机交互命名实体识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111597814B
CN111597814B CN202010443600.0A CN202010443600A CN111597814B CN 111597814 B CN111597814 B CN 111597814B CN 202010443600 A CN202010443600 A CN 202010443600A CN 111597814 B CN111597814 B CN 111597814B
Authority
CN
China
Prior art keywords
state vector
word
word state
gating mechanism
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010443600.0A
Other languages
English (en)
Other versions
CN111597814A (zh
Inventor
李净
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huiwen Technology Group Co ltd
Original Assignee
Beijing Huiwen Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huiwen Technology Group Co ltd filed Critical Beijing Huiwen Technology Group Co ltd
Priority to CN202010443600.0A priority Critical patent/CN111597814B/zh
Publication of CN111597814A publication Critical patent/CN111597814A/zh
Application granted granted Critical
Publication of CN111597814B publication Critical patent/CN111597814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种人机交互命名实体识别方法、装置、设备及存储介质，该方法包括：获取文本信息，将文本信息转换为词状态向量；利用词状态向量和全局句子状态向量，获取新的词状态向量；依据新的词状态向量进行实体识别，得到实体识别结果。该方法实现提高命令实体识别结果的准确性。

Description

一种人机交互命名实体识别方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，特别是涉及一种人机交互命名实体识别方法、装置、设备及存储介质。
背景技术
智能机器人交互是实现城市智能化的一项重要工作。近年来，随着计算机集群计算能力的大幅度提升，人工智能算法研究和产业落地步入了发展快车道，而智能机器人交互作为人工智能重要分支—自然语言处理的一个重要应用，也逐渐成为学术界、工业界重点投入的研究热点和产品方向。无论在教育领域、金融领域，还是医疗领域都有着广泛的应用，通过使用智能机器人，可以提高效率、减少人力资源。智能机器人交互对社会经济效益和国家科技发展都具有重大意义。
命名实体识别在智能机器人交互系统中，需要从用户的提问中准确的识别出各种实体的类型才能更好地回答用户，例如：“我想订一张后天从杭州到三亚的机票？”“从三亚飞杭州的机票多少钱？”，分别需要准确地识别出“后天”，“三亚”和“杭州”才能准确回答用户的问题。对话系统需要接收纯文本形式的自然语言，必需经过实体识别将无结构化的数据转化为结构化数据，才能进行后续的意图识别等步骤。
目前采用的命名实体方法利用了人工神经网络Sentence-State LSTM(S-LSTM)，这是一种长短时记忆网络。命名实体方法中，先将原始文本转换为词状态向量，将词状态向量输入至人工神经网络S-LSTM中，再对S-LSTM输出的隐藏状态向量结果进行实体识别，得到命名实体识别结果。
但是人工神经网络S-LSTM中无法结合句子级别信息和词级别信息，最后得到命令实体识别结果的准确性较低。因此，如何提高命令实体识别结果的准确性是亟待解决的问题。
发明内容
本发明的目的是提供一种人机交互命名实体识别方法、装置、设备及存储介质，以实现提高命令实体识别结果的准确性。
为解决上述技术问题，本发明提供一种人机交互命名实体识别方法，包括：
获取文本信息，将文本信息转换为词状态向量；
利用词状态向量和全局句子状态向量，获取新的词状态向量；
依据新的词状态向量进行实体识别，得到实体识别结果。
优选的，所述将文本信息转换为词状态向量，包括：
将文本信息进行向量转换，得到词向量；
将词向量输入至人工神经网络中，输出得到词状态向量。
优选的，所述人工神经网络包括双向长短期记忆网络BI-LSTM。
优选的，所述利用词状态向量和全局句子状态向量，获取新的词状态向量，包括：
采用门控机制连接词状态向量和全局句子状态向量，得到新的词状态向量。
优选的，所述门控机制包括第一门控机制和第二门控机制；所述全局句子状态向量为前一时刻的全局句子状态向量。
优选的，所述新的词状态向量的表达式如下：
Figure BDA0002504845150000021
其中，
Figure BDA0002504845150000022
为词状态向量，gt-1为前一时刻的全局句子状态向量，
Figure BDA0002504845150000023
为第一门控机制，
Figure BDA0002504845150000024
为第二门控机制，
Figure BDA0002504845150000025
为新的词状态向量。
优选的，第一门控机制
Figure BDA0002504845150000026
第二门控机制
Figure BDA0002504845150000027
的表达式如下：
Figure BDA0002504845150000028
Figure BDA0002504845150000029
Figure BDA00025048451500000210
其中，Wx和Ux均表示权重向量，x∈k,z；bx表示偏差向量，x∈k,z；σ和softmax均为激活函数。
本发明还提供一种人机交互命名实体识别装置，包括：
转换模块，用于获取文本信息，将文本信息转换为词状态向量；
获取模块，用于利用词状态向量和全局句子状态向量，获取新的词状态向量；
识别模块，用于依据新的词状态向量进行实体识别，得到实体识别结果。
本发明还提供一种人机交互命名实体识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述的人机交互命名实体识别方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的人机交互命名实体识别方法的步骤。
本发明所提供的一种人机交互命名实体识别方法、装置、设备及存储介质，获取文本信息，将文本信息转换为词状态向量；利用词状态向量和全局句子状态向量，获取新的词状态向量；依据新的词状态向量进行实体识别，得到实体识别结果。可见，不再将词状态向量输入至常规的人工神经网络S-LSTM中，而是利用词状态向量和全局句子状态向量获取新的词状态向量，依据新的词状态向量来得到实体识别结果，如此新的词状态向量结合了句子级别信息和词级别信息，得到的实体识别结果的准确性较高，实现提高命令实体识别结果的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明所提供的一种人机交互命名实体识别方法的流程图；
图2为本发明中上下文词表示模型示意图；
图3为现有技术中人工神经网络S-LSTM中的信息流示意图；
图4为本发明中结合上下文词状态与句子状态的人工神经网络CWS中的信息流示意图；
图5为本发明所提供的一种人机交互命名实体识别装置结构示意图；
图6为本发明所提供的一种人机交互命名实体识别设备结构示意图。
具体实施方式
本发明的核心是提供一种人机交互命名实体识别方法、装置、设备及存储介质，以提高命令实体识别结果的准确性。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的一种人机交互命名实体识别方法的流程图，包括以下步骤：
S11：获取文本信息，将文本信息转换为词状态向量；
S12：利用词状态向量和全局句子状态向量，获取新的词状态向量；
S13：依据新的词状态向量进行实体识别，得到实体识别结果。
可见，本方法中，不再将词状态向量输入至常规的人工神经网络S-LSTM中，而是利用词状态向量和全局句子状态向量获取新的词状态向量，依据新的词状态向量来得到实体识别结果，如此新的词状态向量结合了句子级别信息和词级别信息，得到的实体识别结果的准确性较高，实现提高命令实体识别结果的准确性。
基于步骤S11，进一步的，将文本信息转换为词状态向量的过程包括以下步骤：
S21：将文本信息进行向量转换，得到词向量；
S22：将词向量输入至人工神经网络中，输出得到词状态向量。
基于步骤S21，向量转换采用词嵌入表示方法。
基于步骤S22，详细的，人工神经网络包括双向长短期记忆网络BI-LSTM。LSTM(Long Short-Term Memory)长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。LSTM是解决循环神经网络RNN结构中存在的“梯度消失”问题而提出的，是一种特殊的循环神经网络。双向RNN由两个普通的RNN所组成，一个正向的RNN，利用过去的信息，一个逆序的RNN，利用未来的信息，这样在时刻t，既能够使用t-1时刻的信息，又能够利用到t+1时刻的信息。一般来说，由于双向LSTM能够同时利用过去时刻和未来时刻的信息，会比单向LSTM最终的预测更加准确。
LSTM可以逐层的堆叠成多层网络，同理，双向LSTM也可以按照此方式进行堆叠增强模型的表示能力，底层的输出作为高层的输入。从某些任务上的观测经验得出，深层次的LSTM的确要比浅层的好。参考图2，图2展示了使用两层BiLSTM生成上下文词表示的过程，输入向量由词级向量与字符级向量组成，模型的输入向量输入到第一层双向LSTM中生成隐状态表示
Figure BDA0002504845150000051
然后
Figure BDA0002504845150000052
连接预训练的ELMo词向量送入到第二层双向LSTM中生成隐状态表示
Figure BDA0002504845150000053
用于Sentence-State LSTM和CWS的输入。
基于步骤S12，具体的，步骤S12包括：采用门控机制连接词状态向量和全局句子状态向量，得到新的词状态向量。
其中，门控机制包括第一门控机制和第二门控机制；全局句子状态向量为前一时刻的全局句子状态向量。
详细的，新的词状态向量的表达式如下：
Figure BDA0002504845150000061
其中，
Figure BDA0002504845150000062
为词状态向量，gt-1为前一时刻的全局句子状态向量，
Figure BDA0002504845150000063
为第一门控机制，
Figure BDA0002504845150000064
为第二门控机制，
Figure BDA0002504845150000065
为新的词状态向量。
详细的，第一门控机制
Figure BDA0002504845150000066
第二门控机制
Figure BDA0002504845150000067
的表达式如下：
Figure BDA0002504845150000068
Figure BDA0002504845150000069
Figure BDA00025048451500000610
其中，Wx和Ux均表示权重向量，x∈k,z；bx表示偏差向量，x∈k,z；σ和softmax均为激活函数。
现有技术中，双向长短期记忆神经网络是文本表示的一个非常强大的工具，但是它也存在明显的不足。例如，当前的隐层状态的计算依赖之前状态，这极大地限制了模型的并行计算效率。与LSTM进行循环操作时一次处理一个词不同的是，S-LSTM每一步都对所有词的隐含状态进行建模，同时执行单词之间局部与全局的信息交换。模型将整个句子表示成一个状态，该状态由每个词的状态以及一个全局句子级状态组成,并通过循环操作进行全局信息交换。现有技术中，使用上下文词状态
Figure BDA00025048451500000611
作为S-LSTM的输入，使得每个词可以更好地捕捉局部和全局信息。如图3所示，S-LSTM在时间步t的状态可以表示为：
Figure BDA00025048451500000612
其中，
Figure BDA00025048451500000613
是上下文状态表示
Figure BDA00025048451500000614
的隐状态向量，gt是整个句子的状态向量。n是一句话中单词的个数，i表示第i个单词。
S-LSTM使用循环的状态转换过程对子状态之间的信息进行建模。St-1到St的状态转化过程由两部分组成，子词状态
Figure BDA00025048451500000615
到
Figure BDA00025048451500000616
的转换和子句子状态gt-1到gt的转换。首先，介绍一下词状态
Figure BDA00025048451500000617
到
Figure BDA00025048451500000618
转化的过程，其计算主要是根据
Figure BDA00025048451500000619
和gt-1的值。公式如下所示：
Figure BDA00025048451500000620
Figure BDA00025048451500000621
Figure BDA0002504845150000071
Figure BDA0002504845150000072
Figure BDA0002504845150000073
Figure BDA0002504845150000074
Figure BDA0002504845150000075
Figure BDA0002504845150000076
Figure BDA0002504845150000077
Figure BDA0002504845150000078
Figure BDA0002504845150000079
其中，
Figure BDA00025048451500000710
表示词的上下文记忆细胞，
Figure BDA00025048451500000711
表示句子的上下文记忆细胞。
Figure BDA00025048451500000712
是门控机制控制着输入
Figure BDA00025048451500000713
的信息流动，同样的，
Figure BDA00025048451500000714
和
Figure BDA00025048451500000715
也是门控机制分别控制着
Figure BDA00025048451500000716
和
Figure BDA00025048451500000717
的信息流动。
Figure BDA00025048451500000718
是输出门，把记忆细胞
Figure BDA00025048451500000719
有选择性的输出隐状态
Figure BDA00025048451500000720
Wx,Ux和Vx(x∈f,l,r,k,z,o,u)表示权重向量。bx(x∈f,l,r,k,z,o,u)表示偏差向量。tanh和σ是激活函数。
以上是
Figure BDA00025048451500000721
到
Figure BDA00025048451500000722
的转换过程，接下来介绍一下句子状态gt-1到gt的转换过程，它是基于
Figure BDA00025048451500000723
和gt-1的值计算的。公式如下所示：
Figure BDA00025048451500000724
Figure BDA00025048451500000725
Figure BDA00025048451500000726
Figure BDA00025048451500000727
Figure BDA00025048451500000728
Figure BDA00025048451500000729
Figure BDA00025048451500000730
其中，ft 1,ft 2,…,ft n和ft g分别控制着
Figure BDA00025048451500000731
和
Figure BDA00025048451500000732
的信息流动。n是句子中词的长度，即词的个数。
Figure BDA00025048451500000733
是输出门，把记忆细胞
Figure BDA00025048451500000734
有选择性地输出为隐状态gt。Wx和Ux(x∈g,f,o)表示权重向量。bx(x∈g,f,o)表示偏差向量。tanh和σ是激活函数。
通过使用上下文词状态
Figure BDA0002504845150000081
作为S-LSTM模型的输入可以进一步增强词的局部和全局信息交换，生成新的句子状态表示St，使用St进行最终的标签预测。
基于上述现有技术内容，尽管双向LSTM学习到了词的上下文信息，但每个词学到的全局信息依然很弱。本发明通过结合整个句子状态信息来获得更丰富的上下文词表示，具体使用一个门控机制去连接句子级信息和词级信息，结合上下文词状态和句子状态生成新的上下文词状态，Contextual word state S-LSTM模型，简称为CWS模型。灵感来自于S-LSTM，摒弃了S-LSTM的记忆细胞。
基于本发明，参考图4，如图4所示，每一个新的上下文状态
Figure BDA0002504845150000082
都由
Figure BDA0002504845150000083
和gt-1组成，如下所示：
Figure BDA0002504845150000084
Figure BDA0002504845150000085
Figure BDA0002504845150000086
Figure BDA0002504845150000087
其中，
Figure BDA0002504845150000088
是上下文词状态表示即词状态向量，gt-1是前一时刻的句子级状态即前一时刻的全局句子状态向量。
Figure BDA0002504845150000089
和
Figure BDA00025048451500000810
控制着信息从流动。Wx和Ux(x∈k,z)表示权重向量。bx(x∈k,z)表示偏差向量。gt的计算是基于gt-1和
Figure BDA00025048451500000811
的值，如下所示:
Figure BDA00025048451500000812
Figure BDA00025048451500000813
Figure BDA00025048451500000814
Figure BDA00025048451500000815
Figure BDA00025048451500000816
其中，ft 1,ft 2,…,ft n和ft g分别控制着
Figure BDA00025048451500000817
和gt-1的信息流动。n是句子中词的长度，即词的个数，i表示第i个词。
基于步骤S13，详细的，将新的词状态向量输入至CRF层，输出得到实体识别结果。条件随机场(conditional random field，简称CRF)是一个以观察序列为条件的全局随机场。CRF在基于特征的监督学习方法中得到了广泛的应用。在许多的深度学习模型中，将CRF作为模型的标签解码器，比如：应用到双向LSTM的顶层和CNN网络的顶层。详细的，为了计算每一个词的标签分数，使用了一个全连接的神经网络去获得一个分数向量，使得每个词为每个标签都对应一个分数：s＝W·h+b，其中h是最终的状态表示即St和
Figure BDA0002504845150000091
W是权重向量，b是偏差向量，“.”代表矩阵相乘，s是每个词的分数向量。
可选的，采用两种方法进行最终的标签预测，第一种是在最外面接入softmax预测标签，第二种是在最外层使用条件随机场(CRF)层预测标签。softmax层为每个隐状态做独立的标签预测，与之前预测出的标签没有交互，公式为：
Figure BDA0002504845150000092
p[i]是每个词对应的每个标签i的可能性，其值是正的总和为1。n是总共的标签数量。s[i]是词对应标签i的分数。
softmax层做的仍然是局部的选择，预测每个词标签的时候没有利用到相邻的标签。在命名实体识任务中，考虑相邻标签之间的交互信息是很有益的，比如，标签I-PER不可能跟在B-LOC的后面。因此，使用CRF层联合地解码标签序列，CRF使得模型从所有可能的标签序列中找到最优路径。
具体的，使用x＝(x1,x2,…,xn)表示输入序列，y＝(y1,y2,…,yn)表示经过模型预测x得到的标签序列，μ(x)表示经过模型预测x的所有可能的标签序列集合。CRF的概率模型在给定x的所有可能的标签序列y上定义条件概率p(y|x)，如下所示：
Figure BDA0002504845150000101
其中，εi(yi-1,yi,x)＝exp(f(xi,y′,y))。f是把词映射到标签的功能函数为：f(xi,y′,y)＝Wyh2,i+by′y，h2,i是最终的上下文词状态表示，Wy是跟y有关的预测权重，by′y是从y′到y的转移权重。Wy和by′y都是模型可训练的参数。经过CRF，损失函数可被定义为：L＝-∑xlogp(y|x)。
对于只考虑两个连续标签的CRF模型，它的主要作用是为输入序列找到目标函数最大化的最优输出序列。因此，对于解码，搜索具有最高条件概率的标签序列y*＝argmaxy∈μ(x)p(y|x)，这是一个动态规划问题，可使用维特比算法解决。
本发明基于Sentence-State LSTM(S-LSTM)人工神经网络提出Contextual wordstate S-LSTM(CWS)人工神经网络模型来处理智能机器人交互中命名实体识别任务，提出一种门控机制来融合句子级信息和词级信息。本发明的主要目的是利用深度学习技术解决智能机器人交互中命名实体识别问题。本发明的主要内容是为解决Sentence-State LSTM(S-LSTM)中无法有效结合句子级别信息和词级别信息问题，提出一种门控机制的连接方法——Contextual word state S-LSTM(CWS)，可以有效连接句子级别信息和词级别信息，从而提升网络的整体性能。
请参考图5，图5为本发明所提供的一种人机交互命名实体识别装置结构示意图，该装置用于实现上述方法，包括：
转换模块101，用于获取文本信息，将文本信息转换为词状态向量；
获取模块102，用于利用词状态向量和全局句子状态向量，获取新的词状态向量；
识别模块103，用于依据新的词状态向量进行实体识别，得到实体识别结果。
可见，该装置中，不再将词状态向量输入至常规的人工神经网络S-LSTM中，而是利用词状态向量和全局句子状态向量获取新的词状态向量，依据新的词状态向量来得到实体识别结果，如此新的词状态向量结合了句子级别信息和词级别信息，得到的实体识别结果的准确性较高，实现提高命令实体识别结果的准确性。
对于本发明提供的人机交互命名实体识别装置的介绍请参照前述的人机交互命名实体识别方法的实施例，本发明实施例在此不再赘述。
请参考图6，图6为本发明所提供的一种人机交互命名实体识别设备结构示意图，该设备包括：
存储器201，用于存储计算机程序；
处理器202，用于执行所述计算机程序时实现如前述实施例中的人机交互命名实体识别方法的步骤。
对于本发明提供的人机交互命名实体识别设备的介绍请参照前述的人机交互命名实体识别方法的实施例，本发明实施例在此不再赘述。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如前述实施例中的人机交互命名实体识别方法的步骤。
对于本发明提供的计算机可读存储介质的介绍请参照前述的人机交互命名实体识别方法的实施例，本发明实施例在此不再赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种人机交互命名实体识别方法、装置、设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种人机交互命名实体识别方法，其特征在于，包括：
获取文本信息，将文本信息转换为词状态向量；
利用词状态向量和全局句子状态向量，获取新的词状态向量；
依据新的词状态向量进行实体识别，得到实体识别结果；
所述利用词状态向量和全局句子状态向量，获取新的词状态向量，包括：
采用门控机制连接词状态向量和全局句子状态向量，得到新的词状态向量；
所述门控机制包括第一门控机制和第二门控机制；所述全局句子状态向量为前一时刻的全局句子状态向量；
所述新的词状态向量的表达式如下：
Figure QLYQS_1
；
其中，
Figure QLYQS_2
为词状态向量，
Figure QLYQS_3
为前一时刻的全局句子状态向量，
Figure QLYQS_4
为第一门控机制，
Figure QLYQS_5
为第二门控机制，
Figure QLYQS_6
为新的词状态向量；第一门控机制
Figure QLYQS_7
、第二门 控机制
Figure QLYQS_8
的表达式如下：
Figure QLYQS_9
其中，
Figure QLYQS_10
和
Figure QLYQS_11
均表示权重向量，
Figure QLYQS_12
；
Figure QLYQS_13
表示偏差向量，
Figure QLYQS_14
；
Figure QLYQS_15
和softmax均为激活函数。
2.如权利要求1所述的方法，其特征在于，所述将文本信息转换为词状态向量，包括：
将文本信息进行向量转换，得到词向量；
将词向量输入至人工神经网络中，输出得到词状态向量。
3.如权利要求2所述的方法，其特征在于，所述人工神经网络包括双向长短期记忆网络BI-LSTM。
4.一种人机交互命名实体识别装置，其特征在于，包括：
转换模块，用于获取文本信息，将文本信息转换为词状态向量；
获取模块，用于利用词状态向量和全局句子状态向量，获取新的词状态向量；
所述利用词状态向量和全局句子状态向量，获取新的词状态向量，包括：
采用门控机制连接词状态向量和全局句子状态向量，得到新的词状态向量；
所述门控机制包括第一门控机制和第二门控机制；所述全局句子状态向量为前一时刻的全局句子状态向量；
所述新的词状态向量的表达式如下：
Figure QLYQS_16
；
其中，
Figure QLYQS_17
为词状态向量，
Figure QLYQS_18
为前一时刻的全局句子状态向量，
Figure QLYQS_19
为第一门控机制，
Figure QLYQS_20
为第二门控机制，
Figure QLYQS_21
为新的词状态向量；第一门控机制
Figure QLYQS_22
、第二门控机制
Figure QLYQS_23
的表达式如下：
Figure QLYQS_24
其中，
Figure QLYQS_25
和
Figure QLYQS_26
均表示权重向量，
Figure QLYQS_27
；
Figure QLYQS_28
表示偏差向量，
Figure QLYQS_29
；
Figure QLYQS_30
和softmax均为激活函数；
识别模块，用于依据新的词状态向量进行实体识别，得到实体识别结果。
5.一种人机交互命名实体识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3任一项所述的人机交互命名实体识别方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的人机交互命名实体识别方法的步骤。
CN202010443600.0A 2020-05-22 2020-05-22 一种人机交互命名实体识别方法、装置、设备及存储介质 Active CN111597814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443600.0A CN111597814B (zh) 2020-05-22 2020-05-22 一种人机交互命名实体识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443600.0A CN111597814B (zh) 2020-05-22 2020-05-22 一种人机交互命名实体识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111597814A CN111597814A (zh) 2020-08-28
CN111597814B true CN111597814B (zh) 2023-05-26

Family

ID=72189181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443600.0A Active CN111597814B (zh) 2020-05-22 2020-05-22 一种人机交互命名实体识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111597814B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977361A (zh) * 2017-12-06 2018-05-01 哈尔滨工业大学深圳研究生院 基于深度语义信息表示的中文临床医疗实体识别方法
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
CN109117472A (zh) * 2018-11-12 2019-01-01 新疆大学 一种基于深度学习的维吾尔文命名实体识别方法
CN109661664A (zh) * 2017-06-22 2019-04-19 腾讯科技（深圳）有限公司 一种信息处理的方法及相关装置
CN109871535A (zh) * 2019-01-16 2019-06-11 四川大学 一种基于深度神经网络的法语命名实体识别方法
CN109933801A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于预测位置注意力的双向lstm命名实体识别方法
WO2019137562A2 (en) * 2019-04-25 2019-07-18 Alibaba Group Holding Limited Identifying entities in electronic medical records
CN110287479A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN110502749A (zh) * 2019-08-02 2019-11-26 中国电子科技集团公司第二十八研究所 一种基于双层注意力机制与双向gru的文本关系抽取方法
WO2020043123A1 (zh) * 2018-08-30 2020-03-05 京东方科技集团股份有限公司 命名实体识别方法、命名实体识别装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200143247A1 (en) * 2015-01-23 2020-05-07 Conversica, Inc. Systems and methods for improved automated conversations with intent and action response generation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109661664A (zh) * 2017-06-22 2019-04-19 腾讯科技（深圳）有限公司 一种信息处理的方法及相关装置
CN107977361A (zh) * 2017-12-06 2018-05-01 哈尔滨工业大学深圳研究生院 基于深度语义信息表示的中文临床医疗实体识别方法
CN108536679A (zh) * 2018-04-13 2018-09-14 腾讯科技(成都)有限公司 命名实体识别方法、装置、设备及计算机可读存储介质
WO2020043123A1 (zh) * 2018-08-30 2020-03-05 京东方科技集团股份有限公司 命名实体识别方法、命名实体识别装置、设备及介质
CN109117472A (zh) * 2018-11-12 2019-01-01 新疆大学 一种基于深度学习的维吾尔文命名实体识别方法
CN109871535A (zh) * 2019-01-16 2019-06-11 四川大学 一种基于深度神经网络的法语命名实体识别方法
CN109933801A (zh) * 2019-03-25 2019-06-25 北京理工大学 基于预测位置注意力的双向lstm命名实体识别方法
WO2019137562A2 (en) * 2019-04-25 2019-07-18 Alibaba Group Holding Limited Identifying entities in electronic medical records
CN110287479A (zh) * 2019-05-20 2019-09-27 平安科技（深圳）有限公司 命名实体识别方法、电子装置及存储介质
CN110502749A (zh) * 2019-08-02 2019-11-26 中国电子科技集团公司第二十八研究所 一种基于双层注意力机制与双向gru的文本关系抽取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Named entity recognition from biomedical texts using a fusion attention-based BiLSTM-CRF;H Wei，M Gao，A Zhou，F Chen，W Qu;《IEEE》;全文 *
基于深度神经网络的中文命名实体识别研究;顾孙炎;《中国优秀硕士学位论文全文数据库》;全文 *
结合全局向量特征的神经网络依存句法分析模型;王衡军等;《通信学报》(第02期);全文 *
结合实体共现信息与句子语义特征的关系抽取方法;马语丹等;《中国科学:信息科学》(第11期);全文 *

Also Published As

Publication number Publication date
CN111597814A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109902293B (zh) 一种基于局部与全局互注意力机制的文本分类方法
CN110334354B (zh) 一种中文关系抽取方法
CN109992773B (zh) 基于多任务学习的词向量训练方法、系统、设备及介质
WO2021169745A1 (zh) 基于语句前后关系预测的用户意图识别方法及装置
CN111783462A (zh) 基于双神经网络融合的中文命名实体识别模型及方法
CN116415654A (zh) 一种数据处理方法及相关设备
CN112800190B (zh) 基于Bert模型的意图识别与槽值填充联合预测方法
CN111597342B (zh) 一种多任务意图分类方法、装置、设备及存储介质
Zhang et al. Rich feature combination for cost-based broad learning system
Cao et al. Stacked residual recurrent neural network with word weight for text classification
CN111597816A (zh) 一种自注意力命名实体识别方法、装置、设备及存储介质
Dong et al. Lambo: Large language model empowered edge intelligence
Luo et al. Improving neural language models by segmenting, attending, and predicting the future
Peng et al. Survey of pre-trained models for natural language processing
Zheng et al. Named entity recognition: A comparative study of advanced pre-trained model
Yuan et al. Deep learning from a statistical perspective
CN113869324A (zh) 一种基于多模态融合的视频常识性知识推理实现方法
Zhu et al. Medical named entity recognition of Chinese electronic medical records based on stacked Bidirectional Long Short-Term Memory
CN111597814B (zh) 一种人机交互命名实体识别方法、装置、设备及存储介质
CN116842955A (zh) 一种基于多特征提取的医学实体关系方法
US20230031512A1 (en) Surrogate hierarchical machine-learning model to provide concept explanations for a machine-learning classifier
CN114239575B (zh) 语句分析模型的构建方法、语句分析方法、装置、介质和计算设备
CN114564568A (zh) 基于知识增强与上下文感知的对话状态追踪方法及系统
Li et al. Continuous learning for large-scale personalized domain classification
CN114187900A (zh) 语音自适应识别方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant