CN113515946B - 信息处理方法及装置 - Google Patents
信息处理方法及装置 Download PDFInfo
- Publication number
- CN113515946B CN113515946B CN202110693581.1A CN202110693581A CN113515946B CN 113515946 B CN113515946 B CN 113515946B CN 202110693581 A CN202110693581 A CN 202110693581A CN 113515946 B CN113515946 B CN 113515946B
- Authority
- CN
- China
- Prior art keywords
- word
- intention
- text information
- determining
- named entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 168
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 14
- 230000007704 transition Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 11
- 238000013145 classification model Methods 0.000 description 8
- 238000004378 air conditioning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000007667 floating Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本申请公开了一种信息处理方法及装置。其中，该方法包括：获取待处理文本信息；将文本信息转换为词向量，并依据词向量确定隐藏状态特征向量；依据隐藏状态特征向量确定文本信息中每个字对应的意图标签，依据每个字对应的意图标签确定文本信息对应的至少一个意图；依据隐藏状态特征向量确定文本信息中每个字对应的命名实体标签，依据每个字对应的命名实体标签确定文本信息中的命名实体；依据至少一个意图及命名实体确定文本信息所表达的内容。本申请解决了相关技术中处理存在多个意图的信息时需要引入额外的断句网络，会浪费存储空间和运行内存且存在处理延时的技术问题。
Description
技术领域
本申请涉及计算机技术领域，具体而言，涉及一种信息处理方法及装置。
背景技术
在车机NLP(Natural Language Processing，自然语言处理)中，一般采用神经网络分类模型和NER(Named Entity Recognition，命名实体识别)模型对输入的文本信息进行相关处理，通常，分类模型和NER模型是两个独立的模型，其中，分类模型用于意图识别，NER模型通过词槽提取实现命名实体识别。
当一句话中存在多个意图时，现有方案是通过引入具有断句功能的神经网络，先将这句话分成多段独立的句子，然后分别对每段句子进行意图识别和命名实体识别，但由于处理时增加了网络尺寸，就需要更大的存储空间和运行内存，同时还增加了处理延时。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种信息处理方法及装置，以至少解决相关技术中处理存在多个意图的信息时需要引入额外的断句网络，会浪费存储空间和运行内存且存在处理延时的技术问题。
根据本申请实施例的一个方面，提供了一种信息处理方法，包括：获取待处理文本信息；将所述文本信息转换为词向量，并依据所述词向量确定隐藏状态特征向量；依据所述隐藏状态特征向量确定所述文本信息中每个字对应的意图标签，依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图；依据所述隐藏状态特征向量确定所述文本信息中每个字对应的命名实体标签，依据所述每个字对应的命名实体标签确定所述文本信息中的命名实体；依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容。
可选地，将所述文本信息输入目标信息处理模型中的特征提取网络；通过所述特征提取网络中的输入层将所述文本信息中的每个字进行独热编码处理，得到预设长度的第一数组，所述第一数组中的元素表示所述文本信息中各个字的索引；将所述第一数组输入所述特征提取网络中的字嵌入层，由所述字嵌入层输出得到所述词向量；将所述词向量输入所述特征提取网络中的双向长短期记忆网络，由所述双向长短期记忆网络输出得到所述隐藏状态特征向量，所述隐藏状态特征向量用于确定所述文本信息中每个字对应的标签信息，其中，所述标签信息包括所述意图标签及所述命名实体标签。
可选地，将所述隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过所述意图识别网络中的第一全连接层输出得到第一向量，所述第一向量用于表示所述文本信息中每个字映射到多种意图标签的概率信息；将所述第一向量输入所述意图识别网络中的第一条件随机场，由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，所述第二数组用于表示所述文本信息中每个字对应的意图标签。
可选地，通过所述第一条件随机场确定所述第一向量对应的多条链路，其中，每条链路由多个节点组成，每个所述节点表示所述文本信息中一个字映射为一种意图标签时的概率值；由所述维特比解码算法依据状态转移矩阵确定所述多条链路中值最大的目标链路，并依据所述目标链路确定所述第二数组。
可选地，将所述隐藏状态特征向量输入目标信息处理模型中的命名实体识别网络；通过所述命名实体识别网络中的第二全连接层输出得到第二向量，所述第二向量用于表示所述文本信息中每个字映射为多种命名实体标签的概率信息；将所述第二向量输入第二条件随机场，由所述第二条件随机场通过维特比解码算法将所述第二向量转换为第三数组，所述第三数组用于表示所述文本信息中每个字对应的命名实体标签。
可选地，所述每个字对应的意图标签中包括所述每个字对应的意图类别及意图词槽标识，其中，所述意图类别用于表示所述每个字所属的意图，所述意图词槽标识用于表示所述每个字在所属的意图中的词槽标识，其中，所述意图词槽标识包括以下其中之一：意图词槽开始标识，意图词槽中间标识，意图词槽结尾标识，意图单字词槽标识，非意图词槽标识。
可选地，所述每个字对应的命名实体标签中包括所述每个字对应的命名实体类别及命名实体词槽标识，其中，所述命名实体类别用于表示所述每个字所属的命名实体，所述命名实体词槽标识用于表示所述每个字在所属的命名实体中的词槽标识，其中，所述命名实体词槽标识包括以下其中之一：命名实体词槽开始标识，命名实体词槽中间标识，命名实体词槽结尾标识，命名实体单字词槽标识，非命名实体词槽标识。
可选地，依据所述每个字对应的意图标签确定所述每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定所述文本信息对应的至少一个意图。
可选地，针对每一所述段落，确定所述段落的意图对应的命名实体；依据所述段落的意图及所述段落的意图对应的命名实体确定所述段落所表达的内容，从而得到所述文本信息所表达的内容。
可选地，确定所述文本信息中与所述段落的意图存在映射关系的命名实体，并确定所述命名实体在所述文本信息中的第一位置区间，其中，将所述命名实体中对应命名实体词槽开始标识的字作为所述第一位置区间的起始位置，将所述命名实体中对应命名实体词槽结尾标识的字作为所述第一位置区间的结尾位置；确定所述段落在所述文本信息中的第二位置区间，其中，将所述段落中对应意图词槽开始标识的字作为所述第二位置区间的起始位置，将所述段落中对应意图词槽结尾标识的字作为所述第二位置区间的结尾位置；若所述第二位置区间包括所述第一位置区间，则确定所述命名实体为所述段落的意图对应的命名实体。
根据本申请实施例的另一方面，还提供了另一种信息处理方法，包括：获取待处理文本信息；确定所述文本信息中每个字对应的意图标签，依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图；确定所述文本信息中每个字对应的命名实体标签，依据所述每个字对应的命名实体标签确定所述文本信息中的命名实体；依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容。
根据本申请实施例的另一方面，还提供了一种信息处理装置，包括：获取模块，用于获取待处理文本信息；转换模块，用于将所述文本信息转换为词向量，并依据所述词向量确定隐藏状态特征向量；第一确定模块，用于依据所述隐藏状态特征向量确定所述文本信息中每个字对应的意图标签，依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图；第二确定模块，用于依据所述隐藏状态特征向量确定所述文本信息中每个字对应的命名实体标签，依据所述每个字对应的命名实体标签确定所述文本信息中的命名实体；第三确定模块，用于依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行上述的信息处理方法。
在本申请实施例中，通过将获取的文本信息转换为词向量，依据词向量确定隐藏状态特征向量，依据隐藏状态特征向量确定文本信息中每个字对应的意图标签及命名实体标签，依据意图标签确定文本信息对应的多个意图，依据命名实体标签确定文本信息中的命名实体，最终确定文本信息所表达的内容。本申请实施例以双向长短期记忆网络输出的隐藏状态特征向量为基础，将特征提取网络、意图识别网络及命名实体识别网络结合在一起得到目标信息处理模型，同时实现了文本断句、意图识别及命名实体识别三种功能，从而解决了相关技术中处理存在多个意图的信息时需要引入额外的断句网络，会浪费存储空间和运行内存且存在处理延时技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据相关技术的一种意图识别模型的结构示意图；
图2是根据相关技术的一种命名实体识别模型的结构示意图；
图3是根据相关技术的一种多意图信息处理的流程示意图；
图4是根据本申请实施例的一种可选的目标信息处理模型的结构示意图；
图5是根据本申请实施例的一种可选的信息处理方法的流程示意图；
图6是根据本申请实施例的另一种可选的信息处理方法的流程示意图；
图7是根据本申请实施例的一种可选的信息处理装置的流程的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了更好地理解本申请实施例，对本申请实施例进行描述的过程中出现的部分名词或术语翻译解释如下：
长短期记忆网络(Long Short Term Memory，简称为LSTM)：是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，LSTM是解决循环神经网络(Recurrent Neural Network，简称为RNN)结构中存在的“梯度消失”问题而提出的，是一种特殊的循环神经网络。双向长短期记忆网络(Bi-directional Long Short TermMemory，简称为BiLSTM)由两个普通的RNN所组成，一个正向的RNN，利用之前的信息，一个逆序的RNN，利用之后的信息，这样在时刻t，既能够使用t-1时刻的信息，又能够利用到t+1时刻的信息，由于BiLSTM能够同时利用过去时刻和未来时刻的信息，其预测结果会比单向LSTM更加准确。
条件随机场(Conditional Random Field，简称为CRF)：是一个以观察序列为条件的全局随机场，是一种判别式概率模型，其在基于特征的监督学习方法中具有广泛的应用。在许多深度学习模型中，通常将CRF作为模型的标签解码器，比如应用到BiLSTM的顶层。CRF通常采用维特比解码(Viterbi decode)算法，可以将矩阵转换为一维数组，具体地，维特比解码会把矩阵对应的每条链路的值相加，并加上转移矩阵，得到整条链路的值，依据多条链路中值最大的一条链路确定对应的数组，其中，转移矩阵是在训练时产生的，运行时放在内存中供维特比解码使用。
实施例1
相关技术中，在进行意图识别时，通常采用如图1所示的神经网络分类模型，其包括输入层、字嵌入层、卷积层、池化层、融合层、全连接层以及输出层，该模型用于从输入的文本信息中分析并输出与之对应的意图，如用户输入“我要听刘德华的忘情水”，通过该模型可以确认用户的意图为“歌手歌名查询”。
图2所示为相关技术中常用的NER模型，其包括输入层、字嵌入层、双向长短期记忆网络、全连接层、条件随机场以及输出层，该模型用于从输入的文本信息中识别其中的词槽，依据句中每个字对应的NER标签确定文本信息中的命名实体。其中，NER标签定义如下表1，当用户输入“我要听刘德华的忘情水”，通过该模型输出刘(B)德(I)华(L)对应人名，忘(B)情(I)水(L)对应歌曲名。
表1
| 标签 | B(Begin) | I(Internal) | L(Last) | U(Unique) | O(Other) |
| 含义 | 词槽开始 | 词槽中间 | 词槽结尾 | 单字词槽 | 非词槽 |
然而，当用户输入例如“天窗开一点空调调到二十五度”这种具有多个意图的句子时，上述的意图识别模型和NER模型无法进行处理。现有方案是先进行断句，即找到这句话两个意图的分界点，把一句话当成两句话来处理，如图3所示，首先通过断句将“天窗开一点”分段为句1，将“空调调到二十五度”分段为句2；对句1“天窗开一点”进行意图识别，确定其意图为“天窗操作”，再进行命名实体识别，输出的slot1即为其对应的命名实体“一点”；对句2“空调调到二十五度”进行意图识别，确定其意图为“空调操作”，再进行命名实体识别，输出的slot2即为其对应的命名实体“二十五”。其中，断句功能神经网络可以基于CNN(Convolution Neural Network，卷积神经网络)或者LSTM的序列标注网络，将一句话中前半句每一个字识别成一个标签，后半句每一个字识别成另一个标签。
可以看到，相关技术先断句再做意图识别和命名实体识别的方案，增加了网络尺寸，其需要更大的存储空间和运行内存，同时增加了处理延时，并不利于用户体验。为解决该问题，本申请实施例提出了一种具备多意图分类和命名实体识别功能的目标信息处理模型，该模型至少包括特征提取网络、意图识别网络以及命名实体识别网络，其中，特征提取网络中包括输入层、字嵌入层及双向长短期记忆网络，意图识别网络包括第一全连接层和第一条件随机场，命名实体识别网络包括第二全连接层和第二条件随机场。具体地，该模型一种可选的结构如图4所示，其中：
输入层：又称为one-hot(独热)转换层，将待处理文本信息通过独热编码转换为一个个字的索引号，每个字对应一个索引号，这样一句话就变成一个索引号的数组，数组元素的值是整型数值，代表这个字的索引。
字嵌入层：字嵌入就是用一个多维的浮点数据表示每个字的意思，输入层输出的字索引数组经过字嵌入层变成一个一个多维字向量，即索引数组被转换为一个矩阵，矩阵中的每个元素都是一个浮点数。
双向长短期记忆网络：LSTM作为一个广泛应用的神经网络模型单元，其在处理一句话时会考虑整句话中的每一个字，而不是只考虑最近的一个字或者几个字，因此，通过一个正向LSTM，一个反向LSTM同时处理一句话并将处理的结果合并起来，就可以分析出这句话中每个字、词的顺序关系。将字嵌入层输出的矩阵输入BiLSTM模型，其输出的隐藏状态特征向量中即包括文本信息中每个字对应的标签信息。由于意图识别分类和命名实体识别本质上都是分类模型，因此BiLSTM既可以作为分类模型的组成部分，也可以作为命名实体识别的组成部分，这也是本申请实施例中信息处理模型的基础。
第一全连接层和第一条件随机场：主要用于实现断句功能以及意图识别功能，其中，第一全连接层通过将上述BiLSTM输出的隐藏状态特征向量投影到意图标签的维度上，其输出的向量可以表示文本信息中每个字映射为多种意图标签的概率信息，其中，多种意图标签是预先确定的，将带有多种意图标签的训练样本输入到待训练的网络模型进行训练后得到可以输出文本信息的意图标签的意图识别网络；之后通过第一条件随机场确定每个字对应的意图标签，依据意图标签确定每个字对应的意图类别，将对应同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定文本信息对应的至少一个意图，即实现了断句及意图识别的目的。
第二全连接层和第二条件随机场：主要用于实现命名实体识别功能，其中，第二全连接层通过将上述BiLSTM输出的隐藏状态特征向量投影到命名实体标签的维度上，其输出的向量可以表示文本信息中每个字映射为多种命名实体标签的概率信息，其中，多种命名实体标签是预先确定的，将带有多种命名实体标签的训练样本输入到待训练的网络模型进行训练后得到可以输出文本信息的命名实体识别网络；之后通过第二条件随机场确定每个字对应的命名实体标签，从而确定文本信息中的多个命名实体。
当用户输入“天窗开一点空调调到二十五度”，通过图4所示的目标信息处理模型可以直接输出两个意图及对应的命名实体，其中，意图1为“天窗操作”，其对应的命名实体为slot1：一点；意图2为“空调操作”，其对应的命名实体为slot2：二十五。
基于上述信息处理模型，本申请实施例还提供了一种信息处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图5是根据本申请实施例的信息处理方法，如图1所示，该方法包括如下步骤：
步骤S502，获取待处理文本信息。
其中，待处理文本信息可以是用户直接输入的文本信息，也可以是将用户的语音命令进行识别处理后得到的文本信息。
步骤S504，将文本信息转换为词向量，并依据词向量确定隐藏状态特征向量。
在获取文本信息后，将其输入目标信息处理模型中的特征提取网络；通过特征提取网络中的输入层将文本信息中的每个字进行独热编码处理，得到预设长度的第一数组，第一数组中的元素表示文本信息中各个字的索引；将第一数组输入特征提取网络中的字嵌入层，由字嵌入层输出得到词向量。
具体地，以用户输入“天窗开一点空调调到二十五度”为例，将这句话经过输入层进行独热编码，转换成一个个字的索引号，每一个字对应一个索引号，这句话就变成一个索引号的数组，即对应的第一数组。其中，数组预设长度step，可以约定最长70个字，将超过的部分截断丢弃，因为人一般讲话不会超过70个字，例如上述输入只有13个字符，不足70个字时后面需要用特定的无意义字符补齐。此时，输入层的输出就是一个最长70个元素的数组，数组元素的值是整型数值，代表这个字的索引。
字嵌入就是用一个多维的浮点数据表示每个字的意思，比如128维，这样一个字就用128个元素的一维数组表示，将上述输入层输出的第一数组经过字嵌入层变成一个一个多维字向量，有实际含义的13个字符具有对应的字向量，后面57个补齐的字符同样具有对应的字向量，这样70个字的索引就变成一个[70,128]([step,embedding])维的矩阵向量，即对应的词向量，其中每一个元素均是一个浮点数。
之后，将词向量输入特征提取网络中的双向长短期记忆网络，由双向长短期记忆网络输出得到隐藏状态特征向量，隐藏状态特征向量用于确定文本信息中每个字对应的标签信息，该标签信息包括意图标签及命名实体标签。
LSTM在处理一句话时，会考虑整句话中的每一个字，而不是只考虑最近的一个字或者几个字，比如用BiLSTM网络做命名实体识别，处理“我要听刘德华的忘情水”这句话时，最后一个词是“忘情水”，前面有“我要听”和“刘德华”，LSTM在识别“忘情水”时，考虑了前面的“我要听”、“刘德华”等，结合了上下文，所以能更准确的判断出“忘情水”可能是一首歌名。如果只用一个方向的LSTM就会丢失句子中字、词顺序的信息，比如“我爱你”和“你爱我”意思区分不出来，所以模型使用了BiLSTM，一个正向LSTM处理“我爱你”，反向LSTM处理“你爱我”，2个LSTM处理的结果合并起来，这样模型就知道了这句话中每个字、词的顺序关系。意图识别分类和命名实体识别本质上都是分类模型，BiLSTM既可以作为命名实体识别的组成部分，也可以作为分类模型的组成部分。
具体地，将上述[70,128]维的词向量输入BiLSTM层，得到70个字符属于各个标签的概率，也就是[70,2*hiddenNum]的隐藏状态特征向量，hiddenNum是预设的输出维度，一般可选100/128/200/256/300等，这里标签可以表示意图标签，也可以表示命名实体标签。
步骤S506，依据隐藏状态特征向量确定文本信息中每个字对应的意图标签，依据每个字对应的意图标签确定文本信息对应的至少一个意图。
其中，每个字对应的意图标签中包括每个字对应的意图类别及意图词槽标识，其中，意图类别用于表示每个字所属的意图，意图词槽标识用于表示每个字在所属的意图中的词槽标识，该词槽标识可以是属于意图词槽的标识，即每个字在词槽中的位置标识，也可以是属于非意图词槽的标识。具体地，该意图词槽标识包括以下其中之一：意图词槽开始标识B，意图词槽中间标识I，意图词槽结尾标识L，意图单字词槽标识U及非意图词槽标识O。例如，天窗操作和空调操作，分别表示一种意图类别，而每一意图类别又对应有B、I、L、U四种词槽标识，如B-天窗操作、I-天窗操作、L-天窗操作、U-天窗操作，因此，假设预先训练的意图类别有n个，则实际对应的意图标签数量为N＝4n+1个，其中，1表示非意图词槽标识O。
在本申请一些可选的实施例中，将隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过意图识别网络中的第一全连接层输出得到第一向量，第一向量用于表示文本信息中每个字映射为多种意图标签的概率信息。
具体地，第一全连接层主要是将BiLSTM层的输出投影到意图标签的维度上，将上述[70,2*hiddenNum]的隐藏状态特征向量输入第一全连接层，假设预先训练的意图标签数量为N，则第一全连接层的输出维度为[70,N]。通常采用如下公式进行计算：
Y＝X*W+B
其中，X是输入矩阵[70,2*hiddenNum]，即BiLSTM层输出的隐藏状态特征向量；W是模型训练出来的权重矩阵，维度为[2*hiddenNum,N]；B是偏置参数，为一维数组[N]；Y为第一全连接层的输出，用于表示每个字属于每一个意图标签的概率，维度为[70,N]。
需要说明的是，上述的W和B是在神经网络训练过程中学习得到的合适的参数。所谓神经网络训练，就是向人工神经网络输入足够多的样本，通过一定算法调整网络的结构，主要是调节参数，使网络的输出与预期值相符，该过程就是神经网络训练。
之后，将第一向量输入意图识别网络中的第一条件随机场，由第一条件随机场通过维特比解码算法将第一向量转换为第二数组，第二数组用于表示文本信息中每个字对应的意图标签。具体地，通过第一条件随机场确定第一向量对应的多条链路，其中，每条链路由多个节点组成，每个节点表示文本信息中一个字映射为一种意图标签时的概率值；由维特比解码算法依据状态转移矩阵确定多条链路中值最大的目标链路，并依据目标链路确定第二数组。
由于第一全连接层输出的第一向量[70,N]中，每个字有N个浮点数值，代表该字映射到N个意图标签的概率，值越大则这个字属于这个意图标签的概率越大。由于一个字可能映射到多个意图标签，将文本信息中每个字映射到任意一个意图标签并随机进行组合，即得到该文本信息对应的一个意图标签序列(或称一条链路)；文本信息对应有多个意图标签序列，即多条链路，但是最终每个字只能有一个意图标签，即一句话只能有一个最优的意图标签序列，第一条件随机场的目的就是选择出最优的意图标签序列，从而确定每个字对应的意图标签类别，输出格式是70个元素的一维数组。
其中，从矩阵到一维数组的转换就是维特比解码实现的功能，维特比解码会把第一向量中每一条链路的值相加，并且加上转移矩阵(或转移权重)，最终得到整条链路的值，选择最大的那一条，就是最优的标签序列，其中，转移矩阵在训练时产生，运行时放在内存中供维特比解码过程中使用。例如，将第一全连接层的输出作为观察序列[70,N]，用x1、x2、…、x70来表示，解码出来的期望标签序列是y1、y2、…、y70，其目的就是让第一全连接层输出的序列x1、x2、…、x70对应的正确解码y1、y2、…、y70的概率Pw(y|x)最大，其中w表示解码路径上的权重参数。
需要说明的是，由于神经网络只能识别数字，并不识别字符串文字标签，所以实际上标签是以索引的方式出现在第一全连接层和第一条件随机场的。
以用户输入“天窗开一点空调调到二十五度”为例，最终第一条件随机场输出的结果如下表2所示。
表2
| 字 | 意图标签 |
| 天 | B_天窗操作 |
| 窗 | I_天窗操作 |
| 开 | I_天窗操作 |
| 一 | I_天窗操作 |
| 点 | L_天窗操作 |
| 空 | B_空调操作 |
| 调 | I_空调操作 |
| 调 | I_空调操作 |
| 到 | I_空调操作 |
| 二 | I_空调操作 |
| 十 | I_空调操作 |
| 五 | I_空调操作 |
| 度 | L_空调操作 |
在本申请一些可选的实施例中，依据每个字对应的意图标签确定每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定文本信息对应的至少一个意图。
具体地，每个字的意图标签中包括意图类别，将同一意图类别的字划分为一个段落即相当于断句。以表1内容为例，将意图类别为“天窗操作”的字划分为第一段落，将意图类别为“空调操作”的字划分为第二段落，则整句话被分为两段：“天窗开一点”对应天窗操作意图，“空调调到二十五度”对应空调操作意图。
步骤S508，依据隐藏状态特征向量确定文本信息中每个字对应的命名实体标签，依据每个字对应的命名实体标签确定文本信息中的命名实体。
其中，每个字对应的命名实体标签中包括每个字对应的命名实体类别及命名实体词槽标识，其中，命名实体类别用于表示每个字所属的命名实体，命名实体词槽标识用于表示每个字在所属的命名实体中的词槽标识，该词槽标识可以是属于命名实体词槽的标识，即每个字在词槽中的位置标识，也可以是属于非命名实体词槽的标识。具体地，该命名实体词槽标识包括以下其中之一：命名实体词槽开始标识B，命名实体词槽中间标识I，命名实体词槽结尾标识L，命名实体单字词槽标识U及非实体词槽标识O。例如，天窗调整幅度和空调调节温度，分别表示一种命名实体类别，而每一命名实体类别又对应有B、I、L、U四种词槽标识，如B-天窗调整幅度、I-天窗调整幅度、L-天窗调整幅度、U-天窗调整幅度，因此，假设预先训练的命名实体类别有n个，则实际对应的命名实体标签数量为tagNum＝4n+1个，其中，1表示非实体词槽标识O。
在本申请一些可选的实施例中，将隐藏状态特征向量输入目标信息处理模型中的命名实体识别网络；通过命名实体识别网络中的第二全连接层输出得到第二向量，第二向量用于表示文本信息中每个字映射为多种命名实体标签的概率信息，其中，多种命名实体标签是预先训练确定的。
第二全连接层主要是将BiLSTM层的输出投影到命名实体标签的维度上，将上述[70,2*hiddenNum]的隐藏状态特征向量输入第二全连接层，假设预先训练的命名实体标签的数量为tagNum，则第二全连接层的输出维度为[70,tagNum]。通常采用如下公式进行计算：
Y＝X*W+B
其中，X是输入矩阵[70,2*hiddenNum]，即BiLSTM层输出的隐藏状态特征向量；W是模型训练出来的权重矩阵，维度为[2*hiddenNum,tagNum]；B是偏置参数，为一维数组[tagNum]；Y为第二全连接层的输出，用于表示每个字属于每一个的概率，用浮点数表示，维度为[70,tagNum]。
之后，将第二向量输入第二条件随机场，由第二条件随机场通过维特比解码算法将第二向量转换为第三数组，第三数组用于表示文本信息中每个字对应的命名实体标签。具体地，通过第二条件随机场确定第二向量对应的多条链路，其中，每条链路由多个节点组成，每个节点表示文本信息中一个字映射为一种命名实体标签时的概率值；由维特比解码算法依据状态转移矩阵确定多条链路中值最大的目标链路，并依据目标链路确定第三数组。
由于第二全连接层输出的第二向量[70,tagNum]中，每个字有tagNum个浮点数值，代表每个字映射到tagNum个命名实体标签的概率，值越大则这个字属于这个命名实体标签的概率越大。由于一个字可能映射到多个命名实体标签，将文本信息中每个字映射到任意一个命名实体标签并随机进行组合，即得到该文本信息对应的一个命名实体标签序列(或称一条链路)；文本信息对应有多个命名实体标签序列，即多条链路，但是最终每个字只能有一个命名实体标签，即一句话只能有一个最优的命名实体标签序列，第二条件随机场的目的就是选择出最优的命名实体标签序列，从而确定每个字对应的命名实体标签，输出格式是70个元素的一维数组。
其中，从矩阵到一维数组的转换就是维特比解码实现的功能，维特比解码会把第二向量中每一条链路的值相加，并且加上转移矩阵(转移权重)，最终得到整条链路的值，选择最大的那一条，就是最优的标签序列，其中，转移矩阵在训练时产生，运行时放在内存中供维特比解码过程中使用。例如，将第二全连接层的输出作为观察序列[70,tagNum]，用m1、m2、…、m70来表示，解码出来的期望标签序列是n1、n2、…、n70，其目的就是让第二全连接层输出的序列m1、m2、…、m70对应的正确解码n1、n2、…、n70的概率Pw(n|m)最大，其中w表示解码路径上的权重参数。
仍以用户输入“天窗开一点空调调到二十五度”为例，最终第二条件随机场输出的结果如下表3所示：
表3
可以看出，整句话被识别出两个命名实体，其中，“一点”对应天窗调整幅度，“二十五”对应空调调节温度。
步骤S510，依据至少一个意图及命名实体确定文本信息所表达的内容。
可以理解地，要了解一段文字所表达的内容，需要了解其意图并确定与该意图对应的命名实体，因此在本申请一些可选的实施例中，对于文本信息中的每一段落，首先确定该段落的意图对应的命名实体，为保证意图与命名实体的关联性，需要进行如下验证过程：确定文本信息中与段落的意图存在映射关系的命名实体，并确定命名实体在文本信息中的第一位置区间，其中，将命名实体中对应命名实体词槽开始标识的字作为第一位置区间的起始位置，将命名实体中对应命名实体词槽结尾标识的字作为第一位置区间的结尾位置；确定段落在文本信息中的第二位置区间，其中，将段落中对应意图词槽开始标识的字作为第二位置区间的起始位置，将段落中对应意图词槽结尾标识的字作为第二位置区间的结尾位置；若第二位置区间包括第一位置区间，则确定第一位置区间的命名实体为段落的意图对应的命名实体。需要说明的是，若某一段落或某一命名实体中仅有一个字，即该字对应单字词槽标识，则直接将该字在文本信息中的位置作为对应的位置区间
以表2和表3输出的内容为例，首先预先建立意图类别及命名实体类别之间的映射关系，如下表4：
表4
| 意图类别 | 命名实体类别 |
| 天窗操作 | 天窗调整幅度 |
| 空调操作 | 空调调节温度 |
确定与第一段落的意图“天窗开一点”存在映射关系的命名实体为“一点”，同时，确定命名实体“一点”在文本信息中的第一位置区间为第4～5个字，确定第一段落“天窗开一点”在文本信息中的第二位置区间为第1～5个字，由于第二位置区间包括第一位置区间，则确定与第一段落的意图“天窗开一点”对应的命名实体为“一点”。同理，确定与第二段落的意图“空调调到二十五度”存在映射关系的命名实体为“二十五”，同时，确定命名实体“二十五”在文本信息中的第一位置区间为第10～12个字，确定第二段落“空调调到二十五度”在文本信息中的第二位置区间为第6～13个字，由于第二位置区间包括第一位置区间，则确定与第二段落的意图“空调调到二十五度”对应的命名实体为“二十五”。
对于文本信息中的每一段落，依据该段落的意图及该段落的意图对应的命名实体确定该段落所表达的内容，从而得到整段文本信息所表达的内容。如上，最终确定文本信息所要表达的内容为：将天窗打开一点，并将空调的温度调节至二十五度。
在本申请实施例中，通过将获取的文本信息转换为词向量，依据词向量确定隐藏状态特征向量，依据隐藏状态特征向量确定文本信息中每个字对应的意图标签及命名实体标签，依据意图标签确定文本信息对应的多个意图，依据命名实体标签确定文本信息中的命名实体，最终确定文本信息所表达的内容。本申请实施例以双向长短期记忆网络输出的隐藏状态特征向量为基础，将特征提取网络、意图识别网络及命名实体识别网络结合在一起得到目标信息处理模型，同时实现了文本断句、意图识别及命名实体识别三种功能，从而解决了相关技术中处理存在多个意图的信息时需要引入额外的断句网络，会浪费存储空间和运行内存且存在处理延时技术问题。
实施例2
根据本申请实施例，还提供了另一种信息处理方法，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图6是根据本申请实施例的信息处理方法，如图6所示，该方法包括如下步骤：
步骤S602，获取待处理文本信息。
其中，待处理文本信息可以是用户直接输入的文本信息，也可以是将用户的语音命令进行识别处理后得到的文本信息。
步骤S604，确定文本信息中每个字对应的意图标签，依据每个字对应的意图标签确定文本信息对应的至少一个意图。
步骤S606，确定文本信息中每个字对应的命名实体标签，依据每个字对应的命名实体标签确定文本信息中的命名实体。
在本申请一些可选的实施例中，获取文本信息后，将其输入目标信息处理模型中的特征提取网络；通过特征提取网络中的输入层将文本信息中的每个字进行独热编码处理，得到预设长度的第一数组，第一数组中的元素表示文本信息中各个字的索引；将第一数组输入特征提取网络中的字嵌入层，由字嵌入层输出得到词向量；之后，将词向量输入特征提取网络中的双向长短期记忆网络，由双向长短期记忆网络输出得到隐藏状态特征向量，隐藏状态特征向量用于确定文本信息中每个字对应的标签信息，该标签信息包括意图标签及命名实体标签。
得到隐藏状态特征向量后，将隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过意图识别网络中的第一全连接层输出得到第一向量，第一向量用于表示文本信息中每个字映射为多种意图标签的概率信息；之后，将第一向量输入意图识别网络中的第一条件随机场，由第一条件随机场通过维特比解码算法将第一向量转换为第二数组，第二数组用于表示文本信息中每个字对应的意图标签。依据每个字对应的意图标签确定每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定文本信息对应的至少一个意图。
同时，将隐藏状态特征向量输入目标信息处理模型中的命名实体识别网络；通过命名实体识别网络中的第二全连接层输出得到第二向量，第二向量用于表示文本信息中每个字映射为多种命名实体标签的概率信息；之后，将第二向量输入第二条件随机场，由第二条件随机场通过维特比解码算法将第二向量转换为第三数组，第三数组用于表示文本信息中每个字对应的命名实体标签；依据每个字对应的命名实体标签确定文本信息中的命名实体。
步骤S608，依据至少一个意图及命名实体确定文本信息所表达的内容。
在本申请一些可选的实施例中，对于文本信息中的每一段落，首先确定该段落的意图对应的命名实体，依据该段落的意图及该段落的意图对应的命名实体确定该段落所表达的内容，从而得到整段文本信息所表达的内容。
在本申请实施例中，通过确定文本信息中每个字对应的意图标签及命名实体标签，依据意图标签确定文本信息对应的多个意图，依据命名实体标签确定文本信息中的命名实体，最终确定文本信息所表达的内容。其中，通过将特征提取网络、意图识别网络及命名实体识别网络结合在一起得到目标信息处理模型，同时实现了文本断句、意图识别及命名实体识别三种功能，从而解决了相关技术中处理存在多个意图的信息时需要引入额外的断句网络，会浪费存储空间和运行内存且存在处理延时技术问题。
实施例3
根据本申请实施例，还提供了一种用于实现上述信息处理方法的信息处理装置，如图7所示，该装置至少包括获取模块70，转换模块72，第一确定模块74，第二确定模块76及第三确定模块78，其中：
获取模块70，用于获取待处理文本信息。
在本申请一些可选的实施例中，待处理文本信息可以是用户直接输入的文本信息，也可以是将用户的语音命令进行识别处理后得到的文本信息。
转换模块72，用于将文本信息转换为词向量，并依据词向量确定隐藏状态特征向量。
在本申请一些可选的实施例中，获取文本信息后，将其输入目标信息处理模型中的特征提取网络；通过特征提取网络中的输入层将文本信息中的每个字进行独热编码处理，得到预设长度的第一数组，第一数组中的元素表示文本信息中各个字的索引；将第一数组输入特征提取网络中的字嵌入层，由字嵌入层输出得到词向量；之后，将词向量输入特征提取网络中的双向长短期记忆网络，由双向长短期记忆网络输出得到隐藏状态特征向量，隐藏状态特征向量用于确定文本信息中每个字对应的标签信息，该标签信息包括意图标签及命名实体标签。
第一确定模块74，用于依据隐藏状态特征向量确定文本信息中每个字对应的意图标签，依据每个字对应的意图标签确定文本信息对应的至少一个意图。
在本申请一些可选的实施例中，将隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过意图识别网络中的第一全连接层输出得到第一向量，第一向量用于表示文本信息中每个字映射为多种意图标签的概率信息；之后，将第一向量输入意图识别网络中的第一条件随机场，由第一条件随机场通过维特比解码算法将第一向量转换为第二数组，第二数组用于表示文本信息中每个字对应的意图标签。依据每个字对应的意图标签确定每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定文本信息对应的至少一个意图。
第二确定模块76，用于依据隐藏状态特征向量确定文本信息中每个字对应的命名实体标签，依据每个字对应的命名实体标签确定文本信息中的命名实体。
在本申请一些可选的实施例中，将隐藏状态特征向量输入目标信息处理模型中的命名实体识别网络；通过命名实体识别网络中的第二全连接层输出得到第二向量，第二向量用于表示文本信息中每个字映射为多种命名实体标签的概率信息；之后，将第二向量输入第二条件随机场，由第二条件随机场通过维特比解码算法将第二向量转换为第三数组，第三数组用于表示文本信息中每个字对应的命名实体标签；依据每个字对应的命名实体标签确定文本信息中的命名实体。
第三确定模块78，用于依据至少一个意图及命名实体确定文本信息所表达的内容。
在本申请一些可选的实施例中，对于文本信息中的每一段落，首先确定该段落的意图对应的命名实体，依据该段落的意图及该段落的意图对应的命名实体确定该段落所表达的内容，从而得到整段文本信息所表达的内容。
需要说明的是，本申请实施例中的信息处理装置中的各模块与实施例1中的信息处理方法实施步骤一一对应，由于实施例1中已经进行了详尽的描述，本实施例中部分未体现的细节可以参考实施例1，在此不再过多赘述。
实施例4
根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行上述的信息处理方法。
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取待处理文本信息；将文本信息转换为词向量，并依据词向量确定隐藏状态特征向量；依据隐藏状态特征向量确定文本信息中每个字对应的意图标签，依据每个字对应的意图标签确定文本信息对应的至少一个意图；依据隐藏状态特征向量确定文本信息中每个字对应的命名实体标签，依据每个字对应的命名实体标签确定文本信息中的命名实体；依据至少一个意图及命名实体确定文本信息所表达的内容。
可选地，在程序运行时控制非易失性存储介质所在设备执行实现以下步骤：获取待处理文本信息；确定文本信息中每个字对应的意图标签，依据每个字对应的意图标签确定文本信息对应的至少一个意图；确定文本信息中每个字对应的命名实体标签，依据每个字对应的命名实体标签确定文本信息中的命名实体；依据至少一个意图及命名实体确定文本信息所表达的内容。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种信息处理方法，其特征在于，包括：
获取待处理文本信息；
将所述文本信息转换为词向量，并依据所述词向量确定隐藏状态特征向量；
依据所述隐藏状态特征向量确定所述文本信息中每个字对应的意图标签，依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图；
依据所述隐藏状态特征向量确定所述文本信息中每个字对应的命名实体标签，依据所述每个字对应的命名实体标签确定所述文本信息中的命名实体；
依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容；
其中，依据所述隐藏状态特征向量确定所述文本信息中每个字对应的意图标签，包括：将所述隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过所述意图识别网络中的第一全连接层输出得到第一向量，所述第一向量用于表示所述文本信息中每个字映射到多种意图标签的概率信息；将所述第一向量输入所述意图识别网络中的第一条件随机场，由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，所述第二数组用于表示所述文本信息中每个字对应的意图标签；
由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，包括：通过所述第一条件随机场确定所述第一向量对应的多条链路，其中，每条链路由多个节点组成，每个所述节点表示所述文本信息中一个字映射为一种意图标签时的概率值；由所述维特比解码算法依据状态转移矩阵确定所述多条链路中值最大的目标链路，并依据所述目标链路确定所述第二数组；
依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图，包括：依据所述每个字对应的意图标签确定所述每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定所述文本信息对应的至少一个意图。
2.根据权利要求1所述的方法，其特征在于，将所述文本信息转换为词向量，并依据所述词向量确定隐藏状态特征向量，包括：
将所述文本信息输入目标信息处理模型中的特征提取网络；
通过所述特征提取网络中的输入层将所述文本信息中的每个字进行独热编码处理，得到预设长度的第一数组，所述第一数组中的元素表示所述文本信息中各个字的索引；
将所述第一数组输入所述特征提取网络中的字嵌入层，由所述字嵌入层输出得到所述词向量；
将所述词向量输入所述特征提取网络中的双向长短期记忆网络，由所述双向长短期记忆网络输出得到所述隐藏状态特征向量，所述隐藏状态特征向量用于确定所述文本信息中每个字对应的标签信息，其中，所述标签信息包括所述意图标签及所述命名实体标签。
3.根据权利要求1所述的方法，其特征在于，依据所述隐藏状态特征向量确定所述文本信息中每个字对应的命名实体标签，包括：
将所述隐藏状态特征向量输入目标信息处理模型中的命名实体识别网络；
通过所述命名实体识别网络中的第二全连接层输出得到第二向量，所述第二向量用于表示所述文本信息中每个字映射为多种命名实体标签的概率信息；
将所述第二向量输入第二条件随机场，由所述第二条件随机场通过维特比解码算法将所述第二向量转换为第三数组，所述第三数组用于表示所述文本信息中每个字对应的命名实体标签。
4.根据权利要求1所述的方法，其特征在于，所述每个字对应的意图标签中包括所述每个字对应的意图类别及意图词槽标识，其中，所述意图类别用于表示所述每个字所属的意图，所述意图词槽标识用于表示所述每个字在所属的意图中的词槽标识，其中，所述意图词槽标识包括以下其中之一：意图词槽开始标识，意图词槽中间标识，意图词槽结尾标识，意图单字词槽标识，非意图词槽标识。
5.根据权利要求4所述的方法，其特征在于，所述每个字对应的命名实体标签中包括所述每个字对应的命名实体类别及命名实体词槽标识，其中，所述命名实体类别用于表示所述每个字所属的命名实体，所述命名实体词槽标识用于表示所述每个字在所属的命名实体中的词槽标识，其中，所述命名实体词槽标识包括以下其中之一：命名实体词槽开始标识，命名实体词槽中间标识，命名实体词槽结尾标识，命名实体单字词槽标识，非命名实体词槽标识。
6.根据权利要求1所述的方法，其特征在于，依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容，包括：
针对每一所述段落，确定所述段落的意图对应的命名实体；
依据所述段落的意图及所述段落的意图对应的命名实体确定所述段落所表达的内容，从而得到所述文本信息所表达的内容。
7.根据权利要求6所述的方法，其特征在于，确定所述段落的意图对应的命名实体，包括：
确定所述文本信息中与所述段落的意图存在映射关系的命名实体，并确定所述命名实体在所述文本信息中的第一位置区间，其中，将所述命名实体中对应命名实体词槽开始标识的字作为所述第一位置区间的起始位置，将所述命名实体中对应命名实体词槽结尾标识的字作为所述第一位置区间的结尾位置；
确定所述段落在所述文本信息中的第二位置区间，其中，将所述段落中对应意图词槽开始标识的字作为所述第二位置区间的起始位置，将所述段落中对应意图词槽结尾标识的字作为所述第二位置区间的结尾位置；
若所述第二位置区间包括所述第一位置区间，则确定所述命名实体为所述段落的意图对应的命名实体。
8.一种信息处理方法，其特征在于，包括：
获取待处理文本信息；
确定所述文本信息中每个字对应的意图标签，依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图；
确定所述文本信息中每个字对应的命名实体标签，依据所述每个字对应的命名实体标签确定所述文本信息中的命名实体；
依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容；
其中，确定所述文本信息中每个字对应的意图标签，包括：将隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过所述意图识别网络中的第一全连接层输出得到第一向量，所述第一向量用于表示所述文本信息中每个字映射到多种意图标签的概率信息；将所述第一向量输入所述意图识别网络中的第一条件随机场，由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，所述第二数组用于表示所述文本信息中每个字对应的意图标签；
由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，包括：通过所述第一条件随机场确定所述第一向量对应的多条链路，其中，每条链路由多个节点组成，每个所述节点表示所述文本信息中一个字映射为一种意图标签时的概率值；由所述维特比解码算法依据状态转移矩阵确定所述多条链路中值最大的目标链路，并依据所述目标链路确定所述第二数组；
依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图，包括：依据所述每个字对应的意图标签确定所述每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定所述文本信息对应的至少一个意图。
9.一种信息处理装置，其特征在于，包括：
获取模块，用于获取待处理文本信息；
转换模块，用于将所述文本信息转换为词向量，并依据所述词向量确定隐藏状态特征向量；
第一确定模块，用于依据所述隐藏状态特征向量确定所述文本信息中每个字对应的意图标签，包括：将所述隐藏状态特征向量输入目标信息处理模型中的意图识别网络；通过所述意图识别网络中的第一全连接层输出得到第一向量，所述第一向量用于表示所述文本信息中每个字映射到多种意图标签的概率信息；将所述第一向量输入所述意图识别网络中的第一条件随机场，由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，所述第二数组用于表示所述文本信息中每个字对应的意图标签；其中，由所述第一条件随机场通过维特比解码算法将所述第一向量转换为第二数组，包括：通过所述第一条件随机场确定所述第一向量对应的多条链路，其中，每条链路由多个节点组成，每个所述节点表示所述文本信息中一个字映射为一种意图标签时的概率值；由所述维特比解码算法依据状态转移矩阵确定所述多条链路中值最大的目标链路，并依据所述目标链路确定所述第二数组；依据所述每个字对应的意图标签确定所述文本信息对应的至少一个意图，包括：依据所述每个字对应的意图标签确定所述每个字对应的意图类别；将对应于同一意图类别的字划分为一个段落，一个段落对应一种意图，从而确定所述文本信息对应的至少一个意图；
第二确定模块，用于依据所述隐藏状态特征向量确定所述文本信息中每个字对应的命名实体标签，依据所述每个字对应的命名实体标签确定所述文本信息中的命名实体；
第三确定模块，用于依据所述至少一个意图及所述命名实体确定所述文本信息所表达的内容。
10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至8中任意一项所述的信息处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110693581.1A CN113515946B (zh) | 2021-06-22 | 2021-06-22 | 信息处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110693581.1A CN113515946B (zh) | 2021-06-22 | 2021-06-22 | 信息处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113515946A CN113515946A (zh) | 2021-10-19 |
| CN113515946B true CN113515946B (zh) | 2024-01-05 |
Family
ID=78066184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110693581.1A Active CN113515946B (zh) | 2021-06-22 | 2021-06-22 | 信息处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113515946B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
| CN107644014A (zh) * | 2017-09-25 | 2018-01-30 | 南京安链数据科技有限公司 | 一种基于双向lstm和crf的命名实体识别方法 |
| WO2019047364A1 (zh) * | 2017-09-08 | 2019-03-14 | 深圳市前海安测信息技术有限公司 | 交互式远程中医辅助诊疗信息系统及其信息交互方法 |
| CN110516247A (zh) * | 2019-08-27 | 2019-11-29 | 湖北亿咖通科技有限公司 | 基于神经网络的命名实体识别方法及计算机存储介质 |
| CN111597816A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种自注意力命名实体识别方法、装置、设备及存储介质 |
| CN111597342A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种多任务意图分类方法、装置、设备及存储介质 |
| CN111967264A (zh) * | 2020-08-26 | 2020-11-20 | 湖北亿咖通科技有限公司 | 一种命名实体识别方法 |
-
2021
- 2021-06-22 CN CN202110693581.1A patent/CN113515946B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
| WO2019047364A1 (zh) * | 2017-09-08 | 2019-03-14 | 深圳市前海安测信息技术有限公司 | 交互式远程中医辅助诊疗信息系统及其信息交互方法 |
| CN107644014A (zh) * | 2017-09-25 | 2018-01-30 | 南京安链数据科技有限公司 | 一种基于双向lstm和crf的命名实体识别方法 |
| CN110516247A (zh) * | 2019-08-27 | 2019-11-29 | 湖北亿咖通科技有限公司 | 基于神经网络的命名实体识别方法及计算机存储介质 |
| CN111597816A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种自注意力命名实体识别方法、装置、设备及存储介质 |
| CN111597342A (zh) * | 2020-05-22 | 2020-08-28 | 北京慧闻科技(集团)有限公司 | 一种多任务意图分类方法、装置、设备及存储介质 |
| CN111967264A (zh) * | 2020-08-26 | 2020-11-20 | 湖北亿咖通科技有限公司 | 一种命名实体识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113515946A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111694924B (zh) | 一种事件抽取方法和系统 | |
| US11494647B2 (en) | Slot filling with contextual information | |
| US20070260564A1 (en) | Text Segmentation and Topic Annotation for Document Structuring | |
| CN109858041B (zh) | 一种半监督学习结合自定义词典的命名实体识别方法 | |
| CN108733778B (zh) | 对象的行业类型识别方法和装置 | |
| CN110263325B (zh) | 中文分词系统 | |
| CN110597961B (zh) | 一种文本类目标注方法、装置、电子设备及存储介质 | |
| CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
| CN110297888B (zh) | 一种基于前缀树与循环神经网络的领域分类方法 | |
| CN112163429B (zh) | 结合循环网络及bert的句子相关度获取方法、系统及介质 | |
| CN110222329B (zh) | 一种基于深度学习的中文分词方法和装置 | |
| CN112819023A (zh) | 样本集的获取方法、装置、计算机设备和存储介质 | |
| CN112749274B (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
| CN110647919A (zh) | 一种基于k-均值聚类和胶囊网络的文本聚类方法及系统 | |
| CN111222318A (zh) | 基于双通道双向lstm-crf网络的触发词识别方法 | |
| CN109933682B (zh) | 一种基于语义与内容信息结合的图像哈希检索方法及系统 | |
| CN115687610A (zh) | 文本意图分类模型训练方法、识别方法、装置、电子设备及存储介质 | |
| CN110688834A (zh) | 基于深度学习模型进行智能文稿风格改写的方法和设备 | |
| CN114328939B (zh) | 基于大数据的自然语言处理模型构建方法 | |
| CN111145914A (zh) | 一种确定肺癌临床病种库文本实体的方法及装置 | |
| CN109388808B (zh) | 一种用于建立单词翻译模型的训练数据采样方法 | |
| CN111930972B (zh) | 利用标签层次信息的多媒体数据跨模态检索方法及系统 | |
| CN113515946B (zh) | 信息处理方法及装置 | |
| CN110263345A (zh) | 关键词提取方法、装置及存储介质 | |
| CN115994204A (zh) | 适用于少样本场景的国防科技文本结构化语义分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220331 Address after: 430051 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Hubei Province Applicant after: Yikatong (Hubei) Technology Co.,Ltd. Address before: 310000 19th floor, building B, spotlight center, No. 459, Qianmo Road, Xixing street, Binjiang District, Hangzhou, Zhejiang Province Applicant before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |