CN111125324B - 文本数据处理方法、装置、电子设备及计算机可读介质 - Google Patents

文本数据处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN111125324B
CN111125324B CN201911157663.3A CN201911157663A CN111125324B CN 111125324 B CN111125324 B CN 111125324B CN 201911157663 A CN201911157663 A CN 201911157663A CN 111125324 B CN111125324 B CN 111125324B
Authority
CN
China
Prior art keywords
information
loss function
emotion
decoding
text data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911157663.3A
Other languages
English (en)
Other versions
CN111125324A (zh
Inventor
杨正良
刘设伟
杜维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Taikang Online Property Insurance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd, Taikang Online Property Insurance Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN201911157663.3A priority Critical patent/CN111125324B/zh
Publication of CN111125324A publication Critical patent/CN111125324A/zh
Application granted granted Critical
Publication of CN111125324B publication Critical patent/CN111125324B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种文本数据处理方法、装置、电子设备及计算机可读介质。该方法包括：获取待处理文本数据，并对所述待处理文本数据进行处理，获得至少一个词向量序列；根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，所述至少一个词典库包括情感词典库；通过神经网络模型对所述目标权重矩阵进行处理，获得解码信息；对所述解码信息进行集束搜索，获得所述待处理文本数据的回复文本数据。本公开涉及的文本数据处理方法、装置、电子设备及计算机可读介质，根据包含建立包含情感词典库对应权重的目标权重矩阵，能够根据目标权重矩阵获得包含正确情感的回复文本数据。

Description

文本数据处理方法、装置、电子设备及计算机可读介质
技术领域
本公开涉及自然语言技术领域，具体而言，涉及一种文本数据处理方法、装置、电子设备及计算机可读介质。
背景技术
在当前的智能客服机器人系统中，通常关注生成对话的语法语义是否合理。为满足语法语义的合理性，通常包括如下三种方法：考虑上下文，结合主题以及生成长句子等等。然而在聊天中，当一个人表示难过的时候，另一方的回答应该包括适当的安慰性语句；当一方感到开心时，另一方也会为其感到快乐。例如，当A说：“我的宠物狗去世了”，B很自然应该回复：“我为你感到难过”等类似的语句。这种带有情感交互的例子在日常对话中数不胜数。而上述的三种方式均没有考虑情感因素，然而，只有真正的模拟人类的交谈才是好的对话机器人。
因此，需要一种新的文本数据处理方法、装置、电子设备及计算机可读介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的相关技术的信息。
发明内容
有鉴于此，本公开实施例提供一种文本数据处理方法、装置、电子设备及计算机可读介质，能够克服相关技术中的回复文本缺乏情感因素的缺陷。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一方面，提出一种文本数据处理方法，该方法包括：获取待处理文本数据，并对所述待处理文本数据进行处理，获得至少一个词向量序列；根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，所述至少一个词典库包括情感词典库；通过神经网络模型对所述目标权重矩阵进行处理，获得解码信息；对所述解码信息进行集束搜索，获得所述待处理文本数据的回复文本数据。
在本公开的一种示例性实施例中，所述神经网络模型包括依次连接的编码模块、卷积层和解码模块；其中，所述方法还包括：通过所述编码模块和所述卷积层对所述目标权重矩阵进行处理，获得编码信息；根据所述解码模块对所述编码信息进行处理，获得解码信息；根据所述编码信息、所述解码信息和所述情感词典库确定目标损失函数；根据所述目标损失函数调节所述神经网络模型的参数，获得训练完成的所述神经网络模型。
在本公开的一种示例性实施例中，根据所述编码信息、所述解码信息和所述情感词典库确定目标损失函数，包括：根据所述编码信息与所述解码信息确定交叉熵损失函数；根据所述编码信息在所述情感词典库中进行匹配，获得编码情感信息；根据所述解码信息在所述情感词典库中进行匹配，获得解码情感信息；根据所述交叉熵损失函数、所述编码情感信息、所述解码情感信息确定第一损失函数、第二损失函数和第三损失函数；对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，获得所述目标损失函数。
在本公开的一种示例性实施例中，所述编码模块包括第一循环门单元和第二循环门单元，所述解码模块包括第三循环门单元和第四循环门单元。
在本公开的一种示例性实施例中，通过所述编码模块和所述卷积层对所述目标权重矩阵进行处理，获得编码信息，包括：通过所述第一循环门单元对所述目标权重矩阵进行处理，获得第一初始编码信息；通过所述第二循环门单元对所述目标权重矩阵的左右翻转矩阵进行处理，获得第二初始编码信息；通过所述卷积层对所述第一初始编码信息和所述第二初始编码信息的拼接结果进行处理，获得编码信息。
在本公开的一种示例性实施例中，所述方法还包括：对所述待处理文本数据进行处理，获得至少一个词向量序列包括：根据所述待处理文本数据进行分词处理，获得分词结果；通过词向量模型对所述分词结果进行处理，获得所述至少一个词向量序列。
在本公开的一种示例性实施例中，根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵包括：根据所述至少一个词向量序列中每个词的词向量在每个词典库中进行匹配，获得与所述至少一个词典库对应的至少一个第一权重矩阵；对所述至少一个第一权重矩阵进行求和，获得所述目标权重矩阵。
根据本公开的一方面，提出一种文本数据处理装置，该装置包括：词向量序列模块，用于获取待处理文本数据，并对所述待处理文本数据进行处理，获得至少一个词向量序列；权重生成模块，用于根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，所述至少一个词典库包括情感词典库；模型处理模块，用于通过神经网络模型对所述目标权重矩阵进行处理，获得解码信息；集束搜索模块，用于对所述解码信息进行集束搜索，获得所述待处理文本数据的回复文本数据。
根据本公开的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文中所述的方法。
根据本公开的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中所述的方法。
根据本公开一些实施例提供的文本数据处理方法、装置、电子设备及计算机可读介质，对待处理文本数据进行处理获得词向量序列，并根据包含情感词典库的至少一个词典库确定词向量序列的目标权重矩阵，能够使目标权重矩阵包含待处理文本数据的情感信息。并通过神经网络模型对目标权重矩阵进行处理，获得解码信息，对解码信息进行技术搜索，能够获得与待处理文本数据具有相应的情感信息的回复文本数据。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种文本数据处理方法的流程图。
图2是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
图3是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
图4是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
图5是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
图6是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
图7是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
图8是根据一示例性实施例示出的一种文本数据处理装置的框图。
图9是根据一示例性实施例示出的一种电子设备的框图。
图10是根据一示例性实施例示出一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本公开将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本公开所必须的，因此不能用于限制本公开的保护范围。
图1是根据一示例性实施例示出的一种文本数据处理方法的流程图。本公开实施例提供的文本数据处理方法可以由任意具备计算处理能力的电子设备执行，例如用户终端和/或服务器，在下面的实施例中，以服务器执行所述方法为例进行举例说明，但本公开并不限定于此。本公开实施例提供的文本数据处理方法10可以包括步骤S102至S108。
如图1所示，在步骤S102中，获取待处理文本数据，并对待处理文本数据进行处理，获得至少一个词向量序列。
本公开实施例中，可接收设备端发送的待处理文本数据，待处理文本数据可为多个句子，可也为一个语句，本公开对此并不作特殊限定。其中，可对待处理文本数据中的每个句子进行预处理和分词处理。例如，可去除每个句子中的特殊符号、进行统一码(Unicode)编码。分词处理是将连续的字序列按照一定的规范重新组合成词序列的过程。其中，还可对分词处理后得到的每个词向量序列进行截断处理(Padding)，以将每个词向量序列的长度处理为预定长度。
本公开实施例中，在待处理文本数据中每一个句子对应一个具有预定长度的词向量序列。
在步骤S104中，根据至少一个词向量序列与至少一个词典库确定目标权重矩阵，至少一个词典库包括情感词典库。
本公开实施例中，词典库中记录了各个词语的语义信息、语法信息等。其中，情感词典库中记录了各个词语的情感信息。词典库可例如通过预训练的模型或算法获得。例如，可通过包含情感标注的样本数据对模型进行训练，并通过训练完成的模型获得情感词典库。
其中，可根据每个词向量序列中的每个词向量在各个词典库中进行匹配，以获得该词典库对应的权重矩阵，并对各个词典库对应的权重矩阵进行加权求和，获得目标权重矩阵。
在示例性实施例中，还可通过嵌入层对加权求和结果进行处理，并进行随机区域置零处理(Spatial Dropout)，获得目标权重矩阵。
在步骤S106中，通过神经网络模型对目标权重矩阵进行处理，获得解码信息。
本公开实施例中，神经网络模型可为训练完成的具有解码功能的网络模型。
在示例性实施例中，神经网络模型可例如为双向循环门单元神经网络。
其中，循环门单元(GRU)是长短期记忆网络(Long Short-Term Memory，LSTM)的一种变体。循环门单元具有与长短期记忆网络相同的效果且更加简单的结构。循环门单元中包括更新门和重置门。其中，循环门单元可根据当前输入以及前一个隐藏层的状态计算出更新门和重置门；再根据重置门、当前输入以及前一个隐藏层计算新的记忆单元内容(newmemory content)。当重置门为1的时候，新的记忆单元内容忽略之前的所有记忆单元内容，最终的记忆单元内容是之前的隐藏层状态与新的记忆单元内容的结合；循环门单元的计算公式如下：
zt＝σ(Wzxt+Uzht-1+bz) (1)
γt＝σ(Wzxt+Uγht-1+bγ) (2)
其中,σ表示激活函数(sigmoid)，tanh表示双曲正切激活函数。zt表示更新门，γt表示重置门，这两个门的结果经过了一个激活函数。表示候选隐含状态，候选隐含状态使用了重置门来控制包含过去时刻信息的上一个隐含状态的流入。如果重置门近似0，上一个隐含状态将被丢弃。因此，重置门提供了丢弃与未来无关的过去隐含状态的机制，也就是说，重置门决定了过去有多少信息被遗忘。ht表示隐含状态，隐含状态ht使用更新门zt来对上一个隐含状态ht-1和候选隐含状态进行更新。更新门可以控制过去的隐含状态在当前时刻的重要性。如果更新门一直近似1，过去的隐含状态将一直通过时间保存并传递至当前时刻。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时序数据中间隔较大的依赖关系。
在步骤S108中，对解码信息进行集束搜索，获得待处理文本数据的回复文本数据。
本实施例中，集束搜索是一种启发式图搜索算法。集束搜索根据广度优先策略建立搜索树，在树的每一层，按照启发代价对节点进行排序，然后仅留下预先确定的个数(Beam Width-集束宽度)的节点，仅这些节点在下一层次继续扩展，其他节点就被剪掉了。本步骤通过集束搜索对解码信息进行处理，能够获得与待处理文本数据的情感信息相匹配的回复文本数据。
在示例性实施例中，可对解码信息进行排序，并根据排序结果将前B个序列分成G个组(B和G均为大于0的整数)，并基于预设惩罚系数对G个组的数据进行处理，并依次将G个组的数据输入神经网络模型，获得下一时刻的解码数据，以及计算解码结果之间的相似度，根据相似度排序前N个的解码结果确定回复文本数据。其中，相似度包括单词级别相似度和句子级别相似度。单词级别相似度可通过下式计算：
其中，Y表示解码序列，表示集束个数，/>表示对于g组的集束b在当前时刻t的搜索结果。/>表示/>在情感词向量中的匹配结果。
句子级别相似度可通过下式计算：
其中，其他变量与公式(5)类似。
根据本公开实施方式提供的文本数据处理方法，对待处理文本数据进行处理获得词向量序列，并根据包含情感词典库的至少一个词典库确定词向量序列的目标权重矩阵，能够使目标权重矩阵包含待处理文本数据的情感信息。并通过神经网络模型对目标权重矩阵进行处理，获得解码信息，对解码信息进行技术搜索，能够获得与待处理文本数据具有相应的情感信息的回复文本数据。
应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施例。
图2是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
如图2所示，本发明实施例中，基于上述实施例的文本数据处理方法还可以包括以下步骤。
本公开实施例中，神经网络模型包括依次连接的编码模块、卷积层和解码模块。
在步骤S202中，通过编码模块和卷积层对目标权重矩阵进行处理，获得编码信息。
在本发明实施例中，编码模块可包括两个循环门单元，前述已对循环门单元进行了详细解释，此处不再赘述。卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
在步骤S204中，根据解码模块对编码信息进行处理，获得解码信息。
在本公开实施例中，解码模块可包括两个循环门单元。
在示例性实施例中，编码模块包括第一循环门单元和第二循环门单元，解码模块包括第三循环门单元和第四循环门单元。
在步骤S206中，根据编码信息、解码信息和情感词典库确定目标损失函数。
本公开实施例中，可根据编码信息、解码信息确定交叉熵函数，并根据编码信息、解码信息在情感词典库中的匹配结果确定该编码信息和解码信息的情感距离。在示例性实施例中，情感距离可例如通过欧式距离进行计算。
在步骤S208中，根据目标损失函数调节神经网络模型的参数，获得训练完成的神经网络模型。
本公开实施例中，可通过误差反向传播的方式对神经网络模型中的参数进行调节，使误差在允许范围内，以获得训练完成的神经网络模型。
在本发明实施例中，根据情感词典库构建带有情感距离的目标损失函数，以根据该目标损失函数对神经网络模型的参数进行调节，能够获得能够分析情感的神经网络模型，并能够基于该神经网络模型获得包含正确情感信息的回复文本数据。
图3是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
如图3所示，本发明实施例中，上述步骤S206还可以包括以下步骤。
在步骤S2061中，根据编码信息与解码信息确定交叉熵损失函数。
本公开实施例中，交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。
在步骤S2062中，根据编码信息在情感词典库中进行匹配，获得编码情感信息。
在步骤S2063中，根据解码信息在情感词典库中进行匹配，获得解码情感信息。
在步骤S2064中，根据交叉熵损失函数、编码情感信息、解码情感信息确定第一损失函数、第二损失函数和第三损失函数。
本公开实施例中，第一损失函数的计算方式如下：
其中，X表示编码信息，yi表示i时刻的解码信息，W2AV(xj)表示编码情感信息，W2AV(yk)表示解码情感信息，λ表示权重。
其中，-(1-λ)logp(yi|y1，...，yi-1，X)表示交叉熵损失函数，表示编码信息和情感信息的欧式距离，本公开还可通过其他距离计算方式确定编码信息和解码信息之间的请求距离，并不以此为限。
第一损失函数可考虑对话过程中，对话对象的情感不会太迅速或者太频繁切换的因素，能够最小化情感失调，以确保待处理文本数据和回复文本数据之间的情感较为接近。
第二损失函数计算方式如下：
其中，第二损失函数可考虑对话过程中，当对话对象彼此并不十分熟悉，某一方情感过分友好造成另一方反感的因素，能够最大化情感失调，以确保待处理文本数据和回复文本数据之间的情感不一致。
第三损失函数计算方式如下：
其中，表示中性向量，例如，/>第三损失函数可考虑对话过程产生无用对话的生成的场景，例如：“呵呵”、“我不知道”等，能够使生成的回复文本信息具有明显的情感特征。
在步骤S2065中，对第一损失函数、第二损失函数和第三损失函数进行加权求和，获得目标损失函数。
在本发明实施例中，目标损失函数的计算公式如下:
其中，α、β、λ为超参数，用于控制权重。
图4是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
如图4所示，本发明实施例中，上述步骤S202还可以包括以下步骤。
在步骤S2021中，通过第一循环门单元对目标权重矩阵进行处理，获得第一初始编码信息。
在步骤S2022中，通过第二循环门单元对目标权重矩阵的左右翻转矩阵进行处理，获得第二初始编码信息。
在步骤S2023中，通过卷积层对第一初始编码信息和第二初始编码信息的拼接结果进行处理，获得编码信息。
图5是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
如图5所示，本发明实施例中，上述步骤S102还可以包括以下步骤。
在步骤S1021中，根据待处理文本数据进行分词处理，获得分词结果。
在步骤S1022中，通过词向量模型对分词结果进行处理，获得至少一个词向量序列。
本公开实施例中，词向量模型(例如word2vec、glove等)用于将自然语言中的词转化为稠密的向量，相似的词会有相似的向量表示，这样的转化方便挖掘文字中词语和句子之间的特征。其中，可将一个句子中的各个词转化为词向量，以将一个句子拼接为词向量序列。
图6是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
如图6所示，本发明实施例中，上述步骤S104还可以包括以下步骤。
在步骤S1041中，根据至少一个词向量序列中每个词的词向量在每个词典库中进行匹配，获得与至少一个词典库对应的至少一个第一权重矩阵。
本公开实施例中，在与某一词典库进行匹配时，每个词向量序列可获得一个第一权重向量，待处理文本数据中，所有词向量序列的第一权重向量构成一个第一权重矩阵。每个词典库对应一个第一权重矩阵。
在步骤S1042中，对至少一个第一权重矩阵进行求和，获得目标权重矩阵。
图7是根据另一示例性实施例示出的一种文本数据处理方法的流程图。
如图7所示，本发明实施例中，本公开实施例的文本数据处理方法可以包括以下步骤。
在步骤S702中，获取待处理文本数据，并对待处理文本数据进行分词处理。
本公开实施例中，可剔除待处理文本数据中的特殊符号，进行统一码(Unicode)编码，并进行分词处理。
在步骤S704中，通过词向量模型对对分词结果进行处理，获得具有预定长度的至少一个词向量序列。
本公开实施例中，可对长度小于预定长度的词向量序列进行补全处理，获得具有预定长度的至少一个词向量序列。以及对长度大于预定长度的词向量序列进行截断处理，获得具有预定长度的至少一个词向量序列。
在步骤S706中，根据至少一个词向量序列中每个词的词向量在每个词典库中进行匹配，获得与至少一个词典库对应的至少一个第一权重矩阵，其中，词典库包括情感词典库。
在步骤S708中，对至少一个第一权重矩阵进行求和，获得目标权重矩阵。
在步骤S710中，通过神经网络模型对目标权重矩阵进行处理，获得编码信息、解码信息。
在步骤S712中，根据编码信息、解码信息和情感词典库确定第一损失函数、第二损失函数和第三损失函数，并根据第一损失函数、第二损失函数和第三损失函数确定目标损失函数。
在步骤S714中，根据目标损失函数调节神经网络模型的参数，获得训练完成的神经网络模型。
在步骤S716中，对解码信息进行集束搜索，获得待处理文本数据的回复文本数据。
本公开实施例的文本数据处理方法，根据情感词典库构建考虑了情感信息的目标损失函数，并根据目标损失函数调节神经网络模型的参数，获得训练完成的神经网络模型。并根据情感词典库构建目标权重矩阵，以根据训练完成的神经网络模型对目标权重矩阵进行处理，能够获得包含正确情感信息的回复文本信息。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本公开提供的上述方法所限定的上述功能。的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。
图8是根据一示例性实施例示出的一种文本数据处理装置的框图。本公开实施例提供的文本数据处理装置80可以包括：词向量序列模块802、权重生成模块804、模型处理模块806和集束搜索模块808。
在文本数据处理装置80中，词向量序列模块802可用于获取待处理文本数据，并对待处理文本数据进行处理，获得至少一个词向量序列。
在示例性实施例中，词向量序列模块802可包括分词单元和词向量单元。其中，分词单元可用于根据待处理文本数据进行分词处理，获得分词结果。词向量单元可用于通过词向量模型对分词结果进行处理，获得至少一个词向量序列。
权重生成模块804可用于根据至少一个词向量序列与至少一个词典库确定目标权重矩阵，至少一个词典库包括情感词典库。
在示例性实施例中，权重生成模块804可包括第一权重单元和目标权重单元。其中，第一权重单元可用于根据至少一个词向量序列中每个词的词向量在每个词典库中进行匹配，获得与至少一个词典库对应的至少一个第一权重矩阵。目标权重单元可用于对至少一个第一权重矩阵进行求和，获得目标权重矩阵。
模型处理模块806用于通过神经网络模型对目标权重矩阵进行处理，获得解码信息。
集束搜索模块808用于对解码信息进行集束搜索，获得待处理文本数据的回复文本数据。
在示例性实施例中，神经网络模型还可以包括依次连接的编码模块、卷积层和解码模块，文本数据处理装置80还包括编码信息获取模块、解码信息获取模块、损失函数计算模块和神经网络训练模块。其中，编码信息获取模块用于通过编码模块和卷积层对目标权重矩阵进行处理，获得编码信息。解码信息获取模块用于根据解码模块对编码信息进行处理，获得解码信息。损失函数计算模块用于根据编码信息、解码信息和情感词典库确定目标损失函数。神经网络训练模块用于根据目标损失函数调节神经网络模型的参数，获得训练完成的神经网络模型。
在示例性实施例中，损失函数计算模块包括交叉熵计算单元、编码情感信息单元、解码情感信息单元、第一计算单元和目标计算单元。其中，交叉熵计算单元可用于根据编码信息与解码信息确定交叉熵损失函数。编码情感信息单元可用于根据编码信息在情感词典库中进行匹配，获得编码情感信息。解码情感信息单元可用于根据解码信息在情感词典库中进行匹配，获得解码情感信息。第一计算单元可用于根据交叉熵损失函数、编码情感信息、解码情感信息确定第一损失函数、第二损失函数和第三损失函数。目标计算单元可用于对第一损失函数、第二损失函数和第三损失函数进行加权求和，获得目标损失函数。
在示例性实施例中，编码模块包括第一循环门单元和第二循环门单元，解码模块包括第三循环门单元和第四循环门单元。
在示例性实施例中，编码信息获取模块可以包括第一编码单元、第二编码单元和目标编码单元。其中，第一编码单元可用于通过第一循环门单元对目标权重矩阵进行处理，获得第一初始编码信息。第二编码单元可用于通过第二循环门单元对目标权重矩阵的左右翻转矩阵进行处理，获得第二初始编码信息。目标编码单元可用于通过卷积层对第一初始编码信息和第二初始编码信息的拼接结果进行处理，获得编码信息。
根据本公开实施方式提供的文本数据处理装置，对待处理文本数据进行处理获得词向量序列，并根据包含情感词典库的至少一个词典库确定词向量序列的目标权重矩阵，能够使目标权重矩阵包含待处理文本数据的情感信息。并通过神经网络模型对目标权重矩阵进行处理，获得解码信息，对解码信息进行技术搜索，能够获得与待处理文本数据具有相应的情感信息的回复文本数据。
图9是根据一示例性实施例示出的一种电子设备的框图。
下面参照图9来描述根据本公开的这种实施方式的电子设备200。图9显示的电子设备200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图1，图2，图3，图4，图5，图6，图7中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
图10示意性示出本公开示例性实施例中一种计算机可读存储介质示意图。
参考图10所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品400，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：获取待处理文本数据，并对所述待处理文本数据进行处理，获得至少一个词向量序列；根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，所述至少一个词典库包括情感词典库；通过神经网络模型对所述目标权重矩阵进行处理，获得解码信息；对所述解码信息进行集束搜索，获得所述待处理文本数据的回复文本数据。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块和/或单元可以合并为一个模块和/或单元，也可以进一步拆分成多个模块和/或单元。
通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
此外，本说明书说明书附图所示出的结构、比例、大小等，均仅用以配合说明书所公开的内容，以供本领域技术人员了解与阅读，并非用以限定本公开可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本公开所能产生的技术效果及所能实现的目的下，均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语，也仅为便于叙述的明了，而非用以限定本公开可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当也视为本公开可实施的范畴。

Claims (7)

1.一种文本数据处理方法，其特征在于，包括：
获取待处理文本数据，并对所述待处理文本数据进行处理，获得至少一个词向量序列；
根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，所述至少一个词典库包括情感词典库；
通过神经网络模型对所述目标权重矩阵进行处理，获得解码信息；
对所述解码信息进行集束搜索，获得所述待处理文本数据的回复文本数据；
其中，根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，包括：在各个词典库中对每个词向量序列中的每个词向量进行匹配，获得每个词典库对应的权重矩阵；各个词典库对应的权重矩阵进行加权求和；通过嵌入层对加权求和结果进行处理，并进行随机区域置零处理，获得目标权重矩阵；
所述神经网络模型包括依次连接的编码模块、卷积层和解码模块；其中，还包括：
通过所述编码模块和所述卷积层对所述目标权重矩阵进行处理，获得编码信息；
根据所述解码模块对所述编码信息进行处理，获得解码信息；
根据所述编码信息、所述解码信息和所述情感词典库确定目标损失函数；
根据所述目标损失函数调节所述神经网络模型的参数，获得训练完成的所述神经网络模型；
根据所述编码信息、所述解码信息和所述情感词典库确定目标损失函数，包括：
根据所述编码信息与所述解码信息确定交叉熵损失函数；
根据所述编码信息在所述情感词典库中进行匹配，获得编码情感信息；
根据所述解码信息在所述情感词典库中进行匹配，获得解码情感信息；
根据所述交叉熵损失函数、所述编码情感信息、所述解码情感信息确定第一损失函数、第二损失函数和第三损失函数；
对所述第一损失函数、所述第二损失函数和所述第三损失函数进行加权求和，获得所述目标损失函数；
所述第一损失函数为：
所述第二损失函数为：
所述第三损失函数为：
其中，X表示编码信息，xj表示j时刻的编码信息，yi表示i时刻的解码信息，W2AV(xj)表示编码情感信息，W2AV(yk)表示解码情感信息，λ表示权重；
-(1-λ)logp(yi|y1,…,yi-1,X)表示交叉熵损失函数，表示编码信息和情感信息的欧式距离，/>表示中性向量。
2.如权利要求1所述的方法，其特征在于，所述编码模块包括第一循环门单元和第二循环门单元，所述解码模块包括第三循环门单元和第四循环门单元。
3.如权利要求2所述的方法，其特征在于，通过所述编码模块和所述卷积层对所述目标权重矩阵进行处理，获得编码信息，包括：
通过所述第一循环门单元对所述目标权重矩阵进行处理，获得第一初始编码信息；
通过所述第二循环门单元对所述目标权重矩阵的左右翻转矩阵进行处理，获得第二初始编码信息；
通过所述卷积层对所述第一初始编码信息和所述第二初始编码信息的拼接结果进行处理，获得编码信息。
4.如权利要求1所述的方法，其特征在于，对所述待处理文本数据进行处理，获得至少一个词向量序列包括：
根据所述待处理文本数据进行分词处理，获得分词结果；
通过词向量模型对所述分词结果进行处理，获得所述至少一个词向量序列。
5.一种文本数据处理装置，其特征在于，包括：
词向量序列模块，用于获取待处理文本数据，并对所述待处理文本数据进行处理，获得至少一个词向量序列；
权重生成模块，用于根据所述至少一个词向量序列与至少一个词典库确定目标权重矩阵，所述至少一个词典库包括情感词典库；
模型处理模块，用于通过神经网络模型对所述目标权重矩阵进行处理，获得解码信息；
集束搜索模块，用于对所述解码信息进行集束搜索，获得所述待处理文本数据的回复文本数据；
其中，所述权重生成模块还用于在各个词典库中对每个词向量序列中的每个词向量进行匹配，获得每个词典库对应的权重矩阵；各个词典库对应的权重矩阵进行加权求和；通过嵌入层对加权求和结果进行处理，并进行随机区域置零处理，获得目标权重矩阵；
所述神经网络模型包括依次连接的编码模块、卷积层和解码模块，所述数据处理装置还包括编码信息获取模块、解码信息获取模块、损失函数计算模块和神经网络训练模块，其中，所述编码信息，用于通过编码模块和卷积层对目标权重矩阵进行处理，获得编码信息；所述解码信息，用于对编码信息进行处理，获得解码信息；所述损失函数计算模块，用于根据编码信息、解码信息和情感词典库确定目标损失函数；所述神经网络训练模块，用于根据所述目标损失函数调节神经网络模型的参数，获得训练完成的所述神经网络模型；
所述损失函数计算模块包括：交叉熵计算单元、编码情感信息单元、解码情感信息单元、第一计算单元和目标计算单元，其中，所述交叉熵计算单元，用于根据所述编码信息与所述解码信息确定交叉熵损失函数；所述编码情感信息单元，用于根据所述编码信息在所述情感词典库中进行匹配，获得编码情感信息；所述解码情感信息单元，用于根据所述解码信息在所述情感词典库中进行匹配，获得解码情感信息；所述第一计算单元，用于根据所述交叉熵损失函数、所述编码情感信息、所述解码情感信息确定第一损失函数、第二损失函数和第三损失函数；所述目标计算单元，用于对第一损失函数、第二损失函数和第三损失函数进行加权求和，获得所述目标损失函数；
所述第一损失函数为：
所述第二损失函数为：
所述第三损失函数为：
其中，X表示编码信息，yi表示i时刻的解码信息，W2AV(xj)表示编码情感信息，W2AV(yk)表示解码情感信息，λ表示权重；
-(1-λ)logp(yi|y1,…,yi-1,X)表示交叉熵损失函数，表示编码信息和情感信息的欧式距离，/>表示中性向量。
6.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
7.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201911157663.3A 2019-11-22 2019-11-22 文本数据处理方法、装置、电子设备及计算机可读介质 Active CN111125324B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911157663.3A CN111125324B (zh) 2019-11-22 2019-11-22 文本数据处理方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911157663.3A CN111125324B (zh) 2019-11-22 2019-11-22 文本数据处理方法、装置、电子设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN111125324A CN111125324A (zh) 2020-05-08
CN111125324B true CN111125324B (zh) 2023-09-26

Family

ID=70496373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911157663.3A Active CN111125324B (zh) 2019-11-22 2019-11-22 文本数据处理方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN111125324B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015121858A (ja) * 2013-12-20 2015-07-02 ヤフー株式会社 データ処理装置、及びデータ処理方法
CN107273487A (zh) * 2017-06-13 2017-10-20 北京百度网讯科技有限公司 基于人工智能的聊天数据的生成方法、装置及计算机设备
CN108536681A (zh) * 2018-04-16 2018-09-14 腾讯科技（深圳）有限公司 基于情感分析的智能问答方法、装置、设备及存储介质
CN108647219A (zh) * 2018-03-15 2018-10-12 中山大学 一种结合情感词典的卷积神经网络文本情感分析方法
CN108959421A (zh) * 2018-06-08 2018-12-07 三角兽（北京）科技有限公司 候选回复评价装置和问询回复设备及其方法、存储介质
CN110188176A (zh) * 2019-04-30 2019-08-30 深圳大学 深度学习神经网络及训练、预测方法、系统、设备、介质
CN110275939A (zh) * 2019-06-10 2019-09-24 腾讯科技（深圳）有限公司 对话生成模型的确定方法及装置、存储介质、电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015121858A (ja) * 2013-12-20 2015-07-02 ヤフー株式会社 データ処理装置、及びデータ処理方法
CN107273487A (zh) * 2017-06-13 2017-10-20 北京百度网讯科技有限公司 基于人工智能的聊天数据的生成方法、装置及计算机设备
CN108647219A (zh) * 2018-03-15 2018-10-12 中山大学 一种结合情感词典的卷积神经网络文本情感分析方法
CN108536681A (zh) * 2018-04-16 2018-09-14 腾讯科技（深圳）有限公司 基于情感分析的智能问答方法、装置、设备及存储介质
CN108959421A (zh) * 2018-06-08 2018-12-07 三角兽（北京）科技有限公司 候选回复评价装置和问询回复设备及其方法、存储介质
CN110188176A (zh) * 2019-04-30 2019-08-30 深圳大学 深度学习神经网络及训练、预测方法、系统、设备、介质
CN110275939A (zh) * 2019-06-10 2019-09-24 腾讯科技（深圳）有限公司 对话生成模型的确定方法及装置、存储介质、电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张仰森等.基于双重注意力模型的微博情感分析方法.《清华大学学报(自然科学版)》.2018,第58卷(第2期),第122-130页. *

Also Published As

Publication number Publication date
CN111125324A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN110347799B (zh) 语言模型训练方法、装置和计算机设备
US20180357225A1 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN111368993B (zh) 一种数据处理方法及相关设备
CN107870902A (zh) 神经机器翻译系统
CN111198937A (zh) 对话生成及装置、计算机可读存储介质、电子设备
CN110807335B (zh) 基于机器学习的翻译方法、装置、设备及存储介质
CN111625634A (zh) 词槽识别方法及装置、计算机可读存储介质、电子设备
CN109447334B (zh) 货源信息的数据降维方法、装置、电子设备、存储介质
CN111401079A (zh) 神经网络机器翻译模型的训练方法、装置及存储介质
CN114676234A (zh) 一种模型训练方法及相关设备
JP7229345B2 (ja) 文処理方法、文復号方法、装置、プログラム及び機器
CN113377914A (zh) 推荐文本生成方法、装置、电子设备和计算机可读介质
CN112463989A (zh) 一种基于知识图谱的信息获取方法及系统
CN116050425A (zh) 建立预训练语言模型的方法、文本预测方法及装置
CN116069931A (zh) 层级标签文本分类方法、系统、设备及存储介质
CN115795038A (zh) 基于国产化深度学习框架的意图识别方法和装置
CN111241843B (zh) 基于复合神经网络的语义关系推断系统和方法
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
CN114065771A (zh) 一种预训练语言处理方法及设备
CN111797220A (zh) 对话生成方法、装置、计算机设备和存储介质
CN111125324B (zh) 文本数据处理方法、装置、电子设备及计算机可读介质
CN112749557A (zh) 文本处理模型的构建方法和文本处理方法
CN111723186A (zh) 用于对话系统的基于人工智能的知识图谱生成方法、电子设备
CN111475635A (zh) 语义补全方法、装置和电子设备
CN114792097B (zh) 预训练模型提示向量的确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant