CN114925181A - 数据处理方法及装置、计算机存储介质及终端 - Google Patents

数据处理方法及装置、计算机存储介质及终端 Download PDF

Info

Publication number
CN114925181A
CN114925181A CN202210479364.7A CN202210479364A CN114925181A CN 114925181 A CN114925181 A CN 114925181A CN 202210479364 A CN202210479364 A CN 202210479364A CN 114925181 A CN114925181 A CN 114925181A
Authority
CN
China
Prior art keywords
target
vector
sentence
target sentence
statement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210479364.7A
Other languages
English (en)
Inventor
杜冰竹
吴颖婷
王永亮
董扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210479364.7A priority Critical patent/CN114925181A/zh
Publication of CN114925181A publication Critical patent/CN114925181A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本说明书实施例提供了一种数据处理方法及装置、计算机存储介质及终端。该方法包括：获取目标语句对应的第一向量和目标语句的上文对应的第二向量之间的关联语义特征，并对关联语义特征进行分类处理，得到目标语句的目标信息的类型，其中，目标语句的目标信息的类型为与目标语句的上文相关或与目标语句相关。根据目标信息的类型，确定对目标语句的答复信息。

Description

数据处理方法及装置、计算机存储介质及终端
技术领域
本说明书实施例涉及人机交互技术领域，尤其涉及一种数据处理方法及装置、计算机可读存储介质及终端。
背景技术
随着人工智能技术发展，社会上涌现了很多对话机器人，比如微软小冰，谷歌助手等。工业界，大部分的对话机器人都是任务型机器人，可以帮助人们处理一些简单的日常，比如订餐，客服，订飞机等。随着社会经济的发展，人们开始意识到理财的重要性，但是理财是一门较强专业性和较高复杂度的学问，而咨询专业的人工理财顾问花费昂贵，所以对智能理财助理的需求市场很大。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本说明书的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本说明书实施例的目的在于提供一种数据处理方法及装置、计算机可读存储介质及终端，至少能够在一定程度上提高用户与机器交互的过程中，机器对语义理解的准确度。
本说明书实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本说明书的实践而习得。
根据本说明书实施例的第一个方面，获取第一向量和第二向量之间的关联语义特征，其中，上述第一向量为目标语句对应的向量，上述第二向量为上述目标语句的上文对应的向量；对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型；上述目标信息的类型为：与上述目标语句的上文相关或与上述目标语句相关；根据上述目标信息的类型，确定对上述目标语句的答复信息。
在本说明书一个实施例中，在上述获取第一向量和第二向量之间的关联语义特征之前，上述方法还包括：通过预训练的语义表征模型，对上述目标语句进行编码得到上述目标语句对应的句子向量，并将上述目标语句对应的句子向量作为上述第一向量；以及通过上述预训练的语义表征模型，对上述目标语句的上文进行编码，得到上述目标语句的上文对应的向量，并将上述目标语句的上文对应的向量作为上述第二向量。
在本说明书一个实施例中，上述对上述目标语句进行编码得到上述目标语句对应的句子向量，包括：基于上述预训练的语义表征模型中的角色嵌入层对上述目标语句进行编码，得到上述目标语句对应的第一角色特征；基于上述第一角色特征确定上述目标语句对应的句子向量。
在本说明书一个实施例中，上述对上述目标语句的上文进行编码，得到上述目标语句的上文对应的向量，包括：基于上述预训练的语义表征模型中的角色嵌入层对上述目标语句的上文进行编码，得到上述目标语句的上文对应的第二角色特征；基于上述第二角色特征确定上述目标语句的上文对应的向量。
在本说明书一个实施例中，上述获取第一向量和第二向量之间的关联语义特征，包括：通过第一注意力机制，在上述第二向量中获取与上述第一向量的意图相关的特征，得到关联意图特征；通过第二注意力机制，在上述第二向量中获取与上述第一向量的槽位相关的特征，得到关联槽位特征；将上述关联语义特征和上述关联槽位特征确定为上述关联语义特征。
在本说明书一个实施例中，上述目标信息包括意图；上述对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型，包括：对上述关联意图特征进行分类处理，得到上述目标语句的意图类型；其中，上述目标语句的意图类型为：与上述目标语句的上文相关或与上述目标语句相关。
在本说明书一个实施例中，在上述对上述关联意图特征进行分类处理，得到上述目标语句的意图类型之后，上述方法还包括：若上述目标语句的意图类型为与上述目标语句的上文相关，则确定上述目标语句的上文所对应的至少一个先前意图，并在上述至少一个先前意图中确定出上述目标语句的意图；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的意图，确定对上述目标语句的答复信息。
在本说明书一个实施例中，在上述对上述关联意图特征进行分类处理，得到上述目标语句的意图类型之后，上述方法还包括：若上述目标语句的意图类型为与上述目标语句相关，则根据上述关联意图特征确定上述目标语句的意图；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的意图，确定对上述目标语句的答复信息。
在本说明书一个实施例中，上述目标信息包括槽位；上述对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型，包括：对上述关联槽位特征进行分类处理，得到上述目标语句的槽位类型；其中，上述目标语句的槽位类型为：与上述目标语句的上文相关或与上述目标语句相关。
在本说明书一个实施例中，在上述对上述关联槽位特征进行分类处理，得到上述目标语句的槽位类型之后，上述方法还包括：若上述目标语句的槽位类型为与上述目标语句的上文相关，则确定上述目标语句的上文所对应的至少一个先前槽位，并在上述目标语句的上文所对应的至少一个先前槽位中确定出上述目标语句的槽位；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的槽位，确定对上述目标语句的答复信息。
在本说明书一个实施例中，在上述对上述关联槽位特征进行分类处理，得到上述目标语句的槽位类型之后，上述方法还包括：若上述目标语句的槽位类型为与上述目标语句相关，则根据上述第一向量确定上述目标语句的槽位；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的槽位，确定对上述目标语句的答复信息。
在本说明书一个实施例中，上述目标语句的槽位类型还包括：与预设槽位相关，上述方法还包括：若上述目标语句的槽位类型为与上述预设槽位相关，则在上述预设槽位中确定出上述目标语句的槽位；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的槽位，确定对上述目标语句的答复信息。
根据本说明书实施例的第二个方面，提供一种数据处理装置，上述装置包括：获取模块，用于：获取第一向量和第二向量之间的关联语义特征，其中，上述第一向量为目标语句对应的向量，上述第二向量为上述目标语句的上文对应的向量；分类模块，用于：对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型；上述目标信息的类型为：与上述目标语句的上文相关或与上述目标语句相关；答复信息确定模块，用于：根据上述目标信息的类型，确定对上述目标语句的答复信息。
根据本说明书实施例的第三个方面，提供一种终端，包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现上述第一个方面所述的数据处理方法。
根据本说明书实施例的第四个方面，提供一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述第一个方面所述的数据处理方法。
根据本说明书实施例的第五个方面，提供一种计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或处理器执行时实现上述第一个方面所述的数据处理方法。
本说明书的实施例所提供的数据处理方法及装置、计算机存储介质及终端，具备以下技术效果：
本说明书示例性的实施例提供的方案适用于机器的语义理解过程，通过对话表征、对话提取、对话推理、对话推理可解释文案来完成语义理解以及输出问题所对应的答复信息。具体地，通过预训练的语义表征模型来对目标语句和目标语句对应的上文分别进行编码，得到第一向量和第二向量，然后获取第一向量和第二向量之间的关联语义特征，并对关联语义特征进行分类处理，以确定目标语句的语义类型以及语义，最后根据目标语句的语义来确定对应的答复信息。从而提升机器对语义理解的准确度，并使得语义理解结果可解释。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了本说明书一示例性的实施例提供的数据处理方法的使用场景图；
图2示意性示出了本说明书一示例性的实施例提供的数据处理方法的流程图；
图3示出了本说明书一示例性的实施例提供的数据处理系统的结构示意图；
图4示意性示出了根据本说明书一示例性的实施例提供的第一向量和第二向量的确定方法的流程图；
图5示意性示出了根据本说明书一示例性的实施例提供的关联语义特征确定方法的流程图；
图6示意性示出了本说明书一实施例提供的数据处理装置的结构图；
图7示意性示出了本说明书另一实施例提供的数据处理装置的结构图；
图8示意性示出了本说明书一实施例提供的一种终端的框图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合附图对本说明书实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本说明书中的具体含义。此外，在本说明书的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
人机交互设备的核心模块为用于对于用户语言的自然语义理解(Natural-Language Understanding，NLU)，其通常包括两个任务：意图理解和槽位识别。随着技术的发展，人机交互的过程变得越来越复杂，通常需要依赖上文信息和对话外部信息来对用户的语义进行分析判断。其中，对话外部信息包括系统后台记录的信息、事务专家知识等等。为了提高语义理解准确度，从而提升用户使用对话系统的智能感体验，对话系统就必须具备理解结合不同上下文场景的语义理解推理能力。
在相关技术中，构建对话系统中的对话模型时，常用的技术方案有两种，一种是单轮对话建模，结合对话管理模型(Dialogue Management，DM)进行多轮对话理解。这种方案的缺点在于模型的错误容易级联传递，并且模型的优化也不方便进行。另一种是简单的多轮对话建模，这种方案的缺点是缺少推理模块以及外部记忆信息的输入，并且多轮对话的理解过程是黑盒，导致语义理解结果不可解释。
针对上述问题，本说明书实施例提供了一种数据处理方法及装置、计算机可读存储介质及终端，下面，将结合附图及实施例对本示例实施方式中的数据处理方法的各个步骤进行更详细的说明。
其中，图1示意性示出了根据本说明书一示例性的实施例中数据处理方法的使用场景图。
本说明书实施例提出了用于执行上述数据处理方法的记忆推理系统，并可以基于记忆推理系统来实现人机对话。如图1所示，用户在与机器进行交互时，机器接收用户发出的语句，对话系统将针对接收到的语句做出相应的答复。其中，通常将这用户发出的语句1(记作，一问)以及机器针对语句1的答复(记作，一答)看作为人机之间的一轮对话。用户在输入第一轮对话中的问题后，对话系统针对该问题进行语义理解，从而输出第一轮对话的答复。接下来，还可能会展开第二轮对话，对话系统则根据第一轮对话以及第二轮对话中用户提出的问题来进行语义理解，判断第二轮对话的语义是继承第一轮对话还是指向第二轮问题，并根据判断结果输出第二轮问题的答复。同理，针对第三轮对话的语义、针对第四轮对话的语义……，以及针对第n轮对话的语义，均是根据该轮对话中用户提出的问题以及该轮对话的上文来确定的。即当用户发起的最新问题(可记作，当前问题以及目标语句)时，对话系统会根据该目标语句和目标语句对应的上文对话，来判断目标语句的语义是继承上文对话还是指向目标语句，并输出目标语句的答复。
图2示意性示出了根据本说明书一示例性的实施例中数据处理方法的流程图，图3示出了根据本说明书一示例性的实施例中数据处理系统的结构示意图。
本说明书实施例将结合图3示出的数据处理系统对图2所示实施例进行详细介绍，其中，如图3所示，数据处理系统即上述记忆推理系统，整体模型是基于多任务学习(Multi-task Learning)的框架，包括：预训练的语义表征模型310、对话提取模型320、对话推理模型330、对话答复模块340。示例性的，通过预训练的语义表征模型310对相关对话进行语义表征，然后，基于语义表征对对话提取模型320和对话推理模型330进行联合建模训练。进一步地，在上述联合建模训练后，对于输入上述记忆推理系统的语句，先对上文的多轮对话进行表征，然后对对话进行关键信息提取，最后利用所学习的对话表示结合内外部记忆信息进行最终用户语义理解结果输出，即意图和槽位的输出。以下对具体执行过程和模型结构进行详细介绍。
在S210中，获取第一向量和第二向量之间的关联语义特征，其中，第一向量为目标语句对应的向量，第二向量为目标语句的上文对应的向量。
在示例性的实施例中，上述第一向量和第二向量是基于数据处理系统中的预训练的语义表征模型获取的。
在示例性的实施例中，将目标语句(query)以及目标语句对应的上文(context)输入记忆推理系统中。示例性地，如图3所示，用户所提出的目标语句为“嗯，分析下涨跌”，单从这一句话来看，可能会有些难以判断用户的具体意图，比如用户具体是要分析什么的涨跌。因此，可以结合语境——即上文(context)对话——来对目标语句的意图和槽位进行判断。示例性地，如图3所示，用户与机器的上文对话共有3轮(Q代表用户所提出的问题，A代表机器所做出的答复)：第1轮为“Q1：基金诊断；A1：你想看看哪只基金的诊断呢？”；第2轮为“Q2：XX中证白酒指数分级怎么样？A2：该基金的诊断结果：XX中证白酒指数分级···”；第3轮为“Q3：支小宝很聪明嘛；A3：谢谢客官夸奖”，将上述的上文对话与目标语句一起作为记忆推理系统的输入，并示例性的通过预训练的BERT模型获取上述目标语句query以及上述query的context进行语义表征。
示例性地，对于输入记忆推理系统的上文对话的轮数最多可以为5轮，最少可以没有上文对话的输入，例如对于人机交互中的第一轮对话。
示例性的，图4示意性示出了根据本说明书一示例性的实施例中第一向量和第二向量的确定方法的流程图，参考图4，该图所示实施例包括：
S410，通过预训练的语义表征模型，对目标语句进行编码得到目标语句对应的句子向量，并将目标语句对应的句子向量作为第一向量。以及S420，通过预训练的语义表征模型，对目标语句的上文进行编码，得到目标语句的上文对应的向量，并将目标语句的上文对应的向量作为第二向量。
示例性的，上述预训练的语义表征模型为过预训练BERT模型(BidirectionalEncoder Representations from Transformers，基于变换器的双向编码器表示技术)，用于进行语义表征。
在示例性的实施例中，执行对目标语句以及目标语句的上文的对话建模(Dialogue Modeling)过程：首先将目标语句(query)以及目标语句对应的上文(context)输入预训练的语义表征模型310中，进行记忆表征-多轮对话嵌入表示，具体实施过程如下：
本说明书实施例基于上述预训练的BERT模型进行编码，并使用bertcls符号输出表示，得到目标语句对应的句子向量，即得到用于对上述目标语句进行语音表征的上述第一向量。通过上述预训练BERT模型对上述目标语句的上文进行编码，并使用bertcls符号输出表示，得到目标语句的上文对应的句子向量，即得到用于对上述目标语句的上文进行语义表征的上述第二向量。
在示例性的实施例中，为了提升人机对话效率，本说明书实施例在原有BERT嵌入层(BERTEmbedding)的基础上，添加角色嵌入层(Role Embedding)以考虑不同角色的表征作用。如图3所示，通过角色嵌入层分别对目标语句及对应的上文对话进行编码，得到目标语句对应的第一角色特征和目标语句的上文对应的第二角色特征。并基于第一角色特征确定目标语句对应的第一向量，以及基于第二角色特征确定目标语句的上文对应的第二向量。
其中，第一向量和第二向量使用BERTCLS符号来输出目标语句的句子表示(QueryRepresentation)(Qc:[‘[CLS]’,‘Q0’,‘Q1’…‘Qn’])和目标语句的上文的句子表示(Context Representation)。例如，图3中目标语句的句子表示Qc为：[‘[CLS]’,‘嗯’,‘分’,‘析’,‘下’,‘涨’,‘跌’]。
在示例性的实施例中，记忆推理系统的参数初始化包括2个部分，其中主任务和底座参数(BERT模型的参数)可以使用历史版本Contextual NLU的模型参数，推理任务参数随机初始化进行训练，模型既可以利用老数据信息，也可以在新增数据集上继续迭代训练。如图3所示，其中，主任务包括：任务1意图识别(Task1 Intent Detection)和任务2槽位提取(Task2 Slot Extraction)；推理任务包括：任务3意图推理(Task3 Intent SourcePrediction)和任务4槽位提取(Task4 Slot Source Prediction)。意图识别是语义句子的分类问题，可以用支援向量机(Support Vector Machine，SVM)、深度神经网络(DeepNeural Networks，DNN)等来进行分类，本说明书实施例中不做限制。
作为S210中“获取第一向量和第二向量之间的关联语义特征”的一种具体实施方法，图5示意性示出了根据本说明书一示例性的实施例中关联语义特征确定方法的流程图，参考图5，该图所示实施例包括：
S510，通过第一注意力机制，在第二向量中获取与第一向量的意图相关的特征，得到关联意图特征。S520，通过第二注意力机制，在第二向量中获取与第一向量的槽位相关的特征，得到关联槽位特征。以及，S530，将关联语义特征和关联槽位特征确定为关联语义特征。
在示例性的实施例中，将第一向量以及第二向量输入对话提取模型320中，基于记忆推理系统进行记忆提取-多轮对话理解，具体实施过程为：对第一向量和第二向量进行注意力(Attention)计算，以提取跟目标语句相关的上文句子信息，即关联语义特征。考虑到意图和槽位两个任务不完全一致性，本说明书实施例采用2个注意力机制模块，分别为第一注意力机制模块：意图注意力模块(Intent Attention)，和第二注意力机制模块：槽位注意力模块(Slot Attention)，分别进行权重分数计算，以获取第一向量和第二向量的关联意图特征和关联槽位特征。其中，Attention的计算公式如下：
Figure BDA0003621786840000101
其中，Q代表目标语句的句子表示，即第一向量；K、V代表目标语句的上文的句子表示，即第二向量；
Figure BDA0003621786840000102
代表缩放因子，以防止Q、K的点乘结果过大；softmax为归一化指数函数，以将计算结果归一化为概率分布。
继续参考图2，在通过上述实施例获取第一向量和第二向量之间的关联语义特征之后，执行S220，对关联语义特征进行分类处理，得到目标语句的目标信息的类型；目标信息的类型为：与目标语句的上文相关或与目标语句相关。
在示例性的实施例中，得到关联语义特征后，将关联意图特征和关联槽位特征输入对话推理模型330中，进行记忆推理-意图消歧/槽位消歧。对话推理模型330中的记忆推理任务分为意图推理和槽位推理两部分，以得到目标语句的目标信息(意图和槽位)的类型(来源)。其中，意图推理任务包括意图消歧和上下文意图继承；槽位推理任务包括判断槽位是否引用先前槽位以及具体引用位置。
在示例性的实施例中，意图类型(来源)主要包括目标语句和目标语句的上文。Task3意图推理任务通过对关联意图特征的意图类型进行分类建模，从而决策目标语句的意图是继承上文对话的意图，还是目标语句发生了意图转移。
在示例性的实施例中，本说明书实施例在记忆推理系统中引入了内、外两部分记忆来为推理任务提供输出结果。其中，内部记忆包括显式的对话上下文，包含已识别的先前意图和先前槽位等，外部记忆包括隐式的对话上下文，主要是与用户因子相关的一些预设槽位(例如金融领域中的持仓、交易中、买入、卖出、浏览、加自选等等)。
在示例性的实施例中，如图3所示，若意图推理任务的输出表明关联意图特征的意图指向上文，则当前意图可继承上文对话，可以从对话记忆(Dialogue Memory)的内部记忆(Local，本地部分)中确定先前意图(previousintents)来作为输出(Output)，即确定目标语句的意图是继承上文对话中的哪一句。示例性地，在目标语句为：“嗯，分析下涨跌”时，通过记忆推理系统的上述处理，可以得知用户的当前意图是指向上文的，然后再从内部记忆中确定当前意图是继承上文对话中的第2轮对话中的意图，为分析基金的涨跌，则输出目标语句的意图为“intent＝evaluate_fund”。
在示例性的实施例中，如图3所示，若意图推理任务的输出表明关联意图特征的意图指向目标语句，说明当前意图发生转移，则将NLU模型(Task1意图识别任务)的最新识别结果作为输出。示例性地，若上文对话仍为上述示例中的内容，而目标语句为：“帮我选择一下基金”，那么此时用户的意图便发生了转移，经过NLU模型对其进行意图识别后，便可输出该目标语句的意图为：“intent＝select_fund”。
在示例性的实施例中，意图推理任务和意图识别任务采用同样的表征向量，即IntentAttention中所使用的参数相同。
在示例性的实施例中，槽位类型(来源)包括目标语句、目标语句的上文、以及外部记忆。Task4槽位推理任务通过对槽位类型进行建模，从而决策当前槽位是继承上文对话中的槽位，还是在目标语句中发生了更新，或者需要从外部用户因子中去获取。其中，槽位推理任务的模型可以为门机制(Gate Mechanism)的网络模型。
在示例性的实施例中，如图3所示，若槽位推理任务的输出表明关联槽位特征的槽位指向上文，则从内部记忆的先前槽位(previous slot)中选择槽位作为输出，即确定目标语句的槽位是对应上文对话中的哪一个槽位。示例性地，在目标语句为：“嗯，分析下涨跌”时，通过记忆推理系统的上述处理，可以得知目标语句所对应的槽位为XX白酒指数分级，即用户想要分析的涨跌的对象为上文第2轮对话中所提到的“XX白酒指数分级”这只基金，则输出目标语句的槽位为“fund_name＝‘XX白酒指数分级’”。
在示例性的实施例中，如图3所示，若槽位推理任务的输出表明关联槽位特征的槽位指向目标语句，则将NLU模型(Task2槽位提取任务)对第一向量中的词向量的最新识别结果作为输出。示例性地，若上文对话仍为上述示例中的内容，而目标语句为：“分析一下XX国证半导体芯片的涨跌”，那么此时的槽位便发生了更新，经过NLU模型对其进行槽位的识别提取后，便可输出该目标语句的槽位为“fund_name＝‘XX国证半导体芯片’”。
在示例性的实施例中，若槽位推理任务的输出表明关联槽位特征的槽位指向外部，则根据不同的指向类别，从外部记忆的用户因子中去获取对应的槽位。示例性地，如图3所示，外部记忆的用户因子(Global，全局部分)中保存着一些预设槽位，例如持仓(Holding)、买入(Subscription)、卖出(Redemption)等等，在目标语句的槽位与外部记忆中的槽位相命中，则可以从外部记忆中直接获取对应的槽位作为输出。示例性地，若上文对话仍为上述示例中的内容，而目标语句为：“持仓的基金”，则此时目标语句的槽位与外部记忆中的“持仓”槽位相同，那么则输出该目标语句的槽位为“holding”。
在示例性的实施例中，由于意图和槽位与历史对话的相关性并不一致，因此，槽位推理任务可采用和意图推理任务同样的分类方式，但不共享Attention中的参数。通过将内、外部信息与推理任务相结合，可以使得机器(对话系统)在对用户语言进行自然语义理解时更加准确，提高人机交互的智能化以及用户体验。
继续参考图2，在确定目标语句的目标信息的类型之后，执行S230，根据目标信息的类型，确定对目标语句的答复信息。
在示例性的实施例中，将目标语句的意图和槽位输入对话答复模块340中，可以确定目标语句的答复信息，具体的实施方式如下：在确定目标语句的意图和槽位后，还可以根据所得到的意图和槽位来确定对目标语句的答复信息。示例性地，以上述示例中目标语句为“持仓的基金”为例，那么便可将Task4槽位推理任务的输出映射成为不同的推理文案作为答复信息。示例性地，参考表1所示的外部记忆-持仓的答复信息：
表1
Figure BDA0003621786840000121
Figure BDA0003621786840000131
在示例性的实施例中，可以根据槽位数量来制作相应的推理文案。如表1所示，槽位数量一栏表示用户所持仓的基金的数量，用户可能没有所持仓的基金(没有找到槽位)、或持有一只(槽位只有一个)、或持有多只(槽位有多个)，那么便可以根据持仓的数量形成相应的推理文案，例如，在没有找到槽位时，输出的答复信息可以为：“客官，暂时没有找到你持仓的基金，要不要看看这些”；在槽位只有一个时，输出的答复信息可以为：“客官，你目前持有这个基金：${fund_name}(基金名称)”；在槽位有多个时，输出的答复信息可以为：“客官，你目前持有这些基金(展示出用户所持有的基金)，你是想问哪一只呢？”。
在示例性的实施例中，上述为槽位类型指向外部记忆的情况，在槽位类型指向上文对话或目标语句时，同样可以根据目标语句的槽位来制定对对应的答复信息。并且除了根据目标语句的槽位来确定答复信息之外，还可以根据目标语句的意图(意图类型指向上文对话或目标语句)来确定答复信息，或根据目标语句的意图和槽位共同确定答复信息等等。将推理过程形成可解释文案展示给用户，可以使得输出结果可解释，对用户更为友好。
在示例性的实施例中，若要进一步提升记忆推理系统的语义理解效果，可以增加Attention的计算次数，或通过图(Graph)的方式来进行更好的记忆提取。还可以将上文中的多轮对话通过一定改写手段来提取其中的主要信息，使之变为一句话，进而完成多轮对话理解。除了使用分类任务来进行自然语义理解之外，还可以使用生成任务来进行自然语义理解。也可以将当前市场信息、图谱信息、正则知识等注入模型，从而更好地理解用户语义。
本说明书实施例针对多轮对话中所存在的问题，提出了一套简单可扩展的基于预训练语言模型的多任务学习框架的数据处理方法，以及用于执行上述方法的记忆推理系统，可以同时解决意图继承、意图消歧、槽位指代(内部、外部)等问题，并且模型具有好的泛化能力。本说明书实施例将内部记忆和外部记忆引入记忆推理系统中，对意图、槽位和相关推理信息共同建模，最后将推理过程形成可解释文案展示给用户，可以避免模型中错误的级联传递以及模型优化的不便。并且模型的模块感较好，所输出的语义理解结果是可解释的。同时，多轮对话间关键信息的提取模块使得记忆推理系统对用户的语义理解更加充分，能够使得机器与用户形成良好的互动，并提高用户的智能体验感。
下述为本说明书装置实施例，可以用于执行本说明书方法实施例。对于本说明书装置实施例中未披露的细节，请参照本说明书方法实施例。
其中，图6示出了根据本说明书一示例性的实施例中数据处理装置的结构图。
本说明书实施例中的数据处理装置600包括：获取模块610，分类模块620，以及答复信息确定模块630，其中：
获取模块610，用于：获取第一向量和第二向量之间的关联语义特征，其中，第一向量为目标语句对应的向量，第二向量为目标语句的上文对应的向量。
分类模块620，用于：对关联语义特征进行分类处理，得到目标语句的目标信息的类型；目标信息的类型为：与目标语句的上文相关或与目标语句相关。
答复信息确定模块630，用于：根据目标信息的类型，确定对目标语句的答复信息。
图7示出了根据本说明书另一示例性的实施例中数据处理装置的结构图。
在上述获取模块610获取第一向量和第二向量之间的关联语义特征之前，上述装置还包括：第一向量确定模块640，第二向量确定模块650。第一向量确定模块640用于：通过预训练的语义表征模型，对目标语句进行编码得到目标语句对应的句子向量，并将目标语句对应的句子向量作为第一向量；第二向量确定模块650用于：通过预训练的语义表征模型，对目标语句的上文进行编码，得到目标语句的上文对应的向量，并将目标语句的上文对应的向量作为第二向量。
上述第一向量确定模块640，包括：第一编码单元6401，第一向量确定单元6402。编码单元6401用于：基于预训练的语义表征模型中的角色嵌入层对目标语句进行编码，得到目标语句对应的第一角色特征；句子向量确定单元6402用于：基于第一角色特征确定目标语句对应的句子向量。
上述第二向量确定模块650，包括：第二编码单元6501，第二向量确定单元6502。第二编码单元6501用于：基于预训练的语义表征模型中的角色嵌入层对目标语句的上文进行编码，得到目标语句的上文对应的第二角色特征；第二向量确定单元6502用于：基于第二角色特征确定目标语句的上文对应的向量。
上述获取模块610，包括：关联意图特征确定单元6101，关联槽位特征确定单元6102，关联语义特征确定单元6103。关联意图特征确定单元6101用于：通过第一注意力机制，在第二向量中获取与第一向量的意图相关的特征，得到关联意图特征；关联槽位特征确定单元6102用于：通过第二注意力机制，在第二向量中获取与第一向量的槽位相关的特征，得到关联槽位特征；关联语义特征确定单元6103用于：将关联语义特征和关联槽位特征确定为关联语义特征。
在示例性的实施例中，基于前述方案，目标信息包括意图。上述分类模块620，包括：意图类型确定单元6201。意图类型确定单元6201用于：对关联意图特征进行分类处理，得到目标语句的意图类型；其中，目标语句的意图类型为：与目标语句的上文相关或与目标语句相关。
上述装置还包括：第一意图确定模块660。第一意图确定模块660用于：若目标语句的意图类型为与目标语句的上文相关，则确定目标语句的上文所对应的至少一个先前意图，并在至少一个先前意图中确定出目标语句的意图。
上述答复信息确定模块630，包括：第一答复信息确定单元6301。第一答复信息确定单元6301用于：根据目标语句的意图，确定对目标语句的答复信息。
上述装置还包括：第二意图确定模块670。第二意图确定模块670用于：若目标语句的意图类型为与目标语句相关，则根据关联意图特征确定目标语句的意图。
上述答复信息确定模块630，包括：第二答复信息确定单元6302。第一答复信息确定单元6302用于：根据目标语句的意图，确定对目标语句的答复信息。
在示例性的实施例中，基于前述方案，目标信息包括槽位。上述分类模块620，包括：槽位类型确定单元6202。槽位类型确定单元6202用于：对关联槽位特征进行分类处理，得到目标语句的槽位类型；其中，目标语句的槽位类型为：与目标语句的上文相关或与目标语句相关。
上述装置还包括：第一槽位确定模块680。第一槽位确定模块680用于：若目标语句的槽位类型为与目标语句的上文相关，则确定目标语句的上文所对应的至少一个先前槽位，并在目标语句的上文所对应的至少一个先前槽位中确定出目标语句的槽位。
上述答复信息确定模块630，包括：第三答复信息确定单元6303。第三答复信息确定单元6303用于：根据目标语句的槽位，确定对目标语句的答复信息。
上述装置还包括：第二槽位确定模块690。第二槽位确定模块690用于：若目标语句的槽位类型为与目标语句相关，则根据第一向量确定目标语句的槽位。
上述答复信息确定模块630，包括：第四答复信息确定单元6304。第四答复信息确定单元6304用于：根据目标语句的槽位，确定对目标语句的答复信息。
在示例性的实施例中，基于前述方案，目标语句的槽位类型还为：与预设槽位相关。上述装置还包括：第三槽位确定模块6110。第三槽位确定模块6110用于：若目标语句的槽位类型为与预设槽位相关，则在预设槽位中确定出目标语句的槽位。
上述答复信息确定模块630，包括：第五答复信息确定单元6305。第五答复信息确定单元6305用于：根据目标语句的槽位，确定对目标语句的答复信息。
需要说明的是，上述实施例提供的数据处理装置在执行数据处理方法，时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思，因此对于本说明书装置实施例中未披露的细节，请参照本说明书上述的数据处理方法的实施例，这里不再赘述。
上述本说明书实施例序号仅仅为了描述，不代表实施例的优劣。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
本说明书实施例还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例方法的步骤。
图8示意性示出了根据本说明书一示例性的实施例中终端的结构图。请参见图8所示，终端800包括有：处理器801和存储器802。
本说明书实施例中，处理器801为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable GateArray，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中心处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在本说明书实施例中，上述处理器801具体用于：
获取第一向量和第二向量之间的关联语义特征，其中，上述第一向量为目标语句对应的向量，上述第二向量为上述目标语句的上文对应的向量；对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型；上述目标信息的类型为：与上述目标语句的上文相关或与上述目标语句相关；根据上述目标信息的类型，确定对上述目标语句的答复信息。
进一步地，在本说明书一个实施例中，在上述获取第一向量和第二向量之间的关联语义特征之前，还包括：通过预训练的语义表征模型，对上述目标语句进行编码得到上述目标语句对应的句子向量，并将上述目标语句对应的句子向量作为上述第一向量；以及通过上述预训练的语义表征模型，对上述目标语句的上文进行编码，得到上述目标语句的上文对应的向量，并将上述目标语句的上文对应的向量作为上述第二向量。
可选的，上述对上述目标语句进行编码得到上述目标语句对应的句子向量，包括：基于上述预训练的语义表征模型中的角色嵌入层对上述目标语句进行编码，得到上述目标语句对应的第一角色特征；基于上述第一角色特征确定上述目标语句对应的句子向量。
可选的，上述对上述目标语句的上文进行编码，得到上述目标语句的上文对应的向量，包括：基于上述预训练的语义表征模型中的角色嵌入层对上述目标语句的上文进行编码，得到上述目标语句的上文对应的第二角色特征；基于上述第二角色特征确定上述目标语句的上文对应的向量。
可选的，上述获取第一向量和第二向量之间的关联语义特征，包括：通过第一注意力机制，在上述第二向量中获取与上述第一向量的意图相关的特征，得到关联意图特征；通过第二注意力机制，在上述第二向量中获取与上述第一向量的槽位相关的特征，得到关联槽位特征；将上述关联语义特征和上述关联槽位特征确定为上述关联语义特征。
可选的，上述目标信息包括意图；上述对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型，包括：对上述关联意图特征进行分类处理，得到上述目标语句的意图类型；其中，上述目标语句的意图类型为：与上述目标语句的上文相关或与上述目标语句相关。
可选的，在上述对上述关联意图特征进行分类处理，得到上述目标语句的意图类型之后，还包括：若上述目标语句的意图类型为与上述目标语句的上文相关，则确定上述目标语句的上文所对应的至少一个先前意图，并在上述至少一个先前意图中确定出上述目标语句的意图；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的意图，确定对上述目标语句的答复信息。
可选的，在上述对上述关联意图特征进行分类处理，得到上述目标语句的意图类型之后，还包括：若上述目标语句的意图类型为与上述目标语句相关，则根据上述关联意图特征确定上述目标语句的意图；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的意图，确定对上述目标语句的答复信息。
可选的，上述目标信息包括槽位；上述对上述关联语义特征进行分类处理，得到上述目标语句的目标信息的类型，包括：对上述关联槽位特征进行分类处理，得到上述目标语句的槽位类型；其中，上述目标语句的槽位类型为：与上述目标语句的上文相关或与上述目标语句相关。
可选的，在上述对上述关联槽位特征进行分类处理，得到上述目标语句的槽位类型之后，还包括：若上述目标语句的槽位类型为与上述目标语句的上文相关，则确定上述目标语句的上文所对应的至少一个先前槽位，并在上述目标语句的上文所对应的至少一个先前槽位中确定出上述目标语句的槽位；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的槽位，确定对上述目标语句的答复信息。
可选的，在上述对上述关联槽位特征进行分类处理，得到上述目标语句的槽位类型之后，还包括：若上述目标语句的槽位类型为与上述目标语句相关，则根据上述第一向量确定上述目标语句的槽位；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的槽位，确定对上述目标语句的答复信息。
可选的，上述目标语句的槽位类型还包括：与预设槽位相关，还包括：若上述目标语句的槽位类型为与上述预设槽位相关，则在上述预设槽位中确定出上述目标语句的槽位；上述根据上述目标信息的类型，确定对上述目标语句的答复信息，包括：根据上述目标语句的槽位，确定对上述目标语句的答复信息。
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储终端、闪存存储终端。在本说明书的一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本说明书实施例中的方法。
一些实施例中，终端800还包括有：外围终端接口803和至少一个外围终端。处理器801、存储器802和外围终端接口803之间可以通过总线或信号线相连。各个外围终端可以通过总线、信号线或电路板与外围终端接口803相连。具体地，外围终端包括：显示屏804、摄像头808和音频电路808中的至少一种。
外围终端接口803可被用于将输入/输出(Input/Output，I/O)相关的至少一个外围终端连接到处理器801和存储器802。在本说明书的一些实施例中，处理器801、存储器802和外围终端接口803被集成在同一芯片或电路板上；在本说明书的一些其他实施例中，处理器801、存储器802和外围终端接口803中的任意一个或两个可以在单独的芯片或电路板上实现。本说明书实施例对此不作具体限定。
显示屏804用于显示用户界面(UserInterface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏804是触摸显示屏时，显示屏804还具有采集在显示屏804的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏804还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在本说明书的一些实施例中，显示屏804可以为一个，设置终端800的前面板；在本说明书的另一些实施例中，显示屏804可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在本说明书的再一些实施例中，显示屏804可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏804还可以设置成非矩形的不规则图形，也即异形屏。显示屏804可以采用液晶显示屏(Liquid CrystalDisplay，LCD)、有机发光二极管(OrganicLight-EmittingDiode，OLED)等材质制备。
摄像头805用于采集图像或视频。可选地，摄像头805包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(VirtualReality，VR)拍摄功能或者其它融合拍摄功能。在本说明书的一些实施例中，摄像头805还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路808可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
电源805用于为终端800中的各个组件进行供电。电源805可以是交流电、直流电、一次性电池或可充电电池。当电源805包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本说明书实施例中示出的终端结构框图并不构成对终端800的限定，终端800可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在本说明书中，术语“第一”、“第二”等仅用于描述的目的，而不能理解为指示或暗示相对重要性或顺序；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本说明书中的具体含义。
本说明书的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本说明书和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本说明书的限制。
本说明书实施例还提供了计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述实施例中的一个或多个步骤。上述数据处理装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(DigitalVersatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述，仅为本说明书的具体实施方式，但本说明书的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本说明书的保护范围之内。因此，依本说明书权利要求所作的等同变化，仍属本说明书所涵盖的范围。

Claims (16)

1.一种数据处理方法，其中，包括：
获取第一向量和第二向量之间的关联语义特征，其中，所述第一向量为目标语句对应的向量，所述第二向量为所述目标语句的上文对应的向量；
对所述关联语义特征进行分类处理，得到所述目标语句的目标信息的类型；所述目标信息的类型为：与所述目标语句的上文相关或与所述目标语句相关；
根据所述目标信息的类型，确定对所述目标语句的答复信息。
2.根据权利要求1所述的方法，其中，在所述获取第一向量和第二向量之间的关联语义特征之前，所述方法还包括：
通过预训练的语义表征模型，对所述目标语句进行编码得到所述目标语句对应的句子向量，并将所述目标语句对应的句子向量作为所述第一向量；以及
通过所述预训练的语义表征模型，对所述目标语句的上文进行编码，得到所述目标语句的上文对应的向量，并将所述目标语句的上文对应的向量作为所述第二向量。
3.根据权利要求2所述的方法，其中，所述对所述目标语句进行编码得到所述目标语句对应的句子向量，包括：
基于所述预训练的语义表征模型中的角色嵌入层对所述目标语句进行编码，得到所述目标语句对应的第一角色特征；
基于所述第一角色特征确定所述目标语句对应的句子向量。
4.根据权利要求2所述的方法，其中，所述对所述目标语句的上文进行编码，得到所述目标语句的上文对应的向量，包括：
基于所述预训练的语义表征模型中的角色嵌入层对所述目标语句的上文进行编码，得到所述目标语句的上文对应的第二角色特征；
基于所述第二角色特征确定所述目标语句的上文对应的向量。
5.根据权利要求1至4中任意一项所述的方法，其中，所述获取第一向量和第二向量之间的关联语义特征，包括：
通过第一注意力机制，在所述第二向量中获取与所述第一向量的意图相关的特征，得到关联意图特征；
通过第二注意力机制，在所述第二向量中获取与所述第一向量的槽位相关的特征，得到关联槽位特征；
将所述关联语义特征和所述关联槽位特征确定为所述关联语义特征。
6.根据权利要求5所述的方法，其中，所述目标信息包括意图；
所述对所述关联语义特征进行分类处理，得到所述目标语句的目标信息的类型，包括：
对所述关联意图特征进行分类处理，得到所述目标语句的意图类型；
其中，所述目标语句的意图类型为：与所述目标语句的上文相关或与所述目标语句相关。
7.根据权利要求6所述的方法，其中，在所述对所述关联意图特征进行分类处理，得到所述目标语句的意图类型之后，所述方法还包括：
若所述目标语句的意图类型为与所述目标语句的上文相关，则确定所述目标语句的上文所对应的至少一个先前意图，并在所述至少一个先前意图中确定出所述目标语句的意图；
所述根据所述目标信息的类型，确定对所述目标语句的答复信息，包括：
根据所述目标语句的意图，确定对所述目标语句的答复信息。
8.根据权利要求6所述的方法，其中，在所述对所述关联意图特征进行分类处理，得到所述目标语句的意图类型之后，所述方法还包括：
若所述目标语句的意图类型为与所述目标语句相关，则根据所述关联意图特征确定所述目标语句的意图；
所述根据所述目标信息的类型，确定对所述目标语句的答复信息，包括：
根据所述目标语句的意图，确定对所述目标语句的答复信息。
9.根据权利要求5所述的方法，其中，所述目标信息包括槽位；
所述对所述关联语义特征进行分类处理，得到所述目标语句的目标信息的类型，包括：
对所述关联槽位特征进行分类处理，得到所述目标语句的槽位类型；
其中，所述目标语句的槽位类型为：与所述目标语句的上文相关或与所述目标语句相关。
10.根据权利要求9所述的方法，其中，在所述对所述关联槽位特征进行分类处理，得到所述目标语句的槽位类型之后，所述方法还包括：
若所述目标语句的槽位类型为与所述目标语句的上文相关，则确定所述目标语句的上文所对应的至少一个先前槽位，并在所述目标语句的上文所对应的至少一个先前槽位中确定出所述目标语句的槽位；
所述根据所述目标信息的类型，确定对所述目标语句的答复信息，包括：
根据所述目标语句的槽位，确定对所述目标语句的答复信息。
11.根据权利要求9所述的方法，其中，在所述对所述关联槽位特征进行分类处理，得到所述目标语句的槽位类型之后，所述方法还包括：
若所述目标语句的槽位类型为与所述目标语句相关，则根据所述第一向量确定所述目标语句的槽位；
所述根据所述目标信息的类型，确定对所述目标语句的答复信息，包括：
根据所述目标语句的槽位，确定对所述目标语句的答复信息。
12.根据权利要求9所述的方法，其中，所述目标语句的槽位类型还包括：与预设槽位相关，所述方法还包括：
若所述目标语句的槽位类型为与所述预设槽位相关，则在所述预设槽位中确定出所述目标语句的槽位；
所述根据所述目标信息的类型，确定对所述目标语句的答复信息，包括：
根据所述目标语句的槽位，确定对所述目标语句的答复信息。
13.一种数据处理装置，其特征在于，包括：
获取模块，用于：获取第一向量和第二向量之间的关联语义特征，其中，所述第一向量为目标语句对应的向量，所述第二向量为所述目标语句的上文对应的向量；
分类模块，用于：对所述关联语义特征进行分类处理，得到所述目标语句的目标信息的类型；所述目标信息的类型为：与所述目标语句的上文相关或与所述目标语句相关；
答复信息确定模块，用于：根据所述目标信息的类型，确定对所述目标语句的答复信息。
14.一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至12中任一项所述的数据处理方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的数据处理方法。
16.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至12中任一项所述的数据处理方法。
CN202210479364.7A 2022-04-28 2022-04-28 数据处理方法及装置、计算机存储介质及终端 Pending CN114925181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210479364.7A CN114925181A (zh) 2022-04-28 2022-04-28 数据处理方法及装置、计算机存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210479364.7A CN114925181A (zh) 2022-04-28 2022-04-28 数据处理方法及装置、计算机存储介质及终端

Publications (1)

Publication Number Publication Date
CN114925181A true CN114925181A (zh) 2022-08-19

Family

ID=82805934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210479364.7A Pending CN114925181A (zh) 2022-04-28 2022-04-28 数据处理方法及装置、计算机存储介质及终端

Country Status (1)

Country Link
CN (1) CN114925181A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985249A (zh) * 2020-09-03 2020-11-24 贝壳技术有限公司 语义分析方法、装置、计算机可读存储介质及电子设备
CN112069309A (zh) * 2020-09-14 2020-12-11 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质
CN112100325A (zh) * 2020-08-28 2020-12-18 广州探迹科技有限公司 一种基于分层门控循环单元的人机对话情感分析方法
CN113326365A (zh) * 2021-06-24 2021-08-31 中国平安人寿保险股份有限公司 回复语句生成方法、装置、设备及存储介质
CN113742460A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 生成虚拟角色的方法及装置
US20220036890A1 (en) * 2019-10-30 2022-02-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training semantic understanding model, electronic device, and storage medium
WO2022041728A1 (zh) * 2020-08-28 2022-03-03 康键信息技术（深圳）有限公司 医学领域意图识别方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220036890A1 (en) * 2019-10-30 2022-02-03 Tencent Technology (Shenzhen) Company Limited Method and apparatus for training semantic understanding model, electronic device, and storage medium
CN113742460A (zh) * 2020-05-28 2021-12-03 华为技术有限公司 生成虚拟角色的方法及装置
CN112100325A (zh) * 2020-08-28 2020-12-18 广州探迹科技有限公司 一种基于分层门控循环单元的人机对话情感分析方法
WO2022041728A1 (zh) * 2020-08-28 2022-03-03 康键信息技术（深圳）有限公司 医学领域意图识别方法、装置、设备及存储介质
CN111985249A (zh) * 2020-09-03 2020-11-24 贝壳技术有限公司 语义分析方法、装置、计算机可读存储介质及电子设备
CN112069309A (zh) * 2020-09-14 2020-12-11 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质
CN113326365A (zh) * 2021-06-24 2021-08-31 中国平安人寿保险股份有限公司 回复语句生成方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王子岳;邵曦;: "基于S-LSTM模型利用‘槽值门’机制的说话人意图识别", 南京信息工程大学学报(自然科学版), no. 06, 28 November 2019 (2019-11-28) *

Similar Documents

Publication Publication Date Title
US20220004702A1 (en) Robust expandable dialogue system
US20180358000A1 (en) Method, Apparatus, and System for Conflict Detection and Resolution for Competing Intent Classifiers in Modular Conversation System
KR102309031B1 (ko) 지능형 에이전트 관리 방법 및 장치
CN112567394A (zh) 用于在有限的知识领域中构建知识图的技术
CN109726396A (zh) 问答文本的语义匹配方法、装置、介质及电子设备
US20220172737A1 (en) Speech signal processing method and speech separation method
JP2022547704A (ja) 訓練を減らした意図認識技術
CN112069309B (zh) 信息获取方法、装置、计算机设备及存储介质
CN110209784B (zh) 消息交互方法、计算机设备及存储介质
CN111651571B (zh) 基于人机协同的会话实现方法、装置、设备及存储介质
CN111098312A (zh) 窗口政务服务机器人
CN110852100A (zh) 关键词提取方法、装置、电子设备及介质
KR20190088086A (ko) 전자 장치 및 이의 제어 방법
CN116802629A (zh) 用于自然语言处理的多因素建模
KR20220047228A (ko) 이미지 분류 모델 생성 방법 및 장치, 전자 기기, 저장 매체, 컴퓨터 프로그램, 노변 장치 및 클라우드 제어 플랫폼
CN116490879A (zh) 用于神经网络中过度预测的方法和系统
CN117296058A (zh) 作为简单有效的对抗攻击方法的变体不一致攻击（via）
CN116615727A (zh) 用于自然语言处理的关键词数据扩充工具
KR102369309B1 (ko) 파셜 랜딩 후 사용자 입력에 따른 동작을 수행하는 전자 장치
CN116821457A (zh) 一种基于多模态大模型的智能咨询及舆情处理系统
CN115989490A (zh) 用于为文本分类提供解释的技术
CN116861363A (zh) 多模态的特征处理方法、装置、存储介质与电子设备
CN117291185A (zh) 任务处理方法、实体识别方法及任务处理的数据处理方法
CN114925181A (zh) 数据处理方法及装置、计算机存储介质及终端
CN115866291A (zh) 一种数据处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination