CN110390107A - 基于人工智能的下文关系检测方法、装置及计算机设备 - Google Patents

基于人工智能的下文关系检测方法、装置及计算机设备 Download PDF

Info

Publication number
CN110390107A
CN110390107A CN201910684642.0A CN201910684642A CN110390107A CN 110390107 A CN110390107 A CN 110390107A CN 201910684642 A CN201910684642 A CN 201910684642A CN 110390107 A CN110390107 A CN 110390107A
Authority
CN
China
Prior art keywords
sentence
intended
vector
local
hereafter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910684642.0A
Other languages
English (en)
Other versions
CN110390107B (zh
Inventor
吴俊江
雷植程
童丽霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910684642.0A priority Critical patent/CN110390107B/zh
Publication of CN110390107A publication Critical patent/CN110390107A/zh
Application granted granted Critical
Publication of CN110390107B publication Critical patent/CN110390107B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及一种基于人工智能的下文关系检测方法、装置及计算机设备，所述方法、装置及计算机设备对意图句与待检测的下文句进行了全局交互与局部匹配这两种不同模式的语义匹配，这样，不仅能够从全局层面(即整句级别)捕获用户意图与下文信息的语义匹配信息，还能够从句子的局部特征层面捕获用户意图与下文信息的语义匹配信息，从而可以使得将用户意图与下文信息基于多种匹配模式进行较为充分的语义匹配，提升了用户意图与下文信息间的匹配准确度，有效解决了目前的技术中用户意图与下文信息匹配不充分、匹配准确度差的问题，相应能够提升智能客服等系统的下文关系检测能力。

Description

基于人工智能的下文关系检测方法、装置及计算机设备
技术领域
本申请属于自然语言处理技术领域，尤其涉及一种基于人工智能的下文关系检测方法、装置及计算机设备。
背景技术
在智能客服领域，用户的诉求往往隐含在与客服系统的多轮交互过程中，在确定用户意图的情况下，有效检测下文与意图的关联关系可为用户诉求的确定提供极大帮助。
下文与意图的关联关系，具体是指下文是否为意图的关联下文，下文与意图的关联关系检测也即下文关系检测，是智能客服的重要功能。本领域通常利用深度匹配模型来检测下文与意图的关联关系，然而目前的深度匹配模型在对用户意图与下文信息进行匹配以检测下文信息与用户意图之间的关联关系时，通常都存在对意图信息与下文信息匹配不充分、匹配准确度差的问题，这相应会导致影响智能客服的下文关系检测能力。
发明内容
有鉴于此，本申请的目的在于提供一种基于人工智能的下文关系检测方法、装置及计算机设备，以通过对用户意图与下文信息进行全局交互及局部匹配这两种不同模式的语义匹配，来解决用户意图与下文信息匹配不充分、匹配准确度差的问题，进而提升智能客服等系统的下文关系检测能力。
为实现上述目的，一方面，本申请提供了一种基于人工智能的下文关系检测方法，该方法包括：
获取意图句与待检测的下文句；
提取所述意图句的第一表征信息与所述下文句的第二表征信息；
对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况；
提取所述第二表征信息的局部特征；
对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况；
基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
又一方面，本申请还提供了一种基于人工智能的下文关系检测装置，该装置包括：
获取单元，用于获取意图句与待检测的下文句；
第一提取单元，用于提取所述意图句的第一表征信息与所述下文句的第二表征信息；
全局交互处理单元，用于对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况；
第二提取单元，用于提取所述第二表征信息的局部特征；
局部匹配处理单元，用于对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况；
确定单元，用于基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
再一方面，本申请还提供了一种计算机设备，该计算机设备包括：
存储器，用于存储计算机可执行指令；
处理器，用于加载并执行所述计算机可执行指令，所述计算机可执行指令在被加载并执行时至少能用于实现如上所述的方法。
由以上方案可知，本申请提供的基于人工智能的下文关系检测方法、装置及计算机设备，对意图句与待检测的下文句进行了全局交互与局部匹配这两种不同模式的语义匹配，这样，不仅能够从全局层面(即整句级别)捕获用户意图与下文信息的语义匹配信息，还能够从句子的局部特征层面捕获用户意图与下文信息的语义匹配信息，从而可以使得将用户意图与下文信息基于多种匹配模式进行较为充分的语义匹配，提升了用户意图与下文信息间的匹配准确度，有效解决了目前的技术中用户意图与下文信息匹配不充分、匹配准确度差的问题，相应能够提升智能客服等系统的下文关系检测能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请可选实施例中将本申请方法应用于终端设备时的场景示意图；
图2是本申请可选实施例中将本申请方法应用于服务器时的场景示意图；
图3是本申请可选实施例中计算机设备的一种结构示意图；
图4是本申请可选实施例中基于人工智能的下文关系检测方法的一种流程示意图；
图5是本申请可选实施例中对意图句与下文句进行多模式匹配交互的处理逻辑示意图；
图6是本申请可选实施例中基于人工智能的下文关系检测方法的另一种流程示意图；
图7是本申请可选实施例中对意图类别与下文句进行多模式匹配交互的处理逻辑示意图；
图8是本申请可选实施例中意图句与下文句的下文关系示意图；
图9是本申请可选实施例中的数据集构造流程图；
图10是本申请可选实施例中语义匹配模型的模型结构示意图；
图11是本申请可选实施例中Transformer编码器的结构示意图；
图12是本申请可选实施例中全局交互模式对应的处理逻辑示意图；
图13是本申请可选实施例中局部匹配模式对应的处理逻辑示意图；
图14是本申请可选实施例中语义匹配模型的合并层的结构图；
图15是本申请可选实施例中基于训练集的各模型的损失值loss对比图；
图16是本申请可选实施例中基于测试集的各模型的准确率对比图；
图17是本申请可选实施例中基于人工智能的下文关系检测装置的一种结构示意图；
图18是本申请可选实施例中基于人工智能的下文关系检测装置的另一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请涉及自然语言处理技术，自然语言处理(Nature Language processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。而本申请具体涉及到语义理解技术。
下文关系检测是智能客服的重要功能，非常具有技术挑战性。下文关系检测，本质上在于检测下文与意图的关联关系，本领域通常利用深度匹配模型来检测下文与意图的关联关系，很多深度匹配模型都是表征匹配方式，其思想是针对意图句与下文句，将整个句子以单一的分布表示(即，对意图句与下文句进行分布表示时只考虑两个句子间独立编码成句向量，没有考虑句子间的特征交互)为句向量，然后计算两个句向量的相似性，这种模式结构简单，很容易在将复杂的句子变成一个句向量时丢失重要的信息。因此，学术界提出侧重于采用多语义文档表达和建模匹配模式的深度学习模型来克服表征匹配方式的模型缺陷。
但，本申请的发明人经研究发现，上述的多语义文档表达和建模匹配模式的深度学习模型仍然存在着一些缺点，举例来说，比如，有的模型缺乏对于细微匹配关系(如字粒度、词粒度或局部词粒度的细微匹配关系等)的捕捉，无法精确匹配；而有的模型则只关注文本间局部匹配问题，缺少对整体上的语义捕获能力。这些缺陷会导致影响模型的匹配准确度，进而影响了智能客服的下文关系检测能力。本申请正是基于目前技术的上述缺陷，提出了一种基于人工智能的下文关系检测方法、装置及计算机设备，以用于克服现有技术的缺陷。
作为本申请实施例的一个方面，本申请提供了一种基于人工智能的下文关系检测方法，该方法主要通过对用户意图与下文信息进行全局交互及局部匹配这两种不同模式的语义匹配，来解决用户意图与下文信息匹配不充分、匹配准确度差的问题，进而提升智能客服、智能机器人等系统的下文关系检测能力。
本申请的基于人工智能的下文关系检测方法可以应用于下文检测场景中，具体地说，比如可以但不限于应用于基于智能客服、智能机器人的智能问答、智能会话交互或智能控制等场景中的下文检测场景，且该方法具体可应用于处于该场景中的计算机设备中，可选的，该计算机设备可以是服务器，如部署在网络端的用于提供智能问答/智能会话交互/智能控制服务的服务器等，或者该计算机设备还可以是移动端或PC端终端设备，如智能手机、智能机器人、平板电脑、笔记本、一体机、台式机等，执行本申请方法的执行主体可以是多样化的，本申请实施例对此不作限定。
在智能客服、智能机器人的智能问答、智能会话交互或智能控制等场景中，若将本申请的基于人工智能的下文关系检测方法应用于该场景中的移动端或PC端终端设备，如图1所示，可采用移动端/PC端应用程序(App)或设备本地功能等形式对本申请方法的处理逻辑加以实施，在该实现形式中，具体可将本申请方法的处理逻辑封装为功能模块并集成在移动端/PC端应用程序中或设备操作系统中，从而，在此基础上，用户可通过移动端/PC端应用程序(App)或设备本地功能与终端设备进行多轮会话交互，终端设备在获得用户的会话输入后，可利用本申请方法的处理逻辑对用户的会话输入进行意图下文关系检测，进而基于检测结果确定用户诉求以展开相应智能应用，如基于用户诉求进行解疑给出解答答案或进行智能控制等等。
若将本申请的基于人工智能的下文关系检测方法应用于该场景中的服务器中，如图2所示，可采用服务器服务的形式对本申请方法的处理逻辑加以实施，在该实现形式中，具体可将本申请方法的处理逻辑封装为一子服务并集成在服务器的智能问答、智能会话交互或智能控制等服务中，且可在移动端/PC端提供一与该包括上述子服务的智能问答服务/智能会话交互服务/智能控制服务相匹配的客户端应用程序，如web应用程序等，这样，当用户在移动端/PC端侧通过客户端应用程序如web应用程序与服务器侧的上述智能问答服务/智能会话交互服务/智能控制服务进行多轮会话交互时，参阅图2，服务器侧的智能问答服务/智能会话交互服务/智能控制服务可利用封装有本申请方法处理逻辑的子服务对用户的会话输入进行意图下文关系检测，进而基于子服务的检测结果确定用户诉求以展开相应智能应用，如基于用户诉求生成解疑答案并反馈至用户侧web应用程序，或者，对用户诉求对应的目标设备进行智能控制等。
需要说明的是，基于智能客服、智能机器人的智能问答、智能会话交互或智能控制等，通常是借助已训练好的处理模型来执行相关处理，由此，本申请方法还可以应用于智能问答、智能会话交互或智能控制等应用场景的预处理阶段的模型训练中。
参阅图3，其示出了本申请方法在上述应用场景中所适用的计算机设备的一种组成结构示意图。该计算机设备同时为本申请作为另一个方面所公开的上述计算机设备，如图3所示，该计算机设备可以包括：处理器301和存储器302。当然，还可以包括通信接口303、输入单元304、显示器305和通信总线306。
其中，处理器301、存储器302、通信接口303、输入单元304及显示器305，均通过通信总线306完成相互间的通信。
在本申请实施例中，该处理器301，可以为中央处理器(Central ProcessingUnit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。
该处理器301可以调用存储器302中存储的程序。
存储器302中用于存放一个或者一个以上程序，程序可以包括程序代码，所述程序代码包括计算机操作指令(计算机可执行指令)，在本申请实施例中，该存储器302中至少存储有用于实现以下功能的程序：
获取意图句与待检测的下文句；
提取所述意图句的第一表征信息与所述下文句的第二表征信息；
对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况；
提取所述第二表征信息的局部特征；
对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况；
基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
在一种可能的实现方式中，该存储器302可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、以及至少一个功能(比如声音播放功能、图像播放功能等)所需的应用程序等；存储数据区可存储根据计算机的使用过程中所创建的数据，比如，用户数据、用户访问数据以及音频数据等等。
此外，存储器302可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
通信接口303可以为通信模块的接口，如GSM模块的接口。
输入单元304可以为触摸感应单元、键盘等等。显示器305可以包括显示面板，如触摸显示面板等。
当然，图3所示的终端设备结构并不构成对本申请实施例中终端设备的限定，在实际应用中该终端设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。
以下将基于本申请实施例涉及的上述共性方面，对本申请实施例进一步详细说明。如图4所示，为本申请一可选实施例提供的一种基于人工智能的下文关系检测方法的流程示意图，该方法包括：
步骤S401、获取意图句与待检测的下文句。
在智能客服领域中，用户一般都是有针对性地、基于一鲜明的意图来启动一场会话，每场会话通常包括多轮交互，交互轮次较少的会话往往意图比较单一，并且首句能确定用户意图的概率较高，而对于交互轮次较多的会话，即使未能从首句中确定出用户意图，通常来说，也可以从前几轮次的会话中确定出用户意图。由此，针对下文检测场景，具体可从一场会话的首句或前几轮次的会话句中确定出用户意图，并相应获取用户意图所在的意图句。
当针对一场会话确定出用户意图后，剩余的会话主要是围绕意图进行，会话之间基本无下文关系，因而只需要检测意图句和其下文的各会话句间的关联关系即可。本步骤S401中，所述待检测的下文句则相应地可以是所述意图句的下文的任一会话句，当然该会话句是用户输入的会话(而非智能客服或机器人反馈给用户的会话)。
所指定的某一意图句与某一待检测下文句的关联关系，具体是指该下文句是否是该指定的意图句的关联下文。为便于理解，以下具体说明，比如对于给定的意图“手机刷机”，那么对于其下文的会话句子：下文句(1)——“我不会刷机怎么办？”、下文句(2)——“怎样才能成功地对手机进行刷机呢？”、下文句(3)——“今天天气不错哦”、下文句(4)——“请帮我查一下刷机步骤”，则根据各下文句与意图句实际表达的语义，可以知道下文句(1)、(2)、(4)为意图“手机刷机”的关联下文，下文句(3)则不是意图“手机刷机”的关联下文。
步骤S402、提取所述意图句的第一表征信息与所述下文句的第二表征信息。
其中，首先可对所述意图句与所述下文句进行分词，并提取所述意图句的各个词特征与所述下文句的各个词特征，得到所述意图句的第一词特征序列与所述下文句的第二词特征序列。之后，对所述第一词特征序列进行向量化处理得到第一词特征向量，对所述第二词特征序列进行向量化处理得到第二词特征向量。
在对所述意图句的第一词特征序列以及所述下文句的第二词特征序列进行上述的向量化处理、得到意图句的第一词特征向量以及下文句的第二词特征向量后，进一步对所述第一词特征向量进行编码处理得到第一编码向量，对所述第二词特征向量进行编码处理得到第二编码向量；其中，经所述编码处理后所得的编码向量中的词向量维度与被编码的特征向量中的词向量维度相同。编码所得的所述第一编码向量作为所述意图句的第一表征信息，所得的所述第二编码向量作为所述下文句的第二表征信息，两者共同参与后续的全局交互处理。
可选地，具体实施本申请时可采用Transformer编码器对所述意图句的第一词特征向量以及所述下文句的第二词特征向量进行编码处理。
步骤S403、对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况。
可选地，本实施例采用注意力机制(attention机制)对意图句的第一表征信息与下文句的第二表征信息进行全局交互，也即，采用注意力机制对意图句经Transformer编码后所得的第一编码向量以及下文句经Transformer编码后所得的第二编码向量进行全局交互，相应可得到全局交互向量，该全局交互向量即作为所述全局交互结果。
该交互本质上属于对句子在全局层面(整句级别)的表征交互，能够从全局层面(整句级别)捕获用户意图与下文信息的语义匹配信息，从而，相对应地，所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况。
步骤S404、提取所述第二表征信息的局部特征。
发明人经研究发现，意图句经Transformer编码后所得的第一编码向量与下文句经Transformer编码后所得的第二编码向量具有不同的特性，其中，第一编码向量体现的是意图的语料分布，第二编码向量则体现意图下的下文语料分布，同一意图的不同意图语料间是具有共性的(例如体现同一意图的不同意图句往往包含相同的关键词或相同的关键特征)，而下文语料则是发散的，同一意图的不同下文语料则类别很多，可能有多种多样的表达形式，同时考虑到在语言多义的挑战下应能结合不同上下文对局部化信息加以区分(而意图句由于通常为首句或前几轮次的会话句，一般不存在该情况，这方面需求不强烈)，鉴于该特点，对于下文句来说则其相比于意图句需要更丰富的特征表达。
针对该情况，本申请实施例在对下文句进行transformer编码后，进一步提取所述下文句在transformer编码后所得的第二编码向量(也即所述第二表征信息)的局部特征，通过结合全局层面以及局部层面的特征实现对下文句的更丰富的特征表达。其中，作为一种可选的实施方式，具体可捕获下文句在经transformer编码后所得的第二编码向量的ngram特征，并将该ngram特征作为所述下文句的第二表征信息的局部特征。
其中，在对所述第二编码向量进行ngram特征提取时，具体可对所述第二编码向量进行至少一次卷积操作，得到所述第二编码向量对应的至少一个下文编码向量。
需要说明的是，不同次的卷积操作对应不同的卷积核尺寸，每一个下文编码向量对应包括所述下文句的一类局部特征，不同的下文编码向量对应包括所述下文句的不同类局部特征，这样，在通过对所述第二编码向量进行至少一次卷积操作后，可得到下文句的至少一类局部特征，也即至少一类ngram特征。
而对于意图句，鉴于意图句的上述特点，仅对其进行transformer编码，而不再对其在transformer编码的基础上进一步进行局部特征提取，也即，本申请对上下文(这里，上文指意图句，下文指待检测的下问句)采用不同的编码结构，其中仅对上文进行transformer编码，而对于下文则在transformer编码基础上，继续对其进行ngram等局部特征提取，并将上文也即意图句经transformer编码后所得的第一编码向量以及下文句经transformer编码与卷积操作后所得的ngram等局部特征共同参与后续的局部匹配处理。
步骤S405、对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况。
前文所述的全局交互可从全局层面(整句级别)捕获用户意图与下文信息的语义匹配信息，为了进一步捕获两者语义间的细微匹配关系，尽可能充分地对意图句与下问句所表征的用户意图与下文信息进行语义匹配，本申请实施例中，继续从局部特征层面对意图句与下文句进行局部匹配处理。
在从局部特征层面对意图句与下文句进行局部匹配处理时，本实施例鉴于第一编码向量与第二编码向量各自的上述特点，具体对意图句经transformer编码后所得的所述第一编码向量与下文句经transformer编码与卷积操作后所得的ngram等局部特征进行局部匹配处理，而并非对第一编码向量的局部特征与第二编码向量的局部特征进行局部匹配处理，这样，通过根据上下文的不同特点对上下文进行差异性编码以及差异性编码基础上的局部匹配处理，既能充分捕获句子间的细微语义信息，又能避免一些不必要的处理。
下问句的第二编码向量的局部特征具体体现为至少一个下文编码向量(也即对应至少一类局部特征)，针对下文句对应的至少一个下文编码向量，本实施例构建每一个下文编码向量与所述第一编码向量的匹配矩阵，得到至少一个匹配矩阵，并对所述至少一个匹配矩阵中的每个匹配矩阵进行卷积操作和池化操作，得到至少一个局部匹配向量。其中，所述至少一个局部匹配向量即为所述局部匹配结果，能够用于表征所述意图句与所述下文句的局部语义相似情况。
步骤S406、基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
在对意图句与上文句进行以上的全局交互处理及局部匹配处理后，最终可综合所述全局交互处理所得的全局交互结果以及所述局部匹配处理所得的局部匹配结果，确定所述下文句与所述意图句之间的关联关系，也即，确定所述下文句是否为所述意图句的关联下文。
具体地，可对作为所述全局交互结果的所述全局交互向量与作为所述局部匹配结果的所述至少一个局部匹配向量进行组合处理，得到组合向量，并基于所述组合向量确定所述下文句与所述意图句之间的关联关系，该关联关系能够表征所述待检测的下文句是否为所述意图句的关联下文。
参阅图5，图5提供了一对应于上述的下文关系检测过程的、对意图句与下文句进行多模式匹配交互的处理逻辑示意图。
由以上方案可知，本申请实施例提供的基于人工智能的下文关系检测方法，对意图句与待检测的下文句进行了全局交互与局部匹配这两种不同模式的语义匹配，这样，不仅能够从全局层面(即整句级别)捕获用户意图与下文信息的语义匹配信息，还能够从句子的局部特征层面捕获用户意图与下文信息的语义匹配信息，从而可以使得将用户意图与下文信息基于多种匹配模式进行较为充分的语义匹配，提升了用户意图与下文信息间的匹配准确度，有效解决了目前的技术中用户意图与下文信息匹配不充分、匹配准确度差的问题，相应能够提升智能客服等系统的下文关系检测能力。
在本申请实施例的一可选实施方式中，参阅图6示出的所述基于人工智能的下文关系检测方法的另一流程图，该方法还可以包括：
步骤S407、获取意图句类别与待检测的下文句，通过对所述意图句类别与所述下文句进行全局交互处理及局部匹配处理，确定所述下文句与所述意图句类别之间的关联关系。
在本申请的上述实施例中，说明了通过对上下文多层次的匹配交互(全局层面的全局交互及局部特征层面的局部匹配)和差异性编码方式，进行针对意图的下文关系检测的具体实现过程，而该实现方式同样能够适用于针对意图类别的下文关系检测中。
意图类别，顾名思义，指意图所属的类别，同一意图类别下可以有多个不同的意图，以多个不同的意图“华为手机刷机”、“小米手机刷机”、“华为某一型号的手机刷机”为例，可以将这多个不同的意图大致归类为属于“手机刷机”或“刷机”等类别。
在针对意图类别进行下文关系检测时，同样可结合采用全局交互及局部匹配这两种不同模式的语义匹配来实现意图类别与下文句之间的交互匹配，并可对意图类别与下文信息进行差异化编码，其中，与针对意图句和下文句的差异性编码相类似，这里，仅利用Transformer编码器对意图类别进行编码，也即Transformer编码，而对于下文句，则在利用Transformer编码器对其进行Transformer编码得到下文句的第二编码向量(第二表征信息)的基础上，进一步对下文句的第二编码向量进行至少一次卷积操作，以提取其ngram等局部特征，该过程具体可参阅前文中对意图句与下文句的差异化编码的相关描述，这里不再赘述。
与针对意图的下文关系检测所不同的是，在具体实施中，对于针对意图类别的下文关系检测，需提取意图类别的第三表征信息来参与与下文句之间的全局交互及局部匹配。且可选地，实际实施本申请时，在对多个不同意图句进行Transformer编码的基础上，具体可利用一预先构建的分类结构将所述多个不同意图句的Transformer编码结果作为该结构的输入来学习多个不同的意图句的类别表征信息，该类别表征信息即为意图类别的第三表征信息。后续可将该第三表征信息与下文句的第二表征信息进行全局交互，以及将该第三表征信息与下文句的第二表征信息的局部特征进行局部匹配，以此实现基于两种不同的交互匹配模式并结合上下文的差异化编码进行针对意图类别的下文关系检测。关于针对意图类别的下文关系检测的更详细的实现细节，其是与前文的针对意图的下文关系检测过程相类似的，具体可参阅前文中对意图下文关系检测的相关说明，此处不再赘述。
参阅图7，图7提供了一对应于上述的下文关系检测过程的、对意图类别与下文句进行多模式匹配交互的处理逻辑示意图。
本实施例对意图类别与待检测的下文句进行了全局交互与局部匹配这两种不同模式的语义匹配，这样，不仅能够从全局层面捕获意图类别与下文信息的语义匹配信息，还能够从句子的局部特征层面捕获意图类别与下文信息的语义匹配信息，从而可以使得将意图类别与下文信息基于多种匹配模式进行较为充分的语义匹配，提升了意图类别与下文信息间的匹配准确度。
可选地，在实施本申请方法时，可利用本申请方法训练、构建一具备下文关系检测能力的语义匹配模型，后续则可利用该语义匹配模型通过对上下文多层次的匹配交互(全局层面的全局交互及局部特征层面的局部匹配)和差异性编码方式，实现对意图的下文关系检测。
为进一步方便对本申请方法进行理解，下面从训练、构建一具备下文关系检测能力的语义匹配模型并利用该模型进行意图下文关系检测的角度，来提供本申请的基于人工智能的下文关系检测方法的一应用示例。
目前，经过近几年智能客服、智能机器人的运营，本领域已经积累了大量高质量的意图识别的数据，但意图与下文的语句对还不够充分。本申请的发明人通过对大量的线上用户会话数据进行分析挖掘，发现大部分会话具有三大特性：
(1)交互轮次较少的会话往往意图比较单一，并且首句能确定用户意图的概率较高；
(2)当会话确定用户意图后，剩余的会话主要是围绕意图进行，会话之间基本无下文关系，因而只需要检测意图句和其余会话的关联关系；
(3)相同意图下，用户意图句可以具有相同的下文集合，如图8所示。
如图8中a所示，对具有相同意图Intent1的会话进行分析，抽取了三个意图与下文的句子对，即Sent1_1->Context1_1、Sent1_2->Context1_2、Sent1_3->Context1_3，但是这种收集方法可能会忽略某些情况，如Sent1_1->Context1_2句子对，从而会使得样本不够充分。为使得样本收集更为充分，本实施例按照图8中b所示的情况，即相同意图的Intent1下所有的意图句{Sent1_1，Sent1_2，Sent1_3}都具有下文集合{Context1_1，Context1_2，Context1_3}进行模型训练时的样本准备。
针对线上数据的以上三个特性，本实施例选择首句能确定用户意图的会话来构造语义匹配模型的训练数据，其中可选择性地采用人工复核的方式对部分数据进行修正。
具体数据构造流程可参阅图9所示，本实施例基于图9构建了下文关系检测的正负样本集，其中用户意图的下文正样本为会话中意图真实的关联下文，下文负样本为其他意图的关联下文。通过对线上会话数据进行会话筛选、数据预处理、意图样本均衡采样、按1:5划分正负样本等流程，在5896个用户意图下共构建了700w正负样本对。
在完成正负样本集构建的基础上，可进一步将样本集作为训练数据来构建具有下文关系检测能力的语义匹配模型。
本实施例具体使用基于Transformer的语义匹配模型对数据进行建模训练。
如图10所示，训练、构建的该语义匹配模型主要分为输入层，编码层(Encoderlayer)、匹配层(Match layer)、语义组合层(SemanticAggregate Layer)、输出层等几个模块。
以下将对该语义匹配模型的各个层结构进行详细说明。其中：
(1)输入层
对于用户意图输入意图句X的第一词特征序列X＝{x1,x2,...,xi},i＝1...n；对于下文输入下文句C的第二词特征序列C＝{c1,c2,...,ci},i＝1...m，其中，xi表示用户意图句X的第i个词特征，ci表示下文句C的第i个词特征。
之后，利用相应的向量化工具对输入的意图句X及下问句C进行向量化处理，可选地，如可通过Ngram2vec训练得到的词向量对意图句X及下问句C进行词语的Embedding，其中X,C是在相同的领域语料中具有相同的数据分布，因此采用相同维度的词向量对其进行向量化，分别得到意图句X的第一词特征向量XE＝{xe1,xe2,...,xei},i＝1...n及下文句C的第二词特征向量CE＝{ce1,ce2,...,cei},i＝1...m，其中xei,cei∈Rd，d为词向量的维度，Rd表示维度为d的词向量集合，在本实施例中，d为一预先规定的维度数值，该维度数值在具体实施中是可选的。
(2)编码层
使用Transformer编码器对XE和CE进行编码，在编码器中，如图11所示，XE和CE分别使用权重不共享的两层Transformer结构，每一层又有两个子层。第一个子层是一个Multi-headAttention(多头注意力)层，第二个子层是一个简单的全连接前馈网络。在两个子层外面都添加了一个residual的连接，然后基于该连接进行了Layer Normalization(层归一化)的操作，也即若将XE或CE编码时对应的两层Transformer结构理解为四个子层的话，则本质上相当于在第二个子层与第四个子层之间建立了residual的连接，并基于该连接利用第二个子层对第四个子层的结果进行了调整，最终将调整后的结果输出至匹配层。模型所有的子层以及Embedding(向量化)层的输出维度(也即词特征向量/词向量的维度)都是一样的，经编码层的编码处理后分别得到XE和CE的编码向量，也即意图句的第一编码向量XSE＝{xse1,xse2,...,xsei},i＝1...n，以及下文句的第二编码向量CSE＝{cse1,cse2,...,csei},i＝1...m，其中xsei,csei∈Rd。
考虑到在本申请的场景应用(识别意图与下文的关联)中，XSE和CSE具有不同的特性，其中，XSE为意图的语料分布，CSE为意图下的下文语料分布，意图语料CSE间具有共性(其分布相近)，而CSE是下文语料则类别很多，需要更丰富的特征表达。因此本实施例对上文也即意图句X仅进行transformer编码，而对下文也即下文句C，在对其进行transformer编码后为了捕获其ngram的特征，继续多次使用不同fliter_size(卷积核尺寸)的卷积核对下文句C的CSE进行卷积操作，得到多个ngram的下文特征，其中，具体地，对CSE分别进行L次卷积操作，得到L个卷积后的下文编码向量CSE_convi,i＝1...L，即CSE_convi＝Conv(CSE,filteri)，其中filteri为卷积核的size，模型中选用1×d、2×d、4×d等三个维度，也即相当于L＝3，每个卷积操作的输出通道为词嵌入维度d(也即词向量维度)，有其中outi为经第i个卷积核filteri的卷积操作后得到的特征图的宽度(即指上文中1×d、2×d、4×d中的1、2、4)。
(3)匹配层
在匹配层中，用户意图和下文编码向量需要进行充分交互来提升对句子的关键信息的捕获能力，本模型从全局交互(表征交互)和局部匹配(匹配矩阵交互)两个层次构建多种匹配模式，以此进一步解决模型匹配不充分的问题，其中，全局交互模式及局部匹配模式具体请分别参阅图12和图13所示。
在图12所示的全局交互(表征交互)模式中，对两种经Transformer编码后所得的编码向量XSE、CSE通过注意力机制(attention机制)进行交互，更具体地，参阅以下的表征交互操作式(1)-(5)。模型中使用Multi-head Attention(多头注意力机制)方式进行交互，其中，通过式(1)和式(2)得到两个句向量XSE_att和CSE_att：
XSE_att＝MultiHead(XSE,CSE,CSE) (1)
CSE_att＝MultiHead(CSE,XSE,XSE) (2)
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO (3)
headi＝Attention(QWi Q,KWi k,VWi v) (4)
在以上各式中，Mutihead()表示基于多头注意力机制的表征交互操作，XSE_att表示上文对下文的交互向量，XSE_att表示下文对上文的交互向量，Q、K、V为基于多头注意力机制的表征交互操作的三个输入变量，Wi Q、Wi k、Wi v分别为Q、K、V对应的权重，dk表示词向量维度，Wi o表示一个线性变换，主要是通过该向量改变输出向量的维度，在Multi-headAttention中Q，K和V会经过式(4)的一次线性变换，随后作为式(5)的dot-attention(也即式(5)对应的操作，dot-attention是点乘注意力机制，用于获取句子1对句子2的注意力权重)的输入，这种操作要进行h(即Multi-head的取值)次，每次Q，K，V进行线性变换的权重参数W是不一样的。最后将h次的dot-attention结果进行拼接并再经线性变换得到Multi-head Attention的值，也即XSE_att和CSE_att，本实施例中，可选地将所述模型中的h设为8。
除了使用多头注意力机制(Multi-head Attention)对意图句与下文句进行句子间的表征交互，模型同时还使用多个句子匹配矩阵方式在句子间进行局部特征层面的匹配交互，参阅图13示出的多层句子匹配矩阵结构，在目前的匹配矩阵交互模式中，通常是构建词与词之间的匹配矩阵，考虑的也只是词与词之间的相似度关系，而本申请中在模型中考虑词与词ngram特征间的匹配关系(该方式由于采用下文句的ngram特征参与交互，充分结合了下文句的上下文信息，考虑了上下文中局部化信息的重要性，在语言多义的挑战下，可有效将局部化信息与全局化信息进行有效地整合利用)，在下文句的第二编码向量CSE中使用多个卷积操作，提取其局部特征，并把每类局部特征与意图句的第一编码向量XSE构建匹配矩阵，最后对所有的匹配矩阵进行卷积、池化操作，得到每个匹配矩阵的向量表征，其具体步骤如下：
a、将XSE∈Rn×d分别和构建匹配矩阵，其中，Rn×d中的n表示意图句中词向量的个数，n表示词向量的维度，Rn×d表示XSE对应的将词向量维度展开后的编码向量矩阵，中的outi即指上文中1×d、2×d、4×d中的1、2、4，d指词向量的维度，即指L个(本示例中L＝3)下文编码向量。匹配函数可以是非线性方式、cosine函数方式或dotproduct函数方式，经构造得到L个匹配矩阵其中非线性匹配函数为MMi＝σ(XSE·ω·CSE_convi)，ω∈Rd×d，σ为sigmoid函数；cosine匹配函数为dotproduct匹配方式为MMi＝XSETCSE_convi。
b、分别对L个匹配矩阵进行卷积和池化操作，模型构建两层卷积操作(每个匹配矩阵均要经过两层卷积操作)，卷积核大小分别为5X5和3X3(基于5X5卷积核大小的卷积操作的输出为基于3X3卷积核大小的卷积操作的输入)，随后经步长为1X1的最大池化操作、平铺操作、线性映射操作，最后得到L个输出向量OPi＝MLP(max-pool(conv(MMi))),OPi∈Rd，该L个输出向量即为局部匹配的局部匹配结果。
(4)组合层
经全局交互及局部匹配后得到两个Attention交互向量(全局交互结果)XSE_att∈Rn×d和CSE_att∈Rm×d以及L个匹配矩阵向量(局部匹配结果)OPi,i＝1...L，其中，m表示下文句中词向量的个数，在组合层也即图14所示的aggregate层将匹配层得到的以上各向量进行组合，并通过2层MLP(Multi-Layer Perception，多层感知器)映射到输出层。
如图14所示，对于XSE_att和CSE_att使用Self-attention结构(自注意力结构)利用以下的自注意力操作式(6)(7)进行组合，将词向量组转换为句向量XSE_out∈Rd、CSE_out∈Rd：
a＝softmax(Q·W) (6)
SelfAttention(Q)＝aTQ (7)
其中XSE_out＝SelfAttention(XSE_att)，CSE_out＝SelfAttention(CSE_att)，W∈Rd×1，这里，W表示一个权重，将矩阵映射为向量，随后在该向量上进行归一化的权重计算；在得到XSE_out和CSE_out后，通过连接方式与OPi,i＝1...L进行连接，得到组合向量Agg＝[XSE_out:CSE_out:OPi:...:OPL]，有Agg∈R(L+2)d，其中，带(L+2)d维的向量即句向量，最后经过两层激活函数为Sigmoid的MLP层得到语义匹配的输出向量S_out以及对应的损失值S_loss。
其中，所述输出向量S_out具有两个维度，一个维度表示下文句属于意图句的关联下文的概率，另一个维度表示下文句不属于意图句的关联下文的概率，通常这两个维度的和值为1，输出向量S_loss的值表示模型输出的结果与实际关联关系(下文句与意图句的实际关联关系)的偏差，在模型训练过程中，可基于该损失值S_loss不断对模型进行调参(如调整模型中涉及的各权重等)，以不断优化模型，最终得到符合准确度要求的语义匹配模型。
在通过对样本集进行训练，从而构建了一语义匹配模型后，当存在对意图的下文关系检测需求时，可利用构建好的该语义匹配模型通过对上下文多层次的匹配交互和差异性编码方式，充分的捕获句子间的语义信息，最终实现对意图的下文关系检测。
为了验证基于本申请方法提出的上述语义匹配模型的有效性，发明人从两个方面进行了大量的对比实验。
通过对比实验，一方面验证本申请的上述语义匹配模型的有效性，另一方面是验证该模型在智能客服场景中的实际效果。
其中，在有效性验证中，在开放测评数据集QuoraQP上将本申请的上述语义匹配模型与现有的DSSM、ARC-I、ARC-II、MatchPyramid、QACNN、MV-LSTM、ESIM、ABCNN-3等模型进行对比实验，其对比结果如图15-16和表1所示，其中，图15为各模型的训练集损失值(loss)对比图，图16为各模型的测试集准确率对比图，表1为测试集最优准确率和F1对比表：
表1
模型 Accuracy F1
DSSM 0.770 0.651
ARC-I 0.774 0.671
ARC-II 0.799 0.686
MatchPyramid 0.812 0.752
SiameseCNN 0.754 0.609
MV-LSTM 0.819 0.752
ABCNN-3 0.801 0.723
ESIM 0.805 0.724
Ours model 0.832 0.784
从图15-16和表1中可以确定出，在QuoraQP测评数据集上，本申请的上述语义匹配模型是表现最优的，比效果较好的MatchPyramid和MV-LSTM模型在准确率上有1-2％的提升，并且在F1(F1是对准确度和召回率的综合评价指标)上具有3-4％的提升，有效证明了本申请的上述语义匹配模型的有效性。
在应用效果的验证中，使用本申请的语义匹配模型对上下文进行检测，从历史对话语料中按照本申请的前文部分所描述的语料构建方法，构建了700w的训练语料，正负样本对比例为1:5，测试样本数据为2W条，正负样本对比例为1:9，相比其他模型，本申请的语义匹配模型能够在准确率上有所提升，具体结果如表2(各模型在智能客服的下文关系检测效果对比表)所示：
表2
通过表2中的实验结果发现，在智能客服场景中，本申请的上述语义匹配模型相比于现有常用的语义匹配模型效果均有所提高，F1上大约有7％左右的提升。
需要说明的是，对意图类别的下文关系检测与对意图的下文关系检测是类似的，区别仅在于参与全局交互与局部匹配的是意图类别的表征信息而非意图的表征信息，针对该区别，在构建针对意图类别的下文关系检测的语义匹配模型并利用该模型对意图类别进行下文关系检测时，适应性地对上述的针对意图下文检测的处理过程进行调整即可，这里不再详述。
另一方面，本申请还提供了一种基于人工智能的下文关系检测装置。
参阅图17，其示出了本申请中基于人工智能的下文关系检测装置的一种结构示意图，该装置具体可应用于服务器或移动端/PC端终端设备等计算机设备中，其中，本申请装置所适用的该计算机设备的组成结构可以参阅前文的相关介绍，这里不再赘述。
如图17所示，本申请实施例的基于人工智能的下文关系检测装置可以包括：
获取单元1701，用于获取意图句与待检测的下文句；
第一提取单元1702，用于提取所述意图句的第一表征信息与所述下文句的第二表征信息；
全局交互处理单元1703，用于对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况；
第二提取单元1704，用于提取所述第二表征信息的局部特征；
局部匹配处理单元1705，用于对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况；
确定单元1706，用于基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
在本申请实施例的一可选的实施方式中，所述第一提取单元1702具体用于：
提取所述意图句的各个词特征与所述下文句的各个词特征，得到所述意图句的第一词特征序列与所述下文句的第二词特征序列；
对所述第一词特征序列进行向量化处理得到第一词特征向量，对所述第二词特征序列进行向量化处理得到第二词特征向量；
对所述第一词特征向量进行编码处理得到第一编码向量，对所述第二词特征向量进行编码处理得到第二编码向量；经所述编码处理后所得的编码向量中的词向量维度与被编码的特征向量中的词向量维度相同；
其中，所述第一编码向量为所述意图句的第一表征信息，所述第二编码向量为所述下文句的第二表征信息。
在本申请实施例的一可选的实施方式中，所述全局交互处理单元1703具体用于：
采用注意力机制对所述第一编码向量与所述第二编码向量进行全局交互处理，得到全局交互向量，所述全局交互向量为所述全局交互结果。
在本申请实施例的一可选的实施方式中，所述第二提取单元1704具体用于：
对所述第二编码向量进行至少一次卷积操作，得到所述第二编码向量对应的至少一个下文编码向量；
其中，不同次的卷积操作对应不同的卷积核尺寸，每一个下文编码向量对应包括所述下文句的一类局部特征，不同的下文编码向量对应包括所述下文句的不同类局部特征。
在本申请实施例的一可选的实施方式中，所述局部匹配处理单元1705具体用于：
构建每一个下文编码向量与所述第一编码向量的匹配矩阵，得到至少一个匹配矩阵；
对所述至少一个匹配矩阵中的每个匹配矩阵进行卷积操作和池化操作，得到至少一个局部匹配向量，所述至少一个局部匹配向量为所述局部匹配结果。
在本申请实施例的一可选的实施方式中，所述确定单元1706具体用于：
对所述全局交互向量与所述至少一个局部匹配向量进行组合处理，得到组合向量；
基于所述组合向量确定所述下文句与所述意图句之间的关联关系。
在本申请实施例的一可选的实施方式中，参阅图18示出的基于人工智能的下文关系检测装置的另一种结构示意图，该基于人工智能的下文关系检测装置还可以包括：
意图类别下文检测单元1707，用于获取意图句类别与待检测的下文句，通过对所述意图句类别与所述下文句进行全局交互处理及局部匹配处理，确定所述下文句与所述意图句类别之间的关联关系。
对于本申请实施例公开的基于人工智能的下文关系检测装置而言，由于其与前文任一实施例公开的基于人工智能的下文关系检测方法相对应，所以描述的比较简单，相关相似之处请参见前文实施例中基于人工智能的下文关系检测方法部分的说明即可，此处不再详述。
再一方面，本申请还提供了一种存储介质，该存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现如上任意一个实施例中所描述的基于人工智能的下文关系检测方法。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种基于人工智能的下文关系检测方法，其特征在于，包括：
获取意图句与待检测的下文句；
提取所述意图句的第一表征信息与所述下文句的第二表征信息；
对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况；
提取所述第二表征信息的局部特征；
对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况；
基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
2.根据权利要求1所述的方法，其特征在于，所述提取所述意图句的第一表征信息与所述下文句的第二表征信息，包括：
提取所述意图句的各个词特征与所述下文句的各个词特征，得到所述意图句的第一词特征序列与所述下文句的第二词特征序列；
对所述第一词特征序列进行向量化处理得到第一词特征向量，对所述第二词特征序列进行向量化处理得到第二词特征向量；
对所述第一词特征向量进行编码处理得到第一编码向量，对所述第二词特征向量进行编码处理得到第二编码向量；经所述编码处理后所得的编码向量中的词向量维度与被编码的特征向量中的词向量维度相同；
其中，所述第一编码向量为所述意图句的第一表征信息，所述第二编码向量为所述下文句的第二表征信息。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果，包括：
采用注意力机制对所述第一编码向量与所述第二编码向量进行全局交互处理，得到全局交互向量，所述全局交互向量为所述全局交互结果。
4.根据权利要求3所述的方法，其特征在于，所述提取所述第二表征信息的局部特征，包括：
对所述第二编码向量进行至少一次卷积操作，得到所述第二编码向量对应的至少一个下文编码向量；
其中，不同次的卷积操作对应不同的卷积核尺寸，每一个下文编码向量对应包括所述下文句的一类局部特征，不同的下文编码向量对应包括所述下文句的不同类局部特征。
5.根据权利要求4所述的方法，其特征在于，所述对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果，包括：
构建每一个下文编码向量与所述第一编码向量的匹配矩阵，得到至少一个匹配矩阵；
对所述至少一个匹配矩阵中的每个匹配矩阵进行卷积操作和池化操作，得到至少一个局部匹配向量，所述至少一个局部匹配向量为所述局部匹配结果。
6.根据权利要求5所述的方法，其特征在于，所述基于所述全局交互结果及所述局部匹配处理，确定所述下文句与所述意图句之间的关联关系，包括：
对所述全局交互向量与所述至少一个局部匹配向量进行组合处理，得到组合向量；
基于所述组合向量确定所述下文句与所述意图句之间的关联关系。
7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
获取意图句类别与待检测的下文句，通过对所述意图句类别与所述下文句进行全局交互处理及局部匹配处理，确定所述下文句与所述意图句类别之间的关联关系。
8.一种基于人工智能的下文关系检测装置，其特征在于，包括：
获取单元，用于获取意图句与待检测的下文句；
第一提取单元，用于提取所述意图句的第一表征信息与所述下文句的第二表征信息；
全局交互处理单元，用于对所述第一表征信息与所述第二表征信息进行预定的全局交互处理，得到全局交互结果；所述全局交互结果能用于表征所述意图句与所述下文句的全局语义相似情况；
第二提取单元，用于提取所述第二表征信息的局部特征；
局部匹配处理单元，用于对所述第一表征信息与所述局部特征进行预定的局部匹配处理，得到局部匹配结果；所述局部匹配结果能用于表征所述意图句与所述下文句的局部语义相似情况；
确定单元，用于基于所述全局交互结果及所述局部匹配结果，确定所述下文句与所述意图句之间的关联关系。
9.根据权利要求8所述的装置，其特征在于，还包括：
意图类别下文检测单元，用于获取意图句类别与待检测的下文句，通过对所述意图句类别与所述下文句进行全局交互处理及局部匹配处理，确定所述下文句与所述意图句类别之间的关联关系。
10.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机可执行指令；
处理器，用于加载并执行所述计算机可执行指令，所述计算机可执行指令在被加载并执行时至少能用于实现如权利要求1-7任一项所述的方法。
CN201910684642.0A 2019-07-26 2019-07-26 基于人工智能的下文关系检测方法、装置及计算机设备 Active CN110390107B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910684642.0A CN110390107B (zh) 2019-07-26 2019-07-26 基于人工智能的下文关系检测方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910684642.0A CN110390107B (zh) 2019-07-26 2019-07-26 基于人工智能的下文关系检测方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN110390107A true CN110390107A (zh) 2019-10-29
CN110390107B CN110390107B (zh) 2023-04-18

Family

ID=68287585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910684642.0A Active CN110390107B (zh) 2019-07-26 2019-07-26 基于人工智能的下文关系检测方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN110390107B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291170A (zh) * 2020-01-20 2020-06-16 腾讯科技（深圳）有限公司 一种基于智能客服的会话推荐方法及相关装置
CN111625641A (zh) * 2020-07-30 2020-09-04 浙江大学 一种基于多维度语义交互表征模型的对话意图识别方法及系统
CN112632267A (zh) * 2020-12-04 2021-04-09 中国人民大学 一种全局交互与贪心选择相结合的搜索结果多样化系统
CN113076405A (zh) * 2021-06-04 2021-07-06 明品云(北京)数据科技有限公司 基于用户画像的解决方案匹配方法及系统
WO2021164200A1 (zh) * 2020-02-20 2021-08-26 齐鲁工业大学 一种基于深度分层编码的智能语义匹配方法和装置
CN113555018A (zh) * 2021-07-20 2021-10-26 海信视像科技股份有限公司 语音交互方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
CN107133345A (zh) * 2017-05-22 2017-09-05 北京百度网讯科技有限公司 基于人工智能的交互方法和装置
CN108415897A (zh) * 2018-01-18 2018-08-17 北京百度网讯科技有限公司 基于人工智能的类别判别方法、装置及存储介质
CN109299262A (zh) * 2018-10-09 2019-02-01 中山大学 一种融合多粒度信息的文本蕴含关系识别方法
CN109697282A (zh) * 2017-10-20 2019-04-30 阿里巴巴集团控股有限公司 一种语句的用户意图识别方法和装置
CN109726396A (zh) * 2018-12-20 2019-05-07 泰康保险集团股份有限公司 问答文本的语义匹配方法、装置、介质及电子设备
CN109783632A (zh) * 2019-02-15 2019-05-21 腾讯科技（深圳）有限公司 客服信息推送方法、装置、计算机设备及存储介质
CN109858032A (zh) * 2019-02-14 2019-06-07 程淑玉 融合Attention机制的多粒度句子交互自然语言推理模型
CN109918663A (zh) * 2019-03-04 2019-06-21 腾讯科技（深圳）有限公司 一种语义匹配方法、装置及存储介质
CN110019822A (zh) * 2019-04-16 2019-07-16 中国科学技术大学 一种少样本关系分类方法及系统
US20190228070A1 (en) * 2016-09-30 2019-07-25 Huawei Technologies Co., Ltd. Deep learning based dialog method, apparatus, and device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190228070A1 (en) * 2016-09-30 2019-07-25 Huawei Technologies Co., Ltd. Deep learning based dialog method, apparatus, and device
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
CN107133345A (zh) * 2017-05-22 2017-09-05 北京百度网讯科技有限公司 基于人工智能的交互方法和装置
CN109697282A (zh) * 2017-10-20 2019-04-30 阿里巴巴集团控股有限公司 一种语句的用户意图识别方法和装置
CN108415897A (zh) * 2018-01-18 2018-08-17 北京百度网讯科技有限公司 基于人工智能的类别判别方法、装置及存储介质
CN109299262A (zh) * 2018-10-09 2019-02-01 中山大学 一种融合多粒度信息的文本蕴含关系识别方法
CN109726396A (zh) * 2018-12-20 2019-05-07 泰康保险集团股份有限公司 问答文本的语义匹配方法、装置、介质及电子设备
CN109858032A (zh) * 2019-02-14 2019-06-07 程淑玉 融合Attention机制的多粒度句子交互自然语言推理模型
CN109783632A (zh) * 2019-02-15 2019-05-21 腾讯科技（深圳）有限公司 客服信息推送方法、装置、计算机设备及存储介质
CN109918663A (zh) * 2019-03-04 2019-06-21 腾讯科技（深圳）有限公司 一种语义匹配方法、装置及存储介质
CN110019822A (zh) * 2019-04-16 2019-07-16 中国科学技术大学 一种少样本关系分类方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
云智服前沿: "基于多任务学习的智能客服下文检测方法", 《机器之心》 *
梁苗苗: "基于深度学习的智能聊天机器人的研究" *
相洋: "问答系统的答案优化方法研究" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291170A (zh) * 2020-01-20 2020-06-16 腾讯科技（深圳）有限公司 一种基于智能客服的会话推荐方法及相关装置
CN111291170B (zh) * 2020-01-20 2023-09-19 腾讯科技（深圳）有限公司 一种基于智能客服的会话推荐方法及相关装置
WO2021164200A1 (zh) * 2020-02-20 2021-08-26 齐鲁工业大学 一种基于深度分层编码的智能语义匹配方法和装置
CN111625641A (zh) * 2020-07-30 2020-09-04 浙江大学 一种基于多维度语义交互表征模型的对话意图识别方法及系统
CN112632267A (zh) * 2020-12-04 2021-04-09 中国人民大学 一种全局交互与贪心选择相结合的搜索结果多样化系统
CN112632267B (zh) * 2020-12-04 2023-05-02 中国人民大学 一种全局交互与贪心选择相结合的搜索结果多样化系统
CN113076405A (zh) * 2021-06-04 2021-07-06 明品云(北京)数据科技有限公司 基于用户画像的解决方案匹配方法及系统
CN113555018A (zh) * 2021-07-20 2021-10-26 海信视像科技股份有限公司 语音交互方法及装置
CN113555018B (zh) * 2021-07-20 2024-05-28 海信视像科技股份有限公司 语音交互方法及装置

Also Published As

Publication number Publication date
CN110390107B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN110390107A (zh) 基于人工智能的下文关系检测方法、装置及计算机设备
CN109299741B (zh) 一种基于多层检测的网络攻击类型识别方法
CN105975573B (zh) 一种基于knn的文本分类方法
CN112580782B (zh) 基于通道增强的双注意力生成对抗网络及图像生成方法
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
WO2019179403A1 (zh) 基于序列宽深学习的欺诈交易检测方法
CN108304936A (zh) 机器学习模型训练方法和装置、表情图像分类方法和装置
CN115129848B (zh) 一种视觉问答任务的处理方法、装置、设备和介质
CN110059465A (zh) 身份验证方法、对抗生成网络的训练方法、装置及设备
CN107679572B (zh) 一种图像判别方法、存储设备及移动终端
CN110210513A (zh) 数据分类方法、装置及终端设备
CN103927550B (zh) 一种手写体数字识别方法及系统
CN114388064A (zh) 用于蛋白质表征学习的多模态信息融合方法、系统、终端及存储介质
CN111694937A (zh) 基于人工智能的面试方法、装置、计算机设备及存储介质
CN115455171B (zh) 文本视频的互检索以及模型训练方法、装置、设备及介质
CN104933428A (zh) 一种基于张量描述的人脸识别方法及装置
CN114021524B (zh) 一种情感识别方法、装置、设备及可读存储介质
CN111950622A (zh) 基于人工智能的行为预测方法、装置、终端及存储介质
CN115965864A (zh) 一种用于农作物病害识别的轻量级注意力机制网络
WO2020151017A1 (zh) 一种可扩展的领域人机对话系统状态跟踪方法及设备
CN114519508A (zh) 基于时序深度学习和法律文书信息的信用风险评估方法
Abushariah et al. Automatic person identification system using handwritten signatures
CN116522131A (zh) 对象表示方法、装置、电子设备及计算机可读存储介质
CN115545085A (zh) 微弱故障电流的故障类型识别方法、装置、设备和介质
CN112070112B (zh) 涉网犯罪分类方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant