CN111666400A - 消息获取方法、装置、计算机设备及存储介质 - Google Patents

消息获取方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111666400A
CN111666400A CN202010662700.2A CN202010662700A CN111666400A CN 111666400 A CN111666400 A CN 111666400A CN 202010662700 A CN202010662700 A CN 202010662700A CN 111666400 A CN111666400 A CN 111666400A
Authority
CN
China
Prior art keywords
target
session
conversation
statement
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010662700.2A
Other languages
English (en)
Other versions
CN111666400B (zh
Inventor
童丽霞
杨念民
雷植程
吴俊江
张宇楠
杨杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010662700.2A priority Critical patent/CN111666400B/zh
Publication of CN111666400A publication Critical patent/CN111666400A/zh
Application granted granted Critical
Publication of CN111666400B publication Critical patent/CN111666400B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种消息获取方法、装置、计算机设备及存储介质，属于网络技术领域。本申请通过对目标会话的会话文本信息，先提取语句级特征，再根据语句级特征进一步提取会话级特征，基于会话级特征进行意图标签的推荐，根据推荐的意图标签来获取目标会话的应答消息，这种分层提取会话级特征的方式大大提升了会话级特征的表达能力，针对多轮人机会话中常见的用户分句表达、用户切换意图等情况，基于分层提取的会话级特征具有更高的准确度，可以提升获取到的应答消息的准确度，提升人机交互效率。

Description

消息获取方法、装置、计算机设备及存储介质
技术领域
本申请涉及网络技术领域，特别涉及一种消息获取方法、装置、计算机设备及存储介质。
背景技术
随着智能客服、智能助理、闲聊机器人等智能问答产品的普及，用户可以向智能问答产品发送询问消息，智能问答产品自动向用户回复应答消息，实现用户与机器之间的人机会话。
在人机会话过程中，机器首先需要辨认用户发送的询问消息属于哪一类意图标签，接着再从这一类意图标签下预设的多个应答模板中选择一个作为本次的应答消息。其中，意图标签用于指示用户在人机会话中发送消息的意图，比如在电子支付场景下常见的意图标签包括：给付款方留言、客人多付款、少付钱、联系不上、遗失物品等。在上述识别意图标签时，由于用户与机器之间的对话通常是存在多轮交互的，可以将用户与机器之间的多轮对话拼接成一段长文本，再使用文本分类模型对长文本进行文本分类，即可得出用户在多轮会话中的意图标签。
在上述识别意图标签的过程中，仅仅将多轮对话进行简单拼接后进行文本分类，无法区分出每轮对话各自的重要程度，导致随着人机会话轮数的增加，机器对于用户意图的理解会变得越来越困难，容易出现机器无法识别用户意图从而答非所问的情况，也即人机会话过程中机器应答消息的准确度低、人机交互效率低。
发明内容
本申请实施例提供了一种消息获取方法、装置、计算机设备及存储介质，能够提升机器应答消息的准确度，提升人机交互效率。该技术方案如下：
一方面，提供了一种消息获取方法，该方法包括：
获取目标会话的会话文本信息中多个语句的语句级特征，所述目标会话为基于人工智能的问答模型所参与的多轮人机会话，一个语句的语句级特征用于表示所述一个语句内的字符在所述一个语句中的重要程度；
根据所述多个语句的语句级特征，获取所述目标会话的会话级特征，所述会话级特征用于表示所述多个语句在所述目标会话中的重要程度；
根据所述目标会话的会话级特征，确定与所述目标会话匹配的至少一个意图标签；
根据所述至少一个意图标签和所述会话文本信息，获取所述目标会话中最后一个语句所对应的应答消息。
一方面，提供了一种消息获取装置，该装置包括：
第一获取模块，用于获取目标会话的会话文本信息中多个语句的语句级特征，所述目标会话为基于人工智能的问答模型所参与的多轮人机会话，一个语句的语句级特征用于表示所述一个语句内的字符在所述一个语句中的重要程度；
第二获取模块，用于根据所述多个语句的语句级特征，获取所述目标会话的会话级特征，所述会话级特征用于表示所述多个语句在所述目标会话中的重要程度；
确定模块，用于根据所述目标会话的会话级特征，确定与所述目标会话匹配的至少一个意图标签；
第三获取模块，用于根据所述至少一个意图标签和所述会话文本信息，获取所述目标会话中最后一个语句所对应的应答消息。
在一种可能实施方式中，所述第一获取模块包括：
第一编码子模块，用于调用意图识别模型，对所述会话文本信息中的所述多个语句进行编码，得到所述多个语句的语句级特征，所述意图识别模型用于确定与所述目标会话相匹配的意图标签。
在一种可能实施方式中，所述意图识别模型包括语句编码层，所述第一编码子模块用于：
对所述多个语句中任一语句，获取所述任一语句中至少一个字符的词向量；
将所述至少一个字符的词向量输入所述语句编码层，调用所述语句编码层对所述至少一个字符的词向量进行编码，得到所述至少一个字符的中间特征；
基于第一注意力矩阵，对所述至少一个字符的中间特征进行加权处理，得到所述任一语句的语句级特征，所述第一注意力矩阵用于表示所述至少一个字符在所述任一语句中的重要程度。
在一种可能实施方式中，所述第二获取模块包括：
第二编码子模块，用于调用所述意图识别模型，对所述多个语句的语句级特征进行编码，得到所述目标会话的会话级特征。
在一种可能实施方式中，所述意图识别模型包括会话编码层，所述第二编码子模块用于：
将所述多个语句的语句级特征输入所述会话编码层，调用所述会话编码层对所述多个语句的语句级特征进行编码，得到所述多个语句的中间特征；
基于第二注意力矩阵，对所述多个语句的中间特征进行加权处理，得到所述目标会话的会话级特征，所述第二注意力矩阵用于表示所述多个语句在所述目标会话中的重要程度。
在一种可能实施方式中，所述确定模块用于：
调用所述意图识别模型，对所述会话级特征进行分类处理，得到所述目标会话相对于多个意图标签之间的第一匹配概率，一个第一匹配概率用于表示一个意图标签与所述目标会话之间的匹配程度；
从所述多个意图标签中，将第一匹配概率大于第一匹配阈值的意图标签确定为所述至少一个意图标签。
在一种可能实施方式中，所述第三获取模块包括：
筛选子模块，用于根据所述会话文本信息，从与所述至少一个意图标签所对应的多个应答模板中，筛选得到符合目标条件的至少一个候选模板，所述目标条件用于表示在任一意图标签所对应的多个应答模板中与所述会话文本信息之间的匹配程度最高；
确定子模块，用于从所述至少一个候选模板中，确定与所述最后一个语句的语义相似度最高的候选模板为所述应答消息。
在一种可能实施方式中，所述筛选子模块包括：
获取单元，用于对所述至少一个意图标签中任一意图标签，获取与所述任一意图标签对应的多个应答模板；
处理单元，用于调用下文识别模型对所述多个应答模板和所述会话文本信息中多个语句进行处理，得到所述多个应答模板分别与所述多个语句之间的第二匹配概率，一个第二匹配概率用于表示一个应答模板与一个语句之间的匹配程度；
确定单元，用于将第二匹配概率最高的应答模板确定为与所述任一意图标签之间符合目标条件的候选模板。
在一种可能实施方式中，所述下文识别模型包括目标编码层和目标匹配层，所述处理单元包括：
输入子单元，用于将所述多个应答模板和所述多个语句输入所述目标编码层，所述目标编码层用于采用至少一种编码方式对所述多个应答模板和所述多个语句进行编码；
第一编码子单元，用于通过所述目标编码层，采用所述至少一种编码方式分别对所述多个应答模板进行编码，得到多个第一编码结果，一个第一编码结果用于表示采用一种编码方式对一个应答模板进行编码所得的结果信息；
第二编码子单元，用于通过所述目标编码层，采用所述至少一种编码方式分别对所述多个语句进行编码，得到多个第二编码结果，一个第二编码结果用于表示采用一种编码方式对一个语句进行编码所得的结果信息；
处理子单元，用于通过所述目标匹配层，对所述多个第一编码结果和所述多个第二编码结果进行处理，得到所述多个应答模板分别与所述多个语句之间的第二匹配概率。
在一种可能实施方式中，所述处理子单元用于：
对任一应答模板与任一语句所构成的语句对，基于交叉注意力矩阵，对所述任一应答模板以及所述任一语句进行加权处理，得到所述语句对的交叉特征；
基于所述任一应答模板对应的至少一个第一编码结果、所述任一语句对应的至少一个第二编码结果以及所述语句对的交叉特征，获取所述任一应答模板与所述任一语句之间的第二匹配概率。
一方面，提供了一种计算机设备，该计算机设备包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的消息获取方法。
一方面，提供了一种存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的消息获取方法。
一方面，提供一种计算机程序产品或计算机程序，所述计算机程序产品或所述计算机程序包括一条或多条程序代码，所述一条或多条程序代码可以存储在计算机可读存储介质中。计算机设备的一个或多个处理器可以从计算机可读存储介质中读取所述一条或多条程序代码，所述一个或多个处理器执行所述一条或多条程序代码，使得计算机设备能够执行上述任一种可能实施方式的消息获取方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过对目标会话的会话文本信息，先提取语句级特征，再根据语句级特征进一步提取会话级特征，基于会话级特征进行意图标签的推荐，根据推荐的意图标签来获取目标会话的应答消息，由于会话级特征是由语句级特征进行进一步提取所得的，因此会话级特征不仅能够表征出每个语句在目标会话中的重要性，而且还可以有机体现出语句级特征所表征的每个字符在每个语句中的重要性，这种分层提取会话级特征的方式大大提升了会话级特征的表达能力，针对多轮人机会话中常见的用户分句表达、用户切换意图等情况，基于分层提取的会话级特征具有更高的准确度，从而可以提升获取到的应答消息的准确度，提升人机交互效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种消息获取方法的实施环境示意图；
图2是本申请实施例提供的一种消息获取方法的流程图；
图3是本申请实施例提供的一种人机会话过程的原理性示意图；
图4是本申请实施例提供的一种消息获取方法的流程图；
图5是本申请实施例提供的一种意图识别模型的原理性示意图；
图6是本申请实施例提供的一种下文识别模型的原理性示意图；
图7是本申请实施例提供的一种实时修正平台的界面示意图；
图8是本申请实施例提供的一种消息获取装置的结构示意图；
图9是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。
本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上，例如，多个第一位置是指两个或两个以上的第一位置。
人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括音频处理技术、计算机视觉技术、自然语言处理技术以及机器学习/深度学习等几大方向。
让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中问答系统(Question Answering System，QA)成为未来最被看好的人机交互方式之一。问答系统是信息检索系统的一种高级形式，使得机器能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。
随着AI技术的发展，问答系统在多个领域展开了研究和应用，例如常见的智能客服、智能助手、智能音箱、智能家居、对话机器人、闲聊机器人等智能问答产品，相信随着AI技术的发展，问答系统将在更多的领域得到应用，发挥越来越重要的价值。在本申请实施例中涉及一种消息获取方法，将通过分层次提取多轮人机对话的会话文本信息中的语句级特征以及会话级特征，从而对目标会话的意图标签进行精准分类，以提升机器回复的应答消息的准确度，提升人机交互效率，具体通过下述几个实施例进行说明。
图1是本申请实施例提供的一种消息获取方法的实施环境示意图。参见图1，在该实施环境中可以终端101和服务器102，下面进行详述：
终端101可以是能够发送会话消息的任一终端，终端101安装和运行有支持人机会话的应用程序，该应用程序可以是任一支持智能问答服务的客户端，例如该应用程序可以是配置有智能客服的购物应用、即时通讯应用、外卖应用或者打车应用中至少一项，又比如该应用程序还可以是闲聊机器人、对话机器人或者智能助手中至少一项。用户在登录终端101上的应用程序后，可以向服务器102发送会话消息，其中，该会话消息可以是文本消息或者图像消息。
该终端101以及服务器102之间可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
该服务器102可以是能够提供智能问答服务的任一计算机设备，当服务器102接收到该终端101发送的会话消息时，可以通过本申请实施例提供的消息获取方法获取对应的应答消息，服务器102将该应答消息发送至终端101，重复执行上述步骤即可实现多轮人机会话。服务器102可以包括一台服务器、多台服务器、云计算平台或者虚拟化中心中的至少一种。服务器102用于为支持人机会话的应用程序提供后台服务。可选地，服务器102可以承担主要计算工作，终端101可以承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，终端101与服务器102之间采用分布式计算架构进行协同计算。
上述服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器。
上述终端101可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、电子书阅读器等，但并不局限于此。
本领域技术人员可以知晓，终端101可以泛指多个终端中的一个，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。
在一个示例性场景中，在相关技术中，智能客服的运营过程中发现人机会话普遍存在以下几种不流畅的情况：(1)随着对话轮数增加，机器理解越来越困难，会出现听不懂用户意图而答不上消息的情况；(2)用户描述不清，系统多次模糊推荐，但用户不选；(3)用户对模糊推荐选项多次点击、乱选，机器无法确认用户到底是什么意图；(4)机器意图识别有误，导致用户情绪不满，产生谩骂、投诉等负反馈行为。
有鉴于此，本申请实施例提供一种消息获取方法，用于提升人机会话效果，改善用户体验，该消息获取方法是一种人机结合实时修正会话的方案，由少量人工对目标会话进行实时、高效的干预，辅助机器人快速确定会话意图；同时，系统完整记录人工修正记录，为多轮会话的意图识别模型和下文识别模型提供了训练数据和标注数据的支撑，形成发现、反馈、优化的良性循环。下面将通过以下几个实施例进行详述说明。
图2是本申请实施例提供的一种消息获取方法的流程图。参见图1，该实施例应用于计算机设备，以该计算机设备可以为上述实施环境中的服务器102为例进行说明，该实施例包括下述步骤：
201、服务器获取目标会话的会话文本信息中多个语句的语句级特征，该目标会话为基于人工智能的问答模型所参与的多轮人机会话，一个语句的语句级特征用于表示该一个语句内的字符在该一个语句中的重要程度。
在上述过程中，服务器可以先获取目标会话的会话文本信息，再根据该会话文本信息获取该多个语句的语句级特征。可选地，该多个语句可以是该会话文本信息中的所有语句，也可以是该会话文本信息中的部分语句。
可选地，该目标会话可以是正在进行的任一个多轮人机会话，在一个示例中，由于用户表现出负反馈行为的会话具有较高的学习价值，因此可以将用户产生负反馈行为的会话作为目标会话，比如，该负反馈行为可以包括用户多次点选交互选项、机器多次给出推荐回答、用户触发不满评价、用户发送负面文本消息等，本申请实施例不对负反馈行为的类型进行具体限定。服务器可以在提供智能问答服务的过程中，实时检测用户是否产生负反馈行为，从而将用户产生负反馈行为的会话作为目标会话。
在一些实施例中，在目标会话的获取会话文本信息时，以目标会话为当前会话为例，服务器可以按照时间戳从大到小的顺序，遍历与终端之间在目标时间段内的所有历史会话消息，其中该目标时间段是指从某一历史时刻开始到当前时刻之间的时间段。服务器获取相邻的各个历史会话消息之间的间隔时长，确定距离当前时刻最近且间隔时长大于时长阈值的两个历史会话消息，将这两个历史会话消息中时间戳最大的历史会话消息确定为目标会话的第一个语句，从第一个语句开始读取到当前时刻之间交互的所有语句，即可得到该目标会话的会话文本信息。
在一些实施例中，在获取语句级特征时，服务器可以获取该多个语句的词向量组，调用意图识别模型对该多个语句的词向量组进行编码，以得到该多个语句的句向量，将该多个语句的句向量确定为该多个语句的语句级特征，具体采用意图识别模型的编码过程将在下个实施例中进行详述，这里不做赘述。
在一些实施例中，在获取语句级特征之前，服务器还可以对会话文本信息中的所有语句进行筛选，从所有语句中筛除掉未包含文本的语句，比如仅包含一个或多个表情图片、仅包含一个或多个标点符号的语句，以减少整个消息获取过程的计算量。或者，服务器还可以从所有语句中筛除掉语句长度(也即语句所包含的字符个数)小于长度阈值的语句，能够进一步加大筛除力度，进一步地减少整个消息获取过程的计算量。
202、服务器根据该多个语句的语句级特征，获取该目标会话的会话级特征，该会话级特征用于表示该多个语句在该目标会话中的重要程度。
在上述过程中，服务器可以在获取该多个语句的句向量之后，继续调用意图识别模型对该多个语句的句向量进行编码，得到该目标会话的会话向量，将该会话向量作为该会话级特征，具体采用意图识别模型的编码过程将在下个实施例中进行详述，这里不做赘述。
需要说明的是，在对该多个语句的句向量进行编码时，意图识别模型可以采取一种或多种编码方式，从而得到一个或多个会话向量，本申请实施例不对会话向量的个数进行具体限定。比如，意图识别模型可以采用两种编码方式，第一种编码方式基于Transformer模型(翻译模型)进行编码，第二种编码方式基于Bi-GRU(BidirectionalGated Recurrent Unit，双向门循环单元)模型进行编码。当然，意图识别模型可以采取更多或者更少的编码方式，比如还可以采取基于LSTM(Long Short-Term Memory，长短期记忆)模型的编码方式、基于Bi-LSTM(Bidirectional Long Short-Term Memory，双向长短期记忆)模型的方式等。
203、服务器根据该目标会话的会话级特征，确定与该目标会话匹配的至少一个意图标签。
其中，每个意图标签用于表示用户在发起目标会话时对应的一种会话意图，比如，在支付场景下，该会话意图可以包括多付款、少付款、遗失物品等，在网购场景下，该会话意图还可以包括退换货、尺码查询、邮费查询等。需要说明的是，意图标签与目标会话匹配的含义是：意图标签与目标会话的会话级特征之间的匹配程度高于第一匹配阈值。
在上述过程中，服务器可以在获取该目标会话的会话向量之后，可以调用意图识别模型获取该会话向量与多个意图标签之间的第一匹配概率，该第一匹配概率用于表示目标会话与意图标签之间的匹配程度，将第一匹配概率大于第一匹配阈值的意图标签确定为该至少一个意图标签。
在获取第一匹配概率时，服务器可以对该多个意图标签进行向量化，得到该多个意图标签的特征向量，从而可以根据该会话向量分别与该多个意图标签的特征向量之间的相似度来确定该第一匹配概率，该相似度可以包括余弦相似度、欧氏距离的倒数等，本申请实施例不对相似度的类型进行具体限定。通过对意图标签进行向量化，
204、服务器根据该至少一个意图标签和该会话文本信息，获取该目标会话中最后一个语句所对应的应答消息。
在上述过程中，服务器对于每个意图标签，可以预存多个应答模板，比如以键值对的方式将意图标签与其对应的多个应答模板进行对应存储，此时以意图标签为键名(Key)，以多个应答模板为键值(Value)。
在获取应答消息时，对每个意图标签，服务器可以获取与该意图标签对应的多个应答模板，接着调用下文识别模型从该多个应答模板中，筛选得到与该会话文本信息之间符合目标条件的候选模板，对每个意图标签重复执行上述步骤，可以得到分别与至少一个意图标签对应的至少一个候选模板，进而从该至少一个候选模板中选定一个作为应答消息。
可选地，服务器可以将与目标会话中最后一个语句的语义相似度最高的候选模板作为应答消息，或者服务器还可以随机选取一个候选模板作为应答消息，本申请实施例不对选取应答消息的方式进行具体限定。
在一个示例中，图3是本申请实施例提供的一种人机会话过程的原理性示意图，请参考图3，对于一些用户产生了负反馈行为的目标会话301(称为badcase也即负样本会话)，说明用户已经对此前的历史会话消息感到不满，因此可以通过引入实时修正平台，即使分辨出用户的真实意图，从而缓解用户的不满情绪。具体地，服务器在海量会话中检测到负样本会话时，将负样本会话确定为目标会话301，接着在模型推荐阶段，通过意图识别模型302推荐出目标会话301的至少一个意图标签，通过下文识别模型303推荐出目标会话301的至少一个候选模板，将该至少一个意图标签以及该至少一个候选模板反馈至实时修正平台，由业务人员从该至少一个候选模板中选取出最终的应答消息(也即由业务人员确定出语义相似度最高的候选模板)，并由服务器将该应答消息作为对终端的机器回复。在这一示例中，相当于意图识别模型和下文识别模型进行意图标签和后续模板的推荐，业务人员人工进行意图选择以及确认后，再交由机器接管，执行后续的人机会话，从而可以实现人机的无缝结合。并且，业务人员进行人工修正的数据(也即业务人员所选的意图标签以及候选模板)还可以作为新的训练数据，反馈到意图识别模型以及下文识别模型的离线训练过程中，从而可以通过新的训练数据对意图识别模型以及下文识别模型进行不断地调整优化和反哺学习，以提升意图识别模型以及下文识别模型的准确度，最终提升人机会话的消息应答准确度以及人机交互效率。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过对目标会话的会话文本信息，先提取语句级特征，再根据语句级特征进一步提取会话级特征，基于会话级特征进行意图标签的推荐，根据推荐的意图标签来获取目标会话的应答消息，由于会话级特征是由语句级特征进行进一步提取所得的，因此会话级特征不仅能够表征出每个语句在目标会话中的重要性，而且还可以有机体现出语句级特征所表征的每个字符在每个语句中的重要性，这种分层提取会话级特征的方式大大提升了会话级特征的表达能力，针对多轮人机会话中常见的用户分句表达、用户切换意图等情况，基于分层提取的会话级特征具有更高的准确度，从而可以提升获取到的应答消息的准确度，提升人机交互效率。
图4是本申请实施例提供的一种消息获取方法的流程图。参见图4，该实施例应用于计算机设备，以该计算机设备可以为上述实施环境中的服务器102为例进行说明，该实施例包括下述步骤：
401、服务器获取目标会话的会话文本信息。
其中，该目标会话为基于人工智能的问答模型所参与的多轮人机会话，该目标会话可以是正在进行的任一个多轮人机会话。
在一个示例中，由于用户表现出负反馈行为的会话具有较高的学习价值，因此可以将用户产生负反馈行为的会话作为目标会话，比如，该负反馈行为可以包括用户多次点选交互选项、机器多次给出推荐回答、用户触发不满评价、用户发送负面文本消息等，本申请实施例不对负反馈行为的类型进行具体限定。服务器可以在提供智能问答服务的过程中，实时检测用户是否产生负反馈行为，从而将用户产生负反馈行为的会话作为目标会话。
在上述步骤401中，以目标会话为当前会话为例，服务器可以按照时间戳从大到小的顺序，遍历与终端之间在目标时间段内的所有历史会话消息，其中该目标时间段是指从某一历史时刻开始到当前时刻之间的时间段。服务器获取相邻的各个历史会话消息之间的间隔时长，确定距离当前时刻最近且间隔时长大于时长阈值的两个历史会话消息，将这两个历史会话消息中时间戳最大的历史会话消息确定为目标会话的第一个语句，从第一个语句开始读取到当前时刻之间交互的所有语句，即可得到该目标会话的会话文本信息。
在一些实施例中，由于在智能问答产品中，通常在开启一段会话时，会出现“你好”、“您好”、“在吗”等关键词，因此服务器可以基于关键词检索技术，在历史会话消息中查询是否出现目标关键词，将出现目标关键词且时间戳最大的历史会话消息确定为目标会话的第一个语句，从第一个语句开始读取到当前时刻之间交互的所有语句，即可得到该目标会话的会话文本信息，其中，该目标关键词为用于表示开启一段会话的词语，例如“你好”、“您好”、“在吗”等词语。
402、服务器调用意图识别模型，对该会话文本信息中的多个语句进行编码，得到该多个语句的语句级特征。
其中，一个语句的语句级特征用于表示该一个语句内的字符在该一个语句中的重要程度，也即是说，一个语句的语句级特征可以表征出该语句中每个字符相对于整个语句的权重。
其中，该意图识别模型用于确定与该目标会话相匹配的意图标签。可选地，该意图识别模型可以包括语句编码层、会话编码层和分类层，在该语句编码层、会话编码层中均可以包括一个或多个编码子模型，用于提供一种或多种不同的编码方式，本申请实施例不对意图识别模型的结构进行具体限定。
在一些实施例中，服务器在获取各个语句的语句级特征时，可以执行下述子步骤4021-4023：
4021、对该多个语句中任一语句，服务器获取该任一语句中至少一个字符的词向量。
在上述过程中，服务器可以通过词嵌入(Word Embedding)技术对该任一语句进行嵌入处理，从而得到该任一语句中至少一个字符的词向量。比如，服务器可以利用词向量子模型执行上述嵌入处理操作，对于不同语种的语句，可以采用对应语种的词向量子模型，例如中文词向量子模型、英文词向量子模型等。
4022、服务器将该至少一个字符的词向量输入该意图识别模型的语句编码层，调用该语句编码层对该至少一个字符的词向量进行编码，得到该至少一个字符的中间特征。
在上述过程中，意图识别模型的语句编码层中可以包括一种或多种编码子模型，例如Transformer子模型、Bi-GRU子模型、LSTM子模型或者Bi-LSTM子模型中至少一项。
以语句编码层中仅包括Transformer子模型为例，服务器可以将该至少一个字符的词向量输入Transformer子模型，Transformer子模型中包括一个编码部分和一个解码部分，该解码部分和编码部分可以均为RNN(Recurrent Neural Networks，递归神经网络)的形式，通过该编码部分的RNN对该至少一个字符的词向量进行加权处理，得到该至少一个字符的隐藏特征，将该至少一个字符的隐藏特征输入到解码部分，通过该解码部分的RNN对该至少一个字符的隐藏特征进行加权处理，可以得到该至少一个字符的中间特征。
4023、服务器基于第一注意力矩阵，对该至少一个字符的中间特征进行加权处理，得到该任一语句的语句级特征，该第一注意力矩阵用于表示该至少一个字符在该任一语句中的重要程度。
在上述过程中，服务器可以将对该至少一个字符的中间特征分别与各自的第一注意力矩阵进行按元素相乘，得到该至少一个字符的加权后特征，将该至少一个字符的加权后特征进行融合，得到该任一语句的语句级特征，这样相当于对每个字符的中间特征中的每个元素均引入了其注意力权重因子，从而可以精细区分出各个字符相对于各个语句的权重。
在一些实施例中，服务器还可以先将该至少一个字符的中间特征进行融合，将融合后特征与一个第一注意力矩阵进行按元素相乘，得到该任一语句的语句级特征，这样相当于对每个字符整体引入了其注意力权重因子，相较于上一种方式能够有效地减少计算量。
在上述过程中，服务器获取目标会话的会话文本信息中多个语句的语句级特征，该语句级特征也可以称为“句向量”，这里仅以调用意图识别模型中的语句编码层为例进行说明，可选地，服务器还可以训练独立的语句编码模型来获取各个语句的语句级特征，本申请实施例不对获取语句级特征的方式进行具体限定。
在一些实施例中，在获取语句级特征之前，服务器还可以对会话文本信息中的所有语句进行筛选，从所有语句中筛除掉未包含文本的语句，比如仅包含一个或多个表情图片、仅包含一个或多个标点符号的语句，以减少整个消息获取过程的计算量。或者，服务器还可以从所有语句中筛除掉语句长度(也即语句所包含的字符个数)小于长度阈值的语句，能够进一步加大筛除力度，进一步地减少整个消息获取过程的计算量。
403、服务器调用该意图识别模型，对该多个语句的语句级特征进行编码，得到该目标会话的会话级特征。
其中，该会话级特征用于表示该多个语句在该目标会话中的重要程度，也即是说，目标会话的会话级特征可以表征出该目标会话中每个句子相对于整个目标会话的权重。
在一些实施例中，服务器在获取目标会话的会话级特征时，可以执行下述子步骤4031-4032：
4031、服务器将该多个语句的语句级特征输入该意图识别模型的会话编码层，调用该会话编码层对该多个语句的语句级特征进行编码，得到该多个语句的中间特征。
在上述过程中，意图识别模型的会话编码层中也可以包括一种或多种编码子模型，例如Transformer子模型、Bi-GRU子模型、LSTM子模型或者Bi-LSTM子模型中至少一项。
以语句编码层中包括Transformer子模型和Bi-GRU子模型为例，服务器可以将该多个语句的语句级特征分别输入Transformer子模型和Bi-GRU子模型，通过Transformer子模型和Bi-GRU子模型分别对该多个语句的语句级特征进行编码，得到该多个语句的中间特征。Transformer子模型的编码过程与上述步骤4022中类似，这里不做赘述。
在一个示例中，以Bi-GRU子模型的编码过程为例进行说明，在Bi-GRU子模型中包括至少一个隐藏层，每个隐藏层中至少一个记忆单元，每个记忆单元中包括两种门函数，分别为更新门函数和重置门函数，其中，更新门函数用于控制前一语句的语句级特征被带入到当前语句中的程度，更新门的输出值越大说明前一语句的语句级特征被带入到当前语句中的程度越高，重置门函数用于控制前一语句有多少信息被写入到当前语句的候选集上，重置门的输出值越小说明前一语句的信息中被写入的越少。通过该至少一个隐藏层对该多个语句的语句级特征进行加权处理，最终输出该多个语句的中间特征。
在每个记忆单元中，可以对前一记忆单元的输出特征进行加权处理，再利用两种门函数进行更新和重置，输入到后一记忆单元中，同时还可以对后一记忆单元的输出特征进行加权处理，再利用两种门函数进行更新和重置，输入到前一记忆单元中，这样可以实现对过去和未来的语句的语句级特征进行协同编码，充分利用目标会话中多个语句之间的上下文关系，可以提升中间特征的表达能力。
4032、服务器基于第二注意力矩阵，对该多个语句的中间特征进行加权处理，得到该目标会话的会话级特征，该第二注意力矩阵用于表示该多个语句在该目标会话中的重要程度。
对任一种编码方式来说，输出该多个语句的中间特征，服务器可以将对该多个语句的中间特征分别与各自的第二注意力矩阵进行按元素相乘，得到该多个语句的加权后特征，将该多个语句的加权后特征进行融合，得到该目标会话的会话级特征，这样相当于对目标会话中的每个语句均引入了其注意力权重因子，从而可以精细区分出各个语句相对于整个目标会话的权重。
在一些实施例中，服务器还可以先将该多个语句的中间特征进行融合，将融合后特征与一个第二注意力矩阵进行按元素相乘，得到该目标会话的会话级特征，这样也可以对每个语句整体引入其注意力权重因子，相较于上一种方式能够有效地减少计算量。
上述步骤4032与上述步骤4023类似，这里不做赘述。
在上述过程中，服务器根据该多个语句的语句级特征，获取该目标会话的会话级特征，该会话级特征也可以称为“会话向量”，这里仅以调用意图识别模型中的会话编码层为例进行说明，可选地，服务器还可以训练独立的会话编码模型来获取目标会话的会话级特征，本申请实施例不对获取会话级特征的方式进行具体限定。
404、服务器调用该意图识别模型，对该会话级特征进行分类处理，得到该目标会话相对于多个意图标签之间的第一匹配概率。
其中，一个第一匹配概率用于表示一个意图标签与该目标会话之间的匹配程度。
在上述过程中，服务器可以对该多个意图标签进行向量化，得到该多个意图标签的特征向量，将该会话级特征输入该意图识别模型的分类层，通过该分类层获取该会话级特征分别与多个意图标签的特征向量之间的相似度，将该相似度确定为该第一匹配概率，该相似度可以包括余弦相似度、欧氏距离的倒数等，本申请实施例不对相似度的类型进行具体限定。通过对意图标签进行向量化，能够增强意图标签与会话级特征之间的关系捕捉能力，从而提高针对意图标签的分类准确率。
405、服务器从该多个意图标签中，将第一匹配概率大于第一匹配阈值的意图标签确定为与该目标会话对应的至少一个意图标签。
在上述过程中，服务器获取第一匹配概率大于第一匹配阈值的至少一个意图标签，该至少一个意图标签与该目标会话之间匹配程度高于第一匹配阈值。
在一些实施例中，服务器还可以按照第一匹配概率从大到小的顺序对该多个意图标签进行排序，将排序位于前N位的意图标签确定为该至少一个意图标签，N为大于或等于1的整数。
在上述步骤404-405中，服务器根据该目标会话的会话级特征，确定与该目标会话匹配的至少一个意图标签，也即是说，根据目标会话的会话级特征，从意图识别模型中推荐出与目标会话的会话级特征之间匹配程度较高的至少一个意图标签。
这样的引入了目标会话中多个语句各自语句级特征，以获取整体的会话级特征，最终根据会话级特征确定意图标签的过程，可以形象地称为一种“多轮意图识别”的过程，能够弥补单轮意图识别过程中存在的不足，比如，在人机会话过程中经常会出现用户分句表达、用户切换意图等情况，如果仅分析目标会话中上一个语句的语句级特征，那么对意图标签的预测准确率将大大降低。
上述基于多轮意图识别的思想，通过对会话文本信息进行分层编码，划分为语句编码层和会话编码层，通过语句编码层获取各个语句的句向量(也即语句级特征)，可以很好地区分出每个字符相对于整个语句的权重，而通过会话编码层对各个语句的句向量再次进行编码，得到目标会话的会话向量(也即会话级特征)，可以很好地区分出每个语句相对于目标会话的权重，最后在会话向量的基础上进行多个意图标签的分类任务，并在每个编码层中分别采用不同的注意力机制进行加权处理，在语句编码层中为各个语句中重要程度较高的字符添加较大的权重，使得后续编码过程聚焦于这些权重较大的字符，而在会话编码层中为目标会话中重要程度较高的语句添加较大的权重，使得后续编码过程聚焦于这些权重较大的语句。此外，由于语句编码层仍然可以提取到每个语句的语句级特征，避免了单轮会话的意图锁定特征被丢失，使得整个多轮意图识别过程的准确度更高。
图5是本申请实施例提供的一种意图识别模型的原理性示意图，请参考图5，意图识别模型500中包括语句编码层501、会话编码层502和分类层503，可以看出，在语句编码层501中，利用Transformer子模型对各个语句的至少一个字符的词向量(相当于一个词向量组)进行编码，并基于自身注意力(Self-Attention)机制进行加权，得到各个语句的句向量，在会话编码层502中，利用Transformer子模型和Bi-GRU子模型对各个语句的句向量(相当于一个句向量组)进行编码，并基于标签自身注意力(Label Self-Attention)机制进行加权，得到目标会话的会话向量，在分类层503中，根据目标会话的会话向量进行意图标签的推荐。
需要说明的是，意图识别模型的训练过程与上述过程类似，采集样本会话的会话文本信息输入到意图初始模型中，在输出至少一个意图标签之后，分别获取对意图标签进行向量化时的标签损失以及最终进行分类时的分类损失，综合标签损失和分类损失得到损失函数值，如果不符合停止训练条件，通过反向传播算法回传梯度，调整意图初始模型的参数，迭代执行训练步骤，直到符合停止训练条件时，停止训练得到该意图识别模型。
406、服务器根据该会话文本信息，从与该至少一个意图标签所对应的多个应答模板中，筛选得到符合目标条件的至少一个候选模板。
其中，每个意图标签对应于多个应答模板。
其中，该目标条件用于表示在任一意图标签所对应的多个应答模板中与该会话文本信息之间的匹配程度最高。
在上述过程中，对每个意图标签来说，均存在与其对应的多个应答模板，因此服务器对每个意图标签，均需要从多个应答模板中筛选出符合目标条件的一个候选模板，重复执行上述过程直到遍历所有被推荐的意图标签，即可得到该至少一个候选模板。
在对任一意图标签进行候选模板的筛选过程中，服务器可以执行下述子步骤4061-4063：
4061、服务器对该至少一个意图标签中任一意图标签，获取与该任一意图标签对应的多个应答模板。
在上述过程中，服务器对于每个意图标签，可以预存多个应答模板，比如以键值对的方式将意图标签与其对应的多个应答模板进行对应存储，此时以意图标签为键名(Key)，以多个应答模板为键值(Value)。
基于上述情况，服务器可以将意图标签作为索引，在数据库中查询与该索引所对应的索引内容，如果该索引命中任一索引内容，读取该索引内容，将该索引内容确定为该多个应答模板。
4062、服务器调用下文识别模型对该多个应答模板和该会话文本信息中多个语句进行处理，得到该多个应答模板分别与该多个语句之间的第二匹配概率，一个第二匹配概率用于表示一个应答模板与一个语句之间的匹配程度。
在上述过程中，该下文识别模型包括目标编码层和目标匹配层，该目标编码层用于对该多个应答模板和该多个语句进行编码，该目标匹配层用于对该多个应答模板和该多个语句进行文本匹配。在该目标编码层中可以包括至少一个编码子模型，一个编码子模型对应于一种编码方式，从而通过该至少一个编码子模型可以实现至少一种编码方式。服务器在调用目标编码层进行处理时可以执行下述子步骤4062A-4062D：
4062A、服务器将该多个应答模板和该多个语句输入该目标编码层，该目标编码层用于采用至少一种编码方式对该多个应答模板和该多个语句进行编码。
在上述过程中，服务器可以分别对各个应答模板以及各个语句提取句向量，再将各个应答模板的句向量以及各个语句的句向量输入到目标编码层中，在一些实施例中，可以直接将意图识别模型中提取到的各个语句的语句级特征作为各个语句的句向量，这样能够节约消息获取过程的计算量。
4062B、通过该目标编码层，采用该至少一种编码方式分别对该多个应答模板进行编码，得到多个第一编码结果，一个第一编码结果用于表示采用一种编码方式对一个应答模板进行编码所得的结果信息。
在上述过程中，在该目标编码层中可以包括至少一个编码子模型，一个编码子模型对应于一种编码方式，从而通过该至少一个编码子模型可以实现至少一种编码方式。也即是说，对任一应答模板，服务器可以将任一应答模板的句向量输入到至少一个编码子模型中，通过该至少一个编码子模型分别对该任一应答模板的句向量进行编码，得到至少一个第一编码结果，比如，该至少一个编码子模型可以包括BOW网络、CNN网络、GRU网络或者自身注意力网络中至少一项。
通过在目标编码层引入至少一种编码方式，这样可以结合字词特征编码以增强编码结果的泛化性，而且还可以结合不同编码方式各自的优点，以达到更好的文本匹配准确率。
4062C、通过该目标编码层，采用该至少一种编码方式分别对该多个语句进行编码，得到多个第二编码结果，一个第二编码结果用于表示采用一种编码方式对一个语句进行编码所得的结果信息。
上述步骤4062C与上述步骤4062B类似，这里不做赘述。
4062D、服务器通过该目标匹配层，对该多个第一编码结果和该多个第二编码结果进行处理，得到该多个应答模板分别与该多个语句之间的第二匹配概率。
在上述过程中，任一应答模板和任一语句可以构成一个语句对，获取该语句对的第二匹配概率的过程，可以视为对该任一应答模板和该任一语句进行文本匹配的过程。
在一些实施例中，对任一应答模板与任一语句所构成的语句对，服务器还可以基于交叉注意力矩阵，对该任一应答模板以及该任一语句进行加权处理，得到该语句对的交叉特征；基于该任一应答模板对应的至少一个第一编码结果、该任一语句对应的至少一个第二编码结果以及该语句对的交叉特征，获取该任一应答模板与该任一语句之间的第二匹配概率。
可选地，服务器可以将至少一个第一编码结果、至少一个第二编码结果以及该语句对的交叉特征进行融合，得到该语句对的融合后特征，对该语句对的融合后特征进行softmax(指数归一化)处理，得到一个第二匹配概率。可选地，融合方式可以包括点积、向量积、拼接、双线性汇合中至少一项，本申请实施例不对特征之间的融合方式进行具体限定。
在上述过程中，通过融合各个第一编码结果、各个第二编码结果以及交叉特征，能够从细粒度建立应答模板与语句之间的匹配关系，可以使得下文识别模型达到更好的鲁棒性。
图6是本申请实施例提供的一种下文识别模型的原理性示意图，请参考图6，以任一个应答模板和任一语句的文本匹配过程为例进行说明，在下文识别模型600中包括目标编码层和目标匹配层，目标编码层包括4种编码子模型，分别为BOW网络、CNN网络、GRU网络以及自身注意力网络，目标编码层分别对该任一应答模板和该任一语句进行编码，得到至少一个第一编码结果和至少一个第二编码结果，此外，通过交叉注意力矩阵，对该任一应答模板和该任一语句进行加权处理，得到该语句对的交叉特征，进而将该至少一个第一编码结果、至少一个第二编码结果和该语句对的交叉特征进行融合及指数归一化，即可得到两者之间的第二匹配概率。需要说明的是，下文识别模型的训练过程与获取第二匹配概率的过程类似，但对每种编码子模型均需要考虑各自的编码损失，对交叉特征还需要考虑其交叉损失，这里不做赘述。
4063、服务器将第二匹配概率最高的应答模板确定为与该任一意图标签之间符合目标条件的候选模板。
在上述过程中，对每个意图标签，服务器可以按照第二匹配概率从大到小的顺序对各个应答模板进行排序，将排序位于第一位的应答模板确定为一个候选模板。服务器对每个意图标签重复执行上述步骤，可以得到分别与至少一个意图标签对应的至少一个候选模板，执行下述步骤407。
在一个示例中，假设意图识别模型中的意图标签采用L4表示，下文识别模型中的应答模板采用L5表示，显然由于一个意图标签对应于多个应答模板，也即是说，L4与L5之间的一对多的关系，每个L4中包含多个L5，每个L5仅属于一个L4，那么在进行候选模板的推荐时，首先将用户在目标会话中的会话文本信息输入到意图识别模型中，由意图识别模型推荐出第一匹配概率超过第一匹配阈值的前K(topK)个L4，可以记为{L41，L42，...，L4K}，接着，循环遍历每个L4i(i＝1，2，...，K)，使用下文识别模型，从L4i对应的L5列表中选出第二匹配概率最高的L5i，下文识别的具体过程是遍历会话文本信息中的每句话qj，将L4i和qj输入到下文识别模型中，得到与qj之间第二匹配概率最高的
Figure BDA0002579206700000213
以及对应的分值
Figure BDA0002579206700000211
(也即第二匹配概率)，遍历完成后，对所有的
Figure BDA0002579206700000214
按照分值排序(按照第二匹配概率从大到小的顺序排序)，取出最高分值的
Figure BDA0002579206700000212
作为候选模板。那么对于每个L4i来说，下文识别模型都会推荐一个L5i，可以构成{L4i；L5i}的键值对，返回给实时修正平台，由业务人员在前端融合人工判断来选取出最佳的应答模板。
407、服务器从该至少一个候选模板中，确定与该目标会话中最后一个语句的语义相似度最高的候选模板为该应答消息。
在上述过程中，服务器可以该至少一个意图标签和该至少一个候选模板推送到实时修正平台，由业务人员指定出语义相似度最高的候选模板作为应答消息，通过引入人工修正因素，可以大大提升指定的应答消息的准确度，针对一些负样本会话可以极大改善用户体验。
图7是本申请实施例提供的一种实时修正平台的界面示意图，请参考图7，在实时修正平台700的左侧提供意图判断部分701，右侧提供意图选择部分702，业务人员可以快速根据意图判断部分701中展示的会话文本信息，来决策出语义相似度最高的候选模板。
可选地，服务器还可以直接将所有的候选模板中，第二匹配概率最高候选模板确定为语义相似度最高的候选模板，从而将该语义相似度最高的候选模板作为应答消息，可以节约人力资源，简化消息获取流程。
在上述步骤406-407中，服务器根据该至少一个意图标签和该会话文本信息，获取该目标会话中最后一个语句所对应的应答消息，在一些实施例中，服务器还可以随机选取一个候选模板作为应答消息，同样可以节约人力资源，简化消息获取流程，本申请实施例不对选取应答消息的方式进行具体限定。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本申请实施例提供的方法，通过对目标会话的会话文本信息，先提取语句级特征，再根据语句级特征进一步提取会话级特征，基于会话级特征进行意图标签的推荐，根据推荐的意图标签来获取目标会话的应答消息，由于会话级特征是由语句级特征进行进一步提取所得的，因此会话级特征不仅能够表征出每个语句在目标会话中的重要性，而且还可以有机体现出语句级特征所表征的每个字符在每个语句中的重要性，这种分层提取会话级特征的方式大大提升了会话级特征的表达能力，针对多轮人机会话中常见的用户分句表达、用户切换意图等情况，基于分层提取的会话级特征具有更高的准确度，从而可以提升获取到的应答消息的准确度，提升人机交互效率。
在上述过程中，在采用的多轮会话的意图识别模型中，基于分级注意力模型的思想，使用了两层attention机制(两层注意力矩阵)分别获得最重要的词和句子，同时使用了标签向量化的方式获取了更多特征，增强了分类效果；考虑到下文内容多样化且通常句子较短的特性，在下文识别模型的设计上利用交叉注意力矩阵进行额外交互，以获得更多、更丰富的句子表征，构造多个损失进行融合学习，增强了模型的鲁棒性。
图8是本申请实施例提供的一种消息获取装置的结构示意图，参见图8，该装置包括：
第一获取模块801，用于获取目标会话的会话文本信息中多个语句的语句级特征，该目标会话为基于人工智能的问答模型所参与的多轮人机会话，一个语句的语句级特征用于表示该一个语句内的字符在该一个语句中的重要程度；
第二获取模块802，用于根据该多个语句的语句级特征，获取该目标会话的会话级特征，该会话级特征用于表示该多个语句在该目标会话中的重要程度；
确定模块803，用于根据该目标会话的会话级特征，确定与该目标会话匹配的至少一个意图标签；
第三获取模块804，用于根据该至少一个意图标签和该会话文本信息，获取该目标会话中最后一个语句所对应的应答消息。
本申请实施例提供的装置，通过对目标会话的会话文本信息，先提取语句级特征，再根据语句级特征进一步提取会话级特征，基于会话级特征进行意图标签的推荐，根据推荐的意图标签来获取目标会话的应答消息，由于会话级特征是由语句级特征进行进一步提取所得的，因此会话级特征不仅能够表征出每个语句在目标会话中的重要性，而且还可以有机体现出语句级特征所表征的每个字符在每个语句中的重要性，这种分层提取会话级特征的方式大大提升了会话级特征的表达能力，针对多轮人机会话中常见的用户分句表达、用户切换意图等情况，基于分层提取的会话级特征具有更高的准确度，从而可以提升获取到的应答消息的准确度，提升人机交互效率。
在一种可能实施方式中，基于图8的装置组成，该第一获取模块801包括：
第一编码子模块，用于调用意图识别模型，对该会话文本信息中的该多个语句进行编码，得到该多个语句的语句级特征，该意图识别模型用于确定与该目标会话相匹配的意图标签。
在一种可能实施方式中，该意图识别模型包括语句编码层，该第一编码子模块用于：
对该多个语句中任一语句，获取该任一语句中至少一个字符的词向量；
将该至少一个字符的词向量输入该语句编码层，调用该语句编码层对该至少一个字符的词向量进行编码，得到该至少一个字符的中间特征；
基于第一注意力矩阵，对该至少一个字符的中间特征进行加权处理，得到该任一语句的语句级特征，该第一注意力矩阵用于表示该至少一个字符在该任一语句中的重要程度。
在一种可能实施方式中，基于图8的装置组成，该第二获取模块802包括：
第二编码子模块，用于调用该意图识别模型，对该多个语句的语句级特征进行编码，得到该目标会话的会话级特征。
在一种可能实施方式中，该意图识别模型包括会话编码层，该第二编码子模块用于：
将该多个语句的语句级特征输入该会话编码层，调用该会话编码层对该多个语句的语句级特征进行编码，得到该多个语句的中间特征；
基于第二注意力矩阵，对该多个语句的中间特征进行加权处理，得到该目标会话的会话级特征，该第二注意力矩阵用于表示该多个语句在该目标会话中的重要程度。
在一种可能实施方式中，该确定模块803用于：
调用该意图识别模型，对该会话级特征进行分类处理，得到该目标会话相对于多个意图标签之间的第一匹配概率，一个第一匹配概率用于表示一个意图标签与该目标会话之间的匹配程度；
从该多个意图标签中，将第一匹配概率大于第一匹配阈值的意图标签确定为该至少一个意图标签。
在一种可能实施方式中，基于图8的装置组成，该第三获取模块804包括：
筛选子模块，用于根据该会话文本信息，从与该至少一个意图标签所对应的多个应答模板中，筛选得到符合目标条件的至少一个候选模板，该目标条件用于表示在任一意图标签所对应的多个应答模板中与该会话文本信息之间的匹配程度最高；
确定子模块，用于从该至少一个候选模板中，确定与该最后一个语句的语义相似度最高的候选模板为该应答消息。
在一种可能实施方式中，基于图8的装置组成，该筛选子模块包括：
获取单元，用于对该至少一个意图标签中任一意图标签，获取与该任一意图标签对应的多个应答模板；
处理单元，用于调用下文识别模型对该多个应答模板和该会话文本信息中多个语句进行处理，得到该多个应答模板分别与该多个语句之间的第二匹配概率，一个第二匹配概率用于表示一个应答模板与一个语句之间的匹配程度；
确定单元，用于将第二匹配概率最高的应答模板确定为与该任一意图标签之间符合目标条件的候选模板。
在一种可能实施方式中，该下文识别模型包括目标编码层和目标匹配层，基于图8的装置组成，该处理单元包括：
输入子单元，用于将该多个应答模板和该多个语句输入该目标编码层，该目标编码层用于采用至少一种编码方式对该多个应答模板和该多个语句进行编码；
第一编码子单元，用于通过该目标编码层，采用该至少一种编码方式分别对该多个应答模板进行编码，得到多个第一编码结果，一个第一编码结果用于表示采用一种编码方式对一个应答模板进行编码所得的结果信息；
第二编码子单元，用于通过该目标编码层，采用该至少一种编码方式分别对该多个语句进行编码，得到多个第二编码结果，一个第二编码结果用于表示采用一种编码方式对一个语句进行编码所得的结果信息；
处理子单元，用于通过该目标匹配层，对该多个第一编码结果和该多个第二编码结果进行处理，得到该多个应答模板分别与该多个语句之间的第二匹配概率。
在一种可能实施方式中，该处理子单元用于：
对任一应答模板与任一语句所构成的语句对，基于交叉注意力矩阵，对该任一应答模板以及该任一语句进行加权处理，得到该语句对的交叉特征；
基于该任一应答模板对应的至少一个第一编码结果、该任一语句对应的至少一个第二编码结果以及该语句对的交叉特征，获取该任一应答模板与该任一语句之间的第二匹配概率。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
需要说明的是：上述实施例提供的消息获取装置在获取应答消息时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将计算机设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的消息获取装置与消息获取方法实施例属于同一构思，其具体实现过程详见消息获取方法实施例，这里不再赘述。
图9是本申请实施例提供的计算机设备的结构示意图，该计算机设备900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(Central ProcessingUnits，CPU)901和一个或一个以上的存储器902，其中，该存储器902中存储有至少一条程序代码，该至少一条程序代码由该处理器901加载并执行以实现上述各个实施例提供的消息获取方法。当然，该计算机设备900还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该计算机设备900还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括至少一条程序代码的存储器，上述至少一条程序代码可由终端中的处理器执行以完成上述实施例中消息获取方法。例如，该计算机可读存储介质可以是ROM(Read-Only Memory，只读存储器)、RAM(Random-Access Memory，随机存取存储器)、CD-ROM(Compact Disc Read-Only Memory，只读光盘)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，包括一条或多条程序代码，该一条或多条程序代码可以存储在计算机可读存储介质中。计算机设备的一个或多个处理器可以从计算机可读存储介质中读取该一条或多条程序代码，该一个或多个处理器执行该一条或多条程序代码，使得计算机设备能够执行以完成上述实施例中消息获取方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种消息获取方法，其特征在于，所述方法包括：
获取目标会话的会话文本信息中多个语句的语句级特征，所述目标会话为基于人工智能的问答模型所参与的多轮人机会话，一个语句的语句级特征用于表示所述一个语句内的字符在所述一个语句中的重要程度；
根据所述多个语句的语句级特征，获取所述目标会话的会话级特征，所述会话级特征用于表示所述多个语句在所述目标会话中的重要程度；
根据所述目标会话的会话级特征，确定与所述目标会话匹配的至少一个意图标签；
根据所述至少一个意图标签和所述会话文本信息，获取所述目标会话中最后一个语句所对应的应答消息。
2.根据权利要求1所述的方法，其特征在于，所述获取目标会话的会话文本信息中多个语句的语句级特征包括：
调用意图识别模型，对所述会话文本信息中的所述多个语句进行编码，得到所述多个语句的语句级特征，所述意图识别模型用于确定与所述目标会话相匹配的意图标签。
3.根据权利要求2所述的方法，其特征在于，所述意图识别模型包括语句编码层，所述调用意图识别模型，对所述会话文本信息中的所述多个语句进行编码，得到所述多个语句的语句级特征包括：
对所述多个语句中任一语句，获取所述任一语句中至少一个字符的词向量；
将所述至少一个字符的词向量输入所述语句编码层，调用所述语句编码层对所述至少一个字符的词向量进行编码，得到所述至少一个字符的中间特征；
基于第一注意力矩阵，对所述至少一个字符的中间特征进行加权处理，得到所述任一语句的语句级特征，所述第一注意力矩阵用于表示所述至少一个字符在所述任一语句中的重要程度。
4.根据权利要求2所述的方法，其特征在于，所述根据所述多个语句的语句级特征，获取所述目标会话的会话级特征包括：
调用所述意图识别模型，对所述多个语句的语句级特征进行编码，得到所述目标会话的会话级特征。
5.根据权利要求4所述的方法，其特征在于，所述意图识别模型包括会话编码层，所述调用所述意图识别模型，对所述多个语句的语句级特征进行编码，得到所述目标会话的会话级特征包括：
将所述多个语句的语句级特征输入所述会话编码层，调用所述会话编码层对所述多个语句的语句级特征进行编码，得到所述多个语句的中间特征；
基于第二注意力矩阵，对所述多个语句的中间特征进行加权处理，得到所述目标会话的会话级特征，所述第二注意力矩阵用于表示所述多个语句在所述目标会话中的重要程度。
6.根据权利要求2所述的方法，其特征在于，所述根据所述目标会话的会话级特征，确定与所述目标会话匹配的至少一个意图标签包括：
调用所述意图识别模型，对所述会话级特征进行分类处理，得到所述目标会话相对于多个意图标签之间的第一匹配概率，一个第一匹配概率用于表示一个意图标签与所述目标会话之间的匹配程度；
从所述多个意图标签中，将第一匹配概率大于第一匹配阈值的意图标签确定为所述至少一个意图标签。
7.根据权利要求1所述的方法，其特征在于，所述根据所述至少一个意图标签和所述会话文本信息，获取所述目标会话中最后一个语句所对应的应答消息包括：
根据所述会话文本信息，从与所述至少一个意图标签所对应的多个应答模板中，筛选得到符合目标条件的至少一个候选模板，所述目标条件用于表示在任一意图标签所对应的多个应答模板中与所述会话文本信息之间的匹配程度最高；
从所述至少一个候选模板中，确定与所述最后一个语句的语义相似度最高的候选模板为所述应答消息。
8.根据权利要求7所述的方法，其特征在于，所述根据所述会话文本信息，从与所述至少一个意图标签所对应的多个应答模板中，筛选得到符合目标条件的至少一个候选模板包括：
对所述至少一个意图标签中任一意图标签，获取与所述任一意图标签对应的多个应答模板；
调用下文识别模型对所述多个应答模板和所述会话文本信息中多个语句进行处理，得到所述多个应答模板分别与所述多个语句之间的第二匹配概率，一个第二匹配概率用于表示一个应答模板与一个语句之间的匹配程度；
将第二匹配概率最高的应答模板确定为与所述任一意图标签之间符合目标条件的候选模板。
9.根据权利要求8所述的方法，其特征在于，所述下文识别模型包括目标编码层和目标匹配层，所述调用下文识别模型对所述多个应答模板和所述会话文本信息中多个语句进行处理，得到所述多个应答模板分别与所述多个语句之间的第二匹配概率包括：
将所述多个应答模板和所述多个语句输入所述目标编码层，所述目标编码层用于采用至少一种编码方式对所述多个应答模板和所述多个语句进行编码；
通过所述目标编码层，采用所述至少一种编码方式分别对所述多个应答模板进行编码，得到多个第一编码结果，一个第一编码结果用于表示采用一种编码方式对一个应答模板进行编码所得的结果信息；
通过所述目标编码层，采用所述至少一种编码方式分别对所述多个语句进行编码，得到多个第二编码结果，一个第二编码结果用于表示采用一种编码方式对一个语句进行编码所得的结果信息；
通过所述目标匹配层，对所述多个第一编码结果和所述多个第二编码结果进行处理，得到所述多个应答模板分别与所述多个语句之间的第二匹配概率。
10.根据权利要求9所述的方法，其特征在于，所述对所述多个第一编码结果和所述多个第二编码结果进行处理，得到所述多个应答模板分别与所述多个语句之间的第二匹配概率包括：
对任一应答模板与任一语句所构成的语句对，基于交叉注意力矩阵，对所述任一应答模板以及所述任一语句进行加权处理，得到所述语句对的交叉特征；
基于所述任一应答模板对应的至少一个第一编码结果、所述任一语句对应的至少一个第二编码结果以及所述语句对的交叉特征，获取所述任一应答模板与所述任一语句之间的第二匹配概率。
11.一种消息获取装置，其特征在于，所述装置包括：
第一获取模块，用于获取目标会话的会话文本信息中多个语句的语句级特征，所述目标会话为基于人工智能的问答模型所参与的多轮人机会话，一个语句的语句级特征用于表示所述一个语句内的字符在所述一个语句中的重要程度；
第二获取模块，用于根据所述多个语句的语句级特征，获取所述目标会话的会话级特征，所述会话级特征用于表示所述多个语句在所述目标会话中的重要程度；
确定模块，用于根据所述目标会话的会话级特征，确定与所述目标会话匹配的至少一个意图标签；
第三获取模块，用于根据所述至少一个意图标签和所述会话文本信息，获取所述目标会话中最后一个语句所对应的应答消息。
12.一种计算机设备，其特征在于，所述计算机设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求10任一项所述的消息获取方法。
13.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求10任一项所述的消息获取方法。
CN202010662700.2A 2020-07-10 2020-07-10 消息获取方法、装置、计算机设备及存储介质 Active CN111666400B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010662700.2A CN111666400B (zh) 2020-07-10 2020-07-10 消息获取方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010662700.2A CN111666400B (zh) 2020-07-10 2020-07-10 消息获取方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111666400A true CN111666400A (zh) 2020-09-15
CN111666400B CN111666400B (zh) 2023-10-13

Family

ID=72392193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010662700.2A Active CN111666400B (zh) 2020-07-10 2020-07-10 消息获取方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111666400B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925512A (zh) * 2021-01-29 2021-06-08 北京字节跳动网络技术有限公司 一种消息发送方法、装置、电子设备及存储介质
CN113449094A (zh) * 2021-07-08 2021-09-28 京东科技控股股份有限公司 语料获取方法、装置、电子设备及存储介质
CN113569143A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 推荐结果的生成方法、装置、电子设备和计算机可读介质
CN116052081A (zh) * 2023-01-10 2023-05-02 山东高速建设管理集团有限公司 一种场地安全实时监测方法、系统、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133927A1 (en) * 2000-11-13 2004-07-08 Stanley Sternberg Digital media recognition apparatus and methods
US20110025842A1 (en) * 2009-02-18 2011-02-03 King Martin T Automatically capturing information, such as capturing information using a document-aware device
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN108874782A (zh) * 2018-06-29 2018-11-23 北京寻领科技有限公司 一种层次注意力lstm和知识图谱的多轮对话管理方法
CN109241251A (zh) * 2018-07-27 2019-01-18 众安信息技术服务有限公司 一种会话交互方法
CN109543030A (zh) * 2018-10-12 2019-03-29 平安科技（深圳）有限公司 客服机器人会话文本分类方法及装置、设备、存储介质
CN110110062A (zh) * 2019-04-30 2019-08-09 贝壳技术有限公司 机器智能问答方法、装置与电子设备
CN110413788A (zh) * 2019-07-30 2019-11-05 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN110674287A (zh) * 2018-06-07 2020-01-10 阿里巴巴集团控股有限公司 层级意图体系的建立方法及装置
CN111046143A (zh) * 2019-12-17 2020-04-21 南京富士通南大软件技术有限公司 一种ChatBot系统中用户日语会话意图识别方法
CN111104495A (zh) * 2019-11-19 2020-05-05 深圳追一科技有限公司 基于意图识别的信息交互方法、装置、设备和存储介质
CN111125326A (zh) * 2019-12-06 2020-05-08 贝壳技术有限公司 用于实现人机对话的方法、装置、介质以及电子设备
CN111339745A (zh) * 2020-03-06 2020-06-26 京东方科技集团股份有限公司 一种随访报告生成方法、设备、电子设备和存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040133927A1 (en) * 2000-11-13 2004-07-08 Stanley Sternberg Digital media recognition apparatus and methods
US20110025842A1 (en) * 2009-02-18 2011-02-03 King Martin T Automatically capturing information, such as capturing information using a document-aware device
CN108363690A (zh) * 2018-02-08 2018-08-03 北京十三科技有限公司 基于神经网络的对话语义意图预测方法及学习训练方法
CN110674287A (zh) * 2018-06-07 2020-01-10 阿里巴巴集团控股有限公司 层级意图体系的建立方法及装置
CN108874782A (zh) * 2018-06-29 2018-11-23 北京寻领科技有限公司 一种层次注意力lstm和知识图谱的多轮对话管理方法
CN109241251A (zh) * 2018-07-27 2019-01-18 众安信息技术服务有限公司 一种会话交互方法
CN109543030A (zh) * 2018-10-12 2019-03-29 平安科技（深圳）有限公司 客服机器人会话文本分类方法及装置、设备、存储介质
CN110110062A (zh) * 2019-04-30 2019-08-09 贝壳技术有限公司 机器智能问答方法、装置与电子设备
CN110413788A (zh) * 2019-07-30 2019-11-05 携程计算机技术（上海）有限公司 会话文本的场景类别的预测方法、系统、设备和存储介质
CN111104495A (zh) * 2019-11-19 2020-05-05 深圳追一科技有限公司 基于意图识别的信息交互方法、装置、设备和存储介质
CN111125326A (zh) * 2019-12-06 2020-05-08 贝壳技术有限公司 用于实现人机对话的方法、装置、介质以及电子设备
CN111046143A (zh) * 2019-12-17 2020-04-21 南京富士通南大软件技术有限公司 一种ChatBot系统中用户日语会话意图识别方法
CN111339745A (zh) * 2020-03-06 2020-06-26 京东方科技集团股份有限公司 一种随访报告生成方法、设备、电子设备和存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
I138-2492: "任务型人机对话系统中口语理解技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 1, pages 138 - 2492 *
PABLO LOYOLA ET AL.: "Modeling user session and intend with a attention-based encoder-decoder architecture", 《PROCEEDINGS OF THE EVLENTH ACM CONFERENCE ON RECOMMENDER SYSTEMS》, pages 147 - 151 *
WASI UDDIN AHMAD ET AL.: "Multi-task learning for document ranking and query suggestion", 《ICLR 2018 CONFERENCE BLIND SUBMISSION》, pages 1 - 14 *
葛丽萍: "交互式问答系统中的待改进问题自动识别方法", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 2, pages 139 - 158 *
陆伟;戚越;胡潇戈;黄勇凯;程齐凯;: "图书馆自动问答系统的设计与实现", 情报工程, no. 02, pages 6 - 17 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925512A (zh) * 2021-01-29 2021-06-08 北京字节跳动网络技术有限公司 一种消息发送方法、装置、电子设备及存储介质
CN113449094A (zh) * 2021-07-08 2021-09-28 京东科技控股股份有限公司 语料获取方法、装置、电子设备及存储介质
CN113569143A (zh) * 2021-07-20 2021-10-29 上海明略人工智能(集团)有限公司 推荐结果的生成方法、装置、电子设备和计算机可读介质
CN113569143B (zh) * 2021-07-20 2024-02-27 上海明略人工智能(集团)有限公司 推荐结果的生成方法、装置、电子设备和计算机可读介质
CN116052081A (zh) * 2023-01-10 2023-05-02 山东高速建设管理集团有限公司 一种场地安全实时监测方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN111666400B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN108920622B (zh) 一种意图识别的训练方法、训练装置和识别装置
CN110427461B (zh) 智能问答信息处理方法、电子设备及计算机可读存储介质
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN111666400B (zh) 消息获取方法、装置、计算机设备及存储介质
CN113051916B (zh) 一种社交网络中基于情感偏移感知的交互式微博文本情感挖掘方法
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN111046132A (zh) 一种检索多轮对话的客服问答处理方法及其系统
CN112307351A (zh) 用户行为的模型训练、推荐方法、装置和设备
CN117521675A (zh) 基于大语言模型的信息处理方法、装置、设备及存储介质
CN111325571B (zh) 一种多任务学习的商品评论标签自动生成方法、装置及系统
CN111680147A (zh) 一种数据处理方法、装置、设备以及可读存储介质
CN114969316B (zh) 一种文本数据处理方法、装置、设备以及介质
CN112100375A (zh) 文本信息生成方法、装置、存储介质及设备
CN114722839A (zh) 人机协同对话交互系统及方法
CN114328807A (zh) 一种文本处理方法、装置、设备及存储介质
US20230169271A1 (en) System and methods for neural topic modeling using topic attention networks
CN110597968A (zh) 一种回复选择方法及装置
CN116861258B (zh) 模型处理方法、装置、设备及存储介质
CN117332072B (zh) 对话处理、语音摘要提取以及目标对话模型训练方法
CN116010581A (zh) 一种基于电网隐患排查场景的知识图谱问答方法及系统
CN114330704A (zh) 语句生成模型更新方法、装置、计算机设备和存储介质
Prakash et al. Chatterbot implementation using transfer learning and LSTM encoder-decoder architecture
CN117271745A (zh) 一种信息处理方法、装置及计算设备、存储介质
CN116974626A (zh) 分析序列图生成方法、装置、设备和计算机可读存储介质
CN115391522A (zh) 一种基于社交平台元数据的文本主题建模方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40027487

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant