CN111625628A - 信息处理方法及装置、存储介质和处理器 - Google Patents

信息处理方法及装置、存储介质和处理器 Download PDF

Info

Publication number
CN111625628A
CN111625628A CN201910110677.3A CN201910110677A CN111625628A CN 111625628 A CN111625628 A CN 111625628A CN 201910110677 A CN201910110677 A CN 201910110677A CN 111625628 A CN111625628 A CN 111625628A
Authority
CN
China
Prior art keywords
text
spliced
vector
participle set
reply
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910110677.3A
Other languages
English (en)
Other versions
CN111625628B (zh
Inventor
陈谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910110677.3A priority Critical patent/CN111625628B/zh
Publication of CN111625628A publication Critical patent/CN111625628A/zh
Application granted granted Critical
Publication of CN111625628B publication Critical patent/CN111625628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种信息处理方法及装置、存储介质和处理器。该方法包括：获取用户与聊天机器人的多个对话文本和多个候选答复文本，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。本发明解决了由于句子编码成向量后易丢失信息，导致对候选答复的召回率不高的技术问题。

Description

信息处理方法及装置、存储介质和处理器
技术领域
本发明涉及信息处理技术领域，具体而言，涉及一种信息处理方法及装置、存储介质和处理器。
背景技术
目前智能应答的应用非常的广泛，例如，许多电商商家采用聊天机器人回复客户问题，在客户与聊天机器人对话的过程中，聊天机器人选择回复客户的答案时，通常会基于神经网络来进行多轮对话与答复之间的建模，比较常见的方法有两种：基于句子向量和基于层级结构的多轮对话选择回复内容。基于句子语义向量的方法一般是先把多轮对话的多句子进行拼接，然后用神经网络进行句子编码得到一个向量。同样，对于答复也进行类似的编码，得到另一个向量。最后通过计算两个向量之间的距离，选择最近距离的答复向量作为预测答复。这种方案的缺点是句子编码成向量后易丢失信息，导致对候选答复的召回率不高。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种信息处理方法及装置、存储介质和处理器，以至少解决由于句子编码成向量后易丢失信息，导致对候选答复的召回率不高的技术问题。
根据本发明实施例的一个方面，提供了一种信息处理方法，包括：获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，所述候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将所述拼接后的分词集合和所述多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与所述拼接后的分词集合的相关性得分；基于每个候选答复文本与所述拼接后的分词集合的相关性得分，确定答复文本。
进一步地，将所述拼接后的分词集合和所述多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与所述拼接后的分词集合的相关性得分包括：获取所述拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与所述拼接后的分词集合的相关性得分。
进一步地，在所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对所述拼接后的分词集合进行语义编码，得到对话文本的语义向量，对所述多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；计算所述对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；确定预设数量个候选答复文本，其中，所述预设数量个候选答复文本中的候选答复文本与所述对话文本的语义向量的相关性得分大于预设阈值；将所述预设数量个候选答复文本和所述拼接后的分词集合输入至所述逻辑序列推理模型，重新计算所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分；基于所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分，确定所述答复文本。
进一步地，将所述预设数量个候选答复文本和所述拼接后的分词集合输入至所述逻辑序列推理模型，重新计算所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分包括：获取所述拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是每个答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分。
进一步地，该方法还包括：重新得到所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分之后，基于相关性得分对所述预设数量个候选答复文本进行重新排序，将所述预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为所述答复文本。
进一步地，计算所述对话文本的语义向量与每个答复文本的语义向量之间的相关性得分采用以下任一方式：多层感知器、余弦距离、欧式距离。
进一步地，基于每个候选答复文本与所述拼接后的分词集合的相关性得分，确定答复文本包括：将与所述拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
根据本发明实施例的一个方面，提供了一种信息处理装置，包括：第一获取单元，用于获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，所述候选答复文本预先存储在数据库中；处理单元，用于对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；拼接单元，用于将所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；第二获取单元，用于将所述拼接后的分词集合和所述多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与所述拼接后的分词集合的相关性得分；第一确定单元，用于基于每个候选答复文本与所述拼接后的分词集合的相关性得分，确定答复文本。
进一步地，所述第二获取单元包括：第一获取模块，用于获取所述拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；第二获取模块，用于采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；第三获取模块，用于采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；第一组合模块，用于将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；第四获取模块，用于对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与所述拼接后的分词集合的相关性得分。
进一步地，还包括：编码单元，用于在所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对所述拼接后的分词集合进行语义编码，得到对话文本的语义向量，对所述多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；第一计算单元，用于计算所述对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；第二确定单元，用于确定预设数量个候选答复文本，其中，所述预设数量个候选答复文本中的候选答复文本与所述对话文本的语义向量的相关性得分大于预设阈值；第二计算单元，用于将所述预设数量个候选答复文本和所述拼接后的分词集合输入至所述逻辑序列推理模型，重新计算所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分；第三确定单元，用于基于所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分，确定所述答复文本。
进一步地，所述第二计算单元包括：第五获取模块，用于获取所述拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；第六获取模块，用于采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；第七获取模块，用于采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是每个答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；第二组合模块，用于将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；第八获取模块，用于对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分。
根据本发明实施例的一个方面，提供了一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的信息处理方法。
根据本发明实施例的一个方面，提供了一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的信息处理方法。
在本发明实施例中，通过获取用户与聊天机器人的多个对话文本和多个候选答复文本，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本，达到了提升对候选答复的召回率的目的，通过对对话文本进行分词，对分词集合输入至逻辑序列推理模型，得出分词集合与各个候选答复文本的相关性得分，基于相关性得分确定出答复文本，进而也实现了提升确定答复文本的准确率的技术效果，进而解决了由于句子编码成向量后易丢失信息，导致对候选答复的召回率不高的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的计算机终端的结构框图；
图2是根据本发明实施例的一种信息处理方法的流程图；
图3是根据本发明实施例的可选的一种信息处理方法的示意图一；
图4是根据本发明实施例的可选的一种信息处理方法的示意图二；
图5是根据本发明实施例的可选的一种信息处理方法的示意图三；
图6是根据本发明实施例的可选的一种信息处理方法的示意图四；
图7是根据本发明实施例的一种信息处理装置的示意图；以及
图8是根据本发明实施例的可选的计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：
逻辑序列推理模型：英文全称Enhanced Sequential Inference Model，简称ESIM。一种用于文本序列对分类的神经网络模型，最初用于解决自然语言推理问题，先使用双向长短时记忆模型得到隐层向量序列，再使用注意力机制和双向长短时记忆模型得到匹配隐层向量序列，最后用均值、最大池化和多层感知机进行文本序列对分类。
实施例1
根据本发明实施例，提供了一种信息处理的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现信息处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本发明实施例中的信息处理方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的应用程序的信息处理方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下，本申请提供了如图2所示的信息处理方法。图2是根据本发明实施例一的信息处理方法的流程图。
步骤S201，获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，候选答复文本预先存储在数据库中。
上述的多个对话文本可以为用户与聊天机器人多轮的对话历史，例如，如图3所示，多个对话文本为：用户：299的湿巾和399的湿巾有什么区别；机器：材质一样的大小不同；用户：哦299的有5包80抽399的才4包72抽。针对用户的当前问题：哦299的有5包80抽399的才4包72抽，所有的候选答复为：候选1：一种是大包的一种是小包的亲看下哦；候选2:10包湿巾；候选：您好10包湿巾哦；…候选N:拍2组送独立装的湿巾10哦一包一片的。
步骤S202，对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合。
例如，对每个对话文本进行分词处理，用户：299的湿巾和399的湿巾有什么区别；机器：材质一样的大小不同；用户：哦299的有5包80抽399的才4包72抽。
对每个候选答复文本进行分词处理，得到：候选1：一种是大包的一种是小包的亲看下哦；候选2:10包湿巾；候选3：您好10包湿巾哦；…候选N:拍2组送独立装的湿巾10哦一包一片的。
步骤S203，将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合。
例如，将多个对话文本分词集合中分词进行拼接，得到：299的湿巾和399的湿巾有什么区别[EOT]材质一样的大小不同[EOT]哦299的有5包80抽399的才4包72抽。
步骤S204，将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分。
将拼接后的分词集合和多个答复文本的分词集合输入至ESIM，ESIM进行重排序，得到每个候选答复文本与拼接后的分词集合的相关性得分，例如，得到：候选1:0.9；候选2:0.5；…候选K：0.4。
步骤S205，基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
例如，选取与拼接后的分词集合相关性得分最高的候选答复文本作为答复文本，得到候选1：一种是大包的一种是小包的亲看下哦，为答复文本。
综上所述，在本申请实施例提供的信息处理方法中，通过获取用户与聊天机器人的多个对话文本和多个候选答复文本，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本，达到了提升对候选答复的召回率的目的，通过对对话文本进行分词，对分词集合输入至逻辑序列推理模型，得出分词集合与各个候选答复文本的相关性得分，基于相关性得分确定出答复文本，进而也实现了提升确定答复文本的准确率的技术效果，进而解决了由于句子编码成向量后易丢失信息，导致对候选答复的召回率不高的技术问题。
可选地，在本申请实施例提供的信息处理方法中，将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
如图4所示，通过BiLSTM编码器对拼接后的分词进行编码，获得拼接后的分词的语义向量和候选答复文本的语义向量(例如为上述的第一向量和第二向量)，然后用注意力机制(attention)获得拼接后的文本的语义向量对应的匹配向量和候选答复文本的语义向量对应的匹配向量，组合拼接后的文本对应的匹配向量与每个候选文本对应的匹配向量，匹配向量是指原始的语义向量和注意力加权和后得到的向量拼接后的向量，组合拼接后的文本对应的匹配向量与每个候选文本对应的匹配向量，再采用分类器，例如，MLP分类器，对每个候选答复文本进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
需要说明的是，在本申请实施例提供的信息处理方法中，计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分可以采用以下任一方式：多层感知器、余弦距离、欧式距离。
可选地，在本申请实施例提供的信息处理方法中，还包括：在多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对拼接后的分词集合进行语义编码，得到对话文本的语义向量，对多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；确定预设数量个候选答复文本，其中，预设数量个候选答复文本中的候选答复文本与对话文本的语义向量的相关性得分大于预设阈值；将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分；基于预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
如图5所示，例如，对拼接后的分词集合进行语义编码，得到语义向量：[0.11 0.33-0.21 … 0.14]；对多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量，候选1语义向量：[0.14 0.23 -0.13 … 0.24]；候选2语义向量：[0.23 0.11 0.01 … -0.24]；候选3语义向量：[0.03 0.31 -0.01 … 0.31]，…候选N语义向量：[0.15 0.09 0.15 … -0.19]。将拼接后的分词集合的语义向量与候选1语义向量、候选2语义向量…候选N语义向量，采用MLP计算相关性得分，选出相关性得分排前K的候选答复，将相关性得分排前K的候选答复输入至逻辑序列推理模型，对选出的排前K的候选答复进行重排序，得到最终的答复文本。
需要说明的是，在本申请实施例提供的信息处理方法中，可以采用BiLSTM+Multi-head Self-Attention Pooling进行语义编码，还可以采用其他的方式进行语义编码，例如：用CNN、Transformer进行语义编码。
如图6所示，拼接后的分词集合通过BiLSTM编码器编码后的语义向量为：[0.110.33 … 0.14],[0.22 0.15 … 0.30],…,[0.33 0.18 … 0.23]，通过BiLSTM编码器对候选答复进行编码后的语义向量为：[0.11 0.33 … 0.14],[0.22 0.15 … 0.30],…,[0.330.18 … 0.23]，将拼接后的分词集合编码后的语义向量与各个候选答复进行编码后的语义向量进行组合，得到对话文本的匹配向量和候选答复的匹配向量，采用BiLSTM组合器对对话文本的匹配向量进行组合，对候选答复的匹配向量进行组合，分别对组合后的向量进行池化。对话文本池化后的向量为：[0.21 0.31 … 0.14]，候选答复的池化后的向量为[0.28 0.19 … 0.09]，采用MLP分类器对话文本池化后的向量和候选答复的池化后的向量进行计算各个候选答复的相关性得分，得到候选答复1的得分为0.9，候选答复1的得分为0.5，…候选答复K的得分为0.4，基于相关性得分可以确定出最终的答复文本。
可选地，在本申请实施例提供的信息处理方法中，将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是每个答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分。
在将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型之后，通过BiLSTM编码器对拼接后的分词进行编码，获得拼接后的分词的语义向量和候选答复文本的语义向量(例如为上述的第一向量和第二向量)，然后用注意力机制(attention)获得拼接后的文本的语义向量对应的匹配向量和候选答复文本的语义向量对应的匹配向量，匹配向量是指原始的语义向量和注意力加权和后得到的向量拼接后的向量，组合拼接后的文本对应的匹配向量与每个候选文本对应的匹配向量，再采用分类器，例如，MLP分类器，对每个候选答复文本进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
可选地，在本申请实施例提供的信息处理方法中，该方法还包括：重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分之后，基于相关性得分对预设数量个候选答复文本进行重新排序，将预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为答复文本。
在本申请实施例提供的信息处理方法中，上述的预设条件可以为相关性得分最高，也可以为分数阈值，也即，可以将相关性最高的候选答复文本作为最终的答复文本，也可以将超过分数阈值的候选答复文本都作为最终的答复文本，在本申请中不作限定。
可选地，在本申请实施例提供的信息处理方法中，基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本包括：将与拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
在本申请实施例提供的信息处理方法中，将相关性最高的候选答复文本作为最终的答复文本，从而提升了回复用户问题的答案的准确性。
在本申请实施例提供的信息处理方法中，分别把多轮对话以及全部的候选答复集合用BiLSTM+Multi-head Self-Attention Pooling模型表示成语义向量，然后用MLP计算得分，挑选Top K候选答复。然后用ESIM模型进行重排序，得到最终的候选答复。主要流程如下：分别对原始的多轮对话文本以及全部候选答复文本进行分词。对多轮对话文本进行拼接，以特殊结束符进行分隔。分别对多轮对话文本以及全部候选答复文本进行BiLSTM+Multi-head Self-Attention Pooling编码，转化成语义向量。用MLP计算语义向量之间相关性得分，挑选出Top K候选答复。用ESIM模型重新计算Top K候选答复与多轮对话文本之间的语义相关性得分，进行重排序，得最终的候选答复。先用改进的基于句子语义向量的方法进行Top K的候选答复挑选，然后用非层级结构的注意力模型ESIM进行重排序，同时满足了召回率和实时性要求。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
根据本发明实施例，还提供了一种用于实施上述信息处理方法的装置，如图7所示，该装置包括：第一获取单元701、处理单元702、拼接单元703、第二获取单元704和第一确定单元705。
第一获取单元701，用于获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，候选答复文本预先存储在数据库中；
处理单元702，用于对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；
拼接单元703，用于将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；
第二获取单元704，用于将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；
第一确定单元705，用于基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
在本发明实施例提供的信息处理装置中，通过第一获取单元701获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，候选答复文本预先存储在数据库中；处理单元702对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；拼接单元703将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；第二获取单元704将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；第一确定单元705基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。达到了提升对候选答复的召回率的目的，通过对对话文本进行分词，对分词集合输入至逻辑序列推理模型，得出分词集合与各个候选答复文本的相关性得分，基于相关性得分确定出答复文本，进而也实现了提升确定答复文本的准确率的技术效果，进而解决了由于句子编码成向量后易丢失信息，导致对候选答复的召回率不高的技术问题。
可选地，在本申请实施例提供的信息处理装置中，该第二获取单元704包括：第一获取模块，用于获取拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；第二获取模块，用于采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；第三获取模块，用于采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；第一组合模块，用于将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；第四获取模块，用于对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
可选地，在本申请实施例提供的信息处理装置中，还包括：编码单元，用于在多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对拼接后的分词集合进行语义编码，得到对话文本的语义向量，对多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；第一计算单元，用于计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；第二确定单元，用于确定预设数量个候选答复文本，其中，预设数量个候选答复文本中的候选答复文本与对话文本的语义向量的相关性得分大于预设阈值；第二计算单元，用于将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分；第三确定单元，用于基于预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
可选地，在本申请实施例提供的信息处理装置中，第二计算单元包括：第五获取模块，用于获取拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；第六获取模块，用于采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；第七获取模块，用于采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是每个答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；第二组合模块，用于将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；第八获取模块，用于对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分。
可选地，在本申请实施例提供的信息处理装置中，该装置还包括：第四确定单元，用于重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分之后，基于相关性得分对预设数量个候选答复文本进行重新排序，将预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为答复文本。
可选地，在本申请实施例提供的信息处理装置中，第一计算单元还用于计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分采用以下任一方式：多层感知器、余弦距离、欧式距离。
可选地，在本申请实施例提供的信息处理装置中，第一确定单元还用于将与拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
此处需要说明的是，上述第一获取单元701、处理单元702、拼接单元703、第二获取单元704和第一确定单元705对应于实施例1中的步骤S101至步骤S105，五个单元与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
实施例3
本发明的实施例可以提供一种计算机终端，该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地，在本实施例中，上述计算机终端也可以替换为移动终端等终端设备。
可选地，在本实施例中，上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中，上述计算机终端可以执行应用程序的信息处理方法中以下步骤的程序代码：获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
上述计算机终端还可以执行应用程序的信息处理方法中以下步骤的程序代码：将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
上述计算机终端还可以执行应用程序的信息处理方法中以下步骤的程序代码：在多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对拼接后的分词集合进行语义编码，得到对话文本的语义向量，对多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；确定预设数量个候选答复文本，其中，预设数量个候选答复文本中的候选答复文本与对话文本的语义向量的相关性得分大于预设阈值；将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分；基于预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
上述计算机终端还可以执行应用程序的信息处理方法中以下步骤的程序代码：将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是每个答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分。
上述计算机终端还可以执行应用程序的信息处理方法中以下步骤的程序代码：该方法还包括：重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分之后，基于相关性得分对预设数量个候选答复文本进行重新排序，将预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为答复文本。
上述计算机终端还可以执行应用程序的信息处理方法中以下步骤的程序代码：计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分采用以下任一方式：多层感知器、余弦距离、欧式距离。
上述计算机终端还可以执行应用程序的信息处理方法中以下步骤的程序代码：基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本包括：将与拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
可选地，图8是根据本发明实施例的一种计算机终端的结构框图。如图8所示，该计算机终端A可以包括：一个或多个(图8中仅示出一个)处理器、存储器。
其中，存储器可用于存储软件程序以及模块，如本发明实施例中的信息处理方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的信息处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序，以执行下述步骤：获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
可选的，上述处理器还可以执行如下步骤的程序代码：将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
可选的，上述处理器还可以执行如下步骤的程序代码：在多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对拼接后的分词集合进行语义编码，得到对话文本的语义向量，对多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；确定预设数量个候选答复文本，其中，预设数量个候选答复文本中的候选答复文本与对话文本的语义向量的相关性得分大于预设阈值；将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分；基于预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
可选的，上述处理器还可以执行如下步骤的程序代码：将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是每个答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分。
可选的，上述处理器还可以执行如下步骤的程序代码：该方法还包括：重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分之后，基于相关性得分对预设数量个候选答复文本进行重新排序，将预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为答复文本。
可选的，上述处理器还可以执行如下步骤的程序代码：计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分采用以下任一方式：多层感知器、余弦距离、欧式距离。
可选的，上述处理器还可以执行如下步骤的程序代码：基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本包括：将与拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
采用本发明实施例，提供了一种信息处理方法的方案。通过获取用户与聊天机器人的多个对话文本和多个候选答复文本，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本，达到了提升对候选答复的召回率的目的，通过对对话文本进行分词，对分词集合输入至逻辑序列推理模型，得出分词集合与各个候选答复文本的相关性得分，基于相关性得分确定出答复文本，进而也实现了提升确定答复文本的准确率的技术效果，进而解决了由于句子编码成向量后易丢失信息，导致对候选答复的召回率不高的技术问题。
本领域普通技术人员可以理解，图8所示的结构仅为示意，计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图8中所示更多或者更少的组件(如网络接口、显示装置等)，或者具有与图8所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(RandomAccess Memory，RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以用于保存上述实施例一所提供的信息处理方法所执行的程序代码。
可选地，在本实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。
可选地，在本实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，候选答复文本预先存储在数据库中；对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；将多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分；基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
存储介质被设置为存储还用于执行以下步骤的程序代码：将拼接后的分词集合和多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与拼接后的分词集合的相关性得分。
存储介质被设置为存储还用于执行以下步骤的程序代码：在多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对拼接后的分词集合进行语义编码，得到对话文本的语义向量，对多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；确定预设数量个候选答复文本，其中，预设数量个候选答复文本中的候选答复文本与对话文本的语义向量的相关性得分大于预设阈值；将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分；基于预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本。
存储介质被设置为存储还用于执行以下步骤的程序代码：将预设数量个候选答复文本和拼接后的分词集合输入至逻辑序列推理模型，重新计算预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分包括：获取拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；采用注意力机制获取拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，第一向量是拼接后的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，第二向量是每个答复文本的分词集合的语义向量和注意力机制加权后得到的向量拼接后的向量；将第一向量与每个第二向量进行组合，以获取拼接后的分词集合与每个答复文本的分词集合之间的语义关系；对拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分。
存储介质被设置为存储还用于执行以下步骤的程序代码：该方法还包括：重新得到预设数量个候选答复文本中每个候选答复文本与拼接后的分词集合的相关性得分之后，基于相关性得分对预设数量个候选答复文本进行重新排序，将预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为答复文本。
存储介质被设置为存储还用于执行以下步骤的程序代码：计算对话文本的语义向量与每个答复文本的语义向量之间的相关性得分采用以下任一方式：多层感知器、余弦距离、欧式距离。
存储介质被设置为存储还用于执行以下步骤的程序代码：基于每个候选答复文本与拼接后的分词集合的相关性得分，确定答复文本包括：将与拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种信息处理方法，其特征在于，包括：
获取用户与机器人的多个对话文本和多个候选答复文本，其中，所述候选答复文本预先存储在数据库中；
对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；
将所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；
将所述拼接后的分词集合和所述多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与所述拼接后的分词集合的相关性得分；
基于每个候选答复文本与所述拼接后的分词集合的相关性得分，确定答复文本。
2.根据权利要求1所述的方法，其特征在于，将所述拼接后的分词集合和所述多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与所述拼接后的分词集合的相关性得分包括：
获取所述拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；
采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；
对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与所述拼接后的分词集合的相关性得分。
3.根据权利要求1所述的方法，其特征在于，还包括：
在所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对所述拼接后的分词集合进行语义编码，得到对话文本的语义向量，对所述多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；
计算所述对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；
确定预设数量个候选答复文本，其中，所述预设数量个候选答复文本中的候选答复文本与所述对话文本的语义向量的相关性得分大于预设阈值；
将所述预设数量个候选答复文本和所述拼接后的分词集合输入至所述逻辑序列推理模型，重新计算所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分；
基于所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分，确定所述答复文本。
4.根据权利要求3所述的方法，其特征在于，将所述预设数量个候选答复文本和所述拼接后的分词集合输入至所述逻辑序列推理模型，重新计算所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分包括：
获取所述拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；
采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是每个答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；
对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分。
5.根据权利要求4所述的方法，其特征在于，该方法还包括：
重新得到所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分之后，基于相关性得分对所述预设数量个候选答复文本进行重新排序，将所述预设数量个候选答复文本中相关性得分满足预设条件的候选答复文本作为所述答复文本。
6.根据权利要求3所述的方法，其特征在于，计算所述对话文本的语义向量与每个答复文本的语义向量之间的相关性得分采用以下任一方式：多层感知器、余弦距离、欧式距离。
7.根据权利要求1所述的方法，其特征在于，基于每个候选答复文本与所述拼接后的分词集合的相关性得分，确定答复文本包括：将与所述拼接后的分词集合相关性得分最高的候选答复文本作为答复文本。
8.一种信息处理装置，其特征在于，包括：
第一获取单元，用于获取用户与聊天机器人的多个对话文本和多个候选答复文本，其中，所述候选答复文本预先存储在数据库中；
处理单元，用于对每个对话文本进行分词处理，得到多个对话文本分词集合，对每个候选答复文本进行分词处理，得到多个答复文本的分词集合；
拼接单元，用于将所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合；
第二获取单元，用于将所述拼接后的分词集合和所述多个答复文本的分词集合输入至逻辑序列推理模型，得到每个候选答复文本与所述拼接后的分词集合的相关性得分；
第一确定单元，用于基于每个候选答复文本与所述拼接后的分词集合的相关性得分，确定答复文本。
9.根据权利要求8所述的装置，其特征在于，所述第二获取单元包括：
第一获取模块，用于获取所述拼接后的分词集合的语义向量和每个答复文本的分词集合的语义向量；
第二获取模块，用于采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
第三获取模块，用于采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
第一组合模块，用于将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；
第四获取模块，用于对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，得到每个候选答复文本与所述拼接后的分词集合的相关性得分。
10.根据权利要求8所述的装置，其特征在于，还包括：
编码单元，用于在所述多个对话文本分词集合中分词进行拼接，得到拼接后的分词集合之后，对所述拼接后的分词集合进行语义编码，得到对话文本的语义向量，对所述多个答复文本的分词集合中每个答复文本的分词集合进行语义编码，得到多个答复文本的语义向量；
第一计算单元，用于计算所述对话文本的语义向量与每个答复文本的语义向量之间的相关性得分；
第二确定单元，用于确定预设数量个候选答复文本，其中，所述预设数量个候选答复文本中的候选答复文本与所述对话文本的语义向量的相关性得分大于预设阈值；
第二计算单元，用于将所述预设数量个候选答复文本和所述拼接后的分词集合输入至所述逻辑序列推理模型，重新计算所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分；
第三确定单元，用于基于所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分，确定所述答复文本。
11.根据权利要求10所述的装置，其特征在于，所述第二计算单元包括：
第五获取模块，用于获取所述拼接后的分词集合的语义向量和每个候选答复文本的分词集合的语义向量；
第六获取模块，用于采用注意力机制获取所述拼接后的分词集合的语义向量对应的向量，得到第一向量，其中，所述第一向量是所述拼接后的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
第七获取模块，用于采用注意力机制获取每个答复文本的分词集合的语义向量对应的向量，得到多个第二向量，其中，所述第二向量是每个答复文本的分词集合的语义向量和所述注意力机制加权后得到的向量拼接后的向量；
第二组合模块，用于将所述第一向量与每个第二向量进行组合，以获取所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系；
第八获取模块，用于对所述拼接后的分词集合与每个答复文本的分词集合之间的语义关系进行打分，重新得到所述预设数量个候选答复文本中每个候选答复文本与所述拼接后的分词集合的相关性得分。
12.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的信息处理方法。
13.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的信息处理方法。
CN201910110677.3A 2019-02-12 2019-02-12 信息处理方法及装置、存储介质和处理器 Active CN111625628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910110677.3A CN111625628B (zh) 2019-02-12 2019-02-12 信息处理方法及装置、存储介质和处理器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910110677.3A CN111625628B (zh) 2019-02-12 2019-02-12 信息处理方法及装置、存储介质和处理器

Publications (2)

Publication Number Publication Date
CN111625628A true CN111625628A (zh) 2020-09-04
CN111625628B CN111625628B (zh) 2023-05-02

Family

ID=72260471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910110677.3A Active CN111625628B (zh) 2019-02-12 2019-02-12 信息处理方法及装置、存储介质和处理器

Country Status (1)

Country Link
CN (1) CN111625628B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737888A (zh) * 2023-01-11 2023-09-12 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847271A (zh) * 2016-12-12 2017-06-13 北京光年无限科技有限公司 一种用于对话交互系统的数据处理方法及装置
CN108304468A (zh) * 2017-12-27 2018-07-20 中国银联股份有限公司 一种文本分类方法以及文本分类装置
CN108647239A (zh) * 2018-04-04 2018-10-12 顺丰科技有限公司 对话意图识别方法及装置、设备和存储介质
US20180365220A1 (en) * 2017-06-15 2018-12-20 Microsoft Technology Licensing, Llc Method and system for ranking and summarizing natural language passages

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106847271A (zh) * 2016-12-12 2017-06-13 北京光年无限科技有限公司 一种用于对话交互系统的数据处理方法及装置
US20180365220A1 (en) * 2017-06-15 2018-12-20 Microsoft Technology Licensing, Llc Method and system for ranking and summarizing natural language passages
CN108304468A (zh) * 2017-12-27 2018-07-20 中国银联股份有限公司 一种文本分类方法以及文本分类装置
CN108647239A (zh) * 2018-04-04 2018-10-12 顺丰科技有限公司 对话意图识别方法及装置、设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIAN CHEN: "Sequential Attention-based Network for Noetic End-to-End Response Selection" *
陈志豪;余翔;刘子辰;邱大伟;顾本刚;: "基于注意力和字嵌入的中文医疗问答匹配方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737888A (zh) * 2023-01-11 2023-09-12 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置
CN116737888B (zh) * 2023-01-11 2024-05-17 北京百度网讯科技有限公司 对话生成模型的训练方法和答复文本的确定方法、装置

Also Published As

Publication number Publication date
CN111625628B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110717325B (zh) 文本的情感分析方法、装置、电子设备及存储介质
CN108319888B (zh) 视频类型的识别方法及装置、计算机终端
CN111241842B (zh) 文本的分析方法、装置和系统
CN111460290B (zh) 信息的推荐方法、装置、设备和存储介质
CN107918778B (zh) 一种信息匹配方法及相关装置
CN110163181A (zh) 手语识别方法及装置
CN111552767A (zh) 搜索方法、搜索装置以及计算机设备
CN112364664A (zh) 意图识别模型的训练及意图识别方法、装置、存储介质
CN115640520A (zh) 跨语言跨模态模型的预训练方法、设备和存储介质
CN111625628A (zh) 信息处理方法及装置、存储介质和处理器
CN114328908A (zh) 一种问答语句质检方法、装置及相关产品
CN113761917A (zh) 命名实体的识别方法和装置
CN112417874A (zh) 命名实体的识别方法和装置、存储介质、电子装置
CN112084766A (zh) 文本处理方法和装置、存储介质和处理器
CN113011182B (zh) 一种对目标对象进行标签标注的方法、装置和存储介质
CN112464087A (zh) 推荐概率的输出方法及装置、存储介质、电子设备
CN111079854A (zh) 信息识别方法、设备及存储介质
CN112446202A (zh) 文本的分析方法和装置
CN112559732A (zh) 文本处理方法、装置和系统
CN110765779A (zh) 字矩阵的训练方法及装置
CN113392175A (zh) 预测话术组合的方法、装置以及存储介质
CN111159339A (zh) 一种文本匹配处理方法和装置
CN111694962A (zh) 数据处理方法和装置
CN111401083A (zh) 名称的识别方法及装置、存储介质和处理器
CN110929504A (zh) 语句诊断方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40036388

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant