CN111353290B - 一种自动响应用户询问的方法和系统 - Google Patents

一种自动响应用户询问的方法和系统 Download PDF

Info

Publication number
CN111353290B
CN111353290B CN202010126592.7A CN202010126592A CN111353290B CN 111353290 B CN111353290 B CN 111353290B CN 202010126592 A CN202010126592 A CN 202010126592A CN 111353290 B CN111353290 B CN 111353290B
Authority
CN
China
Prior art keywords
model
user
query
similarity
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010126592.7A
Other languages
English (en)
Other versions
CN111353290A (zh
Inventor
杨明晖
李哲
刘威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010126592.7A priority Critical patent/CN111353290B/zh
Publication of CN111353290A publication Critical patent/CN111353290A/zh
Application granted granted Critical
Publication of CN111353290B publication Critical patent/CN111353290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]

Abstract

本说明书实施例公开了一种自动响应用户询问的方法和系统，所述方法包括：获取用户的询问内容以及所述询问对应的至少一个特征参数；基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。

Description

一种自动响应用户询问的方法和系统
技术领域
本说明书实施例涉及计算机技术领域，特别涉及一种自动响应用户询问的方法和系统。
背景技术
即时通讯(Instant Messaging，IM)软件在人们的生活和工作中都起到了举足轻重的作用。客服服务是IM软件常见的功能，即，平台的客服可以根据用户输入的问题给予相应的答案。
平台的客服可以包括智能客服机器人和人工客服，为了更好的结合智能客服机器人和人工客服为用户解答问题，本申请提出一种自动响应用户询问的方法和系统。
发明内容
本说明书实施例的一个方面提供一种自动响应用户询问的方法，包括：获取用户的询问内容以及所述询问对应的至少一个特征参数；基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
本说明书实施例的一个方面提供一种自动响应用户询问的系统，包括：数据获取模块，用于获取用户的询问内容以及所述询问对应的至少一个特征参数；候选问答确定模块，用于基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；信心分判断模块，用于基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；输出模块，用于判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
本说明书实施例的一个方面提供一种自动响应用户询问的装置，包括处理器，所述处理器用于执行如上任一项所述的方法。
本说明书实施例的一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如上任一项所述的方法。
附图说明
本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
图1是根据本说明书的一些实施例所示的示例性自动响应用户询问的系统的应用场景示意图；
图2是根据本说明书的一些实施例所示的示例性自动响应用户询问的系统的模块图；
图3是根据本说明书的一些实施例所示的自动响应用户询问的方法的示例性流程图；
图4是根据本说明书的一些实施例所示的判断模型的结构示意图；
图5是根据本说明书的一些实施例所示的相似度模型的结构示意图。
具体实施方式
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本说明书的一些实施例所示的示例性自动响应用户询问的系统的应用场景示意图。
自动响应用户询问系统100可以通过实施本申请中披露的方法和/或过程解答用户的询问内容。自动响应用户询问系统100可以应用于智能客服领域。通常，智能客服机器人需要根据用户输入的询问内容为用户推荐多个可能的答案。一般地，智能客服机器人可以根据用户输入的询问内容从预先整理好的、包含了大量问题和问题答案的知识库中去获取答案。然而，知识库中的数据有限，智能客服机器人可能出现无法响应用户的询问的情况，因此，可以通过系统100对用户的询问快速响应，且针对无法从数据库获取答案的询问转接人工客服处理。
如图1所示，自动响应用户询问系统100可以包括服务器110、网络120、用户端130、数据库140。服务器110可以包含处理设备112。
在一些实施例中，服务器110可以用于处理与数据处理相关的信息和/或数据。在一些实施例中，服务器110可以通过网络120访问储存于用户端130和数据库140中的信息和/或资料。例如，服务器110可以通过网络120获取数据库140中包括的知识库中的候选问题以及候选问题对应的回答。又例如，服务器可以通过网络120接收用户在用户端130输入的询问内容。在一些实施例中，服务器110可以直接与用户端130和/或数据库140连接以访问存储于其中的信息和/或资料。服务器110可以是独立的服务器或者服务器组。该服务器组可以是集中式的或者分布式的(如：服务器110可以是分布系统)。在一些实施例中，服务器110可以是区域的或者远程的。在一些实施例中，服务器110可在云平台上执行。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等中的一种或其任意组合。
在一些实施例中，服务器110可包含处理设备112。该处理设备112可处理数据和/或信息以执行一个或多个本申请中描述的功能。例如，处理设备112可以基于获取的用户的询问内容输出对应的回答，具体地，可以获取用户的询问内容以及所述询问对应的至少一个特征参数，基于用户的询问内容确定至少一个候选问题以及所述至少一个候选问题对应的回答，基于用户的询问内容、至少一个候选问题以及询问对应的至少一个参数确定至少一个候选问题对应的回答使得所述用户满意的信心分，基于信心分输出对应的回答或执行相应的提醒动作。又例如，处理设备112还可以完成相似度模型和判断模型的训练。在一些实施例中，处理设备112可包含一个或多个子处理设备(例如，单芯处理设备或多核多芯处理设备)。仅仅作为范例，处理设备112可包含中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
在一些实施例中，网络120可促进数据和/或信息的交换，数据或信息可以包括用户在用户端130输入的询问内容、数据库140中包括的知识库中的候选问题以及候选问题对应的回答、服务器110中的训练的相似度模型和判断模型的参数等。在一些实施例中，自动响应用户询问系统100中的一个或多个组件(例如，服务器110、用户端130、数据库140)可通过网络120发送数据和/或信息给自动响应用户询问系统100中的其他组件。在一些实施例中，网络120可是任意类型的有线或无线网络。例如，网络120可包括缆线网络、有线网络、光纤网络、电信网络、内部网络、网际网络、区域网络(LAN)、广域网络(WAN)、无线区域网络(WLAN)、都会区域网络(MAN)、公共电话交换网络(PSTN)、蓝牙网络、ZigBee网络、近场通讯(NFC)网络等或以上任意组合。在一些实施例中，网络120可包括一个或多个网络进出点。例如，网络120可包含有线或无线网络进出点，如基站和/或网际网络交换点120-1、120-2、…，通过这些进出点，自动响应用户询问系统100的一个或多个组件可连接到网络120上以交换数据和/或信息。
在一些实施例中，用户端130可以是一台计算设备或计算设备组。在一些实施例中，用户端130具有输入的功能，可以用于用户输入询问内容。例如，打字输入、语音输入等。所述计算设备可以包括手机130-1、平板电脑130-2、笔记本电脑130-3、台式计算机130-4等中的一种或其任意组合。所述计算设备组可以是集中式或分布式的。在一些实施例中，用户端130可以将输入的询问内容发送到服务器110。相应地，服务器110可以基于输入的询问内容确定多个答案发送到用户端130。
在一些实施例中，数据库140可以用于存储知识库中的候选问题以及候选问题对应的回答。数据库140可以在在单个中央服务器、通过通信链路连接的多个服务器或多个个人设备中实现。数据库140可以由多个个人设备和云服务器生成。在一些实施例中，数据库140可以用于提供所需要数据的器件或原始媒体，还可以用于数据的存储、加密等操作。在一些实施例中，数据库140可存储供服务器110执行或使用的信息和/或指令，以执行本申请中描述的示例性方法。在一些实施例中，数据库140可包括大容量存储器、可移动存储器、挥发性读写存储器(例如，随机存取存储器RAM)、只读存储器(ROM)等或以上任意组合。在一些实施例中，数据库140可在云平台上实现。例如，该云平台可包括私有云、公共云、混合云、社区云、分散式云、内部云等或以上任意组合。
图2是根据本说明书的一些实施例所示的示例性自动响应用户询问的系统的模块图。
该系统200可以用于互联网服务的线上服务平台。在一些实施例中，该系统200可以用于包含智能答复系统的线上服务平台。例如，即时通讯平台、电商平台、线上咨询平台、公共服务平台等。
如图2所示，该系统200可以包含数据获取模块210、候选问答确定模块220、信心分判断模块230以及输出模块240。
数据获取模块210可以用于获取用户的询问内容以及所述询问对应的至少一个特征参数。在一些实施例中，所述询问对应的至少一个特征参数包括：所述询问之前所述用户已经完成的询问次数。
候选问答确定模块220可以用于基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答。
信心分判断模块230可以用于基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分。在一些实施例中，所述判断模型判断所述信心分所使用的特征包括：所述用户的询问内容与所述至少一个候选问题的相似度，以及所述询问次数。在一些实施例中，所述判断模型判断所述信心分所使用的特征还包括：所述用户的询问内容的情感特征。
在一些实施例中，所述判断模型包含第一编码模型和计算所述信心分的模型；所述第一编码模型用于对所述用户的询问内容进行编码，将得到的所述询问内容的向量表示所述询问内容的情感特征；所述计算所述信心分的模型基于所述相似度、所述询问次数以及所述询问内容的向量，计算所述信心分。在一些实施例中，所述判断模型为Wide andDeep模型或Deep FM模型。关于判断模型的更多细节请参见图4及其相关描述，在此不再赘述。
输出模块240可以用于判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
该系统200还可以包括相似度确定模块250，相似度确定模块250可以用于基于相似度模型确定所述用户的询问内容与所述至少一个候选问题的相似度。在一些实施例中，所述相似度模型为BERT模型。关于相似度模型的更多细节请参见图5及其相关描述，在此不再赘述。
在一些实施例中，所述相似度模型包括：第二编码模型和相似度计算模型；所述第二编码模型用于对所述询问内容和所述至少一个候选问题进行编码，得到所述询问内容的向量和所述至少一个候选问题的向量；所述相似度计算模型用于基于所述询问内容的向量和所述至少一个候选问题的向量计算所述相似度。在一些实施例中，所述相似度计算模型为ESIM模型。
在一些实施例中，所述第一编码模型和所述第二编码模型为同一个编码模型。在一些实施例中，所述第一编码模型和/或所述第二编码模型由词嵌入模型和双向长短时记忆循环神经网络组成。关于第二编码模型和相似度计算模型的更多细节请参见图5及其相关描述，在此不再赘述。
应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要注意的是，以上对于自动响应用户询问的系统200及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，图2中披露的数据获取模块210、候选问答确定模块220、信心分判断模块230以及输出模块240可以是一个系统中的不同模块，也可以是一个模块实现上述的两个模块的功能。又例如，自动响应用户询问的系统200中各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
图3是根据本说明书的一些实施例所示的自动响应用户询问的方法的示例性流程图。如图3所示，方法300包括：
步骤302，获取用户的询问内容以及所述询问对应的至少一个特征参数。具体地，该步骤302可以由数据获取模块210执行。
在一些实施例中，用户可以是智能客服机器人服务的用户，其中，智能客服机器人可以应用于不同的客服场景，例如，即时通信场景或者智能导航场景等。
在一些实施例中，用户的询问内容可以是指用户提问的问题文本，例如，钉钉怎么添加好友。在一些实施例中，用户可以手动输入或者语音输入问题，可以通过语音识别技术获取对应的问题文本。在一些实施例中，可以通过读取存储的数据、调用相关接口或其他方式获取用户的询问内容。
在一些实施例中，获取询问内容的同时，还可以获取用户的询问对应的至少一个特征参数。在一些实施例中，特征参数可以是代表询问的特征信息。例如，询问之前该用户已经完成的询问次数。又例如，询问的时间等。在一些实施例中，还可以获取其他的特征参数，包括但不限于询问的用户的特征信息或询问内容的特征信息等。例如，询问的用户的特征信息可以是用户的兴趣特征或者用户的账号信息等。又例如，询问内容的特征信息可以是用户的询问内容的情感特征等。关于用户的询问内容的情感特征请参见图4及其相关描述，在此不再赘述。
在一些实施例中，可以将用户的一次提问以及针对该提问作出的一次回答作为用户已经完成的一次询问，在一些实施例中，可以将用户的一次提问以及针对该提问智能客服机器人作出的一次回答作为用户已经完成的一次询问。以上述示例为例，若用户向智能客服机器人提问“钉钉怎么添加好友”，智能客服机器人回答“消息页面右上角【+号】-【添加好友】……”，则可以将该一问一答作为一次询问。
在一些实施例中，询问之前用户已经完成的询问次数可以是：针对同一个问题该用户已经完成的询问次数。例如，用户1当前向客服询问“花呗怎么开通”这个问题，且在当前询问之前，用户1已经向客服询问“花呗怎么开通”这个问题询问了3次，则询问之前用户已经完成的询问次数就是3。在一些实施例中，所述询问之前所述用户已经完成的询问次数可以为0次，即当次询问为第1次询问，则已经完成的询问次数为0次，也可以为至少1次，例如2次，即当次询问为第3次询问，则已经完成的询问次数为2，又例如3次，即当次询问为第4次询问，则已经完成的询问次数为3次。在一些实施例中，可以通过统计用户提问的问题文本的数量，获取所述询问之前所述用户已经完成的询问次数。
步骤304，基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答。具体地，该步骤304可以由候选问答确定模块220执行。
在一些实施例中，知识库可以是根据用户的历史提问或者常见问题等归纳出的数据库或其他数据集合。知识库中可以包括多个(例如，一千个)知识点。每个知识点可以包括一个标准问题及其对应的标准答案，其中，标准问题可以是一个用户输入的历史提问。例如，用户输入的历史提问“如何退群”。也可以是根据多个用户输入的历史提问总结的规范表述。例如，根据用户1输入的历史提问“我该如何退群呢”以及用户2输入的历史提问“我想要退群，该怎么办呢”，总结的规范表述“如何退群”。
对应地，标准答案可以是人工客服对用户的历史提问的回答。例如，人工客服对用户的历史提问“如何退群”的回答“手机或电脑端：在群聊界面点击右上角【…】-在【群设置】界面下发点击【退出群聊】即可”。标准答案也可以是拼接的相应问题的答案。例如，问题为“请问如何退群以及添加新的群聊呢”，则答案为“如何退群”和“如何添加新的群聊”所对应的拼接答案。标准答案还可以是根据多个答案总结出的规范回答。
由于知识库中的知识点数量众多，为了提高智能客服机器人回答用户问题的效率，可以预先获取与用户的询问内容匹配的至少一个候选知识点，即确定至少一个候选问题以及至少一个候选问题对应的回答。其中，候选问题为候选知识点中对应的标准问题，候选问题对应的回答为该标准问题对应的标准答案。
在一些实施例中，可以通过召回系统和排序系统共同确定至少一个候选问题以及所述至少一个候选问题对应的回答。在一些实施例中，召回系统可以包括召回引擎。具体地，智能客服机器人接收到用户的询问内容后，可以将该用户的询问内容发送至召回引擎，召回引擎可以在知识库中召回相关知识点，即召回与询问内容有交集的知识点。例如，召回与询问内容中的词语有预设数量重合的标准问题所在的知识点。又例如，召回与询问内容具备相同关键词的标准问题所在的知识点。
在一些实施例中，召回引擎可以包括但不限于以下至少之一：ElasticSearch引擎、Sphinx引擎以及Xapian引擎。优先地，可以使用ElasticSearch引擎。该引擎是一个广泛应用的全文搜索引擎，可以快速地储存、搜索和分析海量数据。可以在该引擎中输入询问内容，由该引擎基于全文搜索返回相关知识点。
通过召回系统获取用户的询问内容的相关知识点后，可以通过对相关知识点使用机器学习模型确定至少一个候选知识点，即确定至少一个候选问题以及所述至少一个候选问题对应的回答。
在一些实施例中，可以通过分别计算用户的询问内容与相关知识点中各个标准问题的相似度，确定至少一个候选知识点。其中，计算询问内容与相关知识点中各个标准问题的相似度，可以通过计算询问内容的向量与各个标准问题的向量的相似度而获得。
如图5所示，在一些实施例中，可以通过第二编码模型510获取询问内容的向量和相关知识点中各个标准问题的向量。在一些实施例中，第二编码模型510可以由词嵌入模型和双向长短时记忆循环神经网络组成。关于第二编码模型510的更多细节，请参见图5及其相关描述，在此不再赘述。
在一些实施例中，相似度可以通过距离来度量。具体地，可以通过计算询问内容的向量与相关知识点中各个标准问题的向量的距离，获取其相似度。其中，距离与相似度负相关，即距离越大，相似度越小。在一些实施例中，距离包括但不限于余弦距离、欧式距离、曼哈顿距离、马氏距离或闵可夫斯基距离等。优选地，可以使用余弦距离获取相似度。
在一些实施例中，可以基于相似度计算模型520确定询问内容的向量与相关知识点中各个标准问题的向量的相似度。关于相似度计算模型的更多细节请参见图5及其相关描述，在此不再赘述。
基于计算出的询问内容的向量与相关知识点中各个标准问题的向量的相似度，可以通过多种方式确定候选知识点。在一些实施例中，可以根据预设阈值确定候选知识点。例如，将相似度大于预设阈值的标准问题所在的知识点作为候选知识点。在一些实施例中，可以根据相似度对标准问题进行排序，将前N个标准问题所在的知识点作为候选知识点。例如，将前3个标准问题所在的知识点作为候选知识点。
步骤306，基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分。具体地，该步骤306可以由信心分判断模块230执行。
信心分可以代表用户对候选问题对应的答案满意的概率。在一些实施例中，可以通过判断模型确定信心分，具体地，可以将用户的询问内容、候选问题以及当前询问的特征参数输入判断模型，输出该候选问题的答案使该用户满意的概率。
关于基于判断模型确定信心分的具体细节请参见图4及其相关描述，在此不再赘述。
步骤308，判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。具体地，该步骤308可以由输出模块240执行。
在一些实施例中，预设阈值可以是设置的经验取值，例如0.9或者0.95等。在一些实施例中，可以将信心分大于预设阈值的至少一个候选问题对应的回答输出。示例地，至少一个候选问题对应的回答包括回答1、回答2以及回答3，若回答1、回答2以及回答3的信心分依次为0.98、0.97以及0.8，预设阈值为0.95，则可以输出回答1和回答2。在一些实施例中，可以将最高信心分对应的一个候选问题对应的回答输出，仍以上述示例为例，则可以输出回答1。
在一些实施例中，执行相应的提醒动作可以包括提醒人工客服回答询问内容。在一些实施例中，可以通过调用程序接口、电话、短信、推送通知消息等方式提醒人工客服，本实施例并不对通知方式进行任何限制。
通过在候选问题对应的回答的信心分不足的情况下，转接人工客服对用户的询问内容进行回答，避免智能客服机器人对用户的无效回答，让用户的询问得到快速的响应和解决，提升用户的体验感受。
在一些实施例中，可以将用户的询问内容和人工客服对询问内容的回答作为知识点存储至知识库中。通过此方式可以更新知识库，从而使得智能客服机器人可以学习人工客服的回答，持续提升机器人的问题解决能力，实现了数据上的闭环。
图4是根据本说明书的一些实施例所示的判断模型的结构示意图。如图4所示，判断模型400可以包含第一编码模型410和计算信心分的模型420。
第一编码模型410用于对输入的文本进行编码，得到文本的向量。例如，第一编码模型410可以对用户的询问内容进行编码，得到该询问内容的向量。计算信心分的模型420可以基于用户的询问内容与至少一个候选问题的相似度(相似度的确定方式见图5及其相关描述)、询问次数以及询问内容的向量，计算信心分。其中，询问内容的向量可以表示询问内容的情感特征。
在一些实施例中，判断模型400可以基于用户的询问内容、候选问题以及询问对应的特征参数计算信心分。在一些实施例中，可以基于用户的询问内容、候选问题以及询问对应的特征参数确定判断模型400计算信心分所用的特征。关于判断模型400的训练过程请参见下述对初始Wide and Deep模型的训练过程。
在一些实施例中，计算信心分所用的特征可以包括：用户的询问内容与至少一个候选问题的相似度，以及询问次数。关于用户的询问内容与至少一个候选问题的相似度的具体细节请参见图5及其相关描述，在此不再赘述。关于询问次数的具体细节请参见步骤302及其相关描述，在此不再赘述。
用户的询问内容与候选问题的相似度越高，说明该候选问题与询问内容越接近，该候选问题对应的回答越可能解决用户的疑问，则该候选问题对应的回答使得用户满意的概率越高，越不需要人工客服进行处理；反之，相似度越低，则候选问题对应的回答使得用户满意的概率越低，越需要人工客服进行处理。可以理解，候选问题的与询问内容的相似度会影响候选问题对应的回答使得用户满意的概率。
用户在进行询问之前已经完成的询问次数也会影响候选问题对应的回答使得用户满意的概率。由于用户询问的是同一个问题，因此，可以理解，每次询问之后继续询问，代表该用户对上一次的回答不满意，询问次数越多，代表智能机器人的回答能够使得该用户满意的概率越小，用户期望人工客服进行处理的概率越高。
在一些实施中，特征还可以包括：用户的询问内容的情感特征。情感特征可以表征用户的情绪，一般地，其可以表征正面、反面以及中立的情绪。例如，用户的询问内容为“我觉得你回答的很差，请问到底是如何退群的呢”。该询问内容表达了用户对智能客服机器人的回答的情绪为“很差”，则该询问内容的情感特征为负面情绪。
在一些实施例中，询问内容的情感特征可以通过判断模型400中的第一编码模型410得到。具体地，可以通过第一编码模型410对询问内容进行编码，得到的所述询问内容的向量表示所述询问内容的情感特征。
在一些实施例中，第一编码模型410可以由词嵌入模型(即Word embedding)和双向长短时记忆循环神经网络(即BiLSTM)组成。例如，词嵌入模型可以为SSWE-C(skip-grambased combined-sentiment word embedding)模型，该模型可以将询问内容中的每个词映射到多维向量(也称词嵌入向量)，且生成的词嵌入向量包含了询问内容的情感特征和语义特征。获取词嵌入向量之后，可以将询问内容对应的词嵌入向量输入至双向长短时记忆循环神经网络中，得到询问内容的向量，该向量为询问内容的整个文本的向量表示。一般地，该询问内容的向量可以为100～300维向量。
BiLSTM由前向的LSTM与后向的LSTM组成，通过使用BiLSTM，使得基于询问内容生成的文本向量中进一步包含了上下文特征。由此可知，经第一编码模型410生成的最终的文本向量包含有询问内容的情感特征、语义特征以及上下文特征，提高了后续计算的相似度的准确率。
由上述可知，计算信心分的模型420是基于相似度、询问次数以及该询问内容的向量，计算信心分。在一些实施例中，可以将相似度和询问次数转化为向量，与询问内容的向量进行拼接后输入计算信心分模型中确定信心分。
在一些实施例中，可以通过分桶的方式获取询问次数和相似度的向量。具体地，其可以将询问次数和相似度所对应的实数分别转换为一个多维向量。一般地，可以将询问次数转换为3维向量。例如，询问次数为1，则3维向量为(1,0,0)；询问次数为2，则3维向量为(0,1,0)；询问次数为3及以上，则3维向量为(0,0,1)。也可以将相似度转换为10维向量。例如，相似度为0.1，则10维向量为(1,0,0,0,0,0,0,0,0,0)；相似度为0.2，则10维向量为(0,1,0,0,0,0,0,0,0,0)；相似度为0.3，则10维向量为(0,0,1,0,0,0,0,0,0,0)，以此类推。该向量维数(即3维和10维)是计算信心分效果较好的经验取值。通过采用分桶的方式生成询问次数和相似度的向量，使得训练计算信心分的模型420的效果更好，提高计算的信心分的准确度。
在一些实施例中，在获取相似度、询问次数以及该询问内容的向量之后，可以对各自的向量进行拼接，生成最终的拼接向量。计算信心分的模型420可以基于该拼接向量计算信心分。示例地，以询问内容的向量为100维向量为例，由于询问次数为3维向量，相似度为10维向量，则拼接向量为113维向量。
在一些实施例中，所述判断模型400可以为Wide and Deep模型或Deep FM模型。在一些实施例中，Wide and Deep模型可以包括Wide模型和Deep模型。其中，Wide模型为广义线性模型(Wide Linear Model)，Deep模型为深度神经网络(Deep Netural Network)。在一些实施例中，可以通过Wide and Deep模型计算信心分。具体地，Wide and Deep模型中的Deep模型可以作为第一编码模型410对询问内容进行编码，得到询问内容的向量，Wide andDeep模型中的Wide模型可以作为信心分计算模型，基于输入的相似度、询问次数的向量和询问内容的向量计算信息分。
在一些实施例中，Deep FM模型可以包含两部分：深度(Deep)部分和因子分解机(FM)部分。其中，深度部分是一个前馈神经网络。深度(Deep)部分和因子分解机(FM)部分分别负责高阶特征的提取和低阶特征的提取。具体地，将相似度、询问次数和询问内容输入Deep FM模型中后，深度(Deep)部分可以提取询问内容中的高阶特征，因子分解机(FM)部分可以提取相似度和询问次数中的低阶特征，从而得到计算信心分。
为了更智能地实施申请人提出的上述方法，使得该方法的应用范围更广，申请人可以构建初始Wide and Deep模型，并基于训练数据对初始Wide and Deep模型进行训练，生成最终的Wide and Deep模型。其中，训练数据可以包括多个携带标签的问题文本、候选问题文本与问题文本的相似度以及询问次数。其中，问题文本里涵盖了情感信息，将问题文本输入到Wide and Deep模型之后，对问题文本编码即可得到情感信息。所述标签用于表征是否需要转接人工客服对问题文本进行回答。例如，标签为0或1，0用于表征需要转接人工客服对问题文本进行回答，1用于表征不需要转接人工客服对问题文本进行回答。在一些实施例中，标签可以自动获取。在一些实施例中，标签可以根据用户与智能客服机器人的交互过程中的实际操作获取。例如，根据用户是否触发转接人工客服的操作获取。其中，用户未转接人工客服的问题文本标签为1，用户转接人工客服的问题文本的标签为0。
将训练数据输入至初始Wide and Deep模型后，初始Wide and Deep模型可以基于训练数据的特征与标签进行学习，对初始Wide and Deep模型的参数进行调整。例如，通过梯度下降法、反向传播法调整参数。可以对初始Wide and Deep模型进行持续训练，直到训练结果收敛，结束训练，生成最终的Wide and Deep模型。
根据以上描述，在计算信心分时考虑相似度、询问的情感特征和询问次数，提高了计算的信心分的准确度，便于后续根据信心分执行输出候选问题对应的回答的操作或执行相应的提醒动作的操作，例如，请求人工客服参与，可以快速响应用户的询问，提升用户的体验感受。
图5是根据本说明书的一些实施例所示的相似度模型的结构示意图。如图5所示，相似度模型500包括：第二编码模型510和相似度计算模型520。
在一些实施例中，第二编码模型510可以用于对文本进行编码生成向量。例如，对询问内容进行编码生成该询问内容的向量，以及对候选问题进行编码生成该候选问题的向量。在一些实施例中，第二编码模型可以由词嵌入模型(即Word embedding)和双向长短时记忆循环神经网络(即BiLSTM)组成。在一些实施例中，词嵌入模型可以包括但不限于以下之一：Word2vec模型、TF-IDF(Term Frequency–Inverse Document Frequency，词频-逆向文件频率)模型以及SSWE-C(skip-gram based combined-sentiment word embedding)模型。具体地，词嵌入模型可以将询问内容中的每个词以及至少一个候选问题中的每个词分别映射到多维向量(也称词嵌入向量)。其中，Word2vec模型和TF-IDF模型生成的词嵌入向量包含了文本的语义特征，SSWE-C模型生成的词嵌入向量包含了文本的语义特征和情感特征。
获取词嵌入向量之后，可以将文本对应的词嵌入向量输入至双向长短时记忆循环神经网络(即BiLSTM)中，得到询问内容的向量和所述至少一个候选问题的向量。该向量为询问内容和候选问题的整个文本的向量表示。一般地，该询问内容和候选问题的向量可以分别为100～300维向量。
BiLSTM由前向的LSTM与后向的LSTM组成，通过使用BiLSTM，使得基于文本生成的向量中包含了其上下文信息，提高了后续计算的相似度的准确率。
在一些实施例中，所述第一编码模型410和所述第二编码模型510可以为同一个编码模型。例如，第一编码模型410和第二编码模型510可以均为SSWE-C(skip-gram basedcombined-sentiment word embedding)模型和双向长短时记忆循环神经网络(即BiLSTM)组成的编码模型。由于判断模型400的训练数据相对于相似度模型500的训练数据少，因为相似度模型500只要是任意文本对都可以成为训练数据，而判断模型的训练数据有限，需要为用户与智能客户机器人之间的对话，可以理解，基于较少训练数据训练得到的第一编码模型410的效果不如基于更多训练数据训练得到的第二编码模型510，从而，通过第一编码模型410与第二编码模型510共用同一个编码模型，可以第一编码模型410的效果。
在一些实施例中，所述相似度计算模型520可以用于基于文本生成的表示向量，计算各个文本之间的相似度。例如，相似度计算模型520可以用于基于所述询问内容的向量和所述至少一个候选问题的向量计算所述相似度。在一些实施例中，相似度计算模型520可以为ESIM模型，即增强序列推断(Enhanced Sequential Inference Model)模型。其中，ESIM模型由三部分组成，分别为输入编码(Input Encoding)、局部推断建模(Local InferenceModeling)以及推断合成(Inference Composition)。
具体地，输入编码(Input Encoding)用于接收两个文本编码后各自的文本向量；局部推断建模(Local Inference Modeling)用于计算两个文本向量之间的attention权重、计算两个文本之间的交互表示以及增强局部推理信息；推断合成(InferenceComposition)用于提取局部推理信息，并将该局部推理信息输入至一个全连接层分类器中进行分类获取推断结果。
在一些实施例中，ESIM模型中的输入编码(Input Encoding)可以接收经双向长短时记忆循环神经网络(即BiLSTM)编码后的文本向量。通过采用双向长短时记忆循环神经网络，可以在训练ESIM模型的同时，训练双向长短时记忆循环神经网络，不必单独对其进行训练。在一些实施例中，相似度模型可以为BERT模型。具体地，BERT模型可以包括编码层和计算相似度的层。其中，编码层用于对文本进行编码生成向量。例如，对询问内容进行编码生成该询问内容的向量，以及对候选问题进行编码生成该候选问题的向量。计算相似度的层用于基于文本生成的向量，计算各个文本之间的相似度。例如，基于所述询问内容的向量和所述至少一个候选问题的向量计算所述相似度。
相似度模型可以输出任意两个文本之间的相似度，包括输出所述询问内容和所述至少一个候选问题的相似度。在一些实施例中，可以基于相似度模型输出的相似度，确定所述至少一个候选知识点。关于确定候选知识点的具体细节请参见步骤304及其相关描述，在此不再赘述。在一些实施例中，可以基于相似度模型输出的相似度，确定至少一个候选问题对应的回答使得所述用户满意的信心分。关于确定信心分的具体细节请参见图4及其相关描述，在此不再赘述。
为了更智能地实施申请人提出的上述方法，使得该方法的应用范围更广，申请人首先构建了初始相似度模型。该模型可以包括第二编码模型510和相似度计算模型520，并基于训练样本集组成的训练数据对初始相似度模型进行训练，得到最终的相似度模型。其中，训练样本集包括多个携带标签的样本对，所述标签为每个样本对是否相似，每个样本对包括两个文本。在一些实施例中，样本对可以从知识库中获取。具体地，将训练样本集输入至初始相似度模型后，初始相似度模型学习训练样本特征和标签，对初始相似度模型的参数进行调整。例如，通过梯度下降法、反向传播法调整参数。可以对初始相似度模型进行持续训练，直到训练结果收敛，结束训练，得到最终的相似度模型。
本说明书实施例还提供一种装置，其至少包括处理器以及存储器。所述存储器用于存储指令。当所述指令被所述处理器执行时，导致所述装置实现前述的自动响应用户询问的方法。所述方法可以包括：获取用户的询问内容以及所述询问对应的至少一个特征参数；基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
本说明书实施例还提供一种计算机可读存储介质。所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机实现前述的自动响应用户询问的方法。所述方法可以包括：获取用户的询问内容以及所述询问对应的至少一个特征参数；基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
本说明书实施例可能带来的有益效果包括但不限于：(1)在计算用户对答案满意的信心分时，考虑询问次数，提高了计算的信心分的准确度，便于确定是否需要人工参与；(2)通过判断模型计算信心分，在信心分不足的情况下转接人工客服对用户的询问内容进行回答，让用户的询问得到快速的响应和解决；(3)智能客服机器人可以学习人工客服的回答，持续提升机器人的问题解决能力，实现了数据上的闭环。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (22)

1.一种自动响应用户询问的方法，包括：
获取用户的询问内容以及所述询问对应的至少一个特征参数；
基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；
基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；其中，所述询问对应的至少一个特征参数包括：所述询问之前所述用户已经完成的询问次数；所述询问之前所述用户已经完成的询问次数包括：同一个问题所述用户已经完成的询问次数；
判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
2.如权利要求1所述的方法，所述判断模型判断所述信心分所使用的特征包括：
所述用户的询问内容与所述至少一个候选问题的相似度，以及所述询问次数。
3.如权利要求2所述的方法，所述判断模型判断所述信心分所使用的特征还包括：
所述用户的询问内容的情感特征。
4.如权利要求3所述的方法，所述判断模型包含第一编码模型和计算所述信心分的模型；
所述第一编码模型用于对所述用户的询问内容进行编码，将得到的所述询问内容的向量表示所述询问内容的情感特征；
所述计算所述信心分的模型基于所述相似度、所述询问次数以及所述询问内容的向量，计算所述信心分。
5.如权利要求4所述的方法，所述判断模型为Wide and Deep模型或Deep FM模型。
6.如权利要求4所述的方法，所述方法还包括：
基于相似度模型确定所述用户的询问内容与所述至少一个候选问题的相似度；
所述相似度模型包括：第二编码模型和相似度计算模型；
所述第二编码模型用于对所述询问内容和所述至少一个候选问题进行编码，得到所述询问内容的向量和所述至少一个候选问题的向量；
所述相似度计算模型用于基于所述询问内容的向量和所述至少一个候选问题的向量计算所述相似度。
7.如权利要求6所述的方法，所述相似度计算模型为ESIM模型。
8.如权利要求6所述的方法，所述相似度模型为BERT模型。
9.如权利要求6所述的方法，所述第一编码模型和所述第二编码模型为同一个编码模型。
10.如权利要求9所述的方法，所述第一编码模型和/或所述第二编码模型由词嵌入模型和双向长短时记忆循环神经网络组成。
11.一种自动响应用户询问的系统，包括：
数据获取模块，用于获取用户的询问内容以及所述询问对应的至少一个特征参数；
候选问答确定模块，用于基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；
信心分判断模块，用于基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；其中，所述询问对应的至少一个特征参数包括：所述询问之前所述用户已经完成的询问次数；所述询问之前所述用户已经完成的询问次数包括：同一个问题所述用户已经完成的询问次数；
输出模块，用于判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。
12.如权利要求11所述的系统，所述判断模型判断所述信心分所使用的特征包括：
所述用户的询问内容与所述至少一个候选问题的相似度，以及所述询问次数。
13.如权利要求12所述的系统，所述判断模型判断所述信心分所使用的特征还包括：
所述用户的询问内容的情感特征。
14.如权利要求13所述的系统，所述判断模型包含第一编码模型和计算所述信心分的模型；
所述第一编码模型用于对所述用户的询问内容进行编码，将得到的所述询问内容的向量表示所述询问内容的情感特征；
所述计算所述信心分的模型基于所述相似度、所述询问次数以及所述询问内容的向量，计算所述信心分。
15.如权利要求14所述的系统，所述判断模型为Wide and Deep模型或Deep FM模型。
16.如权利要求14所述的系统，所述系统还包括：
相似度确定模块，用于基于相似度模型确定所述用户的询问内容与所述至少一个候选问题的相似度；
所述相似度模型包括：第二编码模型和相似度计算模型；
所述第二编码模型用于对所述询问内容和所述至少一个候选问题进行编码，得到所述询问内容的向量和所述至少一个候选问题的向量；
所述相似度计算模型用于基于所述询问内容的向量和所述至少一个候选问题的向量计算所述相似度。
17.如权利要求16所述的系统，所述相似度计算模型为ESIM模型。
18.如权利要求16所述的系统，所述相似度模型为BERT模型。
19.如权利要求16所述的系统，所述第一编码模型和所述第二编码模型为同一个编码模型。
20.如权利要求19所述的系统，所述第一编码模型和/或所述第二编码模型由词嵌入模型和双向长短时记忆循环神经网络组成。
21.一种自动响应用户询问的装置，包括处理器，所述处理器用于执行如权利要求1～10任一项所述的方法。
22.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～10任一项所述的方法。
CN202010126592.7A 2020-02-28 2020-02-28 一种自动响应用户询问的方法和系统 Active CN111353290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010126592.7A CN111353290B (zh) 2020-02-28 2020-02-28 一种自动响应用户询问的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010126592.7A CN111353290B (zh) 2020-02-28 2020-02-28 一种自动响应用户询问的方法和系统

Publications (2)

Publication Number Publication Date
CN111353290A CN111353290A (zh) 2020-06-30
CN111353290B true CN111353290B (zh) 2023-07-14

Family

ID=71192498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010126592.7A Active CN111353290B (zh) 2020-02-28 2020-02-28 一种自动响应用户询问的方法和系统

Country Status (1)

Country Link
CN (1) CN111353290B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984763B (zh) * 2020-08-28 2023-09-19 海信电子科技(武汉)有限公司 一种答问处理方法及智能设备
CN112100340A (zh) * 2020-11-18 2020-12-18 智者四海（北京）技术有限公司 问题内容匹配方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2283440A1 (en) * 2008-05-14 2011-02-16 International Business Machines Corporation System and method for providing answers to questions
CN107480149A (zh) * 2016-06-07 2017-12-15 株式会社Ntt都科摩 问答系统中的答案提供方法及装置
CN108345672A (zh) * 2018-02-09 2018-07-31 平安科技（深圳）有限公司 智能应答方法、电子装置及存储介质
CN108875055A (zh) * 2018-06-28 2018-11-23 联想(北京)有限公司 一种答案提供方法及设备
CN109033305A (zh) * 2018-07-16 2018-12-18 深圳前海微众银行股份有限公司 问题回答方法、设备及计算机可读存储介质
WO2019000240A1 (zh) * 2017-06-27 2019-01-03 华为技术有限公司 一种问答系统及问答方法
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
CN109766423A (zh) * 2018-12-29 2019-05-17 上海智臻智能网络科技股份有限公司 基于神经网络的问答方法及装置、存储介质、终端
CN110032623A (zh) * 2018-12-12 2019-07-19 阿里巴巴集团控股有限公司 用户问句与知识点标题的匹配方法和装置
CN110275951A (zh) * 2019-06-27 2019-09-24 百度在线网络技术（北京）有限公司 问答方法、装置、设备和计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2283440A1 (en) * 2008-05-14 2011-02-16 International Business Machines Corporation System and method for providing answers to questions
CN107480149A (zh) * 2016-06-07 2017-12-15 株式会社Ntt都科摩 问答系统中的答案提供方法及装置
WO2019000240A1 (zh) * 2017-06-27 2019-01-03 华为技术有限公司 一种问答系统及问答方法
CN108345672A (zh) * 2018-02-09 2018-07-31 平安科技（深圳）有限公司 智能应答方法、电子装置及存储介质
CN108875055A (zh) * 2018-06-28 2018-11-23 联想(北京)有限公司 一种答案提供方法及设备
CN109033305A (zh) * 2018-07-16 2018-12-18 深圳前海微众银行股份有限公司 问题回答方法、设备及计算机可读存储介质
CN109271505A (zh) * 2018-11-12 2019-01-25 深圳智能思创科技有限公司 一种基于问题答案对的问答系统实现方法
CN110032623A (zh) * 2018-12-12 2019-07-19 阿里巴巴集团控股有限公司 用户问句与知识点标题的匹配方法和装置
CN109766423A (zh) * 2018-12-29 2019-05-17 上海智臻智能网络科技股份有限公司 基于神经网络的问答方法及装置、存储介质、终端
CN110275951A (zh) * 2019-06-27 2019-09-24 百度在线网络技术（北京）有限公司 问答方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111353290A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN110175227B (zh) 一种基于组队学习和层级推理的对话辅助系统
CN110837551B (zh) 一种在线数据采集的方法及系统
CN108509411A (zh) 语义分析方法和装置
Phillips et al. Inequality in people's minds
CN111309887B (zh) 一种训练文本关键内容提取模型的方法和系统
CN111339309B (zh) 一种用户意图的语料扩展方法和系统
CN113127624B (zh) 问答模型的训练方法及装置
US10614377B2 (en) Method and system for using existing models in connection with new model development
CN111353290B (zh) 一种自动响应用户询问的方法和系统
CN108628908B (zh) 分类用户提问-回答界限的方法、装置和电子设备
CN113160819B (zh) 用于输出动画的方法、装置、设备、介质和产品
CN114168707A (zh) 一种面向推荐的情绪型对话方法
Dhanasekar et al. A chatbot to promote students mental health through emotion recognition
CN108491519A (zh) 人机交互方法及装置、存储介质、终端
CN114783421A (zh) 智能推荐方法和装置、设备、介质
CN116955578B (zh) 一种预训练语言模型的信息处理方法、装置、设备及介质
CN114490961A (zh) 一种基于多轮对话的客服方法、系统、装置及存储介质
CN111143529A (zh) 一种与对话机器人进行对话的方法与设备
Kaviya et al. Artificial intelligence based farmer assistant chatbot
CN114330285B (zh) 语料处理方法、装置、电子设备及计算机可读存储介质
CN111324722B (zh) 一种训练词语权重模型的方法和系统
CN115408500A (zh) 问答一致性的评估方法、装置、电子设备及介质
CN111340218B (zh) 一种训练问题识别模型的方法和系统
CN113886539A (zh) 话术推荐方法、装置、客服设备及存储介质
CN111310460B (zh) 语句的调整方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant