CN109002475B - 内容输出方法及系统、计算机系统及计算机可读存储介质 - Google Patents

内容输出方法及系统、计算机系统及计算机可读存储介质 Download PDF

Info

Publication number
CN109002475B
CN109002475B CN201810627401.8A CN201810627401A CN109002475B CN 109002475 B CN109002475 B CN 109002475B CN 201810627401 A CN201810627401 A CN 201810627401A CN 109002475 B CN109002475 B CN 109002475B
Authority
CN
China
Prior art keywords
question
determining
questions
user
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810627401.8A
Other languages
English (en)
Other versions
CN109002475A (zh
Inventor
叶偲
赵国光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201810627401.8A priority Critical patent/CN109002475B/zh
Publication of CN109002475A publication Critical patent/CN109002475A/zh
Application granted granted Critical
Publication of CN109002475B publication Critical patent/CN109002475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种内容输出方法,包括获取用户输入的第一问题;在不能匹配与第一问题相应的解释内容的情况下,获取用户输入的第二问题,其中,第二问题先于第一问题输入;确定与第二问题关联的第三问题;以及输出第三问题。本公开还提供了一种内容输出系统、一种计算机系统及一种计算机可读存储介质。

Description

内容输出方法及系统、计算机系统及计算机可读存储介质
技术领域
本公开涉及一种内容输出方法及系统、一种计算机系统及一种计算机可读存储介质。
背景技术
智能客服系统可以为企业与用户之间建立基于自然语言的快捷有效的沟通,因此,基于自然语言处理的智能客服系统的一个重要发展方向是尽可能地理解用户的真实意图。然而在实际会话过程中,当智能客服系统根据会话内容无法理解或者理解错误用户的意图的情况下,在后续会话过程中与用户的交互就会出现问题,这时候用户将更倾向于寻求人工客服的帮助,使得会话需要在智能客服与人工客服之间切换。因此,相关技术中用户与智能客服会话过程中存在会话效率低的问题。
发明内容
本公开的一个方面提供了一种内容输出方法,包括获取用户输入的第一问题;在不能匹配与上述第一问题相应的解释内容的情况下,获取上述用户输入的第二问题,其中,上述第二问题先于上述第一问题输入;确定与上述第二问题关联的第三问题;以及输出上述第三问题。
可选地,确定与上述第二问题关联的第三问题包括确定上述第二问题涉及的目标对象;以及根据上述目标对象从一个或多个关联问题集获取与上述第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象。
可选地,上述方法还包括生成上述一个或多个关联问题集,包括获取多条会话日志,其中,每一条会话日志包含用户咨询一对象时涉及的多个问题;从上述多条会话日志包含的多个问题中确定与上述对象关联的多个问题;以及基于上述关联的多个问题生成与上述对象相关的关联问题集。
可选地,从上述多条会话日志包含的多个问题中确定与上述对象关联的多个问题包括确定多条上述会话日志中,用户咨询上述对象时涉及的每一个问题出现的频率;将每一个问题出现的频率与第一预设值进行比较,得到第一比较结果;以及根据上述第一比较结果确定与上述对象关联的多个问题。
可选地,在从上述多条会话日志包含的多个问题中确定与上述对象关联的多个问题之前,上述方法还包括过滤上述多条会话日志,包括确定每一条会话日志中与问题相应的解释内容的特征信息;根据上述与问题相应的解释内容的特征信息确定用户对该解释内容的满意度;根据用户对该解释内容的满意度确定对应会话日志的整体满意度;将上述整体满意度与第二预设值进行比较,得到第二比较结果;以及根据上述第二比较结果对上述会话日志进行过滤。
本公开的另一方面还提供了一种内容输出系统,包括第一获取模块、第二获取模块、确定模块和输出模块。第一获取模块用于获取用户输入的第一问题;第二获取模块用于在不能匹配与上述第一问题相应的解释内容的情况下,获取上述用户输入的第二问题,其中,上述第二问题先于上述第一问题输入;确定模块用于确定与上述第二问题关联的第三问题;以及输出模块用于输出上述第三问题。
可选地,上述确定模块包括第一确定单元和第一获取单元。第一确定单元用于确定上述第二问题涉及的目标对象;以及第一获取单元用于根据上述目标对象从一个或多个关联问题集获取与上述第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象。
可选地,上述系统还包括生成模块,用于生成上述一个或多个关联问题集,上述生成模块包括第二获取单元、第二确定单元和生成单元。第二获取单元用于获取多条会话日志,其中,每一条会话日志包含用户咨询一对象时涉及的多个问题;第二确定单元用于从上述多条会话日志包含的多个问题中确定与上述对象关联的多个问题;以及生成单元用于基于上述关联的多个问题生成与上述对象相关的关联问题集。
可选地,上述第二确定单元包括第一确定子单元、比较子单元和第二确定子单元。第一确定子单元用于确定多条上述会话日志中,用户咨询上述对象时涉及的每一个问题出现的频率;比较子单元用于将每一个问题出现的频率与第一预设值进行比较,得到第一比较结果;以及第二确定子单元用于根据上述第一比较结果确定与上述对象关联的多个问题。
可选地,上述系统还包括过滤模块,用于在从上述多条会话日志包含的多个问题中确定与上述对象关联的多个问题之前,过滤上述多条会话日志,上述过滤模块包括第三确定单元、第四确定单元、第五确定单元、比较单元和过滤单元。第三确定单元用于确定每一条会话日志中与问题相应的解释内容的特征信息;第四确定单元用于根据上述与问题相应的解释内容的特征信息确定用户对该解释内容的满意度;第五确定单元用于根据用户对该解释内容的满意度确定对应会话日志的整体满意度;比较单元用于将上述整体满意度与第二预设值进行比较,得到第二比较结果;以及过滤单元用于根据上述第二比较结果对上述会话日志进行过滤。
本公开的另一个方面提供了一种计算机系统,包括一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上所述的内容输出方法。
本公开的另一个方面提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现如上所述的内容输出方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的内容输出方法。
附图说明
为了更完整地理解本公开及其优势,现在将参考结合附图的以下描述,其中:
图1示意性示出了根据本公开实施例的内容输出方法的应用场景;
图2示意性示出了根据本公开实施例的内容输出方法的流程图;
图3示意性示出了根据本公开实施例的确定与第二问题关联的第三问题的流程图;
图4示意性示出了根据本公开实施例的生成一个或多个关联问题集的流程图;
图5示意性示出了根据本公开实施例的从多条会话日志包含的多个问题中确定与对象关联的多个问题的流程图;
图6示意性示出了根据本公开实施例的过滤多条会话日志的流程图;
图7示意性示出了根据本公开实施例的确定解释内容满意度的流程图;
图8示意性示出了根据本公开实施例的内容输出系统的框图;
图9示意性示出了根据本公开实施例的确定模块的框图;
图10示意性示出了根据本公开另一实施例的内容输出系统的框图;
图11示意性示出了根据本公开实施例的第二确定单元的框图;
图12示意性示出了根据本公开另一实施例的内容输出系统的框图;以及
图13示意性示出了根据本公开实施例的适于实现本公开的方法的计算机系统的框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
附图中示出了一些方框图和/或流程图。应理解,方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此,本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外,本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式,该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中,计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
本公开的实施例提供了一种内容输出方法,包括获取用户输入的第一问题;在不能匹配与第一问题相应的解释内容的情况下,获取用户输入的第二问题,其中,第二问题先于第一问题输入;确定与第二问题关联的第三问题;以及输出第三问题。
图1示意性示出了根据本公开实施例的内容输出方法的应用场景。
如图1所示,用户可以通过电子设备输入第一问题(问题1),在电子设备的显示单元处于第一状态101下,在电子设备不能匹配出用于解答第一问题(问题1)的解释内容的情况下,电子设备可以获取用户在输入第一问题(问题1)之前已经输入的第二问题(问题2),该第二问题(问题2)可以是电子设备能够匹配出用于解答第二问题(问题2)的解释内容的问题。需要说明的是,当获取到用户在输入第一问题(问题1)之前已经输入的第二问题(问题2)的时候,也可以不将第二问题(问题2)显示在显示单元中,本应用场景的第一状态101上显示的问题2可以是为了描述的清晰而只作为示意。
在获取到用户输入的第二问题(问题2)之后,电子设备将确定与第二问题(问题2)关联的第三问题(问题3),并输出第三问题(问题3),如电子设备的显示单元处于第二状态102所示。输出的第三问题(问题3)可以供用户选择,以作为回应用户输入的问题1。需要说明的是,确定与第二问题(问题2)关联的第三问题(问题3)可以是一个第三问题,也可以是多个第三问题。当确定出与第二问题关联的多个第三问题的情况下,可以输出多个第三问题,可以供用户选择多个第三问题中的一个或多个。
根据本公开的实施例,在电子设备不能匹配与第一问题相应的解释内容的情况下,输出与第二问题关联的第三问题以供用户选择,由于每一个意图有对应的问题,当用户的问题不被电子设备理解时,根据之前已经理解的意图的问题,推送给用户跟这些意图有强关联的意图对应的问题,供用户选择,可以解决相关技术中用户与智能客服对话时,智能客服无法理解第一问题时,难以输出合适的内容,而导致对话效率低的问题。
需要注意的是,图1所示仅为可以应用本公开实施例的场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
图2示意性示出了根据本公开实施例的内容输出方法的流程图。
如图2所示,该方法包括操作S210~S240。
在操作S210,获取用户输入的第一问题。
在操作S220,在不能匹配与第一问题相应的解释内容的情况下,获取用户输入的第二问题,其中,第二问题先于第一问题输入。
在操作S230,确定与第二问题关联的第三问题。
在操作S240,输出第三问题。
根据本公开的实施例,以用户通过智能客服系统输入问题为例,举例说明本公开的应用场景,例如,1、用户输入为什么苹果手机掉电快?2、智能客服不能匹配出与该问题相关的解释。3、在这种情况下,获取用户与智能客服之前对话时用户输入的问题,例如如何让苹果手机蓄电时间长。4、输出与“如何让苹果手机蓄电时间长”这个问题相似的一些问题,例如,为什么苹果手机蓄电时间短,供用户选择。
根据本公开的实施例,再例如,1.在智能客服解决手机故障场景中,如果智能客服系统已经理解了用户之前的部分问题,如已经知道用户想知道自己的手机电池充电较快,在与用户的交互过程中也知道用户的使用习惯,用户的机型信息。2、在这个过程中用户的询问会随着最初的目的开始一步步展开,甚至会询问比如如何才能增加电池的使用寿命,如何更换电池等等一系列问题。3、而由于智能客服的自然语言理解能力有限,无法对所有用户的所有问法都能准确匹配到对应的意图。4、所以本公开可以根据之前已经理解的手机电池放电快,手机型号,使用习惯这些已经理解的意图去找关联的意图,这些关联意图可以是从其他用户和智能客服的交互中挖掘出的最可能和智能客服已理解的这些意图在一次会话中出现的意图,从而推荐给用户,以达到通过大量其他用户的询问记录,猜测当前用户下一步还会询问什么的目的,减少由于语言理解的问题造成会话中断。
根据本公开的实施例,再例如,在售前服务场景中,类似的,也可以通过对日志的挖掘,联系已经理解的用户的一些意图(比如想购买一款手机,安卓系统,待机时间长……)等等这些信息,找到关联度最高的其他意图(如推荐一家最近的门店,或者推荐性价比最高的一些手机型号),达到客服系统理解产生中断的时候,仍然能给用户一些情理之中的提示信息,引导用户按客服能理解的方式去解决想要解决的问题。
根据本公开的实施例,确定出与第二问题关联的第三问题的个数不做限定,可以是一个或多个第三问题,输出一个或多个第三问题都可以供用户选择。
通过本公开的实施例,在电子设备不能匹配与第一问题相应的解释内容的情况下,输出与第二问题关联的第三问题以供用户选择,由于每一个意图有对应的问题,当用户的问题不被电子设备理解时,根据之前已经理解的意图的问题,推送给用户跟这些意图有强关联的意图对应的问题,供用户选择,可以解决相关技术中用户与智能客服对话时,智能客服无法理解第一问题时,难以输出合适的内容,而导致对话效率低的问题。
下面参考图3~图7,结合具体实施例对图2所示的方法做进一步说明。
图3示意性示出了根据本公开实施例的确定与第二问题关联的第三问题的流程图。
如图3所示,该方法包括操作S231~S232。
在操作S231,确定第二问题涉及的目标对象。
在操作S232,根据目标对象从一个或多个关联问题集获取与第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象。
根据本公开的实施例,用户与智能客服交流的时候,一般带有较强的目的性,所交流的对象可以从对话的问题中确定。
根据本公开的实施例,为了确定与第二问题关联的第三问题,可以先确定第二问题涉及的目标对象,然后根据目标对象从关联问题集获取与第二问题关联的第三问题。
例如,某一关联问题集中包含10个关于手机电池的问题,如果第二问题涉及的目标对象为手机电池,可以根据手机电池从上述关联问题集中获取一个或多个关于手机电池的问题作为第三问题。
通过本公开的实施例,由于随着对话的复杂度增加,多个意图之间通常都有一定的关联性,嵌套意图的出现也会更加频繁。因此,将相互关联且针对相同或相似对象的问题归类至关联问题集中,当用户所提的问题涉及某一目标对象时,可以根据目标对象从关联问题集获取与用户所提的问题关联的问题。
图4示意性示出了根据本公开实施例的生成一个或多个关联问题集的流程图。
如图4所示,生成一个或多个关联问题集包括操作S251~S253。
在操作S251,获取多条会话日志,其中,每一条会话日志包含用户咨询一对象时涉及的多个问题。
在操作S252,从多条会话日志包含的多个问题中确定与对象关联的多个问题。
在操作S253,基于关联的多个问题生成与对象相关的关联问题集。
根据本公开的实施例,每一条会话日志可以涉及一个或多个对象,例如,某一条会话日志关于电脑、手机和服装等多个对象,分别提了一个或多个不同的问题。
根据本公开的实施例,由于每一条会话日志都可以包括多个问题,从多条会话日志包含的多个问题中确定与对象关联的多个问题相当于将会话日志所涉及的问题按照对象进行分类。例如,获取了100条会话日志,100条会话日志一共涉及1000个问题,按照每个问题所涉及的对象,将1000个问题进行分类,例如其中100个问题是关于手机的,200个问题是关于电脑的,200个问题是关于服装的,500个问题是关于餐具的。
根据本公开的实施例,关于手机的100个问题生成关联问题集1,关于电脑的200个问题生成关联问题集2,关于服装的200个问题生成关联问题集3,关于餐具的500个问题生成关联问题集4。
通过本公开的实施例,从大量的对话日志中确定关于同一对象的问题,如果用户的阐述不够清楚,或者用户的需求比较复杂,这些推荐的关联问题集中的问题能减少用户主动输入造成的复杂性,让系统能以一个更简单的方式跟用户交互,并帮助用户解决问题。
图5示意性示出了根据本公开实施例的从多条会话日志包含的多个问题中确定与对象关联的多个问题的流程图。
如图5所示,从多条会话日志包含的多个问题中确定与对象关联的多个问题包括操作S2521~S2523。
在操作S2521,确定多条会话日志中,用户咨询对象时涉及的每一个问题出现的频率。
根据本公开的实施例,可以从获取的多条会话日志中进行有效意图的提取,统计每次访问会话各个问题出现的频率,并根据数据情况设置阈值。
在操作S2522,将每一个问题出现的频率与第一预设值进行比较,得到第一比较结果。
根据本公开的实施例,第一预设值可以是最小频率值,将每一个问题出现的频率与最小频率值进行比较,过滤出小于最小频率值的问题,得到大于或等于最小频率值的问题。
在操作S2523,根据第一比较结果确定与对象关联的多个问题。
根据本公开的实施例,第一比较结果可以是问题出现的频率大于或等于第一预设值,问题出现的频率小于第一预设值。根据问题出现的频率大于或等于第一预设值的问题进行FP-Growth关联分析,挖掘出有强关联关系的频繁项集,每个频繁项集内的问题都可以作为彼此相关的引导意图推送给用户。根据本公开的实施例,可以根据用户量和日志记录情况,选择频繁项集的更新策略。
通过本公开的实施例,当用户在交互的过程中出现智能客服系统不能理解的句子时,可以推送和最近的上一轮意图相关联的意图问题,减少用户主动输入造成的理解问题。
图6示意性示出了根据本公开实施例的过滤多条会话日志的流程图。
如图6所示,在从多条会话日志包含的多个问题中确定与对象关联的多个问题之前,过滤多条会话日志包括操作S261~S265。
在操作S261,确定每一条会话日志中与问题相应的解释内容的特征信息。
根据本公开的实施例,解释内容的特征信息可以是用户行为、情绪、对话轮数、转人工次数等特征。
在操作S262,根据与问题相应的解释内容的特征信息确定用户对该解释内容的满意度。
根据本公开的实施例,在确定特征信息之后,可以将特征信息进行分类,例如特征信息哪些属于正反馈行为特征,哪些属于负反馈行为特征。并为特征信息确定相应的特征权重,即为特征信息确定影响因子δi(若为正反馈,则影响因子δi>0,若为负反馈,则影响因子δi<0)。
具体地,如图7所示,图7示意性示出了根据本公开实施例的确定解释内容满意度的流程图。在会话日志每一解释内容中根据每一个特征的数量归一化后的值ci和影响因子δi综合评估会话日志访问中用户的满意度,用户的满意度可以用公式
Figure BDA0001698021870000121
进行量化。
在操作S263,根据用户对该解释内容的满意度确定对应会话日志的整体满意度。
根据本公开的实施例,可以为解释内容的满意度设置相应的权重,根据多个解释内容的满意度及相应的权重确定会话日志的整体满意度。
在操作S264,将整体满意度与第二预设值进行比较,得到第二比较结果。
在操作S265,根据第二比较结果对会话日志进行过滤。
根据本公开的实施例,可以将整体满意度高于或等于第二预设值的会话日志抽取出来,过滤整体满意度低于第二预设值的会话日志。
通过本公开的实施例,随着不同用户的会话日志记录增多,满意度较高的会话流程会进一步对用户产生引导作用,指导用户如何获取想要的答案,从一定程度上引导用户选择问题,从而提高对话的识别率。
图8示意性示出了根据本公开实施例的内容输出系统的框图。
如图8所示,内容输出系统400包括第一获取模块410、第二获取模块420、确定模块430和输出模块440。
第一获取模块410用于获取用户输入的第一问题。
第二获取模块420用于在不能匹配与第一问题相应的解释内容的情况下,获取用户输入的第二问题,其中,第二问题先于第一问题输入。
确定模块430用于确定与第二问题关联的第三问题。
输出模块440用于输出第三问题。
通过本公开的实施例,在电子设备不能匹配与第一问题相应的解释内容的情况下,输出与第二问题关联的第三问题以供用户选择,由于每一个意图有对应的问题,当用户的问题不被电子设备理解时,根据之前已经理解的意图的问题,推送给用户跟这些意图有强关联的意图对应的问题,供用户选择,可以解决相关技术中用户与智能客服对话时,智能客服无法理解第一问题时,难以输出合适的内容,而导致对话效率低的问题。
图9示意性示出了根据本公开实施例的确定模块的框图。
如图9所示,确定模块430包括第一确定单元431和第一获取单元432。
第一确定单元431用于确定第二问题涉及的目标对象。
第一获取单元432用于根据目标对象从一个或多个关联问题集获取与第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象。
通过本公开的实施例,由于随着对话的复杂度增加,多个意图之间通常都有一定的关联性,嵌套意图的出现也会更加频繁。因此,将相互关联且针对相同或相似对象的问题归类至关联问题集中,当用户所提的问题涉及某一目标对象时,可以根据目标对象从关联问题集获取与用户所提的问题关联的问题。
图10示意性示出了根据本公开另一实施例的内容输出系统的框图。
如图10所示,内容输出系统400还包括生成模块450,用于生成一个或多个关联问题集,生成模块450包括第二获取单元451、第二确定单元452和生成单元453。
第二获取单元451用于获取多条会话日志,其中,每一条会话日志包含用户咨询一对象时涉及的多个问题。
第二确定单元452用于从多条会话日志包含的多个问题中确定与对象关联的多个问题。
生成单元453用于基于关联的多个问题生成与对象相关的关联问题集。
通过本公开的实施例,从大量的对话日志中确定关于同一对象的问题,如果用户的阐述不够清楚,或者用户的需求比较复杂,这些推荐的关联问题集中的问题能减少用户主动输入造成的复杂性,让系统能以一个更简单的方式跟用户交互,并帮助用户解决问题。
图11示意性示出了根据本公开实施例的第二确定单元的框图。
如图11所示,第二确定单元452包括第一确定子单元4521、比较子单元4522和第二确定子单元4523。
第一确定子单元4521用于确定多条会话日志中,用户咨询对象时涉及的每一个问题出现的频率。
比较子单元4522用于将每一个问题出现的频率与第一预设值进行比较,得到第一比较结果。
第二确定子单元4523用于根据第一比较结果确定与对象关联的多个问题。
通过本公开的实施例,当用户在交互的过程中出现智能客服系统不能理解的句子时,可以推送和最近的上一轮意图相关联的意图问题,减少用户主动输入造成的理解问题。
图12示意性示出了根据本公开另一实施例的内容输出系统的框图。
如图12所示,内容输出系统400还包括过滤模块460,用于在从多条会话日志包含的多个问题中确定与对象关联的多个问题之前,过滤多条会话日志,过滤模块460包括第三确定单元461、第四确定单元462、第五确定单元463、比较单元464和过滤单元465。
第三确定单元461用于确定每一条会话日志中与问题相应的解释内容的特征信息。
第四确定单元462用于根据与问题相应的解释内容的特征信息确定用户对该解释内容的满意度。
第五确定单元463用于根据用户对该解释内容的满意度确定对应会话日志的整体满意度。
比较单元464用于将整体满意度与第二预设值进行比较,得到第二比较结果。
过滤单元465用于根据第二比较结果对会话日志进行过滤。
通过本公开的实施例,随着不同用户的会话日志记录增多,满意度较高的会话流程会进一步对用户产生引导作用,指导用户如何获取想要的答案,从一定程度上引导用户选择问题,从而提高对话的识别率。
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
例如,第一获取模块410、第二获取模块420、确定模块430、输出模块440、生成模块450、过滤模块460、第一确定单元431、第一获取单元432、第二获取单元451、第二确定单元452、生成单元453、第一确定子单元4521、比较子单元4522、第二确定子单元4523、第三确定单元461、第四确定单元462、第五确定单元463、比较单元464和过滤单元465中的任意多个可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块410、第二获取模块420、确定模块430、输出模块440、生成模块450、过滤模块460、第一确定单元431、第一获取单元432、第二获取单元451、第二确定单元452、生成单元453、第一确定子单元4521、比较子单元4522、第二确定子单元4523、第三确定单元461、第四确定单元462、第五确定单元463、比较单元464和过滤单元465中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块410、第二获取模块420、确定模块430、输出模块440、生成模块450、过滤模块460、第一确定单元431、第一获取单元432、第二获取单元451、第二确定单元452、生成单元453、第一确定子单元4521、比较子单元4522、第二确定子单元4523、第三确定单元461、第四确定单元462、第五确定单元463、比较单元464和过滤单元465中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图13示意性示出了根据本公开实施例的适于实现本公开的方法的计算机系统的框图。图13示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示,计算机系统500包括处理器510和计算机可读存储介质(存储器)520。该计算机系统500可以执行根据本公开实施例的方法。
具体地,处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器510还可以包括用于缓存用途的板载存储器。处理器510可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
计算机可读存储介质520,例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如,可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括:磁存储装置,如磁带或硬盘(HDD);光存储装置,如光盘(CD-ROM);存储器,如随机存取存储器(RAM)或闪存;和/或有线/无线通信链路。
计算机可读存储介质520可以包括计算机程序521,该计算机程序521可以包括代码/计算机可执行指令,其在由处理器510执行时使得处理器510执行根据本公开实施例的方法或其任何变形。
计算机程序521可被配置为具有例如包括计算机程序模块的计算机程序代码。例如,在示例实施例中,计算机程序521中的代码可以包括一个或多个程序模块,例如包括521A、模块521B、……。应当注意,模块的划分方式和个数并不是固定的,本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合,当这些程序模块组合被处理器510执行时,使得处理器510可以执行根据本公开实施例的方法或其任何变形。
根据本发明的实施例,第一获取模块410、第二获取模块420、确定模块430、输出模块440、生成模块450、过滤模块460、第一确定单元431、第一获取单元432、第二获取单元451、第二确定单元452、生成单元453、第一确定子单元4521、比较子单元4522、第二确定子单元4523、第三确定单元461、第四确定单元462、第五确定单元463、比较单元464和过滤单元465中的至少一个可以实现为参考图13描述的计算机程序模块,其在被处理器510执行时,可以实现上面描述的相应操作。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线、光缆、射频信号等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开,但是本领域技术人员应该理解,在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下,可以对本公开进行形式和细节上的多种改变。因此,本公开的范围不应该限于上述实施例,而是应该不仅由所附权利要求来进行确定,还由所附权利要求的等同物来进行限定。

Claims (9)

1.一种内容输出方法,包括:
获取用户输入的第一问题;
在不能匹配与所述第一问题相应的解释内容的情况下,获取所述用户输入的第二问题,其中,所述第二问题先于所述第一问题输入;
确定与所述第二问题关联的第三问题,包括:确定所述第二问题涉及的目标对象;以及根据所述目标对象从一个或多个关联问题集获取与所述第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象,其中,所述第三问题用于回应所述第一问题;以及
输出所述第三问题。
2.根据权利要求1所述的方法,其中,所述方法还包括生成所述一个或多个关联问题集,包括:
获取多条会话日志,其中,每一条会话日志包含用户咨询一对象时涉及的多个问题;
从所述多条会话日志包含的多个问题中确定与所述对象关联的多个问题;以及
基于所述关联的多个问题生成与所述对象相关的关联问题集。
3.根据权利要求2所述的方法,其中,从所述多条会话日志包含的多个问题中确定与所述对象关联的多个问题包括:
确定多条所述会话日志中,用户咨询所述对象时涉及的每一个问题出现的频率;
将每一个问题出现的频率与第一预设值进行比较,得到第一比较结果;以及
根据所述第一比较结果确定与所述对象关联的多个问题。
4.根据权利要求2所述的方法,其中,在从所述多条会话日志包含的多个问题中确定与所述对象关联的多个问题之前,所述方法还包括过滤所述多条会话日志,包括:
确定每一条会话日志中与问题相应的解释内容的特征信息;
根据所述与问题相应的解释内容的特征信息确定用户对该解释内容的满意度;
根据用户对该解释内容的满意度确定对应会话日志的整体满意度;
将所述整体满意度与第二预设值进行比较,得到第二比较结果;以及
根据所述第二比较结果对所述会话日志进行过滤。
5.一种内容输出系统,包括:
第一获取模块,用于获取用户输入的第一问题;
第二获取模块,用于在不能匹配与所述第一问题相应的解释内容的情况下,获取所述用户输入的第二问题,其中,所述第二问题先于所述第一问题输入;
确定模块,用于确定与所述第二问题关联的第三问题,包括第一确定单元和第一获取单元,第一确定单元用于确定上述第二问题涉及的目标对象;以及第一获取单元用于根据上述目标对象从一个或多个关联问题集获取与上述第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象,其中,所述第三问题用于回应所述第一问题;以及
输出模块,用于输出所述第三问题。
6.根据权利要求5所述的系统,其中,所述确定模块包括:
第一确定单元,用于确定所述第二问题涉及的目标对象;以及
第一获取单元,用于根据所述目标对象从一个或多个关联问题集获取与所述第二问题关联的第三问题,其中,每个关联问题集中的问题相互关联且针对相同或相似对象。
7.根据权利要求6所述的系统,其中,所述系统还包括生成模块,用于生成所述一个或多个关联问题集,所述生成模块包括:
第二获取单元,用于获取多条会话日志,其中,每一条会话日志包含用户咨询一对象时涉及的多个问题;
第二确定单元,用于从所述多条会话日志包含的多个问题中确定与所述对象关联的多个问题;以及
生成单元,用于基于所述关联的多个问题生成与所述对象相关的关联问题集。
8.一种计算机系统,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至5中任一项所述的内容输出方法。
9.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至5中任一项所述的内容输出方法。
CN201810627401.8A 2018-06-15 2018-06-15 内容输出方法及系统、计算机系统及计算机可读存储介质 Active CN109002475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810627401.8A CN109002475B (zh) 2018-06-15 2018-06-15 内容输出方法及系统、计算机系统及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810627401.8A CN109002475B (zh) 2018-06-15 2018-06-15 内容输出方法及系统、计算机系统及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109002475A CN109002475A (zh) 2018-12-14
CN109002475B true CN109002475B (zh) 2021-12-24

Family

ID=64600166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810627401.8A Active CN109002475B (zh) 2018-06-15 2018-06-15 内容输出方法及系统、计算机系统及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109002475B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382267B (zh) * 2018-12-29 2023-10-10 深圳市优必选科技有限公司 一种问题分类方法、问题分类装置及电子设备
CN111475632A (zh) * 2020-04-09 2020-07-31 深圳追一科技有限公司 问句处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294340A (zh) * 2015-05-12 2017-01-04 中兴通讯股份有限公司 一种智能客服处理方法及其装置
CN106484801A (zh) * 2016-09-23 2017-03-08 厦门快商通科技股份有限公司 一种智能客服机器人的对话方法及其知识库管理系统
CN106575503A (zh) * 2014-06-18 2017-04-19 微软技术许可有限责任公司 用于对话理解系统的会话上下文建模

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6772686B2 (ja) * 2016-09-06 2020-10-21 富士通株式会社 接客支援プログラム、接客支援方法、接客支援システムおよび情報処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106575503A (zh) * 2014-06-18 2017-04-19 微软技术许可有限责任公司 用于对话理解系统的会话上下文建模
CN106294340A (zh) * 2015-05-12 2017-01-04 中兴通讯股份有限公司 一种智能客服处理方法及其装置
CN106484801A (zh) * 2016-09-23 2017-03-08 厦门快商通科技股份有限公司 一种智能客服机器人的对话方法及其知识库管理系统

Also Published As

Publication number Publication date
CN109002475A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
KR102302609B1 (ko) 신경망 아키텍처 최적화
CN108899012B (zh) 语音交互设备评测方法、系统、计算机设备和存储介质
CN109360012A (zh) 广告投放渠道的选择方法及装置、存储介质、电子设备
US10438590B2 (en) Voice recognition
CN111049996A (zh) 多场景语音识别方法及装置、和应用其的智能客服系统
CN109002475B (zh) 内容输出方法及系统、计算机系统及计算机可读存储介质
CN111159358A (zh) 多意图识别训练和使用方法及装置
US9038054B1 (en) System and method for automated product version rollback
US11875125B2 (en) System and method for designing artificial intelligence (AI) based hierarchical multi-conversation system
CN115841366B (zh) 物品推荐模型训练方法、装置、电子设备及存储介质
US20170150214A1 (en) Method and apparatus for data processing
CN111428506A (zh) 实体分类方法、实体分类装置和电子设备
KR102160600B1 (ko) 사용자 반응 향상을 위한 해시태그 추천 방법, 장치 및 컴퓨터-판독가능기록매체
US20170192480A1 (en) Method for adjusting frequency modulation parameters and electronic device
US9760933B1 (en) Interactive shopping advisor for refinancing product queries
US11144727B2 (en) Evaluation framework for intent authoring processes
CN110706691B (zh) 语音验证方法及装置、电子设备和计算机可读存储介质
US10032204B2 (en) System and method for synthetic ideation
US20230229896A1 (en) Method and computing device for determining optimal parameter
US20170161322A1 (en) Method and electronic device for searching resource
CN114005014B (zh) 一种模型训练、社交互动策略优化方法
CN111222322B (zh) 信息处理方法和电子设备
CN110532565B (zh) 语句处理方法及装置、以及电子设备
US11714855B2 (en) Virtual dialog system performance assessment and enrichment
CN110990554B (zh) 内容处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant