CN110046230A - 生成推荐话术集合的方法、推荐话术的方法和装置 - Google Patents
生成推荐话术集合的方法、推荐话术的方法和装置 Download PDFInfo
- Publication number
- CN110046230A CN110046230A CN201811550825.5A CN201811550825A CN110046230A CN 110046230 A CN110046230 A CN 110046230A CN 201811550825 A CN201811550825 A CN 201811550825A CN 110046230 A CN110046230 A CN 110046230A
- Authority
- CN
- China
- Prior art keywords
- art
- candidate
- words art
- talks
- candidate words
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0281—Customer communication at a business location, e.g. providing product or service information, consulting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Technology Law (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供一种生成推荐话术集合的方法、推荐话术的方法和装置，生成推荐话术集合的方法包括：获取基于语义匹配而聚类得到的相似问题簇，以及相似问题簇对应的候选话术集合；针对候选话术集合中的每个候选话术，构造该候选话术的多维特征；将每个候选话术的多维特征作为预先训练的分类模型的输入，通过预先训练的分类模型的输出得到该候选话术是否为推荐话术，以及该候选话术为推荐话术的概率；根据候选话术集合中的各候选话术为推荐话术的概率，生成相似问题簇对应的推荐话术集合。后续可以基于预先生成的推荐话术集合，向人工客服推荐话术，在互联网金融场景下推荐的话术能够满足人工客服的需求。
Description
技术领域
本说明书一个或多个实施例涉及计算机领域，尤其涉及生成推荐话术集合的方法、推荐话术的方法和装置。
背景技术
随着互联网金融的普及与应用，用户线上求助量越来越大。作为解决用户问题的最后一环，人工客服扮演着很重要的角色。现有的人工客服人员流动较大，且培训上线的成本较高。因此希望在人工客服接到用户问题的时候，系统能够自动弹出相关的业务话术，以辅助人工客服回答用户问题，从而帮助人工客服快速熟悉业务流程，言语显得更加得体。通过向人工客服推荐话术，不仅能帮助经验不足的人工客服快速培养业务技能，还能辅助有经验的人工客服快速回答用户问题，并且还能提升服务效率，增强用户的体验感。
现有的推荐话术的方法中，均不是针对互联网金融场景，应用在该场景下不能满足人工客服的需求。
因此，希望能有改进的方案，在互联网金融场景下推荐的话术能够满足人工客服的需求。
发明内容
本说明书一个或多个实施例描述了一种生成推荐话术集合的方法、推荐话术的方法和装置，在互联网金融场景下推荐的话术能够满足人工客服的需求。
第一方面，提供了一种生成推荐话术集合的方法，方法包括：
获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合；
针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征；
将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率；
根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。
在一种可能的实施方式中，所述获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合，包括：
从历史对话日志中获取多组问答对，每组问答对包括用户问句与该用户问句对应的话术；
对多组问答对中的用户问句进行语义匹配，确定各用户问句匹配的语义节点；
根据各用户问句匹配的语义节点，对各用户问句进行聚类得到相似问题簇，每个相似问题簇中的用户问句对应的话术组成候选话术集合。
进一步地，所述历史对话日志包括：用户与客服机器人的对话记录；和/或，用户与人工客服的对话记录。
在一种可能的实施方式中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第一特征，所述第一特征用于指示该候选话术经过分词处理后能够匹配到预定关键词列表中的业务关键词的分词的数量；
将该候选话术的第一特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
在一种可能的实施方式中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第二特征，所述第二特征用于指示该候选话术是否使用户问句对应的问题得以解决；
将该候选话术的第二特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
在一种可能的实施方式中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第三特征，所述第三特征用于指示该候选话术对应的用户问句基于的业务场景的业务转化情况；
将该候选话术的第三特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
在一种可能的实施方式中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第四特征，所述第四特征用于指示该候选话术所属会话的时长；
将该候选话术的第四特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
在一种可能的实施方式中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第五特征，所述第五特征用于指示该候选话术的语言是否通顺；
将该候选话术的第五特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
在一种可能的实施方式中，所述根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合，包括：
根据所述候选话术集合中的各候选话术为推荐话术的概率，对各候选话术进行排序；
将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合。
进一步地，所述将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合之后，所述方法还包括：
接收指令，并根据所述指令将所述推荐话术集合中的至少一个候选话术从所述推荐话术集合中移除；和/或，将新增人工话术加入所述推荐话术集合。
进一步地，所述方法还包括：
利用所述推荐话术集合中的话术，对所述预先训练的分类模型重新进行训练。
第二方面，提供了一种推荐话术的方法，方法包括：
接收当前用户问句；
将所述当前用户问句定位到相似问题簇；
获取该相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过第一方面所述的方法生成；
展示所述推荐话术集合。
第三方面，提供了一种生成推荐话术集合的装置，装置包括：
获取单元，用于获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合；
构造单元，用于针对所述获取单元获取的候选话术集合中的每个候选话术，构造该候选话术的多维特征；
分类单元，用于将所述构造单元得到的每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率；
生成单元，用于根据所述分类单元得到的所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。
第四方面，提供了一种推荐话术的装置，装置包括：
接收单元，用于接收当前用户问句；
定位单元，用于将所述接收单元接收的当前用户问句定位到相似问题簇；
获取单元，用于获取所述定位单元定位到的相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过第一方面所述的方法生成；
展示单元，用于展示所述获取单元获取的推荐话术集合。
第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
通过本说明书实施例提供的方法和装置，首先获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合，接着针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，然后将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率，最后根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。后续在接收到当前用户问句时，可以先将所述当前用户问句定位到相似问题簇，然后获取该相似问题簇对应的推荐话术集合，最后展示所述推荐话术集合，从而在互联网金融场景下推荐的话术能够满足人工客服的需求。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本说明书披露的一个实施例的实施场景示意图；
图2示出根据一个实施例的生成推荐话术集合的方法流程图；
图3示出根据一个实施例的推荐话术的方法流程图；
图4示出根据一个实施例的生成推荐话术集合的装置的示意性框图；
图5示出根据一个实施例的推荐话术的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
图1为本说明书披露的一个实施例的实施场景示意图。该实施场景涉及互联网金融场景下针对当前用户问句向人工客服推荐话术，其中，话术就是客服在回答用户问题时的一种特定表示，或者说，话术为知识点的一种特定表达方式，优质话术能让用户有良好的体验，并有利于促进业务转化，例如，用户咨询的问题与一款产品有关，在人工客服采用话术进行解答后，用户购买了该款产品，则说明该话术有较大可能为优质话术，可以将该话术作为推荐话术，后续当有用户咨询类似问题时，将该推荐话术推荐给人工客服。
参照图1，若用户提问的用户问句为“我女儿三岁，没有身份证号，可以投保吗？”，在接收到该用户问句后，可以先将该用户问句定位到相似问题簇，然后获取该相似问题簇对应的推荐话术集合，其中所述推荐话术集合为采用特定方式预先生成的，最后再展示所述推荐话术集合。由图1可见，推荐话术集合中包括话术A、话术B和话术C，这多种话术是对应同一知识点的，虽然不同的话术都能够解决用户的问题，但是用户体验不同，产生的效果不同，向人工客服展示推荐话术集合便于人工客服更好的服务用户。
本说明书实施例中，对于推荐话术集合中包括的话术的数目不做限定，可以为1个、2个或3个等。
此外，需要说明的是，上述举例仅为确定推荐话术的一种可能的实现方式，也就是说，本说明书实施例中，不仅可以基于话术对应的业务转化特征来确定该话术是否为推荐话术，还可以基于话术的其他特征来确定该话术是否为推荐话术，在本说明书的后面会做进一步的说明。
图2示出根据一个实施例的生成推荐话术集合的方法流程图，该实施例中生成的推荐话术集合可以用于推荐给人工客服，以使人工客服在回答用户问题时语言更为得体，用户体验更佳。如图2所示，该实施例中生成推荐话术集合的方法包括以下步骤：步骤21，获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合；步骤22，针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征；步骤23，将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率；步骤24，根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。下面描述以上各个步骤的具体执行方式。
首先在步骤21，获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合。可以理解的是，在确定候选话术集合时，可以依据历史对话日志进行，由于用户语言表达的多样性，不同的用户问句可能对应同样的问题，因此可以先对用户问句进行聚类得到相似问题簇，然后再确定每个相似问题簇对应的候选话术集合。
在一个示例中，首先从历史对话日志中获取多组问答对，每组问答对包括用户问句与该用户问句对应的话术，然后对多组问答对中的用户问句进行语义匹配，确定各用户问句匹配的语义节点，再根据各用户问句匹配的语义节点，对各用户问句进行聚类得到相似问题簇，每个相似问题簇中的用户问句对应的话术组成候选话术集合。
其中，所述历史对话日志包括：用户与客服机器人的对话记录；和/或，用户与人工客服的对话记录。
可以理解的是，一方面，对于互联网金融领域，每天通过自助和人工客服解决的问题有千万条。对于自助知识库而言，它是将用户的问题进行语义匹配，对匹配后的结果进行聚类，从而得到一类类相似问题，对于每类相似问题，人工将这类问题配上标准话术。当用户发生自助查询时候，从知识库中搜索语义匹配最近的问题，并返回对应的候选话术，从而得到用户与客服机器人的对话记录。
另一方面，对于人工客服而言，用户的每句问题都会有客服的相应回答，从而得到用户与人工客服的对话记录，因此此类日志中含有大量的可用话术用于挖掘。
本说明书实施例中可以从海量自助对话和人工对话日志中挖掘用户的问题以及对应的话术，组成相应的问题-话术对以及对应的服务质量等指标。同时将所有的问题做语义匹配，得到问题的相似度，根据问题的相似度做聚类，最终形成相似问题簇和对应的候选话术。
本说明书实施例中，对用户问句进行聚类可以使用基于密度的聚类方法，例如，DBSCAN聚类方法、高斯混合模型聚类方法等。
本说明书实施例中，在对用户问句做分类的时候是依据用户问句语义匹配结果做聚类，而不是根据人工规则对用户问句按照某种方式分类，这有效解决了对用户问句进行不同类判断的问题，减少了人工对于分类的干预。
接着在步骤22，针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征。可以理解的是，构造多维特征的目的是为了确定候选话术是否为推荐话术，或者说，构造多维特征的目的是为了确定候选话术是否为优质话术，以便将优质话术推荐给人工客服。
在一个示例中，针对所述候选话术集合中的每个候选话术，确定该候选话术的第一特征，所述第一特征用于指示该候选话术经过分词处理后能够匹配到预定关键词列表中的业务关键词的分词的数量；将该候选话术的第一特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
在一个示例中，针对所述候选话术集合中的每个候选话术，确定该候选话术的第二特征，所述第二特征用于指示该候选话术是否使用户问句对应的问题得以解决；将该候选话术的第二特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
通常地，在包含用户问句的一通会话的最后会有相关的数据表明该用户问句对应的问题是否得以解决。例如，产品端用户通过点击“是否解决您的问题”来确认。
在一个示例中，针对所述候选话术集合中的每个候选话术，确定该候选话术的第三特征，所述第三特征用于指示该候选话术对应的用户问句基于的业务场景的业务转化情况；将该候选话术的第三特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可以理解的是，上述业务转化情况具体可以用于指示是否有商品售出，例如，在售前服务场景下，包含用户问句的一通会话结束后，是否有与用户问句相关的商品售出。
在一个示例中，针对所述候选话术集合中的每个候选话术，确定该候选话术的第四特征，所述第四特征用于指示该候选话术所属会话的时长；将该候选话术的第四特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可以理解的是，客服和用户完整的一通对话称为一个会话(session)，一个会话中可能包含一个问答对，也可能包含多个问答对，会话的时长就是客服和用户总的通话时长。
在一个示例中，针对所述候选话术集合中的每个候选话术，确定该候选话术的第五特征，所述第五特征用于指示该候选话术的语言是否通顺；将该候选话术的第五特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
其中，可以通过预先训练的语言模型来判断候选话术的语言是否通顺。
本说明书实施例中，从候选话术中构造多维特征，上述多维特征可以包括前述第一特征至第五特征中的全部或部分特征。
然后在步骤23，将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率。
其中，上述分类模型可以采用的算法包括随机森林算法、梯度提升树(gradientboosting decision tree，GBDT)算法、支持向量机(support vector machine，SVM)算法或神经网络算法等。
最后在步骤24，根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。可以理解的是，推荐话术集合中可以包括一个推荐话术或多个推荐话术。
在一个示例中，根据所述候选话术集合中的各候选话术为推荐话术的概率，对各候选话术进行排序；将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合。
可选地，接收指令，并根据所述指令将所述推荐话术集合中的至少一个候选话术从所述推荐话术集合中移除；和/或，将新增人工话术加入所述推荐话术集合。
其中，上述指令可以是审核人员发出的指令，人工审核可以对推荐话术集合中的话术进行审核，对于较差的话术进行淘汰，并配上人工话术用于补充。
可选地，利用所述推荐话术集合中的话术，对所述预先训练的分类模型重新进行训练。
其中，对于人工审核后的结果重新输入给分类模型，用于重新训练分类模型，以不断增强分类模型的选择效果，减少人工审核过程中返工的情况。
此外，对于人工审核后的同类问题和对应的话术选入知识库中，用于后续对用户问题的匹配和话术推荐。
通过本说明书实施例提供的方法，首先获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合，接着针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，然后将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率，最后根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合，能够使确定出的推荐话术更容易满足人工客服的需求。
图3示出根据一个实施例的推荐话术的方法流程图，该实施例基于的场景可以为线上接收到当前用户问句时，向人工客服推荐话术。如图3所示，该实施例中推荐话术的方法包括以下步骤：步骤31，接收当前用户问句；步骤32，将所述当前用户问句定位到相似问题簇；步骤33，获取该相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过图2所述的方法生成；步骤34，展示所述推荐话术集合。下面描述以上各个步骤的具体执行方式。
首先在步骤31，接收当前用户问句。其中，当前用户问句可以是长句，也可以是短句，可以包含各种口语化的表达。
接着在步骤32，将所述当前用户问句定位到相似问题簇。其中，可以基于语义匹配而聚类的方式将所述当前用户问句定位到相似问题簇。
然后在步骤33，获取该相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过图2所述的方法生成。
其中，系统中预先存储着相似问题簇与推荐话术集合的对应关系，通过步骤32将所述当前用户问句定位到相似问题簇后，就可以通过上述对应关系找到推荐话术集合。
所述推荐话术集合通过图2所述的方法预先生成，在此不做赘述。
最后在步骤34，展示所述推荐话术集合。
本说明书实施例中，展示所述推荐话术集合的目的是为了给人工客服做参考，展示的方式可以但不限于为文字显示或语音播报等。
通过本说明书实施例提供的方法，在接收到当前用户问句时，可以先将所述当前用户问句定位到相似问题簇，然后获取该相似问题簇对应的推荐话术集合，最后展示所述推荐话术集合，从而在互联网金融场景下推荐的话术能够满足人工客服的需求。
根据另一方面的实施例，还提供一种生成推荐话术集合的装置。图4示出根据一个实施例的生成推荐话术集合的装置的示意性框图。如图4所示，该装置400包括：
获取单元41，用于获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合；
构造单元42，用于针对所述获取单元41获取的候选话术集合中的每个候选话术，构造该候选话术的多维特征；
分类单元43，用于将所述构造单元42得到的每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率；
生成单元44，用于根据所述分类单元43得到的所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。
可选地，作为一个实施例，所述获取单元41，具体用于：
从历史对话日志中获取多组问答对，每组问答对包括用户问句与该用户问句对应的话术；
对多组问答对中的用户问句进行语义匹配，确定各用户问句匹配的语义节点；
根据各用户问句匹配的语义节点，对各用户问句进行聚类得到相似问题簇，每个相似问题簇中的用户问句对应的话术组成候选话术集合。
进一步地，所述历史对话日志包括：用户与客服机器人的对话记录；和/或，用户与人工客服的对话记录。
可选地，作为一个实施例，所述构造单元42，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第一特征，所述第一特征用于指示该候选话术经过分词处理后能够匹配到预定关键词列表中的业务关键词的分词的数量；
将该候选话术的第一特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可选地，作为一个实施例，所述构造单元42，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第二特征，所述第二特征用于指示该候选话术是否使用户问句对应的问题得以解决；
将该候选话术的第二特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可选地，作为一个实施例，所述构造单元42，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第三特征，所述第三特征用于指示该候选话术对应的用户问句基于的业务场景的业务转化情况；
将该候选话术的第三特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可选地，作为一个实施例，所述构造单元42，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第四特征，所述第四特征用于指示该候选话术所属会话的时长；
将该候选话术的第四特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可选地，作为一个实施例，所述构造单元42，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第五特征，所述第五特征用于指示该候选话术的语言是否通顺；
将该候选话术的第五特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
可选地，作为一个实施例，所述生成单元44，具体用于：
根据所述候选话术集合中的各候选话术为推荐话术的概率，对各候选话术进行排序；
将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合。
进一步地，所述装置还包括：
审核单元，用于在所述生成单元将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合之后，接收指令，并根据所述指令将所述推荐话术集合中的至少一个候选话术从所述推荐话术集合中移除；和/或，将新增人工话术加入所述推荐话术集合。
进一步地，所述装置还包括：
训练单元，用于利用所述审核单元得到的推荐话术集合中的话术，对所述预先训练的分类模型重新进行训练。
通过本说明书实施例提供的装置，首先由获取单元41获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合，接着由构造单元42针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，然后由分类单元43将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率，最后由生成单元44根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合，能够使确定出的推荐话术更容易满足人工客服的需求。
根据另一方面的实施例，还提供一种推荐话术的装置。图5示出根据一个实施例的推荐话术的装置的示意性框图。如图5所示，该装置500包括：
接收单元51，用于接收当前用户问句；
定位单元52，用于将所述接收单元51接收的当前用户问句定位到相似问题簇；
获取单元53，用于获取所述定位单元52定位到的相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过图2所述的方法生成；
展示单元54，用于展示所述获取单元53获取的推荐话术集合。
通过本说明书实施例提供的装置，在接收单元51接收到当前用户问句时，可以先由定位单元52将所述当前用户问句定位到相似问题簇，然后由获取单元53获取该相似问题簇对应的推荐话术集合，最后由展示单元54展示所述推荐话术集合，从而在互联网金融场景下推荐的话术能够满足人工客服的需求。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图3所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图3所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (26)
1.一种生成推荐话术集合的方法，所述方法包括：
获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合；
针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征；
将每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率；
根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。
2.如权利要求1所述的方法，其中，所述获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合，包括：
从历史对话日志中获取多组问答对，每组问答对包括用户问句与该用户问句对应的话术；
对多组问答对中的用户问句进行语义匹配，确定各用户问句匹配的语义节点；
根据各用户问句匹配的语义节点，对各用户问句进行聚类得到相似问题簇，每个相似问题簇中的用户问句对应的话术组成候选话术集合。
3.如权利要求2所述的方法，其中，所述历史对话日志包括：用户与客服机器人的对话记录；和/或，用户与人工客服的对话记录。
4.如权利要求1所述的方法，其中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第一特征，所述第一特征用于指示该候选话术经过分词处理后能够匹配到预定关键词列表中的业务关键词的分词的数量；
将该候选话术的第一特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
5.如权利要求1所述的方法，其中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第二特征，所述第二特征用于指示该候选话术是否使用户问句对应的问题得以解决；
将该候选话术的第二特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
6.如权利要求1所述的方法，其中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第三特征，所述第三特征用于指示该候选话术对应的用户问句基于的业务场景的业务转化情况；
将该候选话术的第三特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
7.如权利要求1所述的方法，其中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第四特征，所述第四特征用于指示该候选话术所属会话的时长；
将该候选话术的第四特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
8.如权利要求1所述的方法，其中，所述针对所述候选话术集合中的每个候选话术，构造该候选话术的多维特征，包括：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第五特征，所述第五特征用于指示该候选话术的语言是否通顺；
将该候选话术的第五特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
9.如权利要求1所述的方法，其中，所述根据所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合，包括：
根据所述候选话术集合中的各候选话术为推荐话术的概率，对各候选话术进行排序；
将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合。
10.如权利要求9所述的方法，其中，所述将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合之后，所述方法还包括：
接收指令，并根据所述指令将所述推荐话术集合中的至少一个候选话术从所述推荐话术集合中移除；和/或，将新增人工话术加入所述推荐话术集合。
11.如权利要求10所述的方法，其中，所述方法还包括：
利用所述推荐话术集合中的话术，对所述预先训练的分类模型重新进行训练。
12.一种推荐话术的方法，所述方法包括：
接收当前用户问句；
将所述当前用户问句定位到相似问题簇；
获取该相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过权利要求1所述的方法生成；
展示所述推荐话术集合。
13.一种生成推荐话术集合的装置，所述装置包括：
获取单元，用于获取基于语义匹配而聚类得到的相似问题簇，以及所述相似问题簇对应的候选话术集合；
构造单元，用于针对所述获取单元获取的候选话术集合中的每个候选话术，构造该候选话术的多维特征；
分类单元，用于将所述构造单元得到的每个候选话术的多维特征作为预先训练的分类模型的输入，通过所述预先训练的分类模型的输出得到该候选话术为推荐话术的概率；
生成单元，用于根据所述分类单元得到的所述候选话术集合中的各候选话术为推荐话术的概率，生成所述相似问题簇对应的推荐话术集合。
14.如权利要求13所述的装置，其中，所述获取单元，具体用于：
从历史对话日志中获取多组问答对，每组问答对包括用户问句与该用户问句对应的话术；
对多组问答对中的用户问句进行语义匹配，确定各用户问句匹配的语义节点；
根据各用户问句匹配的语义节点，对各用户问句进行聚类得到相似问题簇，每个相似问题簇中的用户问句对应的话术组成候选话术集合。
15.如权利要求14所述的装置，其中，所述历史对话日志包括：用户与客服机器人的对话记录；和/或，用户与人工客服的对话记录。
16.如权利要求13所述的装置，其中，所述构造单元，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第一特征，所述第一特征用于指示该候选话术经过分词处理后能够匹配到预定关键词列表中的业务关键词的分词的数量；
将该候选话术的第一特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
17.如权利要求13所述的装置，其中，所述构造单元，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第二特征，所述第二特征用于指示该候选话术是否使用户问句对应的问题得以解决；
将该候选话术的第二特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
18.如权利要求13所述的装置，其中，所述构造单元，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第三特征，所述第三特征用于指示该候选话术对应的用户问句基于的业务场景的业务转化情况；
将该候选话术的第三特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
19.如权利要求13所述的装置，其中，所述构造单元，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第四特征，所述第四特征用于指示该候选话术所属会话的时长；
将该候选话术的第四特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
20.如权利要求13所述的装置，其中，所述构造单元，具体用于：
针对所述候选话术集合中的每个候选话术，确定该候选话术的第五特征，所述第五特征用于指示该候选话术的语言是否通顺；
将该候选话术的第五特征作为所述多维特征中的一部分，构造该候选话术的多维特征。
21.如权利要求13所述的装置，其中，所述生成单元，具体用于：
根据所述候选话术集合中的各候选话术为推荐话术的概率，对各候选话术进行排序；
将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合。
22.如权利要求21所述的装置，其中，所述装置还包括：
审核单元，用于在所述生成单元将排序在前预设数目个候选话术加入所述相似问题簇对应的推荐话术集合之后，接收指令，并根据所述指令将所述推荐话术集合中的至少一个候选话术从所述推荐话术集合中移除；和/或，将新增人工话术加入所述推荐话术集合。
23.如权利要求22所述的装置，其中，所述装置还包括：
训练单元，用于利用所述审核单元得到的推荐话术集合中的话术，对所述预先训练的分类模型重新进行训练。
24.一种推荐话术的装置，所述装置包括：
接收单元，用于接收当前用户问句；
定位单元，用于将所述接收单元接收的当前用户问句定位到相似问题簇；
获取单元，用于获取所述定位单元定位到的相似问题簇对应的推荐话术集合，其中所述推荐话术集合通过权利要求1所述的方法生成；
展示单元，用于展示所述获取单元获取的推荐话术集合。
25.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。
26.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项的所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550825.5A CN110046230B (zh) | 2018-12-18 | 2018-12-18 | 生成推荐话术集合的方法、推荐话术的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811550825.5A CN110046230B (zh) | 2018-12-18 | 2018-12-18 | 生成推荐话术集合的方法、推荐话术的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110046230A true CN110046230A (zh) | 2019-07-23 |
| CN110046230B CN110046230B (zh) | 2023-06-23 |
Family
ID=67273852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811550825.5A Active CN110046230B (zh) | 2018-12-18 | 2018-12-18 | 生成推荐话术集合的方法、推荐话术的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110046230B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472017A (zh) * | 2019-08-21 | 2019-11-19 | 佰聆数据股份有限公司 | 一种话术分析和话题点识别匹配的方法及系统 |
| CN111339278A (zh) * | 2020-02-28 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 训练话术生成模型、生成应答话术的方法和装置 |
| CN111353028A (zh) * | 2020-02-20 | 2020-06-30 | 支付宝(杭州)信息技术有限公司 | 用于确定客服话术簇的方法及装置 |
| CN111552794A (zh) * | 2020-05-13 | 2020-08-18 | 海信电子科技(武汉)有限公司 | 提示语生成方法、装置、设备和存储介质 |
| CN111710338A (zh) * | 2020-06-28 | 2020-09-25 | 上海优扬新媒信息技术有限公司 | 一种话术播放方法及装置 |
| CN112541360A (zh) * | 2020-12-07 | 2021-03-23 | 国泰君安证券股份有限公司 | 利用超参自适用dbscan聚类的跨平台异常识别转译方法、装置、处理器及存储介质 |
| CN113314122A (zh) * | 2020-02-27 | 2021-08-27 | 北京有限元科技有限公司 | 利用单个语音机器人确定最优话术的方法、装置及介质 |
| CN113609369A (zh) * | 2021-08-04 | 2021-11-05 | 北京沃东天骏信息技术有限公司 | 信息推荐方法、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124064A1 (en) * | 2014-05-22 | 2017-05-04 | Huawei Technologies Co., Ltd. | Reply information recommendation method and apparatus |
| CN106844530A (zh) * | 2016-12-29 | 2017-06-13 | 北京奇虎科技有限公司 | 一种问答对分类模型的训练方法和装置 |
| CN107451199A (zh) * | 2017-07-05 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 问题推荐方法及装置、设备 |
-
2018
- 2018-12-18 CN CN201811550825.5A patent/CN110046230B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170124064A1 (en) * | 2014-05-22 | 2017-05-04 | Huawei Technologies Co., Ltd. | Reply information recommendation method and apparatus |
| CN106844530A (zh) * | 2016-12-29 | 2017-06-13 | 北京奇虎科技有限公司 | 一种问答对分类模型的训练方法和装置 |
| CN107451199A (zh) * | 2017-07-05 | 2017-12-08 | 阿里巴巴集团控股有限公司 | 问题推荐方法及装置、设备 |
Non-Patent Citations (2)
| Title |
|---|
| DR. SARIKA JAIN 等: "Trends, Problems And Solutions of", 《 INTERNATIONAL CONFERENCE ON COMPUTING, COMMUNICATION & AUTOMATION》 * |
| 张向先 等: "社会化问答社区用户知识需求及其动态演化研究", 《情报理论与实践》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472017A (zh) * | 2019-08-21 | 2019-11-19 | 佰聆数据股份有限公司 | 一种话术分析和话题点识别匹配的方法及系统 |
| CN111353028A (zh) * | 2020-02-20 | 2020-06-30 | 支付宝(杭州)信息技术有限公司 | 用于确定客服话术簇的方法及装置 |
| CN111353028B (zh) * | 2020-02-20 | 2023-04-18 | 支付宝(杭州)信息技术有限公司 | 用于确定客服话术簇的方法及装置 |
| CN113314122A (zh) * | 2020-02-27 | 2021-08-27 | 北京有限元科技有限公司 | 利用单个语音机器人确定最优话术的方法、装置及介质 |
| CN113314122B (zh) * | 2020-02-27 | 2023-01-17 | 北京有限元科技有限公司 | 利用单个语音机器人确定最优话术的方法、装置及介质 |
| CN111339278A (zh) * | 2020-02-28 | 2020-06-26 | 支付宝(杭州)信息技术有限公司 | 训练话术生成模型、生成应答话术的方法和装置 |
| CN111552794A (zh) * | 2020-05-13 | 2020-08-18 | 海信电子科技(武汉)有限公司 | 提示语生成方法、装置、设备和存储介质 |
| CN111552794B (zh) * | 2020-05-13 | 2023-09-19 | 海信电子科技(武汉)有限公司 | 提示语生成方法、装置、设备和存储介质 |
| CN111710338A (zh) * | 2020-06-28 | 2020-09-25 | 上海优扬新媒信息技术有限公司 | 一种话术播放方法及装置 |
| CN111710338B (zh) * | 2020-06-28 | 2023-07-25 | 度小满科技(北京)有限公司 | 一种话术播放方法及装置 |
| CN112541360A (zh) * | 2020-12-07 | 2021-03-23 | 国泰君安证券股份有限公司 | 利用超参自适用dbscan聚类的跨平台异常识别转译方法、装置、处理器及存储介质 |
| CN113609369A (zh) * | 2021-08-04 | 2021-11-05 | 北京沃东天骏信息技术有限公司 | 信息推荐方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110046230B (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110046230A (zh) | 生成推荐话术集合的方法、推荐话术的方法和装置 | |
| US12125045B2 (en) | Multi-client service system platform | |
| US11775494B2 (en) | Multi-service business platform system having entity resolution systems and methods | |
| CN110008322B (zh) | 多轮对话场景下的话术推荐方法和装置 | |
| US20220391773A1 (en) | Method and system for artificial intelligence learning using messaging service and method and system for relaying answer using artificial intelligence | |
| WO2022095380A1 (zh) | 基于ai的虚拟交互模型生成方法、装置、计算机设备及存储介质 | |
| US9495350B2 (en) | System and method for determining expertise through speech analytics | |
| WO2021104385A1 (zh) | 一种在线数据采集的方法及系统 | |
| CN110008399A (zh) | 一种推荐模型的训练方法及装置、一种推荐方法及装置 | |
| CN103970791B (zh) | 一种从视频库推荐视频的方法、装置 | |
| CN112699645B (zh) | 语料标注方法、装置及设备 | |
| US10255346B2 (en) | Tagging relations with N-best | |
| CN109408800A (zh) | 对话机器人系统及相关技能配置方法 | |
| CN109460503B (zh) | 答案输入方法、装置、存储介质及电子设备 | |
| CN109325780A (zh) | 一种面向电子政务领域的智能客服系统的交互方法 | |
| CN113076423A (zh) | 数据处理方法及装置、数据查询方法及装置 | |
| Windiatmoko et al. | Developing FB chatbot based on deep learning using RASA framework for university enquiries | |
| CN109739969A (zh) | 答案生成方法和智能会话系统 | |
| Sabharwal et al. | Developing Cognitive Bots Using the IBM Watson Engine: Practical, Hands-on Guide to Developing Complex Cognitive Bots Using the IBM Watson Platform | |
| US20220129628A1 (en) | Artificial intelligence system for business processes | |
| US12045780B2 (en) | Online interview method and system | |
| CN115757718A (zh) | 文本生成方法及装置 | |
| Tran et al. | Sentiment classification for beauty-fashion reviews | |
| Al-Madi et al. | An inquiry smart chatbot system for Al-Zaytoonah University of Jordan | |
| CN110232115A (zh) | 问题处理方法、设备、装置和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201013 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Innovative advanced technology Co.,Ltd. Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant before: Advanced innovation technology Co.,Ltd. Effective date of registration: 20201013 Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Applicant after: Advanced innovation technology Co.,Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |