CN114386426A - 一种基于多元语义融合的金牌话术推荐方法及装置 - Google Patents

一种基于多元语义融合的金牌话术推荐方法及装置 Download PDF

Info

Publication number
CN114386426A
CN114386426A CN202111438864.8A CN202111438864A CN114386426A CN 114386426 A CN114386426 A CN 114386426A CN 202111438864 A CN202111438864 A CN 202111438864A CN 114386426 A CN114386426 A CN 114386426A
Authority
CN
China
Prior art keywords
semantic
coding
word
representation
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111438864.8A
Other languages
English (en)
Other versions
CN114386426B (zh
Inventor
刘杰
骆红梅
陈少维
赵鹏
李文超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ronglian Yitong Information Technology Co ltd
Original Assignee
Beijing Ronglian Yitong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ronglian Yitong Information Technology Co ltd filed Critical Beijing Ronglian Yitong Information Technology Co ltd
Priority to CN202111438864.8A priority Critical patent/CN114386426B/zh
Publication of CN114386426A publication Critical patent/CN114386426A/zh
Application granted granted Critical
Publication of CN114386426B publication Critical patent/CN114386426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供了一种基于多元语义融合的金牌话术推荐方法及装置，该方法包括：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作；基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，并获取对应的语义表示；对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果。本发明设计了基于双向长短期记忆网络的层次语义编码机制，通过词级别编码和句子级别编码来有效捕捉历史对话的语义，通过将其融合到后续的话术推荐过程来提升话术推荐的准确性。基于该方法，本发明还提供了一种基于多元语义融合的金牌话术推荐装置。

Description

一种基于多元语义融合的金牌话术推荐方法及装置
技术领域
本发明涉及人工智能、自然语言处理技术领域，特别涉及一种基于多元语义融合的金牌话术推荐方法及装置。
背景技术
目前，随着自然语言处理技术的不断发展，各行业、企业逐渐开始关注对话数据的内在价值。其中，电话营销是对话数据产生的一个重要场景，成功的营销对话应该使电话双方都能体会到电话营销的价值，并有效提升客户的转化率和留存率。通过观察相关案例可以发现，成功的营销对话通常是由经验丰富的销售精英产生的，他们经受过专业训练并且拥有丰富的实战经验，除了具有高效的理解能力、沟通能力、表达能力外，还有极强的耐心和心理素质。考虑到多数销售员工难以在短期内成长为销售精英，因此基于现有的金牌话术库实现自动化的对话推荐，进而辅助新员工进行电话销售，提升营销成功率，正逐渐成为当前热门的研究任务。
为解决这一任务，传统的研究大多采用匹配的方法从标准对话库里选择推荐的话术，匹配的方法通常选择基于规则、基于语义相似度等方法。由于这类方法仅对当前轮次输入的用户问题进行语义解析，并基于该语义从标准知识库中搜寻答案进行回复，因此推荐的对话比较单一。
为提升话术推荐的效果，近年来的相关研究主要可以分为四类，包括基于图神经网络技术的话术推荐方法、基于抵抗策略的话术推荐方法，基于情绪变化率的话术推荐方法，以及基于语义识别的话术推荐方法。
具体地，基于图神经网络技术的话术推荐方法将对话的话语作为图中的节点，并将话语之间的关系作为边，通过利用图神经网络进行编码，可以有效考虑了会话序列项之间的复杂结构和转换，以更好地预测用户的下一步行为。然而，这类方法难以对实时产生的对话数据进行图结构的构建，可扩展性较差。
基于抵抗策略的话术推荐方法主要包括DIALOGRAPH模型和RESPER模型。其中DIALOGRAPH模型将可解释的策略图网络纳入协商对话，显著提高策略间的依赖性，并且提高策略选择的准确性和可解释性。而RESPER模型提出了一个以认知心理学为基础的框架，设计了一个层次序列模型，可以根据文本自动识别抵抗策略。虽然这类方法增加了对话推荐的可解释性，但是加入抵抗策略结构本身是比较复杂和困难的，需要依赖心理学和社会学的专业知识和一套完整严谨的数据标注的流程设计。
对基于情绪变化率的话术推荐方法，宋雨等人发明的一项专利里提到其能提供一种话术推荐方法、装置、电子设备及存储介质，能够基于客户进线时的输入信息和当前的输入信息来识别客户情绪变化率。由于客户情绪变化率能够反映客服当前的输入信息对于客户情绪的影响，因此一旦情绪变化率满足对应的阈值，即可以认定客服当前的输入信息可以显著提升客户情绪，从而获得客服的推荐话术。这类方法能够有效挖掘会话语料中能够提升客户情绪的客服话术，从而提升客服的专业技能，保证经营效能。但这类方法依赖于预先训练好的情绪预测模型，该情绪预测模型的输入包含语音信息，而基于已有的技术提取其语音特征和将该语音信息转换为相应的文本信息会存在很多不可避免的错误。
对于基于语义识别的话术推荐方法，南海顺发明的一项专利里公开了一种基于语义识别的话术推荐方法、装置、设备及存储介质。该方法通过对训练语料进行语义识别，并对训练语料进行分类，得到正样本和负样本，对正样本和负样本进行随机组合，得到训练样本集，通过训练样本集对预设的初始意图识别模型进行训练得到通话意图模型，通过将当前通话的通话内容导入通话意图模型，输出通话意图，最后将通话意图导入到预先训练好的话术推荐模型，得到与通话意图相匹配的目标话术。这类方法虽然能通过识别客户意图以获得有效标签，并推荐与有效标签相对应的答复内容来提高用户体验，但是这种识别出对话意图然后匹配目标话术的方法相较于传统方法的准确性提升有限。
虽然以上方法都有突出的地方，但是应用于对话推荐场景也都有一定的不足。特别地，这些方法忽略了客户画像、历史对话数据等重要信息，因此限制了话术推荐的准确性，进而难以有效实现话术智能导航、促进成单等效果。
发明内容
本发明提供一种基于多元语义融合的金牌话术推荐方法及装置，用以解决现有话术推荐方法忽略了客户画像、历史对话数据等重要信息，因此限制了话术推荐的准确性，进而难以有效实现话术智能导航、促进成单等效果的问题。
本发明提供一种基于多元语义融合的金牌话术推荐方法，包括：
步骤1：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作；
步骤2：基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，并获取对应的语义表示；
步骤3：对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果。
优选的，所述的一种基于多元语义融合的金牌话术推荐方法，所述步骤1：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作，包括：
基于预设分词工具包，将历史对话、当前轮次的用户问题、以及用户属性作为输入文本并进行分词处理，得到对应的词序列；
采用预训练的词向量对所述词序列中每个词的嵌入表示进行初始化。
优选的，所述的一种基于多元语义融合的金牌话术推荐方法，所述步骤2：基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，包括：
基于层次语义编码机制对所述对话的词嵌入序列进行处理，得到历史对话以及当前话语对应的隐藏语义表示，生成对话语义编码；
基于用户属性编码机制对所述用户属性的词嵌入序列进行处理，得到用户属性信息的隐藏语义表示，生成用户属性语义编码。
优选的，所述的一种基于多元语义融合的金牌话术推荐方法，所述基于用户属性编码机制对所述用户属性语义进行处理，包括：
获取与用户属性对应的词嵌入序列，采用平均池化的方式得到每条用户属性的表示；
将所有用户属性的表示进行拼接，并输入由前馈神经网络构建的用户属性编码机制，输出融合全部用户属性的隐藏语义表示。
优选的，所述的一种基于多元语义融合的金牌话术推荐方法，所述步骤3：对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果，包括：
将历史对话隐藏表示和当前话语隐藏表示、以及用户属性的隐藏表示进行拼接，然后采用前馈神经网络层进行语义融合，生成多元语义表示；
将融合后的多元语义表示与金牌话术库中每条现存话术的语义表示进行余弦相似度的计算，并对相似度进行归一化，得到每条话术对应的推荐概率；
基于计算的推荐概率，选取最大的概率值对应的金牌话术作为推荐结果。
优选的，所述的一种基于多元语义融合的金牌话术推荐方法，所述基于层次语义编码机制对所述对话语义进行处理，包括：
基于双向长短期记忆网络构建词级别编码器，输入得到的每条历史对话的词嵌入表示序列和当前轮次用户问题对应的词嵌入表示序列，为每条语句单独进行词级别的上下文语义编码，并将前向编码和后向编码对应的最后一个隐藏表示拼接，作为语句的隐藏表示；
基于双向长短期记忆网络构建句子级别编码器，输入得到的每条历史话语和当前用户问题对应的语句隐藏向量表示，进行句子级别的上下文语义编码，并将句子级别前向编码和后向编码对应的最后一个隐藏表示拼接，作为历史对话的整体语义表示；
其中，层次语义编码机制是由词级别编码器和句子级别编码器构建成的。
优选的，所述的一种基于多元语义融合的金牌话术推荐方法，得到话术的推荐结果之后，还包括：
实时获取所述步骤1、步骤2与步骤3处理过程中的参数信息；
基于所述参数信息，构建相应均方误差损失函数；
根据所述均方误差损失函数，对所述参数信息进行参数优化，得到优化信息，并将所述优化信息对原始参数信息进行替换，生成优化参数。
优选的，所述的一种基于多元语义融合的金牌话术推荐装置，包括：
前台会话获取进程，用于在客服对话过程中，实时获取当前对话轮次的用户问题、历史轮次的对话数据以及用户属性信息，并将获取的数据传输给后台金牌话术推荐进程，发送话术推荐方法的调用请求。
前台可视化进程，用于接收后台金牌话术推荐进程发送的推荐结果，并将结果显示在前台的可视化页面中，为客服人员提供话术参考。
后台金牌话术推荐进程，接收前台会话获取进程发送的用户问题、历史会话数据和用户属性信息，根据权利要求1-7所述方法对这些信息进行语义编码与语义融合，并将融合后的语义表示与金牌话术库中每条话术的语义表示进行匹配，计算每条话术对应的推荐概率，筛选概率最高的话术作为推荐结果，发送给前台可视化进程。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于多元语义融合的金牌话术推荐方法流程图；
图2为本发明又一实施例中一种基于多元语义融合的金牌话术推荐方法整体系统结构示意图；
图3为本发明又一实施例中一种基于多元语义融合的金牌话术推荐方法流程图；
图4为本发明又一实施例中一种基于多元语义融合的金牌话术推荐方法的模型细节示意图；
图5为本发明又一实施例中一种基于多元语义融合的金牌话术推荐方法流程图；
图6为本发明又一实施例中一种基于多元语义融合的金牌话术推荐装置的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
下面参考图1至图6来描述本发明实施例提出的一种基于多元语义融合的金牌话术推荐方法及装置。
实施例1：
如图1和图2所示，本发明提供一种基于多元语义融合的金牌话术推荐方法，包括：
步骤1：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作；
步骤2：基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，并获取对应的语义表示；
步骤3：对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果。
该实施例中，历史对话为历史问题与相应回答记录；用户属性为根据用户职业、用户年龄、用户性别、用户肖像等信息生成的；分词为将一整段话分为多个词组；词向量初始化操作为基于预设的维度获取词向量维度；
上述方案的有益效果：本发明首先将多元语义编码模块得到的对话历史、用户属性、当前用户问题共三个部分的语义表示进行融合，随后将融合后的语义与现有金牌话术库中的每条话术的语义进行相似度计算，并基于此计算每条话术的推荐概率，并选择概率最高的话术作为推荐结果，可有效增强话术推荐的个性化程度，进而提升用户的满意度和成单率。
实施例2：
基于实施例1的基础上，所述步骤1：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作，包括：
基于预设分词工具包，将历史对话、当前轮次的用户问题、以及用户属性作为输入文本并进行分词处理，得到对应的词序列；
采用预训练的词向量对所述词序列中每个词的嵌入表示进行初始化。
该实施例中，输入历史对话S＝{s1,s2,…,st-1}，其中si表示第i轮话语。本步骤分别对每轮话语进行分词操作，得到对应的词序列
Figure BDA0003374870260000071
其中|si|表示当前话语的长度。
输入当前用户问题st，得到其对应的词序列
Figure BDA0003374870260000072
输入用户属性信息，包括年龄xage，性别xsex，职业xjob等，对属性信息的具体内容进行分词，得到词序列：
Figure BDA0003374870260000073
例如，给定话语si“我现在没有钱。”，经过分词处理，可以得到词序列{"我","现在","没有","钱","。"}。
给定职业属性“自由撰稿人”，经过分词处理，可以得到此序列{"自由","撰稿人"}
该实施例中，词序列为对输入文本分词处理后得到的各个词组的序列；初始化为算机编程领域中为数据对象或变量赋初值的做法；
该实施例中，进行初始化，具体为：输入话语的词序列
Figure BDA0003374870260000081
或用户属性序列x，通过查表法，得到每个词对应的初始嵌入表示
Figure BDA0003374870260000082
其中d表示词嵌入向量的维度，预训练的词向量采用word2vec进行训练。
例如，对于话语词序列中的第一个词“我”，得到其对应的初始词嵌入表示可为
Figure BDA0003374870260000083
上述方案的有益效果：本发明可对历史对话、当前轮次的用户问题、以及用户属性进行分词处理，获取词序列，便于关键语义的捕捉，提升语义获取速度。
实施例3：
基于实施例1的基础上，如图3和图4所示，所述步骤2：基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，包括：
基于层次语义编码机制对所述对话的词嵌入序列进行处理，得到历史对话以及当前话语对应的隐藏语义表示，生成对话语义编码；
基于用户属性编码机制对所述用户属性的词嵌入序列进行处理，得到用户属性信息的隐藏语义表示，生成用户属性语义编码。
该实施例中，对话语义为对话文本中词嵌入序列的语义；用户属性语义为表达用户属性的词嵌入序列所对应的语义。
上述方案的有益效果：本发明可根据对初始化结果进行划分，分别得到对话语义与用户属性语义，并基于不同编码机制对不用语义进行处理，可以准确地获取不同类型语义的隐藏语义，具有很强的实用性。
实施例4：
基于实施例3的基础上，基于用户属性编码机制对所述用户属性语义进行处理，包括：
获取与用户属性对应的词嵌入序列，采用平均池化的方式得到每条用户属性的表示；
将所有用户属性的表示进行拼接，并输入由前馈神经网络构建的用户属性编码机制，输出融合全部用户属性的隐藏语义表示。
该实施例中，基于得到的用户属性信息的词嵌入表示集合，如年龄属性的词嵌入表示
Figure BDA0003374870260000091
选用平均池化的方式得到每条属性的向量表示，即
Figure BDA0003374870260000092
同理，可得所有属性的向量集合E＝{eage,esex,ejob,…}。
例如：用户信息包括(年龄：27岁，职业：自由撰稿人)，经过平均池化可得eage＝[0.52,-0.18,…,-0.59]，ejob＝[0.13,0.29,…,0.56]；
输入所有属性向量串联后的向量e＝[eage；esex；ejob；…]，使用前馈神经网络进行特征融合：
z(i+1)＝u(i+1)ei+b(i+1)
e(i+1)＝f(z(i+1))
其中，i＝0,1,…,l-1为神经网络的层数，f为激活函数，ui+1和bi+1为模型参数。第一层输入是e＝[eage；esex；ejob；…]，最终的输出用户属性的语义表示为sp＝f(zl)。
例如：用户信息包括(年龄：27岁，职业：自由撰稿人)，将平均池化后的向量表示进行串联得到e＝[0.52,-0.18,…,-0.59,0.13,0.29,…,0.56]，将其输入前馈神经网络，可得到用户属性的语义表示sp＝[0.33,0.21,…,0.92]。
该实施例中，平均池化为对邻域内的特征点求平均的方法；前馈神经网络是一种最简单的神经网络，各神经元分层排列，每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层；
上述方案的有益效果：本发明可获取与用户属性对应的词嵌入序列，采用平均池化的方式得到每条用户属性的表示，采用平均池化的方式，可以根据平均特征获取用户属性的表示，是结果更加准确，将所有用户属性的表示进行拼接，并输入由前馈神经网络构建的用户属性编码机制，输出融合全部用户属性的隐藏语义表示，可以获取用户属性的隐藏语义，从而提升成单率。
实施例5：
基于实施例1的基础上，如图5所示，所述步骤3：对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果，包括：
将历史对话隐藏表示和当前话语隐藏表示、以及用户属性的隐藏表示进行拼接，然后采用前馈神经网络层进行语义融合，生成多元语义表示；
将融合后的多元语义表示与金牌话术库中每条现存话术的语义表示进行余弦相似度的计算，并对相似度进行归一化，得到每条话术对应的推荐概率；
基于计算的推荐概率，选取最大的概率值对应的金牌话术作为推荐结果。
从上述步骤已经获取到了历史对话的语义表示sh、用户属性的语义表示sp以及当前话术的语义表示sc。将sp、sh、sc串联作为该部分模型的输入即s＝[sc；sh；sp]。然后采用前馈神经网络层(FFN)进行语义融合，具体公式如步骤3.2)中所示，最终得到的融合后的语义表示为h＝f(zn)。
例如，将历史对话的语义表示sh＝[0.92,0.23,…,0.67]，用户属性的语义表示sp＝[0.33,0.21,…,0.92]，以及当前用户问题的语义表示sc＝[0.53,-0.01,…,0.22]进行串联，可得到本步骤的输入s＝[0.92,0.23,…,0.67,0.33,0.21,…,0.92,0.53,-0.01,…,0.22]。经过前馈神经网络后，得到融合后的语义表示h＝[0.34,0.12,…,0.89]；
将得到的融合后的多元语义表示h与现存话术库中每条话术的语义表示di进行余弦相似度的计算，并采用softmax对相似度进行归一化，得到每条话术对应的推荐概率。
具体地，首先计算融合后的多元语义表示与现存话术库中每条话术的语义表示的相似度。
给定两个语义表示
Figure BDA0003374870260000111
余弦相似度计算公式为：
Figure BDA0003374870260000112
例如：给定多元语义表示h＝[0.34,0.12,…,0.89]，以及话术库中的第i条话术对应的语义表示di＝[-0.54,0.11,…,0.27]，那么计算的余弦相似度为cos(h,di)＝0.24。
随后，利用softmax层对得到的相似度集合进行归一化，得到每条金牌话术被推荐的概率值；
例如：经过softmax层计算后可得到概率值集合为{0.01,0.03,0.75,…,0.10}；
若得到的概率值集合为{0.01,0.03,0.75,…,0.10}，则本步骤选取第三个话术进行推荐(概率值为0.75)。
该实施例中，归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量；余弦相似度计算为用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小；
上述方案的有益效果：本发明可通过余弦相似度的计算，并采用对相似度进行归一化，得到每条话术对应的推荐概率，概率越大，表明此话术越适用，通过推荐概率，选择推荐话术，可确保每条推荐话术都为最适推荐话术，提高成单率。
实施例6：
基于实施例3的基础上，所述基于层次语义编码机制对所述对话语义进行处理，包括：
基于双向长短期记忆网络构建词级别编码器，输入得到的每条历史对话的词嵌入表示序列和当前轮次用户问题对应的词嵌入表示序列，为每条语句单独进行词级别的上下文语义编码，并将前向编码和后向编码对应的最后一个隐藏表示拼接，作为语句的隐藏表示；
基于双向长短期记忆网络构建句子级别编码器，输入得到的每条历史话语和当前用户问题对应的语句隐藏向量表示，进行句子级别的上下文语义编码，并将句子级别前向编码和后向编码对应的最后一个隐藏表示拼接，作为历史对话的整体语义表示；
其中，层次语义编码机制是由词级别编码器和句子级别编码器构建成的。
基于上述方案，输入得到的每条历史对话的词嵌入表示序列E＝{e1,e2,…,et-1}或当前轮次用户问题对应的词嵌入表示序列et，为每条语句si单独进行词级别的上下文语义编码，并将前向编码和后向编码对应的最后一个隐藏表示拼接，作为语句的隐藏表示ci。
Figure BDA0003374870260000121
Figure BDA0003374870260000122
Figure BDA0003374870260000123
其中，LSTMf和LSTMb分别表示前向和后向的LSTM结构。
Figure BDA0003374870260000124
是前向编码的最后一个隐藏状态表示，包含了前向编码的所有语义信息，
Figure BDA0003374870260000125
是后向编码的最后一个隐藏状态表示，包含了后向编码的所有信息，所以用两者的拼接来表示当前语句的向量ci。基于此，可以得到所有的话语向量表示序列C＝{c1,c2,…,ct}。其中{c1,c2,…,ct-1}为历史话语的向量表示，ct为当前用户问题的向量表示；
输入历史话语和当前话语对应的句隐藏向量表示C＝{c1,c2,…,ct}，进行句子级别的上下文语义编码，并将句子级别前向编码和后向编码对应的最后一个隐藏表示拼接，作为历史对话的整体语义表示sh，同时得到当前话语对应的语义表示sc。
Figure BDA0003374870260000131
Figure BDA0003374870260000132
Figure BDA0003374870260000133
其中，
Figure BDA0003374870260000134
是前向编码的最后一个隐藏状态，
Figure BDA0003374870260000135
是后向编码的最后一个隐藏状态，使用两者的拼接作为历史对话的整体语义表示sh。此外，将第t时刻前向和后向的隐藏状态进行编码，作为当前用户问题的语义表示
Figure BDA0003374870260000136
这里得到的当前用户问题的语义表示进一步融合了历史对话信息。
例如，经过句子级别BLSTM编码后，可得到历史对话的整体语义表示sh＝[0.92,0.23,…,0.67]，和当前用户问题的语义表示sc＝[0.53,-0.01,…,0.22]。
该实施例中,双向长短记忆网络为作为RNN的一种变体，解决了训练过程中梯度消失和梯度爆炸的问题；
上述方案的有益效果：本发明可基于双向长短期记忆网络构建词级别编码器与句子级别编码器，通过不同编码器对相应内容进行编码，可以有效地防止误差，确保了结果的准确性。
实施例7：
基于实施例1的基础上，得到话术的推荐结果之后，还包括：
实时获取所述步骤1、步骤2与步骤3处理过程中的参数信息；
基于所述参数信息，构建相应均方误差损失函数；
根据所述均方误差损失函数，对所述参数信息进行参数优化，得到优化信息，并将所述优化信息对原始参数信息进行替换，生成优化参数。
上述方案中，可构建均方误差损失函数，得到：
Figure BDA0003374870260000137
其中，n表示语义表示向量的维度；MSE是目标变量与预测值之间距离平方之和。
该实施例中，均方误差损失函数是最常用的回归损失函数。
上述方案的有益效果：本发明可根据参数信息，构建均方误差损失函数来对所述参数信息进行优化，可以有效地减小参数的误差，确保结果的准确性。
实施例8：
如图6所示，本发明提供一种基于多元语义融合的金牌话术推荐装置，包括：
前台会话获取进程，用于在客服对话过程中，实时获取当前对话轮次的用户问题、历史轮次的对话数据以及用户属性信息，并将获取的数据传输给后台金牌话术推荐进程，发送话术推荐方法的调用请求。
前台可视化进程，用于接收后台金牌话术推荐进程发送的推荐结果，并将结果显示在前台的可视化页面中，为客服人员提供话术参考。
后台金牌话术推荐进程，接收前台会话获取进程发送的用户问题、历史会话数据和用户属性信息，根据权利要求1-7所述方法对这些信息进行语义编码与语义融合，并将融合后的语义表示与金牌话术库中每条话术的语义表示进行匹配，计算每条话术对应的推荐概率，筛选概率最高的话术作为推荐结果，发送给前台可视化进程。
上述方案的有益效果：本方案可前台会话获取进程，在客服对话过程中，实时获取当前对话轮次的用户问题、历史轮次的对话数据以及用户属性信息，并将获取的数据传输给后台金牌话术推荐进程，将推荐结果在台设备的可视化页面中显示，为客服人员提供话术参考，可以向客服人员提供概率最高的话术，有助于提高成单率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于多元语义融合的金牌话术推荐方法，其特征在于，包括：
步骤1：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作；
步骤2：基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，并获取对应的语义表示；
步骤3：对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果。
2.根据权利要求1所述的一种基于多元语义融合的金牌话术推荐方法，其特征在于，所述步骤1：对历史对话、当前轮次的用户问题、以及用户属性进行分词和词向量初始化操作，包括：
基于预设分词工具包，将历史对话、当前轮次的用户问题、以及用户属性作为输入文本并进行分词处理，得到对应的词序列；
采用预训练的词向量对所述词序列中每个词的嵌入表示进行初始化。
3.根据权利要求1所述的一种基于多元语义融合的金牌话术推荐方法，其特征在于，所述步骤2：基于层次语义编码机制和用户属性编码机制，对初始化操作结果进行对话语义编码以及用户属性语义编码，包括：
基于层次语义编码机制对所述对话的词嵌入序列进行处理，得到历史对话以及当前话语对应的隐藏语义表示，生成对话语义编码；
基于用户属性编码机制对所述用户属性的词嵌入序列进行处理，得到用户属性信息的隐藏语义表示，生成用户属性语义编码。
4.根据权利要求3所述的一种基于多元语义融合的金牌话术推荐方法，其特征在于，基于用户属性编码机制对所述用户属性语义进行处理，包括：
获取与用户属性对应的词嵌入序列，采用平均池化的方式得到每条用户属性的表示；
将所有用户属性的表示进行拼接，并输入由前馈神经网络构建的用户属性编码机制，输出融合全部用户属性的隐藏语义表示。
5.根据权利要求1所述的一种基于多元语义融合的金牌话术推荐方法，其特征在于，所述步骤3：对编码结果进行融合，得到融合后的语义表示，并与金牌话术库中每条话术的语义表示进行匹配，得到话术的推荐结果，包括：
将历史对话隐藏表示和当前话语隐藏表示、以及用户属性的隐藏表示进行拼接，然后采用前馈神经网络层进行语义融合，生成多元语义表示；
将融合后的多元语义表示与金牌话术库中每条现存话术的语义表示进行余弦相似度的计算，并对相似度进行归一化，得到每条话术对应的推荐概率；
基于计算的推荐概率，选取最大的概率值对应的金牌话术作为推荐结果。
6.根据权利要求3所述的一种基于多元语义融合的金牌话术推荐方法，其特征在于，基于层次语义编码机制对所述对话语义进行处理，包括：
基于双向长短期记忆网络构建词级别编码器，输入得到的每条历史对话的词嵌入表示序列和当前轮次用户问题对应的词嵌入表示序列，为每条语句单独进行词级别的上下文语义编码，并将前向编码和后向编码对应的最后一个隐藏表示拼接，作为语句的隐藏表示；
基于双向长短期记忆网络构建句子级别编码器，输入得到的每条历史话语和当前用户问题对应的语句隐藏向量表示，进行句子级别的上下文语义编码，并将句子级别前向编码和后向编码对应的最后一个隐藏表示拼接，作为历史对话的整体语义表示；
其中，层次语义编码机制是由词级别编码器和句子级别编码器构建成的。
7.根据权利要求1所述的一种基于多元语义融合的金牌话术推荐方法，其特征在于，得到话术的推荐结果之后，还包括：
实时获取所述步骤1、步骤2与步骤3处理过程中的参数信息；
基于所述参数信息，构建相应均方误差损失函数；
根据所述均方误差损失函数，对所述参数信息进行参数优化，得到优化信息，并将所述优化信息对原始参数信息进行替换，生成优化参数。
8.一种基于多元语义融合的金牌话术推荐装置，其特征在于，包括：
前台会话获取进程，用于在客服对话过程中，实时获取当前对话轮次的用户问题、历史轮次的对话数据以及用户属性信息，并将获取的数据传输给后台金牌话术推荐进程，发送话术推荐方法的调用请求，
前台可视化进程，用于接收后台金牌话术推荐进程发送的推荐结果，并将结果显示在前台的可视化页面中，为客服人员提供话术参考；
后台金牌话术推荐进程，接收前台会话获取进程发送的用户问题、历史会话数据和用户属性信息，根据权利要求1-7所述方法对这些信息进行语义编码与语义融合，并将融合后的语义表示与金牌话术库中每条话术的语义表示进行匹配，计算每条话术对应的推荐概率，筛选概率最高的话术作为推荐结果，发送给前台可视化进程。
CN202111438864.8A 2021-11-25 2021-11-25 一种基于多元语义融合的金牌话术推荐方法及装置 Active CN114386426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111438864.8A CN114386426B (zh) 2021-11-25 2021-11-25 一种基于多元语义融合的金牌话术推荐方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111438864.8A CN114386426B (zh) 2021-11-25 2021-11-25 一种基于多元语义融合的金牌话术推荐方法及装置

Publications (2)

Publication Number Publication Date
CN114386426A true CN114386426A (zh) 2022-04-22
CN114386426B CN114386426B (zh) 2023-01-13

Family

ID=81196738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111438864.8A Active CN114386426B (zh) 2021-11-25 2021-11-25 一种基于多元语义融合的金牌话术推荐方法及装置

Country Status (1)

Country Link
CN (1) CN114386426B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578690A (zh) * 2023-07-13 2023-08-11 湖南元数科技有限公司 一种基于人工智能的保险客服服务方法与系统
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294774A (zh) * 2016-08-11 2017-01-04 北京光年无限科技有限公司 基于对话服务的用户个性化数据处理方法及装置
CN109299478A (zh) * 2018-12-05 2019-02-01 长春理工大学 基于双向长短期记忆神经网络的智能自动问答方法及系统
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备
CN111159368A (zh) * 2019-12-12 2020-05-15 华南理工大学 一种个性化对话的回复生成方法
CN111460816A (zh) * 2020-03-30 2020-07-28 招商局金融科技有限公司 基于语义特征的数据检索方法、电子装置及存储介质
CN111984770A (zh) * 2020-07-17 2020-11-24 深思考人工智能科技(上海)有限公司 一种人机对话的方法及装置
CN112115247A (zh) * 2020-09-07 2020-12-22 中国人民大学 一种基于长短时记忆信息的个性化对话生成方法和系统
CN112182196A (zh) * 2020-11-03 2021-01-05 海信视像科技股份有限公司 应用于多轮对话的服务设备及多轮对话方法
US20210217408A1 (en) * 2018-09-06 2021-07-15 Google Llc Dialogue systems
CN113656542A (zh) * 2021-08-10 2021-11-16 成都华律网络服务有限公司 一种基于信息检索与排序的话术推荐方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294774A (zh) * 2016-08-11 2017-01-04 北京光年无限科技有限公司 基于对话服务的用户个性化数据处理方法及装置
US20210217408A1 (en) * 2018-09-06 2021-07-15 Google Llc Dialogue systems
CN109299478A (zh) * 2018-12-05 2019-02-01 长春理工大学 基于双向长短期记忆神经网络的智能自动问答方法及系统
CN110321417A (zh) * 2019-05-30 2019-10-11 山东大学 一种对话生成方法、系统、可读存储介质及计算机设备
CN111159368A (zh) * 2019-12-12 2020-05-15 华南理工大学 一种个性化对话的回复生成方法
CN111460816A (zh) * 2020-03-30 2020-07-28 招商局金融科技有限公司 基于语义特征的数据检索方法、电子装置及存储介质
CN111984770A (zh) * 2020-07-17 2020-11-24 深思考人工智能科技(上海)有限公司 一种人机对话的方法及装置
CN112115247A (zh) * 2020-09-07 2020-12-22 中国人民大学 一种基于长短时记忆信息的个性化对话生成方法和系统
CN112182196A (zh) * 2020-11-03 2021-01-05 海信视像科技股份有限公司 应用于多轮对话的服务设备及多轮对话方法
CN113656542A (zh) * 2021-08-10 2021-11-16 成都华律网络服务有限公司 一种基于信息检索与排序的话术推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
戴国强 等: "《科技大数据：因你而改变》", 31 August 2018, 科学技术文献出版社 *
赵阳洋 等: "任务型对话系统研究综述", 《计算机学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116578690A (zh) * 2023-07-13 2023-08-11 湖南元数科技有限公司 一种基于人工智能的保险客服服务方法与系统
CN116578690B (zh) * 2023-07-13 2023-09-22 湖南元数科技有限公司 一种基于人工智能的保险客服服务方法与系统
CN117590944A (zh) * 2023-11-28 2024-02-23 上海源庐加佳信息科技有限公司 实体人对象和数字虚拟人对象的绑定系统

Also Published As

Publication number Publication date
CN114386426B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN111897933B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN108874972B (zh) 一种基于深度学习的多轮情感对话方法
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN110347792B (zh) 对话生成方法及装置、存储介质、电子设备
CN113205817B (zh) 语音语义识别方法、系统、设备及介质
CN105723362B (zh) 自然表达处理方法、处理及回应方法、设备及系统
CN111159368B (zh) 一种个性化对话的回复生成方法
CN110427617A (zh) 推送信息的生成方法及装置
CN113420807A (zh) 基于多任务学习与注意力机制的多模态融合情感识别系统、方法及实验评价方法
CN106448670A (zh) 基于深度学习和强化学习的自动回复对话系统
CN115329779B (zh) 一种多人对话情感识别方法
CN112214591B (zh) 一种对话预测的方法及装置
CN114386426B (zh) 一种基于多元语义融合的金牌话术推荐方法及装置
CN109597493B (zh) 一种表情推荐方法及装置
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN112364148B (zh) 一种基于深度学习方法的生成型聊天机器人
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN110597968A (zh) 一种回复选择方法及装置
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN114005446A (zh) 情感分析方法、相关设备及可读存储介质
CN112183106A (zh) 一种基于音素联想及深度学习的语义理解方法及装置
CN115630145A (zh) 一种基于多粒度情感的对话推荐方法及系统
CN115563290A (zh) 一种基于语境建模的智能情感识别方法
CN115617972A (zh) 一种机器人对话方法、装置、电子设备及存储介质
CN115269836A (zh) 意图识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant