CN117390154A - 一种基于情感领域深度挖掘的情感咨询对话方法 - Google Patents

Abstract

本发明提供的一种基于情感领域深度挖掘的情感咨询对话方法，所述对话方法包括：描述情感专业度；描述个性化回复；描述共情能力；描述回复多样性；描述文本生成过程；描述敏感词检测。使用情感领域知识库，来提高回复的专业性，使用Lora微调大语言模型和设定虚拟人格，来提高机器人回复的共情能力和同理心。

Description

一种基于情感领域深度挖掘的情感咨询对话方法

技术领域

本发明涉及语言模型领域，尤其涉及一种基于情感领域深度挖掘的情感咨询对话方法。

背景技术

自然语言处理和对话机器人的发展历程可以追溯到早期的专家系统。最初，这些对话系统是基于规则和搜索方法构建的。它们的工作原理是通过在系统中硬编码大量规则和模式来处理用户输入，并寻找最匹配的响应。然而，这种方法在实际对话中往往表现得呆板，难以模拟自然语言的流畅性和智能性。

随着时间的推移，对话机器人领域取得了重大进展，特别是在电子商务和客户服务领域。传统的规则引擎被更加灵活和智能的技术所取代，其中包括了循环神经网络(RNN)、长短时记忆网络(LSTM)、序列到序列(seq2seq)模型等。这些深度学习技术允许机器更好地理解和生成自然语言，从而提高了对话机器人的表现。然而，即使使用了这些技术，对话机器人仍然仅表现出有限的智能，通过图灵测试还只是奢望。

从2017～2018年开始，NLP领域由Transformer掀起了一股浪潮，Transformer在文本翻译领域内使用了全新的网络架构(attention is all you need)，将文本翻译精度大幅度提升28.4BLEU，由此开始了NLP领域的狂欢。基于Transformer的灵感，延伸出比较出名的两派，一派以BERT预训练模型为代表，关注训练效率，对下游子任务进行微调来完成大量的NLP任务，如文本分类，情感分析等。另一派则是以OpenAI的GPT模型为代表，通过堆叠模型层数、训练语料大小的方式，造就了一个巨大的网络。

类ChatGPT大模型的出现让生成式模型得到革命性的发展，核心原因是，类ChatGPT大模型基于的Instruct GPT通过使用更加优质的训练预料，通过人工筛选、反馈进行训练，用低于GPT3两个数量级的参数量，实现了实现了常规对话，知识问答，题目解析，情感聊天，代码生成，文章写作等等功能。

类ChatGPT大模型出圈后，国内各大公司也紧随其后，百度推出“文心一言”，阿里推出“通义大模型”,智谱AI推出“ChatGLM”。而本专利中用到的ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于GeneralLanguage Model(GLM)架构，具有62亿参数。用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。在收到良好的反馈之后，清华又发布了其最新的量化版本ChatGLM2-6B。经过对基座模型的全面升级，二代模型具有更强大的性能，能处理更长的上下文，推理速度相比初代也提升了42％。

综合以上技术背景可以看出，各大公司在生成式大模型的开发上群雄逐鹿，目前的大模型已基本能满足通用场景的对话需求。但是如何在通用类大模型的基础上，开发出垂直业务领域的对话机器人，仍然是非常值得探讨的问题。所以，综合以上技术背景，针对情感咨询领域情感类对话机器人的开发有以下两种技术方案。

现有技术方案：

方案一：直接调用类ChatGPT大模型接口，通过让生成式模型类ChatGPT大模型进行角色扮演来实现垂直领域的对话机器人。优点是：通过简单修改Prompt，就能达到比较好的效果。直接调用接口，实现起来比较简单。

方案二：使用ChatGLM2-6b进行本地部署。

优点是：

1.数据和模型都在本地，可控性强。

2.在海量中英文文本上训练，在中文通用任务上效果还行。

方案一主要存在数据安全性隐患、接口调用次数计费昂贵、服务稳定性等缺点。

方案二的主要缺点是以下方面：

1、对于领域知识的深入理解和推理能力较弱，难以提供高度专业的回答。类ChatGPT大模型在垂直领域仍表现出很强的通用性，而ChatGLM2-6B由于参数少，在垂直领域如果不经过知识注入，很难符合业务预期。

2、人设比较死板。ChatGLM2-6B会牢记它是一个机器人，它会拒绝回答与人类情感有关的问题，并且不会表现出同理心。

3、回复多样性比较差。同样的问题生成的回复似乎在遵循同样的模板。用户体验有待提高。

鉴于以上考虑，本发明旨在提出一种基于情感领域深度挖掘的情感咨询对话系统，通过深入挖掘情感领域的内涵，实现情感咨询的专业性、多样性、个性化以及共情能力，从而为用户提供全面而个性化的情感支持与解决方案。这一技术方案不仅在情感咨询领域具备广泛应用前景，还可以应用于择偶推荐、恋爱话术生成等多个领域，同时也适用于其他智能对话系统的开发与优化。

发明内容

鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于情感领域深度挖掘的情感咨询对话方法。

根据本发明的一个方面，提供了一种基于情感领域深度挖掘的情感咨询对话方法，所述对话方法包括：

描述情感专业度；

描述个性化回复；

描述共情能力；

描述回复多样性；

描述文本生成过程；

描述敏感词检测。

可选的，所述描述情感专业度具体包括：

搭建知识库；

将所述知识库中的问题转换成向量

将所述向量相似度匹配；

将所述知识库进行更新。

可选的，所述描述个性化回复具体包括：

记录对话历史；

记录实体信息；

个性化信息存储；

检索个性化信息。

可选的，所述描述共情能力具体包括：

共情问答对构建；

Lora技术微调；

Prompt构建虚拟人格。

可选的，所述描述回复多样性具体包括：

回复重复性检测；

调整温度系数。

可选的，所述描述文本生成过程具体包括：

从情感知识库中检索出来的Topk相似的情感领域知识；

从Redis中检索出的对话历史；

从Redis中检索出的实体信息；

为机器人拟定的人设信息；

时间信息；

将融合后的Prompt，用户当前输入，温度系数，最大生成长度输入到ChatGLM2-6B中，模型开始解码生成回复。

可选的，所述描述敏感词检测具体包括：

输入敏感词检测，如果用户输入句子中含有单一或者组合敏感词，则提示用户重新输入，如果阈值次数内用户输入仍含有敏感信息，则拒绝继续为该用户生成回复；

输出敏感词检测，如果对话系统生成的回复中含有敏感信息，则重新生成，如果阈值次数内未生成成功，则使用默认回复。

本发明提供的一种基于情感领域深度挖掘的情感咨询对话方法，所述对话方法包括：描述情感专业度；描述个性化回复；描述共情能力；描述回复多样性；描述文本生成过程；描述敏感词检测。使用情感领域知识库，来提高回复的专业性，使用Lora微调大语言模型和设定虚拟人格，来提高机器人回复的共情能力和同理心。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种基于情感领域深度挖掘的情感咨询对话方法对应的整体架构图；

图2为本发明实施例提供的专业性回复的流程图；

图3为本发明实施例提供的个性化回复的流程图；

图4为本发明实施例提供的共情能力的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。

下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，本发明提供了一种基于情感领域深度挖掘的情感咨询对话方法。通过以下方面的创新来提升系统表现：S1.情感专业度。利用经过海量中、英文语料预训练的大语言模型，结合内部知识库，实现情感回复的专业性。系统通过深入理解情感语境，为用户提供准确、专业的情感建议和指导。S2.共情能力。借助问答对数据，采用了Lora技术对大模型进行微调，同时运用Prompt构建机器人的虚拟人格。微调后系统的共情能力得以强化。系统在更深层次理解用户情感的基础上，能以更亲切、理解的方式与用户互动，从而进一步提升情感支持的效果。S3.个性化。基于实体识别和缓存对话历史摘要，系统会为每个人构建专属的知识图谱，从而为每位用户提供定制化的情感咨询服务。S4.回答多样性。通过重复性检测和温度系数调整，保证系统根据用户需求提供丰富多样的情感支持，避免单一性的回答。

具体实施步骤包括以下内容：如图2所示。

S1-S4描述情感专业度的解决方案

S1、知识库的搭建。知识库的数据来自于公司内部多年的经验积累，数据包括文章格式和问答对格式。对于直接就是问答对格式的知识，无需做额外的处理。对于文章形式的知识，首先使用Langchain的CharacterTextSplitter将文本切分为小块，然后使用类ChatGPT大模型对分块后的知识进行问题标注，并通过人工方式对生成的问题进行抽样检测，通过这种方式将文章格式也转变成问答对的形式。

S2、向量化。将知识库中的问题转换成向量，将这些向量存储在向量数据库Faiss中，将问题对应的答案存储在该向量对应的Metadata中。在预测时，当用户提出问题的时候，也需要将问题文本转化为查询向量。这里使用text2vec-large-chinese作为文本向量化模型。

S3、向量相似度匹配。通过计算查询向量与向量数据库中的向量之间的余弦相似度，可以找到与查询最相似的Topk文本单元。这些匹配到的问答对，会连用用户问题一同添加到Prompt中，提交给ChatGLM2-6B模型用作生成回答的依据。

S4、知识库的更新。设置定时任务，每天检测知识库是否有更新。如果有更新，则拉取最新的知识库，重新建立索引。通过定期更新知识库中的数据，保证知识的有效性。

S5-S8描述个性化回复的解决方案，如图3所示。

S5、记录对话历史。在每次与用户交互时，记录和存储对话历史，包括用户的问题、机器人的回复。对话历史会设置过期时间和最大保留数量两个参数。超过设定的过期时间的历史记录会被清除。当记录的对话历史数量，超过最大可记录参数的时候，会只保留最新的N条对话记录。

S6、记录实体信息：对用户输入的问题，使用实体识别技术识别出文本中的关键实体，如人名、地点、日期等。识别的实体有助于了解用户在交流中提到的重要信息，从而更好地针对性地回复。

S7、个性化信息存储。使用Redis进行存储，以业务线ID和用户的UID的字符串拼接作为Key。聊天记录使用列表结构存储，实体信息使用Hash格式存储。

S8、检索个性化信息。根据拼接后的Key，检索历史记录和实体信息。将个人知识库中的信息与用户的对话历史相结合，形成一个更全面的上下文。将这些作为附加信息添加到用于生成回复的Prompt中。

S9-S11描述共情能力的解决方案，如图4所示。

S9、共情问答对构建。首先，借助人类情感专家的专业知识，对用户历史情感问题进行深入分析，并提取出典型的情感场景和问题。在此基础上，精心整理一系列同理心的回复，接下来，将这些回复作为种子内容，使用类ChatGPT大模型进行进一步的仿写和生成。

S10、Lora技术微调。将准备好的问答对数据用于微调ChatGLM2-6B模型。在微调过程中，重点关注情感、用户态度和回应的一致性，以提升模型的共情能力。通过微调，模型逐渐学习到如何更好地捕捉情感和语境，从而在回复中更准确地表达情感和共情。

S11、Prompt构建虚拟人格。为了让机器人拥有独特的虚拟人格，设计了一系列的Prompt模板，其中包括了特定情感、语气和回应风格的范例。这些Prompt模板帮助引导模型生成符合所需人格的回复。通过在Prompt中注入特定的情感标识、虚拟人格描述和上下文信息，激励模型以特定方式回应用户。

S12-S13描述回复多样性的解决方案

S12、回复重复性检测。对每个生成的回复，计算其与之前的所有回复的相似性。如果新回复与之前的某个回复相似度较高，可以将其视为重复回复。为了快速获得检测结果，文本相似性度量方法选用计算效率较高的Jaccard相似度。

S13、调整温度系数。利用温度参数可以调整生成文本的随机性，从而避免生成重复的回复。温度参数控制了生成过程中概率分布的平均程度，较高的温度会使生成更加随机，较低的温度则会使生成更加确定性。通过调整温度参数，在生成回复时平衡随机性和确定性，从而避免生成过于重复的文本。

S14-S15描述文本生成过程

S14、融合Prompt。最终输入给大语言模型的信息包括：

a、从情感知识库中检索出来的Topk相似的情感领域知识；

b、从Redis中检索出的对话历史；

c、从Redis中检索出的实体信息；

d、为机器人拟定的人设信息；

e、时间信息，上述信息中有的是问答对的形式，有的是文档的形式，均需要统一格式为问答对形式。以时间信息举例，构造如下问答对：(“现在是什么时间？”，“现在是xx年xx月xx日，xx时xx分！”。

S15、回复生成。将上述融合后的Prompt，用户当前输入，温度系数，最大生成长度输入到ChatGLM2-6B中，模型开始解码生成回复。

S16-S17描述敏感词检测

S16、输入敏感词检测。如果用户输入句子中含有单一或者组合敏感词，则提示用户重新输入，如果阈值次数内用户输入仍含有敏感信息，则拒绝继续为该用户生成回复。

S17、输出敏感词检测。如果对话系统生成的回复中含有敏感信息，则重新生成，如果阈值次数内未生成成功，则使用默认回复。

有益效果：使用情感领域知识库，提高回复的专业性；

使用Lora微调大语言模型和设定虚拟人格，提高机器人回复的共情能力和同理心；

使用对话上下文和实体识别技术，提升回复的个性化；

使用重复检测和温度系数控制，提升回复的多样性。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述对话方法包括：

描述情感专业度；

描述个性化回复；

描述共情能力；

描述回复多样性；

描述文本生成过程；

描述敏感词检测。

2.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述描述情感专业度具体包括：

搭建知识库；

将所述知识库中的问题转换成向量

将所述向量相似度匹配；

将所述知识库进行更新。

3.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述描述个性化回复具体包括：

记录对话历史；

记录实体信息；

个性化信息存储；

检索个性化信息。

4.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述描述共情能力具体包括：

共情问答对构建；

Lora技术微调；

Prompt构建虚拟人格。

5.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述描述回复多样性具体包括：

回复重复性检测；

调整温度系数。

6.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述描述文本生成过程具体包括：

从情感知识库中检索出来的Topk相似的情感领域知识；

从Redis中检索出的对话历史；

从Redis中检索出的实体信息；

为机器人拟定的人设信息；

时间信息；

将融合后的Prompt，用户当前输入，温度系数，最大生成长度输入到ChatGLM2-6B中，模型开始解码生成回复。

7.根据权利要求1所述的一种基于情感领域深度挖掘的情感咨询对话方法，其特征在于，所述描述敏感词检测具体包括：

输入敏感词检测，如果用户输入句子中含有单一或者组合敏感词，则提示用户重新输入，如果阈值次数内用户输入仍含有敏感信息，则拒绝继续为该用户生成回复；

输出敏感词检测，如果对话系统生成的回复中含有敏感信息，则重新生成，如果阈值次数内未生成成功，则使用默认回复。