CN117609486A - 一种心理领域智能对话系统 - Google Patents

一种心理领域智能对话系统 Download PDF

Info

Publication number
CN117609486A
CN117609486A CN202410033858.1A CN202410033858A CN117609486A CN 117609486 A CN117609486 A CN 117609486A CN 202410033858 A CN202410033858 A CN 202410033858A CN 117609486 A CN117609486 A CN 117609486A
Authority
CN
China
Prior art keywords
strategy
reply
dialogue
user
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410033858.1A
Other languages
English (en)
Other versions
CN117609486B (zh
Inventor
唐天驰
赵茁良
黄倩影
刘昌松
张汝民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shuye Intelligent Technology Co ltd
Original Assignee
Guangdong Shuye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Shuye Intelligent Technology Co ltd filed Critical Guangdong Shuye Intelligent Technology Co ltd
Priority to CN202410033858.1A priority Critical patent/CN117609486B/zh
Publication of CN117609486A publication Critical patent/CN117609486A/zh
Application granted granted Critical
Publication of CN117609486B publication Critical patent/CN117609486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于自然语言理解领域，具体是涉及一种心理领域智能对话系统。主旨在于提升在心理领域对话能力，同时结合个性化推荐模块提供有趣且有用的综合推荐，并实现细粒度的对话回复和推荐策略引导。主要方案包括知识库检索模块负责将用户输入的查询文本转换为查询语义向量，并在向量知识库中进行检索，得到检索结果。策略预测模块通过训练基于Transformer的策略预测模型，对用户输入进行策略预测，得到回复策略。个性化推荐模块根据用户心理量表测评信息推荐相关心理书籍，并设计活动彩蛋推荐机制提升多样性。提示模板库模块根据回复策略和推荐模式生成提示语。自然语言生成模块将提示语与前K轮对话历史拼接，输入大语言模型推理得到回复输出。

Description

一种心理领域智能对话系统
技术领域
本发明属于人工智能技术人机对话系统中的自然语言理解领域，具体是涉及一种心理领域智能对话系统。
背景技术
在当今社会，青少年的心理健康问题引起了广泛关注。随着社会压力的增加、信息传播的快速以及家庭结构的变化，青少年面临着诸多挑战，包括学业压力、人际关系、身体形象等问题，这些都可能对其心理健康产生负面影响。因此，利用先进的人工智能技术在校园中进行心理健康风险普查并为风险对象提供智能的心理疏导服务成为一项迫切的需求。随着信息化技术与人工智能技术的发展与推广，出现了多个基于AI结合心理领域的对话系统及相关的应用，具体如下：
专利CN 111667926 B《一种基于人工智能的心理咨询/会话系统及其方法》主要通过构建心理知识图谱，并且提供对话逻辑树指导多轮对话，此外，该方法需要建立特有的语料数据库用于引导与回复用户。心理咨询是复杂的对话过程，用户的心理问题和想法复杂多样，仅通过对话逻辑树和固定的语料库来选择语料回复用户无法较好地解决用户的需求，且固定的语料让用户觉得该系统回复比较死板，缺乏灵活性。
专利CN 113010653 A《一种对话策略模型训练、对话的方法和系统》基于多轮对话历史数据，利用BERT模型通过强化学习的方式训练对话策略模型，该对话策略模型可以通过用户的输入和其上文判断接下来的对话策略，再从相应的话术库中随机或者按照一定规则选择一个作为应答话数。虽然该方法便捷，但是并未针对心理领域，且从话术库中随机选择的语料都是预先定义好的，内容固定缺乏灵活性与专业性，因此该发明只适用于比较简单的常规对话场景。
专利 CN 114969375 A《一种基于心理学知识赋予机器人工智能学习的方法及系统》基于海量数据构建心理学知识图谱，用于分析用户性格再将相应的文档提供给用户。此外，该发明需要获取网络用户的上网行为得到个体网络行为特征，再基于机器学习方法建立与训练心理状态评估模型，对用户心理状况进行评估。该发明并未通过对话的方式疏导用户心理状况，仅结合了知识图谱对用户状态进行了评估。
专利 CN 114418115 A《心理咨询师的共情会谈训练方法、装置、设备及存储介质》通过将收集的共情回应文本向量化得到文本特征，再利用常见的机器学习模型如逻辑回归分类器进行训练，对不同的文本进行探索性技能分类。该发明通过计算余弦相似度对比专家案例和进行训练的心理咨询师的回复，并对心理咨询师的回复进行探索性技能分类，从而提升心理咨询师共情水平。但是只运用到了简单的向量相似度比较的技术，没有利用自然语言生成技术，因此没法通过文本生成的方式提供更丰富、专业化的引导。
目前在心理领域智能对话方面的应用上多数采用预先定义好的对话路径和专业的语料库回复与引导用户，带来了可控性的同时也显著降低了心理领域对话的灵活性、针对性和丰富度。因此，本发明明确提出运用当前最先进的大语言模型，对用户对话上下文进行建模，同时通过策略引导大语言模型回复，从而显著提升在心理领域对话能力。此外，还设计了一个推荐模块提升对话的趣味性和丰富性。
发明内容
本发明的目的在于构建一种心理领域智能对话系统，该系统能够运用大语言模型对用户对话上下文进行建模，并给用户推荐心理学相关的书籍和有趣的活动。大语言模型虽然有强大的文本生成能力，但其的回复内容质量往往受限于输入的提示(prompt)，且生成心理领域的回复内容是比较复杂的，需要考虑到回复的相关性、针对性，同时还要考虑到语言的温度、同理性等。此外，如何结合用户的对话历史、心理特征等信息决定当前对话是否给用户进行推荐要求系统具备高度语义理解能力。
为了实现上述目的，本发明采用以下技术手段：
本发明提供了一种心理领域智能对话系统，包括以下步骤：
知识库检索模块： 将用户输入的查询文本转换成查询语义向量后在向量知识库中进行检索，得到与查询语义向量相似度最高的前k个语义向量对应的文本或空结果；
步骤1.1：构建向量知识库，对心理学领域和日常生活领域的百科知识通过BERT编码器生成语义向量，得到向量知识库；
步骤1.2：将用户输入的查询文本通过BERT编码器进行编码处理，得到查询语义向量；
步骤1.3：使用查询语义向量在向量知识库进行检索，得到与查询语义向量相似度最高的前k个向量对应的文本或空结果。
步骤1.3.1：利用ANN检索方法，将查询语义向量与向量知识库中的语义向量进行相似度比较；
步骤1.3.2： ANN检索方法返回与查询向量相似度最高的前k个向量及其与查询向量的距离d；
步骤1.3.3：若距离d都大于预设的阈值l，则认为没有与用户的查询文本相似的文本知识，此时检索结果为空。
步骤1.3.4：若存在距离d小于阈值l的情况，则返回满足阈值条件的所有文本作为检索结果。
策略预测模块；通过设计提示工程技术生成策略标注的多轮对话数据，训练基于Transformer的策略预测模型，再应用训练好的策略预测模型对用户输入进行策略预测，得到用户问题的回复策略，实现细粒度的对话回复和推荐策略引导；
步骤2.1：通过提示工程技术让两个专家级大语言模型互相对话的流程生成带有策略标注语料的多轮对话数据；
步骤2.1.1：使两个专家级大语言模型进行互相对话，以产生带有策略标注的语料，得到对话数据，此过程采用专业性的对话数据，覆盖了青少年心理烦恼倾诉、心理常识提问心理相关领域。
步骤2.1.2：对生成的对话数据进行策略标注，得到带有策略标注语料的多轮对话数据，其中Q代表问题，T代表对话轮数，S代表问题对应的策略组，A代表问题对应的回复内容；
步骤2.2：基于生成的带有策略标注语料的多轮对话数据训练策略预测模型；
步骤2.2.1：采用Transformer网络作为对话编码器，对多轮对话数据进行编码，得到对话状态语义向量；
步骤2.2.2：将所有预定义的策略视作特殊标记，并通过线性层W映射为回复策略语义向量；
步骤2.2.3：应用排序损失优化策略预测模型，通过计算损失函数的值L来优化模型，损失函数能够明确指示最符合用户的对话状态的策略；
步骤2.3：应用训练好的策略预测模型进行用户回复策略预测；
步骤2.3.1：将对话信息管理模块输出的前K轮对话数据和用户输入，按照先后顺序拼接。
步骤2.3.2：使用训练后的Transformer网络对拼接后的对话数据进行编码，得到对话状态语义向量。
步骤2.3.3：通过线性层W映射，将Transformer编码器的所有策略对应的嵌入向量转换成回复策略语义向量；
步骤2.3.4：计算对话状态向量和所有的回复策略语义向量的相似度；
步骤2.3.5：按照相似度从高到低排序，并筛选相似度大于预先定义的阈值的对应的策略作为用户问题的回复策略。
个性化推荐模块、基于用户的心理量表测评信息，通过关键词检索推荐相关心理书籍，并设计了活动彩蛋推荐机制来提升推荐多样性，活动彩蛋有不同类型和具体活动，采用动态规划算法选择最优活动组合，最终合并推荐活动和书籍，为用户提供有趣且有用的综合推荐；
步骤3.1：获取用户量表信息，对用户填写的心理量表信息进行解析和处理，用户心理健康状态的标签或关键词：
步骤3.2：关键词检索与书籍推荐：使用Elastic Search的BM25算法对量表信息中的关键词进行检索，从心理学书籍库中匹配相关书籍，并将匹配度高的前K本书籍作为推荐书籍；
步骤3.3：活动彩蛋推荐机制：
预定义活动彩蛋：分为学习、运动、娱乐等M种类型的活动彩蛋，每种类型下有种具体活动；
活动属性定义：每个活动有其耗时和执行后的收益/>；
背包问题建模：将用户的心理测评得分S视为背包容量，不同活动视为物品，物品有重量（耗时）和价值（收益/>），目标是选择总重量不超过S的物品，使得总价值最大；
步骤3.4：动态规划求解：
候选推荐活动选择：从M个不同的活动彩蛋下随机采样选择一个活动，构成M个候选推荐活动；
动态规划递推式：使用动态规划求解背包问题，递推式如式：
所示，其中代表背包在容量为/>时考虑前/>个物品获得的最大价值；
步骤3.5：回溯与活动选择：通过回溯的方式检查是否等于/>，以确定哪些活动被选择；
步骤3.6：最终推荐结果：将推荐的活动和推荐的书籍合并，得到最终的推荐结果。
提示模板库模块、将用户情感或需求输入到策略预测模块得到回复策略，根据回复策略的内容选择推荐模式结合个性化推荐模块的推荐结果生成提示语输出，或者根据回复策略的内容选择正常模式生成提示语输出；
步骤4.1：用户输入与策略选择
用户输入：将用户情感或需求作为输入；
策略预测：将用户的情感问题或需求输入到策略预测模块，策略预测模块根据用户输入的内容，生成相应的回复策略；
选择模板模式：如果策略预测模块中存在推荐策略，则进入推荐模式，否则进入正常模式；
步骤4.2a：推荐模式
在推荐模式下，首先获取个性化推荐模块的推荐结果，然后，用户输入、推荐结果和回复策略一起被传递到推荐模板进行填充，生成完整的提示语，得到提示语输出，推荐模板是一个预设的提示语模板，其中包含了需要填充的部分，需要填充的部分包括"{用户输入}"、"{回复策略}"和"{推荐结果}"；
步骤4.2b：正常模式
步骤4.3：填充回复模板A：在正常模式下，用户输入和回复策略被传递到回复模板A，进行填充，生成第一部分的提示语，回复模板A是另一个预设的提示语模板，其中包含了需要填充的部分，需要填充的部分包括"{用户输入}"和"{回复策略}"；
检索与填充回复模板B：获取知识库检索模块的检索结果，检索结果被传递到回复模板B，进行填充，生成第二部分的提示语，回复模板B是另一个预设的提示语模板，用于指导模型根据检索结果生成专业且简洁的回答；
步骤4.4：拼接回复模板A和B：如果回复模板B被填充，则将回复模板A和B的内容按照先后顺序拼接，得到提示语输出。
自然语言生成模块、将提示语与前K轮对话历史拼接，输入大语言模型推理得到概率分布，采样生成回复输出给用户并保存；
步骤5.1：提示语及前K轮对话历史进行拼接处理，得到拼接后的完整对话文本；
步骤5.2：拼接后的完整对话文本输入到大语言模型推理，得到大语言模型输出的概率分布；
步骤5.3：对概率分布进行采样，采样生成的文本结果作为模型回复输出给用户，并输入到对话信息管理模块保存；
对话信息管理模块、每一轮的用户对话历史被记录并保存在MongoDB数据库中，从MongoDB数据库中提取前K轮对话数据，并输入给策略预测模块和自然语言生成模块。
因为本发明采用上述技术手段，因此具备以下有益效果：
一、本发明通过引入垂直领域知识库，解决了大语言模型在垂直领域专业性和真实性不足的问题，显著提高了回复的质量。具体地，该知识库存储了心理学和日常生活领域的非结构化文本知识的语义向量，这些知识都是经过预训练模型如BERT编码器编码成语义向量后存储的。通过让大语言模型阅读检索的内容再回复问题，可以显著提高大语言模型在垂直领域的专业性、真实性。
二、本发明通过采用自然语言生成模块中先进的大语言模型为用户生成回复，解决了传统对话系统中语义理解能力不足的问题，提高了回复的自然度和人性化。大语言模型具有强大的语义理解能力，能够理解更复杂、更具体的语言环境，为用户提供更加智能、人性化的服务。
三、本发明通过个性化推荐模块和提示模板库模块，实现了个性化推荐和提示功能，提高了对话系统的智能化水平。个性化推荐模块可以根据用户的兴趣和行为习惯，为用户推荐合适的内容和服务；提示模板库模块可以根据对话的主题和内容，为用户提供相应的提示和引导，使用户能够更加高效地获取信息和服务。
四、本发明通过对话信息管理模块，实现了对话信息的有效管理和利用，提高了对话系统的可维护性和可扩展性。对话信息管理模块可以对对话过程中的各种信息进行记录、存储和分析，为对话系统的优化和改进提供数据支持。同时，该模块还可以方便地扩展新的功能和模块，提高对话系统的可扩展性和可维护性。
综上所述，本发明的技术方案具有多方面的优点，包括提高回复质量、增强语义理解能力、实现个性化推荐和提示功能、以及有效管理和利用对话信息等。这些优点使得本发明的智能对话系统在心理领域具有广泛的应用前景和价值。
附图说明
图1为本发明系统框图；
图2为知识库检索模块示意图；
图3为策略预测模块示意图；
图4为个性化推荐模块示意图；
图5为提示模板库模块示意图；
图6为自然语言生成模块示意图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明，但需要注意的是本发明并不仅仅只局限于这些实施方式。相反，对本发明进行的修改或者等同替换，均应涵盖在本发明的权利要求范围当中。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解，没有这些具体细节，本发明同样可以实施。
本发明涉及一种心理领域智能对话系统，如图1所示。图1包括了知识库检索模块、策略预测模块、个性化推荐模块、提示模板库模块、自然语言生成模块和对话信息管理模块。接下来按照模块进行详细介绍：
知识库检索模块
本发明的自然语言生成模块中采用最先进的大语言模型为用户生成回复，然而，大语言模型虽然有强大的语义理解能力，但是其内部蕴含的知识是无法实时更新的，且存在幻觉现象，即一本正经地编造错误的事实。通过引入垂直领域知识库，我们可以轻易地将专业的领域知识方便地和大语言模型集成起来，通过让大语言模型阅读检索的内容再回复问题，可以显著提高大语言模型在垂直领域的专业性、真实性。
如图2所示，在该模块中，向量知识库存储了大量的心理学领域和日常生活领域的百科知识的语义向量，这些知识都是非结构化的文本数据，并提前由预训练模型如BERT编码器编码成语义向量，假设有n段相关的非结构化文本知识，其中，每一段文本会由BERT编码器编码成一个768维的文档语义向量记作(i=1，...，n)，然后存储在向量知识库中。具体地，向量库可以采用Faiss，并构建Flat-L2索引用于ANN检索时度量向量间的距离，若两个向量间的距离越大，则表明二者越不相似。
当有用户输入时，输入的文本会直接经过BERT编码器编码成768维的查询语义向量，然后通过ANN检索，即快速地将/>与向量知识库中的文档语义向量/>进行相似度比较，从知识库中检索出与当前查询语义向量相似度最高的前k个向量对应的文本。ANN检索会返回查询向量与k个候选文本向量的距离d，距离d大于一定阈值l时可认为没有和用户查询相似地文本知识，此时检索结果为空；若距离小于阈值l则返回满足阈值条件的所有文本作为检索结果。
策略预测模块
策略预测模块的作用是依据用户的对话信息决定当前对话回复用户的策略以及是否进行推荐，合适的策略可以引导大语言模型生成更具针对性、丰富的结果。在传统的对话系统或者对话推荐系统中，策略预测网络一次只能预测一个动作，即进行“推荐”或者“继续询问”，存在极大局限性。与传统方法不同，本发明的策略预测模块设计了一种可以融入多种不同策略的机制，实现丰富的序列化的策略预测功能，从而更细粒度地引导大语言模型回复以及决定何时进行推荐。
首先通过提示工程技术设计让两个专家级大语言模型互相对话的流程生成带有策略标注语料的多轮对话数据，用于训练一个性能优越的策略预测器。其中，策略的种类由心理学专家依据认知行为疗法的专业疏导语料的特性进行专业划分，归为了“共情、认可、重述、正面建议……推荐”等一共K个类别。聊天场景覆盖了青少年日常心理烦恼倾诉、心理常识提问等多个心理相关的领域，有效地确保生成多轮对话的专业性。
上述方法生成的多轮对话数据形如，其中Q代表问题，T代表对话轮数，S代表问题对应的策略组，策略组是一系列的有序的策略，比如“共情-重述-正面建议-推荐”，A代表问题对应的回复内容。
接着基于生成的多轮对话数据训练策略预测模型。具体地，可以采用Transformer网络作为对话编码器，并将所有预先定义好的策略视作特殊的标记，记作(i=1，...，K)，每一个/>都有其对应的词嵌入层，记作/>(i=1，...，K)。用符号/>(t=1，...，T)表示多轮对话/>中问题/>及之前的文本，Tranformer编码器会将每一个/>进行编码得到向量/>并经过线性层/>映射成对话状态语义向量/>，同时Transformer编码器中的所有的策略对应的词嵌入层即/>也会直接由线性层/>映射成回复策略语义向量/>，接着采用排序损失优Transformer网络，公式如下：
其中，L代表损失函数的值，为求和符号，/>为sigmoid函数，将输入压缩至0到1区间，/>代表K个里面随机取2个有多少种取法，/>代表当前问题/>的对话状态语义向量和其对应的真实的回复策略义向量/>和其不相关回复策略语义向量/>成的所有样本对，的含义是对话状态语义向量/>和问题/>对应的真实的回复策略语义向量/>的向量内积，/>的含义是对话状态语义向量/>和问题/>不相关的回复策略语义向量/>的向量内积。E则代表求期望。这种损失函数能够显示地指明当前哪些策略更符合用户的对话状态，从而提升策略被按照顺序正确预测的概率。经过训练后的Transformer网络能够基于给定的历史对话信息生成一组符合当前对话情景的策略，更精确地指导自然语言生成模块的大语言模型生成更有针对性的回复。训练好的策略预测网络用于预测用户回复策略时流程（策略预测模块）如图3所示。首先会将对话信息管理模块输出的前K轮对话数据和用户输入按照先后顺序拼接，然后由训练后的Transforme编码器进行编码，并由线性层W映射成对话状态语义向量，同时Transformer编码器的所有策略对应的嵌入向量通过线性层W映射成回复策略语义向量，然后对话状态向量和所有的回复策略语义向量进行向量内积计算相似度，最后按照内积相似度从高到低排序，并筛选相似度大于预先定义的阈值的对应的策略作为用户问题的回复策略。
个性化推荐模块
适当的推荐可以提升对话的趣味性以及给用户提供更有用的信息，本发明的荐模块可以基于用户的量表测评信息推荐相关的心理书籍，并额外设计了活动彩蛋推荐机制提升推荐的多样性。
如图4所示，该模块中，量表信息来源于用户提前填写好的心理量表测评结果对应的报告，心理量表可以选择如PHQ-9、MHT等专业的测评量表，这些量表可以评估焦虑、抑郁、应激反应、人格特质等多种心理健康方面的信息，能较为全面地反映出用户当前的心理健康状态。这些量表信息会通过关键词检索的方式比如采用Elastic Search提供的BM25算法从提前准备好的心理学书籍中进行关键词匹配，并将匹配度高的前K本书籍作为推荐书籍。
此外，为了提升推荐的丰富度与趣味性，本模块设计的活动彩蛋推荐机制可以提供丰富的活动，首先预定义多种类别的活动彩蛋，可以分为学习彩蛋、运动彩蛋、娱乐彩蛋等一共M种类型的活动彩蛋，每一个活动彩蛋下对应种不同的具体活动，如运动彩蛋可以由游泳、爬山、打篮球等具体的运动方式构成，且不同活动的耗时不一样，执行后的收益不一样，这些都需提前定义好，将不同活动彩蛋下具体活动的耗时（以分钟为单位）记作/>(m=1，...，M；/>=1，...，/>)，执行后对应的收益记作/>。用户的心理测评量表会有对应的测评得分S，得分S越大则代表用户当前心理问题越严重，需要尽早采取措施干预，我们可以将S视作一个背包能容纳的重量，不同的活动视作一个物品，这个物品有其对应的重量/>和对应的价值/>，因此问题就变成如何用承重S的背包选择物品（对应的活动），在物品重量不超过S的情况下使其能获得的价值最大。
具体实现过程如下，首先从M个不同的活动彩蛋下随机采样选择一个活动并构成M个候选推荐活动。采用动态规划的方式计算容量S的背包最终获得的价值其对应的递推式如下：
其中是一个二维数组，其大小为MS。/>代表数组的第i+1行第w+1列，其含义是考虑前i个物品时在不超过重量w的情况下能达到的最大价值，/>代表第i个物品的重量(/>)，/>代表第i个物品的价值(/>)。
接下来依据最终的二维数组确认该推荐哪些物品（活动），具体地，通过回溯的方式确定被选择的物品（活动）。步骤如下：从二维数组的末尾即/>开始考虑，对于每一个物品i（从M到1递减），检查/>是否等于/>，如果不相等，则意味当前物品i被包括在内，记录下这个物品i（活动），如果相等则意味着物品i（活动）并没有包括在内，继续检查下一个物品，直到所有物品（活动）都被考虑过，这些被记录的物品则作为最终推荐给用户的活动。假设M=10，S=100，在回溯的过程中若发现/>不等于/>不等于不等于/>，则表明物品（活动）3、5、8、10会被记录并推荐给用户。最终将这些被选择的活动作为用户的推荐活动。将推荐活动和推荐书籍合并便得到了最终的推荐结果。
提示模板库模块
提示工程是指通过设计适当的自然语言提示来指导大语言模型执行特定的生成任务，通过设计有效的提示可以减少模型生成具有争议或者不适当的内容。本发明的提示模板库模块可以根据不同的模式提供不同类型的模板，引导大语言模型完成不同场景下的任务，从而显著提升大语言模型的回复质量。
如图5所示，此模块中，会分为两种不同的模式。当策略预测模块的回复策略中有推荐策略时则会采用推荐模式的机制，否则采用正常模式。
在推荐模式下，用户输入、个性化推荐模块的推荐结果和回复策略会直接进入推荐模板，推荐模板内容可以为' ' '接下来的对话发生在你和用户之间，你的身份是一个智能情感助手，能理解用户情感并且提供有帮助的建议。用户：{user input}（回复策略：{response strategies}）。请你告诉用户你要推荐的内容。以下这些是推荐内容{recommendation}' ' '。在这个例子中，中括号"{user input}"和"{responsestrategies}"以及"{recommendation}"中的内容需要被填充。如果用户输入为“我最近心情不好，很无聊，想看一些书”，回复策略为“共情-肯定-正面建议-推荐”，推荐结果为“书籍：《自卑与超越》，活动：打篮球”，那么将其分别填入"{user input}"、"{responsestrategies}"、"{recommendation}"便可得到完成的模板作为提示语输出。
在正常模式下，用户输入和策略预测模块输出的回复策略会首先经过回复模板A，其内容为：' ' '接下来的对话发生在你和用户之间，你的身份是一个智能情感助手，能理解用户情感并且提供有帮助的建议。用户：{user input}（回复策略：{responsestrategies}）。' ' '，在这个例子中，中括号"{user input}"和"{responsestrategies}"中的内容需要被填充。如果用户输入为“我最近心情不好。”，回复策略为“共情-肯定-正面建议-开放式提问”，那么模板A被填充后的内容就为：' ''接下来的对话发生在你和用户之间，你的身份是一个智能情感助手，能理解用户情感并且提供有帮助的建议。用户：我最近心情不好回复策略。（回复策略：共情-肯定-正面建议-开放式提问）。' ' '。
相似地，回复模板B内容为：' ' '请根据已知信息，用简洁和专业的来回答问题。如果无法从中得到答案，请说“根据已知信息无法回答该问题”，不允许在答案中添加编造成分，答案请使用中文。已知信息：来自于知识检索模块输出的结果{retrieval result} '' '，往中括号"{retrieval result}"中填入检索结果便得到完整的提示。其中符号'⊕'的含义是拼接，填充后的A，B两个回复模板内容会按照先后顺序拼接，然后作为提示语输出到自然语言生成模块。若检索结果为空，则回复模板B不会被填充，模板A和B内容不会被拼接，只有填充后的回复模板A的内容作为提示语。
自然语言生成模块
在该模块中，提示语以及前K轮对话历史会先通过符号'⊕'按先后顺序进行拼接，然后由经过心理领域多轮对话数据微调后的大语言模型回复内容。大语言模型属于因果语言模型，即模型每一个时刻的输出都会依赖于当前及之前所有时刻的输入，并且从前往后每次输出一个字。具体地，可以采用微调后的llama系列的大语言模型进行推理，在模型推理阶段，模型每一个时刻都会输出一个关于字的维概率分布记作/>，其中/>是词表的大小，通常为几万。为了保证模型回复内容的多样性和自然性，通过采样的方式从概率分布/>中选择合适的字作为输出，具体地：如Top-K 采样，比如K选择50，那么就从概率分布/>中选择前50个概率值最高的字构成一个新的概率分布，按照对应的概率分布从中进行采样。此外，除了上述采样方式，也可以使用其他方式如Beamsearch、Nucleus Sampling生成模型回复。最终，采样生成的文本结果作为模型回复输出给用户，并输入到对话信息管理模块保存。
对话信息管理模块
该模块的作用是记录每一轮用户对话历史，下一轮对话时给对话编码模块提供历史信息，从而生成合适的回复策略，并给自然语言生成模块提供对话历史，让其生成能与上文衔接的回复。具体地，若当前对话轮次为第t-1轮，自然语言生成模块的输出t-1和用户输入t-1会被保存到MongoDB数据库，即存储用户每一次的提问和大语言模型的回复，当进入第t轮对话时，该模块会将前K轮的用户提问和模型回复（前K轮对话数据）从数据库中取出输入给策略预测模块，策略预测模块会将当前的用户输入结合前K轮对话数据预测相应的回复策略。同时，会将前K轮对话数据输入自然语言生成模块，自然语言生成模块会将前K轮对话历史和提示语拼接，这样能给大语言模型提供更丰富的上文信息，然后生成质量更高的回复得到输出t，并再次保存到对话信息管理模块，后继的对话以此类推。

Claims (10)

1.一种心理领域智能对话系统，其特征在于，包括以下模块：
知识库检索模块：将用户输入的查询文本转换成查询语义向量后在向量知识库中进行检索，得到与查询语义向量相似度最高的前k个语义向量对应的文本或空结果，即得到检索结果；
策略预测模块：通过设计提示工程技术生成策略标注的多轮对话数据，训练基于Transformer的策略预测模型，再应用训练好的策略预测模型对用户输入进行策略预测，得到用户问题的回复策略，实现细粒度的对话回复和推荐策略引导；
个性化推荐模块：基于用户的心理量表测评信息，通过关键词检索推荐相关心理书籍，并设计活动彩蛋推荐机制来提升推荐多样性，活动彩蛋有不同类型和具体活动，采用动态规划算法选择最优活动组合，最终合并推荐活动和书籍，得到推荐结果，为用户提供有趣且有用的综合推荐；
提示模板库模块：将用户情感或需求输入到策略预测模块得到回复策略，根据回复策略的内容选择推荐模式结合个性化推荐模块的推荐结果生成提示语输出，或者根据回复策略的内容选择正常模式生成提示语输出；
自然语言生成模块：将提示语与前K轮对话历史拼接，输入大语言模型推理得到概率分布，采样生成回复输出给用户并保存；
对话信息管理模块：每一轮的用户对话历史被记录并保存在MongoDB数据库中，从MongoDB数据库中提取前K轮对话数据，并输入给策略预测模块和自然语言生成模块。
2.根据权利要求1所述的一种心理领域智能对话系统，其特征在于，知识库检索模块的实现包括以下步骤：
步骤1.1：构建向量知识库，对心理学领域和日常生活领域的百科知识通过BERT编码器生成语义向量，得到向量知识库；
步骤1.2：将用户输入的查询文本通过BERT编码器进行编码处理，得到查询语义向量；
步骤1.3：使用查询语义向量在向量知识库进行检索，得到与查询语义向量相似度最高的前k个向量对应的文本或空结果。
3.根据权利要求2所述的一种心理领域智能对话系统，其特征在于，步骤1.3包括以下步骤：
步骤1.3.1： 利用ANN检索方法，将查询语义向量与向量知识库中的语义向量进行相似度比较；
步骤1.3.2： ANN检索方法返回与查询向量相似度最高的前k个向量及其与查询向量的距离d；
步骤1.3.3：若距离d都大于预设的阈值l，则认为没有与用户的查询文本相似的文本知识，此时检索结果为空；
步骤1.3.4：若存在距离d小于阈值l的情况，则返回满足阈值条件的所有文本作为检索结果。
4.根据权利要求1所述的一种心理领域智能对话系统，其特征在于，策略预测模块的实现包括以下步骤：
步骤2.1：通过提示工程技术让两个专家级大语言模型互相对话，生成带有策略标注语料的多轮对话数据；
步骤2.2：基于生成的带有策略标注语料的多轮对话数据训练策略预测模型；
步骤2.3：应用训练好的策略预测模型进行用户回复策略预测。
5.根据权利要求4所述的一种心理领域智能对话系统，其特征在于，步骤2.1包括以下步骤：
步骤2.1.1：使两个专家级大语言模型进行互相对话，以产生带有策略标注的语料，得到对话数据，此过程采用专业性的对话数据，覆盖了青少年心理烦恼倾诉、心理常识提问心理相关领域；
步骤2.1.2：对生成的对话数据进行策略标注，得到带有策略标注语料的多轮对话数据，其中Q代表问题，T代表对话轮数，S代表问题对应的策略组，A代表问题对应的回复内容。
6.根据权利要求4所述的一种心理领域智能对话系统，其特征在于，步骤2.2包括以下步骤：
步骤2.2.1：采用Transformer网络作为对话编码器，对多轮对话数据进行编码，得到对话状态语义向量；
步骤2.2.2：将所有预定义的策略视作特殊标记，并通过线性层W映射为回复策略语义向量；
步骤2.2.3：应用排序损失优化策略预测模型，通过计算损失函数的值L来优化模型，损失函数能够明确指示最符合用户的对话状态的策略。
7.根据权利要求4所述的一种心理领域智能对话系统，其特征在于，步骤2.3包括以下步骤：
步骤2.3.1：将对话信息管理模块输出的前K轮对话数据和用户输入，按照先后顺序拼接；
步骤2.3.2：使用训练后的Transformer网络对拼接后的对话数据进行编码，得到对话状态语义向量；
步骤2.3.3：通过线性层W映射，将Transformer编码器的所有策略对应的嵌入向量转换成回复策略语义向量；
步骤2.3.4：计算对话状态向量和所有的回复策略语义向量的相似度；
步骤2.3.5：按照相似度从高到低排序，并筛选相似度大于预先定义的阈值的对应的策略作为用户问题的回复策略。
8.根据权利要求1所述的一种心理领域智能对话系统，其特征在于，个性化推荐模块的实现包括以下步骤：
步骤3.1：获取用户量表信息，对用户填写的心理量表信息进行解析和处理，用户心理健康状态的标签或关键词；
步骤3.2：关键词检索与书籍推荐：使用Elastic Search的BM25算法对量表信息中的关键词进行检索，从心理学书籍库中匹配相关书籍，并将匹配度高的前K本书籍作为推荐书籍；
步骤3.3：活动彩蛋推荐机制：
预定义活动彩蛋：分为M种类型的活动彩蛋，每种类型下有种具体活动；
活动属性定义：每个活动有其耗时和执行后的收益/>；
背包问题建模：将用户的心理测评得分S视为背包容量，不同活动视为物品，物品重量对应耗时和价值对应收益/>，目标是选择总重量不超过S的物品，使得总价值最大；
步骤3.4：动态规划求解：
候选推荐活动选择：从M个不同的活动彩蛋下随机采样选择一个活动，构成M个候选推荐活动；
动态规划递推式：使用动态规划求解背包问题，递推式如式：
所示，其中代表背包在容量为/>时考虑前/>个物品获得的最大价值；
代表第i个物品的重量/>，/>代表第i个物品的价值/>;
步骤3.5：回溯与活动选择：通过回溯的方式检查是否等于/>，以确定哪些活动被选择；
步骤3.6：最终推荐结果：将推荐的活动和推荐的书籍合并，得到最终的推荐结果。
9.根据权利要求1所述的一种心理领域智能对话系统，其特征在于，提示模板库模块的实现包括以下步骤：
步骤4.1：用户输入与策略选择
用户输入：将用户情感或需求作为输入；
策略预测：将用户的情感问题或需求输入到策略预测模块，策略预测模块根据用户输入的内容，生成相应的回复策略；
选择模板模式：如果策略预测模块中存在推荐策略，则进入推荐模式，否则进入正常模式；
步骤4.2a：推荐模式
在推荐模式下，首先获取个性化推荐模块的推荐结果，然后，用户输入、推荐结果和回复策略一起被传递到推荐模板进行填充，生成完整的提示语，得到提示语输出，推荐模板是一个预设的提示语模板，其中包含了需要填充的部分，需要填充的部分包括"{用户输入}"、"{回复策略}"和"{推荐结果}"；
步骤4.2b：正常模式
步骤4.3：填充回复模板A：在正常模式下，用户输入和回复策略被传递到回复模板A，进行填充，生成第一部分的提示语，回复模板A是另一个预设的提示语模板，其中包含了需要填充的部分，需要填充的部分包括"{用户输入}"和"{回复策略}"；
检索与填充回复模板B：获取知识库检索模块的检索结果，检索结果被传递到回复模板B，进行填充，生成第二部分的提示语，回复模板B是另一个预设的提示语模板，用于指导模型根据检索结果生成专业且简洁的回答；
步骤4.4：拼接回复模板A和B：如果回复模板B被填充，则将回复模板A和B的内容按照先后顺序拼接，得到提示语输出。
10.根据权利要求1所述的一种心理领域智能对话系统，其特征在于，自然语言生成模块的实现包括以下步骤：
步骤5.1：提示语及前K轮对话历史进行拼接处理，得到拼接后的完整对话文本；
步骤5.2：拼接后的完整对话文本输入到大语言模型推理，得到大语言模型输出的概率分布；
步骤5.3：对概率分布进行采样，采样生成的文本结果作为模型回复输出给用户，并输入到对话信息管理模块保存。
CN202410033858.1A 2024-01-10 2024-01-10 一种心理领域智能对话系统 Active CN117609486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410033858.1A CN117609486B (zh) 2024-01-10 2024-01-10 一种心理领域智能对话系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410033858.1A CN117609486B (zh) 2024-01-10 2024-01-10 一种心理领域智能对话系统

Publications (2)

Publication Number Publication Date
CN117609486A true CN117609486A (zh) 2024-02-27
CN117609486B CN117609486B (zh) 2024-06-14

Family

ID=89953751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410033858.1A Active CN117609486B (zh) 2024-01-10 2024-01-10 一种心理领域智能对话系统

Country Status (1)

Country Link
CN (1) CN117609486B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932041A (zh) * 2024-03-21 2024-04-26 南京信息工程大学 基于思维链推理的情绪支持对话生成方法、系统及装置
CN117972075A (zh) * 2024-03-28 2024-05-03 华南理工大学 心智与语言智能体协同的情感对话生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153522A1 (zh) * 2018-02-09 2019-08-15 卫盈联信息技术（深圳）有限公司 智能交互方法、电子装置及存储介质
CN113220851A (zh) * 2021-04-28 2021-08-06 山东师范大学 一种基于推理对话模型的人机个性化对话方法及系统
WO2022033332A1 (zh) * 2020-08-14 2022-02-17 腾讯科技（深圳）有限公司 对话生成方法、网络训练方法、装置、存储介质及设备
CN116166778A (zh) * 2022-11-23 2023-05-26 北京理工大学 一种基于人格的情感强度可控对话生成方法
CN117076650A (zh) * 2023-10-13 2023-11-17 之江实验室 一种基于大语言模型的智能对话方法、装置、介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153522A1 (zh) * 2018-02-09 2019-08-15 卫盈联信息技术（深圳）有限公司 智能交互方法、电子装置及存储介质
WO2022033332A1 (zh) * 2020-08-14 2022-02-17 腾讯科技（深圳）有限公司 对话生成方法、网络训练方法、装置、存储介质及设备
CN113220851A (zh) * 2021-04-28 2021-08-06 山东师范大学 一种基于推理对话模型的人机个性化对话方法及系统
CN116166778A (zh) * 2022-11-23 2023-05-26 北京理工大学 一种基于人格的情感强度可控对话生成方法
CN117076650A (zh) * 2023-10-13 2023-11-17 之江实验室 一种基于大语言模型的智能对话方法、装置、介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周震卿;韩立新;: "基于TextCNN情感预测器的情感监督聊天机器人", 微型电脑应用, no. 05, 16 May 2019 (2019-05-16) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117932041A (zh) * 2024-03-21 2024-04-26 南京信息工程大学 基于思维链推理的情绪支持对话生成方法、系统及装置
CN117932041B (zh) * 2024-03-21 2024-06-11 南京信息工程大学 基于思维链推理的情绪支持对话生成方法、系统及装置
CN117972075A (zh) * 2024-03-28 2024-05-03 华南理工大学 心智与语言智能体协同的情感对话生成方法
CN117972075B (zh) * 2024-03-28 2024-08-06 华南理工大学 心智与语言智能体协同的情感对话生成方法

Also Published As

Publication number Publication date
CN117609486B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN110175227B (zh) 一种基于组队学习和层级推理的对话辅助系统
CN117609486B (zh) 一种心理领域智能对话系统
Wu et al. Exercise recommendation based on knowledge concept prediction
CN110852390A (zh) 一种基于校园行为序列的学生成绩分类预测方法及系统
CN111666376B (zh) 一种基于段落边界扫描预测与词移距离聚类匹配的答案生成方法及装置
CN114168707A (zh) 一种面向推荐的情绪型对话方法
CN111400461A (zh) 智能客服问题匹配方法及装置
CN112818106A (zh) 一种生成式问答的评价方法
CN117035074B (zh) 基于反馈强化的多模态知识生成方法及装置
Wang et al. Education Data‐Driven Online Course Optimization Mechanism for College Student
CN117828063B (zh) 一种心理领域数据生成、模型训练方法、装置及存储介质
Song et al. Ada-boundary: accelerating DNN training via adaptive boundary batch selection
Devi et al. ChatGPT: Comprehensive Study On Generative AI Tool
Wu et al. A Comprehensive Exploration of Personalized Learning in Smart Education: From Student Modeling to Personalized Recommendations
Talaghzi et al. A combined E-learning course recommender system
CN116932778A (zh) 一种基于vr技术的教学知识挖掘方法及系统
Alatrash et al. Fine-grained sentiment-enhanced collaborative filtering-based hybrid recommender system
Sun et al. Adapting New Learners and New Resources to Micro Open Learning via Online Computation
Wan et al. A learner’s role-based multi dimensional collaborative recommendation (LRMDCR) for group learning support
Murthy et al. Using social networking evidence to examine the impact of environmental factors on social Followings: An innovative Machine learning method
CN118228718B (zh) 编码器处理方法、文本处理方法及相关设备
CN118350378B (zh) 一种个性化提示语优化方法、装置、电子设备及存储介质
Lv et al. PersonaGAN: Personalized Response Generation via Generative Adversarial Networks
US20240289863A1 (en) Systems and methods for providing adaptive ai-driven conversational agents
Qu History Modeling for Conversational Information Retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant