CN118093837B - 基于Transformer双解码结构的心理支持问答文本生成方法与系统 - Google Patents

Abstract

本发明提出一种基于Transformer双解码结构的心理支持问答文本生成方法与系统，该方法采用BART模型作为心理支持问答自动生成模型，将模型的解码部分扩展为双解码结构，将问题内容输入编码器中获取编码结果；双解码结构包括关键词解码器和回答内容解码器，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；通过自回归的方式重复上述步骤获取心理支持回答文本。本发明通过独立的双解码结构，使关键词解码器指导回答内容自动解码生成回答内容，提高心理支持回答生成的连贯性和多样性，提升心理支持自动问答生成的整体性能。

Description

基于Transformer双解码结构的心理支持问答文本生成方法 与系统

技术领域

本发明涉及自然语言处理领域，特别涉及一种基于Transformer双解码结构的心理支持问答文本生成方法与系统。

背景技术

互联网和社交媒体的普及和便捷，使得人们在经历情绪困扰后，倾向使用互联网或社交媒体表达心理问题或寻求帮助。当用户发布有心理困扰的问题帖后，受过专业训练的论坛版主或其它有相应经验的用户会针对帖子给予相应的回答和指导，这些回答中包含了有助于改善其心理健康的建议与方法，极大地缓解了心理健康服务系统由于心理医生或心理咨询师稀少而面临的压力。因此，在线心理支持的相关研究吸引了越来越多学者的关注，其中就包括心理支持自动问答生成，用于自动生成心理支持相关的文本内容，及时回复心理问题求助者的求助问题，缓解心理问题求助者的情绪困扰。

然而，已有的心理支持问答自动生成中，生成的心理支持回答文本通常较短，而针对较长心理支持回答内容生成的研究尚未充分探讨。已有的针对较长心理支持文本生成的结果通常在文本的逻辑性和连贯性方面稍有欠缺，同时也缺乏对求助问题的针对性和事实因果逻辑。

发明内容

鉴于上述状况，本发明的主要目的是为了提出一种基于Transformer双解码结构的心理支持问答文本生成方法与系统，以解决上述技术问题。

本发明提出了一种基于Transformer双解码结构的心理支持问答文本生成方法，所述方法包括如下步骤：

步骤1、采用BART模型作为心理支持问答自动生成模型，并将模型的解码部分扩展为双解码结构，将问题内容输入编码器中获取编码结果；

步骤2、双解码结构包括关键词解码器和回答内容解码器，根据关键词序列和编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；

步骤3、根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；

步骤4、通过自回归的方式重复步骤1至步骤3逐步获取目标文本，得到心理支持回答文本。

本发明还提出一种基于Transformer双解码结构的心理支持问答文本生成系统，其中，所述系统应用如上所述的基于Transformer双解码结构的心理支持问答文本生成方法，所述系统包括：

模型构建模块，用于：

采用BART模型作为心理支持问答自动生成模型，并将模型的解码部分扩展为双解码结构，双解码结构包括关键词解码器和回答内容解码器；

编码模块，用于：

将问题内容输入编码器中获取编码结果；

解码模块，用于：

根据关键词序列和编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；

根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；

回答文本生成模块，用于：

通过自回归的方式重复步编码模块和解码模块的工作步骤，逐步获取目标文本，得到心理支持回答文本。

相较于现有技术，本发明的有益效果如下：

本发明采用双解码结构，使得生成的心理问题的关键点和心理支持回答的具体内容两个过程分开，避免相互干扰；并且通过关键词解码器指导回答内容自动解码生成回答内容，可以帮助在正式生成心理支持回答内容之前规划回答内容中要讨论的观点和重点，提高心理支持回答生成的事实性、逻辑性、连贯性以及多样性，从而提升心理支持自动回答生成的整体性能。

本发明的附加方面与优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

图1为本发明提出的基于Transformer双解码结构的心理支持问答文本生成方法的流程图；

图2为本发明提出的基于Transformer双解码结构的心理支持问答文本生成方法的双解码结构的模型架构图；

图3为本发明提出的基于Transformer双解码结构的心理支持问答文本生成系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。

请参阅图1和图2，本发明实施例提供了一种基于Transformer双解码结构的心理支持问答文本生成方法，所述方法包括如下步骤：

步骤1、采用BART模型作为心理支持问答自动生成模型，并将模型的解码部分扩展为双解码结构，将问题内容输入编码器中获取编码结果；

针对心理支持问答自动生成任务，本发明采用经过中文预训练的基于Transformer架构的BART模型作为生成模型，并将其扩展为双解码结构。针对该模型的输入内容（即问题内容），本发明使用一个共享的BART编码器来编码问题内容的输入，编码器的输出编码结果将被两个解码器使用。将问题内容输入编码器中获取编码结果的过程存在如下关系式：

；

其中，表示经过共享编码器处理后得到的问题内容的编码结果，，表示输入的问题内容的长度，表示隐藏层维度，表示问题内容。

步骤2、双解码结构包括关键词解码器和回答内容解码器，根据关键词序列和编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；

在所述步骤2中，根据关键词序列和编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词的过程存在如下关系式：

；

；

其中，表示在时间步根据编码结果和时刻解码生成的关键词序列生成的当前时刻的关键词序列的隐藏层表示，，表示经过softmax计算得出的关键词序列的概率分布，和分别表示关键词解码器中两个不同的可学习参数。

在本步骤中，问题内容关键词解码器KD主要用于生成问题的重要关键信息。根据输入的问题编码内容，通过关键词解码器KD解码生成问题的关键词序列，该关键词序列包含问题的关键点，可以帮助心理支持回答在正式生成之前提取问题的重要观点和信息，提高回答文本生成的针对性和准确性，同时还可以提高心理支持回答文本生成的多样性和连贯性。关键词序列文本生成和回答内容的文本生成是通过两个解码器完成的，两个过程是独立的，避免相互干扰，因此，能够提高心理支持回答生成的连贯性和准确度，提升心理支持自动回答的整体性能。

本发明的关键词解码器KD基于BART的解码部分，BART的解码部分是基于Transformer的自回归解码机制，即采用自回归方式来逐词生成目标文本。具体来说，在解码器的每个时间步，它都会接收到编码器对整个源文本生成的上下文向量表示。同时，对于每个后续时间步，解码器除了利用源文本外，还会结合在前时间步生成的文本来预测时间步的目标文本。也就是说，解码器解码生成的每个目标文本都需要依赖于之前已生成的文本，将已生成的文本序列作为输入，来逐步生成下一个文本序列。最后，解码器会输出一个概率分布，该分布表示在当前时间步生成的目标文本的概率。通过这样的逐词递归的过程，基于Transformer架构的解码器能够生成完整连续的目标文本。

步骤3、根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；

在所述步骤3中，根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本的过程存在如下关系式：

；

；

其中，表示在当前时间步的目标回答文本的隐藏层表示，，和分别表示关键词序列解码过程中，注意力层生成的目标关键词的键、值，和分别表示回答内容解码器中两个不同的可学习参数，表示在时刻解码生成的目标文本，表示经过softmax计算得出的目标回答文本的概率分布。

在所述步骤3中，根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本的方法具体包括如下步骤：

将关键词解码器计算所得的关键词序列的概率分布选择目标关键词，并映射为目标关键词的查询、键、值；

将编码结果和时刻解码生成的目标回答文本结合映射为回答内容解码器的查询、键、值；

将目标关键词的键、值与回答内容解码器的键、值进行融合以进行后续注意力的计算，使得目标关键词的键、值参与回答内容目标文本的键、值的生成过程，从而影响并指导最终回答内容目标文本的解码生成过程，将目标关键词的键、值与回答内容解码器的键、值进行融合的过程存在如下关系式：

；

其中，分别表示回答内容解码器的原始查询、键、值，表示第层Transformer，，分别表示目标关键词的键、值，分别表示回答内容解码器的查询、键、值，表示拼接操作，该过程使得回答内容解码生成过程中，解码生成的每个token都有关键词序列解码阶段的所有token的参与，通过这种方式使得关键词序列的生成能够指导和影响回答内容的文本生成过程。

BART解码器的每一层Transformer都包含自多头注意力层（self multi-headattention）、交叉多头注意力层（cross multi-head attention）和前馈层（feed-forward）。在Transformer的注意力机制中，Query（查询）、Key（键）和Value（值）是三个核心值，Query 用于衡量与每个 Key 的相关性，Key 用于构建注意力得分的计算基础，而Value 用于根据注意力得分进行加权求和，生成最终的目标文本输出。在本发明中，在解码关键词序列过程中，对于每一层Transformer的自多头注意力子层，通过将注意力机制中的Key、Value表示为、，通过将KD解码生成的目标关键词的、作为回答内容解码器AD的输入，用于指导后续回答内容目标文本的解码生成。

步骤4、通过自回归的方式重复步骤1至步骤3逐步获取目标文本，得到心理支持回答文本。

在执行上述步骤1至步骤4中，对应的训练方法包括如下训练步骤：

给定训练集，训练集包括求助者的问题内容和对应的回答文本，从求助者的问题内容中提取若干关键词构成关键词序列；

基于负对数似然损失函数，利用给定的问题内容和时刻解码生成的关键词序列对所提取的关键词序列预测的对数概率构建关键词序列解码损失函数，构建键词序列解码损失函数的过程存在如下关系式：

；

其中，表示关键词序列解码损失函数，表示所提取的关键词序列，表示当前时间步，表示生成关键词序列的长度，表示给定的问题内容；

基于负对数似然损失函数，利用给定的问题内容、所提取的关键词序列和时刻解码生成的目标文本对给定的目标回答文本预测的对数概率构建心理支持回答解码损失函数，构建心理支持回答解码损失函数的过程存在如下关系式：

；

其中，表示心理支持回答解码损失函数，表示给定的目标回答文本，表示生成目标回答内容序列的长度；

利用关键词序列解码损失函数和心理支持回答解码损失函数构建总损失函数，并通过最小化损失以优化模型性能，构建总损失函数的过程存在如下关系式：

；

其中，表示总损失函数。

在训练过程中,对于问题内容的关键词序列的构建，本发明使用基于关键词的方式，采用TF-IDF得分来提取问题内容中重要的词作为关键词，主要提取排行前 10得分的关键词构建问题的关键词序列，关键词序列表示为：

；

其中，表示所提取的关键词序列，表示第个关键词，表示两个关键词之间的分隔符，表示关键词序列长度，即取问题内容前10个关键词，表示关键词和对应序号之间的分隔符。

请参照图3，本发明还提出一种基于Transformer双解码结构的心理支持问答文本生成系统，所述系统应用如上述的基于Transformer双解码结构的心理支持问答文本生成方法，所述系统包括：

模型构建模块，用于：

采用BART模型作为心理支持问答自动生成模型，并将模型的解码部分扩展为双解码结构，双解码结构包括关键词解码器和回答内容解码器；

编码模块，用于：

将问题内容输入编码器中获取编码结果；

解码模块，用于：

根据关键词序列和编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；

根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；

回答文本生成模块，用于：

通过自回归的方式重复步编码模块和解码模块的工作步骤，逐步获取目标文本，得到心理支持回答文本。

本发明对自动生成的回答内容采用自动评估和人工评估两种方法进行评价。其中自动评估指标选用困惑度（Perplexity）、双语评估替补（BLEU）、以召回率为导向的摘要评估（ROUGE）、多样性（Distinct）指标。

Perplexity（PPL）：困惑度Perplexity（PPL）是基于语言模型的文本生成评价指标，主要用来评价语言模型在预测样本上的质量优劣。低困惑度（PPL）的模型能更好地预测样本。PPL是通过计算语言模型预测结果的损失loss，再对损失loss取指数即得到当前模型预测结果的PPL。PPL指标越低，代表语言模型的建模能力就越好，生成的结果越好。

BLEU（Bilingual Evaluation Understudy）：双语评估辅助工具，核心思想是比较候选译文和参考译文里的n-gram（连续n个词或字符序列）的重合程度，重合程度越高就认为译文质量越高。unigram用于衡量单词翻译的准确性，高阶n-gram用于衡量句子翻译的流畅性。本发明是取N=1~4，然后对的各个结果进行加权平均。BLEU的计算公式如下：

；

其中，P表示连续生成的n个词相同的概率。惩罚系数取值范围在0-1之间，当生成的结果与目标结果长度一致时，取值为1，当生成的结果比目标结果短时，取值小于1。weight是对每个gram赋予的一个权重。BLEU的取值在0到1之间，值越大表示生成的结果越好。

（3）ROUGE（Recall-Oriented Understudy for Gisting Evaluation）：可以认为是BLEU的改进版，专注于召回率而非精度。主要是计算有多少个原始参考句子中的n元词组出现在了输出之中。ROUGE大致分为四种：ROUGE-N（将BLEU的精确率优化为召回率），ROUGE-L（将BLEU的n-gram优化为公共子序列），ROUGE-W（将ROUGE-L的连续匹配给予更高的奖励），ROUGE-S（允许n-gram出现跳词(skip)）。本发明使用ROUGE-N作为评价指标。“N”指的是N-gram，其计算方式与BLEU类似，只是BLEU基于精确率，而ROUGE基于召回率。

（4）Distinct：在文本生成过程中，还需要追求文本的多样性。Distinct的指标即是被用来评估本文的多样性。Distinct的定义如下：

其中，表示生成文本中不重复的数量，表示生成文本中词语的总数量。表示，表示。越大表示生成的多样性越高。本发明取、作为评价指标。

为了更好地评估生成的回答质量，本发明另外进行了人工评估。在人工评估任务中，本发明主要评价双解码模型自动生成的心理支持回答的生成效果。本发明使用的人工评估指标包括：

（1）流畅度：回答是否流畅和易于阅读；

（2）相关性：回答是否与用户的问题相关；

（3）帮助性：回答是否能提供有帮助的建议；

（4）共情能力：回答是否有适当的情感或共情回应，如温暖、同情和关切。采用fivestars评分法（五星评分法），其中1分表示生成的回答“很差”，5分表示生成的回答“很好”。

本发明提出了一种基于Transformer双解码结构的心理支持问答文本自动生成方法，该方法基于编码器-解码器结构的Transformer模型，并将其扩展为双解码器结构。该模型包含一个共享的编码器，用于编码求助者心理问题的输入内容。此外，该模型包含两个解码器，一个关键词序列解码器KD，用于解码生成包含心理问题重要信息内容的关键词序列，另外一个是回答内容解码器AD，该解码器根据KD解码获得的问题内容关键词序列，结合问题原始内容的输入编码，自动解码生成心理支持的回答内容。整个发明利用双解码结构，使得生成的心理问题的关键点和心理支持回答的具体内容两个过程分开，避免相互干扰，提高心理支持回答生成的事实性、逻辑性、连贯性以及多样性，从而提升心理支持自动回答生成的整体性能。

应当理解的，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于Transformer双解码结构的心理支持问答文本生成方法，其特征在于，所述方法包括如下步骤：

步骤1、采用BART模型作为心理支持问答自动生成模型，并将模型的解码部分扩展为双解码结构，将问题内容输入编码器中获取编码结果；

步骤2、双解码结构包括关键词解码器和回答内容解码器，根据编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；

步骤3、根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；

步骤4、通过自回归的方式重复步骤1至步骤3逐步获取目标文本，得到心理支持回答文本；

在所述步骤3中，根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本的过程存在如下关系式：

；

；

其中，表示在当前时间步的目标回答文本的隐藏层表示，，和分别表示关键词序列解码过程中，注意力层生成的目标关键词的键、值，和分别表示回答内容解码器中两个不同的可学习参数，表示在时刻解码生成的目标文本，表示经过softmax计算得出的目标回答文本的概率分布；

在所述步骤3中，根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本的方法具体包括如下步骤：

将关键词解码器计算所得的关键词序列的概率分布选择目标关键词，并映射为目标关键词的查询、键、值；

将编码结果和时刻解码生成的目标回答文本结合映射为回答内容解码器的查询、键、值；

将目标关键词的键、值与回答内容解码器的键、值进行融合以进行后续注意力的计算，使得目标关键词的键、值参与回答内容目标文本的键、值的生成过程，从而影响并指导最终回答内容目标文本的解码生成过程，将目标关键词的键、值与回答内容解码器的键、值进行融合的过程存在如下关系式：

；

其中，分别表示回答内容解码器的原始查询、键、值，表示第层Transformer，,,，分别表示目标关键词的键、值，分别表示融合了目标关键词的键、值后，回答内容解码器的查询、键、值，表示拼接操作。

2.根据权利要求1所述的基于Transformer双解码结构的心理支持问答文本生成方法，其特征在于，在所述步骤1中，将问题内容输入编码器中获取编码结果的过程存在如下关系式：

；

其中，表示经过共享编码器处理后得到的问题内容的编码结果，，表示输入的问题内容的长度，表示隐藏层维度，表示问题内容。

3.根据权利要求2所述的基于Transformer双解码结构的心理支持问答文本生成方法，其特征在于，在所述步骤2中，根据编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词的过程存在如下关系式：

；

；

其中，表示在时间步根据编码结果和时刻解码生成的关键词序列生成的当前时刻的关键词序列的隐藏层表示，，表示经过softmax计算得出的关键词序列的概率分布，和分别表示关键词解码器中两个不同的可学习参数。

4.根据权利要求3所述的基于Transformer双解码结构的心理支持问答文本生成方法，其特征在于，在执行上述步骤1至步骤3中，对应的训练方法包括如下训练步骤：

给定训练集，训练集包括求助者的问题内容和对应的回答文本，从求助者的问题内容中提取若干关键词构成关键词序列；

基于负对数似然损失函数，利用给定的问题内容和时刻解码生成的关键词序列对所提取的关键词序列预测的对数概率构建关键词序列解码损失函数，构建键词序列解码损失函数的过程存在如下关系式：

；

其中，表示关键词序列解码损失函数，表示所提取的关键词序列，表示当前时间步，表示生成关键词序列的长度，表示给定的问题内容；

基于负对数似然损失函数，利用给定的问题内容、所提取的关键词序列和时刻解码生成的目标文本对给定的目标回答文本预测的对数概率构建心理支持回答解码损失函数，构建心理支持回答解码损失函数的过程存在如下关系式：

；

其中，表示心理支持回答解码损失函数，表示给定的目标回答文本，表示生成目标回答内容序列的长度；

利用关键词序列解码损失函数和心理支持回答解码损失函数构建总损失函数，并通过最小化损失以优化模型性能，构建总损失函数的过程存在如下关系式：

；

其中，表示总损失函数。

5.根据权利要求4所述的基于Transformer双解码结构的心理支持问答文本生成方法，其特征在于，从求助者的问题内容中提取若干关键词的过程中，采用TF-IDF得分来提取问题排行前10得分的关键词构建问题的关键词序列，关键词序列表示为：

；

其中，表示所提取的关键词序列，表示第个关键词，表示两个关键词之间的分隔符，表示关键词序列长度，即取问题内容前10个关键词，表示关键词和对应序号之间的分隔符。

6.一种基于Transformer双解码结构的心理支持问答文本生成系统，其特征在于，所述系统应用如权利要求1至5任意一项所述的基于Transformer双解码结构的心理支持问答文本生成方法，所述系统包括：

模型构建模块，用于：

采用BART模型作为心理支持问答自动生成模型，并将模型的解码部分扩展为双解码结构，双解码结构包括关键词解码器和回答内容解码器；

编码模块，用于：

将问题内容输入编码器中获取编码结果；

解码模块，用于：

根据编码结果，通过关键词解码器生成包含有求助者心理问题重要信息的关键词；

根据编码结果，利用关键词中所包含的求助者心理问题重要信息指导回答内容解码器生成回答内容目标文本；

回答文本生成模块，用于：

通过自回归的方式重复步编码模块和解码模块的工作步骤，逐步获取目标文本，得到心理支持回答文本。