CN112687374B - 一种基于文本和图像信息联合计算的心理危机预警方法 - Google Patents

Abstract

本发明公开了一种基于文本和图像信息联合计算的心理危机预警方法，包括步骤：S1、建立和训练心理健康自动评估模型，S2、从步骤S1中选取某被试学生的网络内容数据，依次对每条文本及对应图像进行预处理，分别获得文本表示矩阵和图像表示矩阵；S3、将文本表示矩阵和图像表示矩阵按行顺序依次输入文本情感计算模型和图像情感计算模型，分别得到文本情感倾向矩阵和图像情感倾向矩阵，再将两矩阵按行顺序依次采用最大值决策规则的方式计算获得该被试学生的综合情感倾向向量序列；S4、将综合情感倾向向量序列输入心理健康自动评估模型中，以输出结果判断该被试学生的心理健康等级，完成心理健康自动评估。本发明可快速准确地识别学生心理健康水平。

Description

一种基于文本和图像信息联合计算的心理危机预警方法

技术领域

本发明属于心理危机预警技术领域，具体涉及一种基于文本和图像信息联合计算的心理危机预警方法。

背景技术

随着社会竞争愈发激烈、人际关系逐渐复杂，承载着多方压力的大学生易产生焦虑、抑郁等心理问题，而目前高校的心理健康教育工作存在指向性，未能关注到全体学生并满足学生个性化的发展需求，因此实现对大学生心理健康状况的快速、准确评估既是学生顺利开展学习活动的前提和保障，亦是高校心理工作实现精准干预和提供个性化教育服务的基础。

现有的心理健康评估分为基于问卷和访谈的显式获取方式和基于网络爬虫和人工智能技术的隐式获取方式的评估。基于显式获取方式的心理健康评估主要有心理量表和结构化访谈。伴随着互联网技术的快速发展和人工智能技术的逐渐成熟，基于隐式获取方式的心理健康自动评估受到了国内外学者的广泛关注。现有研究利用各类社交网络平台上的数据自动评估用户的心理健康状况，有研究者以用户网络行为表现作为特征选择的评估方式，通过采集用户的新浪微博行为数据，利用任务回归学习方法等方法预测用户的抑郁和焦虑程度，发现用户的心理健康状况与其在微博使用行为上的差异性有关；也有研究者将社交网络文本内容作为特征选择的评估方式，最常见的就是基于LIWC词典中的词类对文本内容进行词频统计，还有通过训练LDA主题模型，分析帖子文本的主题，评估用户的心理健康状况等。

基于显式获取方式的心理健康评估在实际应用中大多是针对新生的单次普查，无法进行持续地跟踪调查；在实施过程中存在社会称许性和量表的侵入性作用；评估工作上受人工处理速度限制和被评估者的自主性限制。虽然基于隐式获取方式的心理健康自动评估能有效改善上述问题，但是现有的心理健康评估大部分是以网络行为数据为主，或者是以文本分析为主，忽略了不同模态数据之间的信息互补性；其次，心理健康是一种随着时间推移变化程度较大的状态型心理特征，现有研究忽略了因时间偶然性带来了误差，未考虑一段时间内学生的心理健康变化状况，因而心理健康自动评估的准确率有所折扣，其准确率还有很大的提升空间，无法为大学生心理危机做出精确的预警分析。

发明内容

本发明的目的在于提供一种基于文本和图像信息联合计算的心理危机预警预警方法，通过联合计算学生的文本、图像等不同类型数据的网络内容数据，可快速、准确地识别学生心理健康水平，为大学生的心理危机作出预警分析。

本发明的目的通过以下技术方案实现：提供一种基于文本和图像信息联合计算的心理危机预警方法，包括以下步骤：

S1、建立和训练心理健康自动评估模型，具体分为以下过程：

S101、构建用于训练的数据集，并对数据集进行预处理，所述数据集是指获取的所有被试学生社交平台上公开发表的网络内容数据，形成文本数据集、图像数据集和图文联合标注数据集三类；

S102、通过建立词嵌入层、Bi-LSTM层、全连接层的三层神经网络框架训练得到文本数据集和图文联合标注数据集中的每条文本情感倾向向量，获得文本情感计算模型；通过微调卷积神经网络训练，得到图像数据集和图文联合标注数据集中的每个图像情感倾向向量，获得图像情感计算模型；

S103、用最大值决策规则来联合计算上述的文本情感倾向向量和图像情感倾向向量，获得所有被试学生单条网络内容数据的综合情感倾向向量；

S104、重复步骤S101-S103，获得所有被试学生一段时间内所有网络内容数据的综合情感倾向向量序列，在此基础上，用隐条件随机场(HCRF)来训练进而得到所有被试学生的心理健康特征向量，获得心理健康自动评估模型；

S2、从步骤S1中选取某被试学生的网络内容数据，依次对每条文本及对应图像进行预处理，分别获得文本表示矩阵和图像表示矩阵；

S3、将文本表示矩阵和图像表示矩阵按行顺序依次输入步骤S1的文本情感计算模型和图像情感计算模型，分别得到文本情感倾向矩阵和图像情感倾向矩阵，再将文本情感倾向矩阵和图像情感倾向矩阵按行顺序依次采用步骤S3001中最大值决策规则的方式计算获得该被试学生的综合情感倾向向量序列；

S4、将获得的综合情感倾向向量序列输入步骤S1所得的心理健康自动评估模型中，以输出结果判断该被试学生的心理健康等级，完成心理健康自动评估。

作为进一步的改进，所述步骤S101中构建用于训练的数据集，并对数据集进行预处理具体表现为：

S1011、向被试学生发放流调用抑郁自评量表并进行沟通说明，完成自评量表的自评分；同时，在与被试学生签署知情同意书的情况下，通过网络爬虫技术获取被试学生在社交平台上公开的网络内容数据存于数据库；

S1012、被试学生按照自评量表的自评分值来划分评估等级进行心理健康等级标注，以便与心理健康自动评估模型输出结果进行比对；

S1013、筛选网络内容数据，得到被试学生特定时间段内反应真实心理状况的有效网络内容数据；

S1014、被试学生的有效网络内容数据则邀请领域专家根据情感倾向性标注正负情绪类别，形成文本数据集、图像数据集、图文联合标注数据集三类原始数据；

S1015、针对步骤1014中文本数据集、图像数据集、图文联合标注数据集进行向量化预处理操作，得到文本表示向量和图像表示向量，便于后续进行情感倾向向量化计算。

作为进一步地改进，步骤S1012中心理健康等级标注具体分为第一类别、第二类别和第三类别共三类，其中，第一类别表示该被试学生的心理健康状况为健康等级，第二类别表示该被试学生的心理健康状况为可能抑郁等级，第三类别表示该被试学生的心理健康状况为抑郁倾向等级。

作为进一步的改进，所述步骤S102中微调卷积神经网络以VGG16为基准模型，通过微调策略来构建CNN模型，即全连接层设置为512relu-2softmax，冻结VGG卷积块进行5轮epoch训练以实现初步迁移；其次解冻VGG16第五个卷积块权重进行20轮epoch以微调模型权重参数

作为进一步的改进，所述步骤S103具体包括以下步骤：

S1031、文本情感倾向向量计算：由LSTM单元计算文本数据集的文本，获得包含上下文信息的文本特征表示；再将文本特征表示输入激活函数为softmax的全连接层，得到文本情感倾向向量；

S1032、图像情感倾向向量计算：由卷积层和池化层交替计算图像数据集的图像，习得图像特征表示；再将图像特征表示输入激活函数为softmax的全连接层，得到图像情感倾向向量；

S1033、获得综合情感倾向向量：

计算单条网络内容数据中所有图像的情感倾向向量；

将所有图像均值化处理后，得到总图像情感倾向向量；

分别设置文本情感倾向向量和总图像情感倾向向量的权重参数，并采用网格搜索方法找寻最优解；

采用最大值规则融合计算已加权的文本情感倾向向量和总图像情感倾向向量；

考虑被试学生发表网络内容数据存在多模态数据不完整的情况，设计以下策略以提高模型健壮性：

式中，Y_i为被试学生单条网络内容数据的综合情感倾向向量，为最终生成单条网络内容数据的融合情感倾向向量，/>为文本情感倾向向量，/>为图像情感倾向向量。

作为进一步的改进，所述步骤S104中心理健康自动评估模型进行心理健康等级计算的具体步骤如下：

设定x＝{x₁,x₂,…,x_n}对应被试学生时间段内每条网络内容数据的情感分数，为时序模型的一组观测序列，h＝{h₁,h₂,…,h_n}对应观测序列中习得的规律特征，为时序模型的一组隐随机变量，y表示被试学生一组观测序列对应的心理健康等级随机变量；

当给出被试学生时间段内的一组网络内容数据观测序列x，则心理健康等级变量y的条件概率具体计算过程：

式中，由θ参数化的势函数ψ(y,h,x；θ)和Ψ(y',h,x,θ)均用于度量一个等级类别、一组隐状态序列和观测序列之间的兼容性，Y表示该模型中一组心理健康等级的可能值，H表示观测序列中一组可能的规律特征值。

作为进一步的改进，所述步骤S2具体表现为：文本至少完成包括表情符转换、无关字符删除、字体转换、词嵌入表示的预处理，转换成200维的句子向量；图像至少完成包括格式转换、尺寸调整、归一化预处理，转换成224*224*3的图像张量；同时，记录每条文本内容对应的所有配图内容，并按时间先后顺序依次存储，生成文本表示矩阵和图像表示矩阵。

作为进一步的改进，所述步骤S4中以输出结果判断该被试学生的心理健康等级，完成心理健康自动评估具体表现为：当输出结果对应于第一类别时，该被试学生的心理健康状况为健康等级；当输出结果对应于第二类别时，该被试学生的心理健康状况为可能抑郁等级；当输出结果对应于第三类别时，该被试学生的心理健康状况为抑郁倾向等级。

作为进一步的改进，所述步骤S1建立和训练心理健康自动评估模型还包括以下过程：

S105、将被试学生通过自评量表的自评分值标注的心理健康等级，与获得的心理健康自动评估模型输出结果进行比对，以便验证心理健康自动评估模型的准确度。

简而言之，上述基于文本和图像信息联合计算的心理危机预警方法首先人工标注并构建文本数据集、图像数据集、图文联合标注数据集，对文本、图像以及图文分别向量化处理得到文本表示向量、图像表示向量，并分别进行词嵌入层-Bi-LSTM层-全连接层的三层神经网络和微调卷积神经网络的训练，得到文本情感计算模型、图像情感计算模型；再将上一步处理后得到的的文本情感倾向向量和图像情感倾向向量进行最大值决策规则联合计算获得综合情感倾向向量，基于综合情感倾向向量获得被试学生一段时间内所有网络内容数据的综合情感倾向向量序列，将该综合情感倾向向量序列输入隐条件随机场(HCRF)进行训练，得到心理健康评估模型；最后，测试所提方法，即对某一被试学生网络内容数据进行预处理，再分别计算文本情感倾向向量、图像情感倾向向量，经最大值决策规则联合计算后由心理健康评估模型进行评估，得到学生的心理健康等级。本发明通过深度学习的方法挖掘不同模态数据间的情感信息，能有效地解决表达上的多义性问题，能更精确地对学生的真实情感进行预测，除此之外，由于评估过程中采取时序分析法，利用不规则间隔策略记录大学生一段时间内不连续发布的自述内容，在综合观察分析下获得心理健康评估结果，能为高校学生的心理危机做出良好的预警分析。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是一种基于文本和图像信息联合计算的心理危机预警方法的流程图。

图2是文本情感倾向向量和图像情感倾向向量联合计算流程图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

本发明提供了一种基于文本和图像信息联合计算的心理危机预警方法，具体包括以下步骤：

S1、建立和训练心理健康自动评估模型，具体分为以下过程：

S101、构建用于训练的数据集，并对数据集进行预处理，所述数据集是指获取的所有被试学生社交平台上公开发表的网络内容数据，形成文本数据集、图像数据集和图文联合标注数据集三类；这些网络内容数据涉及文本、图像、表情符号等模态，每条文本需完成表情符转换、无关字符删除、字体转换、结巴分词等操作，预处理成200维的句子向量；每张图像则需实现格式转换、尺寸调整、归一化等处理，转变成224*224*3的图像张量；

S102、通过建立词嵌入层、Bi-LSTM(Bi-directional Long Short-Term Memory，双向长短时记忆)层、全连接层的三层神经网络框架训练得到文本数据集和图文联合标注数据集中的每条文本情感倾向向量，获得文本情感计算模型；通过微调卷积神经网络训练，得到图像数据集和图文联合标注数据集中的每个图像情感倾向向量，获得图像情感计算模型；

S103、用最大值决策规则(最优控制中的最大值原理，是在目标泛函的最大化问题中得到最优控制的必要条件是使哈密顿函数达最大值而得名的)来联合计算上述的文本情感倾向向量和图像情感倾向向量，获得所有被试学生单条网络内容数据的综合情感倾向向量；

S104、重复步骤S101-S103，获得所有被试学生一段时间内所有网络内容数据的综合情感倾向向量序列，在此基础上，用隐条件随机场(HCRF)来训练进而得到所有被试学生的心理健康特征向量，获得心理健康自动评估模型；

S2、从步骤S1中选取某被试学生的网络内容数据，依次对每条文本及对应图像进行预处理，分别获得文本表示矩阵和图像表示矩阵；

S3、将文本表示矩阵和图像表示矩阵按行顺序依次输入步骤S1的文本情感计算模型和图像情感计算模型，分别得到文本情感倾向矩阵和图像情感倾向矩阵，再将文本情感倾向矩阵和图像情感倾向矩阵按行顺序依次采用步骤S1中最大值决策规则的方式计算获得该被试学生的综合情感倾向向量序列；

S4、将获得的综合情感倾向向量序列输入步骤S1所得的心理健康自动评估模型中，以输出结果判断该被试学生的心理健康等级，完成心理健康自动评估。

在图1-图2所示具体实施例中，本发明主要按照以下步骤实现：

1、获取多模态数据

文字、视觉信息是人类认知世界、表达自我的基础信息，是头脑与心理的作用结果，可以反应出个体的心理状态。本发明向被试学生发放心理学上常用的CES-D(流调用抑郁自评量表)并进行沟通说明，完成自评量表的自评分；同时，在与被试学生签署知情同意书的情况下，通过网络爬虫技术获取学生在社交平台上公开的网络内容数据(自评量表问卷填写日期前一年的数据)存于数据库。数据质量决定了评估结果的好坏，本发明对数据进行了筛选处理：去除问卷分数为零或满分的学生数据；去除问卷填写时间少于3分钟的学生数据；去除腾讯说说帖子数低于阈值的学生数据，进而得到被试学生特定时间段内反应真实心理状况的有效网络内容数据。此外，将被试学生按照自评量表的自评分值来划分评估等级进行心理健康等级标注，以便与心理健康自动评估模型输出结果进行比对

2、构建用于训练的数据集

收集的被试学生有效网络内容数据无法直接用于心理特征的处理分析，需对这些原始数据进行标注和预处理。标注：被试学生按照自评量表自评分值来划分评估等级进行标注，其标注具体分为第一类别、第二类别和第三类别共三类，其中，第一类别表示该被试学生的心理健康状况为健康等级，第二类别表示该被试学生的心理健康状况为可能抑郁等级，第三类别表示该被试学生的心理健康状况为抑郁倾向等级；将被试学生有效网络内容数据中的文本、图像、包含映射关系的图文数据则邀请领域专家根据情感倾向性标注正负情绪类别，形成文本数据集、图像数据集、图文联合标注数据集。预处理：针对文本数据集、图像数据集、图文联合标注数据集进行预处理操作，即文本模态需替将em表情代码替换成对应表情词语，删除无关字符内容和分词等，图像模态需转换图像格式为jpg并缩放为224*224大小，进行标准化及归一化处理等，图文数据需建立关系映射表。

3、建构文本情感计算模型、图像情感计算模型，并进行最大值决策规则联合计算

双向长短时记忆(Bi-LSTM)是一种由前向LSTM和后向LSTM组成的，能很好捕捉文本的上下文信息、挖掘情绪信息的神经网络模型。本发明采用词嵌入层+Bi-LSTM层+密集连接层的三层神经网络框架来训练文本情感计算模型，使得模型能更好地处理前后情绪存在的文本内容，准确获得学生真实情绪。

VGG16网络是牛津大学视觉组提出的具有16层结构的卷积神经网络，在图像特征表示和泛化能力上有着不错的效果。本发明以VGG16为基准模型，通过微调策略来构建CNN(Convolutional Neural Networks，卷积神经网络)模型，即设置全连接层设置为512relu-2softmax，冻结VGG卷积块进行5轮epoch(时期)训练以实现初步迁移；其次解冻VGG16第五个卷积块权重进行20轮epoch以微调模型权重参数。这既能使网络结构更适于计算图像情感，也避免过拟合风险。需要说明的是，1个epoch等于使用训练集中的全部样本训练一次。VGG16网络的具体结构参照现有技术，此处不再赘述。

在单独训练好文本情感计算模型和图像情感计算模型后，将图文联合标注数据集中的每一条样本分别输入两个模型获得文本、图像情感倾向向量，再通过网格搜索方式寻找最优权重参数实现对两种不同模态的加权，最后进行最大值规则融合计算并评估多模态融合的效果。

所述被试学生单条网络内容数据的综合情感倾向向量由文本情感倾向向量和图像情感倾向向量通过最大值融合规则计算所得：

1)计算文本情感倾向向量

步骤11：计算单向的文本语义特征；

当向LSTM单元输入上一时刻的输出h_t-1和当前时刻的输入词嵌入向量x_t，经过遗忘门使用sigmoid函数进行计算保留了上文信息：

f_t＝σ(W_xfx_t+W_hfh_t-1+b_f) (1)

式中，f_t表示经过遗忘门使用sigmoid函数计算保留的上文信息，σ表示激活函数，在这里是相当于一个门，决定让多少信息通过这个门，W_xf表示x_t经过遗忘门的权重，W_hf表示上一时刻的输出h_t-1(也就是指t时刻前向隐的信息)经过遗忘门的权重，b_f表示遗忘门的偏置；需要说明的是，sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。

其次，由输入门通过sigmoid函数决定需更新至记忆细胞的新信息，并通过tanh函数(双曲正切函数)对信息形式进行转换：

i_t＝σ(W_xix_t+W_hih_t-1+b_i) (2)

式中，i_t表示经过输入门计算更新的信息，W_xi表示输入词嵌入向量x_t经过输入门的权重，W_hi表示上一时刻的输出h_t-1(也就是指t时刻前向隐的信息)经过输入门的权重，b_i表示输入门的偏置，表示对转换信息形式后的信息，W_xc表示对信息转换时x_t权重，W_hc表示信息转换时h_t-1的权重，b_c表示偏置，

通过遗忘门和输入门的控制处理，更新记忆细胞中的有效信息：

式中，c_t表示当前记忆细胞中的有效信息，c_t-1表示上文信息，

最后，由输出门使用sigmoid函数确定输出内容并通过tanh函数进行数据变换，最后相乘得到t时刻的语义特征h_t：

o_t＝σ(W_xox_t+W_hoh_t-1+b_o) (5)

h_t＝o_t*tanh(c_t) (6)

式中，o_t为输出的单向的信息的文本特征表示，W_xo表示x_t经过输出门的权重，W_ho表示前一时刻h_t-1经过输出门的权重，b_c表示偏置，

直至最后一个时刻，习得单向的文本语义特征。

步骤12：计算包含上下文信息的文本特征表示；

依据步骤11，分别得到t时刻的前向隐状态信息h_t和后向隐状态信息h_t′，再通过串联拼接的方式整合获得包含上下文信息的文本特征表示o_t：

式中表示拼接；

步骤13：将文本特征表示输入softmax层获得文本情感倾向向量

2)计算图像情感倾向向量

步骤21：通过卷积层获得图像特征图；

每个卷积层包含多个神经元，每个神经元利用卷积核与上一层所有的特征图进行卷积求和，加上偏置后经过激活函数，得到新的特征图：

式(8)中，l为当前层；l-1为上一层；f()为激活函数；为上一层的第i个输出特征图；/>为当前层第j个特征图与上一层第i个特征图的卷积核；/>表示是卷积操作；N^l-1表示上一层的神经元数量；/>为当前层第j个神经元的偏置；/>为当前层的第j个神经单元的输出特征图。

步骤22：通过池化层进行特征图下采样；

通过步骤21可获得输入图像的特征图，经过池化层计算后实现降维，即使特征图尺寸缩小：

式(9)中，down()为池化函数；和/>为当前层和上一层的第j个特征图；/>和为权重系数和偏置。

步骤23：经过卷积层和池化层的交替连接，习得图像高层特征表示，将图像特征表示经过全连接整合后，输入softmax层获得图像情感倾向向量V_image；

3)获得综合情感倾向向量

步骤31：计算单条网络内容数据中所有图像的情感倾向向量；

经过前述步骤2)可获得单张图像的情感倾向向量，然而单条网络内容数据可能包含1～9张图像不等，因此将所有图像经过步骤2)计算再均值化处理后，得到总图像情感倾向向量

步骤32：计算融合情感倾向向量；

由于文本比图像模态在意念、情绪表露上表现得更为直白，于情感计算的贡献度不同，所以为文本情感倾向向量和总图像情感倾向向量设置权重参数γ和δ，采用网格搜索方法找寻最优解。

采用最大值规则融合计算已加权的文本情感倾向向量和总图像情感倾向向量，充分考虑两种模态的情感成分以准确决策学生自我表达时的真实心理状态：

式(10)(11)中，i和j分别为分类器数和类别数；P_j(n)为网络内容数据第j类情感类别的预测概率值，最终生成单条网络内容数据的融合情感倾向向量

步骤33：获得综合情感倾向向量；

由于现实生活中学生发表网络自述内容存在多模态数据不完整的情况，设计以下策略以提高模型健壮性：

式(12)中，Y_i为学生单条网络内容数据的综合情感倾向向量，为最终生成单条网络内容数据的融合情感倾向向量，/>为文本情感倾向向量，/>为图像情感倾向向量。

4、隐条件随机场(HCRF)训练得到心理健康评估模型

隐条件随机场(Hidden Conditional RandomFields,HCRF)是在条件随机场的基础上增加隐变量因素的一种图模型，它既具有使用隐变量捕捉中间状态的能力又具有解决长距离依赖的能力。由于心理健康是一种随着时间推移变化程度较大的状态型心理特征，本发明基于学生的网络内容数据训练HCRF模型，意图挖掘一段时间内不同心理健康等级的内在发展规律，发现情感变化与心理健康间的关系。

本实例中心理健康自动评估模型进行心理健康等级计算的具体步骤如下：

设定x＝{x₁,x₂,…,x_n}对应学生时间段内每条网络内容数据的情感分数，为时序模型的一组观测序列，h＝{h₁,h₂,…,h_n}对应观测序列中习得的规律特征，为时序模型的一组隐随机变量，y表示学生一组观测序列对应的心理健康等级随机变量，当给出被试学生特定时间段内的一组网络内容数据观测序列x，心理健康等级变量y的条件概率具体计算过程：

式(13)中，由θ参数化的势函数ψ(y,h,x；θ)用于度量一个等级类别、一组隐状态序列和观测序列之间的兼容性，Ψ(y',h,x,θ)表示的也是度量一个等级类别、一组隐状态序列和观测序列之间的兼容性，这里的y’是为了与前面的y区分，Y表示该模型中一组心理健康等级的可能值，H表示观测序列中一组可能的规律特征值。

5、预处理某一被试学生的网络内容数据并向量化数据

前4步为心理健康自动评估模型构建和训练阶段，在预警分析时，实时抓取学生的网络内容数据，以一个月为节点统一处理所有的网络内容数据。针对原始多模态数据分别进行预处理操作，即文本完成表情符转换、无关字符删除、字体转换、词嵌入表示等处理，转换成200维的句子向量；图像完成格式转换、尺寸调整、归一化等处理，转换成224*224*3的图像张量。此外，需记录每条文本内容对应的所有配图内容，并按时间先后顺序依次存储，生成文本表示矩阵和图像表示矩阵。

6、分别计算文本、图像的情感倾向矩阵，并利用最大值决策规则联合计算获得综合情感倾向向量序列

在步骤3生成的文本情感计算模型、图像情感计算模型基础上，将被试学生的文本表示矩阵和图像表示矩阵按行输入两个模型中计算，从而获得文本情感倾向矩阵和图像情感倾向矩阵；

再根据步骤3训练得到的最优权重参数为文本、图像情感倾向矩阵进行加权，并利用最大值规则联合计算获得综合情感倾向向量序列。

7、评估学生的心理健康状况

将该被试学生的综合情感倾向向量序列输入至步骤4训练出的心理健康评估模型中，获得该被试学生的心理健康等级，具体表现为：当输出结果对应于第一类别时，该被试学生的心理健康状况为健康等级；当输出结果对应于第二类别时，该被试学生的心理健康状况为可能抑郁等级；当输出结果对应于第三类别时，该被试学生的心理健康状况为抑郁倾向等级。需要说明的是，本发明将反馈学生的心理健康等级、学生的近期心理变化图给高校工作者，帮助其为大学生的心理危机做出预警分析。

总之，本发明首先人工标注并构建文本数据集、图像数据集、图文联合标注数据集，对文本、图像以及图文分别向量化处理得到文本表示向量、图像表示向量，并分别进行词嵌入层-Bi-LSTM层-全连接层的三层神经网络和微调卷积神经网络的训练，得到文本情感计算模型、图像情感计算模型；再将上一步处理后得到的的文本情感倾向向量和图像情感倾向向量进行最大值决策规则联合计算获得综合情感倾向向量，基于综合情感倾向向量获得被试学生一段时间内所有网络内容数据的综合情感倾向向量序列，将该综合情感倾向向量序列输入隐条件随机场(HCRF)进行训练，得到心理健康评估模型；最后，测试所提方法，即对某一被试学生网络内容数据进行预处理，再分别计算文本情感倾向向量、图像情感倾向向量，经最大值决策规则联合计算后由心理健康评估模型进行评估，得到学生的心理健康等级。即本发明通过联合计算学生的文本、图像等不同类型数据的网络内容数据，可快速、准确地识别学生心理健康水平，为大学生的心理危机作出预警分析。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (9)

1.一种基于文本和图像信息联合计算的心理危机预警方法，其特征在于，包括以下步骤：

S1、建立和训练心理健康自动评估模型，具体分为以下过程：

S101、构建用于训练的数据集，并对数据集进行预处理，所述数据集是指获取的所有被试学生社交平台上公开发表的网络内容数据，形成文本数据集、图像数据集和图文联合标注数据集三类；

S102、通过建立词嵌入层、Bi-LSTM层、全连接层的三层神经网络框架训练得到文本数据集和图文联合标注数据集的每条文本情感倾向向量，获得文本情感计算模型；通过微调卷积神经网络训练，得到图像数据集和图文联合标注数据集中的每个图像情感倾向向量，获得图像情感计算模型；

S103、用最大值决策规则来联合计算上述的文本情感倾向向量和图像情感倾向向量，获得所有被试学生单条网络内容数据的综合情感倾向向量；

S104、重复步骤S101-S103，获得所有被试学生一段时间内所有网络内容数据的综合情感倾向向量序列，在此基础上，用隐条件随机场(HCRF)来训练进而得到所有被试学生的心理健康特征向量，获得心理健康自动评估模型；

S2、从步骤S1中选取某被试学生的网络内容数据，依次对每条文本及对应图像进行预处理，分别获得文本表示矩阵和图像表示矩阵；

S3、将文本表示矩阵和图像表示矩阵按行顺序依次输入步骤S1的文本情感计算模型和图像情感计算模型，分别得到文本情感倾向矩阵和图像情感倾向矩阵，再将文本情感倾向矩阵和图像情感倾向矩阵按行顺序依次采用步骤S1中最大值决策规则的方式计算获得该被试学生的综合情感倾向向量序列；

S4、将获得的综合情感倾向向量序列输入步骤S1所得的心理健康自动评估模型中，以输出结果判断该被试学生的心理健康等级，完成心理健康自动评估。

2.根据权利要求1所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S101中构建用于训练的数据集，并对数据集进行预处理具体表现为：

S1011、向被试学生发放流调用抑郁自评量表并进行沟通说明，完成自评量表的自评分；同时，在与被试学生签署知情同意书的情况下，通过网络爬虫技术获取被试学生在社交平台上公开的网络内容数据存于数据库；

S1012、将被试学生按照自评量表的自评分值来划分评估等级进行心理健康等级标注，以便与心理健康自动评估模型输出结果进行比对；

S1013、筛选网络内容数据，得到被试学生特定时间段内反应真实心理状况的有效网络内容数据；

S1014、被试学生的有效网络内容数据则邀请领域专家根据情感倾向性标注正负情绪类别，形成文本数据集、图像数据集、图文联合标注数据集三类原始数据；

S1015、针对步骤1014中文本数据集、图像数据集、图文联合标注数据集进行向量化预处理操作，得到文本表示向量和图像表示向量，便于后续进行情感倾向向量化计算。

3.根据权利要求2所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，步骤S1012中心理健康等级标注具体分为第一类别、第二类别和第三类别共三类，其中，第一类别表示该被试学生的心理健康状况为健康等级，第二类别表示该被试学生的心理健康状况为可能抑郁等级，第三类别表示该被试学生的心理健康状况为抑郁倾向等级。

4.根据权利要求3所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S102中微调卷积神经网络以VGG16为基准模型，通过微调策略来构建CNN模型，即全连接层设置为512relu-2softmax，冻结VGG卷积块进行5轮epoch训练以实现初步迁移；其次解冻VGG16第五个卷积块权重进行20轮epoch以微调模型权重参数。

5.根据权利要求4所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S103具体包括以下步骤：

S1031、文本情感倾向向量计算：由LSTM单元计算文本数据集输入的文本表示向量，获得包含上下文信息的文本特征表示；再将文本特征表示输入激活函数为softmax的全连接层，得到文本情感倾向向量；

S1032、图像情感倾向向量计算：由卷积层和池化层交替计算图像数据集输入的的图像表示向量，习得图像特征表示；再将图像特征表示输入激活函数为softmax的全连接层，得到图像情感倾向向量；

S1033、获得综合情感倾向向量：

计算单条网络内容数据中所有图像的情感倾向向量；

将所有图像均值化处理后，得到总图像情感倾向向量；

分别设置文本情感倾向向量和总图像情感倾向向量的权重参数，并采用网格搜索方法找寻最优解；

采用最大值规则融合计算已加权的文本情感倾向向量和总图像情感倾向向量；

考虑被试学生发表网络内容数据存在多模态数据不完整的情况，设计以下策略以提高模型健壮性：

式中，Y_i为被试学生单条网络内容数据的综合情感倾向向量，Y_i ^(t+v)为最终生成单条网络内容数据的融合情感倾向向量，Y_i ^(t)为文本情感倾向向量，Y_i ^(v)为图像情感倾向向量。

6.根据权利要求5所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S104中心理健康自动评估模型进行心理健康等级计算的具体步骤如下：

设定x＝{x₁,x₂,…,x_n}对应被试学生时间段内每条网络内容数据的情感分数，为时序模型的一组观测序列，h＝{h₁,h₂,…,h_n}对应观测序列中习得的规律特征，为时序模型的一组隐随机变量，y表示被试学生一组观测序列对应的心理健康等级随机变量；

当给出被试学生特定时间段内的一组网络内容数据观测序列x，则心理健康等级变量y的条件概率具体计算过程：

式中，由θ参数化的势函数ψ(y,h,x；θ)和Ψ(y’,h,x,θ)均用于度量一个等级类别、一组隐状态序列和观测序列之间的兼容性，Y表示该模型中一组心理健康等级的可能值，H表示观测序列中一组可能的规律特征值。

7.根据权利要求1至6中任一项所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S2具体表现为：文本至少完成包括表情符转换、无关字符删除、字体转换、词嵌入表示的预处理，转换成200维的句子向量；图像至少完成包括格式转换、尺寸调整、归一化预处理，转换成224*224*3的图像张量；同时，记录每条文本内容对应的所有配图内容，并按时间先后顺序依次存储，生成文本表示矩阵和图像表示矩阵。

8.根据权利要求3所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S4中以输出结果判断该被试学生的心理健康等级，完成心理健康自动评估具体表现为：当输出结果对应于第一类别时，该被试学生的心理健康状况为健康等级；当输出结果对应于第二类别时，该被试学生的心理健康状况为可能抑郁等级；当输出结果对应于第三类别时，该被试学生的心理健康状况为抑郁倾向等级。

9.根据权利要求2所述的基于文本和图像信息联合计算的心理危机预警方法，其特征在于，所述步骤S1建立和训练心理健康自动评估模型还包括以下过程：

S105、将被试学生通过自评量表的自评分值标注的心理健康等级，与获得的心理健康自动评估模型输出结果进行比对，以便验证心理健康自动评估模型的准确度。