CN110222827A - 基于文本的抑郁判定网络模型的训练方法 - Google Patents

基于文本的抑郁判定网络模型的训练方法 Download PDF

Info

Publication number
CN110222827A
CN110222827A CN201910502642.4A CN201910502642A CN110222827A CN 110222827 A CN110222827 A CN 110222827A CN 201910502642 A CN201910502642 A CN 201910502642A CN 110222827 A CN110222827 A CN 110222827A
Authority
CN
China
Prior art keywords
depression
network model
text
training
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910502642.4A
Other languages
English (en)
Inventor
吴梦玥
俞凯
丁翰林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AI Speech Ltd
Original Assignee
Shanghai Jiaotong University
AI Speech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University, AI Speech Ltd filed Critical Shanghai Jiaotong University
Priority to CN201910502642.4A priority Critical patent/CN110222827A/zh
Publication of CN110222827A publication Critical patent/CN110222827A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开一种基于文本的抑郁判定网络模型的训练方法，所述抑郁判定网络模型包括双向LSTM网络单元和与所述双向LSTM网络单元的输出端连接的attention池化层，该方法包括：从样本库中获取患者针对医生提问的样本回答文本内容并输入至预先训练的BERT网络模型，以得到相应的样本向量序列；将所述样本向量序列作为输入，并采用多任务学习方式训练所述抑郁判定网络模型；所述attention池化层输出对所述患者抑郁的判定结果。简化了用于训练抑郁判定网络模型的方法，降低了抑郁判断成本，并且由于采用了BERT网络模型保证了抑郁判定的准确度。极大的降低了在抑郁检测领域推广计算机辅助医疗技术的成本与难度。

Description

基于文本的抑郁判定网络模型的训练方法
技术领域
本申请涉及计算机辅助医疗技术领域，尤其涉及一种基于文本的抑郁判定网络模型的训练方法、基于文本的抑郁判定方法及系统、电子设备以及存储介质。
背景技术
自动抑郁检测技术的最新进展主要来自多模态融合和深度学习两个方面。然而，多模态方法在数据采集阶段引入了很大的困难(音频数据和视频数据的采集，其依赖的信号如面部特征、声音特征暴露抑郁患者个人身份，因此较为敏感而难以采集)，并且数据标注以及网络训练等等异常复杂，成本高昂；而深度学习方法的不透明性会降低其可信度。
发明内容
本申请实施例提供一种基于文本的抑郁判定网络模型的训练方法、基于文本的抑郁判定方法及系统、电子设备以及存储介质，用于至少解决上述技术问题之一。
第一方面，本申请实施例提供一种基于文本的抑郁判定网络模型的训练方法，所述抑郁判定网络模型包括双向LSTM网络单元和与所述双向LSTM网络单元的输出端连接的attention池化层，所述方法包括：
从样本库中获取患者针对医生提问的样本回答文本内容并输入至预先训练的BERT网络模型，以得到相应的样本向量序列；
将所述样本向量序列作为输入，并采用多任务学习方式训练所述抑郁判定网络模型；所述attention池化层输出对所述患者抑郁的判定结果。
第二方面，本申请实施例提供一种基于文本的抑郁判定方法，包括：
获取患者针对医生提问的回答文本内容；
将所述回答文本内容输入至预先训练的BERT网络模型，以得到相应的向量序列；
将所述相应的向量序列输入至预先训练的抑郁判定网络模型，以得到基于所述回答文本内容的抑郁判定结果。
第三方面，本申请实施例提供一种基于文本的抑郁判定系统，包括：
BERT网络模型，配置将获取的患者针对医生提问的回答文本内容转化为相应的向量序列；
抑郁判定网络模型，采用权利要求1-3中任一项所述的方法训练得到；
所述双向LSTM网络单元被配置为对所述相应的向量序列进行处理；
所述attention池化层被配置为根据所述LSTM网络单元所输出的处理结果确定对所述患者抑郁的判定结果。
第四方面，本申请实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本申请上述任一项方法。
第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述任一项方法。
第六方面，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项方法。
本申请实施例的有益效果在于：提供了一种仅仅采用文本内容就能够准确实现对于患者的抑郁检测的方法及系统、电子设备及存储介质。简化了用于训练抑郁判定网络模型的方法，降低了抑郁判断成本，并且由于采用了BERT网络模型保证了抑郁判定的准确度。极大的降低了在抑郁检测领域推广计算机辅助医疗技术的成本与难度。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请的基于文本的抑郁判定网络模型的训练方法的一实施例的流程图；
图2为本申请的基于文本的抑郁判定网络模型的训练方法的另一实施例的流程图；
图3为本申请的基于文本的抑郁判定方法的训练方法的一实施例的流程图；
图4为本申请的基于文本的抑郁判定系统的一实施例的原理框图；
图5为本申请中的双向LSTM网络单元的一实施例的结构图；
图6为本申请中的针对每类训练数据的PHQ-8分布图；
图7为本申请的电子设备的一实施例的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
在本申请中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请的实施例提供一种基于文本的抑郁判定网络模型的训练方法，该方法基于安装于终端设备之上的软件程序的执行，该终端设备可以是台式电脑、笔记本电脑、智能手机、平板电脑等等，本申请对此不作限定。
如图1所示，本申请的实施例提供一种基于文本的抑郁判定网络模型的训练方法，所述抑郁判定网络模型包括双向LSTM网络单元和与所述双向LSTM网络单元的输出端连接的attention池化层，所述方法包括：
S10、从样本库中获取患者针对医生提问的样本回答文本内容并输入至预先训练的BERT网络模型，以得到相应的样本向量序列。
其中，样本库中存储有根据医生与患者之间的访谈记录所存储的患者针对医生提问的回答文本内容。该样本库可以存在于终端设备本地，也可以存在于特定服务器之上，该特定服务器可以是实体服务器也可以是云端服务器，本申请对此不作限定。
发明人在实现本申请的过程中，在如何对文本建模时候碰到了技术难题，最后发现答案和问题的依存关系并无十分重要，因此本申请中采取只对病人答案进行序列建模。
S20、将所述样本向量序列作为输入，并采用多任务学习方式训练所述抑郁判定网络模型；所述attention池化层输出对所述患者抑郁的判定结果。
本申请实施例简化了用于训练抑郁判定网络模型的方法，降低了抑郁判断成本，并且由于采用了BERT网络模型保证了抑郁判定的准确度。极大的降低了在抑郁检测领域推广计算机辅助医疗技术的成本与难度。
BERT网络模型是一个预训练的网络模型，具体举例进行如下简单的介绍：假设已有A训练集(可以是任意成熟的用于训练BERT网络模型的数据集)，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B(例如，本申请中的抑郁判定任务)，采取相同的网络结构，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数据来训练网络，当加载的参数保持不变时，称为"frozen"，当加载的参数随着B任务的训练进行不断的改变，称为“fine-tuning”，即更好地把参数进行调整使得更适合当前的B任务。
在一些实施例中，所述多任务至少包括一个分类任务和一个回归任务；如图2所示，本申请的一些实施例中，所述将所述样本向量序列作为输入，并采用多任务学习方式训练所述抑郁判定网络模型包括：
S21、将所述样本向量序列作为所述双向LSTM网络单元的输入；本申请的实施例中，当BERT网络模型将样本回答文本内容转化为相应的样本向量序列之后，会自动将该样本向量序列输入至下一级的双向LSTM网络单元。
S22、针对所述分类任务配置交叉熵损失函数，针对所述回归任务配置huber损失函数；
S23、基于所述交叉熵损失函数和所述huber损失函数生成综合损失函数；
S24、利用所述综合损失函数对所述抑郁判定网络模型的参数进行更新。
在一些实施例中，所述判定结果包括所述患者是否抑郁的二分类结果和PHQ-8分数。整个模型是一个多任务学习的方式，同时包含一个分类任务(输出是否抑郁的标签)以及一个回归任务(与PHQ8分数回归)。针对分类任务的损失函数是交叉熵函数(见公式1)，针对回归任务的损失函数是huber损失函数(见公式2)，最后采用了综合损失函数，为交叉熵与huber之和(见公式3)。
在本申请实施例中，设定综合损失函数的原因是因为采用了多任务学习的方法，所以有两个任务，针对每个任务有单独合适的损失函数，这样结合起来的综合损失函数比较综合全面，从而使抑郁检测结果更加精准。
本申请针对抑郁访谈对话的文本记录进行建模，引入预训练的语言模型(BERT网络模型)，同时采用多任务联合学习的方式，同时输出抑郁症的二分类结果以及PHQ-8量表的分数并使用交叉熵以及huber损失函数作为综合损失函数。整体网络结构采用双向LSTM网络并加上attention池化层。
在一些实施例中，多任务学习方法中一个是分类，一个是回归，回归任务即为预测PHQ-8分数，作为程度判定的指标，分数越高，抑郁程度越重。相对于传统方法的好处在于联合训练使得准确率可以提高。
在一些实施例中，基于文本的attention池化层在网络结构上是在BLSTM之后，本方法中采取的attention更多是为了探索可解释性，即模型在何时认为病人是有抑郁情绪的。
本申请的实施例提供一种基于文本的抑郁判定方法，该方法基于安装于终端设备之上的软件程序产品的执行，该终端设备可以是台式电脑、笔记本电脑、智能手机、平板电脑等等，本申请对此不作限定。
如图3所示，本申请实施例提供一种基于文本的抑郁判定方法，该方法运行于上述终端设备之上，该方法包括：
S31、获取患者针对医生提问的回答文本内容。示例性地，当本申请的方法运行于终端设备上时，终端设备为患者提供可视化的操作界面，例如，可以呈现给患者一张电子问答卷，该电子问答卷上列出了需要患者回答的问题。患者可以直接输入文本回答，也可以通过语音输入回答(此时，终端设备会将用户所输入的语音回答转化为相应的回答文本内容)，本发明对此不作限定。
示例如下：
医生：你家是哪儿的？
病人A：洛杉矶。
医生：最近看过什么电影。
病人：最近看过XXX。
……
S32、将所述回答文本内容输入至预先训练的BERT网络模型，以得到相应的向量序列。
S33、将所述相应的向量序列输入至预先训练的抑郁判定网络模型，以得到基于所述回答文本内容的抑郁判定结果。
在一些实施例中，所述抑郁判定网络模型包括双向LSTM网络单元和与所述双向LSTM网络单元的输出端连接的attention池化层。所述attention池化层输出对所述患者抑郁的判定结果，所述判定结果包括所述患者是否抑郁的二分类结果和PHQ-8分数。
在一些实施例中，预先训练所述抑郁判定网络模型包括：
采用多任务学习方式对所述抑郁判定网络模型进行训练；其中，所述多任务至少包括一个分类任务和一个回归任务；针对所述分类任务采用交叉熵损失函数，针对所述回归任务采用huber损失函数；
基于所述交叉熵损失函数和所述huber损失函数生成综合损失函数；
利用所述综合损失函数对所述抑郁判定网络模型的参数进行更新。
本申请的实施例仅仅采用文本内容就能够准确实现对于患者的抑郁检测的方法，降低了抑郁判断成本，并且由于采用了BERT网络模型保证了抑郁判定的准确度。极大的降低了在抑郁检测领域推广计算机辅助医疗技术的成本与难度。
如图4所示，在一些实施例中一种基于文本的抑郁判定系统400，该系统包括：
BERT网络模型410，配置将获取的患者针对医生提问的回答文本内容转化为相应的向量序列；
抑郁判定网络模型420，该抑郁判定网络模型包括双向LSTM网络单元421和与所述双向LSTM网络单元的输出端连接的attention池化层422。所述attention池化层422输出对所述患者抑郁的判定结果，所述判定结果包括所述患者是否抑郁的二分类结果和PHQ-8分数，该抑郁判定网络模型采用本申请前述任一项实施例中所述的基于文本的抑郁判定网络模型的训练方法训练得到；
所述双向LSTM网络单元421被配置为对所述相应的向量序列进行处理；
所述attention池化层422被配置为根据所述LSTM网络单元421所输出的处理结果确定对所述患者抑郁的判定结果。
如图5所示，本申请中的双向LSTM网络单元的一实施例的结构图，包括顺序连接的两层BLSTM(BLSTM1和BLSTM2)，其输入为经BERT网络模型转化得到的向量序列{x1、x2……xT}，输出为二进制序列{o1、o2……oT}。
本申请的实施例一种仅仅采用文本内容就能够准确实现对于患者的抑郁检测的系统。简化了用于训练抑郁判定网络模型的方法，降低了抑郁判断成本，并且由于采用了BERT网络模型保证了抑郁判定的准确度。极大的降低了在抑郁检测领域推广计算机辅助医疗技术的成本与难度。可以对抑郁情绪进行有效预警以及辅助诊断，能够帮助缓解医疗资源不均衡、精神科医生短缺的现实问题，并且有效检测与诊断能够帮助缓解抑郁症的严重后果。
自动抑郁检测技术的最新进展主要来自多模态融合和深度学习两个方面。然而，多模态方法在数据采集阶段引入了很大的困难，而深度学习方法的不透明性会降低其可信度。本申请提出了一种基于文本的多任务BLSTM模型。本申请的方法输出抑郁存在的结果以及预测抑郁严重程度评分，最终达到0.87的F1状态评分，优于以前的多模态研究。与目前可用的基于文本的程序相比，本申请还实现了最低的RMSE错误。此外，本申请利用每一时间步的注意机制来分析那些在预测抑郁状态中贡献最大的句子/单词。令人惊讶的是，“无意义”的词汇/副语言信息，如“嗯”和“呃”，是本申请模型做出抑郁预测时的指标。这项发现首次揭示了对话中的话语填充词在使用深度学习模型进行抑郁情绪检测的意义。
最近的增强主要来自多模态融合和深度学习方法。类似于临床访谈，其中精神科医生通过他的语言和行为来确定患者的精神状态，自动检测可以来自不同的信号，即视频，音频和文本。在这三种模式中，音频特征大多是单独探索的，而文本特征本身很少被研究。最近多模态的方式促使更多的模态融合研究。虽然人们可能会争辩说更多信息可能会导致更好的模型，但使用多模态抑郁症检测的所有可能方面都有其实际缺点。例如，获得视频记录同意可能是现实生活中的一个巨大障碍，特别是对于精神病患者。因此，本申请遵循的原则是单一模态是否可以实现与多模态模型类似的性能。
一些模态融合研究表明抑郁症检测中文本特征的优越性，表明语义信息的重要性。在基于文本的模型的少数尝试中，字嵌入通常是从头开始训练的，由于缺少大量数据，这可能是次优的。最近，由于它们在许多自然语言处理基准上的表现，诸如ELMo和BERT之类的通用文本嵌入(其在大数据集上预训练)变得流行。因此，在当前的工作中研究了预训练的上下文句子嵌入，即ELMo和BERT的使用，以用于抑郁症检测。
先前的自动评估通常涉及分类或回归模型，取决于主要任务是抑郁存在或严重性预测。尽管已经尝试了各种深度学习模型，但评估精度仍然可以看到很大的改进。对于严重性预测模型，报告的平均绝对误差和均方根误差特别高。这又强调了抑郁症状的复杂性和精确预测的难度。然而，在与健康有关的任务中，任何真假或积极否定的判断都可能导致严重后果。然而，由于深度学习模型的不透明性，我们常常不知道在进行错误预测时会出现什么问题。因此，理解模型对于提高此类任务的性能至关重要。
因此，本申请主要有两个目标：首先考察文本特征是否能达到与多模态方法相似的性能；其次，我们对模型为什么做出某些预测感兴趣。因此，本申请的主要贡献包括：
1)多任务模型设计，结合检测抑郁症的存在与预测严重程度；
2)用预训练的文本嵌入替换基于数据的字嵌入；
3)通过应用注意机制，本申请提供解释，哪些单词或句子触发模型相信一个人患有抑郁症。
数据集：数据来自公开的WOZ-DAIC数据库，其中包括107名培训和35名发展演讲者。还发布了评估子集，但评估标签不可用，因此所有实验都在开发子集上进行了验证。该数据库以前用于AVEC2017挑战。训练中的30名发言者(28％)和发展中的12名(34％)被分类为抑郁症(PHQ-8二进制值设置为1)。为每个参与者提供两个标签：抑郁/健康的二元诊断和患者的八项患者健康问卷评分(PHQ-8)度量。因此，基于该数据集的自动抑郁症检测研究可以预测分类结果或严重性评分，以与精神状态标签和PHQ-8评分相关联。
如图6所示，为针对每类训练数据的PHQ-8分布图。每个类的平均值表示为一个点以及它的标准偏差。分析图6中的数据有助于理解建模此任务时涉及的挑战。AVEC2017挑战中指出，大于10的分数被认为是抑郁的，然而如图6所示，PHQ-8评分与患者状态之间没有明确的因果关系，例如，尽管存在趋势，抑郁患者的PHQ-8评分较高，PHQ-8评分>10并不能保证抑郁的参与者。特别是在分数范围为9到11的两个类的边界区域中，根据他们的PHQ-8得分，一些参与者不能被分配到类别。这是因为PHQ-8评分是参考，临床医生对诊断有最终决定。PHQ8评分可能有助于做出预测，但我们仍需要结合临床医生的决定。如果患者没有抑郁，那么PHQ-8评分并不表示其抑郁程度。
总而言之，可以做出两点观察：1)数据集本身相对不足；2)抑郁状态和PHQ8评分是相关的，但一个特征不一定预测另一个。
特征选择和提取：WOZ-DAIC数据集包括三种主要媒体：视频，音频和转录文本数据。具有更好性能的该数据集的先前工作通常利用模态融合方法。然而，在模态融合方法中，建议关键贡献是语义信息的添加，其单独获得0.81的平均F1分数。因此，本申请仅使用文本数据以用于整洁的现实世界的应用。
在基于文本的抑郁分析的主题上，广泛使用三种不同的建模设置：
无上下文建模使用参与者的每个响应作为独立样本，没有关于问题的信息，也没有询问时间。该设置具有易于在现实世界的应用中部署的优点，因为可以进行单句的预测。
依赖于上下文的建模需要使用问答配对，其中每个样本都包含一个问题及其相应的答案。
序列建模仅连续模拟患者的反应，而不知道所询问的特定问题。在以前的基于文本的工作中，工作嵌入通常是从头开始训练的。然而，由于难以获得抑郁症数据，因此使用与抑郁症检测无关的较大数据集上预先训练的模型可以帮助缓解这一问题。在本申请中表明使用预训练的字嵌入可以带来显着的性能提升。标准的Word2Vec模型通常在浅层，双层深度神经网络架构上进行训练。虽然Word2Vec旨在捕获特定句子的上下文，但它仅将周围的单词视为其训练输入，因此不捕获句子的内在含义。
最近，Word2Vec的替代品变得流行，特别是依赖于上下文的句子嵌入，如ELMo和不久前的BERT。ELMo根据出现的上下文为单词生成嵌入，从而为每个单词出现产生轻微的变化。随后，ELMo需要在生成嵌入之前输入整个句子。BERT同样将句子建模为矢量。目前，BERT被认为用于许多自然语言处理(NLP)任务，以在最先进的水平上执行。
在本申请中，首先对原始文本进行预处理，删除拖尾空格并将每个字母设置为小写。诸如<laughter>或<sigh>之类的元信息可能对模型有帮助，因此不会被删除。三种不同的文本嵌入实验：Word2Vec，ELMo和Bert：
Word2Vec使用gensim库提取100维Word2Vec特征。
ELMo使用三层双向结构，每层有1024个节点。我们使用所有三层嵌入的平均值作为句子表示。
BERT可以从十二层中的每一层中提取嵌入。这里，倒数第二层用于提取768维句子嵌入。我们直接从公开的模型中提取嵌入，而不是微调BERT或ELMo模型。
模型说明：如前所述，为每个参与者提供了两个标签。DAIC-WOZ数据集的先前工作通常分为抑郁症存在检测(二元分类)和严重性评分预测(PHQ-8评分回归)。一些研究调查两个任务，但仍然分别对待这两者：实现0.76分类和3.67严重性预测。然而虽然这两个特征是相关的，但不能以其中一个预测另一个特征。因此，两个信息源都很重要，以确定患者是否生病。因此，本申请提出了一个多任务设置来组合分类和回归任务。由此构建了两个输出，一个直接预测参与者被压抑的二元结果，另一个输出估计的PHQ-8分数。
表1：与先前基于文本的(顶部)和多模态(中间)方法相比，所提出的基于文本的关注模型(底部)的评估结果。
对于多任务损失(参见等式(3))，我们选择使用二元交叉熵(用于分类，等式(1))和huber损失(用于回归，等式(2))的组合。这里，xr表示回归模型输出，xc表示二进制模型输出，σ是S形函数，yr是PHQ-8得分，yc是二元基础事实。轮毂损失可以看作是平均误差(MAE，L1)和均方误差(MSE，L2)之间的折衷，导致对异常值的稳健行为。在训练期间，两种损失都被总结并反向传播。
O＝tanh(BLSTM(X))
以前基于文本的工作仅依赖于lasttimestep(ot)作为响应/查询表示，进一步称为时间池。然而研究表明时间汇集只是次优，因为网络信念随时间而变化。因此，我们专门使用注意力作为我们的模型时间表示向量函数。注意在等式(4)中定义，其中X是整个输入序列，xt，ot是在时间t的特定输入和输出特征，v是学习的注意权重向量，ot是在时间t的级联BLSTM模型的输出和z加权平均表示。在这项工作中使用了一个简单的每时间步骤注意机制。给定在时间步骤t的输入矢量xt，可以如等式(4)中所示计算注意力，其中v是用于评分的时间独立参数矢量。
除了上述新颖的多任务方法和注意力集中方法之外，我们在这项工作中提出的架构是一种常用的双向长期短期记忆(LSTM)递归神经网络结构(见表2)。在每个BLSTM层之后，我们应用概率为10％的重复丢失。在诸如抑郁检测的稀疏数据场景中，梯度递归单元(GRU)网络通常被视为LSTM网络的良好替代方案。在这项工作中，我们内部运行GRU网络，但没有经历性能增强，因此专门使用BLSTM。源代码是公开的。
表2：建议的模型架构，最后一层的输出是两个值，一个用于回归(PHQ-8)，另一个用于分类。
实验：数据预处理：输入数据在训练之前进行预处理，计算训练子集的均值和方差，然后应用于开发数据集。训练模型是通过运行亚当优化最多200个时期来完成的。初始学习率设定为0.004，如果交叉验证损失在最多3个时期没有改善，则降低了10倍。如果学习率达到低于1e的值，则终止训练7并且选择在开发组上产生最低误差的模型用于评估。关于数据处理，通过选择1的批量大小来避免填充。此外，利用对少数类(抑制)的随机过采样来避免数据稀疏性问题。此外，通过均匀xavier方法初始化复发权重，其中样本来自[-β，β]，其中，
和偏差设置为零。
评估指标：对于分类，使用宏观精度和回忆分数来计算平均F1分数。在回归方面，在模型预测x和地面实况PHQ-8得分y之间使用平均平均误差(|x-y|)和均方根误差
结果：由于可以认为可用的数据量不足，因此结果通常不能直接再现。为了在某种程度上避免针对每个可能的超参数的网格搜索提出的问题，以确定适当的配置。然而，在本申请的经验中，即使修复随机种子和超参数，也无法保证重现性。因此，本申请按照许多先前研究的传统报告了表现最佳的模型。
在本申请中，将序列建模方法与先前的无上下文和依赖于上下文的方法进行了比较。我们的模型的结果可以在表1中看到。融合评分分别是指ELMo和BERT模型的平均得分融合。表明我们的序列模型具有预训练的文本嵌入(ELMo或BERT)，平均F1得分为0.87。这比其他基于文本的方法，甚至是多模态方法都要好。正如我们的实验结果所示，与ELMo和BERT方法相比，Word2Vec在很大程度上表现不佳。可能的原因是数据集大小有限，因此注意力无法获取有意义的文本信息。
分析：故意选择注意机制，因为随着时间的推移，注意力量可以解释为什么句子/单词触发模型以预测患者是否被抑制。在Word2Vec训练的上下文中的注意力确实与平均池化相似。相比之下，ELMo和BERT功能表现出强大而强大的性能。对于这两个特征，我们观察到对于许多抑郁症患者，在第一次到第二次回复时注意力都会出现峰值。在第一次回复中，参与者通常会陈述他/她的遗产或他/她目前的居住地。这是一个潜在的指标，模型学会将地方与抑郁症联系起来，例如生活在大都市区域可能会对居民的情绪和精神状态产生潜在的影响。此外，还调查了训练数据集是否显示了患者的遗产，但没有找到这样的线索。
通过搜索引发抑郁症的最可能的句子来工作以使我们的模型的信念可视化。通过找到关注重量序列(αt)的所有峰值来提取这些句子。具体地，为了去除不重要的句子，在该搜索中仅考虑具有最大注意力的80％的高度的峰值。结果表明，ELMo和BERT这两个特征都集中在简短的非描述性词语，如“嗯”，以及“是”等肯定答案。有趣的是，注意力很少集中在有意义内容的句子上，例如先前的创伤经历或具有内在负面含义的句子。此外，我们提出的模型本质上是决定性的，这意味着对于大多数抑郁症患者，模型严重地强调单个特定句子(权重超过0.3)并且忽略了大多数患者的反应。更显着的结果是，这个模型纯粹是对文本数据进行训练，因此从未真正听过这些单词。
结论：本申请提出将多任务建模与预训练的句子嵌入(即ELMo和BERT)结合使用，用于建模基于文本的抑郁症检测。对ELMo和BERT模型的分析揭示了诸如“嗯”之类的短的人际声音与模型表现之间的相关性，可能表明为了检测抑郁症，人们应该关注文本的行为方面而不是内容。此外，所提出的模型通常根据患者的前几个应答来强调和决定精神状态，而不是犹豫不决。
本申请提出的BLSTM模型在分类F1得分方面优于以前的单一模型方法，最终得分为0.87。在回归方面，本申请使用ELMo特征的最佳模型实现了3.62的平均平均误差，是同类凹陷建模的同类产品中最好的。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作合并，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在一些实施例中，本申请实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本申请上述任一项基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法。
在一些实施例中，本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法。
在一些实施例中，本申请实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法。
在一些实施例中，本申请实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法。
图7是本申请另一实施例提供的执行基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法的电子设备的硬件结构示意图，如图7所示，该设备包括：
一个或多个处理器710以及存储器720，图7中以一个处理器710为例。
执行基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法的设备还可以包括：输入装置730和输出装置740。
处理器710、存储器720、输入装置730和输出装置740可以通过总线或者其他方式连接，图7中以通过总线连接为例。
存储器720作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法。
存储器720可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于文本的抑郁判定网络模型的训练装置或者基于文本的抑郁判定装置的使用所创建的数据等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器720可选包括相对于处理器710远程设置的存储器，这些远程存储器可以通过网络连接至基于文本的抑郁判定网络模型的训练装置或者基于文本的抑郁判定装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可接收输入的数字或字符信息，以及产生与基于文本的抑郁判定网络模型的训练装置或者基于文本的抑郁判定装置的用户设置以及功能控制有关的信号。输出装置740可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器720中，当被所述一个或者多个处理器710执行时，执行上述任意方法实施例中的基于文本的抑郁判定网络模型的训练方法或者基于文本的抑郁判定方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于文本的抑郁判定网络模型的训练方法，所述抑郁判定网络模型包括双向LSTM网络单元和与所述双向LSTM网络单元的输出端连接的attention池化层，所述方法包括：
从样本库中获取患者针对医生提问的样本回答文本内容并输入至预先训练的BERT网络模型，以得到相应的样本向量序列；
将所述样本向量序列作为输入，并采用多任务学习方式训练所述抑郁判定网络模型；所述attention池化层输出对所述患者抑郁的判定结果。
2.根据权利要求1所述的方法，其中，所述多任务至少包括一个分类任务和一个回归任务；
所述将所述样本向量序列作为输入，并采用多任务学习方式训练所述抑郁判定网络模型包括：
将所述样本向量序列作为所述双向LSTM网络单元的输入；
针对所述分类任务配置交叉熵损失函数，针对所述回归任务配置huber损失函数；
基于所述交叉熵损失函数和所述huber损失函数生成综合损失函数；
利用所述综合损失函数对所述抑郁判定网络模型的参数进行更新。
3.根据权利要求2所述的方法，其中，所述判定结果包括所述患者是否抑郁的二分类结果和PHQ-8分数。
4.一种基于文本的抑郁判定方法，包括：
获取患者针对医生提问的回答文本内容；
将所述回答文本内容输入至预先训练的BERT网络模型，以得到相应的向量序列；
将所述相应的向量序列输入至预先训练的抑郁判定网络模型，以得到基于所述回答文本内容的抑郁判定结果。
5.根据权利要求4所述的方法，其中，所述抑郁判定网络模型包括双向LSTM网络单元和与所述双向LSTM网络单元的输出端连接的attention池化层。
6.根据权利要求5所述的方法，其中，预先训练所述抑郁判定网络模型包括：
采用多任务学习方式对所述抑郁判定网络模型进行训练；其中，所述多任务至少包括一个分类任务和一个回归任务；针对所述分类任务采用交叉熵损失函数，针对所述回归任务采用huber损失函数；
基于所述交叉熵损失函数和所述huber损失函数生成综合损失函数；
利用所述综合损失函数对所述抑郁判定网络模型的参数进行更新。
7.根据权利要求5或6所述的方法，其中，所述attention池化层输出对所述患者抑郁的判定结果，所述判定结果包括所述患者是否抑郁的二分类结果和PHQ-8分数。
8.一种基于文本的抑郁判定系统，包括：
BERT网络模型，配置将获取的患者针对医生提问的回答文本内容转化为相应的向量序列；
抑郁判定网络模型，采用权利要求1-3中任一项所述的方法训练得到；
所述双向LSTM网络单元被配置为对所述相应的向量序列进行处理；
所述attention池化层被配置为根据所述LSTM网络单元所输出的处理结果确定对所述患者抑郁的判定结果。
9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任意一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任意一项所述方法的步骤。
CN201910502642.4A 2019-06-11 2019-06-11 基于文本的抑郁判定网络模型的训练方法 Pending CN110222827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502642.4A CN110222827A (zh) 2019-06-11 2019-06-11 基于文本的抑郁判定网络模型的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502642.4A CN110222827A (zh) 2019-06-11 2019-06-11 基于文本的抑郁判定网络模型的训练方法

Publications (1)

Publication Number Publication Date
CN110222827A true CN110222827A (zh) 2019-09-10

Family

ID=67816582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502642.4A Pending CN110222827A (zh) 2019-06-11 2019-06-11 基于文本的抑郁判定网络模型的训练方法

Country Status (1)

Country Link
CN (1) CN110222827A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991535A (zh) * 2019-12-04 2020-04-10 中山大学 一种基于多类型医学数据的pCR预测方法
CN111209401A (zh) * 2020-01-03 2020-05-29 西安电子科技大学 网络舆情文本信息情感极性分类处理系统及方法
CN111241817A (zh) * 2020-01-20 2020-06-05 首都医科大学 一种基于文本的抑郁症识别方法
CN111274362A (zh) * 2020-02-01 2020-06-12 武汉大学 一种基于transformer架构的对话生成方法
CN112006697A (zh) * 2020-06-02 2020-12-01 东南大学 一种基于语音信号的梯度提升决策树抑郁症识别方法
CN112507099A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 对话理解模型的训练方法、装置、设备和存储介质
CN112582061A (zh) * 2020-12-14 2021-03-30 首都医科大学 基于文本问答的抑郁症辅助筛查方法、系统及存储介质
CN112582060A (zh) * 2020-12-14 2021-03-30 首都医科大学 一种面向抑郁症初筛的多媒体辅助问诊系统
CN112614584A (zh) * 2020-12-14 2021-04-06 首都医科大学 语音及文本转录的抑郁症辅助诊断方法、系统及介质
CN112768070A (zh) * 2021-01-06 2021-05-07 万佳安智慧生活技术(深圳)有限公司 一种基于对话交流的精神健康评测方法和系统
CN112927781A (zh) * 2021-02-10 2021-06-08 杭州医典智能科技有限公司 一种基于自然语言处理和时序卷积网络的抑郁症检测方法
CN113254741A (zh) * 2021-06-16 2021-08-13 苏州大学 基于融合模态内和模态间关系的数据处理方法及系统
CN113297352A (zh) * 2021-06-07 2021-08-24 苏州大学 基于多任务网络的属性级情感分类方法及装置
CN115359914A (zh) * 2022-08-26 2022-11-18 山东心法科技有限公司 基于量化描述向量的心理状态区分方法、设备及介质
CN111815030B (zh) * 2020-06-11 2024-02-06 浙江工商大学 一种基于少量问卷调查数据的多目标特征预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808970A (zh) * 2016-05-09 2016-07-27 南京智精灵教育科技有限公司 一种在线认知评估系统及评估方法
CN107133481A (zh) * 2017-05-22 2017-09-05 西北工业大学 基于dcnn‑dnn和pv‑svm的多模态抑郁症估计和分类方法
CN109543039A (zh) * 2018-11-23 2019-03-29 中山大学 一种基于深度网络的自然语言情感分析方法
CN109815952A (zh) * 2019-01-24 2019-05-28 珠海市筑巢科技有限公司 品牌名称识别方法、计算机装置及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808970A (zh) * 2016-05-09 2016-07-27 南京智精灵教育科技有限公司 一种在线认知评估系统及评估方法
CN107133481A (zh) * 2017-05-22 2017-09-05 西北工业大学 基于dcnn‑dnn和pv‑svm的多模态抑郁症估计和分类方法
CN109543039A (zh) * 2018-11-23 2019-03-29 中山大学 一种基于深度网络的自然语言情感分析方法
CN109815952A (zh) * 2019-01-24 2019-05-28 珠海市筑巢科技有限公司 品牌名称识别方法、计算机装置及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEINRICH DINKEL 等: "Text-based Depression Detection: What Triggers An Alert", 《ARXIV:1904.05154V1》 *
龚泽阳 等: "基于深度学习的中英文混合短文本情感分析", 《信息与电脑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991535A (zh) * 2019-12-04 2020-04-10 中山大学 一种基于多类型医学数据的pCR预测方法
CN111209401A (zh) * 2020-01-03 2020-05-29 西安电子科技大学 网络舆情文本信息情感极性分类处理系统及方法
CN111241817A (zh) * 2020-01-20 2020-06-05 首都医科大学 一种基于文本的抑郁症识别方法
CN111274362A (zh) * 2020-02-01 2020-06-12 武汉大学 一种基于transformer架构的对话生成方法
CN111274362B (zh) * 2020-02-01 2021-09-03 武汉大学 一种基于transformer架构的对话生成方法
CN112006697A (zh) * 2020-06-02 2020-12-01 东南大学 一种基于语音信号的梯度提升决策树抑郁症识别方法
CN111815030B (zh) * 2020-06-11 2024-02-06 浙江工商大学 一种基于少量问卷调查数据的多目标特征预测方法
CN112614584A (zh) * 2020-12-14 2021-04-06 首都医科大学 语音及文本转录的抑郁症辅助诊断方法、系统及介质
CN112582060A (zh) * 2020-12-14 2021-03-30 首都医科大学 一种面向抑郁症初筛的多媒体辅助问诊系统
CN112582061A (zh) * 2020-12-14 2021-03-30 首都医科大学 基于文本问答的抑郁症辅助筛查方法、系统及存储介质
CN112507099B (zh) * 2020-12-18 2021-12-24 北京百度网讯科技有限公司 对话理解模型的训练方法、装置、设备和存储介质
CN112507099A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 对话理解模型的训练方法、装置、设备和存储介质
CN112768070A (zh) * 2021-01-06 2021-05-07 万佳安智慧生活技术(深圳)有限公司 一种基于对话交流的精神健康评测方法和系统
CN112927781A (zh) * 2021-02-10 2021-06-08 杭州医典智能科技有限公司 一种基于自然语言处理和时序卷积网络的抑郁症检测方法
CN113297352A (zh) * 2021-06-07 2021-08-24 苏州大学 基于多任务网络的属性级情感分类方法及装置
CN113297352B (zh) * 2021-06-07 2024-01-16 苏州大学 基于多任务网络的属性级情感分类方法及装置
CN113254741A (zh) * 2021-06-16 2021-08-13 苏州大学 基于融合模态内和模态间关系的数据处理方法及系统
CN115359914A (zh) * 2022-08-26 2022-11-18 山东心法科技有限公司 基于量化描述向量的心理状态区分方法、设备及介质
CN115359914B (zh) * 2022-08-26 2023-05-05 山东心法科技有限公司 基于量化描述向量的心理状态区分方法、设备及介质

Similar Documents

Publication Publication Date Title
CN110222827A (zh) 基于文本的抑郁判定网络模型的训练方法
Nirala et al. A survey on providing customer and public administration based services using AI: chatbot
CN110991645B (zh) 一种基于知识模型的自适应学习方法、系统及存储介质
CN105074816B (zh) 促进口述自然语言接口的开发
Liu et al. Piano playing teaching system based on artificial intelligence–design and research
CN114631091A (zh) 用于助理系统的使用结构本体的语义表示
CN107493374A (zh) 具有数字助理的应用集成
Jermsittiparsert et al. Pattern recognition and features selection for speech emotion recognition model using deep learning
CN106575503A (zh) 用于对话理解系统的会话上下文建模
CN112799747A (zh) 智能助理评价、推荐方法、系统、终端及可读存储介质
CN108962224A (zh) 口语理解和语言模型联合建模方法、对话方法及系统
JP7422767B2 (ja) 自然言語ソリューション
CN110462676A (zh) 电子装置、其控制方法和非暂态计算机可读记录介质
CN109416690A (zh) 用于对话期间的任务状态跟踪的策略创作
CN111666400B (zh) 消息获取方法、装置、计算机设备及存储介质
CN103534697A (zh) 使用web数据训练口述对话系统中的统计对话管理器
Galitsky et al. Chatbot components and architectures
CN109710760A (zh) 短文本的聚类方法、装置、介质及电子设备
Dsouza et al. Chat with bots intelligently: A critical review & analysis
CN110019777A (zh) 一种信息分类的方法及设备
US10770072B2 (en) Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning
CN110136689A (zh) 基于迁移学习的歌声合成方法、装置及存储介质
CN115510194A (zh) 问答语句检索方法、装置、电子设备及存储介质
CN116955591A (zh) 用于内容推荐的推荐语生成方法、相关装置和介质
JP2023536458A (ja) 自然言語解決策

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200616

Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Applicant after: AI SPEECH Ltd.

Applicant after: Shanghai Jiaotong University Intellectual Property Management Co.,Ltd.

Address before: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Applicant before: AI SPEECH Ltd.

Applicant before: SHANGHAI JIAO TONG University

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201028

Address after: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Applicant after: AI SPEECH Ltd.

Address before: 215123 14 Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Suzhou, Jiangsu.

Applicant before: AI SPEECH Ltd.

Applicant before: Shanghai Jiaotong University Intellectual Property Management Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190910

WD01 Invention patent application deemed withdrawn after publication