CN117497140A - 一种基于细粒度提示学习的多层次抑郁状态检测方法 - Google Patents
一种基于细粒度提示学习的多层次抑郁状态检测方法 Download PDFInfo
- Publication number
- CN117497140A CN117497140A CN202311299157.4A CN202311299157A CN117497140A CN 117497140 A CN117497140 A CN 117497140A CN 202311299157 A CN202311299157 A CN 202311299157A CN 117497140 A CN117497140 A CN 117497140A
- Authority
- CN
- China
- Prior art keywords
- prompt
- interview
- fine
- grained
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 32
- 230000008451 emotion Effects 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 8
- 208000020401 Depressive disease Diseases 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 230000000593 degrading effect Effects 0.000 abstract description 3
- 235000019580 granularity Nutrition 0.000 description 18
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000017194 Affective disease Diseases 0.000 description 1
- 206010011971 Decreased interest Diseases 0.000 description 1
- 208000019022 Mood disease Diseases 0.000 description 1
- 208000013738 Sleep Initiation and Maintenance disease Diseases 0.000 description 1
- 235000004240 Triticum spelta Nutrition 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004594 appetite change Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 208000024714 major depressive disease Diseases 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Public Health (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于细粒度提示学习的多层次抑郁状态检测方法，应用于抑郁状态检测领域，包括：获取访谈样本，通过T5预训练模型提取访谈样本的常规语义特征；对访谈样本进行细粒度提示添加，并通过BERT的NSP预训练模型提取访谈样本与细粒度提示间的情绪一致性概率特征；通过多头注意力机制分别提取常规语义特征和情绪一致性概率特征的关键信息，映射得到各自分类结果，并进行软投票融合，得到最终的多层次抑郁状态检测结果。本发明既可以应用到抑郁状态的三分类、五分类以及更加细粒度的分类任务上，取得显著的成果，也可以通过简化提示信息，退化到抑郁状态的二元分类任务，提升抑郁检测效果。
Description
技术领域
本发明涉及抑郁状态检测领域，特别涉及一种基于细粒度提示学习的多层次抑郁状态检测方法。
背景技术
随着现代生活的快节奏和日益复杂化，抑郁症作为一种心理健康障碍正逐渐影响全球范围内的人类。抑郁症是一种复杂的情感障碍，其症状不仅限于持久的悲伤情绪。患者可能经历失眠、食欲改变、疲劳、自卑感、注意力不集中以及对生活失去兴趣等。然而，这些症状也可能与其他身体问题相混淆，使得抑郁症的确诊变得复杂和困难。近年来，随着人工智能和机器学习技术的快速发展，一些研究开始探索通过分析患者的言语、行为、生理指标等多维信息，并利用大数据分析和生物标志物等信息来辅助抑郁症的诊断。
利用深度学习技术辅助抑郁诊断方法可以基于音频、视觉、脑电、步态等信息，其中基于文本的抑郁检测相对于其他模态具有较好的检测准确度。基于文本的抑郁检测工作按访谈文本处理方法主要分为仅采用回答文本和仅采用部分问答两种，前者对于完整的访谈文本剔除问题内容而关注受试者回答内容，这种方法会丢失大量语义信息；后者尽管使用了以问答为单位的文本，但主观选择了少量认为是关键的问题和对应的回答作为输入，这种做法耗时且效果不理想，二者均存在缺陷。随着深度学习向更复杂的网络结构更庞大的训练数据发展，针对特定任务先构造特征提取网络再从原始数据上提取特征会更加耗时耗力且效果不佳。因此基于预训练模型微调的方法最近受到了广泛的欢迎，但是基于文本的抑郁检测工作往往基于单个预训练模型。这带来的问题有两个，一是预训练模型的选择问题，哪个模型对抑郁检测工作的泛化性更强，二是从模型提取的语义表征不足的问题，没有足够的特征去检测抑郁的存在，甚至存在过拟合的风险。目前的深度学习辅助抑郁诊断的方法主要集中在对受试者抑郁或健康的二元分类以及对抑郁严重程度的回归任务上，缺少对受试者抑郁状态更加细粒度的分类。从健康到严重抑郁，中间会经过轻度、中度以及重度等多个阶段，每个阶段的严重程度都是不一样的，通过对当前抑郁程度的把握可以根据情况采取不同的心理干预措施。由于抑郁的心理复杂性以及数据的稀缺性，细粒度的抑郁检测存在较大的难度，难以准确划分。
为此，如何解决上述问题，提供一种基于细粒度提示学习的多层次抑郁状态检测方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提出了一种基于细粒度提示学习的多层次抑郁状态检测方法。基于提示学习的启发，针对不同层次的抑郁检测任务构建多组细粒度的情绪提示信息，利用预训练模型提取与提示具有强相关的情绪特征，实现了在有限的抑郁文本中提取有效的特征。
为了实现上述目的，本发明采用如下技术方案：
一种基于细粒度提示学习的多层次抑郁状态检测方法，包括：
获取访谈样本，通过T5预训练模型提取访谈样本的常规语义特征；
对访谈样本进行细粒度提示添加，并通过BERT的NSP预训练模型提取访谈样本与所述细粒度提示间的情绪一致性概率特征；
通过多头注意力机制分别提取常规语义特征和情绪一致性概率特征的关键信息，映射得到各自分类结果，并采用软投票融合，得到最终的多层次抑郁状态检测结果。
可选的，获取访谈样本,具体为：
按数据记录的时间戳分割访谈文本，并在同一主题内汇总问题及回答，得到Xi＝{Qi,1，Ai,1，Qi,2，Ai,2，...，Qi，n，Ai，n}；其中，Qi，n和Ai，n分别为第n个系列问题及回答；i为受试者样本编号；n为问答个数；
将问题Q和回答A使用</s>特殊标记符号连接，得到访谈样本Si＝{Si，1，Si,2，...，Si，n}；其中，Si，n＝Qi，n+</s>+Ai，n。
可选的，通过T5预训练模型提取访谈样本的常规语义特征，具体为：
输入访谈样本至T5Tokenizer，得到Ti＝{Ti，1，Ti,2，...，Ti，n}；其中，n为访谈样本中的问答个数；i为受试者样本编号；
输入Ti至T5-Encoder预训练模型，得到编码结果Ei＝{Ei，1，Ei,2，...，Ei，n}；
池化最后一个编码层的输出，得到Pi＝{Pi，1，Pi,2，...，Pi，n}。
可选的，对访谈样本进行细粒度提示添加，具体为：
为访谈样本中的每一个问答附加上相同的提示句组Prompt＝Prompt1～Promptc，得到PSi＝{Sprompt i，1，Sprompt i，2，...，Sprompt i，n}；其中，c为提示语句个数，等于分类个数；n为访谈样本中的问答个数；i为受试者样本编号。
可选的，通过BERT的NSP预训练模型提取访谈样本与细粒度提示间的情绪一致性概率特征，具体为：
将PSi经BertTokenizer后，输入至BERT-NSP预训练模型，获取PSi中的情绪一致性概率Proi＝{Proi,1，Proi,2，...，Proi,n}，并经过一个线性变换映射，得到Fi。
可选的，情绪一致性概率Proi经过一个线性变换映射，得到Fi，如下：
Fi＝ReLU(W*Proi)+b；
其中，ReLU为非线性激活函数；W为权重参数；b为偏置。
可选的，基于常规语义特征和情绪一致性概率特征的关键信息，映射得到各自分类结果，具体为：
分别输入常规语义特征和情绪一致性概率特征的关键信息至由两个线性层组成的分类器中，映射得到各自分类结果。
可选的，软投票融合为采用计算类别平均概率的软投票融合。
可选的，还包括：使用AdamW优化器和交叉熵损失函数进行多层次的抑郁检测训练并测试。
经由上述的技术方案可知，与现有技术相比，本发明提出了一种基于细粒度提示学习的多层次抑郁状态检测方法。通过构建两条基于不同预训练语言模型的抑郁检测分支，即T5预训练模型、BERT的NSP预训练模型，分别提取访谈样本中的常规语义特征和访谈样本添加细粒度提示后文本与细粒度提示间的情绪一致性概率特征，实现了在有限的抑郁文本中提取有效的特征。本发明既可以应用到抑郁状态的三分类、五分类以及更加细粒度的分类任务上，取得显著的成果，也可以通过简化提示信息，退化到抑郁状态的二元分类任务，提升抑郁检测效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的方法流程示意图。
图2为本发明的MDSD-FGPL模型框架示意图。
图3为本发明对访谈样本进行细粒度提示添加的AddPrompts示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例1公开了一种基于细粒度提示学习的多层次抑郁状态检测方法，如图1所示，包括：
由对话性质的访谈可知，受试者的访谈样本Si由一连串的问答对构成，即Si＝{Si，1，Si,2，...，Si，n}，经过如图2所示的MDSD-FGPL模型的映射函数f，输出为Yi，如下：
Yi＝f(Si)∈{0，1，...，c-1}；
其中，c为提示语句个数，等于分类个数；{0，1，...，c-1}为细粒度分类级别；i为受试者样本编号。
获取访谈样本Si，通过T5预训练模型提取访谈样本Si的常规语义特征。
T5(Text-to-Text Transfer Transformer)为一种基于Transformer架构的通用文本预训练模型，旨在通过将多个自然语言处理任务转化为文本到文本的转换问题来进行学习。T5的编码器部分负责将输入文本编码为语义表示，其中利用了多层的自注意力机制以及前馈神经网络层来捕捉上下文信息和语义特征，它可以为多层次的细粒度抑郁症检测提取广泛的语义特征。
获取访谈样本Si，具体为：
按数据记录的时间戳分割访谈文本，并在同一主题内汇总问题及回答，得到样本Xi＝{Qi，1，Ai,1，Qi,2，Ai,2，...，Qi，n，Ai，n}；其中，Qi，n和Ai，n分别为第n个系列问题及回答；n为问答个数，对于不同的样本，n的大小不完全一致；i为受试者样本编号。
将问题Q和回答A使用</s>特殊标记符号连接，得到一个完整句子，即访谈样本Si＝{Si，1，Si,2，...，Si，n}；其中，Si，n＝Qi，n+</s>+Ai，n。
通过聚合同一话题下的系列问题及回答文本，能够保留最完整的结构化文本信息。
通过T5预训练模型提取访谈样本Si的常规语义特征，具体为：
输入访谈样本Si至T5Tokenizer，得到Ti＝{Ti，1，Ti,2，...，Ti，n}；其中，n为访谈样本中的问答个数；i为受试者样本编号。
输入Ti至由12个Transformer块构成的T5-Encoder预训练模型，冻结参数得到编码结果Ei＝{Ei，1，Ei,2，...，Ei，n}，如下：
Ei＝T5-Encoder(T5Tokenizer(Si))；
其中，Ei中每一个token表示维度由T5的大小决定，为了从编码序列中提取出关键信息并降低模型计算复杂度避免过拟合，采用最大池化操作，池化最后一个编码层的输出，得到Pi＝{Pi，1，Pi,2，...，Pi，n}。
对访谈样本Si进行细粒度提示添加，并通过BERT的NSP预训练模型提取访谈样本Si与所述细粒度提示间的情绪一致性概率特征。
NSP(Next Sentence Prediction)任务是BERT(Bidirectional EncoderRepresentations from Transformers)模型中的一种任务，旨在帮助BERT模型学习句子之间的关系和上下文，并提供更好的句子级别表示。
随着大模型参数量的增加，微调模型去适应下游数据和任务变得越来越困难；因此，使用预训练模型的参数进行特征提取和基于提示的学习成为一种流行的方法；在MDSD-T5中，本发明使用了第一种方法，而在MDSD-BERT中，试图使用NSP任务来创建提示，以捕捉抑郁症的特定语义特征，即文本中的情感倾向，帮助识别抑郁症。
对访谈样本Si进行细粒度提示添加，具体为：
从粗粒度到细粒度，选择的提示如表1所示，通过如图3所示的Add Prompts，为访谈样本Si中的每一个问答附加上相同的提示句组Prompt＝Prompt1～Promptc，得到PSi＝{Sprompt i，1，Sprompt i，2，...，Sprompti i，n}；其中，c为提示语句个数，等于分类个数；n为访谈样本中的问答个数；i为受试者样本编号。
表1不同分类粒度的提示信息
通过BERT的NSP预训练模型提取访谈样本Si与细粒度提示间的情绪一致性概率特征，具体为：
将PSi经BertTokenizer后，输入至BERT-NSP预训练模型，获取PSi中的情绪一致性概率Proi＝{Proi,1，Proi,2，...，Proi,n}，并经过一个线性层变换映射，得到Fi，如下：
Fi＝ReLU(W*Proi)+b；
其中，ReLU为非线性激活函数；W为权重参数；b为偏置。
以细粒度三分类为例，设计了三种类型的提示：正面、中性和负面，即Prompt1＝Ppos，Prompt2＝Pneu，Prompt3＝Pneg，他们分别作为访谈样本Si中每对问答Si,t(t∈[1，n])中的下一句，得到PSi，如下：
PSi＝{(Spos i，1，Sneu i，1，Sneg i，1)，...，(Spos i，n，Sneu i，n，Sneg i，n)}；
其中，Spos/neu/neg i，1＝[CLS]+Qi,1+Ai,1+[SEP]+Ppos/neu/neg；[CLS]和[SEP]分别为置于句首和用于分割不同句子的特殊标记符号。
接着将PSi经过BertTokenizer后，使用预训练模型BERT-NSP从PSi中获取情绪一致性概率Proi，如下：
Proi＝Bert-NSP(BertTokenizer(PSi))＝{Proi，1，Proi，2，...，Proi，n}；
其中，Proi，1＝(ProSpos i，1，ProSneu i，1，ProSneg i，1)；ProSpos i，1，ProSneu i，1和ProSneg i，1分别代表Spos i，1，Sneu i，1和Sneg i，1的情绪一致性概率，因此，ProSpos/neu/neg i，1∈[0,1]。
根据许多情绪识别工作对语音或文本的序列学习，单个问答对的情绪状态是不充分且缺少连续信息的；故将情绪一致性概率Proi经过一个线性变换映射到一个更高维度的特征空间，增加其空间分辨率得到Fi。
通过多头注意力机制分别提取常规语义特征和情绪一致性概率特征的关键信息，分别输入至由两个线性层组成的分类器中，映射得到各自分类结果，并采用计算类别平均概率的软投票融合，得到最终的多层次抑郁状态检测结果，使用AdamW优化器和交叉熵损失函数进行多层次的抑郁检测训练并测试。
通过多头注意力机制提取常规语义特征的关键信息，并输入至由两个线性层组成的分类器中，映射得到分类结果，具体为：
在许多的抑郁检测工作中普遍使用循环神经网络，因为抑郁的表示隐藏在一个相对长期的过程中，Pi的各个编码结果彼此之间是独立的，因此使用一个具有序列学习的模块去捕捉Pi中不同问答对之间的关系是非常有必要的。注意力机制依靠其强大的序列建模和语义关联的能力，在各种NLP任务中广泛使用，本发明选择将编码结果Pi通过多头注意力层以捕捉不同问答对之间的依赖关系，得到一个全面的上下文表征Mi，如下：
Mi＝Mutil-Head Attention(Max-pooling(Ei))；
最后将Mi序列展平再输入到由两个线性层组成的分类器中，最终得到分类输出
通过多头注意力机制提取情绪一致性概率特征的关键信息，并输入至由两个线性层组成的分类器中，映射得到分类结果，具体为：
Fi经过一个与MDSD-T5中结构类似的多头注意力模块，以学习文本的情绪变化信息，最后同样使用双线性层的分类器完成映射，如下：
本发明结合MDSD-T5和MDSD-BERT构造了一个后期投票的融合模型MDSD-FGPL，如图2所示。针对多层次的抑郁检测任务，MDSD-T5基于强大编码能力的T5偏向于提取常规语义特征。MDSD-BERT基于细粒度提示，考虑粒度大小并偏向于提取特殊语义特征。本发明在提出的文本组织方法的基础上，从有限的抑郁文本中提取出多样的可学习特征，有效提升抑郁检测能力。使用软投票融合的目的是避免两个分支间的影响，同时采用均值投票得到综合利用各模型优势的分类结果。总之，本发明基于访谈形式的文本模态，先后对文本做结构化预处理和特征提取，然后使用AdamW优化器和交叉熵损失函数进行多层次的抑郁检测训练并测试。
本发明实施例公开了一种基于细粒度提示学习的多层次抑郁状态检测方法。通过构建两条基于不同预训练语言模型的抑郁检测分支，即T5预训练模型、BERT的NSP预训练模型，分别提取访谈样本中的常规语义特征和访谈样本添加细粒度提示后文本与细粒度提示间的情绪一致性概率特征，实现了在有限的抑郁文本中提取有效的特征。本发明既可以应用到抑郁状态的三分类、五分类以及更加细粒度的分类任务上，取得显著的成果，也可以通过简化提示信息，退化到抑郁状态的二元分类任务，提升抑郁检测效果。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，包括：
获取访谈样本，通过T5预训练模型提取所述访谈样本的常规语义特征；
对所述访谈样本进行细粒度提示添加，并通过BERT的NSP预训练模型提取所述访谈样本与所述细粒度提示间的情绪一致性概率特征；
通过多头注意力机制分别提取所述常规语义特征和所述情绪一致性概率特征的关键信息，映射得到各自分类结果，并采用软投票融合，得到最终的多层次抑郁状态检测结果。
2.根据权利要求1所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，获取所述访谈样本，具体为：
按数据记录的时间戳分割访谈文本，并在同一主题内汇总问题及回答，得到Xi＝{Qi,1，Ai,1，Qi,2，Ai,2，...，Qi，n，Ai，n}；其中，Qi，n和Ai，n分别为第n个系列问题及回答；i为受试者样本编号；n为问答个数；
将问题Q和回答A使用</s>特殊标记符号连接，得到所述访谈样本Si＝{Si，1，Si,2，...，Si，n}；其中，Si，n＝Qi，n+</s>+Ai，n。
3.根据权利要求1所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，通过T5预训练模型提取所述访谈样本的常规语义特征，具体为：
输入所述访谈样本至T5Tokenizer，得到Ti＝{Ti，1，Ti,2，...，Ti，n}；其中，n为所述访谈样本中的问答个数；i为受试者样本编号；
输入Ti至T5-Encoder预训练模型，得到编码结果Ei＝{Ei，1，Ei,2，...，Ei，n}；
池化最后一个编码层的输出，得到Pi＝{Pi，1，Pi,2，...，Pi，n}。
4.根据权利要求1所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，对所述访谈样本进行细粒度提示添加，具体为：
为所述访谈样本中的每一个问答附加上相同的提示句组Prompt＝Prompt1～Promptc，得到PSi＝{Sprompt i，1，Sprompt i，2，...，Sprompt i，n}；其中，c为提示语句个数，等于分类个数；n为所述访谈样本中的问答个数；i为受试者样本编号。
5.根据权利要求4所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，通过BERT的NSP预训练模型提取所述访谈样本与所述细粒度提示间的情绪一致性概率特征，具体为：
将PSi经BertTokenizer后，输入至BERT-NSP预训练模型，获取PSi中的情绪一致性概率Proi＝{Proi,1，Proi,2，...，Proi,n}，并经过一个线性变换映射，得到Fi。
6.根据权利要求5所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，所述情绪一致性概率Proi经过一个线性变换映射，得到Fi，如下：
Fi＝ReLU(W*Proi)+b；
其中，ReLU为非线性激活函数；W为权重参数；b为偏置。
7.根据权利要求1所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，基于所述常规语义特征和所述情绪一致性概率特征的关键信息，映射得到各自分类结果，具体为：
分别输入所述常规语义特征和所述情绪一致性概率特征的关键信息至由两个线性层组成的分类器中，映射得到各自分类结果。
8.根据权利要求1所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，所述软投票融合为采用计算类别平均概率的软投票融合。
9.根据权利要求1所述的一种基于细粒度提示学习的多层次抑郁状态检测方法，其特征在于，还包括：使用AdamW优化器和交叉熵损失函数进行多层次的抑郁检测训练并测试。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311299157.4A CN117497140B (zh) | 2023-10-09 | 2023-10-09 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311299157.4A CN117497140B (zh) | 2023-10-09 | 2023-10-09 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117497140A true CN117497140A (zh) | 2024-02-02 |
| CN117497140B CN117497140B (zh) | 2024-05-31 |
Family
ID=89673367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311299157.4A Active CN117497140B (zh) | 2023-10-09 | 2023-10-09 | 一种基于细粒度提示学习的多层次抑郁状态检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117497140B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117933269A (zh) * | 2024-03-22 | 2024-04-26 | 合肥工业大学 | 一种基于情感分布的多模态深度模型构建方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108652648A (zh) * | 2018-03-16 | 2018-10-16 | 合肥数翼信息科技有限公司 | 一种用于老年人抑郁症的抑郁监控装置 |
| CN109961054A (zh) * | 2019-03-29 | 2019-07-02 | 山东大学 | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 |
| WO2021104099A1 (zh) * | 2019-11-29 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和系统 |
| CN112989033A (zh) * | 2020-12-03 | 2021-06-18 | 昆明理工大学 | 基于情绪类别描述的微博情绪分类方法 |
| CN113553824A (zh) * | 2021-07-07 | 2021-10-26 | 临沂中科好孕智能技术有限公司 | 一种句子向量模型训练方法 |
| WO2021218023A1 (zh) * | 2020-04-26 | 2021-11-04 | 平安科技（深圳）有限公司 | 多轮问答的情绪确定方法、装置、计算机设备及存储介质 |
| CN114219014A (zh) * | 2021-11-26 | 2022-03-22 | 合肥工业大学 | 一种基于脑电的自注意力图池化抑郁障碍识别分类方法 |
| US20220129621A1 (en) * | 2020-10-26 | 2022-04-28 | Adobe Inc. | Bert-based machine-learning tool for predicting emotional response to text |
| WO2022169995A1 (en) * | 2021-02-03 | 2022-08-11 | Ellipsis Health, Inc. | Systems and methods for multi-language adaptive mental health risk assessment from spoken and written language |
| EP4120286A1 (en) * | 2021-07-16 | 2023-01-18 | Novoic Ltd. | Method of evaluating text similarity for diagnosis or monitoring of a health condition |
| CN115730606A (zh) * | 2022-12-07 | 2023-03-03 | 辽宁大学 | 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 |
| CN116361420A (zh) * | 2023-03-31 | 2023-06-30 | 广西师范大学 | 基于多提示学习的评语数据增强与方面级情感分析方法 |
| CN116737938A (zh) * | 2023-07-19 | 2023-09-12 | 人民网股份有限公司 | 基于微调大模型在线数据网络细粒度情感检测方法及装置 |
| CN116795986A (zh) * | 2023-06-25 | 2023-09-22 | 北京师范大学 | 基于句子补全测验的自杀意念智能化测评方法及系统 |
| CN116822526A (zh) * | 2023-07-09 | 2023-09-29 | 天津大学 | 一种融合参数有效化和关系标签层次语义先验的隐式篇章关系识别方法 |
-
2023
- 2023-10-09 CN CN202311299157.4A patent/CN117497140B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108652648A (zh) * | 2018-03-16 | 2018-10-16 | 合肥数翼信息科技有限公司 | 一种用于老年人抑郁症的抑郁监控装置 |
| CN109961054A (zh) * | 2019-03-29 | 2019-07-02 | 山东大学 | 一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法 |
| WO2021104099A1 (zh) * | 2019-11-29 | 2021-06-03 | 中国科学院深圳先进技术研究院 | 一种基于情景感知的多模态抑郁症检测方法和系统 |
| WO2021218023A1 (zh) * | 2020-04-26 | 2021-11-04 | 平安科技（深圳）有限公司 | 多轮问答的情绪确定方法、装置、计算机设备及存储介质 |
| US20220129621A1 (en) * | 2020-10-26 | 2022-04-28 | Adobe Inc. | Bert-based machine-learning tool for predicting emotional response to text |
| CN112989033A (zh) * | 2020-12-03 | 2021-06-18 | 昆明理工大学 | 基于情绪类别描述的微博情绪分类方法 |
| WO2022169995A1 (en) * | 2021-02-03 | 2022-08-11 | Ellipsis Health, Inc. | Systems and methods for multi-language adaptive mental health risk assessment from spoken and written language |
| CN113553824A (zh) * | 2021-07-07 | 2021-10-26 | 临沂中科好孕智能技术有限公司 | 一种句子向量模型训练方法 |
| EP4120286A1 (en) * | 2021-07-16 | 2023-01-18 | Novoic Ltd. | Method of evaluating text similarity for diagnosis or monitoring of a health condition |
| CN114219014A (zh) * | 2021-11-26 | 2022-03-22 | 合肥工业大学 | 一种基于脑电的自注意力图池化抑郁障碍识别分类方法 |
| CN115730606A (zh) * | 2022-12-07 | 2023-03-03 | 辽宁大学 | 一种基于bert模型以及注意力集中网络的细粒度情感分析方法 |
| CN116361420A (zh) * | 2023-03-31 | 2023-06-30 | 广西师范大学 | 基于多提示学习的评语数据增强与方面级情感分析方法 |
| CN116795986A (zh) * | 2023-06-25 | 2023-09-22 | 北京师范大学 | 基于句子补全测验的自杀意念智能化测评方法及系统 |
| CN116822526A (zh) * | 2023-07-09 | 2023-09-29 | 天津大学 | 一种融合参数有效化和关系标签层次语义先验的隐式篇章关系识别方法 |
| CN116737938A (zh) * | 2023-07-19 | 2023-09-12 | 人民网股份有限公司 | 基于微调大模型在线数据网络细粒度情感检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 杨晨;宋晓宁;宋威;: "SentiBERT：结合情感信息的预训练语言模型", 计算机科学与探索, no. 09, pages 1563 - 1570 * |
| 杨炳新等: "基于数据增广和模型集成策略的图神经网络在抑郁症识别上的应用", 计算机科学, vol. 49, no. 07, 15 July 2022 (2022-07-15), pages 57 - 63 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117933269A (zh) * | 2024-03-22 | 2024-04-26 | 合肥工业大学 | 一种基于情感分布的多模态深度模型构建方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117497140B (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107516110B (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
| CN111524593B (zh) | 基于上下文语言模型和知识嵌入的医疗问答方法及系统 | |
| CN110991190B (zh) | 一种文档主题增强系统、文本情绪预测系统和方法 | |
| CN114926150B (zh) | 一种变压器技术符合性评估数字化智能审核方法与装置 | |
| Mao et al. | Prediction of depression severity based on the prosodic and semantic features with bidirectional LSTM and time distributed CNN | |
| CN117497140B (zh) | 一种基于细粒度提示学习的多层次抑郁状态检测方法 | |
| CN112309528B (zh) | 一种基于视觉问答方法的医疗影像报告生成方法 | |
| AU2019101138A4 (en) | Voice interaction system for race games | |
| CN110765788B (zh) | 一种基于隐式翻译模型的知识图谱嵌入方法 | |
| CN111540470B (zh) | 一种基于bert迁移学习的社交网络抑郁倾向检测模型及其训练方法 | |
| CN113111152A (zh) | 一种基于知识蒸馏和情绪集成模型的抑郁症检测方法 | |
| CN116992007A (zh) | 基于问题意图理解的限定问答系统 | |
| Zhang | Ideological and political empowering english teaching: ideological education based on artificial intelligence in classroom emotion recognition | |
| CN115995029A (zh) | 一种基于双向连接的图像情感分析方法 | |
| CN115588486A (zh) | 一种基于Transformer的中医诊断生成装置及其应用 | |
| CN114999628A (zh) | 一种利用机器学习寻找退行性膝骨关节炎显著性特征方法 | |
| Giabbanelli et al. | Generative AI for Systems Thinking: Can a GPT Question-Answering System Turn Text into the Causal Maps Produced by Human Readers? | |
| CN114358579A (zh) | 评阅方法、评阅装置、电子设备以及计算机可读存储介质 | |
| CN115617959A (zh) | 问题解答方法及装置 | |
| CN116992867B (zh) | 一种基于软提示主题建模的抑郁情绪检测方法及系统 | |
| CN113254741B (zh) | 基于融合模态内和模态间关系的数据处理方法及系统 | |
| Firoozi | Using automated procedures to score written essays in Persian: An application of the multilingual BERT system | |
| Mistry | A Systematic Comparative Study of Sentence Embedding Methods Using Real-World Text Corpora | |
| Teoh et al. | Emotional advisor to help children with autism in social communication | |
| CN117150320A (zh) | 对话数字人情感风格相似度评价方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |