CN116130089B - 基于超图神经网络的多模态抑郁症检测系统、装置及介质 - Google Patents
基于超图神经网络的多模态抑郁症检测系统、装置及介质 Download PDFInfo
- Publication number
- CN116130089B CN116130089B CN202310086005.XA CN202310086005A CN116130089B CN 116130089 B CN116130089 B CN 116130089B CN 202310086005 A CN202310086005 A CN 202310086005A CN 116130089 B CN116130089 B CN 116130089B
- Authority
- CN
- China
- Prior art keywords
- neural network
- relation
- matrix
- sentence
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 63
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 7
- 230000001364 causal effect Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 208000020401 Depressive disease Diseases 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 241001608711 Melo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003001 depressive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Psychiatry (AREA)
- Computing Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Social Psychology (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Epidemiology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开的一种基于超图神经网络的多模态抑郁症检测系统、装置及介质，该系统包括：关系特征矩阵获取单元，配置为对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；句子级嵌入特征获取单元，配置为将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入神经网络，得到各个模态的句子级嵌入特征；超边关系矩阵构建单元，配置为根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；网络训练单元，配置为将句子嵌入特征和超边关系矩阵输入超图神经网络中，训练神经网络；预测单元，配置为根据训练好的神经网络实现抑郁症的预测。本发明可以提高抑郁症检测的可解释性和通用性。
Description
技术领域
本发明属于智能计算机技术领域，尤其涉及一种基于超图神经网络的多模态抑郁症检测系统、装置及介质。
背景技术
抑郁症是现代社会最常见的精神疾病，其主要临床特征是持续的情绪低落、悲伤和对事物不感兴趣。随着人工智能的快速发展，基于深度学习的模型在早期抑郁症检测中显示出巨大的潜力。抑郁症患者的症状反映在他们的语言文本、言语、面部表情和其他人类行为中。根据数据来源，这些深度学习模型可以分为单模态和多模态。
近年来，基于单模态的抑郁症诊断模型通常利用深度学习方法来提取抑郁症的特征。Shen等人提出了一种具有特征自适应变换和组合策略的深度神经网络模型，实现了从Twitter数据到微博数据的域转移。Daros等人利用静态图片中面部外观的面部线索来辨别目标个体的心理健康状况。Huang等人提出了声学语音数据中声学和标志性单词的系统框架。它利用声学标志事件的两个特征来检测抑郁症。针对视频数据上的抑郁症检测问题，Carneiro de Melo等人提出了一种最大化和差异化网络。在网络中，最大化块捕捉平滑的面部变化，而差分块编码突然的面部变化。
与单模态学习相比，多模态学习实现了极大的性能改进，因为实际的人类感知是建立在多模态上的。多模态深度学习模型可以集成来自不同模态的各个方面的信息，以实现良好的分类性能。Mao等人利用音频数据和文本数据来预测抑郁症患者的严重程度。该模型主要利用双向长短记忆网络(Bi-LSTM)和时间分布卷积神经网络(TCNN)来提取两个模态数据的时空特征。基于三模态数据库DAIC-WOZ，包括抑郁症患者的音频、面部关键点的3D视频和文本，Haque等人提出了一种因果卷积神经网络，以将多模态数据汇总到单个嵌入中。Zheng等人构建了一个多模态知识图。在构建的图中，每个个体的单个模态数据表示一个顶点。然后，他们利用具有多模态知识的图形注意力网络来检测抑郁障碍。
发明内容
为解决上述技术问题，本申请的实例提供了一种基于超图神经网络的多模态抑郁症检测系统、装置及介质，以提高抑郁症检测的可解释性和通用性。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本发明的第一方面，提供一种基于超图神经网络的多模态抑郁症检测系统，所述系统包括：
关系特征矩阵获取单元，配置为对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；
句子级嵌入特征获取单元，配置为将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入TCN神经网络，以得到各个模态的句子级嵌入特征；
超边关系矩阵构建单元，配置为根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；
网络训练单元，配置为将句子嵌入特征和超边关系矩阵输入超图神经网络中，训练神经网络；
预测单元，配置为根据训练好的神经网络实现抑郁症的预测。
进一步地，所述关系特征矩阵获取单元被进一步配置为分别将文本，音频和视频数据输入进时间卷积网络中，使用欧式距离分别构建Ga,Gv，Gt关系矩阵。
进一步地，所述句子级嵌入特征获取单元被进一步配置为：将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入时间卷积网络中，以得到各个模态的句子级嵌入特征；
所述时间卷积网络包括10层因果卷积网络，每层因果卷积网络有128个隐藏节点，内核大小为5，最后一层是全连接层，其输入特征数为128，输出特征数为2，Dropout设置为0.5，使用Adam优化器进行优化，并使用二进制交叉熵作为损失函数。
进一步地，所述网络训练单元被进一步配置为：
将句子嵌入特征和超边关系矩阵输入超图神经网络中，并通过如下公式进行迭代训练：
其中，X(l+1)为下一层节点特征表示，σ为激活函数，为节点的度，H为超边关系矩阵，W为权重参数，/>为超边的度，HT为超边关系矩阵的转置，X(l)为当前层节点的特征表示，Θ(l)为可学习的权重参数。
根据本发明的第二方面，提供一种基于超图神经网络的多模态抑郁症检测装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如下步骤：
对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；
将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入TCN神经网络，以得到各个模态的句子级嵌入特征；
根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；
将句子嵌入特征和超边关系矩阵输入超图神经网络中，训练神经网络；
根据训练好的神经网络实现抑郁症的预测。
根据本发明的第三方面，提供一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：
对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；
将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入TCN神经网络，以得到各个模态的句子级嵌入特征；
根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；
将句子嵌入特征和超边关系矩阵输入超图神经网络中，训练神经网络；
根据训练好的神经网络实现抑郁症的预测。。
有益效果：
本发明公开的一种基于超图神经网络的多模态抑郁症检测系统，利用时间卷积神经网络学习各个模态的句子嵌入特征，结合总体的特征充分考虑每个抑郁症患者之间细微的相似性，并结合超图神经网络，捕获抑郁症患者间的拓扑结构，使得多模态特征充分融合。在整个检测过程中，充分结合各个部分的特点，与人类的感知密切相关。
附图说明
图1为本发明一种基于超图神经网络的多模态抑郁症检测系统的结构图；
图2为本发明实例中一种基于超图神经网络的多模态抑郁症检测系统的整体运行流程图；
图3为本发明实例中示出的时间卷积网络结构图；
图4为本发明实例中示出的管因果卷积网络结构；
图5为本发明实例中示出的超边构建示意图。
具体实施方式
下面将结合附图和实例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。
图1为本实例的基于超图神经网络的多模态抑郁症检测系统的结构图；本发明实施例提供一种基于超图神经网络的多模态抑郁症检测系统，该系统100包括：
关系特征矩阵获取单元101，配置为对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵。
需要说明的是，文本，视频和音频数据是在抑郁症数据集中所采集到的数据，该类数据可以通过诊断性访谈的视频和音频中采集得到。
句子级嵌入特征获取单元102，配置为将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入TCN神经网络，以得到各个模态的句子级嵌入特征。
超边关系矩阵构建单元103，配置为根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵。
网络训练单元104，配置为将句子嵌入特征和超边关系矩阵输入超图神经网络中，训练神经网络。
预测单元105，配置为根据训练好的神经网络实现抑郁症的预测。
需要注意，预测单元105是基于网络训练单元104训练好的神经网络，基于诊断性访谈的视频和音频中获取到相应患者的文本，视频和音频数据，通过训练好的神经网络模型来实现预测。
为了提高抑郁症检测的可解释性和通用性，本发明提出了一种抑郁症检测的多模态超图神经网络框架，即TecHyn。TecHyn可用于抑郁症诊断的多模式数据收集。在该检测系统中，本发明整合了抑郁症数据集的音频、视频和文本数据。利用由正则神经网络和完全连接的神经网络组成的时间卷积网络(TCN)来提取单个模型数据中的时空特征。请注意，诊断性访谈的视频和音频数据序列非常长。直接在这些数据上使用TCN将导致高计算开销和灾难性遗忘。考虑到视频和音频信号的连续性，可以在从分段视频和音频数据中提取的视频特征和音频特征上添加了平均池化层作为TCN的输入，以显著降低其计算复杂性。此外，本发明在TecHyn上提出了一种训练方案，其中超边缘编码每个模态中节点的相似性。本发明通过将具有最接近欧几里德距离的节点链接到超图的超边。据已有的现有技术文献显示，这是将超图神经网络应用于多模态抑郁症检测的首次尝试。
在一个具体的实例中，本发明以充分结合多模态数据为目的，提出一种基于超图神经网络的多模态抑郁症检测系统。该系统的工作原理如下：首先，利用时间卷积神经网络提取各个模态的句子嵌入特征。其次，根据句子嵌入特征的欧式空间关系，构建超边结构。然后将句子嵌入特征和超边结构输入进超图神经网络中，迭代训练。最终得到能够准确预测抑郁症患者的模型。其整体模型框架如图2所示。
具体说来，关系特征矩阵获取单元中，对于整个数据集，分别将文本，音频和视频数据输入进时间卷积网络中。首先对于整个音频数据视频数据和文本数据/>根据抑郁症患者在每句话上细微的相似关系，使用欧式距离分别构建Ga,Gv，Gt关系矩阵。
然后，句子级嵌入特征获取单元将各自的原始特征和关系矩阵分别输入进时间卷积网络中并将其进行初步结合。具体过程如图3所示。其中时间卷积神经网络由10层因果卷积网络，每层128个隐藏节点，内核大小为5，最后一层是全连接层，其输入特征数为128，输出特征数为2。Dropout设置为0.5，使用Adam优化器进行优化，并使用二进制交叉熵作为损失函数。因果卷积结构如图4所示。
超边关系矩阵构建单元在得到句子嵌入特征后根据欧式空间距离构建超边结构，如图5所示。最终网络训练单元结合超边关系矩阵和句子嵌入输入超图神经网络中并进行训练以及预测单元实现最后的抑郁症检测。超图神经网络训练的迭代公式如下：
其中，X(l+1)为下一层节点特征表示，σ为激活函数，为节点的度，H为超边关系矩阵，W为权重参数，/>为超边的度，HT为超边关系矩阵的转置，X(l)为当前层节点的特征表示，Θ(l)为可学习的权重参数。
综上所述，本发明首次结合超图神经网络进行抑郁症的检测。使用超边构建的思想，构建了各个模态的各自的关系矩阵，并结合原始特征一并输入进时间卷积神经网络中训练，在整个检测过程中，充分结合各个部分的特点，与人类的感知密切相关。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于超图神经网络的多模态抑郁症检测系统，其特征在于，所述系统包括：
关系特征矩阵获取单元，配置为对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；
句子级嵌入特征获取单元，配置为将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入TCN神经网络，以得到各个模态的句子级嵌入特征；
超边关系矩阵构建单元，配置为根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；
网络训练单元，配置为将句子嵌入特征和超边关系矩阵输入超图神经网络中，训练神经网络；
预测单元，配置为根据训练好的神经网络实现抑郁症的预测；
所述句子级嵌入特征获取单元被进一步配置为：将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入时间卷积网络中，以得到各个模态的句子级嵌入特征；
所述网络训练单元被进一步配置为：
将句子嵌入特征和超边关系矩阵输入超图神经网络中，并通过如下公式进行迭代训练：
其中，X(l+1)为下一层节点特征表示，σ为激活函数，为节点的度，H为超边关系矩阵，W为权重参数，/>为超边的度，HT为超边关系矩阵的转置，X(l)为当前层节点的特征表示，Θ(l)为可学习的权重参数。
2.根据权利要求1所述的系统，其特征在于，所述关系特征矩阵获取单元被进一步配置为分别将文本，音频和视频数据输入进时间卷积网络中，使用欧式距离分别构建Ga,Gv，Gt关系矩阵。
3.根据权利要求1所述的系统，其特征在于，
所述时间卷积网络包括10层因果卷积网络，每层因果卷积网络有128个隐藏节点，内核大小为5，最后一层是全连接层，其输入特征数为128，输出特征数为2，Dropout设置为0.5，使用Adam优化器进行优化，并使用二进制交叉熵作为损失函数。
4.一种基于超图神经网络的多模态抑郁症检测装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如下步骤：
对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；
将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入时间卷积网络中，以得到各个模态的句子级嵌入特征；
根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；
将句子嵌入特征和超边关系矩阵输入超图神经网络中，并通过如下公式进行迭代训练：
其中，X(l+1)为下一层节点特征表示，σ为激活函数，为节点的度，H为超边关系矩阵，W为权重参数，/>为超边的度，HT为超边关系矩阵的转置，X(l)为当前层节点的特征表示，Θ(l)为可学习的权重参数；
根据训练好的神经网络实现抑郁症的预测。
5.一种可读存储介质，其特征在于，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：
对文本，视频和音频数据分别使用欧式距离，得到各个模态各自的关系特征矩阵；
将文本，视频和音频数据和所述各个模态各自的关系特征矩阵分别输入时间卷积网络中，以得到各个模态的句子级嵌入特征；
根据欧几里得距离选择所述各个模态的句子级嵌入特征的近邻关系，构建超边关系矩阵；
将句子嵌入特征和超边关系矩阵输入超图神经网络中，并通过如下公式进行迭代训练：
其中，X(l+1)为下一层节点特征表示，σ为激活函数，为节点的度，H为超边关系矩阵，W为权重参数，/>为超边的度，HT为超边关系矩阵的转置，X(l)为当前层节点的特征表示，Θ(l)为可学习的权重参数；
根据训练好的神经网络实现抑郁症的预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310086005.XA CN116130089B (zh) | 2023-02-02 | 2023-02-02 | 基于超图神经网络的多模态抑郁症检测系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310086005.XA CN116130089B (zh) | 2023-02-02 | 2023-02-02 | 基于超图神经网络的多模态抑郁症检测系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116130089A CN116130089A (zh) | 2023-05-16 |
| CN116130089B true CN116130089B (zh) | 2024-01-02 |
Family
ID=86306122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310086005.XA Active CN116130089B (zh) | 2023-02-02 | 2023-02-02 | 基于超图神经网络的多模态抑郁症检测系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116130089B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108849A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 一种基于弱监督多模态深度学习的微博情感预测方法 |
| CN110281949A (zh) * | 2019-06-28 | 2019-09-27 | 清华大学 | 一种自动驾驶统一分层决策方法 |
| CN112863664A (zh) * | 2020-12-30 | 2021-05-28 | 无锡太湖学院 | 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 |
| CN112860928A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种基于类别感知图神经网络的服饰检索方法 |
| CN112927781A (zh) * | 2021-02-10 | 2021-06-08 | 杭州医典智能科技有限公司 | 一种基于自然语言处理和时序卷积网络的抑郁症检测方法 |
| CN113051927A (zh) * | 2021-03-11 | 2021-06-29 | 天津大学 | 基于多模态图卷积神经网络的社交网络突发事件检测方法 |
| WO2021227091A1 (zh) * | 2020-05-15 | 2021-11-18 | 南京智谷人工智能研究院有限公司 | 一种基于图卷积神经网络的多模态分类方法 |
| CN114118165A (zh) * | 2021-12-03 | 2022-03-01 | 深圳大学 | 基于脑电的多模态情绪数据预测方法、装置及相关介质 |
| CN114372573A (zh) * | 2022-01-07 | 2022-04-19 | 中国人民解放军国防科技大学 | 用户画像信息识别方法、装置、计算机设备和存储介质 |
| CN114443858A (zh) * | 2022-01-20 | 2022-05-06 | 电子科技大学(深圳)高等研究院 | 一种基于图神经网络的多模态知识图谱表示学习方法 |
| CN114547310A (zh) * | 2022-03-01 | 2022-05-27 | 河北工程大学 | 一种假新闻早期检测方法、系统、设备及介质 |
| WO2022147885A1 (zh) * | 2021-01-09 | 2022-07-14 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| WO2022147871A1 (zh) * | 2021-01-09 | 2022-07-14 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| CN114898861A (zh) * | 2022-03-22 | 2022-08-12 | 合肥工业大学 | 基于全注意力机制的多模态抑郁症检测方法和系统 |
| CN115132324A (zh) * | 2022-06-17 | 2022-09-30 | 清华-伯克利深圳学院筹备办公室 | 心理健康预测方法和装置、电子设备、存储介质 |
| CN115249539A (zh) * | 2022-01-27 | 2022-10-28 | 云南师范大学 | 一种多模态小样本抑郁症预测模型构建方法 |
| CN115496075A (zh) * | 2022-10-25 | 2022-12-20 | 扬州大学 | 基于超图神经网络的生物医学事件触发词提取方法与系统 |
| CN115577316A (zh) * | 2022-09-28 | 2023-01-06 | 中国人民解放军国防科技大学 | 一种基于多模态数据融合的用户人格预测方法与应用 |
| CN115617969A (zh) * | 2022-11-04 | 2023-01-17 | 华南师范大学 | 一种会话推荐方法、装置、设备和计算机存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210312042A1 (en) * | 2020-04-06 | 2021-10-07 | Cybereason Inc. | Graph-Based Classification of Elements |
| US11688061B2 (en) * | 2020-11-20 | 2023-06-27 | International Business Machines Corporation | Interpretation of whole-slide images in digital pathology |
-
2023
- 2023-02-02 CN CN202310086005.XA patent/CN116130089B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108849A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 一种基于弱监督多模态深度学习的微博情感预测方法 |
| CN110281949A (zh) * | 2019-06-28 | 2019-09-27 | 清华大学 | 一种自动驾驶统一分层决策方法 |
| WO2021227091A1 (zh) * | 2020-05-15 | 2021-11-18 | 南京智谷人工智能研究院有限公司 | 一种基于图卷积神经网络的多模态分类方法 |
| CN112863664A (zh) * | 2020-12-30 | 2021-05-28 | 无锡太湖学院 | 基于多模态超图卷积神经网络的阿尔茨海默病分类方法 |
| WO2022147885A1 (zh) * | 2021-01-09 | 2022-07-14 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| WO2022147871A1 (zh) * | 2021-01-09 | 2022-07-14 | 深圳先进技术研究院 | 影像驱动的脑图谱构建方法、装置、设备及存储介质 |
| CN112860928A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种基于类别感知图神经网络的服饰检索方法 |
| CN112927781A (zh) * | 2021-02-10 | 2021-06-08 | 杭州医典智能科技有限公司 | 一种基于自然语言处理和时序卷积网络的抑郁症检测方法 |
| CN113051927A (zh) * | 2021-03-11 | 2021-06-29 | 天津大学 | 基于多模态图卷积神经网络的社交网络突发事件检测方法 |
| CN114118165A (zh) * | 2021-12-03 | 2022-03-01 | 深圳大学 | 基于脑电的多模态情绪数据预测方法、装置及相关介质 |
| CN114372573A (zh) * | 2022-01-07 | 2022-04-19 | 中国人民解放军国防科技大学 | 用户画像信息识别方法、装置、计算机设备和存储介质 |
| CN114443858A (zh) * | 2022-01-20 | 2022-05-06 | 电子科技大学(深圳)高等研究院 | 一种基于图神经网络的多模态知识图谱表示学习方法 |
| CN115249539A (zh) * | 2022-01-27 | 2022-10-28 | 云南师范大学 | 一种多模态小样本抑郁症预测模型构建方法 |
| CN114547310A (zh) * | 2022-03-01 | 2022-05-27 | 河北工程大学 | 一种假新闻早期检测方法、系统、设备及介质 |
| CN114898861A (zh) * | 2022-03-22 | 2022-08-12 | 合肥工业大学 | 基于全注意力机制的多模态抑郁症检测方法和系统 |
| CN115132324A (zh) * | 2022-06-17 | 2022-09-30 | 清华-伯克利深圳学院筹备办公室 | 心理健康预测方法和装置、电子设备、存储介质 |
| CN115577316A (zh) * | 2022-09-28 | 2023-01-06 | 中国人民解放军国防科技大学 | 一种基于多模态数据融合的用户人格预测方法与应用 |
| CN115496075A (zh) * | 2022-10-25 | 2022-12-20 | 扬州大学 | 基于超图神经网络的生物医学事件触发词提取方法与系统 |
| CN115617969A (zh) * | 2022-11-04 | 2023-01-17 | 华南师范大学 | 一种会话推荐方法、装置、设备和计算机存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Residual Enhanced Multi-Hypergraph Neural Network;Jing Huang， Xiaolin Huang， Jie Yang;《2021 IEEE International Conference on Image Processing》;全文 * |
| 基于超图的多模态关联特征处理方法;罗永恩;胡继承;徐茜;;计算机工程;第43卷(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116130089A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310707B (zh) | 基于骨骼的图注意力网络动作识别方法及系统 | |
| CN109086805B (zh) | 一种基于深度神经网络和成对约束的聚类方法 | |
| CN113360673B (zh) | 多模态知识图谱的实体对齐方法、装置及存储介质 | |
| CN111428073B (zh) | 一种深度监督量化哈希的图像检索方法 | |
| CN113673244B (zh) | 医疗文本处理方法、装置、计算机设备和存储介质 | |
| CN113779996B (zh) | 基于BiLSTM模型的标准实体文本确定方法、装置及存储介质 | |
| CN113157957A (zh) | 一种基于图卷积神经网络的属性图文献聚类方法 | |
| WO2021237917A1 (zh) | 一种自适应认知活动识别方法、装置及存储介质 | |
| CN113693563A (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
| CN114299006A (zh) | 一种联合图对比学习的自适应多通道图卷积网络 | |
| CN115168443A (zh) | 一种基于gcn-lstm和注意力机制的异常检测方法及系统 | |
| CN116386899A (zh) | 基于图学习的药物疾病关联关系预测方法及相关设备 | |
| CN113920379B (zh) | 一种基于知识辅助的零样本图像分类方法 | |
| Zhang et al. | COS-LDL: Label distribution learning by cosine-based distance-mapping correlation | |
| CN115130651A (zh) | 一种记忆环路多层异构机制启发的脉冲神经网络 | |
| Zhang et al. | Neural network in sports cluster analysis | |
| Hu et al. | A compressed model-agnostic meta-learning model based on pruning for disease diagnosis | |
| Kmiec et al. | Learnable pooling methods for video classification | |
| CN116130089B (zh) | 基于超图神经网络的多模态抑郁症检测系统、装置及介质 | |
| CN115954019B (zh) | 一种融合自注意力和卷积操作的环境噪声识别方法及系统 | |
| Hudagi et al. | Bayes-probabilistic-based fusion method for image inpainting | |
| CN112560784B (zh) | 一种基于动态多尺度卷积神经网络的心电图分类方法 | |
| CN111882045B (zh) | 基于可微神经结构搜索的大脑时-空网络分解方法及系统 | |
| CN114171206A (zh) | 模型训练、传感病预测方法、装置、设备及存储介质 | |
| Xue | Analysis Model of Spoken English Evaluation Algorithm Based on Intelligent Algorithm of Internet of Things |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |