CN112037179B - 一种脑疾病诊断模型的生成方法、系统及设备 - Google Patents
一种脑疾病诊断模型的生成方法、系统及设备 Download PDFInfo
- Publication number
- CN112037179B CN112037179B CN202010799537.4A CN202010799537A CN112037179B CN 112037179 B CN112037179 B CN 112037179B CN 202010799537 A CN202010799537 A CN 202010799537A CN 112037179 B CN112037179 B CN 112037179B
- Authority
- CN
- China
- Prior art keywords
- attention
- module
- sequence sample
- subspace
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Neurology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Medical Informatics (AREA)
- Neurosurgery (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychology (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种脑疾病诊断模型的生成方法、系统及设备,通过预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述预设网络模型中设置有用于提取子空间特征的注意力模块;所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,重复训练,直至得到所述脑疾病诊断模型。本方法公开的预设网络模型由于加入了注意力模块,使得预设网络模型更加适用于应用到提取长序列信息的特征,因此对预设网络模型进行训练可以生成辅助脑疾病诊治的神经网络模型,为脑疾病诊断提供了依据。
Description
技术领域
本发明涉及医疗诊断技术领域,尤其涉及的是一种脑疾病诊断模型的生成方法、系统及设备。
背景技术
现有的用于脑疾病早期诊断的模型中,多为基于机器学习构建出的诊断模型。例如,Zhou等人提出了一种基于全脑容量测量和扩散张量成像的支持向量机分类模型。Sen等人提出了一种利用皮尔森相关系数进行强迫症脑网络构建的诊断模型。Lenhard等人采用四种不同的机器学习方法构建完成脑疾病的早期诊断模型。
然而,在现有的诊断模型中仍然存在许多问题。首先,现有的诊断框架不考虑将一级亲属作为高危人群进行判别。其次,传统的机器学习很大程度上依赖于先验知识来选择特征。最后,传统的功能网络构建需要复杂的预处理和计算。
因此,现有技术有待于进一步的改进。
发明内容
鉴于上述现有技术中的不足之处,本发明的目的在于提供一种脑疾病诊断模型的生成方法、系统及设备,克服现有技术中的基于机器学习的脑疾病诊断模型依赖先验知识选择特征和用于训练模型的训练集数据预处理过程复杂的缺陷。
本发明实施例公开的方案如下:
第一方面,本实施例提供了一种脑疾病诊断模型的生成方法,其中,包括:
预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述训练图像集包括多组训练样本,每组训练样本包括:ROI序列样本和与所述ROI序列样本对应的疾病信息标签;所述预设网络模型中设置有用于提取子空间特征的注意力模块;
所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型。
可选的,所述预设网络模型包括:深度信息提取模块、子空间信息提取模块和分类模块;
所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤包括:
将所述ROI序列样本输入至所述深度信息提取模块,得到所述深度信息提取模块输出的深度特征信息;
将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息;
将所述子空间信息输入至所述分类模块,得到所述分类模块输出的与所述ROI序列样本对应的预测分类结果。
可选的,所述的深度信息提取模块的网络结构为ON-LSTM网络结构,所述ON-LSTM网络结构为将LSTM网络的单元状态更新函数更新为:
可选的,所述子空间信息提取模块为改进后的多头注意力模型;所述多头注意力模型中的各个自注意力模块的激活函数不同。
可选的,所述将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息的步骤包括:
将所述深度特征信息输入至各个自注意力模块,并将各个自注意力模块输出的特征信息分别输入至其对应连接的激活函数,得到各个激活函数输出的注意力特征;
将各个激活函数输出的注意力特征加权,并将加权后的注意力特征与所述深度特征信息相叠加,将叠加后得到的特征信息输入至各个自注意力模块,得到所述子空间信息提取模块输出的子空间信息;
重复预设次数将各个激活函数输出的注意力特征加权、并将加权后的注意力特征与所述深度特征信息相叠加输入至各个自注意力模块,得到激活函数输出迭代后的注意力特征的步骤,最终得到各个激活函数输出的注意力特征加权后的子空间信息。
可选的,所述分类模块为SoftMax分类器。
第二方面,本实施例提供了一种脑疾病诊断模型的生成系统,其中,包括:
数据预测模块,用于执行预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述训练图像集包括多组训练样本,每组训练样本包括:ROI序列样本和与所述ROI序列样本对应的疾病信息标签;所述预设网络模型中设置有用于提取子空间特征的注意力模块;
模型参数修正模块,用于执行所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型。
可选的,所述预设网络模型包括:深度信息提取模块、子空间信息提取模块和分类模块;
所述子空间信息提取模块为改进后的多头注意力模型;所述多头注意力模型中的各个自注意力模块的激活函数不同;
所述分类模块为SoftMax分类器。
第三方面,本实施例提供的一种终端设备,其特征在于,包括处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令;所述处理器适于调用所述存储介质中的指令,以执行实现所述的脑疾病诊断模型的生成方法的步骤。
第四方面,本实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现所述的脑疾病诊断模型的生成方法的步骤。
有益效果,本发明提供了一种脑疾病诊断模型的生成方法、系统及设备,通过预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述预设网络模型中设置有用于提取子空间特征的注意力模块;所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型。本方法公开的预设网络模型由于加入了注意力模块,使得预设网络模型更加适宜应用到提取长序列信息的特征,构建出适宜用于脑疾病诊断的神经网络模型,并且本实施例提供的脑疾病诊断模型的不依赖先验知识选择特征,并且训练模型的训练集数据预处理过程简单,因此更好提供脑疾病诊断所需的理论依据。
附图说明
图1是本实施例所提供的脑疾病诊断模型的生成方法步骤流程图;
图2是本实施例所提供的脑疾病诊断模型的网络结构示意图;
图3是本实施例所述ON-LSTM网络结构的结构示意图;
图4是本实施例中多注意力模块的结构示意图;
图5是本实施例中自注意力模块的结构示意图;
图6是本发明所述提供的脑疾病诊断模型的生成系统的原理结构示意图;
图7是本发明实施例脑疾病诊断系统的结构原理框图;
图8是本发明所述终端设备的原理结构图;
图9是本实施例中多个注意区域对应的桑基图对比示意图;
图10是本实施例中Top5,Top10以及Top20的ROI序列。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
发明人发现现有技术中基于机器学习进行脑部疾病早期诊断的方法,例如:强迫症,存在很多问题,第一个问题是诊断框架中未将一级亲属作为高危人群进行判别,另一个问题是机器学习依赖于先验知识来选择训练特征,并且网络构建需要进行复杂的预处理和计算。因此现有技术中基于机器学习实效脑部疾病诊断的模型不能满足诊断结果准确、对先验知识依赖低和实现过程简洁的要求。
为了解决这些问题,RNN及其变种被广泛应用于脑功能分析以及利用fMRI功能性磁共振成像数据进行脑疾病诊断。例如,Yan等人设计了一种新的全连接双向长短期记忆方法,有效地学习周期性的大脑状态变化。Dvornek等人提出了利用LSTM构建诊断抑郁症的框架。然而,对于强迫症仍没有基于深度学习的诊断模型。此外,LSTM对过长序列(如fMRI)的处理能力有限。
本实施例提供一种脑疾病诊断模型的生成方法,通过在训练的预设网络模型中增加了注意力机制,因此可以很好的实现对长序列信息的处理,比如:fMRI图像中提取到的ROI序列的处理能力,因此可以获取到更精准的预测结果,为脑疾病的早期筛查提供了便利。
下面结合附图,对本发明所公开的所述方法做更为详细的解释。
示例性方法
第一方面,本实施例提供了一种脑疾病诊断模型的生成方法,其中,包括:
步骤S1、预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述训练图像集包括多组训练样本,每组训练样本包括:ROI序列样本和与所述ROI序列样本对应的疾病信息标签;所述预设网络模型中设置有用于提取子空间特征的注意力模块。
首先构建出预设网络模型,通过对所述预设网络模型进行训练,得到本实施例所要得到的脑疾病诊断模型。为了克服现有技术中的现有技术中的网络模型无法对长序列进行处理的缺陷,本步骤中基于注意力机制在预设网络模型设置有注意力模块,通过所述注意力模块改善网络模型不能处理长序列的缺陷,因此本实施例提供了一种用于脑部疾病早期诊断和风险筛查的深度学习网络模型。
具体的,所述预设网络模型包括:深度信息提取模块、子空间信息提取模块和分类模块;
所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤包括:
将所述ROI序列样本输入至所述深度信息提取模块,得到所述深度信息提取模块输出的深度特征信息;
将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息;
将所述子空间信息输入至所述分类模块,得到所述分类模块输出的与所述ROI序列样本对应的预测分类结果。
首先将获取到的fMRI图像通过AAL模板,提取出其对应的ROI序列,并将所述ROI序列分成训练图像集、验证集和测试集。其中,训练图像集用于本步骤中的预设网络模型的训练步骤。
将训练集中的各个ROI序列样本依次输入至深度信息提取模块、子空间信息提取模块和分类模块,得到所述分类模块输出的与各个ROI序列样本对应的预测分类结果。所述预测分类结果包括:强迫症OCD、一级亲属FDR(first-degree relatives)和健康HC(healthy controls)。
进一步的,结合图2和图3所示,所述的深度信息提取模块的网络结构为ON-LSTM网络结构,所述ON-LSTM网络结构为将LSTM网络的单元状态更新函数更新为:
在一种实施方式中,结合图2和图4所示,所述子空间信息提取模块为改进后的多头注意力模型;所述多头注意力模型中的各个自注意力模块的激活函数不同。
具体的,所述将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息的步骤包括:
将所述深度特征信息输入至各个自注意力模块,并将各个自注意力模块输出的特征信息分别输入至其对应连接的激活函数,得到各个激活函数输出的注意力特征;
将各个激活函数输出的注意力特征加权,并将加权后的注意力特征与所述深度特征信息相叠加,将叠加后得到的特征信息输入至各个自注意力模块,得到所述子空间信息提取模块输出的子空间信息;
重复预设次数将各个激活函数输出的注意力特征加权、并将加权后的注意力特征与所述深度特征信息相叠加输入至各个自注意力模块,得到激活函数输出迭代后的注意力特征的步骤,最终得到各个激活函数输出的注意力特征加权后的子空间信息。
结合图4所示,本实施例的子空间信息提取模块中还有多个自注意模块,每个自注意模块均对应一个激活函数,各个激活函数对应的激活功能不同,从而实现多个自注意模块分别输出不同的子空间信息。
结合图5所示,对自注意模型中输入的向量分别创建三个分向量,对于每个分向量,创建一个查询向量(Q=xwQ),键向量(K=xwK)和值向量(V=xwV).然后通过点乘点击Q和V对输入进行评分,将其评分除以并将输出利用SoftMax函数进行标准化,最终列表的总和为1。
在一种实施方式中,所述分类模块为SoftMax分类器,利用SoftMax函数得到诊断结果。
步骤S2、所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型。
根据训练图像集中与所述ROI序列样本对应的疾病类型标签和预设网络模型输出的疾病类型预测结果计算出误差值,并根据误差值对模型参数进行修正,利用参数修正后的神经网络模型再次对ROI序列样本对应的疾病类型进行预测,直至预测出的结果与真实值之间的误差在预设范围内,则得到训练完全的脑疾病诊断模型。
下面结合图2至图5所示,对本发明所公开的脑疾病诊断模型做进一步的解释。
本实施例中提出的脑疾病诊断模型由有序的长短期记忆网络(ON-LSTM)和改进的多头注意力(MA)构成。
第一方面,ON-LSTM模块
首先定义传统的LSTM:
输入门:it=σ(Wxixt+Whiht-1+bi) (1)
遗忘门:ft=σ(Wxfxt+Whfht-1+bf) (2)
输出门:ot=σ(Wxoxt+Whoht-1+bo) (3)
内存更新:ct=it⊙gt+ft⊙ct-1 (5)
与传统LSTM相比,遗忘门和输入门与传统LSTM相同。LSTM的门很难区分神经元之间的信息水平,因为每个神经元中的这些门是独立的。因此,通过加强神经元更新的顺序,使每个神经元的门依赖于其他神经元。ON-LSTM与LSTM的区别在于替换了单元状态更新函数(式(5))。在解释新的存储单元更新函数之前,首先定义一个新的激活函数来强制执行更新频率的顺序:
其中cumsum是累积和的平均值,向量可视为二进制门:(0,…,0,1,…,1)。此二进制门将单元状态分为两个段:段0和段1。模型将根据不同的规则更新这两个值,然后对它们进行分级。第一个从1到g的索引值由随机变量D表示,然后D表示两个状态之间的边界。
p(d)=softmax(...) (8)
计算g的第k个值是1的概率,通过计算k个值是分裂点之前的任何值的分离概率,即d≤k=(d=0)∨(d=1)∨...∨(d=k)。由于类别是互斥的,因此可以通过以下方法计算累积分布函数:
p(gk=1)=p(d≤k)=∑i≤kp(d=i) (9)
基于cumax(),可以定义主遗忘门和主输入门:
根据cumax()的激活属性,主遗忘门的值为0到1,主输入门的值为1到0。这些门用作单元状态更新的高级控件。因此,单元状态更新的新功能定义为:
其中控制消除行为。如果假设(分割点是则将完全删除前一个细胞状态ct-1中第神经元之前的信息。而是控制模型的写入机制。假设(分割点是)。较大的表示当前输入的xt包含需要保存多个时间步的长期信息。小意味着当前输入xt提供在接下来的几步中被擦除的本地信息。
第二部分:改进的多头注意力模块
对于自注意力模块,首先计算自注意力模块,从每个输入向量创建三个向量。对于每个单词,创建一个查询向量(Q=xwQ),键向量(K=xwK)和值向量(V=xwV).。然后通过点乘点击Q和V对输入进行评分。接下来,将其评分除以这样输出就用SoftMax函数进行了标准化,最终列表的总和为1。下一步是将每个值向量乘以SoftMax的分数。
事实上,本实施例中为了减少对不相关词的注意,同时保持对当前词的注意不变。最后一步是累积加权向量。这会在这个位置产生自我注意层的输出。在获得自我注意后,采用“多头”机制进一步提高自我注意层。它扩展了模型关注不同位置的能力,并为注意层提供了多个“表示子空间”。在字注意力中,设置有多个查询/键/值权重矩阵。这些集合中的每个矩阵都是通过随机初始化生成的。然后通过训练,将语义信息投射到不同的“表示子空间”。然而,多头注意力机制的多个头一定像期望的那样专注于信息。因此,在具体应用中尝试使用不同的激活函数将特征映射转化为不同的非线性变换,以确保每个头部关注不同的子空间。本文共有四个头部,对应的激活功能有线性激活函数、Relu、tanh和sigmoid。此外,本实施例中借鉴残差网络的思想,将注意力模块的输入和输出叠加起来,融合了特征与注意力权重,进一步强化了其特征提取的性能。
结合图6所示,本实施例公开了一种脑疾病诊断模型的诊断方法,其中,应用所述的脑疾病诊断模型的生成方法中生成的脑疾病诊断模型,所述诊断方法包括:
步骤H1,获取原始fMRI图像,利用AAL模板提取所述原始FMRI图像中的ROI序列;
步骤H2,将所述ROI序列输入至所述脑疾病诊断模型中,通过所述脑疾病诊断模型得到预测分类结果。
具体的,本步骤中首先利用AAL模板提取原始fMRI的ROI序列,其次,利用本实施所公开的ON-LSTM模块从ROI序列中提取隐藏信息。再次,利用MA模型得到不同的表示子空间的信息,最终利用SoftMax函数得到诊断结果。
本实施例所提供的诊断方法,因为利用本实施例提供的脑疾病诊断模型进行脑疾病预测,提高了网络模型预测的准确性、敏感性、特异性等性能,因此可以取得较佳的脑部特征提取效果。
示例性设备
本实施例公开了一种脑疾病诊断模型的生成系统,如图7所示,包括:
数据预测模块100,用于执行预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述训练图像集包括多组训练样本,每组训练样本包括:ROI序列样本和与所述ROI序列样本对应的疾病信息标签;所述预设网络模型中设置有用于提取子空间特征的注意力模块;
模型参数修正模块200,用于执行所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型。
进一步的,所述预设网络模型包括:深度信息提取模块、子空间信息提取模块和分类模块;
所述子空间信息提取模块为改进后的多头注意力模型;所述多头注意力模型中的各个自注意力模块的激活函数不同;
所述分类模块为SoftMax分类器。
进一步的,本发明还提供了一种脑疾病诊断模型的诊断系统,其包括:
图像获取模块,用于获取原始fMRI图像,利用AAL模板提取所述原始FMRI图像中的ROI序列;其功能如步骤H1所述。
图像检测模块,用于将所述ROI序列输入至所述脑疾病诊断模型中,通过所述脑疾病诊断模型得到预测分类结果,其功能如步骤H2所述。
在上述方法的基础上,本实施例还公开了一种终端设备,包括处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令;所述处理器适于调用所述存储介质中的指令,以执行实现所述的脑疾病诊断模型的生成方法的步骤。一种实施方式中,所述终端设备可以为手机、平板电脑或智能电视。
具体的,如图8所示,所述终端设备包括至少一个处理器(processor)20以及存储器(memory)22,还可以包括显示屏21、通信接口(Communications Interface)23和总线24。其中,处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令,以执行上述实施例中所述的脑疾病诊断模型的生成方法的步骤。
此外,上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质,可设置为存储软件程序、计算机可执行程序,如本公开实施例中的方法对应的程序指令或模块。处理器30通过运行存储在存储器22中的软件程序、指令或模块,从而执行功能应用以及数据处理,即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端设备的使用所创建的数据等。此外,存储器22可以包括高速随机存取存储器,还可以包括非易失性存储器。例如,U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等多种可以存储程序代码的介质,也可以是暂态存储介质。
另一方面,本实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现所述的脑疾病诊断模型的生成方法的步骤。
在一种实施方式中,设置ON-LSTM的单元数是64,多头注意力机制的权值尺度是64。此外,使用均方根prop和RMSprop作为优化器。Keras中的默认设置应用于学习率、学习率衰减、rho和模糊因子。批量大小是25。使用不同的性能指标来评估分类性能,如准确性(Acc)、敏感性(Sen)、特异性(Spec)、F1评分(F1)和平衡准确性(BAC)。在这项工作中,使用5折交叉验证。
为了验证本实施例所提供的模型生成方法得到的模型更加适宜脑疾病的早期诊断,下面对本实施例提供的模型进行性能测试。
首先,针对不同的循环神经网络模型和基于注意机制的神经网络进行测试,包括LSTM、门递归单元(GRU)和ON-LSTM。注意机制包括传统注意机制、自我注意机制和自然注意机制。结果见表1。与LSTM、GRU和ON-LSTM相比,ON-LSTM拥有比LSTM和GRU更好的性能。其主要原因是层次结构的融合而不是简单的完全连接能够更有效地提取序列的隐藏信息。此外,多头注意力机制比自注意力机制和传统的注意机制有更好的效果。这说明多头注意力机制可以提取出更全面的注意权重。并与CNN中同时使用多个滤波器的作用进行了比较。直观地说,多头注意力机制帮助网络捕获更全面的信息。
表1不同循环神经网络以及不同注意力模型的性能对比(%).
最后,将本实施例提供的诊断方法与其他已有的方法进行了比较,结果如表2所示。本实施例提供的方法可以获得比其他方法更高的精度。主要原因是在普通的神经网络中,神经元通常是无序的。而ON-LSTM可以将这些神经元按顺序排列,并利用这个顺序来表达一些特定的结构,从而利用神经元的顺序信息。因此ON-LSTM更好地利用了层次信息。此外,多头注意还强制从不同的表示子空间提取注意信息。借鉴了残差网络的思想,实现了低层特征与高层特征的融合。此外,值得一提的是,与BAS-LSTM相比。尽管在原序列的前提下可以得到更高的精度,但现有的框架不能通过采样和投票进一步提高精度。这表明,目前限制框架进一步性能改进的原因不是序列长度。这表明ON-LSTM和多头注意力机制可以有效地提高LSTM处理长序列的能力。
表2与其他现有方法的比较(%).
结合图9所示,利用桑基图可以可视化多个头部注意部分的权重,验证多个自注意力模块是否获得不同的注意信息。具体地,提取了所有自我注意部分的wQ,并记录了各组中最大体重的位置。然后,将输入信息的初始位置与最大权值对应的位置进行比较,得到桑基图。图9示出多个注意区域的不同比较。虽然头3没有明显的聚焦,但是头的其余部分在一定程度上聚焦,而且每个头的聚焦是不同的。因此,可以认为MA从不同的表示子空间中提取了期望的有效信息。
最后,通过模型的权重分析,确定了强迫症、FDR和HC诊断中最重要的5、10和20个ROI。具体来说,首先得到输入门的权重。然后,选取每组权重中绝对值最大的10个,根据权重排序给对应的ROI分别打10到1分。最后,获得了前十名的ROI。图9和图10示出了最重要的5、10和20ROI的位置,其中不同颜色表示不同的ROI。5个ROI由高到低依次为:尾状核左、中央后回、回直肌、尾状核右、眶部额中回。
其中,尾状核通过激发正确的动作模式和基于对动作结果的评估来选择适当的子目标而有助于行为。这两个过程都是成功完成以目标为导向的行动的基础。因此,此外,也有研究表明强迫症与尾状核高度相关。作为与强迫症诊断密切相关的ROI为尾状核左和尾状核右,两个脑区分别为309分和272分,分别排名第一和第四。这表明本实施例公开的模型能够有效地提取特征。
中央后回是人脑的顶叶外侧的一个重要的回,它是主要的体感皮层的位置,是触摸感的主要感觉接受区域。而框部额中回是大脑额叶中的额叶前皮区,参与决策的认知过程。该区域因其独特的神经联系和独特的功能而得以区分。它被定义为前额叶皮层的一部分,从丘脑的内侧背核接受投射,主要控制决策中的情感和奖励,这两个脑区跟感知与决策高度相关,因此有可能与FDR相关,即有可能诱发OCD,因此值得关注。
本发明提供了一种脑疾病诊断模型的生成方法、系统及设备,通过预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述预设网络模型中设置有用于提取子空间特征的注意力模块;所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型。本方法公开的预设网络模型由于加入了注意力模块,使得预设网络模型更加适宜应用到提取长序列信息的特征,构建出适宜用于脑疾病诊断的神经网络模型,为利用深度学习进行脑疾病诊断提供了有效辅助。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (7)
1.一种脑疾病诊断模型的生成方法,其特征在于,包括:
预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述训练图像集包括多组训练样本,每组训练样本包括:ROI序列样本和与所述ROI序列样本对应的疾病信息标签;所述预设网络模型中设置有用于提取子空间特征的注意力模块;
所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型;
所述预设网络模型包括:深度信息提取模块、子空间信息提取模块和分类模块;
所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤包括:
将所述ROI序列样本输入至所述深度信息提取模块,得到所述深度信息提取模块输出的深度特征信息;
将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息;
将所述子空间信息输入至所述分类模块,得到所述分类模块输出的与所述ROI序列样本对应的预测分类结果;
所述的深度信息提取模块的网络结构为ON-LSTM网络结构,所述ON-LSTM网络结构为将LSTM网络的单元状态更新函数更新为:
所述将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息的步骤包括:
将所述深度特征信息输入至各个自注意力模块,并将各个自注意力模块输出的特征信息分别输入至其对应连接的激活函数,得到各个激活函数输出的注意力特征;
将各个激活函数输出的注意力特征加权,并将加权后的注意力特征与所述深度特征信息相叠加,将叠加后得到的特征信息输入至各个自注意力模块,得到所述子空间信息提取模块输出的子空间信息;
重复预设次数将各个激活函数输出的注意力特征加权、并将加权后的注意力特征与所述深度特征信息相叠加输入至各个自注意力模块,得到激活函数输出迭代后的注意力特征的步骤,最终得到各个激活函数输出的注意力特征加权后的子空间信息。
2.根据权利要求1所述的脑疾病诊断模型的生成方法,其特征在于,所述子空间信息提取模块为改进后的多头注意力模型;所述多头注意力模型中的各个自注意力模块的激活函数不同。
3.根据权利要求1所述的脑疾病诊断模型的生成方法,其特征在于,所述分类模块为SoftMax分类器。
4.一种脑疾病诊断模型的生成系统,其特征在于,包括:
数据预测模块,用于执行预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果,其中,所述训练图像集包括多组训练样本,每组训练样本包括:ROI序列样本和与所述ROI序列样本对应的疾病信息标签;所述预设网络模型中设置有用于提取子空间特征的注意力模块;
模型参数修正模块,用于执行所述预设网络模型根据所述ROI序列样本对应的预测分类结果,以及所述ROI序列样本对应的疾病信息标签,对模型参数进行修正,并继续执行所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤,直至所述预设网络模型的训练情况满足预设条件,以得到所述脑疾病诊断模型;
所述预设网络模型包括:深度信息提取模块、子空间信息提取模块和分类模块;
所述预设网络模型根据训练图像集中ROI序列样本,生成所述ROI序列样本对应的预测分类结果的步骤包括:
将所述ROI序列样本输入至所述深度信息提取模块,得到所述深度信息提取模块输出的深度特征信息;
将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息;
将所述子空间信息输入至所述分类模块,得到所述分类模块输出的与所述ROI序列样本对应的预测分类结果;
所述的深度信息提取模块的网络结构为ON-LSTM网络结构,所述ON-LSTM网络结构为将LSTM网络的单元状态更新函数更新为:
所述将深度特征信息输入至所述子空间信息提取模块,得到所述子空间信息提取模块输出的子空间信息的步骤包括:
将所述深度特征信息输入至各个自注意力模块,并将各个自注意力模块输出的特征信息分别输入至其对应连接的激活函数,得到各个激活函数输出的注意力特征;
将各个激活函数输出的注意力特征加权,并将加权后的注意力特征与所述深度特征信息相叠加,将叠加后得到的特征信息输入至各个自注意力模块,得到所述子空间信息提取模块输出的子空间信息;
重复预设次数将各个激活函数输出的注意力特征加权、并将加权后的注意力特征与所述深度特征信息相叠加输入至各个自注意力模块,得到激活函数输出迭代后的注意力特征的步骤,最终得到各个激活函数输出的注意力特征加权后的子空间信息。
5.根据权利要求4所述的脑疾病诊断模型的生成系统,其特征在于,所述子空间信息提取模块为改进后的多头注意力模型;所述多头注意力模型中的各个自注意力模块的激活函数不同;
所述分类模块为SoftMax分类器。
6.一种终端设备,其特征在于,包括处理器、与处理器通信连接的存储介质,所述存储介质适于存储多条指令;所述处理器适于调用所述存储介质中的指令,以执行实现上述权利要求1-3任一项所述的脑疾病诊断模型的生成方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-3任一项所述的脑疾病诊断模型的生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010799537.4A CN112037179B (zh) | 2020-08-11 | 2020-08-11 | 一种脑疾病诊断模型的生成方法、系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010799537.4A CN112037179B (zh) | 2020-08-11 | 2020-08-11 | 一种脑疾病诊断模型的生成方法、系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112037179A CN112037179A (zh) | 2020-12-04 |
CN112037179B true CN112037179B (zh) | 2021-05-11 |
Family
ID=73578038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010799537.4A Active CN112037179B (zh) | 2020-08-11 | 2020-08-11 | 一种脑疾病诊断模型的生成方法、系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112037179B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113057633B (zh) * | 2021-03-26 | 2022-11-01 | 华南理工大学 | 多模态情绪压力识别方法、装置、计算机设备及存储介质 |
CN113288172A (zh) * | 2021-05-24 | 2021-08-24 | 山东师范大学 | 癫痫脑电信号识别方法及系统 |
CN113488159A (zh) * | 2021-08-11 | 2021-10-08 | 中国医学科学院阜外医院 | 一种基于神经网络的医疗科室推荐方法及装置 |
CN113947580B (zh) * | 2021-10-18 | 2022-07-19 | 上海市精神卫生中心(上海市心理咨询培训中心) | 针对精神疾病实现神经影像辅助诊断处理的系统 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3567548B1 (en) * | 2018-05-09 | 2020-06-24 | Siemens Healthcare GmbH | Medical image segmentation |
CN109165667B (zh) * | 2018-07-06 | 2022-02-22 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
CN109242140A (zh) * | 2018-07-24 | 2019-01-18 | 浙江工业大学 | 一种基于LSTM_Attention网络的交通流预测方法 |
CN109344920B (zh) * | 2018-12-14 | 2021-02-02 | 汇纳科技股份有限公司 | 顾客属性预测方法、存储介质、系统及设备 |
CN109784280A (zh) * | 2019-01-18 | 2019-05-21 | 江南大学 | 基于Bi-LSTM-Attention模型的人体行为识别方法 |
CN110111325A (zh) * | 2019-05-14 | 2019-08-09 | 深圳大学 | 神经影像分类方法、计算机终端及计算机可读存储介质 |
CN110534192B (zh) * | 2019-07-24 | 2023-12-26 | 大连理工大学 | 一种基于深度学习的肺结节良恶性识别方法 |
CN110705273B (zh) * | 2019-09-02 | 2023-06-13 | 腾讯科技(深圳)有限公司 | 基于神经网络的信息处理方法及装置、介质和电子设备 |
CN110991729A (zh) * | 2019-11-28 | 2020-04-10 | 四川万益能源科技有限公司 | 一种基于迁移学习和多头注意力机制的负荷预测方法 |
CN111178074B (zh) * | 2019-12-12 | 2023-08-25 | 天津大学 | 一种基于深度学习的中文命名实体识别方法 |
CN111079409B (zh) * | 2019-12-16 | 2023-04-25 | 东北大学秦皇岛分校 | 一种利用上下文和方面记忆信息的情感分类方法 |
CN111523502B (zh) * | 2020-04-30 | 2023-06-20 | 上海交通大学医学院附属瑞金医院 | 一种心电图图像处理方法、设备、介质和心电图仪 |
CN111563624A (zh) * | 2020-05-06 | 2020-08-21 | 北京工业大学 | 一种基于LSTM与Attention相结合的绿色能源预测方法 |
CN111714117A (zh) * | 2020-05-07 | 2020-09-29 | 北京中科千寻科技有限公司 | 一种基于时序深度模型的心电信号异常检测方法 |
-
2020
- 2020-08-11 CN CN202010799537.4A patent/CN112037179B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112037179A (zh) | 2020-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112037179B (zh) | 一种脑疾病诊断模型的生成方法、系统及设备 | |
CN109389059B (zh) | 一种基于cnn-lstm网络的p300检测方法 | |
Guo et al. | Resting state fMRI and improved deep learning algorithm for earlier detection of Alzheimer’s disease | |
CN108717869B (zh) | 基于卷积神经网络的糖尿病视网膜并发症诊断辅助系统 | |
Turner et al. | A tutorial on approximate Bayesian computation | |
CN107229914B (zh) | 一种基于深度q学习策略的手写数字识别方法 | |
Hazarika et al. | An experimental analysis of different deep learning based models for Alzheimer’s disease classification using brain magnetic resonance images | |
CN115222688B (zh) | 基于图网络时间序列的医学影像分类方法 | |
CN111090764A (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
CN116807447B (zh) | 动态脑网络的脑龄预测建模方法、认知提升方法及系统 | |
CN111477329B (zh) | 一种基于图文结合评估心理状态的方法 | |
CN111951958A (zh) | 一种基于自编码的疼痛数据评估方法及相关组件 | |
CN111477328B (zh) | 一种非接触式的心理状态预测方法 | |
CN113762117B (zh) | 一种图像处理模型的训练方法、图像处理模型及计算机设备 | |
CN115270752A (zh) | 一种基于多层次对比学习的模板句评估方法 | |
CN111292851A (zh) | 数据分类方法、装置、计算机设备和存储介质 | |
CN111091916A (zh) | 人工智能中基于改进粒子群算法的数据分析处理方法及系统 | |
CN114027786A (zh) | 基于自监督式记忆网络的睡眠呼吸障碍检测方法及系统 | |
CN116434950B (zh) | 基于数据分簇和集成学习的孤独症谱系障碍的诊断系统 | |
Anders et al. | Improved information pooling for hierarchical cognitive models through multiple and covaried regression | |
CN116205915B (zh) | 一种基于掩码的大脑年龄评估方法、系统及电子设备 | |
Subbarao et al. | Detection of Retinal Degeneration via High-Resolution Fundus Images using Deep Neural Networks | |
CN116522282A (zh) | 一种基于bold信号的注意缺陷与多动障碍检测方法 | |
CN114860922B (zh) | 心理测评量表的分类模型获取方法、筛查方法及系统 | |
CN116089708A (zh) | 农业知识推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |