CN114758772A - 一种基于结构信息聚集模型的电子设备 - Google Patents

一种基于结构信息聚集模型的电子设备 Download PDF

Info

Publication number
CN114758772A
CN114758772A CN202210410290.1A CN202210410290A CN114758772A CN 114758772 A CN114758772 A CN 114758772A CN 202210410290 A CN202210410290 A CN 202210410290A CN 114758772 A CN114758772 A CN 114758772A
Authority
CN
China
Prior art keywords
brain region
network
gene
gene network
structural information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210410290.1A
Other languages
English (en)
Inventor
毕夏安
黄婷姣
陈可
吴昊
徐露允
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Normal University
Original Assignee
Hunan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Normal University filed Critical Hunan Normal University
Priority to CN202210410290.1A priority Critical patent/CN114758772A/zh
Publication of CN114758772A publication Critical patent/CN114758772A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Neurosurgery (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)

Abstract

本发明公开了一种基于结构信息聚集模型的电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现:根据被试者的脑影像数据和基因数据,构建该被试者的脑区‑基因网络;将所述脑区‑基因网络通过结构信息聚集模型进行结构信息的聚集并提取边的特征后输出该被试者为阿尔茨海默症AD患者的概率的判断结果;其中,所述结构信息聚集模型是以多个正常人的脑区‑基因网络和AD患者的脑区‑基因网络作为样本预先训练得到的。应用本发明可以辅助于对阿尔茨海默症做精准的诊断。

Description

一种基于结构信息聚集模型的电子设备
技术领域
本发明涉及计算机技术领域,特别是指一种基于结构信息聚集模型的电子设备。
背景技术
阿尔茨海默症(AD)以一系列显著的痴呆症状为特征,常见于老年人。AD的发病机制复杂,其发病因素横跨宏观到微观多个层次,例如,大脑功能与结构的病变与基因的异常表达密切相关,因此,找到大脑宏观病变与微观变异的关联模式有助于揭示阿尔茨海默症的多层次发病机制。一些研究人员构建网络,将基因或大脑区域抽象为节点,以研究致病因素之间的功能相关性。Huang等人定义了每个脑区的嵌入表示,并提出了一种新的度量评估两个区域之间的相似性,使测量结果更加合理。Lella等人在分析大脑网络时引入了沟通距离,提供了新的3种方法发现与AD发展相关的隐藏模式。
然而,现有技术基于目前方法分析得到的脑区网络和基因网络进行AD诊断的准确率比较低,有必要提供一种有助于提高诊断准确率的AD诊断方法。
发明内容
有鉴于此,本发明的目的在于提出一种基于结构信息聚集模型的电子设备,可以辅助于对阿尔茨海默症做更精准的诊断。
基于上述目的,本发明提供一种基于结构信息聚集模型的电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现:
根据被试者的脑影像数据和基因数据,构建该被试者的脑区-基因网络;
将所述脑区-基因网络通过结构信息聚集模型进行结构信息的聚集并提取边的特征后输出该被试者为阿尔茨海默症AD患者的概率的判断结果;
其中,所述结构信息聚集模型是以多个正常人的脑区-基因网络和AD患者的脑区-基因网络作为样本预先训练得到的。
其中,所述结构信息聚集模型包括:
生成器,用于对所述脑区-基因网络进行结构信息的聚集后得到第一关键结构子网络,进而对第一关键结构子网络进行结构信息的扩散得到重构的脑区-基因网络;
判别器,用于对重构的脑区-基因网络进行结构信息的聚集后得到第二关键结构子网络,进而提取第二关键结构子网络的边的特征后输出该被试者是否为AD患者的概率的判断结果。
可选的,所述生成器中包括:
第一卷积模块,用于对所述脑区-基因网络进行结构信息的聚集后得到第一关键结构子网络;
反卷积模块,用于对第一关键结构子网络进行结构信息的扩散得到重构的脑区-基因网络。
可选的,所述判别器中包括:
第二卷积模块,用于对重构的脑区-基因网络进行结构信息的聚集后得到第二关键结构子网;
全连接层模块,用于提取第二关键结构子网络的边的特征后输出该被试者是否为AD患者的概率的判断结果。
其中,第一卷积模块中包括n阶双向十字卷积层;
其中,第k阶双向十字卷积层,用于对输入的权重矩阵W(k-1)进行双向十字卷积操作后,输出更新的权重矩阵W(k);其中,W(k-1)是所述脑区-基因网络的权重矩阵W(0)经过k-1阶双向十字卷积层的k-1次双向十字卷积后得到的权重矩阵;以及
所述反卷积模块中包括n阶双向扩散反卷积层;
其中,第k阶双向扩散反卷积层,用于对输入的权重矩阵W′(k-1)进行双向扩散反卷积操作后,输出更新的权重矩阵W′(k);其中,W′(k-1)是W(n)经过k-1阶双向扩散反卷积层的k-1次双向扩散反卷积得到的权重矩阵;
其中,n为大于1的自然数,k为小于等于n的自然数。
其中,第二卷积模块中包括n阶双向十字卷积层;以及。
所述全连接层模块包括L层完全连接层;其中,L为大于2的自然数。
可选的,所述中央处理单元执行所述程序还实现:对所述所述结构信息聚集模型进行训练:
根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;其中,在一次迭代过程中,包括:
固定所述生成器的参数后,根据所述样本对所述判别器进行优化;
固定所述判别器的参数后,根据所述样本对所述生成器进行训练;
在对所述生成器和判别器进行多次迭代的优化和训练后,得到由所述生成器和判别器构成的、训练后的结构信息聚集模型。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行上述的电子设备的操作。
本发明的技术方案中,根据被试者的脑影像数据和基因数据,构建该被试者的脑区-基因网络;将所述脑区-基因网络通过结构信息聚集模型进行结构信息的聚集并提取边的特征后输出该被试者是否为阿尔茨海默症AD患者的判断结果;其中,所述结构信息聚集模型是以多个正常人的脑区-基因网络和AD患者的脑区-基因网络作为样本预先训练得到的。由于结构信息聚集模型可以对输入的脑区-基因网络进行结构信息的聚集,使得正常人与AD患者的脑区-基因网络经过结构信息聚集后得到的关键结构子网络差异显著,从而结构信息聚集模型针对结构信息聚集后得到的结果进行特征提取后输出的判断具有更高的准确性,从而可以辅助于对阿尔茨海默症做更精准的诊断。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的结构信息聚集过程的示意图;
图2为本发明实施例一提供的结构信息聚集模型的内部结构框图;
图3为本发明实施例一提供的生成器的内部结构示意图;
图4、5为本发明实施例一提供的n阶双向十字卷积的操作示意图;
图6为本发明实施例一提供的结构信息扩散和吸收之间的关系示意图;
图7、8为本发明实施例一提供的n阶双向扩散反卷积的操作示意图;
图9为本发明实施例一提供的判别器的内部结构示意图;
图10为本发明实施例一提供的全连接层的内部结构示意图;
图11为本发明实施例二提供的结构信息聚集模型的训练方法流程图;
图12为本发明实施例二提供的对所述生成器和判别器进行一次迭代的优化和训练的方法流程图;
图13为本发明实施例二提供的对判别器进行优化的方法流程图;
图14为本发明实施例二提供的对生成器进行训练的方法流程图;
图15为本发明实施例三提供的基于结构信息聚集模型的阿尔茨海默症的判断方法的流程图;
图16为本发明实施例四提供的电子设备硬件结构示意图;
图17为本发明提供的多种生成对抗网络的实验结果对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
需要说明的是,除非另外定义,本发明实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
本发明的发明人发现,在疾病演化为AD的这个过程中,大脑发生了质的变化,例如,部分脑区出现萎缩,功能连接出现大量异常。大脑的这些宏观病变与微观层面基因的异常表达密切相关,可以揭示从宏观到微观发病因素的关联机制。在基于脑影像(fMRI)数据和基因数据构建的脑区-基因网络中,关键结构子网络的结构信息表征着网络所独有的结构特征信息,主要体现在网络中边的权重,脑区或基因越异常,则连接它们的边就越能够代表该网络的结构特征信息。为了更好地探究正常人和AD患者的脑区-基因网络的关键结构子网络,发现正常人和AD患者的区别性特征,本发明设计了结构信息聚集模型,又称为结构聚集生成对抗网络(Structure Gathering GAN,SG-GAN)。模型的设计思想是:对于脑区-基因网络中的每条边,通过聚集其相邻边的结构信息,更新自身边结构信息,经过n次结构信息聚集后,边的结构信息不断更新可以得到关键结构子网络。由正常人和AD患者的脑区-基因网络分别得到的关键结构子网络具有更显著的差异,从而在提取关键结构子网络的特征后,可以更为准确地判断是否为AD,从而辅助于对阿尔茨海默症做更精准的诊断。
下面结合附图详细说明本发明实施例的技术方案。
对脑区-基因网络进行结构信息聚集的过程,如图1所示。在依据被试者的脑影像数据和基因数据构建脑区-基因网络后,对所述脑区-基因网络中的边经过多次结构信息聚集能够不断获得邻域中边的高阶结构信息,使得网络的关键结构信息逐渐聚集到部分的边上;聚集的过程能够使代表边结构信息的权重增大或者减小,网络的拓扑结构也随之不断变化,原始的脑区-基因网络逐渐演变为关键结构子网络。也就是说,模型能够在脑区-基因网络不断演变的过程中将疾病的特征信息逐渐汇聚到关键结构子网络上,因此,根据关键结构子网络可以更为精准地区分正常人(NC)和AD患者的脑区-基因网络,即辅助于对阿尔茨海默症做更精准的诊断。
下面针对脑区-基因网络建立结构信息聚集模型,模型的要素包括如下:
(1)脑区-基因网络:Gi表示第i个被试者(NC或AD)的脑区-基因网络,由第i个被试者的脑影像数据和基因数据构建。
(2)边Epq的权重:
Figure BDA0003603888760000061
边Epq表示的是节点p和q之间的边,表示第i个被试者的脑区-基因网络初始状态时边Epq的权重,通过计算节点p和q之间的皮尔逊相关系数得到。
Figure BDA0003603888760000062
表示第i个被试者第n次结构信息聚集后边Epq的权重,权重越大表明节点p和q之间的联系程度越紧密。其中,N为脑区-基因网络中节点的个数。
(3)被试者的关键结构子网络:
Figure BDA0003603888760000071
KGi表示第i个被试者的脑区-基因网络经过n次结构信息聚集得到第i个被试者的关键结构子网络,
Figure BDA0003603888760000072
表示第i个被试者的关键结构子网络中边Epq的权重。通常某一类疾病有多个被试者,每个被试者都有对应的关键结构子网络,即一类疾病有多个关键结构子网络。
根据以上模型要素,被试者的脑区-基因网络经过结构信息聚集模型得到关键结构子网络可分为以下两个步骤:(1)脑区-基因网络中边的权重经过n次结构信息聚集得到更新的边权重;(2)根据更新的边权重构建被试的关键结构子网络。
第一步:脑区-基因网络中边的权重经过n次结构信息聚集得到更新的边权重。针对每一个被试的脑区-基因网络,在每次结构信息聚集过程中,脑区-基因网络中每条边都会聚集其邻域内边的结构信息,进而更新自身边的权重大小,经过多次结构信息聚集后,原始的脑区-基因网络逐渐演变为关键结构子网络。在第n次结构信息聚集过程中,第i个被试者的脑区-基因网络中边的权重W(i,n)的更新公式如公式1所示:
Figure BDA0003603888760000073
其中,β是节点聚集邻域内边结构信息的比例,
Figure BDA0003603888760000074
表示边Epq聚集节点p所连接边的结构信息,
Figure BDA0003603888760000075
表示边Epq聚集节点q所连接边的结构信息;
Figure BDA0003603888760000076
表示第i个被试者的脑区-基因网络中边Epq聚集其邻域中边的结构信息之和。
第二步:根据更新的边权重构建被试者的关键结构子网络。对于第i个被试的脑区-基因网络Gi,初始边的权重W(i,0)经过n次结构信息聚集后更新为W(i,n),根据W(i,n)可以得到第i个被试者的关键结构子网络KGi,如公式2所示:
KGi=Graph(W(i,n)) (公式2)
其中,Graph(W(i,n))表示根据边的权重W(i,n)构建关键结构子网络。
经过n次结构信息聚集,模型能够捕获到正常人和AD患者脑区-基因网络之间关键结构子网络的差异,完成被试者的分类任务,如公式3所示:
Pi=Classify(KGi) (公式3)
其中,KGi表示第i个被试这的关键结构子网络;Classify(·)表示分类函数;Pi表示第i个被试者的判断结果为AD患者或者正常人的概率,是一个大小为1×2的特征向量。
最后,根据判断结果提取正常人和病人之间具有显著性差异的病变脑区和致病基因以及它们的关联模式,其特征提取的公式如公式4所示:
(PG,PBR,AM)=Feature_extract(Pi,KGi)i=1,...,m (公式4)
其中,KGi表示第i个被试的关键结构子网络;Pi表示第i个被试者判断结果为AD患者或者正常人的概率;Feature_extract(·)表示特征提取函数;PG表示风险基因,PBR表示病变脑区,AM表示病变脑区和风险基因的关联模式。
综上所述,将公式1~4联立,用以下方程组来表示脑区-基因网络的结构信息聚集模型和应用:
Figure BDA0003603888760000081
公式1表示脑区-基因网络中的边聚集其邻域内边的结构信息之和,公式2表示根据第n次结构信息聚集后得到的边权重W(i,n)构建第i个被试的关键结构子网络,公式3表示根据被试的关键结构子网络对正常人和AD患者分类,公式4表示利用分类结果和关键结构特征信息提取AD患者的病变脑区和致病基因以及它们的关联模式。
实施例一
基于上述的结构信息聚集模型的要素,本发明实施例一提供了一种基于生成对抗网络的结构信息聚集模型,其内部结构如图2所示,包括:生成器201和判别器202;
其中,生成器201用于对所述脑区-基因网络进行结构信息的聚集后得到第一关键结构子网络,进而对第一关键结构子网络进行结构信息的扩散得到重构的脑区-基因网络。
判别器202用于对重构的脑区-基因网络进行结构信息的聚集后得到第二关键结构子网络,进而提取第二关键结构子网络的边的特征后输出该被试者为AD患者的概率的判断结果。
在由生成器201和判别器202组成的结构信息聚集模型中,生成器201包含卷积部分和反卷积部分,卷积部分的双向十字卷积对真实脑区-基因网络进行卷积,从而提取关键结构子网络;针对关键结构子网络,反卷积部分中的双向扩散反卷积用于重构出生成脑区-基因网络。最后,判别器202对输入的生成脑区-基因网络和真实脑区-基因网络进行判断和分类,并根据其结果不断更新生成器或判别器的参数,直到真实脑区-基因网络和生成脑区-基因网络的差异最小并且判别器能够准确判断输入网络的类别,即整个生成对抗网络收敛。此时,训练后的结构信息聚集模型能够精准地对AD进行分类诊断。
在一个较优的实施方式中,如图3所示,生成器201包括卷积部分和反卷积部分;具体地,生成器201中包括:作为卷积部分的第一卷积模块211,以及作为反卷积部分的反卷积模块212。
作为卷积部分的第一卷积模块211用于对所述脑区-基因网络进行结构信息的聚集后得到第一关键结构子网络;
作为反卷积部分的反卷积模块212用于对第一关键结构子网络进行结构信息的扩散得到重构的脑区-基因网络。
如图3所示,生成器201由卷积部分和反卷积部分组成,卷积部分完成脑区-基因网络结构信息的聚集,进而得到关键结构子网络,反卷积部分完成关键结构子网络结构信息的扩散,从而重构出生成脑区-基因网络。下面设计卷积和反卷积的矩阵运算,描述输入的脑区-基因网络经过结构信息聚集得到关键结构子网络,以及根据关键结构子网络重构脑区-基因网络的过程。
生成器201的输入具体为脑区-基因网络的权重矩阵,该权重矩阵W(0)∈RN×N的构建方式如下:通过皮尔逊相关系数计算得到,定义Peari,j为节点i和j的皮尔逊相关系数,N为脑区-基因网络的节点个数(N=N1+N2),N1、N2分别为脑区-基因网络中脑区节点个数、基因节点个数;Wij表示节点i和j之间边的权重,则权重矩阵W(0)可如公式5所示:
Figure BDA0003603888760000101
也就是说,输入生成器201的脑区-基因网络的权重矩阵W(0)中,第i行和第j列的元素即为脑区-基因网络中节点i和j之间边的权重;而节点i和j之间边的权重是通过皮尔逊相关系数计算得到的Peari,j
在一个较优的实施方式中,作为卷积部分的第一卷积模块211中包括n阶双向十字卷积层;每经过一次双向十字卷积层的卷积操作,脑区-基因网络的权重矩阵都会得到更新,进而使脑区-基因网络的拓扑结构发生变化。下面以k-1阶脑区-基因网络经过第k阶双向十字卷积层的卷积操作,得到k阶脑区-基因网络为例,描述双向十字卷积的具体过程。
其中,第k阶双向十字卷积层的输入为W(k-1),W(k-1)是基于构建的脑区-基因网络的权重矩阵W(0)经过k-1阶双向十字卷积层的k-1次双向十字卷积后得到的权重矩阵,即k-1阶脑区-基因网络的权重矩阵;W(k-1)经过第k阶双向十字卷积层的双向十字卷积操作后,每条边聚集了k阶邻域内边的结构信息,得到更新的权重矩阵W(k),即k阶脑区-基因网络的权重矩阵,为第k阶双向十字卷积层的输出;W(k)的计算公式如公式6所示:
Figure BDA0003603888760000111
其中,b(k)表示第k阶双向十字卷积层的偏置;A(k)∈RN×N表示第k阶双向十字卷积层的总核;r和c分别表示矩阵的行、列索引值;
Figure BDA0003603888760000112
表示权重矩阵W(k-1)中第r行第i列的值和A(k)中第r行第i列的值对应相乘;f(·)是激活函数ReLU(·);
Figure BDA0003603888760000113
Figure BDA0003603888760000114
经过双向十字卷积层的卷积操作更新后的值。
亦即,第k阶双向十字卷积层的输入为k-1阶脑区-基因网络的权重矩阵W(k-1),输出为k阶脑区-基因网络的权重矩阵权重矩阵W(k)。其中,n为大于1的自然数,k为小于等于n的自然数;0阶脑区-基因网络的权重矩阵W(0),为输入生成器201的脑区-基因网络的权重矩阵W(0)
图4展示了一个具有6个节点的脑区-基因网络解释n阶双向十字卷积操作。图4中的(a)图E13为将要进行n阶双向十字卷积操作的边,E12、E14、E16、E32和E34为该边一阶邻域内的边,此时这些边已经聚集了它们n-1阶邻域内边的结构信息。图4中的(b)图是根据即将卷积的边从卷积总核选取对应的双向十字卷积核。根据即将卷积的边E13,选取n阶双向十字卷积总核A(n)∈R6×6中的第1行第3列和第3行第1列作为双向十字卷积核。图4中的(c)图是对边E13的n阶双向十字卷积操作。根据上一步选取的双向十字卷积核(第1行第3列和第3行第1列卷积核),将它们分别作为权重一一对应赋予给权重矩阵W(n-1)∈R6×6的第1行第3列和第3行第1列,再进行加权求和得到边E13相应的值,完成对边E13的n阶双向十字卷积操作。以此类推,对每条边进行n阶双向十字卷积操作,得到更新的权重矩阵W(n)∈R6×6。脑区-基因网络的权重矩阵W(0)经过n阶双向十字卷积层的卷积操作进行了n次更新,使脑区-基因网络的拓扑结构发生n次变化得到W(n);如上述公式2所示,根据更新的W(n)即可得到关键结构子网络;也就是说,更新的权重矩阵W(n)体现了脑区-基因网络中每条边聚集的其n阶邻域内边的结构信息,体现了关键结构子网络的拓扑结构。
n阶双向十字卷积的意义:在n阶双向十字卷积过程中,n-1阶脑区-基因网络中的每条边能够聚集其一阶邻域内边的结构信息,而该边一阶邻域内的边已经聚集它们n-1阶邻域内边的结构信息,所以此时网络中每条边能够聚集其n阶邻域内边的结构信息。也就是说,每条边n阶邻域内代表疾病特征信息的结构信息通过节点传递给该边。此外,由于所构建的权重矩阵是无向的,而权重Wij是由节点i和j之间的两条有向连接(i→j和j→i)共同决定的,双向十字卷积可以聚集存在无向边中的有向边结构信息,从而可以更准确地捕捉到关键结构信息。在AD患者的脑区-基因网络中,边将异常的脑区或基因连接起来形成疾病独有的结构信息,脑区或基因越异常,连接它们的边就越能够代表该网络特征的结构信息。本发明设计的n阶双向十字卷积能够很好地捕捉脑区-基因网络中边与其n阶邻域内边的联系,从而使每条边都能聚集其n阶邻域内边的结构信息。图5表示的是n-1阶脑区-基因网络的n阶双向十字卷积操作,此时网络中的每条边都聚集了n-1阶邻域内的结构信息。以图中边E12为例,红色虚线框区域为边E12的一阶邻域,经过n阶双向十字卷积操作,边E12聚集了其n阶邻域内边的结构信息。
基于卷积部分的设计思路,本发明提供的作为反卷积部分的反卷积模块212中包括n阶双向扩散反卷积层,实现从关键结构子网络重构脑区-基因网络的过程。反卷积模块212输入的是W(n),即关键结构子网络的权重矩阵;如图3所示,反卷积部分展示的是双向扩散反卷积的过程。每经过一次双向扩散反卷积操作,便重构一次脑区-基因网络,重构的脑区-基因网络的权重矩阵会更新,亦即重构的脑区-基因网络的拓扑结构发生变化。
下面以k-1阶重构脑区-基因网络经过k阶双向扩散反卷积得到k阶重构脑区-基因网络为例,描述双向扩散反卷积的具体过程。
在脑区-基因网络中,如果两个节点之间没有边连接,称其被一条潜在边所连接;对于网络中存在的边,称该边为真实边。关键结构子网络中每条真实边将其自身的结构信息扩散到其n阶邻域内的真实边和潜在边上,进而使得网络中边的权重发生变化。对于接收结构信息的真实边和潜在边,真实边吸收了其n阶邻域边扩散的结构信息,从而更新边的权重;潜在边通过连接的两个节点吸收了其n阶邻域内边扩散的结构信息,当吸收的信息达到一定阈值时,潜在边就会转换为真实边。
如图6所示,以关键结构子网络的一阶边结构信息扩散为例,展示网络中边结构信息的扩散和边吸收结构信息之间的关系。图6中(a)图展示的是边E12一阶邻域内边的结构信息扩散的过程,图中标紫的边(E26、E23、E16、E15、E24)为边E12的一阶邻域内的真实边,当这些边的结构信息扩散到它们的一阶邻域上时,真实边E12吸收了每条边扩散的结构信息,即黑色箭头所示。为了更好地展示扩散的过程,可以将真实边E12一阶邻域内的所有边扩散到它的结构信息,看作为真实边E12吸收其一阶邻域内边扩散的结构信息,如图6中(b)图所示。在结构信息扩散的过程中,待更新边的结构信息变化量等于该边一阶邻域内所有真实边扩散到该边的总和,由此可见该过程可以用卷积的矩阵运算来描述。
第k阶双向扩散反卷积层的输入为W′(k-1),W′(k-1)是由上述经过n次双向十字卷积得到的权重矩阵W(n)经过k-1阶双向扩散反卷积层的k-1次双向扩散反卷积得到的,为k-1阶重构脑区-基因网络的权重矩阵。
权重矩阵W′(k-1)经过第k阶双向扩散反卷积层的双向扩散反卷积操作后,每条边(真实边和潜在边)吸收了其k阶邻域内边扩散的结构信息,得到更新的权重矩阵W′(k),即k阶重构脑区-基因网络的权重矩阵;W′(k)的计算公式如公式7所示:
Figure BDA0003603888760000141
其中,b′(k)是第k阶双向扩散反卷积层的偏置;B(k)∈RN×N是第k阶双向扩散反卷积层的总核;r和c分别是矩阵的行、列索引值;
Figure BDA0003603888760000142
表示权重矩阵W′(n-1)中第r行第i列的值和总核B(k)中第r行第i列的值对应相乘;
Figure BDA0003603888760000143
表示权重矩阵W′(k-1)中第i行第c列的值和总核B(k)中第i行第c列的值对应相乘;f(·)是激活函数ReLU(·);
Figure BDA0003603888760000144
Figure BDA0003603888760000145
经过第k阶双向扩散反卷积层的双向扩散反卷积更新后的值。
亦即,第k阶双向扩散反卷积层的输入为k-1阶重构脑区-基因网络的权重矩阵W′(k-1),输出为k阶重构脑区-基因网络的权重矩阵W′(k)
图7展示了一个具有6个节点的关键结构子网络解释n阶双向扩散反卷积操作。图7中(a)的E12为将要进行n阶双向扩散反卷积操作的真实边,图中标黄的真实边E23、E24、E14、E15、E16和潜在边E13、E25、E26为该真实边的一阶邻域内的边,此时这些真实边和潜在边已经吸收了它们n-1阶邻域内边的结构信息。图7中(b)是根据即将反卷积的边从双向扩散反卷积总核选取对应的双向扩散反卷积核。根据即将反卷积的真实边E12,选取n阶双向扩散反卷积总核B(n)中的第1行第2列的值K12作为n阶双向扩散反卷积核。图7中(c)是对真实边E12的n阶双向扩散反卷积操作。根据上一步选取的双向扩散反卷积核K12,将其作为权重赋予给权重矩阵W′(n-1)∈R6×6的第1行第2列的值
Figure BDA0003603888760000151
再将其扩散到边E12的一阶邻域内的边上,完成对边E12的n阶双向扩散反卷积操作。以此类推,对每条边(真实边和潜在边)进行n阶双向扩散反卷积操作,得到更新的权重矩阵W′(n)∈R6×6
n阶双向扩散反卷积的意义:在n阶双向扩散反卷积的过程中,n-1阶重构脑区-基因网络中的每条边已经吸收了n-1阶邻域内边扩散的结构信息,此时网络中的每条边将自身结构信息扩散到其一阶邻域内的边上,也就是网络中每条边能够吸收到其n阶邻域内边的结构信息。也就是说,n阶双向扩散反卷积使得网络中每条边n阶邻域内边的结构信息发生变化,即n阶邻域内边的权重增大或者减小。在关键结构子网络中,通过边将异常的脑区或基因连接起来形成疾病信息的关键拓扑结构,网络中的边将关键结构信息扩散到其n阶邻域内的边上,得到扩散了关键结构信息的n阶生成脑区-基因网络。本发明设计的n阶双向扩散反卷积能够很好捕捉关键结构子网络中边与其邻域内边的关系,从而使每条边都将自身边结构信息扩散到其n阶邻域内的边上。图8表示的是n-1阶重构脑区-基因网络的n阶双向扩散反卷积操作,此时网络中的每条边都吸收了n-1阶邻域内的结构信息。以图8中边E12为例,红色虚线框区域为边E12的一阶邻域,经过n阶双向扩散反卷积,边E12将其自身的结构信息扩散到了其一阶邻域内的边上,也就是说,边E12一阶邻域内的边吸收了其扩散的n阶结构信息。
在一个较优的实施方式中,如图9所示,判别器202可以包括卷积层和全连接层;具体地,判别器202中包括第二卷积模块213和全连接层模块214。
第二卷积模块213用于对重构的脑区-基因网络进行结构信息的聚集后得到第二关键结构子网;
全连接层模块214用于提取第二关键结构子网络的边的特征后输出该被试者为AD患者的概率的判断结果。
判别器202包括双向十字卷积层和全连接层,它的功能是判断输入的脑区-基因网络是真实的还是重构的以及是正常人的还是AD患者的。在训练结构信息聚集模型的过程时,生成器和判别器保持相互对抗的关系,判别器会对真实或重构的脑区-基因网络进行判断,根据结果不断迭代参数并持续训练直到模型收敛。此时,生成器能够提取到脑区-基因网络的关键结构子网络,判别器能够准确地对关键结构子网络进行分类。
判别器中设计双向十字卷积层用来捕获网络中边的低维表示,全连接层用来提取边的高级特征,并输出判断结果。如图9所示,判别器202中的第二卷积模块213包括n阶双向十字卷积层;判别器202中的第二卷积模块213通过n阶双向十字卷积层,对于输入的脑区-基因网络进行n次双向十字卷积操作,从而捕获脑区-基因网络中边的关键结构信息,得到第二关键结构子网络。判别器202中的第二卷积模块213输入的脑区-基因网络,既可以是真实的脑区-基因网络,也可以是生成器201重构的脑区-基因网络。
具体地,判别器202中的第二卷积模块213通过n阶双向十字卷积层,对于输入的脑区-基因网络的权重矩阵进行n次双向十字卷积操作,从而捕获脑区-基因网络中边的关键结构信息,得到第二关键结构子网络的权重矩阵。
第二卷积模块213中的n阶双向十字卷积层的输入为真实脑区-基因网络或生成器重构出的生成脑区-基因网络。第二卷积模块213中的n阶双向十字卷积层的目的是使输入的脑区-基因网络中的边能够聚集其邻域内边的关键结构信息。以第n阶双向十字卷积层为例展示卷积的过程,n阶双向十字卷积公式如公式8所示:
Figure BDA0003603888760000171
其中,c(n)表示第n阶双向十字卷积层的偏置;C(n)∈RN×N表示第n阶双向十字卷积层的总核;r和c分别表示矩阵的行、列索引值;f(·)是激活函数ReLU(·);
Figure BDA0003603888760000172
Figure BDA0003603888760000173
经过第n阶双向十字卷积层的双向十字卷积更新后的值。
第二卷积模块213中的n阶双向十字卷积层对输入的脑区-基因网络的权重矩阵进行n次双向十字卷积操作,与上述第一卷积模块211中的n阶双向十字卷积层相同,此处不再赘述。
全连接层模块214包括L层完全连接层,用于对第二卷积模块213输出的第二关键结构子网络提取边的特征后输出为AD患者的概率的判断结果;其中,L为大于2的自然数。
具体地,全连接层模块214对第二关键结构子网络的权重矩阵提取边的特征后输出为AD患者的概率的判断结果。
全连接层的作用是提取第二关键结构子网络中边的高级特征,并输出判断结果;如图10所示,全连接层模块214将第二卷积模块213输出的第二关键结构子网络的权重矩阵的二维数据拉直为一维数据后,对一维数据进行线性组合和非线性变换的计算,得到判断结果;其中,将二维数据拉直为一维数据的公式如公式9所示:
Figure BDA0003603888760000181
公式9中,Ran(·)代表按行拉直运算;拉直运算的输入为矩阵W(n);拉直运算的输出为X0,即一维特征向量。
全连接层模块214进而对X0进行线性组合和非线性变换,最后经过激活函数Sigmoid(·)得到大小为1×2的向量,分别表示输入的脑区-基因网络为真或者为假的概率;经过Softmax(归一化)得到大小为1×2的向量,分别表示输入的脑区-基因网络为正常人或者为AD患者的概率。对一维数据进行线性组合和非线性变换的计算公式如公式10所示:
Figure BDA0003603888760000182
其中,Wl表示第l层全连接层的权重矩阵;Xl和Xl+1分别表示第l层和第l+1层全连接层的一维向量;bl表示第l层全连接层的偏置;Sigmoid(·),ReLU(·)和Softmax(·)均为全连接层中的激活函数。
实施例二
在对基于生成对抗网络的结构信息聚集模型进行训练时,判别器的输入有两种:真实脑区-基因网络和生成器重构的脑区-基因网络;判别器的作用有两个,第一是判断输入的脑区-基因网络的真假性,第二是判断输入的脑区-基因网络是正常人的还是AD的。判别器和生成器互相训练,不断调优,直至生成对抗网络收敛。此时,关键结构子网络能够聚集被试脑区-基因网络的特征信息,从而根据关键结构子网络进行AD的判断,可以辅助于对阿尔茨海默症做精准的诊断。
本发明实施例二提供的一种训练上述基于生成对抗网络的结构信息聚集模型的具体方法,流程如图11所示,包括如下步骤:
步骤S1101:生成训练样本。
具体地,以正常人的脑影像(fMRI)数据和基因数据分别构建脑网络和基因网络,进而将构建的脑网络和基因网络根据现有方法进行融合,得到正常人的脑区-基因网络;具体地,以脑区和基因为节点,采用现有的皮尔逊相关分析方法计算节点之间边的权重,若边权重大于阈值则保留该边,反之去掉该边,以此构建脑区-基因网络,实现脑网络和基因网络的融合。
以AD患者的脑影像(fMRI)数据和基因数据分别构建脑网络和基因网络,进而将构建的脑网络和基因网络进行融合,得到AD患者的脑区-基因网络.
本步骤中,以多个正常人的脑影像(fMRI)数据和基因数据,分别构建多个LMCI脑区-基因网络作为样本;以及以多个AD患者的脑影像(fMRI)数据和基因数据,分别构建多个AD脑区-基因网络作为样本。
步骤S1102:根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;
具体地,在模型训练过程中,判别器和生成器始终维持着对立与抗争关系,前者期盼重构的脑区-基因网络非常接近真实的脑区-基因网络,以此瞒过后者,而后者期盼能够精准判断生成的脑区-基因网络和真实的脑区-基因网络;由此,本步骤中对所述生成器和判别器进行多次迭代的优化和训练,使得二者不断进行对抗博弈,生成能力和判断能力分别得到增强,直到模型收敛,最终使得生成器能够更好地完成生成任务。
其中,对所述生成器和判别器进行一次迭代的优化和训练的过程,具体流程如图12所示包括如下子步骤:
子步骤S1201:固定所述生成器的参数后,根据所述样本对所述判别器进行优化;
子步骤S1202:固定所述判别器的参数后,根据所述样本对所述生成器进行训练。
步骤S1103:在对所述生成器和判别器进行多次迭代的优化和训练后,将由所述生成器和判别器组成的生成对抗网络作为训练得到的结构信息聚集模型。
具体地,上述子步骤S1201中提到的固定所述生成器的参数后,根据所述样本对所述判别器进行优化的具体方法流程,如图13所示,包括如下步骤:
步骤S1301:固定所述生成器的参数后,将样本中的正常人的脑区-基因网络或AD患者的脑区-基因网络输入到所述生成器中,由所述生成器根据输入的脑区-基因网络重构变化的脑区-基因网络;
步骤S1302:将所述生成器重构的脑区-基因网络或者样本中的正常人或AD患者的脑区-基因网络输入判别器;
步骤S1303:根据所述判别器输出的判断结果,对所述判别器的参数进行优化。
在根据所述判别器输出的判断结果与真实标签之间的差异,对所述判别器的参数进行优化时,是通过损失函数的计算结果进行判别器的参数优化。
例如,Pi是判别器根据输入其的第i个脑区-基因网络输出的判断结果;Pi为一个1×2的向量
Figure BDA0003603888760000201
表示判断结果为正常人的概率,
Figure BDA0003603888760000202
表示判断结果为AD患者的概率。
Ti是对应于Pi的真实标签;Ti为一个2×1的向量,值取(1,0)T时即表示第i个脑区-基因网络为真实的正常人的脑区-基因网络,值取(0,1)T时即表示第i个脑区-基因网络为真实的AD患者的脑区-基因网络,值取(0,0)T时即表示第i个脑区-基因网络为重构的脑区-基因网络。
根据Pi与Ti之间的差异,对所述判别器的参数进行优化。
损失函数是评估模型的性能与预期的结果接近程度,损失函数值的大小与模型预测性能成反比。
本发明定义的总损失函数为Loss由两个值组成:重构脑区-基因网络的数据和真实脑区-基因网络的数据的差异损失值Loss1,生成器与判别器的博弈损失值Loss2。定义Loss1的公式如公式11所示:
Figure BDA0003603888760000211
其中,Pdata(x)表示输入生成器的样本分布;
Figure BDA0003603888760000212
表示第x个样本的脑区-基因网络权重矩阵的第i行第j列特征值;
Figure BDA0003603888760000213
表示根据第x个样本真实脑区-基因网络的权重矩阵经过生成器得到的重构权重矩阵第i行第j列特征值。
构成生成器与判别器对抗训练的对抗损失函数Loss2,其计算公式如公式12所示:
Figure BDA0003603888760000214
其中,G(·)为生成器函数,D(·)为判别器函数,E(·)为求均值,Pdata(x)表示输入生成器的脑区-基因网络的样本分布,Pz(z)表示生成器重构的脑区-基因网络的样本分布,G(z)表示生成器重构的第z个脑区-基因网络。
固定生成器优化判别器的参数,收敛函数表达形式如公式13:
Figure BDA0003603888760000215
判别器D的训练目标是正确区分输入的脑区-基因网络是真实的还是生成器重构的,以1、0分别代表真实的脑区-基因网络(真)、重构的脑区-基因网络(假)。D(x)和D(G(z))分别表示判别器将输入的真实脑区-基因网络和重构脑区-基因网络判断为真实脑区-基因网络的概率。因此优化的目标是D(x)=1,D(G(z))=0,也就是让V(D,G)越来越大。
具体地,上述子步骤S1202中提到的固定所述判别器的参数后,根据所述样本对所述生成器进行训练的具体方法流程,如图14所示,包括如下步骤:
步骤S1401:在固定所述判别器的参数后,将样本中的正常人或AD患者的脑区-基因网络输入到所述生成器中,由所述生成器根据输入的脑区-基因网络重构变化的脑区-基因网络;
步骤S1402:将所述生成器重构的脑区-基因网络输入到所述判别器;
步骤S1403:根据所述判别器输出的判断结果对所述生成器的参数进行调整。
本步骤中,根据判别器的判断结果与真实标签之间的差异,对所述生成器的参数进行调整,使生成器重构尽可能真实的脑区-基因网络来欺骗判别器。
固定判别器优化生成器的参数,收敛函数表达形式如公式14所示:
Figure BDA0003603888760000221
生成器G的训练目标是使重构的生成脑区-基因网络最大限度地接近真实脑区-基因网络,以此能够骗过判别器,因此D(G(z))的值越接近于1越好,此时优化的目标是D(G(z))=1,也就是让V(D,G)越来越小。
通过反复迭代上述图13、图14所示的流程过程,判别器的判断能力和生成器的重构能力不断提高,直至生成对抗网络收敛,即总损失函数Loss最小,Loss的计算公式如公式15所示:
Loss=Loss1+Loss2 (公式15)
实施例三
基于预先训练得到的结构信息聚集模型,本发明实施例三提供的一种阿尔茨海默症的判断方法,具体流程如图15所示,包括如下步骤:
步骤S1501:根据被试者的脑影像数据和基因数据,构建该被试者的脑区-基因网络。
步骤S1502:将该脑区-基因网络输入到通过上述方法预先训练得到的结构信息聚集模型中。
步骤S1503:通过结构信息聚集模型进行结构信息的聚集并提取边的特征后输出该被试者为阿尔茨海默症AD患者的概率的判断结果。
具体地,通过结构信息聚集模型中上述的生成器和判别器,对被试者的脑区-基因网络进行结构信息的聚集并提取边的特征后输出该被试者是否为AD患者的概率的判断结果。
例如,结构信息聚集模型输出的判断结果为P,是一个1×2的向量(P1,sP2),P1表示判断结果为正常人的概率,P2表示判断结果为AD患者的概率。
实施例四
图16示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理单元)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的阿尔茨海默症的判断方法。
此外,所述处理器执行所述计算机程序时还可实现本说明书实施例所提供的结构信息聚集模型的训练方法。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,可以与非线性接收机相连,从非线性接收机接收信息,实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行实现实施例中的电子设备的操作。
本实施例中,计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,计算机可读存储介质可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,计算机可读存储介质也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,计算机可读存储介质通常用于存储安装于计算机设备的操作系统和各类应用软件,例如实施例中语音视频连线方法的程序代码等。此外,计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
为了验证基于生成对抗网络训练得到的结构信息聚集模型对阿尔茨海默症的判断性能,本文采用873名受试者的脑影像(fMRI)数据和基因(SNP)数据用于验证本发明提出的技术方案,采用的脑影像和基因数据均采集于ADNI数据集,其中包括AD患者和正常人的数据,包括237名正常人(Normal Control,NC)、197名EMCI患者和203名LMCI患者、233名AD患者。873名受试者的人口统计特征展示在表1中。此外,对相关受试者实施了年龄和性别的统计学检验,未观察到显著差异。
表1
Figure BDA0003603888760000261
下面介绍SNP数据和fMRI数据的预处理:
对于SNP数据,主要基于Plink(全基因组关联分析软件)程序进行预处理。预处理的主要步骤包括:设定合适的阈值对缺失率、杂合性和性别分别进行质量控制,筛选得到受试者共有的SNP,对SNP进行编码得到SNP数字序列(编码原则:假设某个基因座的T具有最小等位基因频率,表型即AA、AT和TT,编码为-1、0和1)。
对于fMRI数据,主要基于Matlab工具箱中的DPARSF(静息态功能磁共振数据处理助手)软件进行预处理。主要步骤有:移除前10个时间点数据以减小脑区时间序列波动,时间层配准和头动校正以减弱生理运动干扰,空间标准化和平滑化以减小伪影对图像的影响,去线性结构漂移和滤波以增强图像质量,协变量回归和归一化以标准化图像。基于解剖自动标记模板将fMRI图像空间划分为116个脑区,得到每个受试者所有脑区的时间序列。
为了更好地评估本章结构信息聚集模型(SG-GAN)的判断性能,基于精准性ACC、敏感性SEN、特异性SPE和平衡精度BAC指标,将SG-GAN在ADNI数据集上的NC vs.AD,EMCIvs.LMCI和LMCI vs.AD三个分类任务上进行了实验。对照方法选取了目前的RF和SVM两种机器学习方法,CNN和图卷积网络(Graph Convolutional Network,GCN)两种传统的深度学习方法,卷积神经生成对抗网络(CNN-GAN)和图卷积生成对抗网络(GCN-GAN)两种基于本发明方法架构改进的深度学习方法,所有方法的结果均通过10倍交叉验证生成。
表2展示了不同模态数据下不同方法在三个任务中的判断性能结果,图17展示了不同方法对应判断性能指标的雷达图。从表2中可以得出,基于脑影像遗传学数据的方法一般优于基于遗传学或脑影像学数据的方法,这可能是因为多源医疗数据的融合可以充分利用数据之间的互补信息从而提高了判断性能。此外,基于本发明方法架构改进的CNN-GAN和GCN-GAN的分类性能均比RF,SVM,CNN和GCN高,这说明了本发明GAN框架的合理性和有效性。总之,本发明提出的SG-GAN在多模态数据下的三种分类任务中分类性能分别达到87.23%,83.75%和84.38%,均为最大值。
其中,图17中的(a)是基于fMRI数据的AD vs.NC的判断任务;图17中的(b)是基于fMRI数据的EMCI vs.LMCI的判断任务;图17中的(c)是基于fMRI数据的LMCI vs.AD的判断任务;图17中的(d)是基于SNP数据的AD vs.NC的判断任务;图17中的(e)是基于SNP数据的EMCI vs.LMCI的判断任务;图17中的(f)是基于SNP数据的LMCI vs.AD的判断任务;图17中的(g)是基于fMRI和基因数据的AD vs.NC的判断任务;图17中的(h)基于fMRI和基因数据的EMCI vs.LMCI的判断任务;图17中的(i)基于fMRI和基因数据的LMCI vs.AD的判断任务。
从图17中可以得出,本发明提出的SG-GAN在不同模态下不同判断任务中雷达图指标面积均是最大,其中使用多模态数据的方法指标面积最大。这些对比结果证明本发明提出的方法能够充分地捕捉到网络之间的结构信息,从而具有更高的判断性能。
表2
Figure BDA0003603888760000271
Figure BDA0003603888760000281
本发明的技术方案中,根据被试者的脑影像数据和基因数据,构建该被试者的脑区-基因网络;将所述脑区-基因网络通过结构信息聚集模型进行结构信息的聚集并提取边的特征后输出该被试者是否为阿尔茨海默症AD患者的判断结果;其中,所述结构信息聚集模型是以多个正常人的脑区-基因网络和AD患者的脑区-基因网络作为样本预先训练得到的。由于结构信息聚集模型可以对输入的脑区-基因网络进行结构信息的聚集,使得正常人与AD患者的脑区-基因网络经过结构信息聚集后得到的关键结构子网络差异显著,从而结构信息聚集模型针对结构信息聚集后得到的结果进行特征提取后输出的判断具有更高的准确性,从而可以辅助于对阿尔茨海默症做更精准的诊断。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本发明难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本发明难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本发明的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于结构信息聚集模型的电子设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时用于实现:
根据被试者的脑影像数据和基因数据,构建该被试者的脑区-基因网络;
将所述脑区-基因网络通过结构信息聚集模型进行结构信息的聚集并提取边的特征后输出该被试者为阿尔茨海默症AD患者的概率的判断结果;
其中,所述结构信息聚集模型是以多个正常人的脑区-基因网络和AD患者的脑区-基因网络作为样本预先训练得到的。
2.根据权利要求1所述的电子设备,其特征在于,所述结构信息聚集模型包括:
生成器,用于对所述脑区-基因网络进行结构信息的聚集后得到第一关键结构子网络,进而对第一关键结构子网络进行结构信息的扩散得到重构的脑区-基因网络;
判别器,用于对重构的脑区-基因网络进行结构信息的聚集后得到第二关键结构子网络,进而提取第二关键结构子网络的边的特征后输出该被试者是否为AD患者的概率的判断结果。
3.根据权利要求2所述的电子设备,其特征在于,所述生成器中包括:
第一卷积模块,用于对所述脑区-基因网络进行结构信息的聚集后得到第一关键结构子网络;
反卷积模块,用于对第一关键结构子网络进行结构信息的扩散得到重构的脑区-基因网络。
4.根据权利要求2所述的电子设备,其特征在于,所述判别器中包括:
第二卷积模块,用于对重构的脑区-基因网络进行结构信息的聚集后得到第二关键结构子网;
全连接层模块,用于提取第二关键结构子网络的边的特征后输出该被试者是否为AD患者的概率的判断结果。
5.根据权利要求3所述的电子设备,其特征在于,第一卷积模块中包括n阶双向十字卷积层;
其中,第k阶双向十字卷积层,用于对输入的权重矩阵W(k-1)进行双向十字卷积操作后,输出更新的权重矩阵W(k);其中,W(k-1)是所述脑区-基因网络的权重矩阵W(0)经过k-1阶双向十字卷积层的k-1次双向十字卷积后得到的权重矩阵;以及
所述反卷积模块中包括n阶双向扩散反卷积层;
其中,第k阶双向扩散反卷积层,用于对输入的权重矩阵W′(k-1)进行双向扩散反卷积操作后,输出更新的权重矩阵W′(k);其中,W′(k-1)是W(n)经过k-1阶双向扩散反卷积层的k-1次双向扩散反卷积得到的权重矩阵;
其中,n为大于1的自然数,k为小于等于n的自然数。
6.根据权利要求4所述的电子设备,其特征在于,第二卷积模块中包括n阶双向十字卷积层;以及
所述全连接层模块包括L层完全连接层;其中,L为大于2的自然数。
7.根据权利要求2所述的电子设备,其特征在于,所述中央处理单元执行所述程序还实现:对所述所述结构信息聚集模型进行训练:
根据所述样本对所述生成器和判别器进行多次迭代的优化和训练;其中,在一次迭代过程中,包括:
固定所述生成器的参数后,根据所述样本对所述判别器进行优化;
固定所述判别器的参数后,根据所述样本对所述生成器进行训练;
在对所述生成器和判别器进行多次迭代的优化和训练后,得到由所述生成器和判别器构成的、训练后的结构信息聚集模型。
8.根据权利要求7所述的电子设备,其特征在于,所述中央处理单元执行所述程序在实现对所述判别器进行优化时,具体包括:
将样本中的正常人或AD患者的脑区-基因网络输入到所述生成器中,由所述生成器根据输入的脑区-基因网络重构变化的脑区-基因网络;
将所述生成器重构的脑区-基因网络或样本中的正常人或AD患者的脑区-基因网络输入到所述判别器;
根据所述判别器输出的判断结果,对所述判别器的参数进行优化。
9.根据权利要求8所述的电子设备,其特征在于,所述中央处理单元执行所述程序在实现对所述生成器进行训练时,具体包括:
将样本中的正常人或AD患者的脑区-基因网络输入到所述生成器中,由所述生成器重构变化的脑区-基因网络;
将所述生成器重构的脑区-基因网络输入到所述判别器;
根据所述判别器输出的判断结果对所述生成器的参数进行调整。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序可被至少一个处理器所执行,以使所述至少一个处理器执行权利要求1-9中任意一项所述的电子设备的操作。
CN202210410290.1A 2022-04-19 2022-04-19 一种基于结构信息聚集模型的电子设备 Withdrawn CN114758772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210410290.1A CN114758772A (zh) 2022-04-19 2022-04-19 一种基于结构信息聚集模型的电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210410290.1A CN114758772A (zh) 2022-04-19 2022-04-19 一种基于结构信息聚集模型的电子设备

Publications (1)

Publication Number Publication Date
CN114758772A true CN114758772A (zh) 2022-07-15

Family

ID=82330955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210410290.1A Withdrawn CN114758772A (zh) 2022-04-19 2022-04-19 一种基于结构信息聚集模型的电子设备

Country Status (1)

Country Link
CN (1) CN114758772A (zh)

Similar Documents

Publication Publication Date Title
Shen et al. Pcw-net: Pyramid combination and warping cost volume for stereo matching
US20190005384A1 (en) Topology aware graph neural nets
CN111539941B (zh) 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
Zeng et al. Graph convolutional network with sample and feature weights for Alzheimer’s disease diagnosis
CN114694832A (zh) 一种确定阿尔茨海默症的风险要素的电子设备
Zhou et al. Learning discriminative Bayesian networks from high-dimensional continuous neuroimaging data
CN111090764A (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN113920123B (zh) 一种成瘾性脑网络分析方法及装置
Shirazi et al. Deep learning in the healthcare industry: theory and applications
CN117574059A (zh) 高分辨率脑电信号深度神经网络压缩方法及脑机接口系统
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
Ganesh et al. Multi class Alzheimer disease detection using deep learning techniques
CN114155952A (zh) 一种老年人群老年痴呆病患病辅助分析系统
CN112101438A (zh) 一种左右眼分类方法、装置、服务器和存储介质
CN114758772A (zh) 一种基于结构信息聚集模型的电子设备
CN115813367A (zh) 结构功能关联的多模态脑网络计算方法、装置、设备及介质
CN116524284A (zh) 核磁共振图像分析方法、系统、装置及存储介质
JP7567371B2 (ja) 機械学習モデルを用いてクラス分類処理を実行する方法、情報処理装置、及び、コンピュータープログラム
CN112086174A (zh) 一种三维知识诊断模型构建方法和系统
CN115019971A (zh) 一种基于超图结构信息聚集模型的电子设备
CN114711721A (zh) 基于特征信息聚集模型的ad诊断及风险要素确定方法
CN114999664A (zh) 一种提取阿兹海默症的显著特征的电子设备
CN118044785B (zh) 一种基于多模态的阿尔兹海默症特征融合分析方法及终端
CN113160124B (zh) 一种食管癌影像在能谱ct与普通ct的特征空间重构的方法
CN114677364A (zh) 基于超图的异常数据识别的电子设备、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220715

WW01 Invention patent application withdrawn after publication