CN110599461A - 一种基于子空间特征学习的丘脑功能分区方法 - Google Patents

一种基于子空间特征学习的丘脑功能分区方法 Download PDF

Info

Publication number
CN110599461A
CN110599461A CN201910772126.3A CN201910772126A CN110599461A CN 110599461 A CN110599461 A CN 110599461A CN 201910772126 A CN201910772126 A CN 201910772126A CN 110599461 A CN110599461 A CN 110599461A
Authority
CN
China
Prior art keywords
self
subspace
data
thalamus
expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910772126.3A
Other languages
English (en)
Other versions
CN110599461B (zh
Inventor
孔佑勇
高和仁
任洲甫
周卫平
舒华忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910772126.3A priority Critical patent/CN110599461B/zh
Publication of CN110599461A publication Critical patent/CN110599461A/zh
Application granted granted Critical
Publication of CN110599461B publication Critical patent/CN110599461B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于子空间特征学习的丘脑功能分区方法。首先,使用弥散张量成像进行纤维追踪以获得活体大脑内部结构连接信息,使用精细皮层分区针对复杂非线性的丘脑皮层特征提取形成结构连接特征。然后,使用深度子空间网络以及增加的自表达特性学习特征的隐藏子空间映射,提取低维子空间特征。最后,对体素特征加以空间约束降低噪声的影响,更好地反映空间拓扑结构,丰富对空间信息的提取,构建亲和度矩阵使用归一化割方法获得功能分区。本发明方法能够降低噪声的影响,并且能够更好地反映体素空间的拓扑结构,丰富对空间信息的提取,可以高效地获得丘脑功能分区。

Description

一种基于子空间特征学习的丘脑功能分区方法
技术领域
本发明属于数字图像领域,尤其涉及一种基于子空间特征学习的丘脑功能分区方法。
背景技术
近年来,医学成像技术为无创地构建丘脑功能分区提供了新的途径。弥散张量成像基于测量大脑组织水分子弥散性质得到组织信息,并且可以重建出纤维束,表征不同区域之间的结构连接。弥散是指分子的随机性不规则运动,基于分子在空间中沿特定方向扩散的程度情况,又分为各向同性和各向异性。各向同性指分子的运动向各个方向的机会是均等的,例如在纯水中,水分子的弥散为各向同性弥散以及脑灰质中水分子的弥散也近似各向同性。各向异性指分子的弥散具有方向性,如脑白质中,水分子的弥散方向总与纤维束走行方向一致。
目前,学者们则更倾向于基于结构连接特征生成丘脑核团分区。Behrens等借助弥散张量成像中水分子的弥散特性检测出具有方向性的脑组织,同时使用概率纤维束成像的方法获得丘脑的结构连接模式,采用少数皮层功能分区定义丘脑体素的结构连接特征,生成丘脑核团分区。这种方法获得的信息损失严重、特征区分度低,只能获得粗糙的丘脑核团分区结果。与rsfMRI的聚类方法类似,最近几年则通过全脑其他区域体素描述丘脑体素的结构连接特征。伦敦国王学院O'Muircheartaigh与Toulmin等学者,在获得丘脑体素到全脑其他区域的概率纤维跟踪结果之后,使用独立成分分析聚类,生成个体的丘脑核团分区。伦敦大学圣乔治医学院Lambert等学者使用与相同的特征,计算丘脑体素之间的距离特征图,生成个体的丘脑核团分区。然而利用全脑其他体素计算丘脑体素的连接特征数据维度过高,而且容易受到噪声的影响。
发明内容
发明目的:由于使用全脑体素作为丘脑特征会得到极高维度的特征,容易受到噪声影响,而使用解剖结构定义的粗糙皮层分区则使得特征区分度较低。同时丘脑皮层间的结构连接特征是复杂非线性的,常用的降维学习手段不能有效学习出体素的特征表达。针对以上问题,本发明提出一种基于子空间特征学习的丘脑功能分区方法,可以高效地获得丘脑功能分区。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于子空间特征学习的丘脑功能分区方法,包括以下步骤:
步骤1,对弥散张量图像原始数据预处理,提取图像特征,获得丘脑-皮层结构连接特征;
步骤2,将丘脑-皮层结构连接特征作为输入数据,搭建深度子空间网络模型,训练网络模型得到输入数据的低维子空间特征以及自表达特征;所述低维子空间特征即为输入数据的潜在特征;
步骤3,使用无监督聚类方法,对步骤2中得到的输入数据的潜在特征以及自表达特征进行聚类,并对聚类结果进行分割,形成个体丘脑功能分区。
通过对比实验,使用不同方法对个体丘脑进行功能分区,并组合起来形成群组图谱,检验效果。
进一步,步骤1所述对弥散张量图像原始数据预处理,提取图像特征,获得丘脑-皮层结构连接特征;方法如下:
1-1,采用纤维束示踪成像技术获得原始图像数据的纤维概率结果;
1-2,采用精细皮层分区方法提取出体素的成像特征,减小弥散张量图像数据和纤维追踪的噪声;
1-3,根据步骤1-1和步骤1-2,获得丘脑-皮层结构连接特征。
进一步,步骤1-2所述精细皮层分区方法,即考虑精细度与噪声,使用Shen Atlas脑图谱作为先验脑图谱,提取出体素的成像特征。所述Shen Atlas脑图谱将脑区分为不同数目的分区,特征维度为268。
进一步,步骤2所述搭建深度子空间网络模型,训练网络模型得到输入数据的低维子空间特征以及自表达特征;步骤如下:
2-1,将丘脑-皮层结构连接特征作为特征向量输入,搭建子空间自编码器网络模型用于提取低维子空间特征。子空间自编码器网络模型包含三个部分,即编码结构、自表达层、解码结构。
在编码结构中学习特征的潜在表示,编码结构包含两个全连接层,每个全连接层后使用了参数化的线性修正单元,对输入数据进行非线性激活。
为了避免用于编码的神经网络参数过于稀疏化,导致学习到的信息少而不能有效表达原始特征的子空间结构。本发明使用改进的带参数的线性修正单元,避免了大范围的参数抑制,利于丘脑体素结构连接特征学习。
带参数的线性修正单元定义为:
其中yi代表非线性激活函数f在第i个通道的数据输入,ai是第i个通道的控制输入数据非负部分的斜率;当ai为0时,上式为线性修正单元。
在解码结构将特征的潜在表示进行回映射,得到解码输出数据;在编码结构和解码结构之间加入自表达层,自动学习输入数据之间的相关性。
对于给定的图像中的体素数据点集合{xi}i=1,2,...,M,M代表体素总数,这些体素数据点分布在K个线性子空间{Si}i=1,2,...,K中,如果属于某个子空间中的点能够被同一子空间中的其它点通过线性组合的方法表达,这种性质称为自表达属性。
将这一系列体素数据点组成数据矩阵X,有如下公式:
X=XC (1)
其中C为系数矩阵,即自表达属性的相关性矩阵。
有研究表明,在数据子空间互相独立的假设下,通过最小化矩阵C的特定范数就能使矩阵C保持分块对角结构,此时若数据点xi和xj属于同一子空间,那么相关性矩阵C的元素cij≠0,因此能使用矩阵C构建体素数据点的亲和度矩阵用于聚类处理。
加入特定范式约束C后的自表达公式表示为:
上式‖·‖p表示任一矩阵范数,根据对矩阵C的不同约束可以选择不同的范数,如稀疏约束的L1范数、低秩约束的核范数。
在实际应用中,将数据的噪声考虑进去,公式改写为:
其中λ表示自表达损失的权重参数,控制自表达损失在公式(3)中的权重占比。
2-2,定义子空间自编码器网络模型的损失函数,在深度子空间聚类(DSC)中为了通过子空间自编码器网络学习数据的自表达,引入全新的损失函数:
式中,X表示原始特征输入,表示输入数据经过解码器重构后的输出,Θ表示权值参数,C为系数矩阵,表示自表达层的权值,ZΘ表示编码阶段的特征输出;λ1、λ2为权重权衡系数;
公式(4)的第一项表示数据的重建损失;第二项表示自表达层的正则项,通过最小化系数矩阵C的特定范数确保系数矩阵C维持分块对角结构,从而使得ZΘ具有可分割特性;第三项表示数据的自表达项,数据空间ZΘ中的每个体素点ZΘ,i通过系数矩阵C和其他数据点{ZΘ,j},j=1,...,N,j≠i表示,N为数据空间ZΘ的点个数;使用全连接层表示自表达项,系数矩阵C即为自表达层的权值,通过系数矩阵C构建数据空间ZΘ的亲和度矩阵。
通过优化上述损失函数,使得到的数据空间ZΘ低维表示输入数据,同时使得系数矩阵C达到自表达效果;使用反向传播联合求解网络模型中的权值参数Θ和系数矩阵C;所述系数矩阵C作为输入数据的自表达特征。
2-3,采用两步训练策略,训练子空间自编码器网络模型:
第一步,使用不添加自表达层的传统自编码器进行子空间自编码器网络模型预训练,同时模型的损失函数采用输入与输出均方误差函数,优化所述损失函数,使得网络初步学习丘脑特征的潜在表示,所述丘脑特征的潜在表示即为编码器的输出;
第二步,使用第一步得到的预训练模型里的神经网络权重参数,初始化深度子空间自编码器网络模型结构中对应的编码与解码部分,将输入数据按批次投入训练,将同一丘脑的丘脑-皮层结构连接特征加入一个批次进行网络模型训练;
同时,因左右丘脑具有差异性,将左右丘脑分开训练,对于单独的左丘脑或右丘脑,全部体素的特征向量在一个批次中进行训练,最小化深度子空间自编码器网络模型的损失函数,每个特征向量由编码器映射得到潜在表示,即提取低维子空间特征。
本发明采用基于梯度下降的自适应矩估计方法优化子空间自编码器网络模型中的权重参数以及系数矩阵,所述权重参数指不属于自表达层的神经元参数。
进一步,步骤3所述使用无监督聚类方法,对步骤2中得到的输入数据的潜在特征以及自表达特征进行聚类,并对聚类结果进行分割,形成个体丘脑功能分区;步骤如下:
3-1,不同体素间的亲和度代表彼此间的特征相关性,依据此相关性可以找出体素间的差异性,构建体素的亲和度矩阵。
为了解决基于自表达系数构建亲和度矩阵在个体水平上聚类结果差异大的问题,本发明使用基于特征潜在表示的亲和度矩阵。
根据步骤2中得到的特征潜在表示作为构建体素亲和度矩阵的衡量数据;
体素点i,j对应的潜在特征向量为ZΘ,i与ZΘ,j,体素点i,j之间的相似性由它们的潜在特征向量之间的欧式距离表示;公式如下:
Sij=||ZΘ,i-ZΘ,j||2
式中,Sij表示体素点i,j的相似性,Sij取值范围在0到1之间,越接近0表示体素点i,j相似度越高,越接近1表示体素点i,j差异性越大。
3-2,将所有体素构成一个邻接矩阵,每个体素只与邻域内的体素相连,对该邻接矩阵,采用融合测地距离(即加入丘脑体素空间约束)以及体素间欧式距离的方法来衡量体素间的相似性,能够反映体素空间的拓扑结构,丰富对空间信息的提取;
所述邻接矩阵为一个无向相似度图,邻接矩阵元素的定义为:
其中aij表示邻接矩阵的元素值,Sij表示对应体素i,j两点间的亲和度值,E为体素构成的邻接矩阵(无向相似度图)的边集,vi,vj表示体素i,j,属于邻接矩阵(无向相似度图)的顶点集,ε为定义的邻域半径;
所述测地距离通过下式计算:
i,j表示邻接矩阵(无向相似度图)中的两个顶点,P(*)为权重函数,即特征的欧式距离,P(x)>0,γ(t)表示从顶点i到顶点j的所有路径的集合。
3-3,使用归一化割方法对弥散张量图像进行分割,根据分割结果形成个体丘脑的分区。
有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:
(1)本发明采用精细皮层分区能获得连接,减小了弥散张量成像数据和纤维追踪的噪声,保证特征的高分区度,并且能够降低噪声的影响。
(2)本发明选择Shen Atlas作为先验脑图谱,考虑到精细度与噪声的权衡,在特征维度为268的时候能提取出体素的成像特征,并且含有较少的噪声,有利于后续处理。
(3)本发明提出了融合测地距离与欧式距离的距离度量方式度量体素相似度,更好地反映体素空间的拓扑结构,丰富对空间信息的提取,利于丘脑体素的有效聚类。
附图说明
图1是本发明的方法流程图;
图2是深度子空间网络图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的一种基于子空间特征学习的丘脑功能分区方法,如图1所示,首先使用弥散张量成像进行纤维追踪以获得活体大脑内部结构连接信息;其次针对复杂非线性的丘脑皮层结构连接特征,本发明使用深度子空间网络学习特征的隐藏子空间映射(潜在表示);最后,对体素特征加以空间约束,降低噪声的影响,更好地反映空间拓扑结构,丰富对空间信息的提取,利于丘脑体素的有效聚类。具体如下:
步骤1,对弥散张量图像原始数据预处理,提取图像特征,获得丘脑-皮层结构连接特征;
1-1,对原始数据进行预处理,采用纤维束示踪成像技术获得图像的纤维概率结果。
1-2,采用精细皮层分区方法提取出体素的成像特征,从而减小弥散张量成像数据和纤维追踪的噪声,获得丰富的连接保证特征的高分区度。
1-3,根据步骤1-1和步骤1-2,获得丘脑-皮层结构连接特征。
步骤2,将丘脑-皮层结构连接特征作为输入数据,搭建深度子空间网络模型,训练网络模型得到输入数据的低维子空间特征以及自表达特征,所述低维子空间特征即为输入数据的潜在特征;具体包括:
2-1,将丘脑-皮层结构连接特征作为特征向量输入,搭建子空间自编码器网络模型用于提取低维子空间特征;子空间自编码器网络模型包含三个部分,即编码结构、自表达层、解码结构。
在编码部分学习特征的潜在表示,编码部分包含两个全连接层,每个全连接层后使用了参数化的线性修正单元,对输入数据进行非线性激活。
带参数的线性修正单元定义为:
其中yi代表非线性激活函数f在第i个通道的数据输入,ai是第i个通道的控制输入数据非负部分的斜率。
在解码结构将特征的潜在表示进行回映射,得到解码输出数据;在编码结构和解码结构之间加入自表达层,自动学习输入数据之间的相关性。
对于给定的图像中的体素数据点集合{xi}i=1,2,...,M,M代表体素总数,这些体素数据点分布在K个线性子空间{Si}i=1,2,...,K中,如果属于某个子空间中的点能够被同一子空间中的其它点通过线性组合的方法表达,这种性质称为自表达属性。
将这一系列体素数据点组成数据矩阵X,有如下公式:
X=XC (1)
其中C为系数矩阵,即自表达属性的相关性矩阵。
有研究表明,在数据子空间互相独立的假设下,通过最小化矩阵C的特定范数就能使矩阵C保持分块对角结构,此时若数据点xi和xj属于同一子空间,那么相关性矩阵C的元素cij≠0,因此能使用矩阵C构建体素数据点的亲和度矩阵用于聚类处理。
加入特定范式约束C后的自表达公式表示为:
上式‖·‖p表示任一矩阵范数,根据对矩阵C的不同约束可以选择不同的范数,如稀疏约束的L1范数、低秩约束的核范数。
在实际应用中,将数据的噪声考虑进去,公式改写为:
其中λ表示自表达损失的权重参数,控制自表达损失在公式(3)中的权重占比。
2-2,定义子空间自编码器网络模型的损失函数,在深度子空间聚类(DSC)中为了通过网络学习数据的自表达,引入全新的损失函数:
式中,X表示原始特征输入,表示输入数据经过解码器重构后的输出,Θ表示权值参数,C为系数矩阵,表示自表达层的权值,ZΘ表示编码阶段的特征输出;λ1、λ2为权重权衡系数;
公式(4)的第一项表示数据的重建损失;第二项表示自表达层的正则项,通过最小化系数矩阵C的特定范数确保系数矩阵C维持分块对角结构,从而使得ZΘ具有可分割特性;第三项表示数据的自表达项,数据空间ZΘ中的每个体素点ZΘ,i通过系数矩阵C和其他数据点{ZΘ,j},j=1,...,N,j≠i表示,N为数据空间ZΘ的点个数;使用全连接层表示自表达项,系数矩阵C即为自表达层的权值,通过系数矩阵C构建数据空间ZΘ的亲和度矩阵。
通过优化上述损失函数,使得到的数据空间ZΘ低维表示输入数据,同时使得系数矩阵C达到自表达效果;使用反向传播联合求解网络模型中的权值参数Θ和系数矩阵C;所述系数矩阵C作为输入数据的自表达特征。
2-3,采用两步训练策略,训练子空间自编码器网络模型:
第一步,使用不添加自表达层的传统自编码器进行子空间自编码器网络模型预训练,同时模型的损失函数采用输入与输出均方误差函数,优化所述损失函数,使得网络初步学习丘脑特征的潜在表示,所述丘脑特征的潜在表示即为编码器的输出;
第二步,使用第一步得到的预训练模型里的神经网络权重参数,初始化深度子空间自编码器网络模型结构中对应的编码与解码部分,即预训练模型直接作为接下来子空间自编码器网络模型的初始状态;将输入数据按批次投入训练,将同一丘脑的丘脑-皮层结构连接特征加入一个批次进行网络模型训练;
同时,因左右丘脑具有差异性,将左右丘脑分开训练,对于单独的左丘脑或右丘脑,全部体素的特征向量在一个批次中进行训练,最小化深度子空间自编码器网络模型的损失函数,每个特征向量由编码器映射得到潜在表示,即提取低维子空间特征。
采用基于梯度下降的自适应矩估计方法优化子空间自编码器网络模型中的权重参数以及系数矩阵。
步骤3,使用无监督聚类方法,对步骤2中得到的输入数据的潜在特征以及自表达特征进行聚类,并对聚类结果进行分割,形成个体丘脑功能分区;具体包括:
3-1,不同体素间的亲和度代表彼此间的特征相关性,依据此相关性可以找出体素间的差异性,构建体素的亲和度矩阵。
为了解决基于自表达系数构建亲和度矩阵在个体水平上聚类结果差异大的问题,本发明使用基于特征潜在表示的亲和度矩阵。
在特征学习的过程中,利用深度子空间聚类模型进行丘脑体素特征非线性映射的学习,在网络收敛以后,提取编码器输出即原始特征在进行子空间约束后的潜在表示。
根据特征的潜在表示可以构建体素亲和度矩阵。获取编码器输出ZΘ,体素点i,j对应的潜在特征向量为ZΘ,i与ZΘ,j,体素点i,j之间的相似性由它们的潜在特征向量之间的欧式距离表示;公式如下:
Sij=||ZΘ,i-ZΘ,j||2
式中,Sij表示体素点i,j的相似性,Sij取值范围在0到1之间,越接近0表示体素点i,j相似度越高,越接近1表示体素点i,j差异性越大。
3-2,将所有体素构成一个邻接矩阵,每个体素只与邻域内的体素相连,对该邻接矩阵,采用融合测地距离(即加入丘脑体素空间约束)以及体素间欧式距离的方法来衡量体素间的相似性,能够反映体素空间的拓扑结构,丰富对空间信息的提取;
所述邻接矩阵为一个无向相似度图,邻接矩阵元素的定义为:
其中aij表示邻接矩阵的元素值,Sij表示对应体素i,j两点间的亲和度值,E为体素构成的邻接矩阵(无向相似度图)的边集,vi,vj表示体素i,j,属于邻接矩阵(无向相似度图)的顶点集,ε为定义的邻域半径;
所述测地距离通过下式计算:
i,j表示邻接矩阵(无向相似度图)中的两个顶点,P(*)为权重函数,即特征的欧式距离,P(x)>0,γ(t)表示从顶点i到顶点j的所有路径的集合。
3-3,使用归一化割方法对弥散张量图像进行分割,根据分割结果形成个体丘脑的分区。
下面通过对比实验,不同方法得到的个体分区组合起来构建丘脑功能群组分区图谱。
本实施例的数据集采用了人类连接组计划项目数据,总共100个正常人的弥散张量成像模态数据,参见https://www.humanconnectome.org/,包括T1结构磁共振成像与弥散张量成像数据。T1成像的参数为:repetition time(TR)为1000ms,echo time(TE)为2.14ms,采集矩阵为320×320,层数为256,层厚为0.7mm,视野为224×224mm^2。弥散张量成像的采集参数如下:TR为5520ms,TE为89.5ms,视野为210×210mm^2,层数为145,层厚为1.25mm,b值1000s/m^2、2000s/m^2、3000s/m^2分别获得288个梯度方向的图像,b等于0获得18个基准图像。
本发明算法是基于标准空间2mm下,其成像大小应为90*109*90。在样本的原始空间下,其丘脑体素数量为6000个左右,而在标准空间下只有约2000个,因此能降低受弥散张量成像噪声的影响。概率性纤维追踪算法得到的结果是基于每个体素的三维图像,其图像里每个体素的值表示了此体素与当前体素的纤维连接强度,因此在原始空间下,每个样本都有约6000个三维的纤维追踪图像。
本发明提取的丘脑体素精细皮层分区特征的维度为268,而左右丘脑体素的数目均为1164,因此子空间自编码器模型的输入数据特征构成的矩阵大小为1164*268。对于矩阵的每一行代表当前体素与268个脑区的纤维连接强度,使用min-max归一化方法作为特征预处理手段,将特征矩阵的每一行元素值变换到-1到1的区间内。
可复现性广泛应用于验证脑功能分区方法的鲁棒性。鲁棒的算法在充足的样本上会得到高度相似的分区结果。通过基于深度子空间聚类的丘脑功能分区算法得到群组丘脑功能分区图谱之后,依次在个体水平上把个体丘脑功能分区结果与群组丘脑功能分区图谱进行比对,以Dice相似度为指标,个体丘脑功能分区结果与群组丘脑功能分区图谱越相似则表示算法鲁棒性强,可复现性高。可复现性的验证分为两个方案:一是基于全部数据集;二是基于奇偶分半数据集。
基于全部数据集的可复现性实验过程为:在标准空间对个体丘脑进行功能分区,然后通过多数表决法构建群组图谱,依次将个体功能分区结果与群组图谱进行比对得到Dice相似度。
表1是基于脑连接的丘脑功能分区方法结果对比,表中(a)为本发明方法;(b)为直接使用深度子空间聚类网络自表达层系数构建亲和度矩阵的方法;(c)为使用AAL图谱进行特征提取的方法;(d)为使用粗糙皮层图谱进行特征提取的方法。可以发现在全部样本集、奇数样本集、偶数样本集以及奇数样本集群组图谱与偶数样本集群组图谱对比上本发明方法均得到最高的Dice系数值,表示本发明方法可复现性显著强于对比实验方法。
表1
以上所述,仅为本发明中的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可理解想到的变换或替换,都应涵盖在本发明的包含范围之内,因此,本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于子空间特征学习的丘脑功能分区方法,其特征在于:该方法包括以下步骤:
步骤1,对弥散张量图像原始数据预处理,提取图像特征,获得丘脑-皮层结构连接特征;
步骤2,将丘脑-皮层结构连接特征作为输入数据,搭建深度子空间网络模型,训练网络模型得到输入数据的低维子空间特征以及自表达特征;所述低维子空间特征即为输入数据的潜在特征;
步骤3,使用无监督聚类方法,对步骤2中得到的输入数据的潜在特征以及自表达特征进行聚类,并对聚类结果进行分割,形成个体丘脑功能分区。
2.根据权利要求1所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤1所述对弥散张量图像原始数据预处理,提取图像特征,获得丘脑-皮层结构连接特征;方法如下:
1-1,采用纤维束示踪成像技术获得原始图像数据的纤维概率结果;
1-2,采用精细皮层分区方法提取出体素的成像特征,减小弥散张量图像数据和纤维追踪的噪声;
1-3,根据步骤1-1和步骤1-2,获得丘脑-皮层结构连接特征。
3.根据权利要求1所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤2所述搭建深度子空间网络模型,训练网络模型得到输入数据的低维子空间特征以及自表达特征;步骤如下:
2-1,将丘脑-皮层结构连接特征作为特征向量输入,搭建子空间自编码器网络模型用于提取低维子空间特征;子空间自编码器网络模型包含三个部分,即编码结构、自表达层、解码结构;
在编码结构中学习特征的潜在表示,编码结构包含两个全连接层,每个全连接层后使用了参数化的线性修正单元,对输入数据进行非线性激活;
带参数的线性修正单元定义为:
其中yi代表非线性激活函数f在第i个通道的数据输入,ai是第i个通道的控制输入数据非负部分的斜率;
在解码结构将特征的潜在表示进行回映射,得到解码输出数据;在编码结构和解码结构之间加入自表达层,自动学习输入数据之间的相关性;
对于给定的弥散张量图像中的体素数据点集合{xi}i=1,2,...,M,M代表体素总数,这些体素数据点分布在K个线性子空间{Si}i=1,2,...,K中,将这一系列体素数据点组成数据矩阵X,有如下公式:
X=XC (1)
其中C为系数矩阵,即自表达属性的相关性矩阵;
加入特定范式约束矩阵C后的自表达公式表示为:
上式‖·‖p表示任一矩阵范数,根据对矩阵C的不同约束选择不同的范数;
将数据的噪声考虑进去,公式改写为:
其中λ表示自表达损失的权重参数,控制自表达损失在公式(3)中的权重占比;
2-2,定义子空间自编码器网络模型的损失函数如下:
式中,第一项表示数据的重建损失;第二项表示自表达层的正则项;第三项表示数据的自表达项;X表示原始特征输入,表示输入数据经过解码器重构后的输出,Θ表示权值参数,C为系数矩阵,表示自表达层的权值,ZΘ表示编码阶段的特征输出;λ1、λ2为权重权衡系数;
通过优化上述损失函数,使得到的数据空间ZΘ低维表示输入数据,同时使得系数矩阵C达到自表达效果;使用反向传播联合求解网络模型中的权值参数Θ和系数矩阵C;所述系数矩阵C作为输入数据的自表达特征;
2-3,通过不添加自表达层的传统自编码器进行子空间自编码器网络模型预训练,并根据预训练得到的神经网络参数初始化子空间自编码器网络模型,即预训练模型直接作为子空间自编码器网络模型的初始状态;训练子空间自编码器网络模型完成后,通过模型中编码器对输入数据编码,得到输入数据的低维子空间特征以及自表达特征。
4.根据权利要求3所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤2-2所述自表达层的损失函数中,通过最小化系数矩阵C的特定范数确保系数矩阵C维持分块对角结构;数据空间ZΘ中的每个体素点ZΘ,i通过系数矩阵C和其他数据点{ZΘ,j},j=1,...,N,j≠i表示,N为数据空间ZΘ的点个数;使用全连接层表示自表达项,系数矩阵C即为自表达层的权值,通过系数矩阵C构建数据空间ZΘ的亲和度矩阵。
5.根据权利要求3所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤2-3所述训练子空间自编码器网络模型;步骤如下:
第一步,使用不添加自表达层的传统自编码器进行子空间自编码器网络模型预训练,模型的损失函数采用输入与输出均方误差函数,优化所述损失函数,使得网络初步学习丘脑特征的潜在表示,所述丘脑特征的潜在表示即为编码器的输出;
第二步,使用第一步得到的预训练模型里的神经网络权重参数,初始化深度子空间自编码器网络模型结构中对应的编码与解码部分,将输入数据按批次投入训练,将同一丘脑的丘脑-皮层结构连接特征加入一个批次进行网络模型训练,同时将左右丘脑分开训练,对于单独的左丘脑或右丘脑,全部体素的特征向量在一个批次中进行训练,最小化深度子空间自编码器网络模型的损失函数,每个特征向量由编码器映射得到潜在表示,即提取低维子空间特征。
6.根据权利要求1-5任一所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤3所述使用无监督聚类方法,对输入数据的潜在特征以及自表达特征进行聚类,并对聚类结果进行分割,形成个体丘脑功能分区;步骤如下:
3-1,根据输入数据的潜在特征构建体素亲和度矩阵;
体素点i,j对应的潜在特征向量为ZΘ,i与ZΘ,j,体素点i,j之间的相似性由它们的潜在特征向量之间的欧式距离表示;公式如下:
Sij=||ZΘ,i-ZΘ,j||2
式中,Sij表示体素点i,j的相似性;
3-2,将所有体素构成一个邻接矩阵,每个体素只与邻域内的体素相连;对该邻接矩阵,采用融合测地距离以及体素间欧式距离的方法衡量体素间的相似性;采用测地距离度量体素相似度即为加入丘脑体素空间约束;
3-3,使用归一化割方法对弥散张量图像进行分割,根据分割结果形成个体丘脑的分区。
7.根据权利要求6所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤3-2中,所述邻接矩阵为一个无向相似度图,邻接矩阵元素的定义为:
其中aij表示邻接矩阵的元素值;Sij表示对应体素i,j两点间的亲和度值;E为无向相似度图的边集;vi,vj表示体素i,j,属于无向相似度图的顶点集;ε为定义的邻域半径。
8.根据权利要求7所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤3-2中,所述测地距离通过下式计算:
i,j表示无向相似度图中的两个顶点,P(*)为权重函数,即特征的欧式距离,P(x)>0,γ(t)表示从顶点i到顶点j的所有路径的集合。
9.根据权利要求2所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:步骤1-2所述精细皮层分区方法,使用Shen Atlas脑图谱作为先验脑图谱,提取出体素的成像特征。
10.根据权利要求3所述的一种基于子空间特征学习的丘脑功能分区方法,其特征在于:采用基于梯度下降的自适应矩估计方法优化子空间自编码器网络模型中的权重参数以及系数矩阵,所述权重参数指不属于自表达层的神经元参数。
CN201910772126.3A 2019-08-21 2019-08-21 一种基于子空间特征学习的丘脑功能分区方法 Active CN110599461B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910772126.3A CN110599461B (zh) 2019-08-21 2019-08-21 一种基于子空间特征学习的丘脑功能分区方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910772126.3A CN110599461B (zh) 2019-08-21 2019-08-21 一种基于子空间特征学习的丘脑功能分区方法

Publications (2)

Publication Number Publication Date
CN110599461A true CN110599461A (zh) 2019-12-20
CN110599461B CN110599461B (zh) 2023-04-07

Family

ID=68854830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910772126.3A Active CN110599461B (zh) 2019-08-21 2019-08-21 一种基于子空间特征学习的丘脑功能分区方法

Country Status (1)

Country Link
CN (1) CN110599461B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259904A (zh) * 2020-01-16 2020-06-09 西南科技大学 一种基于深度学习和聚类的语义图像分割方法及系统
CN111887813A (zh) * 2020-08-11 2020-11-06 南通大学 一种鲜活离体组织脑区位置识别的方法及装置
CN112991361A (zh) * 2021-03-11 2021-06-18 温州大学激光与光电智能制造研究院 一种基于局部图结构相似度的图像分割方法
CN113111976A (zh) * 2021-05-13 2021-07-13 华南理工大学 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN114445643A (zh) * 2022-01-26 2022-05-06 北京工业大学 一种基于显著稀疏强关联的fmri脑功能连接数据特征提取方法
CN115082586A (zh) * 2022-07-12 2022-09-20 中国科学院自动化研究所 群组先验引导的基于深度学习的丘脑个体化图谱绘制方法
WO2023207820A1 (zh) * 2022-04-29 2023-11-02 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446924A (zh) * 2016-06-23 2017-02-22 首都师范大学 一种基于l3crsc对谱聚类邻接矩阵的构造及其应用
CN108596236A (zh) * 2018-04-18 2018-09-28 东南大学 一种基于全局连接特征和测地距离的丘脑核团分区方法
US20190046068A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446924A (zh) * 2016-06-23 2017-02-22 首都师范大学 一种基于l3crsc对谱聚类邻接矩阵的构造及其应用
US20190046068A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
CN108596236A (zh) * 2018-04-18 2018-09-28 东南大学 一种基于全局连接特征和测地距离的丘脑核团分区方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259904A (zh) * 2020-01-16 2020-06-09 西南科技大学 一种基于深度学习和聚类的语义图像分割方法及系统
CN111887813A (zh) * 2020-08-11 2020-11-06 南通大学 一种鲜活离体组织脑区位置识别的方法及装置
CN112991361A (zh) * 2021-03-11 2021-06-18 温州大学激光与光电智能制造研究院 一种基于局部图结构相似度的图像分割方法
CN113111976A (zh) * 2021-05-13 2021-07-13 华南理工大学 一种基于低秩张量自表示的深度子空间聚类方法及系统
CN114445643A (zh) * 2022-01-26 2022-05-06 北京工业大学 一种基于显著稀疏强关联的fmri脑功能连接数据特征提取方法
CN114445643B (zh) * 2022-01-26 2024-06-07 北京工业大学 一种基于显著稀疏强关联的fmri脑功能连接数据特征提取方法
WO2023207820A1 (zh) * 2022-04-29 2023-11-02 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN115082586A (zh) * 2022-07-12 2022-09-20 中国科学院自动化研究所 群组先验引导的基于深度学习的丘脑个体化图谱绘制方法

Also Published As

Publication number Publication date
CN110599461B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110599461B (zh) 一种基于子空间特征学习的丘脑功能分区方法
CN111932444A (zh) 基于生成对抗网络的人脸属性编辑方法及信息处理终端
Luo et al. Bayesian MRI reconstruction with joint uncertainty estimation using diffusion models
CN105844635B (zh) 一种基于结构字典的稀疏表示深度图像重建方法
CN107133496B (zh) 基于流形学习与闭环深度卷积双网络模型的基因特征提取方法
Fan et al. A segmentation-aware deep fusion network for compressed sensing mri
CN112464004A (zh) 一种多视角深度生成图像聚类方法
CN116012344A (zh) 一种基于掩码自编码器CNN-Transformer的心脏磁共振图像配准方法
Hsu et al. Capturing implicit hierarchical structure in 3d biomedical images with self-supervised hyperbolic representations
JP7492640B1 (ja) 脳ネットワークデータ特徴抽出方法および装置
Ning et al. Conditional generative adversarial networks based on the principle of homologycontinuity for face aging
CN111210382A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116030078B (zh) 多任务学习框架下结合注意力的肺叶分割方法及系统
Dong et al. The feature representation ability of variational autoencoder
Szlobodnyik et al. Data augmentation by guided deep interpolation
Yang et al. Dual attention-guided and learnable spatial transformation data augmentation multi-modal unsupervised medical image segmentation
CN116797461A (zh) 基于多级强化注意力机制的双目图像超分辨率重建方法
CN115496720A (zh) 基于ViT机制模型的胃肠癌病理图像分割方法及相关设备
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN116029908A (zh) 基于跨模态和跨尺度特征融合的3d磁共振超分辨率方法
He et al. Multi-pose face reconstruction and gabor-based dictionary learning for face recognition
CN109947960A (zh) 基于深度卷积的人脸多属性联合估计模型构建方法
CN108090460B (zh) 基于韦伯多方向描述子的人脸表情识别特征提取方法
Rella et al. Neural Vector Fields for Implicit Surface Representation and Inference
Pernuš et al. ChildNet: Structural Kinship Face Synthesis Model With Appearance Control Mechanisms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant