CN112991406A - 一种基于微分几何技术构建脑图谱的方法 - Google Patents

一种基于微分几何技术构建脑图谱的方法 Download PDF

Info

Publication number
CN112991406A
CN112991406A CN202110177294.5A CN202110177294A CN112991406A CN 112991406 A CN112991406 A CN 112991406A CN 202110177294 A CN202110177294 A CN 202110177294A CN 112991406 A CN112991406 A CN 112991406A
Authority
CN
China
Prior art keywords
phi
registration
domain
image
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110177294.5A
Other languages
English (en)
Other versions
CN112991406B (zh
Inventor
袁克虹
朱永佩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202110177294.5A priority Critical patent/CN112991406B/zh
Publication of CN112991406A publication Critical patent/CN112991406A/zh
Application granted granted Critical
Publication of CN112991406B publication Critical patent/CN112991406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于微分几何技术构建脑图谱的方法。该方法包括：对于N个体量数据集，依次从中取出任意一个yi作为初始模板，基于卷积神经网络框架将yi向所有的N个yj做配准，得到各配准域φij；通过平均变换域计算各配准域φij的平均域，得到N个平均域avgi；将平均域作用于yi获得新的模板，从而得到N个暂时模板的
Figure DDA0002941064900000011
当平均域满足设定目标时，获得N个模板图像，该N个模板图像用于配准时的固定图像。本发明在构建脑部MRI atlas上可以达到更好的性能，并为医生的疾病诊断提供标准模板。

Description

一种基于微分几何技术构建脑图谱的方法
技术领域
本发明涉及医学图像处理技术领域，更具体地，涉及一种基于微分几何技术构建脑图谱(atlas)的方法。
背景技术
脑功能成像一般选择核磁共振技术(MRI)，这是由于MRI医学图像对密度差较小的软组织具有很高的对比度和空间分辨率，从而被广泛应用到脑部疾病分析中。MRI的主要特点是对软组织、解剖结构和病变形态显示清楚，可以获得丰富的诊断信息，对任意剖面均可以成像，并且相对于其他医学影像，MRI具有对人体的电离辐射损伤小且无创等特点。然而，脑部组织的结构比较复杂，MRI图像主要包含大脑皮层、灰质、白质和脑脊液等组织。而且每种组织结构形状复杂，例如白质外面被灰质所覆盖，灰质的褶皱起伏众多容易形成沟回。不同组织之间的灰度分布不均，且存在相互交叠的情况，所以脑部MRI图像的分析对医学诊断的意义重大。
配准是医学图像处理中的关键和常用技术，应用于医疗影像领域的各个方面，例如手术规划，手术导航，病灶检测，三维重建和图像融合等。所谓配准，是在尽可能短的时间内将一幅移动图像(Moving)的坐标向另一幅固定图像(Fixed)映射，使得两幅图像相应位置对齐得到匹配图像(Moved)的过程。深度学习在医学图像的分析研究中具有至关重要的作用，在医学图像配准领域也取得了好的效果。
近几年，国内外的可形变医学图像配准研究主要分为两大类：基于传统的配准方法和基于深度学习的方法。传统的配准方法主要为了解决可形变空间的优化。常见的表征是位移矢量变换域，主要包括elastic-type模型,b-splines，统计参数映射，Demons或其他离散方法。由于微分同胚域必须保证一些优良的特性，例如拓扑不变性，微分同胚变换已经发展出现了大量的先进方法，例如大扩散纯距离度量映射(LDDMM)，DARTEL，微分同胚Demons和symmetric normalization(SyN)等。一般情况下，对于配准一对图像，这些方法需要大量的时间和计算资源。最近的基于GPU的迭代算法使用这些框架开发更快的算法，同时基于深度学习的配准方法显著地提高了运行速度，主要有两种方法：1)利用卷积神经网络预测配准所需的微分同胚变换域；2)利用深度学习网络计算一对图像的相似性度量，并用传统配准方法进行迭代优化。根据深度学习的种类划分，可以划分为基于监督学习的配准与基于非监督学习的配准两大类。
图谱生成，又可称为模板影像估计，通过几何变换来匹配数据集中图像并生成代表性图谱图像。在医学影像分析研究中，通过将个体图像与图谱配准，可以进一步来分析图谱与个体图像之间的空间变换，了解个体图像与图谱之间的解剖形态和像素值差异。两幅图像之间的空间对齐或配准方法是图谱生成的基础，深度学习方法在医学图像配准领域的发展极大地促进了图谱生成技术的进步。传统的图谱构建与图像配准方法经历了几十年的发展，采用图谱估计与图像对齐的迭代过程构建，由于计算成本与时间成本花费巨大，图谱生成是一项代价非常昂贵的工作。因为这个缺点，大部分的图谱生成方法是为整个数据集整体计算一个平均图谱，或者根据数据的特定属性分类计算几个图谱。但现有技术构建的医学图像图谱的精确性还有待提高。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种基于微分几何技术构建脑图谱(atlas)的方法。
本发明的技术方案是提供一种基于微分几何技术构建脑图谱的方法。该方法包括以下步骤：
步骤S1，对于N个体量数据集，依次从中取出任意一个yi作为初始模板template，基于卷积神经网络框架将yi向所有的N个yj做配准，得到各配准域φij，其中j＝1,2,…,i,…N；
步骤S2，通过平均变换域计算各配准域φij的平均域avgi＝avg(φij)，得到N个平均域avgi，其中j＝1,2,…,i,…N；
步骤S3，将平均域作用于yi获得新的模板
Figure BDA0002941064880000031
得到N个暂时模板的
Figure BDA0002941064880000032
步骤S4，重复步骤S1至S3，直到平均域满足设定目标，进而获得N个模板图像，该N个模板图像用于配准时的固定图像。
与现有技术相比，本发明的优点在于，基于平均几何变换和神经网络框架提出一种新的可形变方法构建无偏移医学图像atlas。给定一系列通过配准不同图像得到的微分同胚配准域，通过变分法不断迭代构建它们的平均变换，得到一个标准的脑部MRI atlas。本发明在构建脑部MRI atlas上可以达到更好的性能，并为医生的疾病诊断提供标准模板。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的基于VoxelMorph框架的平均变换域方法的过程示意图；
图2是根据本发明一个实施例的基于VoxelMorph框架进行图像配准的示意图；
图3是根据本发明另一实施例的VoxelMorph结构图；
图4是根据本发明一个实施例的构建脑图谱的效果图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明基于平均几何变换和VoxelMorph CNN框架提出一种新的可形变方法来构建无偏移医学图像atlas，以5个医学图像样本为例，构建了配准所需要的Atlas(template)，并作为VoxelMorph CNN框架的Fixed图像。
在本发明中，给定一系列通过配准不同图像得到的微分同胚配准域，计算配准域的微分几何信息包括雅可比行列式(JD)和旋度向量(CV)。通过变分法不断迭代构建它们的平均变换，得到一个标准的脑部MRI atlas，可作为图像配准时的固定图像。
下文中将具体介绍变分法、基于变分法的平均变换域方法、VoxelMorph CNN模型框架、构建Atlas(Template)的过程、评估标准和评估结果。
一、变分法
本发明提供通过直接控制雅可比行列式(JD)和旋度向量(CV)新的构建微分同胚φ的方法，突出了JD和CV决定微分同胚φ的重要作用，它被称为变分法。
具体地，令φ＝(φ1，φ2，φ3)，g0＝(g01，g02，g03)，定义3D相似度作为均方差异之和(SSD)，表示为：
Figure BDA0002941064880000041
其中f0和g0分别是JD和CV的控制函数，通过优化SSD使其最小，故该问题本质上是通过构建φ：Ω→Ω，使得J(φ)＝f0，curl(φ)＝g0。
令
φ＝x+u (2)
限制条件设置为：
Figure BDA0002941064880000051
f和g＝(g1，g2，g3)是JD和CV的控制方程，div代表散度，curl表示旋度，在3D情况下满足Possion(泊松)方程：
Figure BDA0002941064880000052
即
Figure BDA0002941064880000053
在固定边界条件的情况下，使用F＝(F1，F2，F3)作为控制方程：
Δφ＝Δu＝F＝(F1，F2，F3) (6)
上述过程就是使用特定雅克比行列式和旋度向量的新变分法，其中φ1，φ2，φ3分别表示映射的x，y，z三个方向的分量；g01，g02，g03分别表示旋度的三个方向初始值；F1，F2，F3分别表示三个方向的控制变量；Ω表示当前映射的区域；u1，u2，u3分别表示x在三个方向上的扰动情况。
二、平均变换域法
进一步地，基于变分法，提出一种基于JD和CV平均值的平均变换域方法。
参见图1所示，给定一系列的配准域φi(i＝1，2，…，N)，通过下面的步骤重建了它们的平均域：
在公式(1)中，令
Figure BDA0002941064880000054
和
Figure BDA0002941064880000055
将f0和g0利用变分法求得φ，使得J(φ)＝f0和curl(φ)＝g0；
将求得的φ定义为φi(i＝1，2，…，N)的平均变换域。
根据上述过程求得的平均域具有特别的几何意义：J(φi)代表了尺寸的局部变化，curl(φi)代表了形状的局部旋转。它们的平均决定了这个新的平均域，这在具有很多数据集的医学图像配准中具有重要的作用。
三、VoxelMorph CNN模型
图像配准过程以VoxelMorph框架为例，使用一对160x192x224的3D图像作为输入，使用模拟一个函数gθ(F，M)＝φ，这里θ是函数g(或称函数gθ)的可学习的参数。通过将滑动图像M和固定图像F作为输入，基于参数θ(卷积层的核数)计算φ(配准域)，对于每一个像素p∈Ω，使用空间变换函数Spatial Transform将M(p)变形为M(φ(p))，评估M(φ)和F并且更新θ，如图2所示。
在一个实施例中，使用随机梯度下降法通过最小化损失函数
Figure BDA0002941064880000061
寻找最优化参数
Figure BDA0002941064880000062
即：
Figure BDA0002941064880000063
其中，D是数据集分布，通过配准D中样本的体素对学习
Figure BDA0002941064880000064
在测试期间给予一对不可见的F和M，可以通过估计g得到一个配准域。
函数g的参数化基于类似3D U-Net的卷积神经网络，该网络包含带有跳跃连接的编码-译码器。图3是VoxelMorph的变体VoxelMorph-2。它是将F和M拼接为2通道3D图像作为输入(160x192x224x2)。在编码-译码阶段都使用3D的卷积+Leaky ReLU激活，卷积核为3x3x3。在卷积层捕获输入图像对必要的层次特征来估计配准域φ。具体地，在编码阶段，使用strided卷积减少一半的空间维度直到达到最小的层。编码的连续层对输入图像的粗糙表征进行操作，这与传统图像配准工作中的图像金字塔相似。最小层卷积核的感受野至少应与M和F中相应体素之间的最大期望位移相等。最小层使用体素是输入图像尺寸的(1/16)3的卷积层。在译码阶段，交替使用上采样、卷积+Leaky ReLU激活和跳跃连接。跳跃连接将在编码阶段学到的特征直接传播到生成配准域的层。译码器的输出φ在实验中可设置为160×192×224×3。
本发明通过最小化M(φ)和F之间的差异来学习部分最优参数值。为了使用标准基于梯度的方法，构建了基于空间变换层的可微分操作来计算M(φ)。对于每一个像素p，计算M的一个体素(子体素)位置φ(p)，但是由于图像值只限定于整数位置，在八个相邻体素之间使用线性插值，表示为：
Figure BDA0002941064880000065
其中，
Figure BDA0002941064880000066
是φ(p)的临近(邻域)像素，{x，y，z}表示q点坐标，d表示q点的8联通区域的点，qd表示当前d点的值，表示φd(p)与φ(p)含义相同，也可以将下标d去掉。因为这个操作在任意位置是可微分的，所以可以在优化过程中反向传播误差。
在一个实施例中，配准算法通过迭代优化能量函数实现变换。令F和M表示固定图像和滑动图像，φ是配准域，则配准优化问题可以描述为：
Figure BDA0002941064880000071
Figure BDA0002941064880000072
在公式(10)中，该损失函数包括两项：相似度项
Figure BDA0002941064880000073
和平滑项
Figure BDA0002941064880000074
M(φ)是由M经过φ得到的，函数
Figure BDA0002941064880000075
用于衡量M(φ)和F之间的相似度。
Figure BDA0002941064880000076
在φ加入了平滑项，λ是正则化因子。
常见的
Figure BDA0002941064880000077
矩阵包括平均均方体素差，交互信息和交叉相关。当图像体积具有不同的强度分布和对比度时，交互信息和和交叉相关特别有用。
Figure BDA0002941064880000078
增强了一个空间光滑形变，一般被模拟为φ空间梯度的线性操作。一般来说，使用数据集的体素对优化函数参数化，以此最小化(9)式的期望能量，而不是单独每一对进行。
Figure BDA0002941064880000079
可表示为多种形式，例如，可以表示为M(φ)和F的交叉相关的负值，交叉相关衡量了体素之间的惩罚差异，对scans和数据集的强度变化更加具有鲁棒性。令
Figure BDA00029410648800000710
和
Figure BDA00029410648800000711
代表具有局部平均强度的图像。在n3体素上计算局部平均，在VoxelMorph模型实验中取n＝9。M(φ)和F的交叉相关表示为：
Figure BDA00029410648800000712
pi在n3体素上迭代。更高的CC代表更好的配准，则
Figure BDA00029410648800000713
Figure BDA00029410648800000714
在另一实施例中，将
Figure BDA00029410648800000715
表示为M(φ)和F间的平均均方体素差，一个常用的矩阵用来惩罚表面差异，表示为：
Figure BDA00029410648800000716
其中，F和M具有相似的图像强度分布和局部差异。
最小化
Figure BDA00029410648800000717
将会使得M(φ)更接近F，但是可能产生不平滑和物理意义上不实际的φ。所以使用一个加在φ的空间梯度扩散规则化因子以求得一个平滑位移域φ，即
Figure BDA0002941064880000081
Figure BDA0002941064880000082
使用相邻体素间的差异近似空间梯度。因此，整个损失函数表示为：
Figure BDA0002941064880000083
其中，λ是规则化参数。
四、构建Atlas(Template)
在一个实施例中，利用VoxelMorph CNN的配准框架构建Atlas，仍结合图1所示，利用平均变换域的方法构建5个volumes的Atlas(template)，作为配准中所需要的Fixed图像。具体步骤包括：
步骤S110，对于N个volumes的数据集，依次从中取出任意一个yi作为初始的template(模板)，基于VoxelMorph CNN框架将它向所有的N个yj(j＝1，2，…，i，…N)做配准得到所有的配准域φij。
步骤S120，通过平均变换域方法得到这些配准域φij的平均域avgi＝avg(φij)(j＝1，2，…，i，…N)，该步骤得到N个平均域avgi。
步骤S130，将平均域作用于yi得到新的
Figure BDA0002941064880000084
这一步将会得到N个暂时的
Figure BDA0002941064880000085
步骤S140，重复S110到S130，得到一组新的平均域avgi和
Figure BDA0002941064880000086
直到得到的平均域最接近于单位正交映射Id(单位正交网格)。这时可以得到N个template(Atlas)，可以任意选取一个作为配准时的Fixed图像(因为所得的template基本相似，来自于N个相似且接近单位正交映射Id的平均域)
五、评估标准
进一步地，在ADNI和MRBrainS18数据集上进行验证，并且在MR图像配准上与MIT原有方法(原VoxelMorph方法)相比，平均非正雅可比位置个数有所减少。实验结果显示该方法在构建脑部MRI atlas上可以达到更好的性能，并为医生的疾病诊断提供了标准模板。对于实验结果，采用以下评估标注。
(1)Dice系数
在医学图像的配准问题中，评估标准一般采用Dice系数，其值越大越好。在一个实施例中，使用解剖部分的体素重叠来评估并期望M(φ)和F对应于同一解剖部分应该重叠的更好。令
Figure BDA0002941064880000091
分别为F和M(φ)对应的体素。Dice系数可以被表示为：
Figure BDA0002941064880000092
Dice系数为1表示对应体素完全重叠，为0表示对应体素没有重叠，故希望其值越大越好。
(2)雅可比行列式
雅可比行列式可以评估配准域φ的正则性。
Figure BDA0002941064880000093
可以捕捉到φ的局部特性。只有当体素位置满足|Jφ(p)|＞0时(||代表行列式操作)，局部形变才是微分同胚的，即可逆的和定向的。计算出所有非背景体素满足|Jφ(p)|≤0的个数，在这些地方配准不是微分同胚的，故希望其越小越好。
六、评估结果
在实验中，主要采用ADNI和MRBrainS18数据集，通过合理分配训练集、验证集和测试集，从而更好地验证本发明方法。例如，选择MRBrainS18数据集中的5个样本(1，4，5，7，14)作为构造atlas的样本。
选用MRBrainS18数据集的目的是为了将脑部分割成4类组织，即背景、白质、灰质和脑脊液。多序列的3T MRI脑部scans包括每一个subject的T1加权、T1-IR和T2-FLAIR图像。MRBrainS18提供了7个带标签的脑部MRI的训练数据(1，4，5，7，14，070，148，尺寸240x240x48)，该数据集可以从http：//mrbrains18.isi.uu.n1/下载。
对于ADNI，使用ADNI的一个数据集包括199个T1加权脑部MRI scans，合理分配训练集、验证集和测试集为159，20和20(8∶1∶1)，这用于测试所构建atlas作为fixed图像后的配准效果。
使用Keras(Tesorflow backend)和Adam优化器，学习率设置为10-4。设置epochs为1500，batch size为1，每一个epoch的步长为100。每一个训练batch包括一对volumes为了更好地减少内存使用。在评估atlas配准效果时在验证集上优化Dice并在测试集上得到结果。算法运行时间在GeForce GTX 1080 Ti GPU和Intel Core i7-6800k CPU进行测试。在MRBrainS18数据集上测试平均变换方法为5个样本构造一个template(atlas)并基于原有VoxelMorph-diff网络将它作为医学配准的fixed图像。使用平均变换域法进行两次迭代，因为平均变换域avg2非常接近于单位正交映射，所以停止迭代过程，两次迭代所得的5个atlas结果显示在图4中。
随机选择图4中的(d)图作为原有VoxelMorph-diff网络的fixed图像，本次实验在ADNI数据集上训练并测试。实验结果如表1，其中总结了在所有解剖结构和区域的平均Dice分数(越高越好)，平均运行时间，非正Jacobian位置的平均百分比(越低越好)，括号中的值是标准差，VoxelMorph-atlas表示本发明，其他是现有技术方案，在此不再一一介绍。
由表1可以看出，与VoxelMorph-diff作比较，本发明具有可比较的平均Dice分数(分数越高越好)，运行时间和不确定性估计，但是产生更好的微分同胚配准域(拥有更少数目的非正雅可比位置，对于VoxelMorph-atlas为0.487(0.194)％，对于VoxelMorph-diff为0.511(0.182)％)。
表1测试集的总结结果
Figure BDA0002941064880000101
综上所述，本发明根据平均变换方法为MRBrainS18数据集的5个测试样本构造了一个配准template，并且在医学图像配准上得到优越的提升，与MIT的VoxelMorph-diff相比，其拥有更少非正雅可比位置，有利于构造一个巨大atlas数据集。利用本发明，可以提高医学图像配准和临床诊断的精确性。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于微分几何技术构建脑图谱的方法，包括以下步骤：
步骤S1，对于N个体量数据集，依次从中取出任意一个yi作为初始模板template，基于卷积神经网络框架将yi向所有的N个yj做配准，得到各配准域φij，其中j＝1，2，…，i，…N；
步骤S2，通过平均变换域计算各配准域φij的平均域avgi＝avg(φij)，得到N个平均域avgi，其中j＝1，2，…，i，…N；
步骤S3，将平均域作用于yi获得新的模板
Figure FDA0002941064870000014
得到N个暂时模板的
Figure FDA0002941064870000011
步骤S4，重复步骤S1至S3，直到平均域满足设定目标，进而获得N个模板图像，该N个模板图像用于配准时的固定图像。
2.根据权利要求1所述的方法，其特征在于，在步骤S2中，对于给定的一系列配准域φi(i＝1，2，…，N)，通过以下步骤计算它们的平均域：
步骤S21，设计以下的变分法：
令φ＝(φ1，φ2，φ3)，g0＝(g01，g02，g03)，定义3D相似度作为均方差异总和SSD，表示为：
Figure FDA0002941064870000012
其中f0和g0分别是雅可比行列式和旋度向量的控制函数，通过构建φ：Ω→Ω，使得J(φ)＝f0，curl(φ)＝g0；
令：
φ＝x+u
限制条件为：
Figure FDA0002941064870000013
f和g＝(g1，g2，g3)是雅可比行列式和旋度向量的控制方程，div代表散度，在3D情况下满足Possion方程：
Figure FDA0002941064870000021
并表示为：
Figure FDA0002941064870000022
在固定边界条件的情况下使用F＝(F1，F2，F3)作为控制方程：
Δφ＝Δu＝F＝(F1，F2，F3)
步骤S22，基于变分法，对于给定的一系列的配准域φi(i＝1，2，…，N)，通过下面的步骤计算它们的平均域：
对于步骤S21中的均方差异总和SSD公式，令
Figure FDA0002941064870000023
和
Figure FDA0002941064870000024
将f0和g0利用变分法求得φ使得J(φ)＝f0和curl(φ)＝g0，并将φ定义为φi(i＝1，2，…，N)的平均变换域；
其中φ1，φ2，φ3分别表示映射的x，y，z三个方向的分量，g01，g02，g03分别表示旋度的三个方向初始值，F1，F2，F3分别表示三个方向的控制变量，Ω表示当前映射的区域，u1，u2，u3分别表示x在三个方向上的扰动情况。
3.根据权利要求1所述的方法，其特征在于，在步骤S1中，根据以下步骤进行图像配准：
所述卷积神经网络框架设置为VoxelMorph CNN模型；
将滑动图像M和固定图像F输入VoxelMorph CNN模型，基于参数θ计算配准域φ，对于每一个像素p∈Ω，使用空间变换函数将M(p)变形为M(φ(p))，评估M(φ)和F并更新θ。
4.根据权利要求3所述的方法，其特征在于，使用随机梯度下降法通过最小化损失函数
Figure FDA0002941064870000025
寻找优化参数
Figure FDA0002941064870000026
表示为：
Figure FDA0002941064870000027
其中，D是数据集分布，通过配准D中样本的体素对学习
Figure FDA0002941064870000028
θ是函数gθ可学习的参数。
5.根据权利要求4所述的方法，其特征在于，基于U-Net卷积神经网络求解gθ(F，M)＝φ，该网络有一个带有跳跃连接的编码-译码器，用于从给定的M和F中响应生成φ，并将F和M拼接为2通道3D图像作为输入，在编码-译码阶段都使用3D的卷积+Leaky ReLU激活，卷积层捕获输入图像对必要的层次特征估计配准域φ；在编码阶段，使用strided卷积减少一半的空间维度直到达到最小的层，编码的连续层对输入的粗糙表征进行操作；最小层卷积核的感受野至少应与M和F中相应体素之间的最大期望位移相等；最小层使用体素是输入图像尺寸的(1/16)3；在译码阶段，交替使用上采样、卷积+Leaky ReLU激活和跳跃连接；跳跃连接将在编码阶段学到的特征直接传播到生成配准域的层。
6.根据权利要求5所述的方法，其特征在于，通过最小化M(φ)和F之间的差异学习部分最优参数值，包括：
构建基于空间变换层的可微分操作计算M(φ)，对于每一个像素p，计算M的一个子体素位置φ(p)，在八个相邻体素之间线性地插值，表示为：
Figure FDA0002941064870000031
其中，
Figure FDA0002941064870000037
是φ(p)的临近像素，{x，y，z}表示q点坐标，d表示q点的8联通区域的点，qd表示当前d点的值，φd(p)与φ(p)含义相同。
7.根据权利要求1所述的方法，其特征在于，将配准优化过程的损失函数设置为：
Figure FDA0002941064870000032
Figure FDA0002941064870000033
其中，F表示固定图像，M表示滑动图像，φ是配准域，
Figure FDA0002941064870000034
表示损失函数，
Figure FDA0002941064870000035
表示相似度项，用于衡量F和M(φ)的相似性，
Figure FDA0002941064870000036
是平滑项，M(φ)是由M经过φ得到的，λ是正则化因子。
8.根据权利要求7所述的方法，其特征在于，所述相似度项表示为M(φ)和F的交叉相关的负值或表示为M(φ)和F间的平均均方体素差。
9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。
CN202110177294.5A 2021-02-07 2021-02-07 一种基于微分几何技术构建脑图谱的方法 Active CN112991406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110177294.5A CN112991406B (zh) 2021-02-07 2021-02-07 一种基于微分几何技术构建脑图谱的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110177294.5A CN112991406B (zh) 2021-02-07 2021-02-07 一种基于微分几何技术构建脑图谱的方法

Publications (2)

Publication Number Publication Date
CN112991406A true CN112991406A (zh) 2021-06-18
CN112991406B CN112991406B (zh) 2023-05-23

Family

ID=76392585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110177294.5A Active CN112991406B (zh) 2021-02-07 2021-02-07 一种基于微分几何技术构建脑图谱的方法

Country Status (1)

Country Link
CN (1) CN112991406B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114931436A (zh) * 2022-07-27 2022-08-23 中国科学院宁波材料技术与工程研究所 一种白内障手术导航系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188836A (zh) * 2019-06-21 2019-08-30 西安交通大学 一种基于变分自编码器的脑功能网络分类方法
US20200020106A1 (en) * 2018-07-10 2020-01-16 International Business Machines Corporation Template Based Anatomical Segmentation of Medical Images
US20200034654A1 (en) * 2018-07-30 2020-01-30 Siemens Healthcare Gmbh Deep Variational Method for Deformable Image Registration
CN111260705A (zh) * 2020-01-13 2020-06-09 武汉大学 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200020106A1 (en) * 2018-07-10 2020-01-16 International Business Machines Corporation Template Based Anatomical Segmentation of Medical Images
US20200034654A1 (en) * 2018-07-30 2020-01-30 Siemens Healthcare Gmbh Deep Variational Method for Deformable Image Registration
CN110188836A (zh) * 2019-06-21 2019-08-30 西安交通大学 一种基于变分自编码器的脑功能网络分类方法
CN111260705A (zh) * 2020-01-13 2020-06-09 武汉大学 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法
CN112150425A (zh) * 2020-09-16 2020-12-29 北京工业大学 一种基于神经网络的无监督血管内超声图像配准方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
何小海等: "图谱法脑部MRI图像自动分割技术发展及应用", 《数据采集与处理》 *
李晓光;谭建豪;: "邻域互信息在磁共振颅脑图像配准的应用", 计算机工程与应用 *
袁克虹等: "基于内容的脑部MRI影像搜索的医学信息系统的研制", 《北京生物医学工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114931436A (zh) * 2022-07-27 2022-08-23 中国科学院宁波材料技术与工程研究所 一种白内障手术导航系统

Also Published As

Publication number Publication date
CN112991406B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
Dassi et al. A mesh simplification strategy for a spatial regression analysis over the cortical surface of the brain
Sdika A fast nonrigid image registration with constraints on the Jacobian using large scale constrained optimization
So et al. Non-rigid image registration of brain magnetic resonance images using graph-cuts
Kolehmainen et al. The inverse conductivity problem with an imperfectly known boundary
WO2022193750A1 (zh) 一种基于深度学习的乳腺图像配准方法
Zhao et al. S3Reg: superfast spherical surface registration based on deep learning
Ma et al. PialNN: a fast deep learning framework for cortical pial surface reconstruction
Ghanei et al. A 3D deformable surface model for segmentation of objects from volumetric data in medical images
Liu et al. A survey on image-based continuum-body motion estimation
Ezhov et al. Learn-Morph-Infer: a new way of solving the inverse problem for brain tumor modeling
Zhu et al. New loss functions for medical image registration based on Voxelmorph
Tafti et al. On regularized reconstruction of vector fields
Zhong et al. Deep action learning enables robust 3D segmentation of body organs in various CT and MRI images
CN117011673A (zh) 基于噪声扩散学习的电阻抗层析成像图像重建方法和装置
Wali et al. Level-set evolution for medical image segmentation with alternating direction method of multipliers
Anas et al. Ct scan registration with 3d dense motion field estimation using lsgan
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
CN112991406B (zh) 一种基于微分几何技术构建脑图谱的方法
Gass et al. Consistency-based rectification of nonrigid registrations
CN117197200A (zh) 基于深度概率图和矢量融合的腹部多器官配准方法
Sang et al. Imposing implicit feasibility constraints on deformable image registration using a statistical generative model
CN115018860A (zh) 一种基于频域和图像域特征的脑部mri配准方法
Lambert et al. About the Incorporation of Topological Prescriptions in CNNs for Medical Image Semantic Segmentation
Gu et al. A consistent deep registration network with group data modeling
Petersen et al. Increasing accuracy of optimal surfaces using min-marginal energies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant