CN113506333A - 基于可变形图谱的医学影像配准网络训练数据集扩充方法 - Google Patents

基于可变形图谱的医学影像配准网络训练数据集扩充方法 Download PDF

Info

Publication number
CN113506333A
CN113506333A CN202111057958.0A CN202111057958A CN113506333A CN 113506333 A CN113506333 A CN 113506333A CN 202111057958 A CN202111057958 A CN 202111057958A CN 113506333 A CN113506333 A CN 113506333A
Authority
CN
China
Prior art keywords
training data
atlas
registration
deformation
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111057958.0A
Other languages
English (en)
Inventor
韩璐
朱闻韬
饶璠
张铎
祁二钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202111057958.0A priority Critical patent/CN113506333A/zh
Publication of CN113506333A publication Critical patent/CN113506333A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30056—Liver; Hepatic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。该方法首先在尽可能避免引入不符合形态学变形的前提下，将输入的训练数据配准到不同形态的图谱上。随后，评估配准后训练数据和图谱的差异，修正图谱的参数向不引入不合理变形的方向微调。接着，在最大化配准精度的条件下，将输入的训练数据配准到不同形态的修正后的图谱上，恢复出训练数据第一次配准时未变形完全的细节。最后，计算相关性度量参数，剔除不满足预期的变形数据，从而生成与输入训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。本发明可以有效地扩充医学影像配准网络的训练数据集，从而降低构建数据集的时间成本、人力成本和费用成本。

Description

基于可变形图谱的医学影像配准网络训练数据集扩充方法
技术领域
本发明属于图像数据扩充领域，具体涉及一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。
背景技术
近年来，深度学习越来越广泛地应用于医学图像分析研究中。其中，基于深度学习的医学图像配准方法取得了很好的效果，具有很大的优势和潜力。相较于传统的配准方法，基于深度学习的配准方法可以在获得一致或更高的配准精度的前提下，实现运算时间数量级上的缩短。但是，训练数据集的匮乏在很多情况下限制了深度学习方法的优势。因此目前亟需一种有效构建深度学习训练数据集的方法，这对深化深度学习在医学图像分析研究中的应用有很好的实际意义。
随着大数据时代的到来，采用统计建模的方法可以从大量真实的人体形态数据样本中学习到图谱变形的特征参数，使得可变形图谱通过调整这些特征参数来表征个体形态差异信息。个性化三维可变形图谱技术越来越多地被应用在医学领域，为医患交流、模拟仿真、临床诊疗提供了有价值的参考数据。
可变形图谱技术以平均人体解剖模型为基础形态，通过对基础形态施加变形向量实现模型的变形，其变形方程为：X = X 0 +∑ k a k V k 。其中，X 0表示图谱基础形态的网格顶点坐标，描述为X 0 = [x 1,y 1,z 1,…, x i ,y i ,z i ,…x n ,y n ,z n ] T ，(x i ,y i ,z i )第i个顶点的坐标；X表示图谱变形后的网格顶点坐标；V k 表示第k个特征对应的形状特征向量，由大量真实人体形态数据统计生成V k = [v k,1(x), v k,1(y), v k,1(z),…, v k, i (x), v k, i (y), v k,i (z),…,v k, n (x), v k, n (y), v k,n (z),] T ，( v k, i (x), v k, i (y), v k,i (z))为第k个特征中针对第i个顶点的位移向量；a k 为对应的形态特征控制参数，a k 的取值决定图谱的变形结果。
发明内容
本发明针对现存的深度学习配准网络训练数据集的匮乏的问题，提出了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法。该方法利用可变形图谱真实反映人体形态个体差异的特点，首先将输入的训练数据集配准到不同个体形态的图谱上，接着微调图谱的形态特征参数向不引入不符合形态学变形的方向修正，最后将输入的训练数据配准到修正后的不同个体形态的图谱上，并计算相关性度量参数，经过筛选，输出与训练数据集形态不同的能够表征个体形态差异且变形符合形态学规律的扩充数据集。本发明利用了配准变形的平滑约束以及可变形图谱统计得到的特征来约束不合理的变形，从而在保证形态学变化规律的条件下生成形态不一的扩充训练数据。
本发明的技术方案具体如下：
一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，包括以下步骤：
步骤一：通过手动调节或算法自动调节图谱模型的形态特征控制参数生成与输入的训练数据图像形态不同的变形图谱；
步骤二：在保证配准变形平滑性的条件下，将训练数据图像一一配准到形态不同的变形图谱上得到配准后的训练数据图像；
步骤三：根据对应的配准后的训练数据图像和变形图谱形状拟合和/或灰度拟合后的结果修正变形图谱的参数，向不引入不合理变形的方向微调，输出修正后的变形图谱；
步骤四：在保证配准精度的条件下，将训练数据图像一一配准到对应的修正后的变形图谱上，恢复出步骤一训练数据第一次配准时未变形完全的细节，得到扩充数据集；
步骤五：一一计算对应的扩充数据集图像与训练数据图像的相关性度量参数，筛选出与训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。
进一步地，所述步骤一中，所述图谱模型的变形方程表示为：
X = X 0 +∑ k a k V k
其中X表示变形图谱的网格顶点坐标，X 0表示图谱基础形态的网格顶点坐标，V k 表示第k个特征对应的形状特征向量，a k 为对应的形态特征控制参数；
图谱的不同形态是图谱在默认特征参数的基础形态下，依据图谱的变形方程通过调节图谱的形态特征控制参数来实现的，或依据自动调节图谱形态特征的算法进行调整，具体如下：
将图谱模型中基础形态对应的图谱一一配准到输入的训练数据图像上，再通过计算拟合出配准后图谱的形态特征控制参数a k ，再以a k 为基准利用随机数随机生成新的形态特征控制参数a’ k ，生成与输入的训练数据形态不同的变形图谱。
进一步地，所述步骤二和步骤四中，配准的工具为训练好的配准网络、SimpleITK、ANTs和Elastix中的一种或两种。
进一步地，所述训练好的配准网络训练时的损失函数具体为
Figure 617642DEST_PATH_IMAGE001
，其中f、m分别表示配准时的固定图像和浮动图 像，ϕ为变形场，m ◦ ϕ 为配准后的浮动图像，L sim 为配准后的浮动图像与原始的浮动图 像的误差损失，L smooth 为配准变形平滑性损失，λ是正则化系数，通过控制训练时的损失函数 的正则化系数调节配准变形平滑性和配准精度，其中，λ越小配准精度越高，配准变形平滑 性越低。在步骤二中，配准为非线性配准，且正则化因子足够大，在一定配准精度的条件下， 尽可能多的抑制不符合形态学的变形。在步骤四中，配准为非线性配准，且正则化因子足够 小，最大化配准的精度，恢复出步骤二配准中未形变完全的细节信息。从而使得扩充数据集 在步骤四保证变形合理的前提下，尽可能反映个体形态差异。
进一步地，所述保证配准变形平滑性的条件为：λ取值0.01~0.1，所述保证配准精度的条件为：λ取值0.001~0.01。
进一步地，所述步骤三中，形状拟合具体为：
计算步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差异，利用图谱模型里的各个形状特征向量来逼近对应两个点云之间的位移差；根据求解得到的各个形状特征向量的数值分量变化对步骤一生成的变形后的图谱进行修正；
灰度拟合具体为：计算步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱两个图像之间的灰度差异，利用图谱模型里的各个灰度特征向量来拟合两个图像之间的灰度变化；根据求解得到的各个灰度特征向量的数值分量变化对步骤一生成的变形后的图谱的灰度进行修正。
通过对图谱形态特征参数的修正，结合所述步骤四中配准精度的最大化，使得扩充数据集在保证变形合理的前提下，尽可能真实反映个体形态差异。
进一步地，所述步骤五中相关性度量参数为相关性和/或互信息参数。
进一步地，所述训练数据图像为CT图像、MRI图像、超声图像、PET图像或SPECT图像。
进一步地，该方法所适用的人体器官不受限，可应用于肺、肝脏等器官。
本发明的有益效果在于：
本发明利用可变形图谱真实反映人体形态个体差异的特点，提出了一种构建医学影像配准网络训练数据集的方法。该方法在保证扩充数据集变形合理的前提下，尽可能地真实反映个体形态差异。
本发明能大大降低构建医学影像配准网络数据集的时间成本、人力成本和费用成本，帮助深度学习方法发挥在医学图像分析上的优势。
附图说明
图1是本发明一种基于可变形图谱的医学影像配准网络训练数据集扩充方法的流程图；
图2是调节图谱模型的形态特征控制参数生成不同个体形态图谱的示意图；
图3是一种无监督非线性的医学图像配准网络的网络结构示意图。
具体实施方式
本发明提供了一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，通过借助可变形图谱的表征个体形态差异信息的优势，将用于深度学习的有限的训练样本利用配准的方法进行扩充，经过修正和筛选后，输出与输入训练数据集形态不同的扩充数据集。本发明可以有效地扩充医学影像配准网络的训练数据集，从而降低构建数据集的时间成本、人力成本和费用成本。
下面根据实施例和附图，对本发明作进一步的详细说明。
实施例1
图1是基于可变形图谱针对肺部医学影像配准网络训练数据集扩充方法的流程图，具体包括以下步骤：
步骤一：手动调节图谱模型的形态特征控制参数生成与输入的训练数据图像形态不同的变形图谱，如图2所示。其中，肺部可变形的图谱模型的构建遵循以下步骤：
a.对大量健康受试者的CT影像数据进行肺的分割，并利用等值面提取算法绘制分割曲面；
采用点云配准算法将专业的三维模型网站得到的解剖模板配准到所有绘制了分割曲面的CT影像数据样本上，使曲面顶点在不同样本中对应相同的解剖学位置，从而得到样本间解剖结构的对应关系。
b.对配准后的所有样本的点云进行广义普式分析，即在空间位置、方向和尺寸上进行归一化处理。
c.对归一化处理后的样本进行主成分分析，提取变形向量，具体如下：
归一化处理后的样本集表示为
Figure 738044DEST_PATH_IMAGE002
，其中，M为样本个数，第i个样本用 顶点坐标集合的列向量表示
Figure 783361DEST_PATH_IMAGE003
，n为每个 样本的顶点坐标数，则基础形态
Figure 896679DEST_PATH_IMAGE004
。基于X求协方差矩阵
Figure 914314DEST_PATH_IMAGE005
，对C做特征向量分解，选择特征值最大的前k个特征对应的特 征向量V k 作为可变形图谱形状的估计。
d.可变形图谱技术以平均人体解剖模型为基础形态，通过改变a k 实现模型的变形，其变形方程为：X = X 0 +∑ k a k V k 。
步骤二：在保证配准变形平滑性的条件下，将训练数据图像一一配准到形态不同 的变形图谱上，从而获得尽量符合形态学变形的配准后的训练数据图像。本实施例中，利用 无监督非线性的医学图像配准网络来实现配准，网络结构为UNet，具体结构如图3所示。网 络的输入为固定图像f和浮动图像m（分别对应于变形图谱和训练数据图像）拼接在一起的 双通道三维图像(f,m)，利用卷积核大小为3、步长为2的三维卷积操作进行编码和解码。图 中每个矩形框代表一个3D 卷积，下方标注了其空间分辨率相较于输入的变化。解码阶段的 箭头表示连接编码和解码阶段的特征作为该层的输入；输出为变形场和配准后的浮动图 像。利用收集的归一化后的CT影像数据进行训练获得，在训练时，损失函数为
Figure 736776DEST_PATH_IMAGE006
，其中，f、m分别表示配准时的固定图像和浮动 图像，ϕ 为变形场，m ◦ ϕ 为配准后的浮动图像，λ是正则化系数，L sim 为配准后的浮动图 像与原始的浮动图像的误差损失，L smooth 为配准变形平滑性损失，分别表示如下：
Figure 269389DEST_PATH_IMAGE007
，
Figure 937130DEST_PATH_IMAGE008
,
Figure 809272DEST_PATH_IMAGE009
，
Figure 802635DEST_PATH_IMAGE010
，
其中，p是图像空间Ω中的某个体素，
Figure 822544DEST_PATH_IMAGE011
表示固定图像f关于p的表示函数，
Figure 12086DEST_PATH_IMAGE012
表示配准后的浮动图像关于p的表示函数，||*||为范数，p x ,p y ,p z 分别表示p在x、 y、z三个方向上的索引位置。u表示固定图像f和配准后的浮动图像关于p的变形函数。
正则化系数需要足够大，从而可以保证配准变形的平滑性，尽量避免不符合形态学的变形，推荐设置为0.01至0.1。
步骤三：通过形状拟合和灰度拟合对图谱进行修正。形状拟合时需要计算配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差异。由于步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱的曲面顶点具有一致性，两者点云的个数顺序相同，且对应相同的解剖学位置。因而，形状拟合的核心是利用图谱模型里的各个形状特征向量即V k 来逼近配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差，可以用奇异值分解解方程AY=b，其中，A是形状特征向量V k 构成的矩阵，b是两个点云作差得到的位置差，Y是待求解的各个形状特征向量的数值分量，根据Y对图谱的形态特征控制参数进行修正向不引入不合理变形的方向微调；灰度拟合与形状拟合类似，不同点在于其利用图谱模型里的各个灰度特征向量来拟合两个图像之间的灰度变化，通过奇异值分解解方程AY=b，此时A是灰度特征向量构成的矩阵，b是两个图像作差得到的灰度差，Y是待求解的各个灰度特征的变形向量的数值分量，根据Y对步骤一生成的变形后的图谱不合理的灰度变化进行修正。
步骤四：在保证配准精度的条件下，将训练数据图像通过如图3所示的配准网络一一非线性配准到对应的修正后的变形图谱上得到扩充数据集。为最大化配准的精度，配准网络训练时的正则化系数需要足够小，推荐设置为0.001至0.01，从而可以恢复出步骤一训练数据图像第一次配准时未变形完全的细节。图1箭头示意了第一次配准时由于变形的平滑约束，配准精度不足导致的未变形完全的细节，对图谱进行修正后，通过第二次配准则获得了与输入训练数据集形态不同且反应人体真实形态的图像。
步骤五：一一计算扩充数据集图像与训练数据图像的相关性度量参数NCC归一化 相关性系数，
Figure 801050DEST_PATH_IMAGE013
，其中，f、m分别表示配准时 的固定图像和浮动图像，ϕ 为变形场，m ◦ ϕ 为配准后的浮动图像，
Figure 434157DEST_PATH_IMAGE014
和
Figure 941361DEST_PATH_IMAGE015
分别代 表固定图像、配准后的浮动图像的灰度均值：
Figure 419747DEST_PATH_IMAGE016
，
Figure 328798DEST_PATH_IMAGE017
，p是图像空间Ω中的某个体素。根据NCC剔除与输入训练数据 集过于雷同的扩充数据集，筛选出与输入训练数据集形态不同且反应人体形态真实变化规 律的扩充数据集。
实施例2
作为另一优选方案，本发明还可以采用特定算法自动调节图谱的形态特征参数生成与输入训练数据形态不同的变形后的图谱，且配准可以利用传统医学图像配准的方法，借助SimpleITK、ANTs、Elastix等工具包来实现，具体如下：
步骤一：将图谱模型中基础形态对应的图谱一一配准到输入的训练数据图像上，再通过计算拟合出配准后图谱的形态特征控制参数a k ，再以a k 为基准利用随机数随机生成新的形态特征控制参数a’ k ，生成与输入的训练数据形态不同的变形图谱。
步骤二：利用Elastix工具包将训练数据图像一一配准到形态不同的变形图谱上得到配准后的训练数据图像。Elastix工具包使用命令行程序elastix来进行配准，最基础的配准运行命令为：elastix -f fixedImage –m movingImage -out outputDirectory -pparameterFile.txt，其中parameterFile.txt是重要的参数文件，定义了配准的度量、优化和参数等内容。根据Elastix的官方说明手册，可以修改parameterFile.txt参数文件中的Penalty terms来调节配准变形的平滑程度和配准精度，参考配置如下：
(Metric "AnySimilarityMetric" "TransformBendingEnergyPenalty")
(Metric0Weight 1.0)
(Metric1Weight <weight>)
其中，weight越大，变形的平滑程度越高；weight越小，变形的平滑程度越低。
步骤三：结合配准后的训练数据和步骤一生成的变形后的图谱，利用Elastix工具包的transformix将图谱的顶点映射到步骤二得到的配准后训练数据上，相应的调用命令是transformix -def inputPoints.txt -out outputDirectory -tpTransformParameters.txt，其中，inputPoints.txt记录了用户指定变形的一组顶点。然后，通过形状拟合和灰度拟合修正图谱的参数向不引入不合理变形的方向微调，输出修正后的变形图谱。
步骤四：在最大化配准精度的条件下，将训练数据图像一一配准到对应的修正后的变形图谱上，恢复出步骤一训练数据第一次配准时未变形完全的细节，得到扩充数据集。
步骤五：一一计算对应的扩充数据集图像与训练数据图像的相关性度量参数，筛选出与训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。
需要指出的是，示例中采用CT图像进行说明，但本发明不限于CT图像，也可包括超声图像、MRI图像、PET图像以及SPECT图像。同时，所适用的人体器官不受限，可应用于肺、肝脏等器官。
另外，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (8)

1.一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，包括以下步骤：
步骤一：调节图谱模型的形态特征控制参数生成与输入的训练数据图像形态不同的变形图谱；
步骤二：在保证配准变形平滑性的条件下，将训练数据图像一一配准到形态不同的变形图谱上得到配准后的训练数据图像；
步骤三：根据对应的配准后的训练数据图像和变形图谱形状拟合和/或灰度拟合后的结果修正变形图谱的参数，输出修正后的变形图谱；
步骤四：在保证配准精度的条件下，将训练数据图像一一配准到对应的修正后的变形图谱上得到扩充数据集；
步骤五：一一计算对应的扩充数据集图像与训练数据图像的相关性度量参数，筛选出与训练数据集形态不同且反应人体形态真实变化规律的扩充数据集。
2.根据权利要求1所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，所述步骤一中，所述图谱模型的变形方程表示为：
X = X 0 +∑ k a k V k
其中X表示变形图谱的网格顶点坐标，X 0表示图谱基础形态的网格顶点坐标，V k 表示第k个特征对应的形状特征向量，a k 为对应的形态特征控制参数；
所述调节图谱模型的形态特征参数生成与输入的训练数据图像形态不同的变形图谱具体如下：
将图谱模型中基础形态对应的图谱一一配准到输入的训练数据图像上，再通过计算拟合出配准后图谱的形态特征控制参数a k ，再以a k 为基准利用随机数随机生成新的形态特征控制参数a’ k ，生成与输入的训练数据形态不同的变形图谱。
3.根据权利要求1所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，所述步骤二和步骤四中，配准的工具为训练好的配准网络、SimpleITK、ANTs和Elastix中的一种或两种。
4.根据权利要求3所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方 法，其特征在于，所述训练好的配准网络训练时的损失函数具体为
Figure 611703DEST_PATH_IMAGE001
，其中f、m分别表示配准时的固定图像和浮动图 像，ϕ为变形场，m ◦ ϕ 为配准后的浮动图像，L sim 为配准后的浮动图像与原始的浮动图 像的误差损失，L smooth 为配准变形平滑性损失，λ是正则化系数，通过控制训练时的损失函数 的正则化系数调节配准变形平滑性和配准精度，其中，λ越小配准精度越高，配准变形平滑 性越低。
5.根据权利要求4所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，所述保证配准变形平滑性的条件为：λ取值0.01~0.1，所述保证配准精度的条件为：λ取值0.001~0.01。
6.根据权利要求1所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，所述步骤三中，形状拟合具体为：
计算步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱中对应两个点云之间的位移差异，利用图谱模型里的各个形状特征向量来逼近对应两个点云之间的位移差；根据求解得到的各个形状特征向量的数值分量变化对步骤一生成的变形后的图谱进行修正；
灰度拟合具体为：计算步骤二得到的配准后的训练数据图像与步骤一生成的变形后的图谱两个图像之间的灰度差异，利用图谱模型里的各个灰度特征向量来拟合两个图像之间的灰度变化；根据求解得到的各个灰度特征向量的数值分量变化对步骤一生成的变形后的图谱的灰度进行修正。
7.根据权利要求1所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，所述步骤五中相关性度量参数为相关性和/或互信息参数。
8.根据权利要求1所述的一种基于可变形图谱的医学影像配准网络训练数据集扩充方法，其特征在于，所述训练数据图像为CT图像、MRI图像、超声图像、PET图像或SPECT图像。
CN202111057958.0A 2021-09-09 2021-09-09 基于可变形图谱的医学影像配准网络训练数据集扩充方法 Pending CN113506333A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111057958.0A CN113506333A (zh) 2021-09-09 2021-09-09 基于可变形图谱的医学影像配准网络训练数据集扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111057958.0A CN113506333A (zh) 2021-09-09 2021-09-09 基于可变形图谱的医学影像配准网络训练数据集扩充方法

Publications (1)

Publication Number Publication Date
CN113506333A true CN113506333A (zh) 2021-10-15

Family

ID=78016964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111057958.0A Pending CN113506333A (zh) 2021-09-09 2021-09-09 基于可变形图谱的医学影像配准网络训练数据集扩充方法

Country Status (1)

Country Link
CN (1) CN113506333A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241077A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置
CN115100451A (zh) * 2022-08-29 2022-09-23 启东万惠机械制造有限公司 一种用于液压泵漏油监控的数据扩充方法
CN116503623A (zh) * 2023-06-27 2023-07-28 南京能茂科技有限公司 一种用于多图谱图像分割的图谱预选方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920228A (zh) * 2017-01-19 2017-07-04 北京理工大学 脑图谱与脑图像的配准方法及装置
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110335358A (zh) * 2019-06-18 2019-10-15 大连理工大学 可变形数字人解剖学模型的个性化变形方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920228A (zh) * 2017-01-19 2017-07-04 北京理工大学 脑图谱与脑图像的配准方法及装置
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN110335358A (zh) * 2019-06-18 2019-10-15 大连理工大学 可变形数字人解剖学模型的个性化变形方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GUHA BALAKRISHNAN等: "VoxelMorph: A Learning Framework for Deformable Medical Image Registration", 《ARXIV:1809.05231V3》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241077A (zh) * 2022-02-23 2022-03-25 南昌睿度医疗科技有限公司 一种ct图像分辨率优化方法及装置
CN115100451A (zh) * 2022-08-29 2022-09-23 启东万惠机械制造有限公司 一种用于液压泵漏油监控的数据扩充方法
CN115100451B (zh) * 2022-08-29 2023-11-28 启东万惠机械制造有限公司 一种用于液压泵漏油监控的数据扩充方法
CN116503623A (zh) * 2023-06-27 2023-07-28 南京能茂科技有限公司 一种用于多图谱图像分割的图谱预选方法
CN116503623B (zh) * 2023-06-27 2023-09-01 南京能茂科技有限公司 一种用于多图谱图像分割的图谱预选方法

Similar Documents

Publication Publication Date Title
CN113506333A (zh) 基于可变形图谱的医学影像配准网络训练数据集扩充方法
Sorzano et al. Elastic registration of biological images using vector-spline regularization
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
Lozes et al. Partial difference operators on weighted graphs for image processing on surfaces and point clouds
CN106991388B (zh) 关键点定位方法
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN105550649B (zh) 基于全耦合局部约束表示的极低分辨率人脸识别方法及系统
CN108876769B (zh) 一种左心耳ct图像分割方法
CN113111861A (zh) 人脸纹理特征提取、3d人脸重建方法及设备及存储介质
CN113450396B (zh) 基于骨骼特征的三维/二维图像配准方法及装置
CN114972388B (zh) 基于非对称测地线的交互式图像分割方法
CN112884668A (zh) 基于多尺度的轻量级低光图像增强方法
CN110570430B (zh) 基于体配准的眼眶骨组织分割方法
WO2022222091A1 (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN112802073B (zh) 一种基于图像数据和点云数据的融合配准方法
CN111260765A (zh) 一种显微手术术野的动态三维重建方法
CN112598669B (zh) 一种基于数字人技术的肺叶分割方法
CN116740281A (zh) 三维头部模型的生成方法、装置、电子设备和存储介质
CN111369662A (zh) Ct图像中血管的三维模型重建方法及系统
CN113379890B (zh) 一种基于单张照片的人物浅浮雕模型生成方法
CN112581513B (zh) 锥束计算机断层扫描图像特征提取与对应方法
CN114419255A (zh) 融合真实人脸的三维人头模型生成方法、装置、电子设备及存储介质
CN114359309A (zh) 基于标定点检测和形状灰度模型匹配的医学图像分割方法
CN114219920A (zh) 三维人脸模型的构建方法及装置、存储介质、终端
Erdt et al. Simultaneous segmentation and correspondence establishment for statistical shape models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination