CN114359309A - 基于标定点检测和形状灰度模型匹配的医学图像分割方法 - Google Patents
基于标定点检测和形状灰度模型匹配的医学图像分割方法 Download PDFInfo
- Publication number
- CN114359309A CN114359309A CN202210030217.1A CN202210030217A CN114359309A CN 114359309 A CN114359309 A CN 114359309A CN 202210030217 A CN202210030217 A CN 202210030217A CN 114359309 A CN114359309 A CN 114359309A
- Authority
- CN
- China
- Prior art keywords
- image
- shape
- model
- anatomical feature
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000003709 image segmentation Methods 0.000 title claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims abstract description 26
- 210000000056 organ Anatomy 0.000 claims abstract description 25
- 230000008859 change Effects 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 49
- 230000009466 transformation Effects 0.000 claims description 26
- 239000013598 vector Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000011524 similarity measure Methods 0.000 claims description 2
- 239000002904 solvent Substances 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000003384 imaging method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 210000003734 kidney Anatomy 0.000 description 4
- 238000003759 clinical diagnosis Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010603 microCT Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，属于医学影像分析技术领域。该方法首先基于大量的样本图像及其标注结果，构建同时具有形状与灰度信息的参数化图谱；基于卷积神经网络创建解剖学特征点检测模型，并利用样本图像及其标注结果对模型进行训练；利用形状灰度模型的匹配与神经网络的预测结果，实现图谱与目标图像之间的高精度配准以及器官映射。本发明利用了图像区域的变形场表征模型的形状变化、引入了对灰度信息的建模以及解剖特征点的引导，在保证分割精度的同时提升了算法的鲁棒性，使其能够适用于不同噪声条件与对比度的医学图像。
Description
技术领域
本发明属于医学影像分析技术领域，具体涉及一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，主要适用于不同类型医学图像的自动化分析。
背景技术
医学图像是当前临床诊断与治疗的主要依据，也是医学研究的一种重要手段。随着计算机技术与医学成像技术的不断发展，医学图像的数据量激增；因此需要一种快速、精准、自动化程度高且适用于多个场景的医学图像分割方法，帮助医生以及研究人员快速定位目标的感兴趣区域，进而辅助临床诊断与医学研究。对于临床诊断领域，患者的体形差异、成像模态的选择、成像仪器的不同，都会影响最终的成像结果；而对于医学研究中最为常用的微型计算机断层扫描(micro-computed tomography，micro-CT)，则还会受到小动物姿态变化与放射剂量的影响。上述的各原因使最终得到的图像数据在器官分布、图像对比度以及噪声水平上都有着显著的差异，也使得对多种类型的医学图像进行精确分割成为了一个巨大的挑战。基于统计形状模型匹配的分割方法利用了形状先验知识以克服个体间的差异，但由于其缺乏灰度信息，无法推广到不同的图像对比度和噪声水平。而完全基于深度学习的分割方法虽然能够取得较好的分割效果，但其网络模型仍然使用特定的图像对比度或噪声水平进行训练，具有一定的局限性。如果能够在这二者的基础上进行改进，构建一个同时具备形状与灰度信息的统计图谱，精准地匹配至目标图像，并利用基于卷积神经网络的标定点检测对这一过程进行引导和修正，则可以实现对目标图像的精确分割，同时使算法具备一定的泛化能力。
为了实现基于标定点检测和形状灰度模型匹配的医学图像分割，首先需要利用大量的个体图像及其解剖标定点进行形状和灰度的建模。此过程使用了图像区域的变形场以描述形状的变化，图像的像素灰度值则为图谱引入了灰度信息。而后利用上述的图像及其标注结果进行卷积神经网络的训练，使得网格能够预测目标图像的各个解剖学特征点坐标。将统计图谱与目标图像及神经网络的预测结果进行配准可以求解得到用于表达目标图像特征的形状参数与灰度参数，使得图谱在模型空间中尽可能接近目标图像。最终利用非线性变形配准与器官映射实现对目标图像的分割。
发明内容
为了解决上述问题，本发明提出了一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，以大量的个体图像及其解剖学特征点标定结果作为训练集，构建一个同时具有形状和灰度信息的参数化解剖图谱，并训练一个能够预测图像对应解剖学特征点的卷积神经网络。利用神经网络的预测以及图谱的配准实现对目标图像的模型参数拟合，并通过非线性修正与器官映射完成对目标图像的分割。
为实现上述目标，本发明的技术方案为：
步骤A：构建同时具有形状与灰度信息的参数化图谱。
步骤A1，解剖学特征点标定
解剖学特征点指的是医学图像中具有特定解剖学意义的点，通常具有明显的纹理特征，能够显著地反映个体间的变化。面对不同的建模主体应当采用与之匹配的解剖学特征点，例如骨骼的关节点与内脏器官的边界点。出于对准确性的考虑，解剖学特征点应由医生或影像专家手动标定；标定点的数量不做要求，根据用户的实际效果自行增删。该步骤中需对大量的个体图像进行标注，此部分个体图像及其标注结果作为后续参数化图谱构建以及特征点检测模型训练的训练集。
步骤A2，平均图像计算
在训练集中随机选取一幅图像作为初始参考图像，其余图像则通过非线性变形配准的方式变换至参考图像，并获取对应的空间变换以计算平均逆变换。将平均逆变换作用至整个训练集并取平均，即可获得初步的平均图像；将初步的平均图像设置为新的参考图像重复上述流程直至收敛即可。经上述流程收敛后得到的平均图像需要对其进行解剖学特征点的标定；同时还需要对其进行精准的器官分割，此过程同样由影像专家手动分割获取。
步骤A3，形状建模
形状建模的主要任务是学习平均图像在训练集中各图像之间的变形模式，这种变形模式通过图像区域的变形场进行表征。具体过程如下：
首先，利用非线性变形将步骤A2得到的平均图像配准至每个训练样本，并对每个配准后的训练样本构建形状向量。具体地，
设si＝[pi，li]∈R(N+K)×3为训练样本i对应的形状向量；其中，pi∈RN×3为平均图像配准至训练样本i后的所有像素点的三维坐标集合，像素点个数共N个；li∈RK×3为样本图像中所有解剖学特征点的三维坐标集合，解剖学特征点共K个。
而后，使用主成分分析(Principal components analysis，PCA)方法对形状向量si的集合进行特征的提取，得到的形状模型表示如下：
其中，
表示训练集的平均形状；
为PCA得到的形状特征向量矩阵，M代表从训练集中学习到的M种变形场变化模式；bs∈RM为形状参数；s∈R(N+K)×3表示当前的模型形状，受bs控制，因此可以通过调节bs控制模型的变形。
步骤A4，灰度建模
灰度建模的主要目的是学习平均图像的灰度值在训练集中各图像之间的变化模式。具体过程如下：
设gi∈RN为pi对应的灰度向量，代表了平均图像中各个像素在训练样本i中的对应位置处的像素灰度值。使用主成分分析方法对灰度向量gi的集合进行特征的提取，得到的灰度模型表示如下：
其中，
表示平均图像中每个像素的灰度值；
为PCA得到的灰度特征向量矩阵，其中的M个特征向量代表从训练集中学习到的M种灰度变化模式；bg∈RM为灰度参数；g∈RN表示当前的模型灰度值，受bg控制，因此可以通过调节bg的值控制模型灰度的变化。
步骤B：基于卷积神经网络创建一个解剖学特征点检测模型，利用图像数据及其标注结果对解剖学特征点检测模型进行训练。
步骤B1，创建网络模型
解剖学特征点检测模型采用3D的ResNet-18网络作为基础模型，用于特征提取；再通过卷积层对各通道的特征进行逐步融合，使得网络输出K个通道的热力图(对应K个解剖学特征点)，输出热力图的尺寸为输入的1/4。
步骤B2，模型训练
利用步骤A1中所述的训练集，对于每幅图像的每个解剖学特征点，生成一幅高斯热力图，用于模型的训练，所述热力图尺寸为原始图像的1/4。模型训练过程中，其损失函数为如下所示的Focal Loss函数：
其中Y为标签值，
为网络预测的结果，K为解剖学特征点个数，α与β都为超参数。
步骤C：利用解剖学特征点检测模型的预测结果与模型参数的拟合，实现图谱与目标图像的配准与器官映射。
步骤C1，解剖学特征点检测
利用步骤B训练后的解剖学特征点检测模型对目标图像进行特征点热力图的预测；并对每个输出通道的热力图进行解码，取热力值的极值点作为对应解剖学特征点的坐标；最终通过预测得到目标图像对应的K个解剖学特征点。
步骤C2，形状模型拟合
首先，使用非线性变形配准算法将目标图像配准至平均图像以获取对应的空间变换，同时融入解剖学特征点的约束与引导。非线性配准的损失函数如下：
L＝ωsE+ωlD
其中，E为目标图像与平均图像的灰度相似性测度，能够基于像素灰度值引导平均图像与目标图像之间的匹配，对应的权重为ωs；D为解剖学特征点的距离测度，能够使平均图像与目标图像对应的解剖学特征点尽可能对齐，其对应的权重为ωl。
然后，将图像配准得到的空间变换作用于图谱的平均形状
得到s′，并使用形状模型中不同的变形场变化模式对二者之差进行匹配；此过程表示为：
其中，
为目标图像的形状参数拟合结果，
为形状特征向量矩阵
的伪逆。因此，也就将形状模型拟合问题转化为了线性方程组的求解问题，可通过奇异值分解以求解对应的方程组。
步骤C3，灰度模型拟合
与形状模型的拟合方式类似，同样采用了模型中的灰度变化模式对目标图像的灰度值进行拟合；此过程表示为：
其中，
为目标图像的灰度参数拟合结果，
为灰度特征向量矩阵
的伪逆，g′由目标图像在s′处插值得到。
步骤C4，非标准网格插值
完成形状模型和灰度模型的拟合后，需要将参数调整后的图谱转化为栅格化的像素图像。这个过程涉及到将不规则网格上的像素灰度值插入至目标图像的体素网格上，可通过高斯核插值实现。
步骤C5，非线性形状细化
虽然步骤C4得到的图像已经和目标图像十分接近，但由于PCA模型的约束，仍然存在细微的形状差异。因此使用微分同胚变换将步骤C4得到的图像与目标图像进行配准；并与步骤C2类似，在图像配准的损失函数中加入由步骤C1预测得到的解剖学特征点的距离测度。由于微分同胚变换可微可逆且可导，能够在变形过程中维持图像的细节结构不变，加之解剖学特征点的约束与引导，即可实现形状细化。
步骤C6，器官分割映射
由于步骤C2得到的形状模型拟合结果以及步骤C5中非线性形状细化的空间变换都可通过位移场的形式表示，因此将二者的组合空间变换以空间点位移的形式施加至步骤A2得到的平均图像器官分割结果，从而将其映射至目标图像以实现对器官的分割。
本发明的有益效果：本发明在图谱构建的过程中创新性地引入了对灰度信息的建模，增强了算法鲁棒性，使得图谱在参数调控的过程中能够适应不同对比度以及不同噪声水平的图像；并以图像区域变形场的形式，利用丰富的形状先验信息来预测目标图像的器官分布。即便面对质量极低的医学图像也能得到较为准确的分割结果。此外，通过加入基于卷积神经网络的解剖学特征点检测，在进一步提升器官分割的细节表现的同时保证了较高的自动化程度。
附图说明
图1是本发明所述方法的流程图。
图2是同时具有形状与灰度信息的图谱构建流程图。
图3是解剖学特征点检测模型的网络结构图。
图4是参数化图谱配准与器官映射流程图。
具体实施方式
以下以小鼠CT图像的躯干器官分割为例，结合具体实施方式对本发明做进一步说明。基于标定点检测和形状灰度模型匹配的医学图像分割方法流程如图1所示。主要包括三个部分：构建同时具有形状与灰度信息的参数化图谱；基于卷积神经网络创建解剖学特征点检测模型，并进行训练；利用解剖学特征点检测模型的预测结果与模型参数进行拟合及器官映射。具体步骤如下：
步骤A：构建同时具有形状与灰度信息的参数化图谱，如图2所示。
步骤A1，数据预处理与解剖学特征点标定
将大量小鼠CT图像重采样至相同的像素大小(如0.2mm*0.2mm*0.2mm)，并通过图像裁切保留小鼠的躯干部分，同时保持裁切后的图像尺寸一致(如256*256*480)。对完成预处理的图像进行解剖学特征点的标定，包括颈椎尾部、盆骨中心、左肾下沿、左肾上沿、右肾下沿、右肾上沿共6个解剖学特征点。本发明的特征点选取个数并不局限于6个，可根据需求及算法表现自行增删。该步骤中的所有个体图像及其解剖学特征点标定结果作为后续参数化图谱构建以及特征点检测模型的训练集。
步骤A2，平均图像计算
在上述训练集中随机选取一幅图像作为初始参考图像，其余图像则通过非线性变形配准的方式变换至参考图像，并获取对应的空间变换以计算平均逆变换。将平均逆变换作用至整个训练集并取平均，即可获得初步的平均图像；将初步的平均图像设置为新的参考图像重复上述流程直至收敛即可。对收敛后得到的平均图像进行解剖学特征点的标注；同时，对平均图像进行器官分割，包括手动分割与自动化分割。
步骤A3，形状建模
首先，利用非线性变换将步骤A2得到的平均图像配准至每个训练样本，并对每个配准后的训练样本构建形状向量；而后使用PCA方法对形状向量的集合进行特征的提取，得到的形状模型表示如下：
其中，
表示训练集的平均形状；
为PCA得到的形状特征向量矩阵，M代表从训练集中学习到的M种变形场变化模式；bs∈RM为形状参数；s∈R(N+K)×3表示当前的模型形状。
步骤A4，灰度建模
设gi∈RN为pi对应的灰度向量，使用主成分分析方法对灰度向量gi的集合进行特征的提取，得到的灰度模型表示如下：
其中，
表示平均图像中每个像素的灰度值；
为PCA得到的灰度特征向量矩阵，其中的M个特征向量代表从训练集中学习到的M种灰度变化模式；bg∈RM为灰度参数；g∈RN表示当前的模型灰度值。
步骤B：基于卷积神经网络创建一个解剖学特征点检测模型，利用图像数据及其标注结果对解剖学特征点检测模型进行训练。
步骤B1，创建网络模型
解剖学特征点检测模型的网络结构如图3所示，该模型采用了3D的ResNet-18网络作为基础模型，用于特征提取；再通过卷积层对各通道的特征进行逐步融合，最终使网络输出6个通道的热力图(对应6个解剖学特征点)，输出热力图的尺寸为输入的1/4。
步骤B2，模型训练
利用步骤A1中的训练集，对于每幅图像的每个解剖学特征点，生成一幅以解剖学特征点为中心、半径为4个像素的高斯热力图，热力图尺寸为原始图像的1/4。模型训练过程中，损失函数为如下所示的Focal Loss函数：
其中Y为标签值，
为网络预测的结果，K＝6为解剖学特征点个数，超参数α和β分别设置为3和4。
步骤C：利用神经网络的预测结果与模型参数的拟合，实现图谱与目标图像的配准与器官映射；具体配准流程如图4所示。
步骤C1，解剖学特征点检测
利用步骤B训练后的解剖学特征点检测模型对目标图像进行特征点热力图的预测；并对热力图进行解码，取热力值的极值点作为对应解剖学特征点的坐标；最终通过预测得到目标图像对应的6个解剖学特征点。
步骤C2，形状模型拟合
首先，使用B样条变换将目标图像配准至平均图像以获取对应的空间变换，同时融入解剖学特征点的约束与引导。
然后，将图像配准得到的空间变换作用于图谱的平均形状
得到s′，并使用形状模型中不同的变形场变化模式对二者之差进行匹配；目标图像的形状参数拟合结果表示为：
其中，
为形状特征向量矩阵
的伪逆，可通过奇异值分解以求解对应的方程组。
步骤C3，灰度模型拟合
采用模型中的灰度变化模式对目标图像的灰度值进行拟合；目标图像的灰度参数拟合结果表示为：
其中，
为灰度特征向量矩阵
的伪逆，g′由目标图像在s′处插值得到，可通过奇异值分解以求解对应的方程组。
步骤C4，非标准网格插值
通过高斯插值核将不规则网格上的像素灰度值插入至目标图像的体素网格上，从而得到栅格化的图像。其中，插值半径设置为0.1mm，锐度为10。
步骤C5，非线性形状细化
使用微分同胚变换将拟合结果与目标图像进行精细配准，同时再次使用神经网络预测的解剖学特征点对配准进行引导。
步骤C6，器官分割映射
将形状拟合结果以及非线性形态细化的组合空间变换作用至平均图像的器官分割，将其映射至目标图像以实现器官的分割。
此处仅以小鼠CT图像的躯干器官分割为例加以说明，虽然不同的成像主体在形状与灰度的变化模式有所不同，但本发明的思想与方法同样适用于其他成像主体，例如人体PET/CT图像等。因此，在不脱离本发明的原理和基本思想的情况下所做出的若干修改均应视为本发明的保护范围。
Claims (4)
1.一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，其特征在于，该方法包括以下步骤：
步骤A：构建同时具有形状与灰度信息的参数化图谱：
步骤B：基于卷积神经网络创建一个解剖学特征点检测模型，利用图像数据及其标注结果对解剖学特征点检测模型进行训练；
步骤C：利用解剖学特征点检测模型的预测结果与模型参数的拟合，实现图谱与目标图像的配准与器官映射。
2.根据权利要求1所述的一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，其特征在于，所述步骤A的具体步骤如下：
步骤A1，解剖学特征点标定
获取大量样本图像，并对样本图像进行解剖学特征点的标注，样本图像及其标注结果作为后续参数化图谱构建以及特征点检测模型训练的训练集；
步骤A2，平均图像计算
在训练集中随机选取一幅图像作为初始参考图像，其余图像则通过非线性变形配准的方式变换至参考图像，并获取对应的空间变换以计算平均逆变换；将平均逆变换作用至整个训练集并取平均，获得初步的平均图像；将初步的平均图像设置为新的参考图像重复上述流程直至收敛即可；经收敛后得到的平均图像需要对其进行解剖学特征点的标定；同时还需要对其进行精准的器官分割；
步骤A3，形状建模
首先，利用非线性变形将步骤A2得到的平均图像配准至每个训练样本，并对每个配准后的训练样本构建形状向量；具体地，
设si＝[pi,li]∈R(N+K)×3为训练样本i对应的形状向量；其中，pi∈RN×3为平均图像配准至训练样本i后的所有像素点的三维坐标集合，像素点个数共N个；li∈RK×3为样本图像中所有解剖学特征点的三维坐标集合，解剖学特征点共K个；
而后，使用主成分分析方法对形状向量的集合进行特征的提取，得到的形状模型表示如下：
其中，
表示训练集的平均形状；
为主成分分析得到的形状特征向量矩阵，M代表从训练集中学习到的M种变形场变化模式；bs∈RM为形状参数；s∈R(N+K)×3表示当前的模型形状；
步骤A4，灰度建模
设gi∈RN为pi对应的灰度向量，代表了平均图像中各个像素在训练样本i中的对应位置处的像素灰度值；使用主成分分析方法对灰度向量的集合进行特征的提取，得到的灰度模型表示如下：
其中，
表示平均图像中每个像素的灰度值；
为主成分分析得到的灰度特征向量矩阵，其中的M个特征向量代表从训练集中学习到的M种灰度变化模式；bg∈RM为灰度参数；g∈RN表示当前的模型灰度值。
3.根据权利要求1或2所述的一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，其特征在于，所述步骤B的具体步骤如下：
步骤B1，创建网络模型
解剖学特征点检测模型采用3D的ResNet-18网络作为基础模型，用于特征提取；再通过卷积层对各通道的特征进行逐步融合，使得网络输出K个通道的热力图以对应K个解剖学特征点，输出热力图的尺寸为输入的1/4；
步骤B2，模型训练
模型训练过程中，热力图标签通过步骤A中的标注结果生成，损失函数为如下所示的FocalLoss函数：
其中，Y为标签值，
为网络预测的结果，K为解剖学特征点个数，α与β都为超参数。
4.根据权利要求1或2所述的一种基于标定点检测和形状灰度模型匹配的医学图像分割方法，其特征在于，所述步骤C的具体步骤如下：
步骤C1，解剖学特征点检测
利用步骤B训练后的解剖学特征点检测模型对目标图像进行特征点热力图的预测；并对每个输出通道的热力图进行解码，取热力值的极值点作为对应解剖学特征点的坐标；最终通过预测得到目标图像对应的K个解剖学特征点；
步骤C2，形状模型拟合
首先，使用非线性变形配准算法将目标图像配准至平均图像以获取对应的空间变换，同时融入解剖学特征点的约束与引导；非线性配准的损失函数如下：
L＝ωsE+ωlD
其中，E为目标图像与平均图像的灰度相似性测度，能够基于像素灰度值引导平均图像与目标图像之间的匹配，对应的权重为ωs；D为解剖学特征点的距离测度，能够使平均图像与目标图像对应的解剖学特征点对齐，其对应的权重为ωl；
然后，将图像配准得到的空间变换作用于图谱的平均形状
得到s′，并使用形状模型中不同的变形场变化模式对二者之差进行匹配；此过程表示为：
其中，
为目标图像的形状参数拟合结果，
为形状特征向量矩阵
的伪逆；因此，将形状模型拟合问题转化为了线性方程组的求解问题，通过奇异值分解以求解对应的方程组，得到目标图像的形状参数；
步骤C3，灰度模型拟合
采用模型中的灰度变化模式对目标图像的灰度值进行拟合；目标图像的灰度参数拟合结果为：
其中，
为目标图像的灰度参数拟合结果，
为灰度特征向量矩阵
的伪逆，g′由目标图像在s′处插值得到；
步骤C4，非标准网格插值
采用高斯核插值将不规则网格上的像素灰度值插入至目标图像的体素网格上，从而得到参数拟合后的栅格化图像；
步骤C5，非线性形状细化
使用微分同胚变换将步骤C4得到的图像与目标图像进行配准，同时再次使用解剖学特征点检测模型预测的解剖学特征点的约束与引导，实现形状细化；
步骤C6，器官分割映射
由于步骤C2得到的形状模型拟合结果以及步骤C5中非线性形状细化的空间变换都可通过位移场的形式表示，因此将二者的组合空间变换以空间点位移的形式施加至步骤A2得到的平均图像器官分割结果，从而将其映射至目标图像以实现对器官的分割。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210030217.1A CN114359309A (zh) | 2022-01-12 | 2022-01-12 | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210030217.1A CN114359309A (zh) | 2022-01-12 | 2022-01-12 | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114359309A true CN114359309A (zh) | 2022-04-15 |
Family
ID=81108402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210030217.1A Pending CN114359309A (zh) | 2022-01-12 | 2022-01-12 | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359309A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913149A (zh) * | 2022-05-11 | 2022-08-16 | 盐城工学院 | 一种基于ct影像的头部可变形统计图谱构建方法 |
-
2022
- 2022-01-12 CN CN202210030217.1A patent/CN114359309A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913149A (zh) * | 2022-05-11 | 2022-08-16 | 盐城工学院 | 一种基于ct影像的头部可变形统计图谱构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10068671B2 (en) | Methods and systems for producing an implant | |
| CN109872333B (zh) | 医学影像分割方法、装置、计算机设备和存储介质 | |
| US9672302B2 (en) | Producing a three-dimensional model of an implant | |
| US9275191B2 (en) | Methods and systems for producing an implant | |
| CN107909622B (zh) | 模型生成方法、医学成像的扫描规划方法及医学成像系统 | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN109509193B (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及系统 | |
| Fajar et al. | Reconstructing and resizing 3D images from DICOM files | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| CN111402278A (zh) | 分割模型训练方法、图像标注方法及相关装置 | |
| CN111080676B (zh) | 一种通过在线分类跟踪内窥镜图像序列特征点的方法 | |
| CN115116586A (zh) | 一种基于联合配准的可变形统计图谱构建方法 | |
| Nguyen et al. | A statistical shape modeling approach for predicting subject-specific human skull from head surface | |
| CN114359309A (zh) | 基于标定点检测和形状灰度模型匹配的医学图像分割方法 | |
| CN109903264B (zh) | 数字人图像与ct图像的配准方法及系统 | |
| CN110322491B (zh) | 一种可变形小鼠全身图谱与小鼠影像配准的算法 | |
| Alvarez et al. | Predicting primate tongue morphology based on geometrical skull matching. A first step towards an application on fossil hominins | |
| CN114913149B (zh) | 一种基于ct影像的头部可变形统计图谱构建方法 | |
| CN117934689B (zh) | 一种骨折ct影像的多组织分割与三维渲染方法 | |
| CN112053330B (zh) | 基于pca和tssm模型的膈肌预测系统及方法 | |
| Chen et al. | A novel merged strategy with deformation field reconstruction for constructing statistical shape models | |
| Lugadilu | Development of a statistical shape and appearance model of the skull from a South African population | |
| CN116128942A (zh) | 基于深度学习的三维多模块医学影像的配准方法和系统 | |
| CN118135108A (zh) | 基于骨性结构三维重建的导航误差矫正方法及装置 | |
| CN116597137A (zh) | 基于三维卷积神经网络的术中影像分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |