CN115116586A - 一种基于联合配准的可变形统计图谱构建方法 - Google Patents

一种基于联合配准的可变形统计图谱构建方法 Download PDF

Info

Publication number
CN115116586A
CN115116586A CN202210618162.6A CN202210618162A CN115116586A CN 115116586 A CN115116586 A CN 115116586A CN 202210618162 A CN202210618162 A CN 202210618162A CN 115116586 A CN115116586 A CN 115116586A
Authority
CN
China
Prior art keywords
registration
training sample
reference template
anatomical
anatomical landmark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210618162.6A
Other languages
English (en)
Inventor
陈朝峰
郭乃瑄
孙久
王媛媛
周锋
徐森
王如刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yancheng Institute of Technology
Original Assignee
Yancheng Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yancheng Institute of Technology filed Critical Yancheng Institute of Technology
Priority to CN202210618162.6A priority Critical patent/CN115116586A/zh
Publication of CN115116586A publication Critical patent/CN115116586A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合配准的可变形统计图谱构建方法，包括如下步骤：步骤1：对参考模板和训练样本进行基于解剖标志点的配准；步骤2：利用图像中所有的灰度信息对参考模板和训练样本进行基于灰度的配准；步骤3：对参考模板和训练样本进行基于解剖标志点和灰度的联合配准；步骤4：利用参考模板表示的训练样本的解剖结构，通过统计形状建模的办法构建可变形统计图谱。本发明无需对训练CT影像进行分割，将提升图谱构建的自动化程度，适用于身体的多解剖结构部位(如头部、脊柱等)的图谱构建。本发明提出的可变形统计图谱构建方法，需要较少的人工干预，并可产生更高质量的可变形统计图谱，具有更好的形状建模精度。

Description

一种基于联合配准的可变形统计图谱构建方法
技术领域
本发明属于可变形统计图谱(deformable statistical atlas,DSA)构建领域，具体涉及一种基于联合配准的可变形统计图谱构建方法。
背景技术
在现有可变形统计图谱的构建过程中，大量训练CT影像的图像分割是一个极其繁琐的过程，需要耗费很多的手工操作工作量。如果能够减少图谱构建过程中的手工操作工作量，则可加快图谱构建速度。本发明将重点研究不需要图像分割的图谱构建方法，在降低人工分割工作量的同时确保图谱构建的精度。相比传统方法，本发明将提升图谱构建的自动化程度，所研究方法适用于多解剖结构身体部位(如头部、脊柱等)的图谱构建。
构建可变形统计图谱的关键是在训练样本形状之间准确、高效地计算解剖形状对应关系。而形状对应关系计算的一般策略是将参考形状模板配准到训练样本，使得模板的点云与每个训练样本的点云相匹配，以获取训练样本之间的逐点对应关系。因此，训练样本解剖形状对应关系的准确性直接影响可变形统计图谱解剖结构的准确性。
迄今为止，已经提出了很多训练样本之间形状对应关系的计算方法。然而，这些方法大都需要从训练图像中分割出样本形状，然后选取其中一个个体的形状网格或平均所有个体形状网格作为参考形状模板。根据参考形状模板配准的方式，现有的训练个体形状网格对应关系计算方法可分为三类，即网格到网格的配准、网格到3D图像的配准和3D图像到3D图像的配准。网格到网格的配准方法使用曲面网格来表示参考模板形状和训练样本形状，利用曲面匹配的方法获得参考形状模板和训练样本之间的对应关系。虽然曲面匹配方法计算效率高，但对3D医学图像进行解剖结构分割是一个具有挑战性且繁琐的工作，并且分割的精度直接决定了最终构建的可变形统计图谱的精度。为了避免对3D图像分割的繁琐工作，采用3D图像配准到3D图像的方法将参考模板的体素图像配准到训练样本3D图像上，并使用配准获得的空间变换将参考模板网格映射到训练样本。类似地，网格配准到3D图像的方法通过边界拟合策略直接将参考模板网格与训练图像匹配。3D图像配准到3D图像方法和网格配准到3D图像的方法都省去了训练图像的分割这一步骤，但是它们的曲面匹配精度大多无法与曲面配准到曲面的方法相比拟。
综上所述，现有形状对应关系计算方法存在两大局限性：
(1)大多数形状对应关系计算方法都需要对训练图像进行分割。医学图像分割特别是3D医学图像是件工程量巨大的工作。通常，为了保证分割结果的准确性，图像分割方法采用人工参与控制和引导的交互式分割甚至是完全人工分割。因为多解剖结构图像更加复杂，多解剖结构的分割过程更加耗时耗力。
(2)现有的形状对应关系计算方法较少有重视关键解剖标志点对应关系。解剖标志点是唯一标识关键解剖位置的特征点，如骨关节、器官中心、血管分叉等。关键解剖标志点的准确对应关系对构建的可变形图谱的解剖结构准确性至关重要。值得注意的是，虽然一些研究已经考虑了肺部、面部和骨骼的解剖标志点的对齐问题，但大多数现有的形状对应关系计算方法仍然侧重于整体器官表面形状的对齐，而忽略了关键解剖标志的配准。
因此，仍然需要开发一种更精确、更可行的形状对应关系计算方法来改进SSM的构建。
发明内容
发明目的：针对现有可变形统计图谱的构建过程中，需要对训练CT影像进行分割，耗费大量的人工操作等问题，本发明提出了一种在不分割训练图像的情况下计算形状对应关系的方法。该方法不需要对训练样本进行图像分割，而是将参考模板形状网格填充为体素图像，然后直接把参考模板的体素图像配准到所有训练样本未分割的图像上。为了借助关键解剖标志点的解剖学意义，配准过程是由图像的灰度信息和关键解剖标志点共同引导的。该方法是受灰度和解剖标志点联合配准在医学图像分析与手术规划中的研究所启发。本发明将这一思想扩展到可变形统计图谱构造领域，达到更高效、更精确地计算训练样本之间解剖结构对应关系的目的。
技术方案：本发明提出了基于联合配准的可变形统计图谱构建方法，筛选健康人的影像作为训练数据，把构建图谱的参考模板形状网格填充为体素图像，在参考模板和训练样本上关键的解剖位置分别标定解剖标志点，采用基于解剖标志点和图像灰度的联合配准方法，把模板网格配准到原始的训练样本图像，最后通过统计形状建模方法构建DSA。
为了避免分割训练图像，同时也为了补偿CT影像中分辨率低的软组织区域，本发明采用通用人体数字模型BodyParts3D作为参考模板，配准到每个训练样本的图像上。本发明提出的DSA构建方法适用于身体的多解剖结构部位(如头部、脊柱等)的图谱构建。不同部位的需要计算的形状对应关系不同，但是都需要计算其中的每个解剖结构的形状对应关系。头部和脊柱是典型的多解剖结构，对于头部需要计算皮肤、肌肉、头骨和大脑等多个解剖结构的形状对应关系，对于脊柱需要计算每个椎骨的形状对应关系。即构建不同部位的DSA采用的方法和处理过程是一致的，二者的区别仅在于处理的对象不同。
因此，在本发明接下来的内容中，分别以Te代表参考模板，Su代表个体来说明整个的构建过程。假设参考模板的点云表示为Te＝{t1,t2,...,tN}，N为模板点云的顶点个数。个体的点云表示为Su＝{s1,s2,...,sM}，M为个体点云的顶点个数。人工在点云中标定的解剖标志点表示为AL＝{al1,al2,...,alK}，K为解剖标志点的个数。
本发明提出的基于联合配准的可变形统计图谱构建方法主要分四个步骤。
第一，对参考模板和训练样本进行基于解剖标志点的配准(landmark-basedregistration,LR)。在参考模板和训练样本上手动标定有解剖学意义的关键解剖标志点。通过这些解剖结构位置信息来引导和约束点云轮廓匹配的过程，确保参考模板和训练样本之间关键解剖位置的准确对齐。对于头部图像，可以在颅颌面区域手动标定了几个对正畸和正颌外科重要的解剖标志点，而对于脊柱图像，可以在每个椎骨的中心、棘突前部和尾部和左右两个的横突分别标定了5个解剖标志点。基于解剖标志点的配准方法采用TPS-RPM算法，利用图像的特征点的空间位置信息，计算参考模板点云与训练样本点云的特征匹配关系，通过控制点弯曲函数实现参考模板形状点云配准到训练样本的形状点云，得到参考模板点云配准到训练样本的空间变换，即将参考模板变换到训练样本的形变场FL。最终求得用参考模板网格拓扑表示的训练样本的解剖结构，其中，第k个训练样本的解剖结构表示为点云SuRPMk＝{suRPMk1,suRPMk2,...,suRPMkN}。
第二，对参考模板和训练样本进行基于灰度的配准(intensity-basedregistration,IR)。基于灰度的配准算法直接利用图像中所有的灰度信息进行配准，不需要事先对图像进行分割处理或提取图像的特征，而是直接作用于原始图像的体素，本发明选用互信息作为配准算法的相似性测度，通过迭代优化互信息测度来寻找参考模板与训练样本之间的最优空间变换。配准过程大体分为三个步骤：
步骤1：把参考模板作为活动图像，训练样本作为固定图像，计算参考模板和训练样本之间的互信息；
步骤2：根据给定的空间变换，将参考模板中的点变换到训练样本所在的坐标系中，对变换后整数坐标之外的点进行灰度插值，重新计算变换之后的参考模板与训练样本之间的互信息；
步骤3：通过优化方法，不断迭代空间变换的参数，得到新的空间变换，转至步骤2，直到使得变换之后的参考模板与训练样本之间的互信息最大，此时的空间变换即为最优空间变换。
在本发明基于灰度的配准中，参考模板采用通用的人体数字模型BodyParts3D，是多边形表面网格形式。所以需要将参考模板由曲面网格形式转换为标签图像。对于参考模板曲面网格的不同部位，填充相应的灰度值，得到1.0mm体素大小的伪CT(Pseudo-CT,pCT)灰度图像。其中灰度值根据实验图像具体的模态特征来确定。本发明使用人体头部和脊柱的CT图像作为实验数据，因此依据头部和脊柱CT图像的灰度特征即CT值(单位：Hounsfieldunit，HU)来选取填充曲面网格的填充灰度值。在CT图像中，松质骨的CT值为400HU，颅骨的CT值为1000HU，软组织的CT值为0HU，空气的CT值为-1000HU等等。值得注意的是，本发明的方法并不限于头部和脊柱的CT图像，对于其他成像方式同样适用，只是应根据具体应用的图像模态采用对应的填充灰度。
为了将填充为伪CT的参考模板配准到每个训练样本，采用上面的步骤，基于互信息作为相似性测度，B样条函数作为空间变换方式，自适应随机梯度下降方法作为优化策略，不断迭代，直至求得最大互信息时的最优空间变换，即将模板映射到训练样本的形变场FI，从而实现参考模板到训练样本的配准。最终求得用参考模板网格拓扑表示的训练样本的解剖结构，其中，第k个训练样本的解剖结构表示为点云SuINTk＝{suINTk1,suINTk2,...,suINTkN}。
第三，对参考模板和训练样本进行基于解剖标志点和灰度的联合配准(landmark-intensity-based registration,LIR)。该算法针对基于LR和基于IR算法各自的缺点，既做到了配准对象之间的全局对齐，又兼顾了局部解剖结构特征。
基于解剖标志点和灰度的联合配准算法，核心是对基于解剖标志点配准的空间变换和基于灰度配准的空间变换进行非线性加权，即：
FC(x)＝W(x)·FL(x)+(1-W(x))·FI(x) (1)
其中，x是配准对象在三维空间中任意点的空间位置。FL(x)和FI(x)分别是空间位置x处基于解剖标志点配准和基于灰度配准的形变场。FC(x)是空间位置x处的联合形变场，用位移矢量表示为FC(x):＝[Δx,Δy,Δz]。
理论上，当空间位置x在靠近解剖标志点时，加权函数W(x)的取值应该趋向于1；当空间位置x在远离解剖标志点时，加权函数W(x)的取值应该接近于0。因此，联合形变场FC(x)在靠近解剖标志点的区域接近于FL(x)，在远离解剖标志点的区域接近于FI(x)。空间位置x处的联合形变场具体形式完全由空间位置x与解剖标志点间的距离决定。因此，这里引入空间位置x到解剖标志点间的距离dl(x)来量化加权函数W(x)，dl(x)具体表示如下：
Figure BDA0003673898050000051
其中Li是第ith个解剖标志点的坐标。因此，可以将加权函数W(x)转换为关于dl(x)的函数W(dl(x))，以下简写为W(dl)。由W(dl)的物理意义可知，它的值域范围应该是[0,1]，并且函数应该具有单调递减特性。另外函数的曲线也应该是凹形的，使得dl趋近于无穷时W(dl)的下降速度变慢，逐渐趋近于1。综上所述，在数学理论上，W(dl)应该具有以下性质：
1)定义域：dl≥0；
2)有界性：W(0)＝1，并且
Figure BDA0003673898050000052
3)单调性：
Figure BDA0003673898050000053
并且
Figure BDA0003673898050000054
4)凹凸性：
Figure BDA0003673898050000055
并且
Figure BDA0003673898050000056
其中，
Figure BDA0003673898050000061
和
Figure BDA0003673898050000062
分别是函数W(dl)对dl求解一阶导数和二阶导数。从理论上来说，符合上述四条性质的函数非常多。为了推导出W(dl)的具体形式，依据上述定义域、有界性、单调性和凹凸性等性质，提出假设，通过数学理论推导，得到W(dl)具体的解析表达式：
Figure BDA0003673898050000063
其中，参数δ决定加权函数的衰减速度。换句话说，δ控制了式(1)中从基于解剖标志点配准的空间变形场到基于灰度配准的空间变形场的过渡速度。经过大量的实验发现，式(3)中的δ取值在4～8mm范围时，会取得相似的配准结果，并且相比其它取值获得更好的配准结果。当δ取值大于8mm时，基于解剖标志点约束的作用将会降低；而当δ取值小于4mm时则会导致联合形变场FC(x)过渡不平滑。因此，δ的取值选用经验值6mm。利用式(3)中定义的加权函数，代入式(1)计算出联合变形场FC(x)，从而实现参考模板到训练样本的配准。最终求得用参考模板网格拓扑表示的训练样本的解剖结构{suCOM1,suCOM2,...,suCOMn}，其中，第k个训练样本的解剖结构表示为点云SuCOMk＝{suCOMk1,suCOMk2,...,suCOMkN}。
第四，利用参考模板表示的训练样本的解剖结构，通过统计形状建模的办法构建可变形统计图谱。基于参考模板配准到训练样本的解剖结构，对训练样本进行形状分析，学习训练样本在人群中的形变方式，获得训练个体之间的解剖差异，从而构建可变形统计图谱。基于统计形状建模的方法构建可变形统计图谱过程大体分两步：首先，应用广义普氏分析(Generalized Procrustes Analysis,GPA)对训练个体配准后的形状网格规范化，对所有训练样本在空间位置和方向上做归一化处理。然后利用主成分分析(principalcomponent analysis,PCA)方法提取训练样本的统计形变分量，构造点分布模型类型的可变形统计图谱。
有益效果：1.提出了LIR这一新的形状对应关系计算的方法，用于构建多解剖结构类器官的DSA。该方法结合了基于LR和基于IR算法的优点，提高了具有多解剖结构特征的个体间形状对应关系的准确度。将本发明方法分别在头部和脊柱CT影像上进行了测试，在形状对应精度和对应的DSA性能(泛化性和特异性)方面显示出比基于LR和IR算法更高的配准精度和更好的建模性能。
2.本发明方法的主要优势是避免从3D医学图像中对多个解剖结构进行繁琐的手动分割。由于完全避免人为干预会降低个体间形状对应关系的准确性，因此利用手动标定的解剖标志点作为引导，以保证关键解剖标志点处解剖结构的准确性。手动标定解剖标志点的工作量远少于器官分割，因此本发明方法既能保证配准精度又减少了额外的人工开销。因为单纯基于解剖标志点的配准不能保证整个器官区域的精确对准，所以本发明方法利用图像的灰度信息来实现器官的整体匹配。为了将基于形状网格的参考模板与个体CT影像进行匹配，本发明方法将参考模板的形状网格填充为体素图像，然后基于灰度信息将其配准到个体CT影像上。
3.本发明提出将LR和IR算法相互融合，从而实现两种算法的优势互补，兼顾图像的空间解剖位置信息和灰度信息以获得更加准确的配准结果。在配准过程中首先对要处理的像素进行判断，当待配准像素靠近解剖标志点时，形变场以基于LR的方法为主，而当待配准像素远离解剖标志点时，形变场以基于IR的方法为主，从而保证了配准的效果，提高了配准精度。本发明所提的LIR方法，结合两种配准方法的各自优势，充分利用了图像的灰度信息和空间解剖位置信息，既考虑了全局优化，又通过解剖特征点实现局部精确对齐。影响配准结果的主要因素是形变场的计算，因此本发明综合考虑实验的可行性和科学计算的准确性，选取了指数型函数作为非线性加权函数。
附图说明
图1为基于联合配准的可变形统计图谱(以头部可变形统计图谱构建为例)的构建流程；展示了本发明提出的基于解剖标志点和灰度联合配准算法构建DSA的原理流程。本发明采用公开的高质量解剖模型作为参考模板。首先将参考模板形状网格填充为体素图像，然后基于本发明提出的联合配准算法将其配准到每个训练图像上。利用配准过程生成的形变场作用于参考形状模板，将配准后的模板形状网格作为的训练样本形状对应关系来构建DSA。
图2为基于LR、IR和LIR算法实现参考模板到个体(a)头部和(b)脊柱的配准结果；(a)和(b)分别展示了基于LR、IR和LIR算法实现参考模板到个体头部和脊柱的配准结果。图2的每一行展示了训练集中的一例代表性个体的配准结果，从左到右每一列分别对应个体本身、个体基于LR的配准结果、个体基于IR的配准结果和个体基于LIR的配准结果。
图3为基于LR,IR和LIR算法分别构建的头部和脊柱DSAs的泛化性在(a)ALAD，(b)DSC和(c)ASD三方面比较；比较了基于解剖标志点、灰度和解剖标志点与灰度联合的配准算法分别构建的头部和脊柱可变形图谱的在解剖标志点平均距离，相似性系数和平均表面距离三个方面的泛化性。在现有的三个准确性测度下，分别对个体的头部皮肤、头骨和脊柱等不同的解剖结构进行了测试，基于解剖标志点与灰度联合的可变形图谱比其他两种方法构建的图谱具有更好的泛化性，取得了最小的解剖标志点平均距离和平均表面距离以及最大的相似性系数。
图4为基于LR,IR和LIR算法分别构建的头部和脊柱DSAs的特异性在(a)ALAD，(b)DSC和(c)ASD三方面比较；比较了基于解剖标志点、灰度和解剖标志点与灰度联合的配准算法分别构建的头部和脊柱可变形图谱的在解剖标志点平均距离，相似性系数和平均表面距离三个方面的特异性。在现有的三个准确性测度下，分别对个体的头部皮肤、头骨和脊柱等不同的解剖结构进行了测试，基于解剖标志点与灰度联合的可变形图谱比其他两种方法构建的图谱具有更好的特异性，取得了最小的解剖标志点平均距离和平均表面距离以及最大的相似性系数。
具体实施方式
本发明选取头部和脊柱CT影像两种多解剖结构作为实验对象，分别构建了头部和脊柱两种DSA验证算法的性能。收集了来自全国四家不同医院的头部和脊柱CT影像数据。通常构建图谱需要采用健康人的数据作为训练样本。在获取的影像数据中，筛选了19名无症状的个体头部CT影像和17名无症状的个体脊柱CT影像进行实验。CT图像的像素大小在0.59到1.37mm之间，并且层间间距在1.25到3.00mm之间，它们是通过100–140kV的管电压和28–298mA的电流采集的。为了避免分割训练图像，同时也为了补偿CT影像中分辨率低的软组织区域，本发明采用通用人体数字模型BodyParts3D作为参考模板，配准到每个训练样本的图像上。
本发明提出基于解剖标志点和灰度的联合配准算法来构建头部和脊柱的DSA。第一，在参考模板和训练样本上手动标定有解剖学意义的解剖标志点，对于头部图像，可以在颅颌面区域手动标定了15个对正畸和正颌外科重要的解剖标志点，而对于脊柱图像，可以在每个椎骨的中心、棘突前部和尾部和左右两个的横突分别标定了5个解剖标志点。采用TPS-RPM算法，利用参考模板点云与训练样本点云的特征匹配关系，通过控制点弯曲函数实现参考模板形状点云配准到训练样本的形状点云，得到参考模板点云配准到训练样本的空间变换，即将参考模板变换到训练样本的形变场一。第二，对参考模板和训练样本进行基于灰度的配准，选用互信息作为配准算法的相似性测度，通过迭代优化互信息测度来寻找参考模板与训练样本之间的最优空间变换，即将参考模板变换到训练样本的形变场二。第三，基于解剖标志点和灰度的联合配准算法，对基于解剖标志点配准的形变场一和基于灰度配准的形变场二进行非线性加权，加权函数的参数δ的选用经验值6mm，获得参考模板表示的各个训练样本。第四，利用参考模板表示的训练样本的解剖结构，通过统计形状建模的办法构建可变形统计图谱。应用GPA方法对训练个体配准后的形状网格规范化，对所有参考模板表征的训练样本在空间位置和方向上做归一化处理。然后利用PCA方法提取训练样本的统计形变分量，最终构造可变形统计图谱。
为了验证本发明所提方法的性能，选取人体的头部和脊柱两类具有典型的多个解剖结构的CT图像作为实验对象，从可视化效果、配准精度和可变形统计图谱建模质量等三方面进行评估。
分别采用基于LR、基于IR两种对比算法与基于LIR算法，将人体头部和脊柱的参考模板分别配准到训练样本个体的头部和脊柱CT图像上，配准结果如图2所示。图2(a)和(b)分别展示了基于LR、IR和LIR算法实现参考模板到个体头部和脊柱的配准结果。图2的每一行展示了训练集中的一例代表性个体的配准结果，从左到右每一列分别对应个体本身、个体基于LR的配准结果、个体基于IR的配准结果和个体基于LIR的配准结果。从图2(a)可以明显看出，基于IR的算法可以很好的实现头部形状的整体对齐，但是在头部的局部位置会引入严重的变形(例如图中塌陷的鼻子和歪斜的嘴唇等)。与基于IR的配准结果相反，基于LR的算法可以产生更加平滑的配准结果，但是，配准的精度有所欠缺，导致的直接问题是基于LR的配准结果与个体的形状在视觉上有明显的偏差。本发明所提出的算法，通过结合基于LR的算法和基于IR的算法各自的优点，在兼顾全局配准的同时兼顾局部区域，最终基于LIR的算法不但改进了局部区域严重变形的配准结果，而且还生成了全局相似的面部形状。同样的配准特点出现在图2(b)中，基于IR的算法会生成全局对齐但局部失真的配准结果，而基于LR的算法会生成平滑但整体上有偏差的结果。本发明提出的基于LIR的算法生成的配准结果，既实现了整体对齐又满足在局部区域配准结果的准确性。
为了定量分析基于LR、IR和LIR配准算法分别构建的图谱的精度，将三种算法的配准结果分别与医学影像学专家标注的金标准进行量化比较。具体使用解剖标志点平均距离(anatomical landmark average distance,ALAD)，相似性系数(dice similaritycoefficient,DSC)和平均表面距离(average surface distance,ASD)三种类型的准确性指标进行衡量。这三个定量指标可以全面量化配准算法的精度。表1比较了基于LR、基于IR两种对比算法与基于LIR算法对头部皮肤，头骨和脊柱的配准精度。头部皮肤的DSC是针对皮肤所包围的整个头部区域计算的，而头骨的DSC是针对头骨骨骼计算的。由于头骨的结构比头部皮肤结构复杂得多，所以相对于头部皮肤的配准而言，头骨的配准更加困难，配准结果相对差一些。从表1可以明显看出来，对三种配准方法而言，头骨配准的三个精度指标都劣于头部皮肤配准的精度指标。然而，基于LIR的算法获得了1.38mm的头骨ASD，这个参数接近于实验中CT影像的像素分辨率(1.37mm)。对于脊柱，基于LIR算法获得了亚像素级的ASD(0.92mm)和较高的相似性系数(84.24％)。同样从表1可以看出，基于IR的算法取得了比基于LR的算法更小的ALAD和ASD，以及更高的DSC。这是因为基于IR的算法采用的全局配准策略，利用目标CT图像整体的灰度信息，获得了更准确的配准结果。基于LIR的算法将关键解剖标志点和图像灰度信息结合到同一个配准框架中，进一步提高了配准指标的精度，取得了最小的ALAD和ASD，以及最高的DSC。
表1基于ΛP，IP和ΛIP算法对头部皮肤，颅骨和脊柱的配准精度(平均值±标准差)
Figure BDA0003673898050000101
可变形统计图谱的性能取决于它描述所建模对象类的能力，通常主要采用泛化性和特异性两个衡量标准来评估它的总体性能。图谱的泛化性能够表示建模对象类内任何实例的能力，即用来衡量图谱表示新形状(即训练样本之外的形状)的能力。通过在训练集上执行留一法(leave one out，LOO)测试来量化，测量被留出的训练样本个体的形状到简化模型的最接近匹配的距离。图谱的特异性只能够表示建模对象类的合法实例，描述了模型生成形状的有效性。该值是通过从均值为零的正态分布中生成随机参数值和主成分分析中各自的标准差来估计的，在多次运行后取生成的形状与训练集最佳匹配的平均值。在本发明中，每次随机选择训练集(共有n个训练样本)中的一个样本作为测试样本，其余n-1个样本作为重构的训练集。将n-1个训练集构建的DSA拟合到测试样本，并计算拟合精度(ALAD，DSC和ASD)。这个过程重复n次，计算平均精度来度量模型的泛化性。基于LR、IR和LIR算法分别构建的头部和脊柱DSA的泛化性如图3所示。在本发明中，通过从模型参数ai(i＝1,2,...,n)的正态分布
Figure BDA0003673898050000111
中生成K(K＝100)个随机形状来评估特异性，匹配生成的形状与训练集中最接近的样本，并计算精度指标(解剖标志点平均距离，相似性系数和平均表面距离)。对所有K个随机样本计算平均精度来获得稳定的模型特异性度量。基于解剖标志点、灰度和解剖标志点与灰度联合的配准算法分别构建的头部和脊柱可变形图谱的泛化性如图4所示。
图3和4分别比较了基于解剖标志点、灰度和解剖标志点与灰度联合的配准算法分别构建的头部和脊柱可变形图谱的在解剖标志点平均距离，相似性系数和平均表面距离三个方面的泛化性和特异性。在现有的三个准确性测度下，分别对个体的头部皮肤、头骨和脊柱等不同的解剖结构进行了测试，基于解剖标志点与灰度联合的可变形图谱比其他两种方法构建的图谱具有更好的泛化性和特异性，取得了最小的解剖标志点平均距离和平均表面距离以及最大的相似性系数。这里的结果与表1中基于解剖标志点的配准算法和基于灰度的配准算法两种对比算法与基于解剖标志点和灰度的联合配准算法对头部皮肤，头骨和脊柱的配准结果相类似。基于灰度的配准算法构建的可变形图谱取得了比基于解剖标志点的配准算法更小的解剖标志点平均距离和平均表面距离，以及更高的相似性系数。而基于解剖标志点和灰度的联合配准算法构建的可变形图谱进一步提高了配准指标的精度，取得了最小的解剖标志点平均距离和平均表面距离，以及最高的相似性系数。在三种解剖结构中，由于头骨的解剖结构是最复杂的，所以头骨的形状建模是难度最大的一种。头骨建模的难度可以从相似性系数的结果中反映出来，本发明采用的三种方法取得的相似性系数结果都小于80％，基于解剖标志点和灰度的联合配准算法性能最好，也仅仅取得了的泛化性为73.01％，特异性为73.98％的结果。尽管对头骨建模困难很大，但基于解剖标志点和灰度的联合配准算法构建的可变形图谱获得的泛化性平均表面距离中位数为1.45mm，特异性平均表面距离中位数为1.44mm，这意味着对头骨形状的建模基本准确。
本发明提出了基于解剖标志点与灰度联合的配准这一新的形状对应关系计算的方法，用于构建多解剖结构类器官的可变形图谱。该方法结合了基于解剖标志点配准和基于灰度配准算法的优点，提高了具有多解剖结构特征的个体间形状对应关系的准确度。对所提出的方法分别在人体的头部和脊柱CT影像上进行了测试，在形状对应精度和对应的可变形图谱性能(泛化性和特异性)方面显示出比传统基于解剖标志点配准算法和基于灰度配准算法更高的配准精度和更好的性能。
本发明提出方法的主要优势是避免了从3D医学图像中对多个解剖结构进行繁琐的手动分割。由于完全避免人为干预会降低个体间形状对应关系的准确性，因此利用医学影像专家手动标定的解剖标志点作为引导，以保证关键解剖标志点处的解剖结构的准确性。手动标定解剖标志点的工作量远少于器官分割，因此本发明提出的方法既能保证分割精度又减少了额外的人工开销。因为单纯基于解剖标志点的配准不能保证整个器官区域的精确对准，所以本发明提出的方法利用图像的灰度信息来实现器官的整体匹配。为了将基于形状网格的参考模板与个体CT影像进行匹配，本发明提出的方法将参考模板的形状网格填充为体素图像，然后基于灰度将其配准到个体CT影像上。根据对相关工作的文献综述，现有文献中并未提出过基于参考模板的形状网格填充的配准策略。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于联合配准的可变形统计图谱构建方法，其特征在于，包括如下步骤：
步骤1：对参考模板和训练样本进行基于解剖标志点的配准；
步骤2：利用图像中所有的灰度信息对参考模板和训练样本进行基于灰度的配准；
步骤3：对参考模板和训练样本进行基于解剖标志点和灰度的联合配准；
步骤4：利用参考模板表示的训练样本的解剖结构，通过统计形状建模的办法构建可变形统计图谱。
2.根据权利要求1所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，步骤1的具体步骤包括：
步骤1.1：在参考模板和训练样本上手动标定有解剖学意义的关键解剖标志点；
步骤1.2：采用TPS-RPM算法进行基于解剖标志点的配准：利用图像中的解剖标志点的空间位置信息，计算参考模板点云与训练样本点云的特征匹配关系，通过控制点弯曲函数实现参考模板形状点云配准到训练样本的形状点云，得到参考模板点云配准到训练样本的空间变换，即将参考模板变换到训练样本的形变场；最终求得用参考模板网格拓扑表示的训练样本的解剖结构。
3.根据权利要求2所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，步骤1.1中，对于头部图像，在颅颌面区域手动标定若干个对正畸和正颌外科重要的解剖标志点；对于脊柱图像，在每个椎骨的中心、棘突前部和尾部和左右两个的横突分别标定若干个解剖标志点。
4.根据权利要求1所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，步骤2的具体步骤包括：
步骤2.1：把参考模板作为活动图像，训练样本作为固定图像，计算参考模板和训练样本之间的互信息；
步骤2.2：根据给定的空间变换，将参考模板中的点变换到训练样本所在的坐标系中，对变换后整数坐标之外的点进行灰度插值，重新计算变换之后的参考模板与训练样本之间的互信息；
步骤2.3：通过优化方法，不断迭代空间变换的参数，得到新的空间变换，转至步骤2.2，直到使得变换之后的参考模板与训练样本之间的互信息最大，此时的空间变换即为最优空间变换。
5.根据权利要求4所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，步骤2.3中，基于互信息作为相似性测度，B样条函数作为空间变换方式，自适应随机梯度下降方法作为优化策略，不断迭代，直至求得最大互信息时的最优空间变换，即将模板映射到训练样本的形变场，从而实现参考模板到训练样本的配准，最终求得用参考模板网格拓扑表示的训练样本的解剖结构。
6.根据权利要求1所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，步骤3的具体步骤包括：
步骤3.1：对基于解剖标志点配准的空间变换和基于灰度配准的空间变换进行非线性加权，即：
FC(x)＝W(x)·FL(x)+1-W(x))·FI(x) (1)
其中，x是配准对象在三维空间中任意点的空间位置，FL(x)和FI(x)分别是空间位置x处基于解剖标志点配准和基于灰度配准的形变场，FC(x)是空间位置x处的联合形变场，用位移矢量表示为FC(x):＝[Δx,Δy,Δz]；
步骤3.2：引入空间位置x到解剖标志点间的距离dl(x)来量化加权函数W(x)，dl(x)具体表示如下：
Figure FDA0003673898040000021
其中Li是第ith个解剖标志点的坐标；将加权函数W(x)转换为关于dl(x)的函数W(dl(x))，以下简写为W(dl)；
W(dl)具体的解析表达式：
Figure FDA0003673898040000022
其中，参数δ决定加权函数的衰减速度；
步骤3.3：利用式(3)中定义的加权函数，代入式(1)计算出联合变形场FC(x)，从而实现参考模板到训练样本的配准；
步骤3.4：求得用参考模板网格拓扑表示的训练样本的解剖结构。
7.根据权利要求6所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，δ的取值为4～8mm。
8.根据权利要求1所述的一种基于联合配准的可变形统计图谱构建方法，其特征在于，步骤4的具体步骤包括：基于参考模板配准到训练样本的解剖结构，对训练样本进行形状分析，学习训练样本在人群中的形变方式，获得训练个体之间的解剖差异，从而构建可变形统计图谱；基于统计形状建模的方法构建可变形统计图谱过程包括两步：首先，应用广义普氏分析对训练个体配准后的形状网格规范化，对所有训练样本在空间位置和方向上做归一化处理；然后利用主成分分析方法提取训练样本的统计形变分量，构造点分布模型类型的可变形统计图谱。
CN202210618162.6A 2022-06-01 2022-06-01 一种基于联合配准的可变形统计图谱构建方法 Pending CN115116586A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210618162.6A CN115116586A (zh) 2022-06-01 2022-06-01 一种基于联合配准的可变形统计图谱构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210618162.6A CN115116586A (zh) 2022-06-01 2022-06-01 一种基于联合配准的可变形统计图谱构建方法

Publications (1)

Publication Number Publication Date
CN115116586A true CN115116586A (zh) 2022-09-27

Family

ID=83326953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210618162.6A Pending CN115116586A (zh) 2022-06-01 2022-06-01 一种基于联合配准的可变形统计图谱构建方法

Country Status (1)

Country Link
CN (1) CN115116586A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115762722A (zh) * 2022-11-22 2023-03-07 南方医科大学珠江医院 一种基于人工智能的影像复查系统
CN115861392A (zh) * 2023-01-13 2023-03-28 无锡艾米特智能医疗科技有限公司 一种基于图像数据处理的软组织配准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115762722A (zh) * 2022-11-22 2023-03-07 南方医科大学珠江医院 一种基于人工智能的影像复查系统
CN115762722B (zh) * 2022-11-22 2023-05-09 南方医科大学珠江医院 一种基于人工智能的影像复查系统
CN115861392A (zh) * 2023-01-13 2023-03-28 无锡艾米特智能医疗科技有限公司 一种基于图像数据处理的软组织配准方法

Similar Documents

Publication Publication Date Title
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
Kadoury et al. Automatic inference of articulated spine models in CT images using high-order Markov Random Fields
US7929745B2 (en) Method and system for characterization of knee joint morphology
CN115116586A (zh) 一种基于联合配准的可变形统计图谱构建方法
CN109215064B (zh) 一种基于超像素向导的医学图像配准方法
JP7214434B2 (ja) 医用画像処理装置及び医用画像処理プログラム
Choi et al. Area-preserving mapping of 3D carotid ultrasound images using density-equalizing reference map
CN115830016B (zh) 医学图像配准模型训练方法及设备
Tan et al. An approach to extraction midsagittal plane of skull from brain CT images for oral and maxillofacial surgery
Tajdari et al. Next-generation prognosis framework for pediatric spinal deformities using bio-informed deep learning networks
Vandewinckele et al. Segmentation of head-and-neck organs-at-risk in longitudinal CT scans combining deformable registrations and convolutional neural networks
CN108961256B (zh) 图像分割方法、手术导航设备、电子设备及存储介质
Grassi et al. Statistical shape and appearance models: development towards improved osteoporosis care
Yin et al. CoT-UNet++: A medical image segmentation method based on contextual Transformer and dense connection
Xu et al. A symmetric 4D registration algorithm for respiratory motion modeling
Ajemba et al. Characterizing torso shape deformity in scoliosis using structured splines models
JP5943267B2 (ja) 個人モデルデータの生成方法、生成プログラム、および生成システム
Mambo et al. A review on medical image registration techniques
WO2022183851A1 (zh) 一种基于数字人技术的肺叶分割方法
CN114359309A (zh) 基于标定点检测和形状灰度模型匹配的医学图像分割方法
WO2021213053A1 (zh) 基于软组织表面形变估计组织内部目标运动的系统与方法
CN110322491B (zh) 一种可变形小鼠全身图谱与小鼠影像配准的算法
Coevoet et al. Introducing interactive inverse FEM simulation and its application for adaptive radiotherapy
Coevoet et al. Registration by interactive inverse simulation: application for adaptive radiotherapy
US20220076421A1 (en) Method for identifying bone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination