CN114066953A - 一种针对刚性目标的三维多模态图像可变形配准方法 - Google Patents

Abstract

本发明公开了一种针对刚性目标的三维多模态图像可变形配准方法。通过从多模态三维图像构建点云，利用法线和曲率信息构建局部特征坐标系，对迭代最近邻算法进行修正和误差点剔除，提高配准鲁棒性。基于点云自身结构信息进行分区配准，在局部刚性配准基础上满足各区域间差异性，实现可变形的刚性配准，提高整体配准精度。已有的迭代最近邻配准方法，对点云局部特征利用不够，存在较大误差。因此本发明充分利用点云的多重特征构建局部特征参考坐标系对配准过程进行改进，并结合点云结构特点，将点云分区配准，以达到配准点云与基准点云更好的配准效果。

Description

一种针对刚性目标的三维多模态图像可变形配准方法

技术领域

本发明涉及多模态图像三维配准方法，尤其是一种针对刚性目标的三维多模态图像可变形配准方法。

背景技术

在现代医学诊断中，利用多种医学影像技术获得三维图像进行综合诊断成为趋势，多模态三维配准能够综合不同影像技术的优点，提高诊断的准确率，在临床医学上有很高的现实价值。医学影像技术获得的三维图像，为二维序列层析图像组合的三维图像，多模态三维配准方法主要有基于特征点的配准方法、基于图像相似性度量的优化配准方法、基于刚性和非刚性配准的方法和利用神经网络进行图像配准的方法。(1)基于特征点的配准方法，分为人工标记特征点和利用特征提取算法获得的特征点。人工标记特征点基于解剖结构，主观性较高，难以实现自动化；利用特征提取算法获得特征点，会受图像灰度差异、噪声影响，难以找到数量足够的对应特征点。(2)基于图像相似性度量的优化方法，配准精度依赖于相似性指标设计，而在多模态图像中，由于不同成像方法存在相同解剖结构对应不同成像结构，设计鲁棒性足够的相似性度量指标是一个挑战。(3)基于刚性和非刚性的配准方法，配准精度依赖于配准算法，对配准算法改进，会提高配准精度。(4)利用神经网络进行图像配准的方法，人工进行图片配准非常繁琐、耗时，缺少足够的标注样本难以满足神经网络的训练需求。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种针对刚性目标的三维多模态图像可变形配准方法。

本发明所要解决的技术问题是多模态成像的三维配准问题，基于改进的迭代最近邻配准算法，利用点云的法线和曲率信息构建局部特征参考坐标系，对配准过程进行修正和误差点剔除，利用基于结构信息的分区域配准方法，实现可变形的刚性配准，实现对多模态成像更精确的配准。

为了解决上述技术问题，本发明公开了一种针对刚性目标的三维多模态图像可变形配准方法，步骤如下：

步骤1，获取三维多模态图像，将不同模态的三维图像分别输入至适应各自模态图像的分割网络模型，分别提取不同模态三维图像中的待配准目标；

步骤2，将不同模态的三维图像的x，y，z分辨率统一为待配准目标的实际物理尺寸；将不同模态的三维图像构建为三维稠密点云；对所述三维稠密点云进行下采样，分别得到基准点云和待配准点云；

步骤3，计算点云局部特征，对基准点云和待配准点云使用基于局部表面拟合的方法进行法向量估计；计算基准点云和待配准点云各点的表面曲率；

步骤4，利用计算出的点云局部特征建立局部特征参考坐标系，局部特征参考坐标系基于球坐标系设计；

步骤5，根据待配准点云的自身结构特征，将待配准点云在x，y，z方向进行区域划分，对划分后的待配准子点云依次配准，即在局部刚性配准的基础上满足各个区域间的差异性，实现可变形刚性配准；

步骤6，基于步骤4中建立的局部特征参考坐标系的改进迭代最近邻算法和步骤5中可变形刚性配准方式，将基准点云和待配准点云进行配准；

步骤7，将配准后的点云还原为三维图像，完成多模态三维图像的配准。

本发明中，步骤1包括：

步骤2.1，分别标注多模态图像中的待配准目标，制作各自模态图像下的待配准目标训练集；

步骤2.2，利用分割网络在不同的待配准目标训练集上训练各自模态图像下的分割网络模型；

步骤2.3，利用各自模态下的分割网络模型在多模态图像中提取待配准目标。

本发明中，步骤2中所述，将不同模态的三维图像x，y，z分辨率统一为待配准目标的实际物理尺寸包括：根据待配准目标在x，y轴上的实际物理尺寸调整不同模态的二维图像的x，y分辨率，所述调整为二维缩放，将x，y轴构成的平面成为缩放平面；根据待配准目标在z方向上的实际物理尺寸分别对不同模态的图像z方向进行插值。

本发明中，步骤3中所述，基于局部表面拟合的方法进行法向量估计包括：对点云中的每个点p，搜索到与其最近邻的K个相邻点，对K个相邻点计算拟合最好的局部平面P，所述拟合最好在于最小二乘计算中误差最小，此局部拟合平面表示为：

式中，

为平面P的法向量，d为点p到坐标原点的距离，i＝1，2，3，......，K，即点p的序号，将由K个最近邻点拟合出的平面的法向量视为当前点的法向量。

本发明中，步骤3中，平面P的法向量由主成分分析得到，步骤包括：拟合平面P经过K个邻域点的质心P₀，求得质心P₀与K个邻域点的协方差矩阵Q，对Q进行特征值分解，求得Q的特征值λ₁，λ₂，λ₃，取λ₁，λ₂，λ₃中的最小特征值λ_min对应的特征向量即为平面P的法向量，计算协方差矩阵Q公式如下：

式中T为矩阵转置符号。

本发明中，步骤3中，所述计算各点表面曲率包括，求解协方差矩阵Q的特征值λ₁，λ₂，λ₃，最小特征值λ_min，则p点的表面曲率为：

本发明中，步骤4中包括，步骤3中所述对每一点求出的单位法向量为(x，y，z)，表面曲率为δ，将法向量和表面曲率转换到建立的局部特征参考坐标系

中，所述坐标变换方式为：

r＝δ

式中，r表示点p的表面曲率大小，值越小表示该点邻域越平坦；θ表示为p点法向量与z轴正向的夹角；

为从正z轴看，法向量和x轴之间的夹角。

本发明中，步骤5包括：

步骤5.1，统计待配准点云M在x，y，z轴上的坐标最大值和最小值，记待配准点云M在x方向上最大值为x_max，最小值为x_min；在y方向上最大值为y_max，最小值为y_min；在z方向上最大值为z_max，最小值为z_min；

步骤5.2，观察待配准点云的自身结构特征，确定点云在各个方向上的划分个数，如在x，y，z方向上分别划分为n_x，n_y，n_z个子点云，则待配准点云M共被划分为N个子点云，N＝n_x*n_y*n_z，N个子点云分别表示为M₁、M₂、M₃......M_N，有

本发明中，步骤6包括：

步骤6.1，在三维直角坐标系下，利用欧几里得距离计算待配准点云M的各个子点云M_i(i＝1，2，3......N)在基准点云F中的最近邻点集C，待配准子点云M_i和最近邻点集C中的点具有一一对应关系；具体实现为遍历M_i中的点，计算该点与基准点云F中所有点的欧几里得距离，选取距离最小的点作为该点的对应最近邻点，得到的一系列点构成最近邻点集C；

步骤6.2，对步骤6.1中的最近邻点集C利用步骤4中构建的局部特征参考坐标系进行修正，定义两个点在局部特征参考坐标系中的相似性S_sph，

其中在局部特征参考坐标系下点p₁、p₂的描述分别是

对步骤6.1得到的最近邻点集C中的每一个点p_c求其在基准点云F中的邻域点集K_p0，与点p_c对应的子点云M_i中的点为

分别求

与邻域点集K_p0中所有点的相似性S_sph，选取相似性S_sph最小的点

代替点p_c，对最近邻点集C中的每一个点进行前述修正，得到修正后的最近邻点集C′；

步骤6.3，利用步骤4中构建的局部特征参考坐标系，对修正后的最近邻点集C′进行误差点剔除；对步骤6.1中的待配准子点云M_i和修正后的最近邻点集C′统计在局部坐标下的r，θ，

值，并求两者r，θ，

值的差值Δr，Δθ，

设定阈值：

其中，r_threshold表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下r值之差的最大值和最小值的平均值，θ_threshold表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下θ值之差的最大值和最小值的平均，

表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下

值之差的最大值和最小值的平均，保留Δr，Δθ，

均小于相应阈值r_threshold，θ_threshold，

的待配准子点云M_i和修正后的最近邻点集C′中的点，其余点作为误差点去除，得到去除误差后且修正后的最近邻点集C′₀；

步骤6.4，根据步骤6.3得到的去除误差后且修正后的最近邻点集C′₀和待配准子点云M_i，利用奇异值分解法计算，得到点云的旋转矩阵和平移矩阵，采用改进的迭代最近点算法迭代优化旋转矩阵和平移矩阵，迭代过程的损失函数定义为，

其中，

代表待配准子点云M_i中点的总个数，d_k表示点集C′₀和点集M_i中对应点间的欧几里得距离，Δr_k，Δθ_k，

分别表示局部特征参考坐标系下点集C′₀和点集M_i中对应点r，θ，

值的误差，当Loss值小于设定阈值，停止迭代，得到点集M_i和点集C′₀配准的最终旋转矩阵R_i和平移矩阵T_i；

步骤6.5，对步骤5.2中所述每个子点云M₁、M₂、M₃......M_N，分别进行步骤6.1至步骤6.4的操作，得到待配准点云M的旋转矩阵R和平移矩阵T，进而得到待配准点云M配准后的结果M_F：

本发明中，步骤7包括，

步骤7.1，将基准点云F和配准后的点云M_F，按照步骤2中z方向插值前个数，在z方向上对基准点云F和配准后的点云M_F进行分层；

步骤7.2，将步骤7.1中每层点云中的点视为一定半径的球体，将每层点云投影至xy平面，还原为二维图像序列，即还原为配准后的三维多模态图像；

步骤7.3，利用集合之间相似性的度量衡量不同模态的三维图像配准效果。

有益效果：本发明提供了一种针对刚性目标的三维多模态图像可变形配准方法。通过三维图像构建点云，利用点云的法线和曲率信息构建局部特征参考坐标系，对配准过程进行修正和误差点剔除，充分利用点云的多重特征，提高配准鲁棒性，利用基于结构信息的分区域配准方法，在局部刚性配准的基础上满足了各个区域间的差异性，即在刚性配准中增加了非刚性变化，实现可变形的刚性配准，提高配准精度。已有的迭代最近邻配准方法，缺少对误差点的剔除，造成迭代得到的旋转矩阵和平移矩阵存在误差。因此本发明充分利用点云的多重特征构建局部特征参考坐标系对配准过程进行改进，并结合点云结构信息，将点云分区，达到配准点云与基准点云更好的配准效果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1为本发明方法流程示意图。

图2为本发明中迭代最近点算法(Iterative Closest Point,ICP)的改进方法示意图。

具体实施方式

实施例

如图1所示，本发明公开了一种针对刚性目标的三维多模态图像可变形配准方法，包括如下步骤：

步骤1，本实施例对不同模态下的盆腔区域图像进行配准，分别是计算机断层扫描CT图像以及核磁共振MRI图像，配准目标为图像中的盆骨区域。首先将获取的CT和MRI图像分别输入预先训练的两个盆骨分割网络模型，以分别提取CT和MRI图像中的盆骨区域；

步骤2，统一各方向分辨率并构建点云。将构成CT和MRI图像横断面的两方向称为x方向，y方向，将垂直于横断面的方向称为z方向，将三个方向上分辨率统一为人体盆骨的实际物理尺寸；将三维CT和MRI图像分别构建为三维稠密点云；对所述三维稠密点云进行下采样，分别得到基准点云和待配准点云，所述基准点云指盆骨CT点云，待配准点云指盆骨MRI点云；

步骤3，计算点云局部特征，对盆骨CT点云和盆骨MRI点云使用基于局部表面拟合的方法进行法向量估计；并计算两点云各点的表面曲率；

步骤4，利用计算出的点云局部特征建立局部特征参考坐标系，局部特征参考坐标系基于球坐标系设计；

步骤5，根据盆骨MRI点云的自身结构特征，包括左右大致对称、z方向具有刚性特征等，将盆骨MRI点云沿x和y方向进行区域划分，对划分后的盆骨MRI子点云依次进行配准，即在局部刚性配准的基础上满足了各个区域间的差异性，以实现可变形刚性配准；

步骤6，基于步骤4中建立的局部特征参考坐标系的改进迭代最近邻算法(如图2所示)和步骤5中可变形刚性配准方式，将盆骨CT点云和盆骨MRI点云进行配准；

步骤7，将配准后的盆骨MRI点云还原为三维图像，实现了CT和MRI三维图像中盆骨的配准。

本实施例中，步骤1中，先使用LabelMe标注工具对CT和MRI图像中的盆骨区域进行勾画，以制作CT和MRI的盆骨分割数据集，分别使用两个分割网络模型进行训练，所述分割网络模型为U-Net分割网络，参考(Ronneberger O,Fischer P,Brox T.U-Net:Convolutional networks for biomedical image segmentation.arXiv[J].LectureNotes in Computer Science,2015,2015.)，U-Net网络训练过程中将输入图像先编码，再解码，输出分割结果，根据此结果和真实分割的差异，反向传播来训练该分割网络。

本实施例中，步骤2中，所述将CT和MRI图像在x，y，z方向上分辨率统一为盆骨的实际物理尺寸，包括缩放和插值两个部分。本实施例中获取的CT图像为512*512像素，一个病例的盆腔部位CT图像约100张；获取的MRI图像为784*784像素，一个病例的盆腔部位MRI图像约40张。步骤1中从CT和MRI图像中提取出的盆骨区域大小与实际盆骨大小存在差异，所述缩放是指根据盆骨在x，y方向上的实际物理尺寸调整CT和MRI图像的x，y分辨率，所述调整为二维缩放；所述插值是根据盆骨在z方向上的实际物理尺寸分别对CT和MRI图像z方向进行插值，所述插值方法为双三次插值，分别对CT和MRI图像进行2倍和5倍插值。

本实施例中，步骤3中，所述基于局部表面拟合的方法进行法向量估计和表面曲率计算，包括：

步骤3.1，对盆骨CT点云和MRI点云中的每个点p，搜索到与其最近邻的K个相邻点，对K个相邻点计算拟合最好的局部平面P，所述拟合最好在于最小二乘计算中误差最小。此局部拟合平面可以表示为：

式中，

为平面P的法向量，d为点p到坐标原点的距离，i＝1,2,3,……,K，即点p的序号。可将由K个最近邻点拟合出的平面的法向量视为当前点的法向量。

其中，平面P的法向量可由主成分分析得到，步骤包括：拟合平面P经过K个邻域点的质心P₀，求得质心P₀与K个邻域点的协方差矩阵Q，对Q进行特征值分解，求得Q的特征值λ₁，λ₂，λ₃。取λ₁，λ₂，λ₃中的最小特征值λ_min对应的特征向量即为平面P的法向量。计算协方差矩阵Q公式如下：

步骤3.2，所述计算各点表面曲率包括，求解协方差矩阵Q的特征值λ₁，λ₂，λ₃，最小特征值λ_min，则p点的表面曲率为：

本实施例中，步骤4中，所述利用计算出的点云局部特征建立局部特征参考坐标系包括，将步骤3.1求出的单位法向量(x，y，z)和步骤3.2求出的表面曲率δ转换到局部特征参考坐标系

中，所述坐标变换方式为：

r＝δ

式中，r表示点p的表面曲率大小，值越小表示该点邻域越平坦；θ表示为p点法向量与z轴正向的夹角；

为从正z轴看，法向量和x轴之间的夹角。

本实施例中，步骤5中，所述根据盆骨MRI点云的自身结构特征，将盆骨MRI点云各个轴方向进行区域划分包括：

步骤5.1，统计盆骨MRI点云M在x，y，z轴上的坐标最大值和最小值，记在x方向上最大值为x_max，最小值为x_min；在y方向上最大值为y_max，最小值为y_min；在z方向上最大值为z_max，最小值为z_min；

步骤5.2，观察待配准点云的自身结构特征，包括左右大致对称、z方向具有刚性特征等，由此确定将盆骨MRI点云沿x和y方向进行区域划分，确定点云在各个方向上的划分个数，即在x，y，z方向上分别划分为n_x＝2，n_y＝2，n_z＝1个子点云，则盆骨MRI点云M共被划分为N个子点云，N＝n_x*n_y*n_z＝4。4个子点云分别表示为M₁、M₂、M₃、M₄，有

本实施例中，步骤6中，基于步骤4中建立的局部特征参考坐标系的改进迭代最近邻算法(如图2所示)和步骤5中可变形刚性配准方式包括：

步骤6.1，在三维直角坐标系下，利用欧几里得距离计算盆骨MRI点云M的各个子点云M_i(i＝1，2，3，4)在盆骨CT点云F中的最近邻点集C，各个子点云M_i和最近邻点集C中的点具有一一对应关系，具体实现为遍历M_i中的点，计算该点与盆骨CT点云F中所有点的欧几里得距离，选取距离最小的点作为该点的对应最近邻点，这样的一系列点构成最近邻点集C；

步骤6.2，对步骤6.1中的最近邻点集C利用步骤4中构建的局部特征参考坐标系进行修正，定义两个点在局部特征参考坐标系中的相似性S_sph，

其中在局部特征参考坐标系下点p₁、p₂的描述分别是

对步骤6.1得到的最近邻点集C中的每一个点p_c求其在基准点云F中的邻域点集K_p0，与点p_c对应的子点云M_i中的点为

分别求

与邻域点集K_p0中所有点的相似性S_sph，选取相似性S_sph最小的点

代替点p_c，对最近邻点集C中的每一个点进行前述修正，得到修正后的最近邻点集C′；

步骤6.3，利用步骤4中构建的局部特征参考坐标系，对修正后的最近邻点集C′进行误差点剔除；对步骤6.1中的待配准的盆骨MRI子点云M_i和修正后的最近邻点集C′统计在局部坐标下的r，θ，

值，并求两者r，θ，

值的差值Δr，Δθ，

设定阈值：

其中，r_threshold表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下r值之差的最大值和最小值的平均值，θ_threshold表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下θ值之差的最大值和最小值的平均，

表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下

值之差的最大值和最小值的平均，保留Δr，Δθ，

均小于相应阈值r_threshold，θ_threshold，

的待配准子点云M_i和修正后的最近邻点集C′中的点，其余点作为误差点去除，得到去除误差后且修正后的最近邻点集C′₀；

步骤6.4，根据步骤6.3得到的去除误差后且修正后的最近邻点集C′₀和待配准的MRI子点云M_i，利用奇异值分解法计算，得到点云的旋转矩阵和平移矩阵，采用改进的迭代最近点算法迭代优化旋转矩阵和平移矩阵，迭代过程的损失函数定义为，

其中，

代表待配准子点云M_i中点的总个数，d_k表示点集C′₀和点集M_i中对应点间的欧几里得距离，Δr_k，Δθ_k，

分别表示局部特征参考坐标系下点集C′₀和点集M_i中对应点r，θ，

值的误差，当Loss值小于设定阈值，停止迭代，得到点集M_i和点集C′₀配准的最终旋转矩阵R_i和平移矩阵T_i；

步骤6.5，对步骤5.2中所述每个子点云M₁、M₂、M₃、M₄分别进行步骤6.1至步骤6.4的操作，得到盆骨MRI点云M的旋转矩阵R和平移矩阵T，进而得到盆骨MRI点云M配准后的结果M_F。

本实施例中，步骤7包括，

步骤7.1，将盆骨CT点云F和配准后的盆骨MRI点云M_F，按照步骤2中z方向插值前层数，在z方向上对盆骨CT点云F和配准后的盆骨MRI点云M_F进行分层；

步骤7.2，将步骤7.1中每层点云中的点视为一定半径的球体，将每层点云投影至xy平面，还原为配准之后的三维MRI图像；

步骤7.3，利用集合之间相似性的度量衡量CT图像和MRI图像的配准效果。以上步骤就实现了三维多模态成像的配准，达到了较为理想的配准效果。

本发明提供了一种针对刚性目标的三维多模态图像可变形配准方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，包括如下步骤：

步骤1，获取三维多模态图像，将不同模态的三维图像分别输入至适应各自模态图像的分割网络模型，分别提取不同模态三维图像中的待配准目标；

步骤2，将不同模态的三维图像的x，y，z分辨率统一为待配准目标的实际物理尺寸；将不同模态的三维图像构建为三维稠密点云；对所述三维稠密点云进行下采样，分别得到基准点云和待配准点云；

步骤3，计算点云局部特征，对基准点云和待配准点云使用基于局部表面拟合的方法进行法向量估计；计算基准点云和待配准点云各点的表面曲率；

步骤4，利用计算出的点云局部特征建立局部特征参考坐标系，局部特征参考坐标系基于球坐标系设计；

步骤5，根据待配准点云的自身结构特征，将待配准点云在x，y，z方向进行区域划分，对划分后的待配准子点云依次配准，即在局部刚性配准的基础上满足各个区域间的差异性，实现可变形刚性配准；

步骤6，基于步骤4中建立的局部特征参考坐标系的改进迭代最近邻算法和步骤5中可变形刚性配准方式，将基准点云和待配准点云进行配准；

步骤7，将配准后的点云还原为三维图像，完成多模态三维图像的配准。

2.根据权利要求1所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤1包括：

步骤2.1，分别标注多模态图像中的待配准目标，制作各自模态图像下的待配准目标训练集；

步骤2.2，利用分割网络在不同的待配准目标训练集上训练各自模态图像下的分割网络模型；

步骤2.3，利用各自模态下的分割网络模型在多模态图像中提取待配准目标。

3.根据权利要求2所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤2中所述，将不同模态的三维图像的x，y，z分辨率统一为待配准目标的实际物理尺寸包括：根据待配准目标在x，y轴上的实际物理尺寸调整不同模态的二维图像的x，y分辨率，所述调整为二维缩放，将x，y轴构成的平面成为缩放平面；根据待配准目标在z方向上的实际物理尺寸分别对不同模态的图像z方向进行插值。

4.根据权利要求3所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤3中所述，基于局部表面拟合的方法进行法向量估计包括：对点云中的每个点p，搜索到与其最近邻的K个相邻点，对K个相邻点计算拟合最好的局部平面P，所述拟合最好在于最小二乘计算中误差最小，此局部拟合平面表示为：

式中，

为平面P的法向量，d为点p到坐标原点的距离，i＝1，2，3，......，K，即点p的序号，将由K个最近邻点拟合出的平面的法向量视为当前点的法向量。

5.根据权利要求4所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤3中，平面P的法向量由主成分分析得到，步骤包括：拟合平面P经过K个邻域点的质心P₀，求得质心P₀与K个邻域点的协方差矩阵Q，对Q进行特征值分解，求得Q的特征值λ₁，λ₂，λ₃，取λ₁，λ₂，λ₃中的最小特征值λ_min对应的特征向量即为平面P的法向量，计算协方差矩阵Q公式如下：

式中T为矩阵转置符号。

6.根据权利要求5所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤3中，所述计算各点表面曲率包括，求解协方差矩阵Q的特征值λ₁，λ₂，λ₃，最小特征值λ_min，则p点的表面曲率为：

7.根据权利要求6所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤4中包括，步骤3中所述对每一点求出的单位法向量为(x，y，z)，表面曲率为δ，将法向量和表面曲率转换到建立的局部特征参考坐标系

中，所述坐标变换方式为：

r＝δ

式中，r表示点p的表面曲率大小，值越小表示该点邻域越平坦；θ表示为p点法向量与z轴正向的夹角；

为从正z轴看，法向量和x轴之间的夹角。

8.根据权利要求7所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤5包括：

步骤5.1，统计待配准点云M在x，y，z轴上的坐标最大值和最小值，记待配准点云M在x方向上最大值为x_max，最小值为x_min；在y方向上最大值为y_max，最小值为y_min；在z方向上最大值为z_max，最小值为z_min；

步骤5.2，观察待配准点云的自身结构特征，确定点云在各个方向上的划分个数，如在x，y，z方向上分别划分为n_x，n_y，n_z个子点云，则待配准点云M共被划分为N个子点云，N＝n_x*n_y*n_z。，N个子点云分别表示为M₁、M₂、M₃......M_N，有

9.根据权利要求8所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤6包括：

步骤6.1，在三维直角坐标系下，利用欧几里得距离计算待配准点云M的各个子点云M_i(i＝1，2，3......N)在基准点云F中的最近邻点集C，待配准子点云M_i和最近邻点集C中的点具有一一对应关系；具体实现为遍历M_i中的点，计算该点与基准点云F中所有点的欧几里得距离，选取距离最小的点作为该点的对应最近邻点，得到的一系列点构成最近邻点集C；

步骤6.2，对步骤6.1中的最近邻点集C利用步骤4中构建的局部特征参考坐标系进行修正，定义两个点在局部特征参考坐标系中的相似性S_sph，

其中在局部特征参考坐标系下点p₁、p_２的描述分别是

对步骤6.1得到的最近邻点集C中的每一个点p_c求其在基准点云F中的邻域点集K_p0，与点p_c对应的子点云M_i中的点为

分别求

与邻域点集K_p0中所有点的相似性S_sph，选取相似性S_sph最小的点

代替点p_c，对最近邻点集C中的每一个点进行前述修正，得到修正后的最近邻点集C′；

步骤6.3，利用步骤4中构建的局部特征参考坐标系，对修正后的最近邻点集C′进行误差点剔除；对步骤6.1中的待配准子点云M_i和修正后的最近邻点集C′统计在局部坐标下的r，θ，

值，并求两者r，θ，

直的差值Δr，Δθ，

设定阈值：

其中，r_threshold表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下r值之差的最大值和最小值的平均值，θ_threshold表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下θ值之差的最大值和最小值的平均，

表示待配准子点云M_i和修正后的最近邻点集C′在局部坐标下

值之差的最大值和最小值的平均，保留Δr，Δθ，

均小于相应阈值r_threshold，θ_threshold，

的待配准子点云M_i和修正后的最近邻点集C′中的点，其余点作为误差点去除，得到去除误差后且修正后的最近邻点集C′₀；

步骤6.4，根据步骤6.3得到的去除误差后且修正后的最近邻点集C′₀和待配准子点云M_i，利用奇异值分解法计算，得到点云的旋转矩阵和平移矩阵，采用改进的迭代最近点算法迭代优化旋转矩阵和平移矩阵，迭代过程的损失函数定义为，

其中，

代表待配准子点云M_i中点的总个数，d_k表示点集C′₀和点集M_i中对应点间的欧几里得距离，Δr_k，Δθ_k，

分别表示局部特征参考坐标系下点集C′₀和点集M_i中对应点r，θ，

值的误差，当Loss值小于设定阈值，停止迭代，得到点集M_i和点集C′₀配准的最终旋转矩阵R_i和平移矩阵T_i；

步骤6.5，对步骤5.2中所述每个子点云M₁、M₂、M_z......M_N，分别进行步骤6.1至步骤6.4的操作，得到待配准点云M的旋转矩阵R和平移矩阵T，进而得到待配准点云M配准后的结果M_F：

10.根据权利要求9所述的一种针对刚性目标的三维多模态图像可变形配准方法，其特征在于，步骤7包括，

步骤7.1，将基准点云F和配准后的点云M_F，按照步骤2中z方向插值前个数，在z方向上对基准点云F和配准后的点云M_F进行分层；

步骤7.2，将步骤7.1中每层点云中的点视为一定半径的球体，将每层点云投影至xy平面，还原为二维图像序列，即还原为配准后的三维多模态图像；

步骤7.3，利用集合之间相似性的度量衡量不同模态的三维图像配准效果。

Images