CN107240128B - 一种基于轮廓特征的x线片和彩色照片配准方法 - Google Patents

Abstract

本发明提供一种基于轮廓曲线特征的X线片和彩色照片配准方法，由于综合利用了标志点特征和轮廓曲线特征，因此本发明方法相比于单一基于点特征的图像配准方法的配准精度要高；同时本发明由于建立在粗配准结果的基础之上，且将开曲线进行了粗匹配，因此相比于单一基于一致点漂移算法的图像配准方法的配准精度要高，且算法复杂度较低，本发明方法可适用于具有相似目标轮廓或开曲线特征的图像配准领域。

Description

一种基于轮廓特征的X线片和彩色照片配准方法

技术领域

本发明属于图像配准技术领域，尤其涉及一种由粗到精基于轮廓曲线特征的X线片和彩色照片的多模态图像精确配准方法。

背景技术

目前，随着智慧医疗时代的到来，医疗与计算机科学技术的高度交叉融合已经成为必然趋势，如何利用好现代科学技术处理医疗数据也成为科研工作者的主要课题之一，并帮助人类实现高效智能的医疗诊断与治疗。医疗数据有很多种，其中医学影像是现代医学研究与诊疗中的重要数据之一。常见的医学影像数据包括X线片、CT、MRI、超声图像等。不同类型的影像数据可以给医生提供更多及较全面的疾病信息，有利于医生做出正确的疾病诊断与治疗方案，帮助患者减轻或解除病痛。通常情况下，在综合利用多种影像数据时需要精确定位病灶并测量相关医学指标，为了实现这个目的，多模态图像配准技术常常被应用于该领域。

多模态图像配准相对于单模态图像配准来讲，其特点在于图像数据是来自于不同类型图像传感器或设备的，也被称作多模态。由于数据来源的多样性，因此多模态图像的特征差异性大，其配准相比于单模态图像配准的难度也就大很多。从实现方式来看，图像配准可分为手动配准、计算机辅助配准和自动配准。手动配准是最传统的一种方法，它的主观性强、耗时多，已逐渐被计算机辅助配准和自动配准所替代。自动配准是更加智能化的方法，科研人员正在努力致力于高效高精度的自动图像配准算法的研究与开发，也产生了很多研究成果，并应用于各个领域，包括机器视觉、医学影像与诊断、生物成像、遥感和三维重建等。已有的自动配准算法可分为两大类：基于像素和基于特征的方法。一般地，基于像素的方法直接利用图像像素的灰度和几何信息，通过最大化互相关性或互信息从而估计两幅图像的几何变换模型参数。这种方法简单且精度高，但是计算复杂度高，且要求两幅图像的灰度一致性要高，常用于单模态图像配准和CT与MRI两种医学影像数据的配准。按照特征几何形式的角度，基于特征的自动配准算法又可分为三类：基于点特征、基于线特征和基于面特征。这种方法包括四个步骤：特征提取、特征匹配、几何变换模型估计和图像重采样与变换。SIFT及其改进的角点特征是一种常用于图像配准技术的点特征，基于这类角点特征的图像配准算法的研究比较成熟。首先，在参考图像和待配准图像中分别提取角点特征；其次，一一计算两幅图像中角点特征的相似性，进行角点特征匹配；然后，根据匹配成功的特征点对估计几何变换模型的参数；最后，根据几何变换模型参数对待配准图像进行图像重采样与变换。该方法可以得到高精度的配准结果，算法复杂度相对较低，可应用于单模态和多模态图像配准，但要求在两幅图像中必须能够提取足够数量的角点特征。类似地，基于线特征的图像配准算法也是四个步骤，但是特征提取与匹配的方法由于特征的具体形式的不同而有所差别，而线特征可以表现为边缘线段、目标轮廓或者是医学图像中的解剖结构图形等。该方法特别适用于具有相似边缘轮廓的图像对的配准，算法复杂度较低，精度高。基于面特征的图像配准算法中常用的面特征有不变矩等，算法复杂度较高，精度较低。近年来，各种形式特征的融合以及基于像素和特征两者结合的方法成为一种趋势，可进一步提高图像配准的精度和鲁棒性，并取得了一定的研究成果。

在口腔医学领域，为了进行侧位微笑美学研究和头影测量分析的诊断与治疗计划，医生必须精确测量上颌中切牙相对额头的水平位置距离。在测量该指标前，需要将患者头部的侧位X线片精确配准于其彩色照片并得到融合图像。但是由于X线片和彩色照片的成像差异性，同一患者头部在两种模态的图像中呈现的灰度一致性极低，而相似特征仅有软组织轮廓，且X线片中软组织轮廓对比度较低，针对这个问题已有算法不能完全奏效。因此，我们提出了基于曲线特征的由粗到精的侧位X线片和彩色照片的图像配准算法，不仅能够解决有背景和噪声图像中目标轮廓曲线的特征提取问题，而且利用基于曲线特征由粗到精的多模态图像配准算法解决了具有相似目标轮廓且灰度相似性弱的图像配准问题，实现了同一患者头部的侧位X线片和彩色照片的精确配准，并得到融合图像，有助于口腔医生在融合图像上进行上颌中切牙相对额头的水平位置距离的测量，可应用于侧位微笑美学研究和头影测量分析的诊断与治疗计划。

发明内容

为解决上述问题，本发明提供一种由粗到精基于轮廓曲线特征的X线片和彩色照片配准方法。第一，针对轮廓特征提取问题，本发明提出了一种有效的分层轮廓特征提取方法。首先，利用Canny算法分别提取X线片和彩色照片中的边缘特征，剔除背景与噪声边缘，提取外轮廓，进行线段连接得到粗糙的面部软组织轮廓；然后，利用DRLSE(DistanceRegularized Level Set Evolution)模型的方法得到光滑连续且更加准确的面部软组织轮廓；接着，在该面部软组织轮廓曲线上检测拐点，截取鼻子和前额部位的软组织轮廓曲线；最后，对该轮廓曲线进行迭代多项式曲线拟合，得到精确的轮廓曲线。该方法解决了有背景和噪声图像中目标轮廓曲线的特征提取问题。第二，针对基于轮廓特征的图像配准问题，本发明提出了一种由粗到精的侧位X线片和彩色照片的图像配准算法。首先，在提取到的鼻子和前额的软组织轮廓曲线上检测出4对标志点，利用这4对标志点估计相似变换模型的参数，即粗配准结果；然后，根据粗配准结果对X线片上提取到的鼻子和前额的软组织轮廓曲线进行相似变换，利用CPD(Coherent Point Drift)算法对X线片上变换后的鼻子和前额轮廓曲线和彩色照片上提取到的鼻子和前额轮廓曲线进行曲线配准，估计出新的相似变换模型的参数；最后，将新的相似变换模型的参数乘以粗的相似变换模型的参数，得到最终的相似变换模型的参数，即精配准结果，根据精配准结果对侧位X线片进行图像重采样与变换，与彩色照片叠加得到融合图像。

一种基于轮廓特征由粗到精的X线片和彩色照片配准方法，包括以下步骤：

步骤1：首先利用Canny算法分别从同一患者头部的侧位X线片和彩色照片中各得到一条连续的侧位面部软组织轮廓曲线，再根据DRLSE模型方法和迭代多项式曲线拟合算法得到两条鼻子和前额的软组织轮廓曲线，其中，侧位X线片的鼻子和前额的软组织轮廓曲线为l_A，彩色照片的鼻子和前额的软组织轮廓曲线为l_B；

步骤2：在步骤1提取到的曲线l_A和l_B相同位置处分别找出4个标志点，且相同位置处的标志点两两成对，其中4个标志点分别额点、鼻尖点、软组织鼻根点以及鼻尖点和软组织鼻根点的中点；然后利用最小二乘法，根据这4对标志点估计粗配准相似变换模型的参数τ₀；

步骤3：根据粗配准相似变换模型的参数τ₀对曲线l_A进行相似变换得到曲线l_A*，利用一致点漂移算法对曲线l_A*与步骤1中的曲线l_B进行曲线配准，估计出精配准相似变换模型的参数τ₁；

步骤4：将步骤2得到的粗配准相似变换模型的参数τ₀和步骤3得到的精配准相似变换模型的参数τ₁相乘，得到最终的相似变换模型的参数；根据最终的相似变换模型的参数，利用线性插值方法对步骤1的侧位X线片进行图像重采样与变换，最后将变换后的侧位X线片与步骤1的彩色照片叠加得到融合图像。

一种基于轮廓特征由粗到精的X线片和彩色照片配准方法，步骤1所述的利用Canny算法分别从同一患者头部的侧位X线片和彩色照片中各得到一条连续的侧位面部软组织轮廓曲线，具体包括以下步骤：

步骤11：在侧位X线片中提取包含面部软组织结构的感兴趣区域，然后采用Gamma校正和直方图拉伸的方法先后对感兴趣区域和彩色照片做预处理，增强感兴趣区域和彩色照片的图像对比度；

步骤12：利用Canny算法分别提取预处理后的感兴趣区域和彩色照片中的边缘特征，然后根据侧位X线片中标尺的位置信息剔除标尺的边缘点以及标尺邻域内的边缘点；

步骤13：根据面部软组织结构边缘的邻域灰度分布特性，剔除步骤12的彩色照片和已经去除标尺的侧位X线片的边缘特征中的噪声边缘，具体的：

如果以面部软组织结构的边缘为中心沿x轴方向的像素灰度分布特征表现为下降沿，则保留该边缘，否则该边缘为噪声边缘并被剔除；其中，保留下来的边缘为各个分离的曲线段形式；

步骤14：在剔除噪声边缘后的感兴趣区域和彩色照片中提取侧位面部软组织的轮廓曲线，具体为：

若任意相邻的两个曲线段邻接端点的欧式距离小于设定阈值thresh 1，且两个曲线段邻接端点之间的矩形区域内边缘像素的数目小于设定阈值thresh 2，则用直线段连接这两个曲线段的邻接端点；最终在感兴趣区域和彩色照片中分别得到一条连续的侧位面部软组织轮廓曲线。

一种基于轮廓特征的X线片和彩色照片配准方法，步骤1所述的根据DRLSE模型方法和迭代多项式曲线拟合算法得到两条鼻子和前额的软组织轮廓曲线，具体包括以下步骤：

步骤15：利用DRLSE模型的方法，以步骤14中的两条连续的侧位面部软组织轮廓曲线作为初始形状模型分别对应提取出另外两条连续且光滑的侧位面部软组织轮廓曲线；

步骤16：检测步骤15得到的两条侧位面部软组织轮廓曲线上的拐点，具体为：

步骤161：在侧位面部软组织轮廓曲线上找出横坐标值最大的像素点，该像素点为鼻尖点；

步骤162：由鼻尖点出发向上跟踪侧位面部软组织轮廓曲线，并计算鼻尖点以上部分的侧位面部软组织轮廓曲线的曲率角度，得到一维曲率角度分布图A；由鼻尖点出发向下跟踪侧位面部软组织轮廓曲线，并计算鼻尖点以下部分的侧位面部软组织轮廓曲线的曲率角度，得到一维曲率角度分布图B；

步骤163：分别设定高阈值thresh_high和低阈值thresh_low，在一维曲率角度分布图A和一维曲率角度分布图B中找出所有高于thresh_high的极大值点，然后在每两个相邻的极大值点之间找出低于thresh_low的最小值点；由鼻尖点出发，向上跟踪一维曲率角度分布图A，得到的前两个低于thresh_low的最小值点则为要检测的拐点，向下跟踪一维曲率角度分布图B，得到的第一个低于thresh_low的最小值点则为要检测的拐点；

步骤17：根据鼻尖点和三个拐点，从步骤15得到的两条侧位面部软组织轮廓曲线上分别截取出两条鼻子和前额部位的软组织轮廓曲线；

步骤18：对步骤17得到的两条鼻子和前额的软组织轮廓曲线进行迭代多项式曲线拟合，得到两条最终的鼻子和前额的软组织轮廓曲线。

一种基于轮廓特征X线片和彩色照片配准方法，步骤162所述的曲率角度α根据下列公式计算：

其中，α为曲率角度，O、A和B为侧位面部软组织轮廓曲线上任取的三个不同的像素点，且满足

r为设定的半径阈值。

一种基于轮廓特征X线片和彩色照片配准方法，步骤18所述的对步骤17得到的两条鼻子和前额的软组织轮廓曲线进行迭代多项式曲线拟合，得到最终的两条鼻子和前额的软组织轮廓曲线，具体步骤如下：

步骤181：假设初始的鼻子和前额软组织轮廓曲线为C₀，并应用多项式曲线拟合算法对其进行拟合得到新的轮廓曲线C₁；

步骤182：计算曲线C₀上任一点(x₀(i),y₀(i))与曲线C₁上对应点(x₁(i),y₁(i))的距离

其中i为曲线上各点的序号；

步骤183：如果

大于设定阈值threshold且y₁(i)＞y₀(i)，则y₀(i)的值被y₁(i)替代，直到遍历曲线C₀上的所有点，得到更新曲线C₀ ^*；

步骤184：对于步骤183的更新曲线C₀ ^*再次进行多项式曲线拟合，得到新的曲线C₁ ^*；

步骤185：计算更新曲线C₀ ^*上任一点

与C₁ ^*上对应点(x₁*(i),y₁*(i))的距离

步骤186：计算

和

之间的绝对距离diff_dist，其中

若绝对距离diff_dist不大于设定阈值ε，则收敛并结束迭代，曲线C₁ ^*为最终的鼻子和前额的软组织轮廓曲线；否则

替代

重复步骤183到步骤186直至收敛。

一种基于轮廓特征X线片和彩色照片配准方法，步骤2所述的在步骤1提取到的曲线l_A和l_B相同位置处分别找出4个标志点，且相同位置处的标志点两两成对，具体步骤包括：

步骤21：分别将步骤1的曲线l_A和l_B都进行横纵坐标交换，对应得到曲线l_A ^#和l_B ^#；

步骤22：分别在步骤21中经横纵坐标交换后的曲线l_A ^#和l_B ^#上均检测出两个极大值点和一个极小值点作为三个标志点，其中纵坐标值较大的一个极大值点为鼻尖点，纵坐标值较小的一个极大值点为额点，极小值点为软组织鼻根点；

步骤23：取鼻尖点和软组织鼻根点的中点为第四个标志点；

步骤24：将曲线l_A ^#和l_B ^#上的四个标志点各自两两对应，组成四对标志点。

一种基于轮廓特征X线片和彩色照片配准方法，步骤3所述的精配准相似变换模型的参数具体计算方法包括：

步骤31：根据步骤2得到的相似变换模型参数τ₀(s,θ,t_x,t_y)对曲线l_A进行相似变换得到曲线l_A*，公式如下：

其中，Γ为几何变换模型，(x，y)为侧位X线片中像素坐标，(x’，y’)为相似变换后像素坐标，s为尺度因子，θ为旋转角度，t_x和t_y分别为x、y方向的偏移量；

步骤32：将步骤31变换后的曲线l_A*与步骤1得到的曲线l_B进行对齐，分别截取两条曲线在纵坐标轴中存在相互重叠区间的曲线段，其中侧位X线片中的曲线段构成一条粗匹配的鼻子和前额软组织轮廓曲线，彩色照片中的曲线段构成另一条粗匹配的鼻子和前额软组织轮廓曲线；

步骤33：利用一致点漂移算法对步骤32得到的粗匹配后的两条鼻子和前额软组织轮廓曲线进行曲线配准，估计出精配准相似变换模型的参数τ₁(s,θ,t_x,t_y)。

有益效果：

首先，利用步骤1中提出的分层轮廓提取方法，可以能够解决有背景和噪声图像中目标轮廓曲线的特征提取问题，该方法综合利用了Canny算法和DRLSE模型方法这两种主要的现有技术来提取边缘特征和检测目标轮廓，并在其基础之上进行了两点改进：一是基于先验知识(如，标尺位置信息和目标轮廓的灰度分布特性等)剔除了背景和噪声的干扰，再提取外轮廓并利用边缘连接的方法得到了粗略的面部软组织轮廓，以作为DRLSE模型的初始形状；二是在基于DRLSE模型方法提取得到的连续的面部软组织轮廓的基础之上，利用拐点检测的方法，得到连续的鼻子和额头软组织轮廓曲线，并提出了迭代多项式曲线拟合的算法来校正鼻子与额头连接处的轮廓曲线，最终提取到了连续且较精确的鼻子和额头软组织轮廓曲线；本发明提出的方法可适用于类似图像中目标轮廓的检测。

其次，利用步骤2中的方法，可快速地对图像配准问题中的几何变换模型参数给出粗略的估计。然后，基于步骤2得到的几何变换模型参数的粗估计，利用步骤3的方法，可以进一步更加精确地估计几何变换模型的参数。最后，步骤4综合了由粗到精的结果，得到了最终的几何变换模型参数，利用该参数对待配准图像(侧位X线片)进行重采样与变换，并与彩色照片叠加得到融合图像。本发明提出的由粗到精的图像配准方法，由于综合利用了标志点特征和轮廓曲线特征，因此相比于单一基于点特征的图像配准方法的配准精度要高；而由于建立在粗配准结果的基础之上，且将开曲线进行了粗匹配，因此相比于单一基于一致点漂移算法的图像配准方法的配准精度要高，且算法复杂度较低；该方法可适用于具有相似目标轮廓或开曲线特征的图像配准领域。

附图说明

图1为本发明实施例的基于轮廓特征由粗到精的侧位X线片和彩色照片的图像配准方法流程示意图；

图2为本发明实施例的鼻子和前额的软组织轮廓曲线的特征提取方法示意图；

图3为本发明实施例定义的曲率角度α。

具体实施方式

下面结合附图并举实施例，对本发明进行详细叙述。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限定本发明。

图1是本发明具体实施方式中基于轮廓特征由粗到精的侧位X线片和彩色照片的图像配准方法的流程图，具体包括如下步骤：

步骤1：利用分层轮廓特征提取方法分别从同一患者头部的侧位X线片和彩色照片中提取出两条鼻子和前额的软组织轮廓曲线，具体算法流程如图2所示。

步骤11：利用基于归一化互相关系数的模板匹配方法，对于标尺定位，根据标尺的位置和图像尺寸信息在X线片中提取包含面部软组织结构的ROI；利用Gamma校正和直方图拉伸的方法先后对ROI和彩色照片做预处理，增强图像对比度；

步骤12：再利用Canny算法分别提取ROI和彩色照片中的边缘特征，根据X线片中标尺位置信息剔除标尺的边缘点以及标尺邻域内的边缘点；

步骤13：根据面部软组织结构边缘的邻域灰度分布特性，剔除步骤12的彩色照片和已经去除标尺的侧位X线片的边缘特征中的噪声边缘，具体的：

如果以面部软组织边缘为中心沿x轴方向的像素灰度分布特征表现为下降沿，则保留该边缘；否则该边缘为噪声边缘并被剔除；

步骤14：在剔除噪声边缘后的感兴趣区域和彩色照片中提取侧位面部软组织的轮廓曲线，具体为：

distance(point1,point2)＜thresh1

sum(pixels)＜thresh2

其中，pixels表示曲线段端点point1与point2之间的矩形区域内边缘上像素点，thresh1和thresh2表示设定的阈值。该准则可描述为：若两个曲线段端点的距离小于某个阈值且它们之间的矩形区域内边缘像素的数目小于某个阈值，则用直线段连接这两个曲线段端点。最后，在感兴趣区域ROI和彩色照片中分别得到一条较粗糙但连续的侧位面部软组织轮廓曲线。

步骤15：将上一步得到的侧位面部软组织轮廓曲线初始化DRLSE模型中的水平集函数φ₀，DRLSE模型可表示为下列公式

其中，

为实数

定义域Ω上的水平集函数，μ＞0是一个常数，且ε_ext(φ)是外部能量函数。水平集正则项R_p(φ)定义为

其中，能量密度函数

定义为

为了满足当水平集函数φ位于侧位面部软组织轮廓时达到最小值的条件，设计能量函数

其中，λ＞0是

的系数，g为边缘指示函数，定义为

G_σ为标准误差为σ的高斯核，

为边缘能量函数，它的值可以通过计算沿着零水平轮廓φ对函数g的线积分而得到，如下式。

其中，δ是狄拉克函数，可近似地表示为平滑函数δ_ε，如下式。

其中，ε通常设置为1.5。给定初始化水平集函数φ(x,0)＝φ₀(x)，通过下式可以求得最小化能量函数的解。

即，利用DRLSE模型的方法，进一步提取到光滑连续且更加准确的侧位面部软组织轮廓。

步骤16：在步骤15得到的侧位面部软组织轮廓曲线上检测拐点，具体为:

步骤161：首先，在侧位面部软组织轮廓曲线上找出横坐标值最大的像素点即鼻尖点；

步骤162：然后，由鼻尖点出发向上跟踪侧位面部软组织轮廓曲线，并计算鼻尖点以上部分的侧位面部软组织轮廓曲线的曲率角度，得到一维曲率角度分布图A；由鼻尖点出发向下跟踪侧位面部软组织轮廓曲线，并计算鼻尖点以下部分的侧位面部软组织轮廓曲线的曲率角度，得到一维曲率角度分布图B；其中，根据下列公式定义曲率角度α，如图3所示。

其中，O、A和B为侧位面部软组织轮廓曲线上三个不同的像素点，且

r为半径阈值，由此，绘制出两幅一维曲率角度分布图；

步骤163：分别设定恰当的高阈值thresh_high和低阈值thresh_low，先在一维曲率角度分布图A和一维曲率角度分布图B中找出所有高于thresh_high的极大值点，然后在每两个极大值点之间寻找低于thresh_low的最小值点；由鼻尖点出发，向上跟踪一维曲率角度分布图A，得到的前两个最小值点就是要检测的拐点，向下跟踪一维曲率角度分布图B，得到的第一个最小值点就是要检测的拐点；

步骤17：最后，根据鼻尖点和三个拐点，从步骤15得到的两条侧位面部软组织轮廓曲线上分别截取出两条鼻子和前额部位的软组织轮廓曲线。

步骤18：由于拍摄侧位X线片时标尺紧贴着患者的鼻根处，因此鼻根点附近的轮廓曲线出现向左侧偏移的现象，为了校正该位置的轮廓曲线，对上一步得到的鼻子和前额的软组织轮廓曲线进行迭代多项式曲线拟合，得到更加合理又精确的鼻子和前额的软组织轮廓曲线，其中，侧位X线片的鼻子和前额的软组织轮廓曲线为l_A，彩色照片的鼻子和前额的软组织轮廓曲线为l_B，其中，迭代多项式曲线拟合算法的具体步骤如下：

(1)初始的鼻子和前额软组织轮廓曲线C₀，应用多项式曲线拟合得到新的轮廓曲线C₁；

(2)计算C₀上点(x₀(i),y₀(i))与C₁上点(x₁(i),y₁(i))的距离

(3)如果

且y₁(i)＞y₀(i)，则y₁(i):＝y₀(i)，即更新曲线C₀；

(4)对于(3)更新后的C₀再次进行曲线拟合，得到新的曲线C₁；

(5)计算C₀上点(x₀(i),y₀(i))与C₁上点(x₁(i),y₁(i))的距离

(6)定义

和

之间的绝对距离diff_dist，即

若diff_dist＜ε，则收敛；否则

且重复步骤(3)到(6)直至收敛。

步骤2：在提取到的鼻子和前额软组织轮廓曲线上检测出4对标志点，根据这4对标志点并利用最小二乘法估计相似变换模型的参数，即粗配准结果；

步骤21：分别将步骤1中从侧位X线片和彩色照片中提取到的两条精确的鼻子和前额软组织轮廓曲线进行横纵坐标的交换。

步骤22：分别在步骤21中经横纵坐标交换后的两条鼻子和前额软组织轮廓曲线上均检测出两个极大值点和一个极小值点，作为三个标志点，其中纵坐标值较大的一个极大值点就是鼻尖点，纵坐标值较小的一个极大值点就是额点，极小值点就是软组织鼻根点。

步骤23：取鼻尖点和软组织鼻根点的中点为第四个标志点。

步骤24：将两条鼻子和前额软组织轮廓曲线上的四个标志点各自两两对应，组成四对标志点；然后根据这四对标志点，利用最小二乘法估计粗配准相似变换模型的参数τ₀(s,θ,t_x,t_y)，其中，s为尺度因子，θ为旋转角度，t_x和t_y分别为x、y方向的偏移量,且坐标系原点在侧位X线片和彩色照片的左上角，且x方向沿原点指向右上角，y方向沿原点指向左下角。

步骤3：根据粗配准结果τ₀(s,θ,t_x,t_y)对X线片上提取到的鼻子和前额的软组织轮廓曲线l_A进行相似变换得到曲线l_A*，利用CPD(Coherent Point Drift)一致点漂移算法对X线片上变换后的鼻子和前额轮廓曲线l_A*和彩色照片上提取到的鼻子和前额轮廓曲线进行曲线l_B配准，估计出精配准相似变换模型的参数，具体的：

步骤31：根据步骤2得到的相似变换模型参数τ₀(s,θ,t_x,t_y)对侧位X线片中提取到的鼻子和前额的软组织轮廓曲线l_A进行相似变换得到曲线l_A*，公式如下：

其中，Γ为几何变换模型，(x，y)为侧位X线片中像素坐标，(x’，y’)为相似变换后像素坐标；

步骤32：将步骤31变换后的侧位X线片中的鼻子和前额的软组织轮廓曲线l_A*与步骤1得到的彩色照片中提取到的鼻子和前额的软组织轮廓曲线l_B进行对齐，分别截取两条曲线在坐标轴中存在相互重叠区间的曲线段，其中侧位X线片中的曲线段构成一条粗匹配的鼻子和前额软组织轮廓曲线，彩色照片中的曲线段构成另一条粗匹配的鼻子和前额软组织轮廓曲线；

步骤33：一致点漂移算法(CPD，Coherent Point Drift)的核心思想就是用高斯混合模型拟合给定点集，并通过约束高斯混合模型中心作为一个整体漂移至另一个点集，从而保持给定点集原有的拓扑结构。其中，利用最大化高斯混合模型后验概率的优化算法，实现对两个点集的配准并得到它们的对应关系。该方法常用于闭合图形上边界点集的配准。本发明将一致点漂移算法运用于开曲线的配准，首先，假设X为粗匹配后彩色照片中鼻子和前额软组织轮廓曲线上的点集，Y为粗匹配后X线片中鼻子和前额软组织轮廓曲线上的点集，定义目标函数Q

满足条件

θ^Tθ＝Ι,det(θ)＝1

其中，

(当且仅当ω＝0时N＝NP，且N,M是点集中点的数量)，P_old为高斯混合模型的后验概率，计算公式为

其中，

参数ω(0≤ω≤1)表示点集中噪声的比重。然后，利用EM算法最小化目标函数Q，可以估计出变换模型的参数τ和方差σ²。

由此，利用一致点漂移算法对步骤32得到的粗匹配后X线片中的鼻子和前额软组织轮廓曲线l_A*和彩色照片中提取到的鼻子和前额软组织轮廓曲线l_B进行曲线配准，估计出新的精配准相似变换模型的参数τ₁(s,θ,t_x,t_y)。

步骤4：综上所述，步骤2得到的相似变换模型参数τ₀(s,θ,t_x,t_y)可以表示为

步骤3得到的相似变换模型的参数τ₁(s,θ,t_x,t_y)可以表示为

通过解方程组可以得到最终的相似变换模型的参数τ(s,θ,t_x,t_y)，即精配准结果。最后，根据相似变换模型的参数τ(s,θ,t_x,t_y)，并利用线性插值算法对侧位X线片进行图像重采样与变换，并与彩色照片叠加得到融合图像。

自此，就实现了基于轮廓特征由粗到精的侧位X线片和彩色照片的图像配准的全部过程。当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，包括以下步骤：

步骤1：首先利用Canny算法分别从同一患者头部的侧位X线片和彩色照片中各得到一条连续的侧位面部软组织轮廓曲线，再根据DRLSE模型方法和迭代多项式曲线拟合算法得到两条鼻子和前额的软组织轮廓曲线，其中，侧位X线片的鼻子和前额的软组织轮廓曲线为l_A，彩色照片的鼻子和前额的软组织轮廓曲线为l_B；

步骤2：在步骤1提取到的曲线l_A和l_B相同位置处分别找出4个标志点，且相同位置处的标志点两两成对，其中4个标志点分别额点、鼻尖点、软组织鼻根点以及鼻尖点和软组织鼻根点的中点；然后利用最小二乘法，根据这4对标志点估计粗配准相似变换模型的参数τ₀；

步骤3：根据粗配准相似变换模型的参数τ₀对曲线l_A进行相似变换得到曲线l_A*，利用一致点漂移算法对曲线l_A*与步骤1中的曲线l_B进行曲线配准，估计出精配准相似变换模型的参数τ₁；

步骤4：将步骤2得到的粗配准相似变换模型的参数τ₀和步骤3得到的精配准相似变换模型的参数τ₁相乘，得到最终的相似变换模型的参数；根据最终的相似变换模型的参数，利用线性插值方法对步骤1的侧位X线片进行图像重采样与变换，最后将变换后的侧位X线片与步骤1的彩色照片叠加得到融合图像。

2.如权利要求1所述的一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，步骤1所述的利用Canny算法分别从同一患者头部的侧位X线片和彩色照片中各得到一条连续的侧位面部软组织轮廓曲线，具体包括以下步骤：

步骤11：在侧位X线片中提取包含面部软组织结构的感兴趣区域，然后采用Gamma校正和直方图拉伸的方法先后对感兴趣区域和彩色照片做预处理，增强感兴趣区域和彩色照片的图像对比度；

步骤12：利用Canny算法分别提取预处理后的感兴趣区域和彩色照片中的边缘特征，然后根据侧位X线片中标尺的位置信息剔除标尺的边缘点以及标尺邻域内的边缘点；

步骤13：根据面部软组织结构边缘的邻域灰度分布特性，剔除步骤12的彩色照片和已经去除标尺的侧位X线片的边缘特征中的噪声边缘，具体的：

如果以面部软组织结构的边缘为中心沿x轴方向的像素灰度分布特征表现为下降沿，则保留该边缘，否则该边缘为噪声边缘并被剔除；其中，保留下来的边缘为各个分离的曲线段形式；

步骤14：在剔除噪声边缘后的感兴趣区域和彩色照片中提取侧位面部软组织的轮廓曲线，具体为：

若任意相邻的两个曲线段邻接端点的欧式距离小于设定阈值thresh 1，且两个曲线段邻接端点之间的矩形区域内边缘像素的数目小于设定阈值thresh 2，则用直线段连接这两个曲线段的邻接端点；最终在感兴趣区域和彩色照片中分别得到一条连续的侧位面部软组织轮廓曲线。

3.如权利要求2所述的一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，步骤1所述的根据DRLSE模型方法和迭代多项式曲线拟合算法得到两条鼻子和前额的软组织轮廓曲线，具体包括以下步骤：

步骤15：利用DRLSE模型的方法，以步骤14中的两条连续的侧位面部软组织轮廓曲线作为初始形状模型分别对应提取出另外两条连续且光滑的侧位面部软组织轮廓曲线；

步骤16：检测步骤15得到的两条侧位面部软组织轮廓曲线上的拐点，具体为：

步骤161：在侧位面部软组织轮廓曲线上找出横坐标值最大的像素点，该像素点为鼻尖点；

步骤162：由鼻尖点出发向上跟踪侧位面部软组织轮廓曲线，并计算鼻尖点以上部分的侧位面部软组织轮廓曲线的曲率角度，得到一维曲率角度分布图A；由鼻尖点出发向下跟踪侧位面部软组织轮廓曲线，并计算鼻尖点以下部分的侧位面部软组织轮廓曲线的曲率角度，得到一维曲率角度分布图B；

步骤163：分别设定高阈值thresh_high和低阈值thresh_low，在一维曲率角度分布图A和一维曲率角度分布图B中找出所有高于thresh_high的极大值点，然后在每两个相邻的极大值点之间找出低于thresh_low的最小值点；由鼻尖点出发，向上跟踪一维曲率角度分布图A，得到的前两个低于thresh_low的最小值点则为要检测的拐点，向下跟踪一维曲率角度分布图B，得到的第一个低于thresh_low的最小值点则为要检测的拐点；

步骤17：根据鼻尖点和三个拐点，从步骤15得到的两条侧位面部软组织轮廓曲线上分别截取出两条鼻子和前额部位的软组织轮廓曲线；

步骤18：对步骤17得到的两条鼻子和前额的软组织轮廓曲线进行迭代多项式曲线拟合，得到两条最终的鼻子和前额的软组织轮廓曲线。

4.如权利要求3所述的一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，步骤162所述的曲率角度α根据下列公式计算：

其中，α为曲率角度，O、A和B为侧位面部软组织轮廓曲线上任取的三个不同的像素点，且满足

r为设定的半径阈值。

5.如权利要求4所述的一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，步骤18所述的对步骤17得到的两条鼻子和前额的软组织轮廓曲线进行迭代多项式曲线拟合，得到最终的两条鼻子和前额的软组织轮廓曲线，具体步骤如下：

步骤181：假设初始的鼻子和前额软组织轮廓曲线为C₀，并应用多项式曲线拟合算法对其进行拟合得到新的轮廓曲线C₁；

步骤182：计算曲线C₀上任一点(x₀(i),y₀(i))与曲线C₁上对应点(x₁(i),y₁(i))的距离

其中_i为曲线上各点的序号；

步骤183：如果

大于设定阈值threshold且y₁(i)＞y₀(i)，则y₀(i)的值被y₁(i)替代，直到遍历曲线C₀上的所有点，得到更新曲线C₀ ^*；

步骤184：对于步骤183的更新曲线C₀ ^*再次进行多项式曲线拟合，得到新的曲线C₁ ^*；

步骤185：计算更新曲线C₀ ^*上任一点

与C₁ ^*上对应点(x₁ ^*(i),y₁ ^*(i))的距离

步骤186：计算

和

之间的绝对距离diff_dist，其中

若绝对距离diff_dist不大于设定阈值ε，则收敛并结束迭代，曲线C₁ ^*为最终的鼻子和前额的软组织轮廓曲线；否则

替代

重复步骤183到步骤186直至收敛。

6.如权利要求5所述的一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，步骤2所述的在步骤1提取到的曲线l_A和l_B相同位置处分别找出4个标志点，且相同位置处的标志点两两成对，具体步骤包括：

步骤21：分别将步骤1的曲线l_A和l_B都进行横纵坐标交换，对应得到曲线l_A ^#和l_B ^#；

步骤22：分别在步骤21中经横纵坐标交换后的曲线l_A ^#和l_B ^#上均检测出两个极大值点和一个极小值点作为三个标志点，其中纵坐标值较大的一个极大值点为鼻尖点，纵坐标值较小的一个极大值点为额点，极小值点为软组织鼻根点；

步骤23：取鼻尖点和软组织鼻根点的中点为第四个标志点；

步骤24：将曲线l_A ^#和l_B ^#上的四个标志点各自两两对应，组成四对标志点。

7.如权利要求6所述的一种基于轮廓特征的X线片和彩色照片配准方法，其特征在于，步骤3所述的精配准相似变换模型的参数具体计算方法包括：

步骤31：根据步骤2得到的相似变换模型参数τ₀(s,θ,t_x,t_y)对曲线l_A进行相似变换得到曲线l_A*，公式如下：

其中，(x，y)为侧位X线片中像素坐标，(x’，y’)为相似变换后像素坐标，s为尺度因子，θ为旋转角度，t_x和t_y分别为x、y方向的偏移量；

步骤32：将步骤31变换后的曲线l_A*与步骤1得到的曲线l_B进行对齐，分别截取两条曲线在纵坐标轴中存在相互重叠区间的曲线段，其中侧位X线片中的曲线段构成一条粗匹配的鼻子和前额软组织轮廓曲线，彩色照片中的曲线段构成另一条粗匹配的鼻子和前额软组织轮廓曲线；

步骤33：利用一致点漂移算法对步骤32得到的粗匹配后的两条鼻子和前额软组织轮廓曲线进行曲线配准，估计出精配准相似变换模型的参数τ₁(s,θ,t_x,t_y)。

Images