CN105701764A - 一种用于医学图像的拼接方法 - Google Patents

Abstract

本发明公开一种用于医学图像的拼接方法，包括步骤(1)对待拼接图像作预处理；(2)对预处理后的图像进行特征提取，即从图像中提取灰度变化明显的点、线、区域特征形成特征集；(3)将特征提取后的图像进行特征匹配得到拼接图；(4)判断图像拼接是否成功；(5)将成功拼接后的图像进行边界平滑处理得到最终的拼接图。本发明可以有效解决因为区域相似度高、空白区域多等引起的拼接问题，有比较高的健壮性和鲁棒性，拼接结果更加可靠，成功率高，普适性强。

Description

一种用于医学图像的拼接方法

技术领域

本发明涉及图像拼接领域，具体涉及一种用于医学图像的拼接方法。

背景技术

图像拼接是图像处理中一种常见的处理方式，也是研究的热点之一。图像拼接解决的问题一般是：通过对齐一系列空间重叠的图像，构成一个无缝的、清晰的图像，它具有比单个图像更高的分辨率和更大的视野。医学图像特别是数字病理切片中，由于显微成像视野小，常常会遇到需要拼接的情况。现阶段常用的拼接算法是基于区域的拼接算法。由于医学图像的特殊性，如区域相似度较高，空白区域过多等问题，普通的图像拼接方法会造成图像拼缝设置拼错，普适性不高。

发明内容

为解决上述问题，本发明提供一种适用于医学的、拼接效果好、结果可靠的图像拼接方法。

本发明的技术方案是：一种用于医学图像的拼接方法，包括以下步骤：

S1：对待拼接图像作预处理；

S2：对预处理后的图像进行特征提取，即从图像中提取灰度变化明显的点、线、区域特征形成特征集；

S3：将特征提取后的图像进行特征匹配得到拼接图；

S4：判断图像拼接是否成功；

S5：将成功拼接后的图像进行边界平滑处理得到最终的拼接图。

进一步地，步骤S1的图像预处理包括图像校正和噪声抑制。

进一步地，步骤S2特征提取采用canny算子，将预处理后的图像作canny边缘识别作为匹配特征。

进一步地，canny边缘识别具体包括以下步骤：

S2.1：使用模板 $M_x=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right]$ 和 $M_y=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$ 对预处理后的图像进行卷积运算，获得在边缘位置处特征被加强的图像；

S2.2：对步骤S2.1得到的图像进行非极大值抑制，得到边缘特征图。

进一步地，非极大值抑制的具体作法是：设定双线性阈值T_min和T_max，使大于T_max的为强边缘，小于T_max但大于T_min的为弱边缘，小于T_min的去掉，以此连接边缘，得到最后的边缘特征图。

进一步地，步骤S3采用距离变换算法进行特征匹配。

进一步地，距离变换算法具体包括以下步骤：

S3.1：在一张特征提取后的图像上取一小块作为模板块，记为M(x，y)，M(x，y)表示模板块内像素坐标为(x，y)处的灰度值；

S3.2：在另一需匹配的特征提取后的图像上取相同大小的匹配块，记为M_C(x，y)，M_C(x，y)表示匹配块内像素坐标为(x，y)处的灰度值；

S3.3：移动匹配块M_C(x，y)，分别计算匹配块M_C(x，y)在不同位置时，与模板块M(x，y)的距离该式的作用是计算模板块和匹配块所有对应点的灰度差绝对值的和，式中i、j分别表示x、y坐标，X、Y表示x、y坐标的最大值，即匹配块的长和宽；

S3.4：判断距离D的大小，D最小的位置为拼接差异最小处。

进一步地，步骤S4采用尖峰判断图像是否拼接成功。

进一步地，尖峰判断具体包括以下步骤：

S4.1：记D最小处的位置为P_s，计算出P_s处匹配块M_C(x，y)与模板M(x，y)的距离D_s；

S4.2：考察模糊区域s-d<k<s+d内所有的距离值D_k，其中，d为离开P_s处的距离，s为拼接缝的x坐标，k为模糊区域内模糊点的x坐标；

S4.3：计算符合的点的个数c；

S4.4：判断的大小，若则图像拼接成功，其中T_d为判断阈值。

进一步地，其特征在于，步骤S5采用径向模糊算法对图像的拼缝进行平滑处理，平滑处理使用的算子为 $\left[\begin{array}{ccc}\sqrt{2}T& T& \sqrt{2}T\\ T& T& T\\ \sqrt{2}T& T& \sqrt{2}T\end{array}\right],$ 其中 $T=\frac{T_p}{dis+1},$ T_p为初始设定的阈值，dis是处理像素距离拼接缝的距离。

本发明提供的用于医学图像的拼接方法，针对医学图像的特殊性，采用基于纹理特征信息的图像拼接方法，即对带拼接图像预处理后，从图像中提取灰度变化明显的点、线、区域特征形成特征集进行特征提取，不是直接利用图像的像素值，而是通过像素导出图像特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，可以有效解决因为区域相似度高、空白区域多等引起的拼接问题，本方案的拼接方法有比较高的健壮性和鲁棒性。而且在对图像进行匹配时，判断图像匹配是否成功，使图像拼接结果更加可靠，提高拼接成功率，保障医生做出正确的诊断结果。本方案普适性更强，对常规染色病理图像，免疫组化，荧光染色都有较强的适用性。

附图说明

图1是本发明具体实施例的拼接方法流程图。

图2是待拼接的免疫组化图像A。

图3是待拼接的免疫组化图像B。

图4是免疫组化图像A和免疫组化图像B经本方案的拼接方法拼接后的结果图。

具体实施方式

下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。

如图1所示，本发明提供的用于医学图像的拼接方法，包括以下步骤：

步骤1：图像预处理。在做拼接之前，首先要对待拼接图像A和待拼接图像B进行预处理，以得到更好地拼接效果。

图像预处理包括图像校正和噪声抑制。拍摄的图片一般具有失真现象，图像校正使待拼接图像最大程度地接近真实图像。图像噪声可以理解为妨碍人的视觉感知，或妨碍系统传感器对所接受图像源信息进行理解或分析的各种原因，也可以理解成真实信号与理想信号之间存在的偏差，若输入伴有较大的噪声，必然影响图像拼接过程及输出结果。图像预处理便于后续图像拼接，提高拼接结果可靠性。

步骤2：对预处理后的图像进行特征提取，即从图像中提取灰度变化明显的点、线、区域特征形成特征集。

鉴于医学图像的特殊性，特征提取使用边缘提取，采用canny算子，将预处理后的图像作canny边缘识别作为匹配特征。canny算子具有抗噪性和弱边缘性的特点，适用于医学图片拼接，处理效果好。

canny边缘识别具体包括以下步骤：

步骤2.1：使用模板 $M_x=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right]$ 和 $M_y=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$ 对预处理后的图像进行卷积运算，获得在边缘位置处特征被加强的图像；

步骤2.2：对步骤2.1得到的图像进行非极大值抑制，即设定双线性阈值T_min和T_max，使大于T_max的为强边缘，小于T_max但大于T_min的为弱边缘，小于T_min的去掉，以此连接边缘，得到最后的边缘特征图。需要说明的是，可以设定T_min＝0.4T_max，得到效果良好的边缘特征图，以便于后续特征匹配。

步骤3：将特征提取后的图像进行特征匹配，即将边缘识别后的图像进行匹配，得到拼接图。本方案采用较为高效的距离变换算法进行匹配。

步骤3.1：在一张特征提取后的图像上取一小块作为模板块，记为M(x，y)，M(x，y)表示模板块内像素坐标为(x，y)处的灰度值；

步骤3.2：在另一需匹配的特征提取后的图像上取相同大小的匹配块，记为M_C(x，y)，M_C(x，y)表示匹配块内像素坐标为(x，y)处的灰度值；

步骤3.3：移动匹配块M_C(x，y)，分别计算匹配块M_C(x，y)在不同位置时，与模板块M(x，y)的距离该式的作用是计算模板块和匹配块所有对应点的灰度差绝对值的和，式中i、j分别表示x、y坐标，X、Y表示x、y坐标的最大值，即匹配块的长和宽；；

步骤3.4：判断距离D的大小，D最小的位置为拼接差异最小处。

步骤4：判断图像拼接是否成功。步骤3中判断出拼接差异最小处，但差异最小并不意味着拼接成功，即使是毫不相关的两图都可以计算出最小的D，因此有必要判断图像是否匹配成功。本方案采用尖峰判断图像匹配是否成功，判断效果准确，方法简单，极大提高拼接结果的可靠性。判断方法如下：

步骤4.1：记D最小处的位置为P_s，计算出P_s处匹配块M_C(x，y)与模板M(x，y)的距离D_s；

步骤4.2：考察模糊区域s-d<k<s+d内所有的距离值D_k，其中，s为步骤3得到的拼接图的拼接缝的x坐标，k为模糊点的x坐标，d为离开P_s处的距离，d可根据需要人为设定；

步骤4.3：计算符合的点的个数c；

步骤4.4：判断的大小，若则图像拼接成功，其中T_d为判断阈值，可根据需要人为设定。

步骤5：将成功拼接后的图像进行边界平滑处理得到最终的拼接图。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于一些本应该相同的图像特征，如图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时，由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更加自然。

本方案采用径向模糊算法对拼缝进行平滑处理，即利用算子 $\left[\begin{array}{ccc}\sqrt{2}T& T& \sqrt{2}T\\ T& T& T\\ \sqrt{2}T& T& \sqrt{2}T\end{array}\right]$ 对拼接缝隙左右一定长度内像素进行卷积处理，其中T_p为初始设定的阈值，dis是处理像素距离拼接缝的距离。

如图2所示为待拼接的免疫组化图像A，图3是待拼接的免疫组化图像B，图4是免疫组化图像A和免疫组化图像B经本方案的拼接方法拼接后的结果图，从图4可看出本方案的拼接成功率高，拼接效果好。

以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。

Claims (10)

1.一种用于医学图像的拼接方法，其特征在于，包括以下步骤：

S1：对待拼接图像作预处理；

S2：对预处理后的图像进行特征提取，即从图像中提取灰度变化明显的点、线、区域特征形成特征集；

S3：将特征提取后的图像进行特征匹配得到拼接图；

S4：判断图像拼接是否成功；

S5：将成功拼接后的图像进行边界平滑处理得到最终的拼接图。

2.根据权利要求1所述的用于医学图像的拼接方法，其特征在于，步骤S1的图像预处理包括图像校正和噪声抑制。

3.根据权利要求1或2所述的用于医学图像的拼接方法，其特征在于，步骤S2特征提取采用canny算子，将预处理后的图像作canny边缘识别作为匹配特征。

4.根据权利要求3所述的用于医学图像的拼接方法，其特征在于，canny边缘识别具体包括以下步骤：

S2.1：使用模板 $M_x=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right]$ 和 $M_y=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$ 对预处理后的图像进行卷积运算，获得在边缘位置处特征被加强的图像；

S2.2：对步骤S2.1得到的图像进行非极大值抑制，得到边缘特征图。

5.根据权利要求4所述的用于医学图像的拼接方法，其特征在于，非极大值抑制的具体作法是：设定双线性阈值T_min和T_max，使大于T_max的为强边缘，小于T_max但大于T_min的为弱边缘，小于T_min的去掉，以此连接边缘，得到最后的边缘特征图。

6.根据权利要求1、2、4或5所述的用于医学图像的拼接方法，其特征在于，步骤S3采用距离变换算法进行特征匹配。

7.根据权利要求6所述的用于医学图像的拼接方法，其特征在于，距离变换算法具体包括以下步骤：

S3.1：在一张特征提取后的图像上取一小块作为模板块，记为M(x,y)，M(x,y)表示模板块内像素坐标为(x，y)处的灰度值；

S3.2：在另一需匹配的特征提取后的图像上取相同大小的匹配块，记为M_C(x,y)，M_C(x,y)表示匹配块内像素坐标为(x，y)处的灰度值；

S3.3：移动匹配块M_C(x,y)，分别计算匹配块M_C(x,y)在不同位置时，与模板块M(x,y)的距离该式的作用是计算模板块和匹配块所有对应点的灰度差绝对值的和，式中i、j分别表示x、y坐标，X、Y表示x、y坐标的最大值，即匹配块的长和宽；

S3.4：判断距离D的大小，D最小的位置为拼接差异最小处。

8.根据权利要求7所述的用于医学图像的拼接方法，其特征在于，步骤S4采用尖峰判断图像是否拼接成功。

9.根据权利要求8所述的用于医学图像的拼接方法，其特征在于，尖峰判断具体包括以下步骤：

S4.1：记D最小处的位置为P_s，计算出P_s处匹配块M_C(x,y)与模板M(x,y)的距离D_s；

S4.2：考察模糊区域s-d＜k＜s+d内所有的距离值D_k，其中，d为离开P_s处的距离，s为拼接缝的x坐标，k为模糊区域内模糊点的x坐标；

S4.3：计算符合的点的个数c；

S4.4：判断的大小，若则图像拼接成功，其中T_d为判断阈值。

10.根据权利要求1、2、4、5、7、8或9所述的用于医学图像的拼接方法，其特征在于，步骤S5采用径向模糊算法对图像的拼缝进行平滑处理，平滑处理使用的算子为 $\left[\begin{array}{ccc}\sqrt{2}T& T& \sqrt{2}T\\ T& T& T\\ \sqrt{2}T& T& \sqrt{2}T\end{array}\right],$ 其中T_p为初始设定的阈值，dis是处理像素距离拼接缝的距离。