一种应用于X射线图像的自动拼接方法、装置及终端设备
技术领域
本发明涉及图像处理领域,尤其涉及一种应用于医学X射线图像的自动拼接方法、装置、终端设备及存储介质。
背景技术
X射线投影成像技术具有操作简单、一次投影面宽等优势,是医学领域最常用的成像诊断技术之一。在一些X射线诊断场景中,受设备自身硬件的局限性,使得一次投影的范围受限,不能一次性高分辨率、无变形地将医学对象全部拍摄。譬如脊柱侧弯畸形的矫正,医生需要获得完整的脊柱投影图像。为了满足临床需要,需将要拍摄的部位分多次拍摄,然后将其拼接宽视野的图像,以便医生进行临床测量。医学X射线图像的自动拼接,对手术前诊断、手术中监控以及手术后的评价都具有十分重要的意义。
数字图像拼接的主要步骤包括图像配准和图像融合,其中图像配准是图像拼接的核心环节,配准的精度直接决定着图像拼接的成功与否。在医学X射线图像中,因人体解剖结构存在对称性以及人体结构本身的局部存在近似情况,采用一般方法很难做到精确配准,从而严重影响图像的拼接质量。另外,医学X射线图像较其他图像而言,对比度较低、亮度不均匀。已有的数字图像拼接方法很难适用于医学X射线图像的拼接。
发明内容
针对上述问题,本发明的目的在于提供一种应用于医学X射线图像的自动拼接方法、装置、终端设备及存储介质,具备精度高、速度快、鲁棒性强、适应性广的特点。
本发明提供了一种应用于X射线图像的自动拼接方法,包括以下步骤:
对待拼接的X射线图像进行基于连通性的区域分割,以获取经过区域分割后的区域图像;
基于梯度运算获取所述区域图像的边缘信息;
根据所述边缘信息提取所述区域图像的轮廓线;
对所述轮廓线进行空间分布排列获取轮廓特征点,以形成轮廓特征点集;
提取所述区域图像中的骨架特征点,以形成骨架特征点集;
将所述骨架特征点集及所述轮廓特征点集进行叠加,以形成种子特征点集;
对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线;
根据所述特征曲线对所述区域图像进行特征点匹配以完成图像配准;
对所述完成图像配准的区域图像的重叠区域进行图像融合以完成拼接。
优选地,在所述对待拼接的X射线图像进行基于连通性的区域分割,以获取所述区域分割后的区域图像之前,还包括:对待拼接的X射线图像进行二值化处理;具体地,
计算待拼接的X射线图像的灰度直方图Hist[0];其中,所述灰度直方图Hist[0]为一维数组,所述灰度直方图Hist[0]的长度LHist[0]与所述待拼接的X射线图像的最大灰度值Gmax[0]和最小灰度值Gmin[0]之间有如下关系:LHist[0]=Gmax[0]-Gmin[0]+1;
统计所述灰度直方图Hist[0]中极大值的数量,并根据所述极大值的大小进行排序以获取灰度顺序集PHist[0][0];
根据所述灰度顺序集PHist[0][0]中的第一个值PHist[0][0][0]和第二个值PHist[0][0][1]获取梯度阈值GT[0];其中,GT[0]=(PHist[0][0][1]-PHist[0][0][0])×(PHist[0][0][1]-PHist[0][0][0]);
对所述待拼接的X射线图像进行Sobel边缘计算获取掩模图像,获取所述掩模图像中灰度值大于所述梯度阈值GT[0]的像素点集,根据所述像素点集的位置计算所述待拼接的X射线图像对应像素点的灰度均值;
根据所述灰度均值对所述待拼接的X射线图像进行二值化处理,将大于所述灰度均值的像素点置0,小于所述灰度均值的像素点置1。
优选地,所述基于梯度运算获取所述区域图像的边缘信息,具体包括:
计算所述区域图像中所有像素点的梯度值以获取梯度图像;其中,获取所述区域图像中的任一像素点的图像坐标点Pix(x,y)及所述图像坐标点Pix(x,y)的8邻域中的灰度最大值Vmax和灰度最小值Vmin,所述像素点的梯度值为:G(x,y)=Gmax[0]-Vmax+Vmin;
根据所述梯度图像获取边缘信息。
优选地,所述对待拼接的X射线图像进行基于连通性的区域分割,以获取所述区域分割后的区域图像,具体包括:
将所述待拼接的X射线图像中像素值为1的区域分割成至少一个独立的点集;
根据所述独立的点集生成一一对应的背景像素值为0且有效区域像素值为1的区域图像。
优选地,所述提取所述区域图像中的骨架特征点,具体包括:
计算所述区域图像的外轮廓点以形成外轮廓点集,并将所述外轮廓点集中的所有外轮廓点的像素值设为2;
重复以下步骤直到获取所述区域图像中的所有骨架特征点:
计算所述区域图像中像素值为1的点到所述外轮廓点集的最短距离和平均距离,将所述最短距离最大且平均距离最小对应的点作为骨架特征点;
将所述骨架特征点的像素值设为3,将所述骨架特征点的四邻域对应的像素点置为2,将所述骨架特征点与该点的四邻域对应的像素点到所述骨架特征点对应最短距离的轮廓点路径上对应的所有像素点的像素值置为4。
优选地,所述对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线,具体包括:
在所述种子特征点集中选取一点作为原点,根据极坐标表示法计算从0°到360°时所述原点与所述外轮廓点集中的所有外轮廓点的交点之间的第一角度-距离曲线;
获取所述原点与所述外轮廓点集中的所有外轮廓点的交点的位置在所述梯度图像中对应位置的灰度值,以形成第一角度-灰度曲线。
优选地,所述根据所述特征曲线对所述区域图像进行特征点匹配以完成图像配准,具体包括:
将所述区域图像对应的第一角度-距离曲线及第一角度-灰度曲线分别进行2倍的周期延拓,获取长度为720°的第二角度-距离曲线及第二角度-灰度曲线;
将待匹配的目标区域图像对应的第三角度-距离曲线及第三角度-灰度曲线分别与所述第二角度-距离曲线及第二角度-灰度曲线做相关性运算,获取对应的相关值和相关偏移量;
根据所述相关值和所述相关偏移量进行特征点匹配。
优选地,所述对所述完成图像配准的区域图像的重叠区域进行图像融合以完成拼接,具体包括:
对所述完成图像配准的区域图像的重叠区域采用加权平均值法进行叠加处理以完成图像拼接;其中,设所述区域图像Img[0](x,y),所述目标图像为Img[1](x,y),则拼接后的图像为Img(x,y)为:
其中,0<ω(x,y)<1。
加权值ω(x,y)的计算公式为:
其中,w0、h0是所述区域图像Img[0](x,y)的宽度和高度,w1、h1是所述目标图像Img[1](x,y)的宽度和高度。
本发明还提供了一种应用于X射线图像的自动拼接装置,包括:
区域分割模块,用于对待拼接的X射线图像进行基于连通性的区域分割,以获取经过区域分割后的区域图像;
边缘信息获取模块,用于基于梯度运算获取所述区域图像的边缘信息;
轮廓线提取模块,用于根据所述边缘信息提取所述区域图像的轮廓线;
轮廓特征点获取模块,用于对所述轮廓线进行空间分布排列获取轮廓特征点,以形成轮廓特征点集;
骨架特征点获取模块,用于提取所述区域图像中的骨架特征点,以形成骨架特征点集;
种子特征点获取模块,用于将所述骨架特征点集及所述轮廓特征点集进行叠加,以形成种子特征点集;
特征曲线获取模块,用于对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线;
图像配准模块,用于根据所述特征曲线对所述区域图像进行特征点匹配以完成图像配准;
图像融合拼接模块,用于对所述完成图像配准的区域图像的重叠区域进行图像融合以完成拼接。
优选地,在所述区域分割模块之前,还包括:
二值化处理模块,用于对待拼接的X射线图像进行二值化处理;具体地,包括:
直方图计算单元,用于计算待拼接的X射线图像的灰度直方图Hist[0];其中,所述灰度直方图Hist[0]为一维数组,所述灰度直方图Hist[0]的长度LHist[0]与所述待拼接的X射线图像的最大灰度值Gmax[0]和最小灰度值Gmin[0]之间有如下关系:LHist[0]=Gmax[0]-Gmin[0]+1;
顺序集获取单元,用于统计所述灰度直方图Hist[0]中极大值的数量,并根据所述极大值的大小进行排序以获取灰度顺序集PHist[0][0];
梯度阈值获取单元,用于根据所述灰度顺序集PHist[0][0]中的第一个值PHist[0][0][0]和第二个值PHist[0][0][1]获取梯度阈值GT[0];其中,GT[0]=(PHist[0][0][1]-PHist[0][0][0])×(PHist[0][0][1]-PHist[0][0][0]);
灰度均值获取单元,用于对所述待拼接的X射线图像进行Sobel边缘计算获取掩模图像,获取所述掩模图像中灰度值大于所述梯度阈值GT[0]的像素点集,根据所述像素点集的位置计算所述待拼接的X射线图像对应像素点的灰度均值;
二值化处理单元,用于根据所述灰度均值对所述待拼接的X射线图像进行二值化处理,将大于所述灰度均值的像素点置0,小于所述灰度均值的像素点置1。
优选地,所述边缘信息获取模块,具体包括:
梯度值计算单元,用于计算所述区域图像中所有像素点的梯度值以获取梯度图像;其中,获取所述区域图像中的任一像素点的图像坐标点Pix(x,y)及所述图像坐标点Pix(x,y)的8邻域中的灰度最大值Vmax和灰度最小值Vmin,所述像素点的梯度值为:G(x,y)=Gmax[0]-Vmax+Vmin;
信息获取单元,用于根据所述梯度图像获取边缘信息。
优选地,所述区域分割模块,具体包括:
图像分割单元,用于将所述待拼接的X射线图像中像素值为1的区域分割成至少一个独立的点集;
区域图像生成单元,用于根据所述独立的点集生成一一对应的背景像素值为0且有效区域像素值为1的区域图像。
优选地,所述提取所述区域图像中的骨架特征点,具体包括:
计算所述区域图像的外轮廓点以形成外轮廓点集,并将所述外轮廓点集中的所有外轮廓点的像素值设为2;
重复以下步骤直到获取所述区域图像中的所有骨架特征点:
计算所述区域图像中像素值为1的点到所述外轮廓点集的最短距离和平均距离,将所述最短距离最大且平均距离最小对应的点作为骨架特征点;
将所述骨架特征点的像素值设为3,将所述骨架特征点的四邻域对应的像素点置为2,将所述骨架特征点与该点的四邻域对应的像素点到所述骨架特征点对应最短距离的轮廓点路径上对应的所有像素点的像素值置为4。
优选地,所述特征曲线获取模块,具体包括:
角度-距离曲线单元,用于在所述种子特征点集中选取一点作为原点,根据极坐标表示法计算从0°到360°时所述原点与所述外轮廓点集中的所有外轮廓点的交点之间的第一角度-距离曲线;
角度-灰度曲线单元,用于获取所述原点与所述外轮廓点集中的所有外轮廓点的交点的位置在所述梯度图像中对应位置的灰度值,以形成第一角度-灰度曲线。
优选地,所述图像配准模块,具体包括:
周期延拓单元,用于将所述区域图像对应的第一角度-距离曲线及第一角度-灰度曲线分别进行2倍的周期延拓,获取长度为720°的第二角度-距离曲线及第二角度-灰度曲线;
相关性运算单元,用于将待匹配的目标区域图像对应的第三角度-距离曲线及第三角度-灰度曲线分别与所述第二角度-距离曲线及第二角度-灰度曲线做相关性运算,获取对应的相关值和相关偏移量;
匹配单元,用于根据所述相关值和所述相关偏移量进行特征点匹配。
优选地,所述图像融合拼接模块,具体包括:
对所述完成图像配准的区域图像的重叠区域采用加权平均值法进行叠加处理以完成图像拼接;其中,设所述区域图像Img[0](x,y),所述目标图像为Img[1](x,y),则拼接后的图像为Img(x,y)为:
其中,0<ω(x,y)<1。
加权值ω(x,y)的计算公式为:
其中,w0、h0是所述区域图像Img[0](x,y)的宽度和高度,w1、h1是所述目标图像Img[1](x,y)的宽度和高度。
本发明还提供了一种应用于X射线图像的自动拼接的终端设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述中任意一项所述的应用于X射线图像的自动拼接的方法。
本发明还提供了一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的应用于X射线图像的自动拼接的方法。
本发明提供了一种应用于医学X射线图像的自动拼接方法、装置、终端设备及存储介质,通过对待拼接的X射线图像进行基于连通性的区域分割,以获取经过区域分割后的区域图像,获取所述区域图像的轮廓特征点和骨架特征点进行叠加,以形成种子特征点集,对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线并根据所述特征曲线进行图像配准,对所述完成图像配准的区域图像的重叠区域进行图像融合以完成拼接,具有更佳的适用性和更高的精确度,避免了传统Harris角点法、Sift特征点、Surf特征点在对称性人体医学图像上的配准失误率高等特点;且本发明算法简单、实现速度快、鲁棒性强;在不损失图像原有信息的前提下,拥有更佳的视觉一致性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供应用于X射线图像的自动拼接方法的流程示意图。
图2是本发明实施例提供的进行基于连通性的区域分割,以获取经过区域分割后的区域图像的示意图。
图3是本发明实施例提供的对一区域图像的进行梯度运算得到梯度图的示意图。
图4是本发明实施例提供的对另一区域图像进行梯度运算得到的梯度图的示意图。
图5是本发明实施例提供的一区域图像轮廓点集、骨架特征点集的示意图。
图6是本发明实施例提供的另一区域图像轮廓点集、骨架特征点集的示意图。
图7是本发明实施例提供的一区域图像的角度-灰度特征曲线。
图8是本发明实施例提供的另一区域图像的角度-灰度特征曲线。
图9是本发明实施例提供的角度-灰度特征曲线进行2倍周期延拓并进行图像配准的示意图。
图10是本发明实施例提供的完成X射线图像拼接的示意图。
图11是本发明第二实施例提供的第一张待拼接X射线图像进行图像二值化处理的示意图。
图12是本发明第二实施例提供的第二张待拼接X射线图像进行图像二值化处理的示意图。
图13是本发明第二实施例提供的第三张待拼接X射线图像进行图像二值化处理的示意图。
图14是本发明第三实施例提供应用于X射线图像的自动拼接装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明第一实施例提供了一种应用于X射线图像的自动拼接方法,其可由终端设备来执行,并包括以下步骤:
S11,对待拼接的X射线图像进行基于连通性的区域分割,以获取经过区域分割后的区域图像。
在本发明实施例中,所述终端设备可包括桌上型计算机、笔记本、掌上电脑及云端服务器等设备。
在本发明实施例中,所述终端设备对待拼接的X射线图像根据种子生长法进行连通性区域分割,其中,所述种子生长法的基本思想是将具有相似性的像素集合起来构成区域。首先对每个需要分割的区域找出一个种子像素作为生长的基点,然后将种子像素周围邻域中与种子有相同或相似性质的像素(根据事先确定的生长或相似准则来确定)合并到种子像素所在的区域中。而新的像素继续作为种子向四周生长,直到再没有满足条件的像素可以包括进来,一个区域就生长而成了。所述种子生长法的优势是能将具有相同特征的联通区域分割出来,且能提供很好的边界信息和分割结果,区域生长的思想简单,只需要若干种子点即可完成,在生长过程中的生长准则可以自由的指定且可以在同一时刻挑选多个准则。所述连通性是‘点集拓扑学’中的基本概念,把‘连通性’定义如下:对于拓扑空间X,(1)若X中除了空集和X本身外,没有别的既开又闭的子集,则称此‘拓扑空间X是连通的’。(2)若E作为X的子空间,E在诱导拓扑下是可连通的,则称拓扑空间X的子集E,是连通的。
在本发明实施例中,请参阅图2,所述终端设备对所述待拼接的X射线图像利用种子生长法进行分割后做掩模板处理,然后在所述待拼接的X射线图像上提取独立区域的对应像素,得到经过区域分割的区域图像;具体地,所述终端设备将所述待拼接的X射线图像中独立的像素值为1的区域分割成至少一个独立的点集,用Pset[]表示一独立点集,则至少一个独立的点集即为Pset[0],Pset[1]...Pset[n-1],其中n是分割后的区域数量,然后根据所述独立的点集生成一一对应的背景像素值为0且有效区域像素值为1的区域图像,用Bset[]表示区域图像,即根据多个独立点集Pset[0],Pset[1]...Pset[n-1]生成对应的区域图像Bset[0],Bset[1]...Bset[n-1]。需要说明的是,所述的医学X射线图像对应的是医学数字成像和通信标准(Digital Imaging and Communications in Medicine,DICOM)中的光度解析类型(Photometric Interpretation)为灰阶1型(MONOCHROME1),灰度值越大对应的显示亮度值越低。
S12,基于梯度运算获取所述区域图像的边缘信息。
在本发明实施例中,请参阅图3或图4,所述终端设备计算所述区域图像中所有像素点的梯度值以获取梯度图像;其中,所述区域图像中每一个像素点的梯度值的获取方法是:获取所述区域图像中的一像素点的图像坐标点Pix(x,y)及所述图像坐标点Pix(x,y)的8邻域中的灰度最大值Vmax和灰度最小值Vmin,则所述像素点的梯度值为:G(x,y)=Gmax[0]-Vmax+Vmin,其中,Gmax[0]为所述待拼接图像的最大灰度值,重复此步骤直到计算完所述区域图像中所有像素点的梯度值,根据所述区域图像中个像素点的梯度值生成所述区域图像的梯度图像,所述边缘即为图像灰度变化率最大的地方(图像灰度值变化最剧烈的地方)。图像灰度在表面法向变化的不连续造成的边缘。一般认为边缘提取是要保留图像的灰度变化剧烈的区域,边缘信息可以通过定位梯度值大于邻域的相素的方法找到,所述终端设备根据所述梯度图像获取边缘信息。
S13,根据所述边缘信息提取所述区域图像的轮廓线。
在本发明实施例中,请参阅图5,所述终端设备可根据所述边缘信息并基于四邻域法提取所述区域图像的轮廓线,用四邻域法提取所述区域图像的骨骼轮廓线的思路简单地说就是判断骨骼上每个像素点四邻域内其他像素点灰度的方法提取轮廓线,具体地,在所述区域图像上,X射线图像中的骨骼上的点均呈白色而背景图象中的象素点均呈黑色,对于图象上的每个白色像素点来说,以该点为中心判断它的四邻域内其它像素点的灰度,若四邻域内有一个像素点的灰度与该点不同,也就是四邻域中有一个点为黑色,则该白色点为骨骼轮廓线上的点,否则该点就是骨骼内部的点。用该方法对所述区域图象上的所有白色像素点进行判断就会得到骨骼的全部轮廓线,由于骨骼在X射线图象上是离散分布的,所以用四邻域法得到的骨骼轮廓线是离散分布的若干条封闭的曲线并且是单像素曲线。
S14,对所述轮廓线进行空间分布排列获取轮廓特征点,以形成轮廓特征点集。
在本发明实施例中,所述终端设备对所述轮廓线进行空间分布排列获取轮廓特征点,请参阅图5,所述终端设备对所述区域图像进行轮廓提取并进行空间分布排列获取目标轮廓点集(1)和辅助轮廓点集(6),请参阅图6,图6为待拼接的另一区域图像,对所述图6中的区域图像进行轮廓提取并进行空间分布排列获取图6中的待匹配目标轮廓点集(9)。
S15,提取所述区域图像中的骨架特征点,以形成骨架特征点集。
在本发明实施例中,用梯度算子和四邻域法取得的骨骼轮廓线是若干条封闭的曲线,包括内外两层。当射线接触到轮廓线时终止该条射线的扫射保留每条射线在轮廓线上碰到的第一个点。当四个方向全部扫射完以后就会得到骨骼最外层的轮廓线,该轮廓线是一组不封闭的,离散的曲线段。所述移动终端计算所述区域图像的外轮廓点以形成外轮廓点集,请参阅图5中的目标轮廓点集(1)和辅助轮廓点集(6)为所述外轮廓点集,并将所述外轮廓点集中的所有外轮廓点的像素值设为2,计算所述区域图像中像素值为1的点到所述外轮廓点集的最短距离和平均距离,将所述最短距离最大且平均距离最小对应的点作为骨架特征点,重复以下步骤直到获取所述区域图像中的所有骨架特征点:将所述骨架特征点的像素值设为3,将所述骨架特征点的四邻域对应的像素点置为2,将所述骨架特征点与该点的四邻域对应的像素点到所述骨架特征点对应最短距离的轮廓点路径上对应的所有像素点的像素值置为4,在所述骨架特征点的四邻域之外查找像素值为1且到所述外轮廓点集的所述最短距离最大且平均距离最小的像素点作为下一个骨骼特征点。所述终端设备在获取所述区域图像中所有的骨骼特征点后,根据所述骨骼特征点生成骨架特征点集,请参阅图5中的目标骨架特征点集(2)和图4中的辅助骨架特征点集(7)为所述骨架特征点集,图6中的另一区域图像的被匹配的目标骨架特征点集(10)。
S16,将所述骨架特征点集及所述轮廓特征点集进行叠加,以形成种子特征点集。
在本发明实施例中,所述终端设备将将所述骨架特征点集及所述轮廓特征点集进行叠加,生成种子特征点集,提高图像融合的准确度。
S17,对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线。
在本发明实施例中,所述终端设备在所述种子特征点集中选取一点作为原点,根据极坐标表示法计算从0°到360°时所述原点与所述外轮廓点集中的所有外轮廓点的交点之间的第一角度-距离曲线A-Sset[1];所述设备终端获取所述原点与所述外轮廓点集中的所有外轮廓点的交点的位置在所述梯度图像中对应位置的灰度值,以形成第一角度-灰度曲线A-Lset[1],请参阅图3、图4、图7,轮廓点集1和骨架特征点集2相叠加形成种子特征点集,针对特定种子特征点4,计算得到特定角度下特定种子特征点4与轮廓点集1的交点3。以角度为自变量,以特定种子特征点4到轮廓点集1的交点的距离为因变量,得到特定种子特征点4对应的角度-距离曲线A-Sset,即目标种子角度-距离特征曲线5,即第一角度-距离曲线A-Sset[1]。相应的,在图3中的梯度图像上画圆,得到特定种子特征点4对应的角度-灰度曲线A-Lset,即目标种子角度-灰度特征曲线8,即第一角度-灰度曲线A-Lset[1]。
S18,根据所述特征曲线对所述区域图像进行特征点匹配以完成图像配准。
在本发明实施例中,请参阅图4、图6及图8,待匹配轮廓点集9和待匹配骨架特征点集10相叠加,针对种子特征点11,计算得到种子特征点11对应的角度-距离曲线A-Sset[3],即待匹配种子角度-距离特征曲线12。相应的,在图4中的梯度图像上画圆,得到种子特征点11对应的角度-灰度曲线A-Lset[3],即待匹配种子角度-灰度特征曲线13。所述终端设备将所述区域图像对应的第一角度-距离曲线A-Sset[1]及第一角度-灰度曲线A-Lset[1]分别进行2倍的周期延拓,获取长度为720°的第二角度-距离曲线A-Sset[2]及第二角度-灰度曲线A-Lset[2],请参阅图9;然后将待匹配的目标区域图像对应的第三角度-距离曲线A-Sset[3]及第三角度-灰度曲线A-Lset[3]分别与所述第二角度-距离曲线A-Sset[2]及第二角度-灰度曲线A-Lset[2]做相关性运算,获取对应的相关值VRef[n-m]A-S、VRef[n-m]A-L和相关偏移量TRef[n-m]A-S、TRef[n-m]A-L;最后所述终端设备根据所述相关值和所述相关偏移量进行特征点匹配,其中,匹配的方法是:VRef[n-m]A-S+VRef[n-m]A-L+abs(TRef[n-m]A-S-TRef[n-m]A-L)的值最小,其中abs()指求取绝对值,请参阅图9,对特定种子特征点4的目标种子角度-灰度特征曲线8,即所述第一角度-灰度曲线A-Lset[1]进行2倍的周期延拓得到所述第二角度-灰度曲线A-Lset[2]。通过上述匹配计算,特征点11对应的待匹配种子角度-灰度特征曲线13,即所述第三角度-灰度曲线A-Lset[3]与2倍的周期延拓后的目标种子角度-灰度特征曲线8,即所述第二角度-灰度曲线A-Lset[2]之间有最佳的相关性。需要说明的是,角度-灰度曲线A-Lset和角度-距离曲线A-Sset是旋转相关的,理论上一个点就可以完成空间图像配准,本发明实施例提供的基于骨架特征点的特征曲线匹配算法能够有效避免匹配当中的“一对多”现象,且算法简单、实现速度快。
S19,对所述完成图像配准的区域图像的重叠区域进行图像融合以完成拼接。
在本发明实施例中,所述终端设备基于非线性过渡法对所述完成图像配准的区域图像的重叠区域进行图像融合,所述终端设备对所述完成图像配准的区域图像的重叠区域采用加权平均值法进行叠加处理以完成图像拼接;其中,设所述区域图像Img[0](x,y),所述目标图像为Img[1](x,y),则拼接后的图像为Img(x,y)为:
其中,0<ω(x,y)<1。
加权值ω(x,y)的计算公式为:
其中,w0、h0是所述区域图像Img[0](x,y)的宽度和高度,w1、h1是所述目标图像Img[1](x,y)的宽度和高度,本发明实施例所提供的加权平均融合方法能够在不损失图像原有信息的前提下,拥有更佳的视觉一致性。
在本发明实施例中,请参阅图10,所述终端设备对图像融合后的所述区域图像进行融合拼接,具体地,对所有的区域图像基于空间分布情况按照先上后下、由左到右的顺序进行融合拼接,得到最终的全尺度图像。
综上所述,本发明提供了一种应用于医学X射线图像的自动拼接方法,通过对待拼接的X射线图像进行基于连通性的区域分割,以获取经过区域分割后的区域图像,获取所述区域图像的轮廓特征点和骨架特征点进行叠加,以形成种子特征点集,对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线并根据所述特征曲线进行图像配准,对所述完成图像配准的区域图像的重叠区域进行图像融合拼接,具有更佳的适用性和更高的精确度,避免了传统Harris角点法、Sift特征点、Surf特征点在对称性人体医学图像上的配准失误率高等特点;且本发明算法简单、实现速度快、鲁棒性强;在不损失图像原有信息的前提下,拥有更佳的视觉一致性。
为了便于对本发明的理解,下面将对本发明的一些优选实施例做更进一步的描述。
本发明第二实施例:
在本发明第一实施例的基础上,在所述S11之前,还包括:
S10,对待拼接的X射线图像进行二值化处理。
在本发明实施例中,请参阅图11、图12及图13为所述待拼接的X射线图像进行二值化处理的示意图。所述终端设备计算待拼接的X射线图像的灰度直方图Hist[0];其中,所述灰度直方图Hist[0]为一维数组,所述灰度直方图Hist[0]的长度LHist[0]与所述待拼接的X射线图像的最大灰度值Gmax[0]和最小灰度值Gmin[0]之间有如下关系:LHist[0]=Gmax[0]-Gmin[0]+1;然后统计所述灰度直方图Hist[0]中极大值的数量,并根据所述极大值的大小进行排序以获取灰度顺序集PHist[0][0],针对医学中的计算机X线摄影(CR:ComputedRadiography)和数字X线摄影(DR:Digital Radiography)图像,其背景值接近整幅图的灰度最大值;并根据所述灰度顺序集PHist[0][0]中的第一个值PHist[0][0][0]和第二个值PHist[0][0][1]获取梯度阈值GT[0];其中,GT[0]=(PHist[0][0][1]-PHist[0][0][0])×(PHist[0][0][1]-PHist[0][0][0]);所述终端设备对所述待拼接的X射线图像进行Sobel边缘计算获取掩模图像,获取所述掩模图像中灰度值大于所述梯度阈值GT[0]的像素点集,根据所述像素点集的位置计算所述待拼接的X射线图像对应像素点的灰度均值;最后所述终端设备根据所述灰度均值对所述待拼接的X射线图像进行二值化处理,将大于所述灰度均值的像素点置0,小于所述灰度均值的像素点置1。
请参阅图14,本发明第三实施例还提供了一种应用于X射线图像的自动拼接装置,包括:
区域分割模块11,用于对待拼接的X射线图像进行基于连通性的区域分割,以获取经过区域分割后的区域图像。
边缘信息获取模块12,用于基于梯度运算获取所述区域图像的边缘信息。
轮廓线提取模块13,用于根据所述边缘信息提取所述区域图像的轮廓线。
轮廓特征点获取模块14,用于对所述轮廓线进行空间分布排列获取轮廓特征点,以形成轮廓特征点集。
骨架特征点获取模块15,用于提取所述区域图像中的骨架特征点,以形成骨架特征点集。
种子特征点获取模块16,用于将所述骨架特征点集及所述轮廓特征点集进行叠加,以形成种子特征点集。
特征曲线获取模块17,用于对所述种子特征点集中的所有种子特征点进行特征扫描以形成特征曲线。
图像配准模块18,用于根据所述特征曲线对所述区域图像进行特征点匹配以完成图像配准。
图像融合拼接模块19,用于对所述完成图像配准的区域图像的重叠区域进行图像融合以完成拼接。
优选地,在所述区域分割模块之前,还包括:
二值化处理模块,用于对待拼接的X射线图像进行二值化处理。具体地,包括:
直方图计算单元,用于计算待拼接的X射线图像的灰度直方图Hist[0];其中,所述灰度直方图Hist[0]为一维数组,所述灰度直方图Hist[0]的长度LHist[0]与所述待拼接的X射线图像的最大灰度值Gmax[0]和最小灰度值Gmin[0]之间有如下关系:LHist[0]=Gmax[0]-Gmin[0]+1。
顺序集获取单元,用于统计所述灰度直方图Hist[0]中极大值的数量,并根据所述极大值的大小进行排序以获取灰度顺序集PHist[0][0]。
梯度阈值获取单元,用于根据所述灰度顺序集PHist[0][0]中的第一个值PHist[0][0][0]和第二个值PHist[0][0][1]获取梯度阈值GT[0];其中,GT[0]=(PHist[0][0][1]-PHist[0][0][0])×(PHist[0][0][1]-PHist[0][0][0])。
灰度均值获取单元,用于对所述待拼接的X射线图像进行Sobel边缘计算获取掩模图像,获取所述掩模图像中灰度值大于所述梯度阈值GT[0]的像素点集,根据所述像素点集的位置计算所述待拼接的X射线图像对应像素点的灰度均值。
二值化处理单元,用于根据所述灰度均值对所述待拼接的X射线图像进行二值化处理,将大于所述灰度均值的像素点置0,小于所述灰度均值的像素点置1。
优选地,所述边缘信息获取模块,具体包括:
梯度值计算单元,用于计算所述区域图像中所有像素点的梯度值以获取梯度图像;其中,获取所述区域图像中的任一像素点的图像坐标点Pix(x,y)及所述图像坐标点Pix(x,y)的8邻域中的灰度最大值Vmax和灰度最小值Vmin,所述像素点的梯度值为:G(x,y)=Gmax[0]-Vmax+Vmin。
信息获取单元,用于根据所述梯度图像获取边缘信息。
优选地,所述区域分割模块,具体包括:
图像分割单元,用于将所述待拼接的X射线图像中像素值为1的区域分割成至少一个独立的点集。
区域图像生成单元,用于根据所述独立的点集生成一一对应的背景像素值为0且有效区域像素值为1的区域图像。
优选地,所述提取所述区域图像中的骨架特征点,具体包括:
计算所述区域图像的外轮廓点以形成外轮廓点集,并将所述外轮廓点集中的所有外轮廓点的像素值设为2。
重复以下步骤直到获取所述区域图像中的所有骨架特征点:
计算所述区域图像中像素值为1的点到所述外轮廓点集的最短距离和平均距离,将所述最短距离最大且平均距离最小对应的点作为骨架特征点。
将所述骨架特征点的像素值设为3,将所述骨架特征点的四邻域对应的像素点置为2,将所述骨架特征点与该点的四邻域对应的像素点到所述骨架特征点对应最短距离的轮廓点路径上对应的所有像素点的像素值置为4。
优选地,所述特征曲线获取模块,具体包括:
角度-距离曲线单元,用于在所述种子特征点集中选取一点作为原点,根据极坐标表示法计算从0°到360°时所述原点与所述外轮廓点集中的所有外轮廓点的交点之间的第一角度-距离曲线。
角度-灰度曲线单元,用于获取所述原点与所述外轮廓点集中的所有外轮廓点的交点的位置在所述梯度图像中对应位置的灰度值,以形成第一角度-灰度曲线。
优选地,所述图像配准模块,具体包括:
周期延拓单元,用于将所述区域图像对应的第一角度-距离曲线及第一角度-灰度曲线分别进行2倍的周期延拓,获取长度为720°的第二角度-距离曲线及第二角度-灰度曲线。
相关性运算单元,用于将待匹配的目标区域图像对应的第三角度-距离曲线及第三角度-灰度曲线分别与所述第二角度-距离曲线及第二角度-灰度曲线做相关性运算,获取对应的相关值和相关偏移量。
匹配单元,用于根据所述相关值和所述相关偏移量进行特征点匹配。
优选地,所述图像融合拼接模块,具体包括:
对所述完成图像配准的区域图像的重叠区域采用加权平均值法进行叠加处理已完成图像拼接;其中,设所述区域图像Img[0](x,y),所述目标图像为Img[1](x,y),则拼接后的图像为Img(x,y)为:
其中,0<ω(x,y)<1。
加权值ω(x,y)的计算公式为:
其中,w0、h0是所述区域图像Img[0](x,y)的宽度和高度,w1、h1是所述目标图像Img[1](x,y)的宽度和高度。
本发明第四实施例提供的应用于X射线图像的自动拼接终端设备。该实施例的应用于X射线图像的自动拼接的终端设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如应用于X射线图像的自动拼接程序。所述处理器执行所述计算机程序时实现上述各个应用于X射线图像的自动拼接的方法实施例中的步骤,例如图1所示的步骤S12。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如图像融合模块。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述应用于X射线图像的自动拼接的终端设备中的执行过程。
所述应用于X射线图像的自动拼接的终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述应用于X射线图像的自动拼接的终端设备可包括,但不仅限于,处理器、存储器,可以包括比列举的设备更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述应用于X射线图像的自动拼接的终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述应用于X射线图像的自动拼接的终端设备的控制中心,利用各种接口和线路连接整个应用于X射线图像的自动拼接的终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述应用于X射线图像的自动拼接的终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等;存储数据区可存储根据终端设备的使用所创建的数据(比如图像数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述应用于X射线图像的自动拼接的终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。