CN103295209A - Dr图像的拼接方法及系统 - Google Patents

Abstract

本发明公开一种DR图像的拼接方法及系统。其中，所述方法包括：在其中一幅DR图像的预期重合区域选取M×M像素的图像块作为基准块，在另一幅DR图像的预期重合区域以M×M像素大小的滑动窗口取块，计算每个取块与基准块之间的互信息，找出互信息最大的取块，通过计算该互信息最大的取块的左上角顶点与基准块的左上角顶点之间的坐标差确定两幅DR图像的拼接位置；将两幅DR图像对齐后，按照拼接位置进行拼接处理。本发明通过采用多分辨率的方式进行图像配准，减少了图像拼接时间消耗；通过互信息的计算精确的定位了图像拼接位置，并通过灰度调节和图像去缝使得拼接后的图像具有较好的视觉统一性，为基于DR图像的医学诊断提供了便利。

Description

DR图像的拼接方法及系统

技术领域

本发明涉及一种DR图像处理技术，尤其是涉及一种DR图像的拼接方法及系统。 

背景技术

随着现代医学技术的不断发展和医疗诊断手段的不断完善，直接数字化X射线摄影系统(Digital Radiography，DR)实现的DR图像在临床诊断、医学科研等DR图像分析方面有着广泛的应用。 

尤其是在图像导引的骨科诊断和治疗中具有重要的临床应用价值。目前骨科临床常用的直接数字化X射线摄影设备(DR)仅能提供患者部分身体的影像。在传统的DR图像分析中，医生需要在诊断治疗分析一系列的DR图像，才能在自己的脑海中重构出完整的患者全身DR图像，这样一来加重了医生的负担。因此，将若干幅DR图像拼接为一幅完整的患者DR全景图像提供给医生诊断是十分必要的。 

申请号CN201110073969.8，发明名称为“一种基于模板的CCD-DR图像拼接方法”的中国专利申请，使用模板提取DR图像中的特征点，使用提取的特征点进行图像匹配和拼接。该技术方案通过模板提取特征点虽然加快了处理速度，但是造成了提取的特征点不够准确，进行图像拼接时容易产生误匹配。 

申请号CN200710029956.4，发明名称为“X线透视人体影像融合拼接方法”的中国专利申请，通过人体部位的智能识别，使用不同的方法来进行图像拼接处理。但是，此技术方案没有清晰的阐述其人体部位智能识别方法和对应不同部位采用的拼接算法，同时其特征匹配方式过于简单，容易产生误匹配。 

申请号CN201010250868.9，发明名称“一种图像拼接方法”的中国专利申请，通过实时获取或已存储的超声视频图像序列的拼接，利用相邻两帧图像的高度相关性估计活动图和配准图之间的运动向量，得到一个旋转角度和位移量，通过旋转角度和位移量进而完成两幅图像的配准过程。该技术方案对超声图像有效，但是其中使用了最小二乘法等优化算法，需要消耗处理时间。但是，由于DR图像尺寸远大于超声图像，因此该方法在处理DR图像时效率较低。 

发明内容

本发明提出一种DR图像的拼接方法及系统，将两幅或者多幅有重叠区域的DR图像拼接成为一幅完整的DR图像，从而方便医生的诊断。 

本发明采用如下技术方案实现：一种DR图像的拼接方法，其包括：步骤A、在其中一幅DR图像的预期重合区域选取M×M像素的图像块作为基准块，在另一幅DR图像的预期重合区域以M×M像素大小的滑动窗口取块，计算每个取块与基准块之间的互信息，找出互信息最大的取块，通过计算该互信息最大的取块的左上角顶点与基准块的左上角顶点之间的坐标差确定两幅DR图像的拼接位置；步骤B、将两幅DR图像对齐后，按照拼接位置进行拼接处理；其中，M为自然数。 

另外，所述步骤B之后还包括步骤C：将两幅DR图像的灰度调整成一致。 

另外，所述步骤C具体包括：通过两幅DR图像的重合区域的像素平均值比值，得到两幅DR图像的灰度差；调整其中一幅DR图像的灰度值，使两幅DR图像的灰度一致。 

另外，所述步骤C之后还包括步骤D：将两幅DR图像在重合区域中的拼接位置进行灰度融合以消除接缝。 

另外，所述步骤A之前还包括步骤：将需要拼接的两幅DR图像进行分辨率下采样。 

另外，所述步骤B包括：步骤B1、在两幅DR图像的原始分辨率下，重复步骤A进一步精确计算两幅DR图像的拼接位置；步骤B2、按照步骤B1计算出的拼接位置，将两幅DR图像进行拼接接合处理。 

另外，所述两幅DR图像下采样后的分辨率为256×256。 

对应的，本发明公开一种DR图像的拼接系统，所述系统包括：拼接位置确定模块，用于在其中一幅DR图像的预期重合区域选取M×M像素的图像块作为基准块，在另一幅DR图像的预期重合区域以M×M像素大小的滑动窗口取块，计算每个取块与基准块之间的互信息，找出互信息最大的取块，通过计算该互信息最大的取块的左上角顶点与基准块的左上角顶点之间的坐标差确定两幅DR图像的拼接位置；拼接结合处理模块，用于将两幅DR图像对齐后，按照拼接位置进行拼接处理；其中，M为自然数。 

其中，所述系统还包括：灰度调整模块，用于将两幅DR图像的灰度调整成一致；灰度融合模块，用于将两幅DR图像在重合区域中的拼接位置进行灰度融合以消除接缝。 

其中，所述系统还包括：下采样模块，用于将需要拼接的两幅DR图像进行分辨率下采样。 

与现有技术相比，本发明具有如下有益效果： 

本发明通过采用多分辨率的方式进行图像配准，减少了图像拼接时间消耗；通过互信息的计算精确的定位了图像拼接位置，并通过灰度调节和图像去缝使得拼接后的图像具有较好的视觉统一性，为基于DR图像的医学诊断提供了便利。 

附图说明

图1是本发明的流程示意图； 

图2A和图2B分别是需要拼接的两幅DR图像示意图； 

图2C是将图2A和图2B拼接后的示意图； 

图3是本发明的系统结构示意图。 

具体实施方式

本发明通过读入参与拼接的两幅DR图像，对两幅DR图像的分辨率进行下采样，在低分辨率图像中利用两幅DR图像的高度相关性估计两幅DR图像之间的位移，从而确定两幅DR图像对齐的大致位置，然后在原始分辨率下通过互信息最终确定两幅DR图像的拼接位置，最后通过灰度变化调整拼接后DR图像的亮度差异，使得整幅拼后的DR图像达到视觉上的统一性。 

本发明适用于胸片和四肢DR图像的拼接，暂时没有涉及到因为拍摄角度造成的几何畸变。 

假设前提是，参与拼接的两幅DR图像是上下邻接的，且重合高度不少于50像素，且重合区域不大于图像的1/2。如图1所示，本实施例以两幅DR图像拼接为一幅DR图像为例进行详细描述，其包括如下实现步骤： 

步骤S1、输入需要拼接的两幅DR图像。 

步骤S2、读入两幅DR图像，分别对两幅DR图像的进行分辨率下采样，降低两幅DR图像的分辨率，在低分辨率下可以降低后续互信息的计算量。 

由于原始DR图像较大，直接在原图上进行对齐将会消耗大量时间。出于对减少拼接算法耗时的考虑，需要在低分辨率下进行拼接，找到一个粗略的拼接点，然后根据这个拼接点的位置在原始分辨率环境下对两幅原始DR图像进行对齐找出两幅DR图像适合的拼接点。 

对原始DR图像进行下采样，原始DR图像可能是4096×4096大小的，也可能2048×2048大小的。无论原始DR图像的分辨率大小都对其进行下采 样，下采样为256×256分辨率的图像进行一下步处理。 

步骤S3、通过互信息(Mutual Information)确定两幅DR图像的拼接位置。 

在经过分辨率下采样处理后的两幅DR图像中，取其中一幅DR图像(本实施例取靠下的一幅DR图像，即图2B)作为基准图像，在基准图像的紧靠图像上部边界区域取一个大小为M×M(M均为自然数)像素的图像块作为基准块。然后在另一幅DR图像(即图2A)中选取一个预期重合区域(图2A中靠下的部分)，以M×M大小的滑动窗口不断在预期重合区域按照从左到右，从上到下的顺序取块。这里的预期重合部分指两幅图像可能会重合的区域，例如，如果图2A和图2B应该上下拼接，且图2A的图像在上、图2B的图像在下，那么图2B的图像上半部分为预期重合区域。然后，计算每一个取块与基准块之间的互信息(Mutual Information)，通过找出互信息最大的取块，互信息最大取块左上角顶点与基准块左上角顶点之间的坐标之差为低分辨率下DR图像的拼接位置。 

比如，以256×256分辨率的下位图像作为基准图像，以基准图像的第1行第N列为左上角顶点(Base Point of BaseBlock，BPB)，这里。M像素的长度作为边长取得一个正方形图像区域，作为基准块(BaseBlock)。 

其中， 

在256×256分辨率的上位图像中从1/2图像高度开始以每一点为左上角顶点(Base Point of CurrentBlock，BPC)，M像素的长度作为边长，按照从左到右，从上到下的顺序，取出 

个M×M大小的正方形图像块，这些块被称为取块。令基准块为X，其每个像素点为x；取块为Y，其每个像素点位y，则使用互信息计算每一取块与基准块之间的互信息值I，互信息公式为： 

$I(X;Y)=\underset{y\∈Y}{\mathrm{\Σ}}\underset{x\∈X}{\mathrm{\Σ}}p(x,y)\log \left(\frac{p(x,y)}{p\left(x\right)p\left(y\right)}\right)---\left(1\right)$

通过公式(1)计算基准块与每一块当前块之间互信值。 

然后，找出其中互信息值最大的取块记为CurrentBlock_max，此取块的左上角顶点记为BPC_max，通过基准块的BPB与BPC_max之间的横纵坐标差得到两幅256×256分辨率图像的接合位置。 

步骤S4、在原始分辨率大小通过互信息进行原始DR图像对齐，并按照拼接位置接合。 

根据低分辨率下的图像接合位置缩小在原图像中的取块搜索范围，然后重复S3步骤，得到两幅原图像的实际拼接位置，根据拼接位置和图像的长宽计算出两幅原图像的重合区域(下位图像的基准块的左上角顶点到图像右下角端点为下位图像的重合区域，下位图像重合区域大小记录为m*n，上位图像从左上角取m*n大小区域为靠下图像的重合区域)。 

取得256×256分辨率下的接合位置之后，以这个接合位置为参照，在原始分辨率环境下再一次通过互信息的方式进行图像对齐。同样，以下位图像(拼接位置靠下的图像，比如图2B)为基准图像，重复S3步骤，在原始分辨率的下位图像取得基准块(BaseBlock)。由于在步骤S3中通过低分辨率的图像对齐知道了图像的大致接合位置，因此极大地缩小了上位图像拼接(位置靠上的图像，比如图2A)中的取块选取范围缩小了。在原始分辨率的DR图像中，这个范围Range_w是： 

${\mathrm{Range}}_w={\mathrm{BPC}}_{\mathrm{m\; ax}}\±({\mathrm{Factor}}_R+2^{{\mathrm{Factor}}_R}),---\left(3\right)$

接着在Range_w范围内取块，并按照公式(1)重新计算原图像中的CurrentBlock_max，从而得到新的BPB与BPC_max，通过BPB与BPC_max的横纵坐标 差得到两幅DR图像的拼接位置，最后按照这个拼接位置将上位图像和下位图像按照拼接位置接合，拼接后的图像如图2C所示。 

步骤S5、通过两幅DR图像的重合区域的像素平均值比值得到两幅DR图像的灰度差，然后调整基准图像的灰度值，使两幅DR图像的灰度一致。 

将得到的BPB与BPC_max后可以计算出两幅拼接图像的重合区域φ_top和φ_buttom。在φ_top和φ_buttom中分别计算所有像素值不为0的点的像素平均值，记为Avg_top和Avg_buttom，通过计算 

得到灰度变化系数。将下位图像的所有像素点乘以这个灰度变化系数使得两幅拼接图像的灰度值调整一致。 

步骤S6、找出两幅DR图像在重合区域中的拼接位置，并对它们进行灰度融合，从而消除接缝。 

在图像对齐和灰度调整之后，因为上下两幅DR图像在接缝处有较大的梯度变化，会产生一条很明显的接缝线，这条接缝线会对诊断有较大影响，因此在需要将这条接缝线去除。本算法采用灰度融合方法，以行为单位将，两幅DR图像的重合区域的每一行乘以系数相加。 

令两幅DR图像的重合区域为OverlapU和OverlapD，重叠区域的大小为N×M(N行M列)具体实现方式为将OverlapU中的每一行的像素和OverlapD中的每一行的像素分别乘以相应系数再相加。这个系数列向量V为： 

$V=\frac{[N,N-1,N-2,\·\·\·,\mathrm{2,1}]}{N}---\left(5\right)$

令OverlapU_i，i＝1，2，…，N，OverlapD_i，i＝1，2，…，N分别为两幅DR图像重叠区域中的每一行，则灰度融合表示为： 

${\stackrel{\‾}{I}}_i=V_i*\mathrm{Overlap}{U}_i+(1-V_i)*{\mathrm{OverlapD}}_i,i=\mathrm{1,2},\·\·\·,N---\left(6\right)$

然后将这个灰度融合结果替换接缝以下高度为N的图像区域中就能去除图像的接缝。 

在有些情况下需要进行3幅DR图像和5幅DR图像的多幅DR图像拼接。首先需要确认这些图像依然按照上下的顺序进行拼接，并且知道这些图像的顺序。本算法的多幅DR图像拼接是将多幅DR图像转化为几次两幅DR图像拼接，最后形成一幅完整的DR图像。令需要拼接的DR图像为I₁，I₂，I₃，I₄，I₅，首先拼接DR图像I₁和I₂，拼接后的结果图像为I₁₂，然后将I₁₂与I₃进行拼接，得到三幅图像的拼接结果图像I₁₂₃，以此类推将拼接结果图像I₁₂₃与I₄、I₅拼接，得出最终拼接结果I₁₂₃₄₅。 

结合图3所示，本发明提出一种DR图像的拼接系统，其包括：用于执行上述步骤S2的下采样模块12，其输入为需要拼接的两幅DR图像；用于执行上述步骤S3的拼接位置确定模块13；用于执行上述步骤S4的拼接结合处理模块14；用于执行上述步骤S5的灰度调整模块15；用于执行上述步骤S6的灰度融合模块16，其输出为完成拼接、且灰度一致无拼接接缝的一幅DR图像。 

综上，本发明通过采用多分辨率的方式进行图像配准，减少了图像拼接时间消耗；通过互信息的计算精确的定位了图像拼接位置，并通过灰度调节和图像去缝使得拼接后的图像具有较好的视觉统一性，为基于DR图像的医学诊断提供了便利。 

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (10)

1.一种DR图像的拼接方法，其特征在于，所述方法包括：

步骤A、在其中一幅DR图像的预期重合区域选取M×M像素的图像块作为基准块，在另一幅DR图像的预期重合区域以M×M像素大小的滑动窗口取块，计算每个取块与基准块之间的互信息，找出互信息最大的取块，通过计算该互信息最大的取块的左上角顶点与基准块的左上角顶点之间的坐标差确定两幅DR图像的拼接位置；

步骤B、将两幅DR图像对齐后，按照拼接位置进行拼接处理；

其中，M为自然数。

2.根据权利要求1所述DR图像的拼接方法，其特征在于，所述步骤B之后还包括步骤C：

将两幅DR图像的灰度调整成一致。

3.根据权利要求2所述DR图像的拼接方法，其特征在于，所述步骤C具体包括：

通过两幅DR图像的重合区域的像素平均值比值，得到两幅DR图像的灰度差；

调整其中一幅DR图像的灰度值，使两幅DR图像的灰度一致。

4.根据权利要求2所述DR图像的拼接方法，其特征在于，所述步骤C之后还包括步骤D：

将两幅DR图像在重合区域中的拼接位置进行灰度融合以消除接缝。

5.根据权利要求1或2或3或4所述DR图像的拼接方法，其特征在于，所述步骤A之前还包括步骤：

将需要拼接的两幅DR图像进行分辨率下采样。

6.根据权利要求5所述DR图像的拼接方法，其特征在于，所述步骤B包括：

步骤B1、在两幅DR图像的原始分辨率下，重复步骤A进一步精确计算两幅DR图像的拼接位置；

步骤B2、按照步骤B1计算出的拼接位置，将两幅DR图像进行拼接接合处理。

7.根据权利要求5所述DR图像的拼接方法，其特征在于，所述两幅DR图像下采样后的分辨率为256×256。

8.一种DR图像的拼接系统，其特征在于，所述系统包括：

拼接位置确定模块，用于在其中一幅DR图像的预期重合区域选取M×M像素的图像块作为基准块，在另一幅DR图像的预期重合区域以M×M像素大小的滑动窗口取块，计算每个取块与基准块之间的互信息，找出互信息最大的取块，通过计算该互信息最大的取块的左上角顶点与基准块的左上角顶点之间的坐标差确定两幅DR图像的拼接位置；

拼接结合处理模块，用于将两幅DR图像对齐后，按照拼接位置进行拼接处理；

其中，M为自然数。

9.根据权利要求8所述DR图像的拼接系统，其特征在于，所述系统还包括：

灰度调整模块，用于将两幅DR图像的灰度调整成一致；

灰度融合模块，用于将两幅DR图像在重合区域中的拼接位置进行灰度融合以消除接缝。

10.根据权利要求9所述DR图像的拼接系统，其特征在于，所述系统还包括：

下采样模块，用于将需要拼接的两幅DR图像进行分辨率下采样。

Images