CN103514591A

CN103514591A - 基于orb配准的dr图像拼接方法及系统

Info

Publication number: CN103514591A
Application number: CN201210197832.8A
Authority: CN
Inventors: 赵明; 康雨; 张力华
Original assignee: Shenzhen Landwind Industry Co Ltd
Current assignee: Shenzhen Landwind Industry Co Ltd
Priority date: 2012-06-15
Filing date: 2012-06-15
Publication date: 2014-01-15

Abstract

本发明公开一种基于ORB配准的DR图像拼接方法及系统。其中，所述方法包括：通过ORB计算两幅DR图像之间的初步配准位置；使用高通滤波器对两幅DR图像中的初步配准位置分别进行滤波，得到两幅DR图像各自的高频信息，使用正则化互关联对两幅DR图像对应的两个高频信息进行二次配准，获得两幅DR图像的精确配准位置和重叠区域；根据重叠区域将两幅DR图像拼接处理为一幅DR图像。本发明采用了由粗略到精确的配准策略，因此保证了DR图像拼接位置的准确性，可以获得准确的拼接位置；本发明包括了亮度调节和灰度过度过程从而使得拼接后的图像整体过渡更加自然，过渡区域更容易为医生接受，使拼接后的DR图像具有较佳的视觉效果。

Description

基于ORB配准的DR图像拼接方法及系统

技术领域

本发明涉及一种DR图像处理技术，尤其是涉及一种基于ORB配准的DR图像拼接方法及系统。

背景技术

随着现代医学技术的不断发展和医疗诊断手段的不断完善，直接数字化X射线摄影系统（Digital Radiography，DR）实现的DR图像在临床诊断、医学科研等DR图像分析方面有着广泛的应用。

尤其是在图像导引的骨科诊断和治疗中具有重要的临床应用价值。目前骨科临床常用的直接数字化X射线摄影设备（DR）仅能提供患者部分身体的影像。在传统的DR图像分析中，医生需要在诊断治疗分析一系列的DR图像，才能在自己的脑海中重构出完整的患者全身DR图像，这样一来加重了医生的负担。因此，将若干幅DR图像拼接为一幅完整的患者DR全景图像提供给医生诊断是十分必要的。

申请号CN201110073969.8，发明名称为“一种基于模板的CCD-DR图像拼接方法”的中国专利申请，使用模板提取DR图像中的特征点，使用提取的特征点进行图像匹配和拼接。该技术方案通过模板提取特征点虽然加快了处理速度，但是造成了提取的特征点不够准确，进行图像拼接时容易产生误匹配。

申请号CN200710029956.4，发明名称为“X线透视人体影像融合拼接方法”的中国专利申请，通过人体部位的智能识别，使用不同的方法来进行图像拼接处理。但是，此技术方案没有清晰的阐述其人体部位智能识别方法和对应不同部位采用的拼接算法，同时其特征匹配方式过于简单，容易产生误匹配。

申请号CN201010250868.9，发明名称“一种图像拼接方法”的中国专利申请，通过实时获取或已存储的超声视频图像序列的拼接，利用相邻两帧图像的高度相关性估计活动图和配准图之间的运动向量，得到一个旋转角度和位移量，通过旋转角度和位移量进而完成两幅图像的配准过程。该技术方案对超声图像有效，但是其中使用了最小二乘法等优化算法，需要消耗处理时间。但是，由于DR图像尺寸远大于超声图像，因此该方法在处理DR图像时效率较低。

发明内容

本发明提出一种基于ORB配准的DR图像拼接方法及系统，将两幅或者多幅有重叠区域的DR图像拼接成为一幅完整的DR图像，从而方便医生的诊断。

本发明采用如下技术方案实现：一种基于ORB配准的DR图像拼接方法，所述方法包括：

步骤A、通过ORB计算两幅存在重叠区域的第一DR图像和第二DR图像之间的初步配准位置；

步骤B、使用高通滤波器对第一DR图像和第二DR图像中的初步配准位置分别进行高通滤波，得到两幅DR图像各自的高频信息，使用正则化互关联对两幅DR图像对应的两个高频信息进行二次配准，获得两幅DR图像的精确配准位置，由精确配准位置得出两幅DR图像的重叠区域；

步骤C、根据重叠区域将两幅DR图像拼接处理为一DR图像。

其中，所述步骤C之后还包括步骤D：

D、通过灰度变化调整拼接后的DR图像的亮度差异，使得整幅拼接后DR图像达到视觉上的统一性。

其中，所述步骤D具体包括：

计算第一DR图像中重叠区域的像素平均值M1和第二DR图像中重叠区域的像素平均值M2；

根据像素平均值M1与像素平均值M2的比值，得到两幅DR图像的灰度差；

确定其中一幅DR图像为基准图像，根据计算出的灰度差，调整另外一幅DR图像的灰度值，使两幅DR图像的灰度统一。

其中，所述步骤D之后还包括步骤：

E、将第一DR图像和第二DR图像在重合区域中的拼接位置进行灰度融合以消除接缝。

其中，所述步骤E具体包括步骤：

将第一DR图像中的每一行OverlapU_i,i＝1,2,…,N的像素和第二DR图像中的每一行OverlapD_i,i＝1,2,…,N的像素分别乘以相应系数再相加进行灰度融合，其灰度融合表示为：

{\overset{&OverBar;}{I}}_{i} = V_{i} * Overlap U_{i} + (1 - V_{i}) * Overlap D_{i}, i = 1,2, \cdot \cdot \cdot, N,

其中，系数列向量V为:

V = \frac{[N, N - 1, N - 2, \cdot \cdot \cdot, 2,1]}{N};

将获得的灰度融合结果替换接缝以下高度为N的图像区域，从而去除DR图像的接缝；

其中，N为大于1的自然数，表示重叠区域的行数。

其中，所述步骤A具体包括步骤：

假设第一DR图像和第二DR图像为上下拼接，第一DR图像的位置在第二DR图像的位置上方，则将第一DR图像和第二DR图像分别等分为上下两部分；

使用ORB配准分别计算第一DR图像的下半部分与第二DR图像的上半部分之间的ORB特征信息；

根据ORB特征信息对第一DR图像和第二DR图像进行初次配准，获得两幅DR图像的初步配准位置。

其中，所述步骤A还包括步骤：

根据初步配准位置的主方向差异，计算出两幅DR图像之间的刚性旋转角度，对DR图像进行刚性旋转的矫正。

其中，所述步骤A之前还包括步骤：

将需要拼接的两幅DR图像进行分辨率下采样。

本发明还公开一种基于ORB配准的DR图像拼接系统，其包括：

初步配准位置确定模块，用于通过ORB计算两幅存在重叠区域的第一DR图像和第二DR图像之间的初步配准位置；

重叠区域确定模块，用于使用高通滤波器对第一DR图像和第二DR图像中的初步配准位置分别进行滤波，得到两幅DR图像各自的高频信息，使用正则化互关联对两幅DR图像对应的两个高频信息进行二次配准，获得两幅DR图像的精确配准位置，由精确配准位置得出两幅DR图像的重叠区域；

拼接及灰度调整模块，用于根据重叠区域将第一DR图像和第二DR图像拼接处理为一幅DR图像，通过灰度变化调整拼接后的DR图像的亮度差异，使得整幅拼接后DR图像达到视觉上的统一性。

其中，所述系统还包括：

下采样模块，用于将需要拼接的两幅DR图像进行分辨率下采样；

灰度融合模块，用于将两幅DR图像在重合区域中的拼接位置进行灰度融合以消除接缝。

与现有技术相比，本发明具有如下有益效果：

本发明通过读入若干幅有重叠区域的DR图像，两两地拼接为一幅完整的DR图像：通过ORB保证两幅DR图像的配准位置的大体准确；接着，在ORB配准位置的基础上利用正则化互相关性对两幅DR图像的高频信息进行二次配准，得到精确的配准位置；最后通过灰度变化调整拼接后两幅DR图像的亮度差异，使得整幅拼接后DR图像达到视觉上的统一性。本发明采用了由粗略到精确的配准策略，因此保证了DR图像拼接位置的准确性，可以获得准确的拼接位置；本发明包括了亮度调节和灰度过度过程从而使得拼接后的图像整体过渡更加自然，过渡区域更容易为医生接受，使拼接后的DR图像具有较佳的视觉效果。

附图说明

图1是本发明的流程示意图；

图2A和图2B分别是需要拼接的两幅DR图像示意图；

图2C是将图2A和图2B拼接后的示意图；

图3是本发明的系统结构示意图。

具体实施方式

本发明通过读入参与拼接的多幅DR图像，两两地拼接为一幅完整的DR图像。本发明首先通过ORB保证两幅DR图像的配准位置的大体准确；接着，在ORB配准位置的基础上利用正则化互相关性对两幅DR图像的高频信息进行二次配准，得到精确的配准位置；最后通过灰度变化调整拼接后两幅DR图像的亮度差异，使得整幅拼接后DR图像达到视觉上的统一性。

本发明适用于胸片和四肢DR图像的拼接，暂时没有涉及到因为人体运动造成的几何畸变。

假设前提是，参与拼接的两幅DR图像是上下邻接的，且重叠高度不少于50像素，且重叠区域不大于图像的1/2。如图1所示，本实施例以两幅DR图像拼接为一幅DR图像为例进行详细描述，其包括如下实现步骤：

步骤S1、输入需要拼接的两幅DR图像。

步骤S2、分别对两幅DR图像的进行分辨率下采样，降低两幅DR图像的分辨率，采样后的两幅DR图像分别称其为图像A和图像B。

对步骤S1获取的两幅DR图像分别进行下采样，两幅DR图像可能是4096×4096大小的，也可能2048×2048大小的。因此，无论获取的DR图像的分辨率大小都对其进行下采样，例如下采样为512×512分辨率的图像进行一下步处理。

步骤S3、通过ORB计算两幅DR图像之间的初步配准位置。

首先，将图像A和图像B分别等分为上下两部分；其次，取图像A的下半部分（记为图像A1）和图像B的上半部分（记为图像B1），使用ORB（Oriented-Brief）配准分别计算图像A1与图像B1的ORB特征信息；然后，根据ORB特征信息对图像A1与图像B1进行初次配准，找出大体准确的初步配准位置。当然，还可以根据ORB配准位置之间的主方向差异，计算出图像A1与图像B1之间的刚性旋转角度，由此通过ORB进行图像刚性旋转矫正。

步骤S4、根据初步配准位置找出图像A1和图像B1的重叠区域。

可以使用高通滤波器对图像A1和图像B1中的初步配准位置分别进行滤波得到两个高频信息，使用正则化互关联（Normalized 2-D cross-correlation,NCC）对两幅DR图像的高频信息进行二次配准，从而获得图像A和图像B之间的准确配准位置，由精确配准位置得出两幅DR图像的重叠区域。

其中，关于精确配准位置得出两幅DR图像的重叠区域的方式如下：

假设图像A1的长宽分别为W_A和H_A，图像B1的长宽分别为W_B和H_A。精确配准位置的坐标为(X_register,Y_register);那么图像A1的重叠区域OverlapU为图像A1内部从点(X_register,Y_register)开始，宽度为W_A-X_register、高度为H_A-Y_register的矩形区域。图像B1的重叠区域OverlapD为图像B内部从点(1,1)开始，宽度为W_B-X_register、高度为H_B-Y_register的矩形区域。

即：

\begin{matrix} OverlapU = A (Y_{register} : H_{A}, X_{register} : W_{A}); \\ OverlapD = B (1 : H_{B} - Y_{register} + 1,1 : W_{A} - X_{register} + 1); \end{matrix}

步骤S5、根据重叠区域将两幅DR图像（图像A和图像B）拼接为一幅图像，通过灰度变化调整拼接后的DR图像的亮度差异，使得整幅拼接后DR图像达到视觉上的统一性。

灰度变化调整如下：首先，计算图像A1中重叠区域的像素平均值M1和图像B1中重叠区域的像素平均值M2；其次，根据像素平均值M1与像素平均值M2的比值，得到两幅DR图像的灰度差；最后，确定其中一幅DR图像为基准图像，根据计算出的灰度差，调整另外一幅DR图像的灰度值，使两幅DR图像的灰度统一。比如，像素平均值M1与像素平均值M2的比值为1.2，以图像A为基准图像，则将图像B每个像素的灰度值增加20%即可。

步骤S6、找出两幅DR图像在重叠区域中的对应位置，并对它们进行灰度融合，从而消除接缝。

将两幅DR图像对齐和灰度调整之后，因为上下两幅DR图像在接缝处有较大的梯度变化，会产生一条很明显的接缝，这条接缝先会对诊断有较大影响，因此在需要将这条接缝线去除。本发明采用灰度融合方法，以行为单位将，两幅拼接图像的重叠区域的每一行乘以系数相加。

令上下两幅DR图像的重叠区域为OverlapU和OverlapD，重叠区域的大小为N×M(N行M列，N和M均为大于1的自然数)。具体实现方式为：将OverlapU中的每一行的像素和OverlapD中的每一行的像素分别乘以相应系数再相加。这个系数列向量V为:

V = \frac{[N, N - 1, N - 2, \cdot \cdot \cdot, 2,1]}{N}

令OverlapU_i,i＝1,2,…，N，OverlapD_i,i＝1,2,…,N分别为上下两幅DR图像重叠区域中的每一行，则灰度融合表示为：

{\overset{&OverBar;}{I}}_{i} = V_{i} * Overlap U_{i} + (1 - V_{i}) * Overlap D_{i}, i = 1,2, \cdot \cdot \cdot, N

然后，将这个灰度融合结果替换接缝以下高度为N的图像区域就能去除DR图像的接缝。

比如，将DR图像2A和DR图像2B按照上述方法进行拼接处理，即可获得如图2C的DR图像。

当然，如果需要拼接多幅DR图像，则按照DR图像的拍摄顺序两两拼接，从而将多幅DR图像拼接为一幅完整的DR图像。

结合图3所示，本发明提出一种基于ORB配准的DR图像拼接系统，其包括：用于执行上述步骤S2的下采样模块12，其输入为需要拼接的两幅DR图像；用于执行上述步骤S3的初步配准位置确定模块13；用于执行上述步骤S4的重叠区域确定模块14；用于执行上述步骤S5的拼接及灰度调整模块15；用于执行上述步骤S6的灰度融合处理模块16，其输出为完成拼接、且灰度一致无拼接接缝的一幅DR图像。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于ORB配准的DR图像拼接方法，其特征在于，所述方法包括：

步骤C、根据重叠区域将两幅DR图像拼接处理为一DR图像。

2.根据权利要求1所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤C之后还包括步骤D：

3.根据权利要求2所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤D具体包括：

4.根据权利要求2所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤D之后还包括步骤：

5.根据权利要求4所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤E具体包括步骤：

{\overset{&OverBar;}{I}}_{i} = V_{i} * Overlap U_{i} + (1 - V_{i}) * Overlap D_{i}, i = 1,2, \cdot \cdot \cdot, N,

其中，系数列向量V为:

V = \frac{[N, N - 1, N - 2, \cdot \cdot \cdot, 2,1]}{N};

其中，N为大于1的自然数，表示重叠区域的行数。

6.根据权利要求1所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤A具体包括步骤：

7.根据权利要求6所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤A还包括步骤：

8.根据权利要求1-7任何一项所述基于ORB配准的DR图像拼接方法，其特征在于，所述步骤A之前还包括步骤：

将需要拼接的两幅DR图像进行分辨率下采样。

9.一种基于ORB配准的DR图像拼接系统，其特征在于，所述系统包括：

10.根据权利要求9所述基于ORB配准的DR图像拼接系统，其特征在于，所述系统还包括：