CN111353933A - 一种图像拼接融合方法及系统 - Google Patents

Abstract

本发明公开了一种图像拼接融合方法及系统，该方法包括如下步骤：获取待拼接图像；建立图像尺度空间，得到每一张图像在m个不同尺度空间下的图像；在所有尺度空间内求取图像的特征点，通过非极大值抑制方法求出最优特征点；求所述最优特征点的方向；建立特征描述子，利用特征描述子进行特征点匹配；获取图像配准映射矩阵，完成两幅图像的配准；在完成两幅图像的配准之后，对两幅图像重叠区域进行融合，完成图像拼接。本发明的特征点求取方法和特征点描述子求取方法，速度快，计算量小、鲁棒性好、对几何形变不敏感。本发明的图像配准方法，精度高、可靠性高以及抗干扰性强。基于小波融合，能够较好过渡两张拼接的图像，不损失信息，最大化还原细节信息。

Description

一种图像拼接融合方法及系统

技术领域

本发明属于图像处理技术领域，涉及一种图像拼接融合方法及系统。

背景技术

图像拼接是指对一系列具有重叠部分的图像，通过寻找特征点，匹配特征点，最终图像融合成一张高分辨率的大图，目前在多个领域均有应用，以下以胶囊内镜为例。胶囊内镜即无线内镜，它是由一个微型照相机、数字处理系统和无线收发系统等组成，受检者将胶囊内镜吞咽下后，可将受检者消化道图像无线传送到体外的接收器。与插入式的消化道内镜相比，胶囊内镜最大的优点是无痛、无创、安全、便捷，尤其是对小肠的检查具有独到之处。胶囊内镜看起来与普通胶囊一个样，长约1.5厘米，直径不足1厘米。受制于硬件的尺寸，胶囊内镜也会存在图片分辨率低，帧率低(2-10帧/s)。

人体消化道、肠胃内部结构复杂，弯道和褶皱较多，胶囊内镜进行肠胃检查的时候，拍摄图片会有盲区。胶囊内镜拍摄图片随机性强，对于异常有病变的部位，将传统的胶囊内镜二维图像序列进行拼接成高分辨率图、全景图像，将有助于医生进行全面的观察，特别是对于对异常病变部位的观察，能够提高医生诊断的准确性。

目前对图像进行全景拼接的技术有很多，专利CN201610976762.4中公开了一种基于ORB算法的图像配准和图像融合并行的多路视频快速拼接算法，其使用ORB算法来检测两张图像的特征点，然后再基于RANSAC来进行特征点的匹配。最后根据两张图的直方图信息来进行图像融合。专利CN201610726477.7公开了一种图像拼接方法及装置，也是先进行特征点检测然后再对特征点进行匹配，最后进行图像融合的技术路线。使用图像互信息算法来计算两张图像重叠区域的相关性，达到对图像进行拼接的效果。以上现有技术是针对高分辨，清晰图像的拼接，一般在生活场景中使用。而对于低分辨率图像，特别是图像比较平滑，内容单一，特点比较少的图像精度并不高。

发明内容

本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种图像拼接融合方法及系统，解决现有技术中图像融合计算量大、精度不高的问题。

为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种图像拼接融合方法，其包括如下步骤：

S1，获取待拼接图像，选取待拼接图像中相邻的图像执行步骤S2；

S2，建立图像尺度空间，得到每一张图像对应m个不同尺度空间下的图像，所述m为大于1的正整数；

S3，在所有尺度空间内求取图像的特征点，通过非极大值抑制方法求出最优特征点；

S4，求所述最优特征点的方向；

S5，建立特征描述子，利用特征描述子进行特征点匹配；

S6，获取图像配准映射矩阵，完成两幅图像的配准；

S7，在完成两幅图像的配准之后，对两幅图像重叠区域进行融合，完成图像拼接。

本发明的特征点求取方法和特征点描述子求取方法，速度快，计算量小、鲁棒性好、对几何形变不敏感。本发明的图像配准方法，能够得到最优解，精度高、可靠性高以及抗干扰性强。基于小波融合，能够较好过渡两张拼接的图像，不损失信息，最大化还原细节信息，最终将各个分成图像逆变换成一幅完美的拼接图。

在本发明的一种优选实施方式中，特征点检测方法为：

设定p是图像中一个像素点，然后以p点为圆心半径为r1画圆，刚好有m6个像素点在圆上，所述r1和m6均为正整数，设在圆周上的m6个像素点中，如果有n个连续的像素点满足，|G_p-G_i|大于T,则点p是一个特征点，反之不是，这里G_p,G_i分别是p点及其周围m6个点的灰度值，T是阈值，i＝1，2，……，m6，所述n为设定的个数要求；

当求出一个特征点p以后，若在以点p为中心的领域内，还有上下尺度空间，还存在其它多个特征点，则要通过非极大值抑制方法来求出得分s最高的特征点，公式如下：

保留得分最高的特征点为最优特征点，若领域内只有p点一个特征点，则保留其为最优特征点。

本发明的特征点求取方法，速度快，计算量小、鲁棒性好、对几何形变不敏感。

在本发明的另一种优选实施方式中，求所述最优特征点的方向的方法为：以最优特征点P的坐标为中心，r为半径区域内的领域矩代表特征区域的方向,

G(x,y)为坐标(x，y)处的灰度值，求出最优特征点领域内的质心点Q坐标为：

以P，Q两点的连线作为坐标轴，当有不同的旋转角度，有一个相同的参考坐标轴后得到的角度还是一致的，这样就解决了特征点的旋转不变性。

在胶囊旋转时，仍然能够进行准确的图像配准。

在本发明的另一种优选实施方式中，建立特征描述子的方法为：

在最优特征点的领域范围内，随机求取L对像素点，然后比较每一对特征的灰度值，

式中m,n分别为L对像素点中的一对，f_L(p)为最终求取的特征点p的特征描述子。

本发明的特征点描述子求取方法，速度快，计算量小、鲁棒性好、对几何形变不敏感。

在本发明的另一种优选实施方式中，图像配准方法为：

获得两张图的特征点的匹配列表后，对两张图像进行配准，两张图片的两个对应特征点p₁(x₁,y₁)和p₂(x₂,y₂)之间存在映射矩阵H，齐次坐标方程为：

根据4组最佳匹配的特征点对，计算映射变换矩阵H，完成两幅图像的配准。

本发明的图像配准方法，精度高、可靠性高以及抗干扰性强。

在本发明的另一种优选实施方式中，两幅图像重叠区域进行融合拼接的方法为：

S71，对两幅图像的重叠区域进行3层小波分解，得到高频和低频区域，建立小波金字塔层；

S72，对分层后的金字塔图像单独处理，低频部分进行距离加权融合，公式如下：

x＝(1-k)x₁+kx₂，

公式中w为重叠区域的宽，|x₁|为像素点的横坐标，x是x₁和x₂融合的结果，图像的边缘、细节等都包含高频部分，所以高频部分使用最大绝对值法，来保留图像细节信息；

S73，对融合后的小波金字塔层图像进行小波逆变换，从而得到融合后的图像。

基于小波融合，能够较好过渡两张拼接的图像，不损失信息，最大化还原细节信息，最终将各个分成图像逆变换成一幅完美的拼接图。

为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种图像拼接融合系统，其包括图像采集系统和图像处理器，所述图像采集系统连续采集图片并将图片输出给图像处理器，所述图像处理器利用本发明的图像拼接融合方法进行图像融合。

本发明的图像拼接融合系统结构简单，其速度快，计算量小、鲁棒性好、对几何形变不敏感、精度高、可靠性高以及抗干扰性强。

附图说明

图1是本发明一种具体实施方式中图像拼接融合方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本发明公开了一种图像拼接融合方法，其包括如下步骤：

S1，获取待拼接图像，选取待拼接图像中相邻的图像执行步骤S2；

S2，建立图像尺度空间，得到每一张图像对应m个不同尺度空间下的多张图像，所述m为大于1的正整数；

S3，在所有尺度空间内求取图像的特征点，通过非极大值抑制方法求出最优特征点；

S4，求所述最优特征点的方向；

S5，建立特征描述子，利用特征描述子进行特征点匹配；

S6，获取图像配准映射矩阵，完成两幅图像的配准；

S7，在完成两幅图像的配准之后，对两幅图像重叠区域进行融合，完成图像拼接。

在本发明的一种优选实施方式中，首先，建立图像尺度空间，在特征点检测的过程中，当图像有放大缩小的时候，为了提高特征点检测的尺度不变性，对原图建立尺度空间。图像尺度空间包括d1个octave层c_i和d2个intra-octave层d_i，所述d1、d2均为正整数，c₀层是原始图像，c₁层是c₀层的m1倍下采样，c₂层是c₁层的m2倍下采样，以此类推组成octave层c_i，m1、m2均为正数；d₀层是原始图像的m3倍下采样，d₁层是d₀层的m4倍下采样，d₂层是d₁层的m5倍下采样，以此类推得到intra-octave层d_i，所述m3、m4、m5均为正数。优选地建立n个octave层(用ci表示)和n个intra-octave层(用di表示)，对于图像img，c0层就是img原图像，c1层是c0层的2倍下采样，c2层是c1层的2倍下采样，以此类推产生octave层。d0层是原图img的1.5倍下采样，d1层是d0层的2倍下采样，d2层是d1层的2倍下采样，以此类推产生intra-octave层。

使用公式分别表示为

式中imgsize为原图像大小，i＝{0,1,...,n-1}。

本发明中对于拼接两张图为前后连续帧之间的图像，所以图像空间尺度变化比较小，在本实施方式总，设n＝4，所以可以得到6张不同尺度空间下的图像。

在进行图像拼接之前要进行特征点的检测，本发明特征点的检测的基本思想为：若某像素点与其周围领域内足够多的连续的像素点存在灰度差异，并且该差异大于指定阈值，则可以断定该像素点与其邻域像素有可被识别的不同之处，可以作为一个特征点。

求特征点的步骤为：设定p是图像中一个像素点，然后以p点为圆心半径为r1画圆，刚好有m6个像素点在圆上，所述r1和m6均为正整数，设在圆周上的m6个像素点中，如果有n个连续的像素点满足，|G_p-G_i|大于T,则点p是一个特征点，反之不是，这里G_p,G_i分别是p点及其周围m6个点的灰度值，T是阈值。优选地，以p点为圆心半径为3画圆，刚好有16个像素点在圆上。设在圆周上的16个像素点中，如果有n个连续的像素点满足，|G_p-G_i|大于T,则点p是一个特征点，反之不是。

当求出一个特征点p以后，若在以点p为中心的领域内，还有上下尺度空间，还存在其它多个特征点，则要通过非极大值抑制方法来求出得分s最高的特征点，公式如下：

保留得分最高的特征点，若领域内只有p点一个特征点，则保留。

以上方法检测到的特征点没有方向性，胶囊内镜的图像由于其自身的结构特点，图像经常存在旋转变化，所以采用灰度质心法来求特点的方向，设特征点p,则以p点坐标为中心，r为半径区域内的领域矩可以代表特征区域的方向。

可以求出特征点领域内的质心点Q坐标为：

以p，Q两点的连线作为坐标轴，这样当有不同的旋转角度，有一个相同的参考坐标轴后得到的角度还是一致的，这样就解决了特征点的旋转不变性。

在特征点的领域范围内，随机求取L对像素点，然后比较每一对特征的灰度值。

式中m,n分别为L对像素点中的一对，f_L(p)为最终求取的特征点p的二值特征点描述子。特征点描述子是二进制的编码，因此可以用hamming距离进行匹配，具体匹配方法可采用现有技术。

在特征点匹配的时候，根据匹配的结果，给每对特征点打分(例如根据hamming距离计算的结果进行打分)，得到一个排名，根据排名选出最佳特征点对。当得到特征点的匹配列表后，要对两张图像进行配准，对应两张图片有两个特征点p₁(x₁,y₁)和p₂(x₂,y₂)之间存在映射矩阵H，齐次坐标方程为：

根据4组最佳匹配的特征点对，可以计算映射变换矩阵H的初始值，基于RANSAC算法迭代精炼H,求出最终的映射矩阵H，完成两幅图像的配准。

在完成对两幅图像的配准之后，要对两幅图像重叠区域进行融合，才能完成拼接的目的，主要步骤如下：

1)对两幅图像的重叠区域进行3层小波分解，得到高频和低频区域，建立小波金字塔层。

2)对分层后的金字塔图像单独处理，低频部分进行距离加权融合，公式如下：

x＝(1-k)x₁+kx₂，

公式中w为重叠区域的宽，|x₁|为像素点的横坐标，x是x₁和x₂融合的结果。

图像的边缘、细节等都包含高频部分，所以高频部分使用最大绝对值法，来保留图像细节信息。

3)对融合后的小波金字塔层图像进行小波逆变换，从而得到融合后的图像。

小波变换把图像分解成平均图像和细节图像，分解过程中没有损失信息，针对分层后高、低频图像的特点进行融合，再进行逆变换，恢复图像原始结构信息和细节信息，这样比较符合人类视觉系统观察图像规律。

本发明图像拼接算法，将传统的胶囊内镜二维图像序列拼接成一张全景大图，对有病变或异常的部位，能够提供高分辨全景图，有助于医生对异常病变部位进行细致全局观察，提高医生诊断的准确性。

本发明还提供了一种图像拼接融合系统，其包括图像采集系统和图像处理器，所述图像采集系统连续采集图片并将图片输出给图像处理器，所述图像处理器利用本发明的图像拼接融合方法进行图像融合。具体图像采集系统可以为胶囊内镜。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (9)

1.一种图像拼接融合方法，其特征在于，包括如下步骤：

S1，获取待拼接图像序列，选取待拼接图像序列中相邻的图像并执行步骤S2；

S2，建立图像尺度空间，得到每一张图像对应m个不同尺度空间下的图像，所述m为大于1的正整数；

S3，在所有尺度空间内求取图像的特征点，通过非极大值抑制方法求出最优特征点；

S4，求所述最优特征点的方向；

S5，建立特征描述子，利用特征描述子进行特征点匹配；

S6，获取图像配准映射矩阵，完成两幅图像的配准；

S7，在完成两幅图像的配准之后，对两幅图像重叠区域进行融合，完成图像拼接。

2.如权利要求1所述的图像拼接融合方法，其特征在于，步骤S2中建立图像尺度空间的方法为：

所述图像尺度空间包括d1个octave层c_i和d2个intra-octave层d_i，所述d1、d2均为正整数，c₀层是原始图像，c₁层是c₀层的m1倍下采样，c₂层是c₁层的m2倍下采样，以此类推组成octave层c_i，m1、m2均为正数；

d₀层是原始图像的m3倍下采样，d₁层是d₀层的m4倍下采样，d₂层是d₁层的m5倍下采样，以此类推得到intra-octave层d_i，所述m3、m4、m5均为正数。

3.如权利要求1所述的图像拼接融合方法，其特征在于，步骤S3中的特征点检测方法为：

设定p是图像中一个像素点，然后以p点为圆心半径为r1画圆，有m6个像素点在圆上，所述r1和m6均为正整数，设在圆周上的m6个像素点中，如果有n个连续的像素点满足，|G_p-G_i|大于T,则点p是一个特征点，反之不是，这里G_p,G_i分别是p点及其周围m6个点的灰度值，T是阈值，i＝1，2，……，m6，所述n为设定的个数要求；

当求出一个特征点p后，若在以点p为中心的领域内，还有上下尺度空间，还存在其它多个特征点，则通过非极大值抑制方法来求出得分s最高的特征点，公式如下：

保留得分最高的特征点为最优特征点，若领域内只有一个特征点，则保留其为最优特征点。

4.如权利要求1所述的图像拼接融合方法，其特征在于，步骤S4中求所述最优特征点的方向的方法为：

以最优特征点的坐标为中心，r为半径区域内的领域矩代表特征区域的方向,

G(x,y)为坐标(x，y)处的灰度值，求出最优特征点领域内的质心点Q坐标为：

以P，Q两点的连线作为坐标轴，当有不同的旋转角度，有一个相同的参考坐标轴后得到的角度还是一致的，解决了特征点的旋转不变性。

5.如权利要求1所述的图像拼接融合方法，其特征在于，建立特征描述子的方法为：

在最优特征点的领域范围内，随机求取L对像素点，比较每一对特征的灰度值，定义变量Ra(p；m,n)为：

式中m,n分别为L对像素点中的一对，f_L(p)为最终求取的特征点p的特征描述子。

6.如权利要求1所述的图像拼接融合方法，其特征在于，图像配准方法为：

获得两张图的特征点的匹配列表后，对两张图像进行配准，两张图片的两个对应特征点p₁(x₁,y₁)和p₂(x₂,y₂)之间存在映射矩阵H，齐次坐标方程为：

根据4组最佳匹配的特征点对，计算映射变换矩阵H，完成两幅图像的配准。

7.如权利要求1所述的图像拼接融合方法，其特征在于，两幅图像重叠区域进行融合拼接的方法为：

S71，对两幅图像的重叠区域进行3层小波分解，得到高频和低频区域，建立小波金字塔层；

S72，对分层后的金字塔图像单独处理，对低频部分进行距离加权融合，公式如下：

x＝(1-k)x₁+kx₂，

公式中w为重叠区域的宽，|x₁|为像素点的横坐标，x是x₁和x₂融合的结果，图像的边缘、细节等都包含高频部分，所以高频部分使用最大绝对值法，来保留图像细节信息；

S73，对融合后的小波金字塔层图像进行小波逆变换，从而得到融合后的图像。

8.一种图像拼接融合系统，其特征在于，包括图像采集系统和图像处理器，所述图像采集系统连续采集图片并将图片输出给图像处理器，所述图像处理器利用权利要求1-7之一所述的图像拼接融合方法进行图像融合。

9.如权利要求8所述的图像拼接融合系统，其特征在于，所述图像采集系统为胶囊内镜。

Images