CN104134200A - 一种基于改进加权融合的运动场景图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于改进加权融合的运动场景图像拼接方法，主要通过利用尺度不变特征变换算法对源图像进行图像配准，然后基于灰度差和边缘检测的改进加权融合算法检测运动物体并进行图像融合。本发明能够有效地克服光照、鬼影等客观因素的干扰，具有拼接效果优、计算简洁、参数设置简便等优点。

Description

一种基于改进加权融合的运动场景图像拼接方法

技术领域

本发明属于图像处理和图像融合，具体指的是一种基于改进加权融合的运动场景图像拼接方法。

背景技术

图像拼接是指将具有重合区域的两幅或多幅小视域图像联接在一起，最终得到一幅大视域的图像。它广泛应用于运动分析、虚拟现实技术、医学图像分析、数字视频等领域。图像拼接的关键技术是图像配准和图像融合。近年来，国内外对于图像拼接各细节的研究已取得了一些成果。

在获取图像序列时，场景可能存在运动物体，当它们位于待拼接图像的重叠区域时，容易使拼接后的图像中产生鬼影。鬼影是指同一物体互相重叠的现象，可分为配准鬼影和合成鬼影。目前，配准细化的大量工作已经很好地解决了配准鬼影的问题，但是合成鬼影的去除尚无较为稳定的方法。

为了解决这一问题，现有的主要方法有两种：1)通过检测运动物体在待拼接图像中的位置，将其分割去除后形成拼接全景，但此方法复杂度较高，而且拼接效果对分割精度和图像连续重复性敏感。2)对待拼接图像中的重复运动物体，从一幅或几幅图像中选取具有代表性的重合区域进行拼接，常用的方法有流形拼接法、顶点覆盖法和最优缝合线法等。其中，最优缝合线法有复杂度较小、计算简单等优点，但是，最优缝合线法只在运动物体较少时效果较好，当运动物体数量过多时，并不能很好地解决合成鬼影问题。

发明内容

发明目的：针对现有技术存在的问题，本发明提供了一种显著提高了图像拼接的成像效果的基于改进加权融合的运动场景图像拼接方法。

发明内容：本发明提供了一种基于改进加权融合的运动场景图像拼接方法，包括如下步骤：

步骤10：采集含有重叠区域的两幅或者多幅图像数据；

步骤20：对步骤10得到的图像数据进行中值滤波，得到高斯金字塔；

步骤30：将步骤20得到的高斯金字塔与图像数据结合卷积，获得步骤10得到的图像的尺度空间；

步骤40：对步骤30得到的尺度空间进行极值点检测，得到极大极小空间的极值点；

步骤50：对步骤40得到的极值点去除对比度小于0.03的关键点和不稳定的边缘响应点，得到确定关键点的位置和尺度；

步骤60：利用步骤50中关键点的位置和尺度，确定领域像素的梯度方向，得到关键点方向参数；

步骤70：将步骤60中得到的关键点方向参数和步骤5中关键点位置和尺度，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点；一个关键点由2×2共四个种子点组成，每个种子点有8个方向向量信息；得到多组相互匹配的特征点描述子；

步骤80：将步骤70中得到的多组相互匹配的特征点描述子，使用随机抽样，并对多组相互匹配的特征点描述子进行精炼得到两幅图像或多幅图像中相互匹配的特征点描述子；

步骤90：利用步骤80中得到的相互匹配的特征点描述子，使用改进加权融合算法得到图像拼接的最终拼接结果。

进一步，步骤80中，所述特征点描述子匹配的方法为：

步骤801：随机选择4组相互匹配的特征点描述子组成一个随机样本并计算变换矩阵，计算其中的每组匹配点的特征点之间的距离，随后计算和变换矩阵一致的内点数，经过多次采样，选择内点数最多的变换矩阵，当内点数相等时，选择内点标准差最小的变换矩阵；

步骤802：采用迭代的方法精炼变换矩阵，所述迭代方法中采用LM算法最小化代价函数进行迭代精炼；

步骤803：用步骤802中精炼得到的变换矩阵定义附近的搜索区域，对匹配的特征点描述子进行精炼；

步骤804：反复迭代步骤802-803直到匹配点的特征点数目稳定。

采用这种方法可以有效的减少误匹配的点对。

进一步，步骤90中，所述改进加权融合算法的方法为：

步骤901：利用Sobel边缘检测算法提取各输入图像物体边缘，由此得到重合区域的边缘差异；

步骤902：计算输入图像重叠区域的所有匹配特征点的灰度差，并将之平均化；

步骤903：对步骤901得到的两幅图像重叠区域的物体边缘进行比较，得到互不重合的边缘；

步骤904：计算输入图像自有的不重合边缘两侧像素点的灰度值，分别与输入图像中对应位置的像素点灰度值作差，得到的每一个差值都与步骤902中的平均灰度差比较；若不相等，则证明该像素点为输入图像中运动物体的构成像素点；依次处理其余像素点，直到其他边缘或重合区域边界为止；

步骤905：计算另一幅输入图像自有的不重合边缘两侧像素点的灰度值，输入图像中对应位置的像素点灰度值与此灰度值作差，得到的每一个差值都与步骤902中的平均灰度差比较。若不相等，则证明该像素点为输入图像中运动物体的构成像素点；

步骤906：通过传统加权平均公式、计算融合图像的其他像素点灰度值，最终得到融合图像。

采用这种方法更好的实现了消除鬼影的目的。

有益效果：与现有技术相比，本发明能够有效地克服光照、鬼影等客观因素的干扰，具有拼接效果优、计算简洁、参数设置简便等优点。

附图说明

图1为本发明的方法流程图；

图2为本发明的实施例中两幅输入图像；

图3为传统方法拼接后的图像；

图4为采用本发明方法拼接后的图像。

具体实施方式

下面结合附图，对本发明进行详细说明。

如图1所示，本发明的基于改进加权融合的运动场景图像拼接方法，其步骤如下：

步骤10，采集含有重叠区域的两幅或者多幅图像数据；

步骤20，对步骤10得到的图像数据进行中值滤波，得到高斯金字塔；

步骤30，将步骤20得到的高斯金字塔与图像数据结合卷积，得到拼接后图像的尺度空间；

其中，获得尺度空间的方法为：

步骤301：设输入图像为I，根据高斯核函数的尺度σ的不同，通过滤波形成高斯金字塔。I的尺度空间定义为L(x,y,σ)，它根据含有不同高斯核函数的尺度σ的高斯核函数与I(x,y)的卷积得到：

L(x,y,σ)＝I(x,y)*G(x,y,σ)

其中，是尺度可变高斯核函数，I代表输入图像，其中，x，y分别为图像所有点的的横、纵坐标，σ为当前高斯核函数的尺度大小。

步骤302：为了在尺度空间中有效地检测到稳定的关键点，可采用高斯差分尺度空间(下文简称DoG)。设高斯差分尺度空间为D(x,y,σ)，它是由不同尺度的高斯差分核函数与图像卷积生成：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

式中，k为灰度差值加权系数。

步骤40，对步骤30得到的尺度空间进行极值点检测，得到极大极小空间极值点；

为了寻找尺度空间的极值点，每一个检测点要和它所有的相邻点比较，确定它们之间的大小关系。检测点和它同尺度的8个相邻点，以及上下相邻尺度的9×2个共26个点比较，确保在尺度空间和二维图像空间都能检测到极大极小值点。

步骤50，对步骤40得到的极值点去除低对比度的关键点和不稳定的边缘响应点，得到精确确定关键点的位置和尺度；

在离散空间找到的极值点不一定是真正意义上的极值点。可以通过对尺度空间DoG函数进行曲线拟合寻找极值点来减小这种误差。除了DoG响应较低的点，还有一些响应较强的点也不是稳定的特征点。DoG对图像中的边缘有较强的响应值，所以落在图像边缘的点也不是稳定的特征点。精确确定关键点的位置和尺度，同时去除低对比度的关键点和不稳定的边缘响应点，这是因为DoG会产生较强的边缘响应，从而以增强匹配的稳定性、提高抗噪声能力。

步骤60，利用步骤50中关键点的位置和尺度，确定领域像素的梯度方向，得到关键点方向参数；

利用上一步得到的关键点，即符合条件的极大极小值点，邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具有旋转不变性。

根据下面的公式：

$m(x_j,y_j)=\sqrt{{(L(x_j+1,y_j)-L(x_j-1,y_j))}^2+{(L(x_j,y_j+1)-L(x_j,y_j-1))}^2}$

计算极值点(x_j,y_j)处的梯度模值m(x_j,y_j)；

根据下面的公式：

θ(x_j,y_j)＝σtan2((L(x_j,y_j+1)-L(x_j,y_j-1))/(L(x_j+1,y_j)-L(x_j-1,y_j)))

计算极值点(x_j,y_j)的梯度方向θ(x_j,y_j)。其中，L为每个关键点各自的尺度，x_j,y_j分别表示第j个极值点的横、纵坐标。

在实际计算时，以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

在梯度方向直方图中，当存在另一个相当于主峰值80％能量的峰值时，则将这个方向认为是该关键点的辅方向。一个关键点可能会被指定具有多个方向，比如一个主方向，一个以上辅方向，这增强了匹配的鲁棒性。

步骤70，将步骤60中得到的关键点方向参数和步骤E中关键点位置和尺度，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共四个种子点组成，每个种子点有8个方向向量信息。得到所有相互匹配的特征点描述子；

其中，每个关键点有三个信息：位置、尺度、方向。因而以关键点为中心，可以确定一个SIFT(尺度不变特征转换)特征区域，即特征点描述子。

将坐标轴旋转至关键点的主方向，保证旋转不变性。以关键点为中心取8×8的窗口。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点。一个关键点由2×2共四个种子点组成，每个种子点有8个方向向量信息。这种邻域方向性信息联合的方法增强了算法抗噪声的能力，同时对含有定位误差的特征匹配提供了较好的容错性。

实际计算过程中，为增强匹配的稳健性，建议对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的SIFT特征向量。

步骤80，将步骤70中得到的所有相互匹配的特征点描述子，使用随机抽样一致得到两幅图像或多幅图像中相互匹配的特征点描述子；

本发明采用RANSAC算法求解图像变换矩阵H，具体流程如下：

步骤801：随机选择4组匹配点组成一个随机样本并计算变换矩阵H，对其中的每组匹配点计算距离d，随后计算和变换矩阵H一致的内点数，即计算距离不大于d的匹配点数，经过多次采样，选择内点数最多的变换矩阵H，当内点数相等时，选择内点标准差最小的变换矩阵H。

步骤802：采用迭代方法精炼变换矩阵H，所述迭代方法采用LM(Levenberg-Marquard-algorithm)算法最小化代价函数。

步骤803：用步骤802中精炼后的变换矩阵H'定义附近的搜索区域，进而精炼匹配的特征点描述子。

步骤804：重复步骤802和步骤803直到匹配的特征点描述子的数目稳定。

采用这种方法可以减少误匹配的点对。

步骤90，利用步骤80中得到的特征点描述子，使用改进加权融合算法得到图像拼接的最终拼接结果。

完成图像配准后，就可进行图像融合，其目标就是要将输入图像的重叠区域去掉，合成一幅完整的图像。如果单纯的只取第1幅或是第2幅图像的数据作为重叠部分，难免会造成图像模糊和明显的拼接痕迹。此外，如果输入图像光照差异较大，会导致拼接图像出现明显的明暗变化。

本发明提出一种基于灰度差和边缘检测的改进加权融合算法。具体方法如下：

步骤901：利用Sobel边缘检测算法提取各输入图像物体边缘，由此得到重合区域的边缘差异。

步骤902：计算输入图像重叠区域的所有匹配特征点f₁(x_i,y_i)和f₂(x_i,y_i)的灰度差，并将之平均化：

$D(\stackrel{\‾}{x},\stackrel{\‾}{y})=\frac{\mathrm{\Σ}(f_1(x_i,y_i)-f_2(x_i,y_i))}{\mathrm{Knum}}$

其中，为两幅输入图像重叠区域的平均灰度差值，f₁(x_i,y_i)、f₂(x_i,y_i)分别为两幅图像重叠区域对应匹配点的灰度值，x_i,y_i分别表示第i个匹配点的横、纵坐标。Knum为重叠区域内匹配特征点的对数。

步骤903：对步骤901得到的两幅图像重叠区域的物体边缘进行比较，得到互不重合的边缘。

步骤904：计算输入图像f₁自有的不重合边缘两侧像素点的灰度值，分别与输入图像f₂中对应位置的像素点灰度值作差，得到的每一个差值都与比较。若不相等，则证明该像素点为图像f₁或图像f₂中运动物体的构成像素点。因为运动物体大多数边缘明显，而且边缘两侧灰度值不同。将传统加权平滑公式改写为:

$f(x_i,y_i)=f_1(x_i,y_i)-\mathrm{kD}(\stackrel{\‾}{x},\stackrel{\‾}{y})$

其中，f(x_i,y_i)为融合后的像素点，k为灰度差值加权系数，其定义与传统加权融合加权系数相同。同理，依次处理该侧的其余像素点，直到其他边缘或重合区域边界为止。

步骤905：计算输入图像f₂自有的不重合边缘两侧像素点的灰度值，上述公式中的像素点f₁(x_i,y_i)及其在输入图像f₂的对应像素点除外，输入图像f₁中对应位置的像素点灰度值与此灰度值作差，得到的每一个差值都与比较。若不相等，则证明该像素点为图像f₁或图像f₂中运动物体的构成像素点。此时加权融合公式与公式相同。

步骤906：通过传统加权平均公式f(x_i,y_i)＝kf₁(x_i,y_i)+(1-k)f₂(x_i,y_i)计算融合图像的其他像素点灰度值，最终得到融合图像，其中，灰度差值加权系数k满足0≤k≤1。

如图2所示，图2(a)为输入图像I₁，图2(b)为输入图像I₂。如图3所示，传统算法在有运动物体存在的情况下，拼接结果易产生鬼影，即拼接后同一运动物体部分重叠和非重叠的情况。如图4所示，本发明提出的方法利用Sobel边缘检测计算了物体的边缘轮廓和其两侧像素点灰度值，匹配点的灰度差均值提供了两幅图像重合区域的灰度/亮度差异，间接说明了运动物体所处区域像素的灰度值变化，定位了运动物体的位置，有效的消除了鬼影。本发明提出的方法有效地克服光照、鬼影等客观因素的干扰，拼接效果更好；而且计算简洁、参数设置简便。

Claims (3)

1.一种基于改进加权融合的运动场景图像拼接方法，其特征在于，包括如下步骤：

步骤10：采集含有重叠区域的两幅或者多幅图像数据；

步骤20：对步骤10得到的图像数据进行中值滤波，得到高斯金字塔；

步骤30：将步骤20得到的高斯金字塔与图像数据结合卷积，获得步骤10得到的图像的尺度空间；

步骤40：对步骤30得到的尺度空间进行极值点检测，得到极大极小空间的极值点；

步骤50：对步骤40得到的极值点去除对比度小于0.03的关键点和不稳定的边缘响应点，得到确定关键点的位置和尺度；

步骤60：利用步骤50中关键点的位置和尺度，确定领域像素的梯度方向，得到关键点方向参数；

步骤70：将步骤60中得到的关键点方向参数和步骤5中关键点位置和尺度，在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，形成一个种子点；一个关键点由2×2共四个种子点组成，每个种子点有8个方向向量信息；得到多组相互匹配的特征点描述子；

步骤80：将步骤70中得到的多组相互匹配的特征点描述子，使用随机抽样，并对多组相互匹配的特征点描述子进行精炼得到两幅图像或多幅图像中相互匹配的特征点描述子；

步骤90：利用步骤80中得到的相互匹配的特征点描述子，使用改进加权融合算法得到图像拼接的最终拼接结果。

2.根据权利要求1所述的一种基于改进加权融合的运动场景图像拼接方法，其特征在于，步骤80中，所述对多组相互匹配的特征点描述子进行精炼的方法为：

步骤801：随机选择4组相互匹配的特征点描述子组成一个随机样本并计算变换矩阵，计算其中的每组匹配点的特征点之间的距离，随后计算和变换矩阵一致的内点数，经过多次采样，选择内点数最多的变换矩阵，当内点数相等时，选择内点标准差最小的变换矩阵；

步骤802：采用迭代的方法精炼变换矩阵，所述迭代方法中采用LM算法最小化代价函数进行迭代精炼；

步骤803：用步骤802中精炼得到的变换矩阵定义附近的搜索区域，对匹配的特征点描述子进行精炼；

步骤804：反复迭代步骤802-803直到匹配点的特征点数目稳定。

3.根据权利要求1所述的一种基于改进加权融合的运动场景图像拼接方法，其特征在于，步骤90中，所述改进加权融合算法的方法为：

步骤901：利用Sobel边缘检测算法提取各输入图像物体边缘，由此得到重合区域的边缘差异；

步骤902：计算输入图像重叠区域的所有匹配特征点的灰度差，并将之平均化；

步骤903：对步骤901得到的两幅图像重叠区域的物体边缘进行比较，得到互不重合的边缘；

步骤904：计算输入图像自有的不重合边缘两侧像素点的灰度值，分别与输入图像中对应位置的像素点灰度值作差，得到的每一个差值都与步骤902中的平均灰度差比较；若不相等，则证明该像素点为输入图像中运动物体的构成像素点；依次处理其余像素点，直到其他边缘或重合区域边界为止；

步骤905：计算另一幅输入图像自有的不重合边缘两侧像素点的灰度值，输入图像中对应位置的像素点灰度值与此灰度值作差，得到的每一个差值都与步骤902中的平均灰度差比较。若不相等，则证明该像素点为输入图像中运动物体的构成像素点；

步骤906：通过传统加权平均公式、计算融合图像的其他像素点灰度值，最终得到融合图像。