CN110288533A - 一种非旋转图像的快速拼接方法 - Google Patents

Abstract

本发明公开了一种非旋转图像的快速拼接方法，包括以下步骤：A、A、确定灰度投影模板的大小和位置；B、计算灰度投影模板对应的图像上每一行灰度值之和以及每一列灰度值之和；C、针对后一副相邻的图像，从第一行位置开始，取灰度投影模板同样大小和左右位置区域，计算行灰度值之和，并与前一幅图像灰度行投影值相减；D、从后一副相邻图像的第一列开始，取列灰度投影模板同样大小的区域，计算列灰度值之和，并与前一幅图像灰度列投影值相减；E、以前一幅图片为基础，将新增区域进行拼接，并根据偏移位置对新增区域进行左右方向的调整，组成一幅完整图像。本发明能够改进现有技术的不足，拼接速度快，拼接后的图像质量高。

Description

一种非旋转图像的快速拼接方法

技术领域

本发明涉及图像处理技术领域，尤其是一种非旋转图像的快速拼接方法。

背景技术

图像拼接作为这些年来图像研究方面的重点之一，国内外研究人员也提出了很多拼接算法。图像拼接的质量，主要依赖图像的配准程度，因此图像的配准是拼接算法的核心和关键。根据图像匹配方法的不同，一般可以将图像拼接算法分为以下两个类型：

(1)基于区域相关的拼接算法。

这是最为传统和最普遍的算法。基于区域的配准方法是从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异，对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。也可以通过FFT变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。

当以两块区域像素点灰度值的差别作为判别标准时，最简单的一种方法是直接把各点灰度的差值累计起来。这种办法效果不是很好，常常由于亮度、对比度的变化及其它原因导致拼接失败。另一种方法是计算两块区域的对应像素点灰度值的相关系数，相关系数越大，则两块图像的匹配程度越高。该方法的拼接效果要好一些，成功率有所提高。

(2)基于特征相关的拼接算法。基于特征的配准方法不是直接利用图像的像素值，而是通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。

基于特征的配准方法有两个过程：特征抽取和特征配准。首先从两幅图像中提取灰度变化明显的点、线、区域等特征形成特征集冈。然后在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。如canny算子、拉普拉斯高斯算子、区域生长。抽取出来的空间特征有闭合的边界、开边界、交叉线以及其他特征。特征匹配的算法有：交叉相关、距离变换、动态编程、结构匹配、链码相关等算法。

综上所述，基于区域相关的拼接算法拼接效果不佳，基于特征相关的拼接算虽然拼接质量好，但是计算量太大，拼接速度较慢。。

发明内容

本发明要解决的技术问题是提供一种非旋转图像的快速拼接方法，能够解决现有技术的不足，拼接速度快，拼接后的图像质量高。

为解决上述技术问题，本发明所采取的技术方案如下。

一种非旋转图像的快速拼接方法，包括以下步骤：

A、确定灰度投影模板的大小和所处的位置；

B、计算灰度投影模板对应的图像上灰度行投影值，即每一行灰度值之和Sum_row，计算灰度投影模板对应的图像上灰度列投影值，即每一列灰度值之和Sum_column；

C、针对后一副相邻的图像，从第一行位置开始，取灰度投影模板同样大小和左右位置区域，计算行灰度值之和Sum_rowi，并与前一幅图像灰度行投影值相减，并将误差值求和，然后依次向下移动投影模板，则最小误差对应的灰度投影模板行起始位置即为前后两幅图像开始重叠区域，该行之前为第二幅图像拍摄的新内容；

D、确定行起始位置后进行左右偏移量的判断，从后一副相邻图像的第一列开始，取列灰度投影模板同样大小的区域，计算列灰度值之和Sum_columni，并与前一幅图像灰度列投影值相减，并将误差值求和，然后依次向右移动投影模板，则最小误差对应的灰度投影模板列起始位置即为前后两幅图像开始重叠区域，该列之前是第二幅图像拍摄的新内容；

E、得到重叠区域的行和列起始位置后，以前一幅图片为基础，将新增区域进行拼接，并根据偏移位置对新增区域进行左右方向的调整，根据该方法依次将时间序列相同的图片进行拼接，直到组成一幅完整图像。

作为优选，步骤A中，计算精度和速度随着灰度投影模板的增大而提高，灰度投影模板所包含的干扰信息随着灰度投影模板的增大而增大。

作为优选，灰度投影模板大小的确定方法为，

其中，Template_row_row、Template_row_column分别表示行方向灰度投影模板的行列数，即行方向灰度投影模板的大小，Template_column_row、Template_column_column分别表示列方向灰度投影模板的行列数，即行方向灰度投影模板的大小；pixel_forward表示待拼接的两幅图像所拍摄内容增加的大致像素数，pixel_{image_row}、pixel_{image_column}分别带拼接图像对应矩阵的行列数；k₁～k₄代表系数。

作为优选，步骤B中，在计算灰度投影模板对应的图像上灰度行投影值之前，在前一幅图像上使行方向灰度投影模板的位置位于图像最上方的中间区域；计算灰度投影模板对应的图像上灰度列投影值之前，使列方向灰度投影模板的位置位于前一幅图像左半平面的最上方中间区域。

作为优选，步骤C中，向下移动投影模板的次数等于灰度投影模板行数。

作为优选，步骤D中，向右移动投影模板的次数等于灰度投影模板列数。

作为优选，步骤D中，若最小误差对应的灰度投影模板列起始位置的列编号小于前一幅图像中灰度投影模板起始列位置的列编号，则后一幅图像发生了右偏；若最小误差对应的灰度投影模板列起始位置的列编号大于前一幅图像中灰度投影模板起始列位置的列编号，则后一幅图像发生了左偏。

作为优选，步骤E中，对拼接出的完整图像进行细节优化处理，包括以下步骤，

E1、在拼接区域筛选若干个特征像素点，筛选条件为，

(1)、特征像素点与其相邻的像素点之间的灰度差值大于设定阈值，

(2)、相邻两个特征像素点的欧氏距离大于设定阈值；

E2、使用线段将特征像素点进行连接，线段与其经过区域的灰度变化梯度方向相垂直；

E3、对线段两侧的图像区域进行灰度均值化处理。

作为优选，步骤E3中，对线段两侧的图像区域进行灰度均值化处理包括以下步骤，

E31、对待处理区域进行分类，将待处理区域内存在与其距离最近的线段上灰度变化线性相关的区域定义为一类区域，将其它区域定义为二类区域；

E32、将一类区域进行灰度均化处理，建立一类区域处理前后的变换函数；

E33、使用变换函数直接对二类区域进行变换。

采用上述技术方案所带来的有益效果在于：本发明通过设定行、列两种灰度投影模板进行图像的拼接，拼接效果与特征提取法相当，但是计算量小，拼接消耗的时间远远低于特征提取法。同时，通过对拼接后图像的优化处理，在不大幅度增加计算量的前提下，有效提高了拼接区域的图像质量。

附图说明

图1是本发明的原理图。

图2是拼接前的原始图像集。

图3是拼接后的图像。

具体实施方式

参照图1-3，本发明一个具体实施方式包括以下步骤：

确定灰度投影模板的大小和所处的位置。模板取的越大所包含的信息越丰富，计算精度越高、次数越少、速度越快；但是模板过大包含干扰信息的可能性越大，灰度投影模板大小的确定可以根据公式(1)得到。

上式中，Template_row_row、Template_row_column分别表示行方向灰度投影模板的行列数(即行方向灰度投影模板的大小)，Template_column_row、Template_column_column分别表示列方向灰度投影模板的行列数(即行方向灰度投影模板的大小)；pixel_forward表示待拼接的两幅图像所拍摄内容增加的大致像素数，pixel_{image_row}、pixel_{image_column}分别带拼接图像对应矩阵的行列数；1.5、0.8、0.5、0.3代表系数，它决定了模板的大小和拍摄图像大小之间的关系，可以根据实际情况进行调整。

确定了行列方向灰度投影模板大小之后，在前一幅图像上使行方向灰度投影模板的位置位于图像最上方的中间区域，计算灰度投影模板对应的图像上灰度行投影值，即每一行灰度值之和Sum_row；使列方向灰度投影模板的位置位于前一幅图像左半平面的最上方中间区域，计算灰度投影模板对应的图像上灰度列投影值，即每一列灰度值之和Sum_column。

针对后一副相邻的图像，从第一行位置开始，取灰度投影模板同样大小和左右位置区域，计算行灰度值之和Sum_rowi，并与前一幅图像灰度行投影值相减，并将误差值求和，然后依次向下移动投影模板，移动次数等于灰度投影模板行数，则最小误差对应的灰度投影模板行起始位置即为前后两幅图像开始重叠区域，该行之前为第二幅图像拍摄的新内容。

确定行起始位置后可以进行左右偏移量的判断，从后一副相邻图像的第一列开始，取列灰度投影模板同样大小的区域，计算列灰度值之和Sum_columni，并与前一幅图像灰度列投影值相减，并将误差值求和，然后依次向右移动投影模板，移动次数等于灰度投影模板列数，则最小误差对应的灰度投影模板列起始位置即为前后两幅图像开始重叠区域，该列之前是第二幅图像拍摄的新内容。如果该列值小于前一幅图像中灰度投影模板的起始列位置，说明第二幅图像发生了右偏，反之说明发生了左偏。

得到重叠区域的行和列起始位置后，以前一幅图片为基础，将新增区域进行拼接，并根据偏移位置对新增区域进行左右方向的调整，可以根据该方法依次将时间序列相同的图片进行拼接，直到组成一幅完整图像。

对于拼接后的图像，在拼接区域筛选若干个特征像素点，筛选条件为，

(1)、特征像素点与其相邻的像素点之间的灰度差值大于设定阈值，

(2)、相邻两个特征像素点的欧氏距离大于设定阈值；

使用线段将特征像素点进行连接，线段与其经过区域的灰度变化梯度方向相垂直；

对线段两侧的图像区域进行灰度均值化处理，具体的，首先对待处理区域进行分类，将待处理区域内存在与其距离最近的线段上灰度变化线性相关的区域定义为一类区域，将其它区域定义为二类区域；然后将一类区域进行灰度均化处理，建立一类区域处理前后的变换函数；最后使用变换函数直接对二类区域进行变换。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (9)

1.一种非旋转图像的快速拼接方法，其特征在于包括以下步骤：

A、确定灰度投影模板的大小和所处的位置；

B、计算灰度投影模板对应的图像上灰度行投影值，即每一行灰度值之和Sum_row，计算灰度投影模板对应的图像上灰度列投影值，即每一列灰度值之和Sum_column；

C、针对后一副相邻的图像，从第一行位置开始，取灰度投影模板同样大小和左右位置区域，计算行灰度值之和Sum_rowi，并与前一幅图像灰度行投影值相减，并将误差值求和，然后依次向下移动投影模板，则最小误差对应的灰度投影模板行起始位置即为前后两幅图像开始重叠区域，该行之前为第二幅图像拍摄的新内容；

D、确定行起始位置后进行左右偏移量的判断，从后一副相邻图像的第一列开始，取列灰度投影模板同样大小的区域，计算列灰度值之和Sum_columni，并与前一幅图像灰度列投影值相减，并将误差值求和，然后依次向右移动投影模板，则最小误差对应的灰度投影模板列起始位置即为前后两幅图像开始重叠区域，该列之前是第二幅图像拍摄的新内容；

E、得到重叠区域的行和列起始位置后，以前一幅图片为基础，将新增区域进行拼接，并根据偏移位置对新增区域进行左右方向的调整，根据该方法依次将时间序列相同的图片进行拼接，直到组成一幅完整图像。

2.根据权利要求1所述的非旋转图像的快速拼接方法，其特征在于：步骤A中，计算精度和速度随着灰度投影模板的增大而提高，灰度投影模板所包含的干扰信息随着灰度投影模板的增大而增大。

3.根据权利要求2所述的非旋转图像的快速拼接方法，其特征在于：灰度投影模板大小的确定方法为，

其中，Template_row_row、Template_row_column分别表示行方向灰度投影模板的行列数，即行方向灰度投影模板的大小，Template_column_row、Template_column_column分别表示列方向灰度投影模板的行列数，即行方向灰度投影模板的大小；pixel_forward表示待拼接的两幅图像所拍摄内容增加的大致像素数，pixel_{image_row}、pixel_{image_column}分别带拼接图像对应矩阵的行列数；k₁～k₄代表系数。

4.根据权利要求1所述的非旋转图像的快速拼接方法，其特征在于：步骤B中，在计算灰度投影模板对应的图像上灰度行投影值之前，在前一幅图像上使行方向灰度投影模板的位置位于图像最上方的中间区域；计算灰度投影模板对应的图像上灰度列投影值之前，使列方向灰度投影模板的位置位于前一幅图像左半平面的最上方中间区域。

5.根据权利要求1所述的非旋转图像的快速拼接方法，其特征在于：步骤C中，向下移动投影模板的次数等于灰度投影模板行数。

6.根据权利要求1所述的非旋转图像的快速拼接方法，其特征在于：步骤D中，向右移动投影模板的次数等于灰度投影模板列数。

7.根据权利要求6所述的非旋转图像的快速拼接方法，其特征在于：步骤D中，若最小误差对应的灰度投影模板列起始位置的列编号小于前一幅图像中灰度投影模板起始列位置的列编号，则后一幅图像发生了右偏；若最小误差对应的灰度投影模板列起始位置的列编号大于前一幅图像中灰度投影模板起始列位置的列编号，则后一幅图像发生了左偏。

8.根据权利要求1所述的非旋转图像的快速拼接方法，其特征在于：步骤E中，对拼接出的完整图像进行细节优化处理，包括以下步骤，

E1、在拼接区域筛选若干个特征像素点，筛选条件为，

(1)、特征像素点与其相邻的像素点之间的灰度差值大于设定阈值，

(2)、相邻两个特征像素点的欧氏距离大于设定阈值；

E2、使用线段将特征像素点进行连接，线段与其经过区域的灰度变化梯度方向相垂直；

E3、对线段两侧的图像区域进行灰度均值化处理。

9.根据权利要求8所述的非旋转图像的快速拼接方法，其特征在于：步骤E3中，对线段两侧的图像区域进行灰度均值化处理包括以下步骤，

E31、对待处理区域进行分类，将待处理区域内存在与其距离最近的线段上灰度变化线性相关的区域定义为一类区域，将其它区域定义为二类区域；

E32、将一类区域进行灰度均化处理，建立一类区域处理前后的变换函数；

E33、使用变换函数直接对二类区域进行变换。