CN102467738A - 一种图像拼接方法及系统 - Google Patents

Abstract

本发明涉及一种图像拼接方法及系统，属于图像处理技术领域。本发明首先从待拼接的第一图像和第二图像的重叠部分中选取M组相对点，从所有组相对点中选出两组，作为拼接参考点；然后以所述拼接参考点为基准拼接图像；再调整拼接后图像的重叠部分中不重合的点；最后裁切拼接后图像中的重叠部分。本发明可以支持多对参考点的无缝拼接，用户只需选取相对点，操作简单，且拼接效果好。

Description

一种图像拼接方法及系统

技术领域

本发明属于图像处理技术领域，具体涉及一种图像拼接方法及系统。

背景技术

图像拼接是指将两幅或两幅以上具有重叠部分的图片无缝地拼接成一幅较大的图片的技术。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法，这类方法速度慢、精度低，而且常常需要人工选取初始匹配点，无法适应大数据量图像的融合。

金昌EX9000印花智能设计分色系统是国内的印染分色软件。此系统除兼具各类CAD系统的全部基本功能外，同时还开发了各种特殊功能，在处理高精度、高难度花稿上具有较强的能力和可靠性。“金昌Ex9000”软件中具有图像拼接的工具，能将分数次输入的大幅面图案要素进行分析，按组成规律自动拼接成完整图案。但是，利用该工具拼接图像具有如下缺点：①如果相对点选取不准确，则拼接不准；②对于拼接扭曲图像，拼接不准。

发明内容

针对现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种拼接效果好的图像拼接方法及系统。

为解决上述技术问题，本发明采用的技术方案如下：

一种图像拼接方法，包括以下步骤：

(1)从待拼接的第一图像和第二图像的重叠部分中选取M组相对点；

(2)从所有组相对点中选出两组，作为拼接参考点；如果仅选取一组相对点，则将该组相对点作为拼接参考点；

(3)以所述拼接参考点为基准拼接图像；

(4)调整拼接后图像的重叠部分中不重合的点；

(5)裁切拼接后图像中的重叠部分。

如上所述的图像拼接方法，步骤(1)中，所述相对点为第一图像和第二图像重叠部分中相同图案上的角点。所述M∈[2，50]。在选取出相对点后，还包括以从第一图像中选取出的点为参照，调整从第二图像中选取的相对点的操作，其操作过程如下：

(a)设选取出的相对点为第一图像中的点a和第二图像中的点a′，调整点a′；以点a为中心，作一设定边长的矩形T；以点a′为中心，作一设定边长的矩形N，所述矩形N为调整的限定区域；

(b)以矩形N中的每一个像素点为中心，作一与矩形T大小相同的矩形I；计算矩形T中的像素点颜色与矩形I中像素颜色的相似度；

(c)将第二图像中与矩形T相似度最大的矩形I的中心点作为点a的相对点。

如上所述的图像拼接方法，其中，矩形N为边长在5至200像素点之间的矩形，所述矩形T的边长为矩形N的边长的1/4。

如上所述的图像拼接方法，步骤(2)中所述拼接参考点需满足如下条件：①两组相对点相邻；②其中一组相对点与另一组相对点在与拼接方向垂直的方向上的距离最大；所述拼接方向包括横向拼接和纵向拼接。如果存在多个两组相对点满足拼接参考点条件，则任意选取一个两组相对点为拼接参考点。

如上所述的图像拼接方法，步骤(3)中，在拼接过程中，对于一个目的像素点，其浮点坐标为(i+u，j+v)；其中，i、j均为非负整数，u、v为[0，1)区间的浮点数；所述目的像素点的颜色值f(i+u，j+v)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)+u(1-v)f(i+1，j)+uvf(i+1，j+1)；其中，f(i，j)表示第二图像中坐标在(i，j)处的像素点的像素值，f(i，j+1)表示第二图像中坐标在(i，j+1)处的像素点的像素值，f(i+1，j)表示第二图像中坐标在(i+1，j)处的像素点的像素值，f(i+1，j+1)表示第二图像中坐标在(i+1，j+1)处的像素点的像素值。

如上所述的图像拼接方法，其特征在于：步骤(4)中所述调整拼接后图像的重叠部分中不重合的点的方法如下：

(i)确定拼接后图像的坐标原点；

(ii)从基准参考点开始沿着与拼接方向垂直的方向向两侧依次查找不重合的相对点；当遇到不重合的相对点时，以第一图像为参照，调整第二图像中不重合的相对点和与其相邻的重合的相对点之间的像素点，使其与第一图像中相对应的点重合。

调整一组不重合相对点的方法如下：

设第一图像中的点b和第二图像中的点b′重合，与相对点b、b′相邻的不重合的相对点a和a′；

首先确定点a′移动到点a的水平距离L_x和垂直距离L_y：L_x＝a(x)-a′(x)；L_y＝a(y)-a′(y)；其中，a(x)和a(y)分别表示点a的横、纵坐标，a′(x)和a′(y)分别表示点a′的横、纵坐标；

然后确定在点a′和点b′之间的像素点p′移动的水平距离和垂直距离：

水平方向移动距离＝L_x像素；

垂直方向移动距离＝(p′(y)-b′(y))/(a′(y)-b′(y))×(a(y)-a′(y))像素；所述p′(y)表示像素点p′的纵坐标；b′(y)表示像素点b′的纵坐标；

按照上述距离移动第二图像中点a′和点b′之间的所有点。

如上所述的图像拼接方法，步骤(5)中所述裁切拼接后的图像中的重叠部分的方法如下：

以经过所有相对点、且与拼接方向垂直方向的折线为分界线，删除第二图像中覆盖第一图像的边缘部分区域，以及删除第一图像中被第二图像覆盖的边缘部分区域。

一种图像拼接系统，包括用于从待拼接的第一图像和第二图像中选取相同图案上的若干组相对点的第一选取装置；

用于从所有组相对点中选出两组，作为拼接参考点的第二选取装置；

用于依据拼接参考点拼接第一图像和第二图像的拼接装置；

用于调整拼接后的图像中不重合的相对点的第一调整装置；

用于裁切拼接后图像中重叠部分的裁切装置。

如上所述的图像拼接系统，还包括第二调整装置，用于以第一图像中选取出的点为参照，判断从第二图像中选取的相对点是否合适，如果不合适，则调整相对点。

本发明所述方法及系统，可以支持多对参考点的无缝拼接，用户只需选取相对点，操作简单，且拼接效果好。对于用户选择的相对点有偏差时，可以根据图像的内容自动校正相对点位置，使得相对点在两幅图像中的相应位置一致。其次，对于具有小幅扭曲的图像，本发明也可以很好地实现无缝地拼接。另外，本发明还支持多次操作，即对于上次拼接效果不好的部分可以通过添加参考点来修改拼接结果。

附图说明

图1是具体实施方式中图像拼接系统的结构框图；

图2是具体实施方式中图像拼接方法的流程图；

图3是具体实施方式中相对点的选取示意图；

图4是具体实施方式中相对点的校正示意图；

图5A是具体实施方式中图像拼接前选取的相对点分布示意图，图5B是图像拼接后存在不重合的相对点示意图；

图6是具体实施方式中拼接后的图像中不重合的相对点的位置关系示意图；

图7是具体实施方式中裁切拼接后图像中的重叠部分示意图。

具体实施方式

下面结合具体实施方式和附图对本发明进行详细描述。

图1示出了本实施方式中图像拼接系统的结构。如图1所示，该系统包括第一选取装置11，与第一选取装置11连接的第二调整装置16，与第二调整装置16连接的第二选取装置12，与第二选取装置12连接的拼接装置13，与拼接装置13连接的第一调整装置14，以及与第一调整装置14连接的裁切装置15。

第一选取装置11用于从待拼接的第一图像和第二图像中选取相同图案上的若干组相对点。

第二调整装置16用于以第一图像中选取出的点为参照，判断从第二图像中选取的相对点是否合适，如果不合适，则调整相对点。

第二选取装置12用于从所有组相对点中选出两组，作为拼接参考点；如果仅选取一组相对点，则将该组相对点作为拼接参考点。

拼接装置13用于依据拼接参考点拼接第一图像和第二图像。

第一调整装置14用于调整拼接后的图像中不重合的相对点。

裁切装置15用于裁切拼接后图像中的重叠部分。

图2示出了图1所示系统拼接图像的方法流程。如图2所示，该方法包括如下步骤：

(1)第一选取装置11从待拼接的第一图像和第二图像的重叠部分中选取M组相对点。

所述相对点是指重叠部分中相同图案上相对应的点，优选的，选取相同图案上的角点。如图3所示，可以选取点a和a′、点b和b′、点c和c′作为相对点。优选的，M∈[2，50]，即选取2到50组相对点。

选取出相对点后，由于选取的相对点可能存在不准确的情况，因此为了达到更好的拼接效果，本实施方式还包括由第二调整装置16以从第一图像中选取出的点为参照，判断从第二图像中选取的相对点是否合适的操作，如果不合适，则调整从第二图像中选取的相对点。具体的调整过程如下：

(a)拟将第二图像拼接到第一图像上。如图4所示，设选取出的相对点为第一图像中的点a和第二图像中的点a′，调整点a′。以点a为中心，作一设定边长的矩形T；以点a′为中心，作一设定边长的矩形N，所述矩形N为调整的限定区域。

本实施方式中，矩形N为边长在5至200像素点之间的矩形，矩形T的大小由矩形N决定，边长为矩形N的四分之一。

(b)以矩形N中的每一个像素点为中心，作一与矩形T大小相同的矩形I。计算矩形T中像素点颜色与矩形I中像素颜色的相似度。

相似度计算公式如下：

$R(x,y)=\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}[T(x^{\′},y^{\′})\×I(x+x^{\′},y+y^{\′})]/\sqrt{\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}T{(x^{\′},y^{\′})}^2\×\underset{x^{\′},y^{\′}}{\mathrm{\Σ}}I{(x+x^{\′},y+y^{\′})}^2}$

其中，R表示相似度，T表示矩形T内像素点的颜色值，I表示矩形I内像素点的颜色值。x、y表示矩形N范围内的像素点相对于坐标原点为第二图像的左上角时的坐标；x′、y′表示矩形T(或矩形I)内的像素点相对于坐标原点为矩形T(或矩形I)的左上角时的坐标。上述公式的含义是矩形T和矩形I内相对应像素点的颜色值相乘求和，除以相对应像素点的颜色值平方后相乘求和。

(c)将第二图像中与矩形T相似度最大的矩形I的中心点作为点a的相对点。

(2)第二选取装置12从所有组相对点中选出两组，作为拼接参考点，以这两组参考点为基准拼接图像。

优选的，选取满足如下条件的两组相对点作为拼接参考点：①两组相对点相邻；②其中一组相对点与另一组相对点在与拼接方向垂直的方向上的距离最大。所述拼接方向包括横向拼接和纵向拼接。

如果存在多个两组相对点满足拼接参考点条件，则任意选取一个两组相对点为拼接参考点。

(3)拼接装置13以拼接参考点为基准拼接图像。

在进行图像拼接时，将第二图像拼接到第一图像中，并非直接将相对应的像素点直接移过去，而是进行了双线性插值，计算出一个新的颜色值来代替原颜色值。具体方法如下：

对于一个目的像素点(即拼接后图像上的像素点)，设置坐标通过反向变换得到的浮点坐标为(i+u，j+v)，其中，i、j均为非负整数，u、v为[0，1)区间的浮点数，则该像素点的颜色值f(i+u，j+v)可由第二图像中坐标为(i，j)、(i+1，j)、(i，j+1)、(i+1，j+1)所对应的周围四个像素点的颜色值决定，即：

f(i+u，j+v)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)+u(1-v)f(i+1，j)+uvf(i+1，j+1)

其中，f(i，j)表示第二图像中坐标在(i，j)处的像素点的像素值，以此类推。

(4)第一调整装置14调整拼接后图像的重叠部分中不重合的点。具体调整方法如下：

(i)确定拼接后图像的坐标原点。可以将包含拼接后图像的最小矩形的左上角点作为坐标原点。

(ii)从基准参考点开始沿着与图像拼接方向垂直的方向向两侧依次查找不重合的相对点。当遇到不重合的相对点时，以第一图像为参照，调整第二图像中不重合的相对点和与其相邻的重合的相对点之间的像素点，使其与第一图像中相对应的点重合。

如图5A所示，相对点为5组，其中，相对点b、b′和相对点c、c′为基准拼接点，图像拼接后如图5B所示。坐标原点为左上角点50，相对点a、a′和相对点d、d′并未重合。从基准参考点b、b′(此时b、b′已重合为一点)开始，沿着与图像拼接方向垂直的方向向上查找不重合的相对点，找到相对点a和a′不重合。以第一图像中经过相对点b和相对点a之间的区域图像为参照，调整第二图像中点b′和点a′之间的区域图像，使两个区域图像重合。如图5B所示，即以第一图像中的图像区域51和52为参照，调整第二图像中的图像区域52，使两个区域图像重合。如图6所示，具体调整方法如下：

首先确定点a′移动到点a的水平距离L_x(像素)和垂直距离L_y(像素)：L_x＝a(x)-a′(x)；L_y＝a(y)-a′(y)；其中，a(x)和a(y)分别表示点a的横、纵坐标，a′(x)和a′(y)分别表示点a′的横、纵坐标；

然后确定第二图像中在a′和b′之间的像素点p′的水平移动距离和垂直移动距离：

水平方向移动距离＝L_x像素；

垂直方向移动距离＝(p′(y)-b′(y))/(a′(y)-b′(y))×(a(y)-a′(y))像素。所述p′(y)表示像素点p′的纵坐标，b′(y)表示像素点b′的纵坐标。

按照如上距离移动第二图像中在a′和b′之间的所有像素点。

调整后，再从点a和a′(调整后重合)开始，沿着与拼接方法垂直的方向向上继续查找不重合的相对点，直到调整完该方向上拼接后的图像。

在另一方向上，从基准参考点c和c′(重合)开始，向下查找不重合的相对点，采用与上述相同的方式，调整第二图像。

(5)裁切装置15裁切拼接后图像中的重叠部分。

以经过所有相对点、且与拼接方向垂直方向的折线为分界线，删除第二图像中覆盖第一图像的边缘部分区域，以及删除第一图像中被第二图像覆盖的边缘部分区域。

如图7所示，以折线71为分界线，删除第二图像中覆盖第一图像的边缘部分区域72，及第一图像中被第二图像覆盖的边缘部分区域73。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种图像拼接方法，包括以下步骤：

(1)从待拼接的第一图像和第二图像的重叠部分中选取M组相对点；

(2)从所有组相对点中选出两组，作为拼接参考点；如果仅选取一组相对点，则将该组相对点作为拼接参考点；

(3)以所述拼接参考点为基准拼接图像；

(4)调整拼接后图像的重叠部分中不重合的点；

(5)裁切拼接后图像中的重叠部分。

2.如权利要求1所述的图像拼接方法，其特征在于：步骤(1)中，所述相对点为第一图像和第二图像重叠部分中相同图案上的角点。

3.如权利要求1所述的图像拼接方法，其特征在于：步骤(1)中，所述M∈[2，50]。

4.如权利要求1所述的图像拼接方法，其特征在于：步骤(1)中，在选取出相对点后，还包括以从第一图像中选取出的点为参照，调整从第二图像中选取的相对点的操作。

5.如权利要求4所述的图像拼接方法，其特征在于：所述调整从第二图像中选取的相对点的操作过程如下：

(a)设选取出的相对点为第一图像中的点a和第二图像中的点a′，调整点a′；以点a为中心，作一设定边长的矩形T；以点a′为中心，作一设定边长的矩形N，所述矩形N为调整的限定区域；

(b)以矩形N中的每一个像素点为中心，作一与矩形T大小相同的矩形I；计算矩形T中的像素点颜色与矩形I中像素颜色的相似度；

(c)将第二图像中与矩形T相似度最大的矩形I的中心点作为点a的相对点。

6.如权利要求5所述的图像拼接方法，其特征在于：所述矩形N为边长在5至200像素点之间的矩形，所述矩形T的边长为矩形N的边长的1/4。

7.如权利要求1所述的图像拼接方法，其特征在于：步骤(2)中所述拼接参考点需满足如下条件：①两组相对点相邻；②其中一组相对点与另一组相对点在与拼接方向垂直的方向上的距离最大；所述拼接方向包括横向拼接和纵向拼接。

8.如权利要求7所述的图像拼接方法，其特征在于：如果存在多个两组相对点满足拼接参考点条件，则任意选取一个两组相对点为拼接参考点。

9.如权利要求1至8之一所述的图像拼接方法，其特征在于：步骤(3)中，在拼接过程中，对于一个目的像素点，其浮点坐标为(i+u，j+v)；其中，i、j均为非负整数，u、v为[0，1)区间的浮点数；所述目的像素点的颜色值f(i+u，j+v)＝(1-u)(1-v)f(i，j)+(1-u)vf(i，j+1)+u(1-v)f(i+1，j)+uvf(i+1，j+1)；其中，f(i，j)表示第二图像中坐标在(i，j)处的像素点的像素值，f(i，j+1)表示第二图像中坐标在(i，j+1)处的像素点的像素值，f(i+1，j)表示第二图像中坐标在(i+1，j)处的像素点的像素值，f(i+1，j+1)表示第二图像中坐标在(i+1，j+1)处的像素点的像素值。

10.如权利要求1至8之一所述的图像拼接方法，其特征在于：步骤(4)中所述调整拼接后图像的重叠部分中不重合的点的方法如下：

(i)确定拼接后图像的坐标原点；

(ii)从基准参考点开始沿着与拼接方向垂直的方向向两侧依次查找不重合的相对点；当遇到不重合的相对点时，以第一图像为参照，调整第二图像中不重合的相对点和与其相邻的重合的相对点之间的像素点，使其与第一图像中相对应的点重合。

11.如权利要求10所述的图像拼接方法，其特征在于：步骤(ii)中调整一组不重合相对点的方法如下：

设第一图像中的点b和第二图像中的点b′重合，与相对点b、b′相邻的不重合的相对点a和a′；

首先确定点a′移动到点a的水平距离L_x和垂直距离L_y：L_x＝a(x)-a′(x)；L_y＝a(y)-a′(y)；其中，a(x)和a(y)分别表示点a的横、纵坐标，a′(x)和a′(y)分别表示点a′的横、纵坐标；

然后确定在点a′和点b′之间的像素点p′移动的水平距离和垂直距离：

水平方向移动距离＝L_x像素；

垂直方向移动距离＝(p′(y)-b′(y))/(a′(y)-b′(y))×(a(y)-a′(y))像素；所述p′(y)表示像素点p′的纵坐标，b′(y)表示像素点b′的纵坐标；

按照上述距离移动第二图像中点a′和点b′之间的所有点。

12.如权利要求1至8之一所述的图像拼接方法，其特征在于：步骤(5)中所述裁切拼接后的图像中的重叠部分的方法如下：

以经过所有相对点、且与拼接方向垂直方向的折线为分界线，删除第二图像中覆盖第一图像的边缘部分区域，以及删除第一图像中被第二图像覆盖的边缘部分区域。

13.一种图像拼接系统，包括用于从待拼接的第一图像和第二图像中选取相同图案上的若干组相对点的第一选取装置(11)；

用于从所有组相对点中选出两组，作为拼接参考点的第二选取装置(12)；

用于依据拼接参考点拼接第一图像和第二图像的拼接装置(13)；

用于调整拼接后的图像中不重合的相对点的第一调整装置(14)；

用于裁切拼接后图像中重叠部分的载切装置(15)。

14.如权利要求13所述的图像拼接系统，其特征在于：所述系统还包括第二调整装置(16)，用于以第一图像中选取出的点为参照，判断从第二图像中选取的相对点是否合适，如果不合适，则调整相对点。

Images