CN106485658A - 一种用于图像拼接的最优缝合线搜索方法 - Google Patents

Abstract

本发明提出了一种用于图像拼接的最优缝合线搜索方法，其将图象重叠区域的差图作为搜索空间，定义了与图像高相等维数的向量作为染色体(备选缝合线)，其中，染色体的每一位基因代表了差图中每一行的最优拼接点。染色体(备选缝合线)的适应度值定义为差图上拼接点所在位置的像素值之和的倒数。同时，还将每个染色体随机分为若干段子染色体，分别优化各段子染色体，最后组合子染色体优化的结果作为最优缝合线。通过随机分组优化策略，可以处理大规模决策变量，有效提高缝合线的质量。

Description

一种用于图像拼接的最优缝合线搜索方法

技术领域

本发明涉及图像信息处理领域，特别涉及一种用于图像拼接的最优缝合线搜索方法。

背景技术

图像是人类获取视觉信息的一种重要途径。全景图像(视频)因其能给人以良好的沉浸式体验，越来越受到人们的关注。广角镜头在一定程度上可以获取宽视角的图像，但是其通常具有以下缺点，如拍摄范围过大导致细节分辨率下降，图像边缘扭曲变形，镜头过于昂贵。由此，采用多镜头拼接的方法成为获取全景图的一种有效方法。全景图像拼接，具体而言就是将多幅来自同一场景的有重叠区域的小尺寸图像，经过配准和变换之后，合成为一幅高质量的、较大的全景图。该技术在计算机视觉、图像处理和计算机图形学等方面都有着重要的应用。

现有技术中的图像拼接方法，其步骤如图1所示，包括图像输入、图像预处理、图像配准、图像变换、图像融合、输出全景图。

图像预处理，包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。

图像配准，就是采用一定的匹配策略,找出待拼接图像中的模板或特征点在参考图像中对应的位置,进而确定两幅图像之间的变换关系。

图像变换，就是根据模板或者图像特征之间的对应关系,计算出数学模型中的各参数值,从而建立两幅图像的数学变换模型，进而根据建立的数学转换模型,将待拼接图像转换到参考图像的坐标系中。

图像融合，就是将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。

在图像融合的过程中，如果图像序列的重叠区域中存在运动的物体，通常会造成同一物点在图像重叠区域中的绝对位置不同，即产生“鬼影(重影)现象”，极大地损害了融合的效果。最优缝合线法因其对输入拼接图像重叠比例限制小等优点成为为解决“鬼影现象”，提高融合的效果的首选方案。

所述最优缝合线搜索即是寻找一条自图像顶端到底端的最优路径使得缝合线经过位置的差异图像像素值之和最小。差异图像一般可定义为两幅图像重叠区域的差图。换言之，即将缝合线经过位置的差异图像像素值之和定义为一个最小化目标函数，寻找使得该目标函数最小的一条缝合线，是一个典型的组合优化问题。

有关最优缝合线搜索方面的研究，目前常用的方法包括传统的基于图切割、最短路径、动态规划的方法和非传统的基于智能优化算法的方法，如模拟退火、遗传算法等。传统方法最大的缺陷在于无法找到全局最优，如专利公开号为CN103489154A的专利文献，公开了一种基于目标块检测的缝合线实时调整方法，其能够实时对缝合线进行局部调整，使缝合线绕开运动目标，避免缝合线的全局跳变，但无法找到全局最优的缝合线。基于智能优化算法的方法在理论上可以找到全局最优，因此，在最优缝合线搜索方面的应用越来越广泛。

一般地，为求得图像在每行上的最优拼接点，基于智能优化算法的最优缝合线搜索方法需要定义一个与图像像素高相等维数的向量作为染色体，其中染色体的每一位基因代表每一行图像的最优拼接点。考虑到图像高度(像素个数)可能是几千甚至上万，如对于3840×1920(宽×高)的图像，为寻找最优缝合线，需要定义一个1920维的向量，一般的智能优化算法会随着搜索空间(1920个变量)的增大而性能急剧降低。

发明内容

本发明要解决的技术问题是：提供一种用于图像拼接的最优缝合线搜索方法，能处理大规模决策变量，有效提高缝合线的质量。

本发明的解决方案是这样实现的：一种用于图像拼接的最优缝合线搜索方法，其特征在于，包括以下步骤：

S1、构建图像A和B的差图diff_AB，设已知图像A和B重叠区域相同、大小相等且已配准，则图像A和B的差图diff_AB为图像A和B的像素值归一化之后的差的绝对值，其中图像A、B和差图diff_AB的宽和高分别为W和H；

S2、参数设置，设进化代数为maxGen，种群规模为N，当前代数为gen，且gen＝1；初始化种群为S，是指随机生成N条备选缝合线，即N个长度为H的染色体；

S3、基于差图diff_AB计算N条备选缝合线的适应度，挑选出适应度值最大的染色体S_min；

S4、将染色体的H个变量随机分为k组，即k个子染色体；

S5、对分组后的变量逐组优化，每组运行T代；

S6、输出经步骤S5逐组优化后的当前适应度值最大的一个染色体S_max作为最优缝合线s。

本发明的另一技术方案在于在上述基础之上，在所述步骤S1之前，还包括图像灰度化处理步骤，具体为将彩色图像A和B转换为灰度图像。

本发明的另一技术方案在于在上述基础之上，在所述步骤S1中图像A和B的差图diff_AB具体为：

diff_ABij＝abs(A_ij-B_ij)/max(A_ij,B_ij),其中i和j表示图像的第i行和第j列。

本发明的另一技术方案在于在上述基础之上，在所述步骤S2中随机生成N条备选缝合线具体为：

随机生成N个长度为H的向量，向量中每个变量的值为整数且在闭区间[1,W]内。

本发明的另一技术方案在于在上述基础之上，在所述步骤S3中基于差图diff_AB计算N条备选缝合线的适应度的方法具体为：

设备选缝合线为S_i，其适应度值为

本发明的另一技术方案在于在上述基础之上，在所述步骤S4中将染色体的H个变量随机分为k组的具体方法为：

将自然数列1到H随机打乱，选取第1个到第个变量作为第一组变量，第个到第个作为第二组变量，依次类推，将第个到第变量作为第k-1组变量，剩余变量作为第k组变量，即前k-1组每组个变量,第k组个变量。

本发明的另一技术方案在于在上述基础之上，所述步骤S5具体包括：

S5.1、基于每段子染色体构造新的染色体种群，设基于第i组变量构建染色体种群S_i，具体操作为将当前种群S的每个染色体中除第i组变量之外的所有变量的值用S_min染色体相应位置的变量值代替；

S5.2、计算新染色体种群的适应度值，基于差图diff_AB计算种群S_i中染色体的适应度值，挑选出适应度值最大的染色体S_min；

S5.3、基于染色体的适应度值，使用轮赌盘策略选择出N个较好的染色体；

S5.4、针对步骤S5.3中选择出的较好的染色体，使用交叉变异算子生成新的N个染色体。

本发明的另一技术方案在于在上述基础之上，在所述步骤S5.3中使用轮赌盘策略选择出N个较好的染色体的方法具体为：

设有个体s_a,s_b,s_c对应的适应度分别为2，3，1，其相应的累计概率则为2/6，(2+3)/6，(2+3+1)/6，生成一个随机数为rand，若rand<2/6，选中个体s_a,如果2/6<rand<(2+3)6，选中个体s_b，如果(2+3)/6<rand<(2+3+1)/6，选中个体s_c。

本发明的另一技术方案在于在上述基础之上，在所述步骤S5.4中使用交叉变异算子生成新的N个染色体的方法具体为：

交叉算子：首先随机从种群S中选择两个个体作为父代染色体，设为s1和s2，每个染色体即代表一条备选缝合线，且有H个基因位，每个基因位代表了一个缝合点；其次检测s1和s2是否满足交叉条件，即s1和s2中是否存在起止位置相同的基因序列且其起止位置的基因值相等，若不满足则重新选择两个个体，否则进行交叉操作，即交换s1和s2中处于该段基因序列除起止位置的基因值之外的其他基因值；

变异算子：首先从交叉操作产生的新种群中随机选择一个个体，记为s3；其次，针对每一位基因(从1到H)，以概率0.9判别是否进行变异操作，即若rand<0.9，不进行变异操作，否则执行变异操作，其中rand为一个位于0到1之间的随机数；然后，针对要进行变异的基因位进行如下处理，如第k个基因位，若其相邻两个基因位的值c_k-1和c_k+1相等，则等概率将c_k-1，c_k或c_k+1的赋值于c_k；若其相邻两个基因位的值c_k-1和c_k+1相差为1，则令c_k＝c_k-1；否则不进行任何操作。

本发明的另一技术方案在于在上述基础之上，所述步骤S5具体包括，初始化i＝1：

S5.1、基于第i组变量构建染色体种群S_i，具体操作为将当前种群S的每个染色体中除第i组变量之外的所有变量的值用S_min染色体相应位置的变量值代替；此外，令t＝1；

S5.2、基于差图diff_AB计算种群S_i中染色体的适应度值，挑选出适应度值最大的染色体S_min；

S5.3、基于染色体的适应度值，使用轮赌盘策略选择出N个较好的染色体；

S5.4、针对步骤S5.3中选择出的较好的染色体，使用交叉变异算子生成新的N个染色体；

S5.5、令gen＝gen+1,t＝t+1,若t小于T，则跳转到S5.3；

否则

令i＝i+1,若i≤k,则跳转到步骤S1；

否则

跳转到步骤S4，若gen大于maxGen，则跳转到第六步。

本发明所述的用于图像拼接的最优缝合线搜索方法，其将图象重叠区域的差图作为搜索空间，定义了与图像高相等维数的向量作为染色体(备选缝合线)，其中，染色体的每一位基因代表了差图中每一行的最优拼接点。染色体(备选缝合线)的适应度值定义为差图上拼接点所在位置的像素值之和的倒数。同时，寻优过程中还利用了分而治之的策略，即将每个染色体随机分为若干段子染色体，分别优化各段子染色体，最后组合子染色体优化的结果作为最优缝合线。通过随机分组优化策略，可以处理大规模决策变量，有效提高缝合线的质量。因此，本发明所述的最优缝合线搜索方法，较之于现有的基于图切割等缝合线搜索的方法，不仅能更准确地找到全局最优缝合线，而且有效提高了图像拼接效果。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为现有技术中图像拼接方法的基本流程图。

图2为本发明一种实施方式所述最优缝合线搜索方法的流程图；

图3为图2中最优缝合线搜索方法中的交叉算子操作示意图；

图4为本发明一种实施方式所述最优缝合线搜索方法中两幅重叠区域相同、大小相等且已配准的源图像；

图5为图4中两幅图像的像素值归一化差图；

图6为图4中两幅图像采用本发明所述最优缝合线搜索方法得到的拼接图像及缝合线。

具体实施方式

下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。此外，本领域技术人员根据本文件的描述，可以对本文件中实施例中以及不同实施例中的特征进行相应组合。

本发明实施例如下，请参见图2，一种用于图像拼接的最优缝合线搜索方法，具体实施步骤如下：

第一步、构建图像A和B的差图diff_AB，已知图像A和B重叠区域相同、大小相等且已配准，构建图像A和B的差图diff_AB；其中A、B和diff_AB的宽和高(像素个数)分别记为W和H。具体操作方法如下：

1)若A和B均为灰度图像，则diff_AB定义为图像A和B的像素值归一化之后的差的绝对值，即diff_ABij＝abs(A_ij-B_ij)/max(A_ij,B_ij),i和j表示图像的第i行和第j列。

2)若A和B为彩色图像，需将A和B先转换为灰度图像，然后按照1)计算diff_AB，其中可使用Matlab 2010(a)提供的函数rgb2grey进行彩色图到灰度图的转换；

第二步、初始化智能优化算法参数，包括进化代数(maxGen)，种群规模(N)，当前代数(gen)为1；初始化种群S即指随机生成N条备选缝合线(N个长度为H的染色体)；具体操作方法如下：

1)令maxGen＝20；N＝100；gen＝0；

2)随机生成N个长度为H的向量，向量中每个变量的值为整数且在闭区间[1,W]内；其中可使用Matlab 2010(a)提供的函数randi(W，[1,H])生成满足条件的1个向量。譬如s_i＝(3 4 5 6 7 7 6 5)，则表示待拼接的两幅图像每行的最优拼接点自上而下，依次为第3，4、5、6、7、7、6、5个像素(从左至右)所在的位置，其中H＝8。因此最终的全景图中，选择使用图像A位于缝合线左侧的部分，图像B位于缝合线右侧的部分，或者A位于缝合线右侧的部分，图像B位于缝合线左侧的部分。

第三步、基于差图diff_AB计算N条备选缝合线(染色体)的适应度，挑选出适应度值最大的染色体S_min；具体操作方法如下：

对于一条备选缝合线(染色体)s_i,其适应度值为譬如diff_AB一个3*4的差图，s_i的值为(2 1 2),

则的s_i适应度为1/(3+2+4)＝1/9。

第四步、若gen大于maxGen，则转第六步，否则将染色体的H个变量随机分为k组，具体操作如下：将自然数列1到H随机打乱，选取第1个到第个变量作为第一组变量，第个到第个作为第二组变量，依次类推，将第个到第变量作为第k-1组变量，剩余变量作为第k组变量，即前k-1组每组个变量,第k组个变量；

第五步、对分组后的变量逐组优化，每组运行T代，初始化i＝1；

1)基于第i组变量构建染色体种群S_i。具体操作如下：

将当前种群S的每个染色体中除第i组变量之外的所有变量的值用s染色体相应位置的变量值代替。譬如H＝8，N＝4，k＝4，第一组变量包括第1个和第2个变量，s为(2 3 3 34 5 6 6)。其中S为{(1 2 3 4 5 6 7 8),(2 2 3 3 4 5 6 5),(1 2 3 4 4 5 5 4),(1 2 22 3 4 6 7)}，那么基于第1组变量构建的新的染色体种群S₁就是{(1 2 3 3 4 5 6 6),(22 3 3 4 5 6 6),(1 2 3 3 4 5 6 6),(1 2 3 3 4 5 6 6)}；此外，令t＝1；

2)基于差图diff_AB计算种群S_i中染色体的适应度值，挑选出适应度值最大的染色体S_min；具体操作与第三步相同。

3)基于染色体的适应度值，使用轮赌盘策略选择出N个较好的染色体；具体操作如下：譬如有个体s_a,s_b,s_c对应的适应度分别为2，3，1，其相应的累计概率则为2/6，(2+3)/6，(2+3+1)/6。生成一个随机数为rand，若rand<2/6，选中个体s_a,如果2/6<rand<(2+3)6，选中个体s_b，如果(2+3)/6<rand<(2+3+1)/6，选中个体s_c，以此类推。

4)针对选择出的染色体，使用交叉变异算子生成新的N个染色体；具体交叉变异算子设计如下：

a)交叉算子：首先随机从种群S中选择两个个体(记为s1和s2)作为父代染色体。如图3所示，每个染色体即代表一条备选缝合线，且有H个基因位，每个基因位代表了一个缝合点；其次检测s1和s2是否满足交叉条件，即s1和s2中存在起止位置相同的基因序列且其起止位置的基因值相等，若不满足则重新选择两个个体，否则进行交叉操作，即交换s1和s2中处于该段基因序列除起止位置的基因值之外的其他基因值。如起止位置相同的两段基因序列，s1＝{g1,g2,g3,g4,g5,g6},s2＝{q1,q2,q3,q4,q5,q6}，若g1等于q1且g6等于q6，那么满足交叉条件，交换位于中间的基因值，得到s1’＝{g1,q2,q3,q4,q5,g6}和s2’＝{q1,g2,g3,g4,g5,q6},作为两个新个体。

b)变异算子：首先从交叉操作产生的新种群中随机选择一个个体，记为s3，其基因值分别为{c_1,c_2,c_3,…,c_H}。其次，针对每一位基因(从1到H)，以概率0.9判别是否进行变异操作，即若rand<0.9，不进行变异操作，否则执行变异操作(rand为一个位于0到1之间的随机数)。然后，针对要进行变异的基因位，如第k个基因位，若其相邻两个基因位的值c_k-1和c_k+1相等，则等概率将c_k-1，c_k或c_k+1的赋值于c_k；若其相邻两个基因位的值c_k-1和c_k+1相差为1，则令c_k＝c_k-1；否则不进行任何操作。

5)gen＝gen+1,t＝t+1,若t小于T，转入3)否则

令i＝i+1,若i>k,则转入第四步，否则转入1)；

第六步、输出当前适应度值最大的一个染色体S_max作为最优缝合线s。

如图4至图6所示，为利用本发明所述的最优缝合线搜索方法找到的最优缝合线。其中，图4中左右图像为重叠区域相同、大小相等且已配准的源图像，其中H＝1920，图像宽W＝300。图5为图4中两幅图像的像素值归一化之后的差图。设定分组个数k＝10，分组运行代数T＝10,算法迭代次数maxGen＝1000。按照上述参数，执行最优缝合线搜索方法后，得到的最优缝合线及拼接图像如图6所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种用于图像拼接的最优缝合线搜索方法，其特征在于，包括以下步骤：

S1、构建图像A和B的差图diff_AB，设已知图像A和B重叠区域相同、大小相等且已配准，则图像A和B的差图diff_AB为图像A和B的像素值归一化之后的差的绝对值，其中图像A、B和差图diff_AB的宽和高分别为W和H；

S2、参数设置，设进化代数为maxGen，种群规模为N，当前代数为gen，且gen＝1；初始化种群为S，是指随机生成N条备选缝合线，即N个长度为H的染色体；

S3、基于差图diff_AB计算N条备选缝合线的适应度，挑选出适应度值最大的染色体S_min；

S4、将染色体的H个变量随机分为k组，即k个子染色体；

S5、对分组后的变量逐组优化，每组运行T代；

S6、输出经步骤S5逐组优化后的当前适应度值最大的一个染色体S_max作为最优缝合线s。

2.根据权利要求1所述的最优缝合线搜索方法，其特征在于，在所述步骤S1之前，还包括图像灰度化处理步骤，具体为将彩色图像A和B转换为灰度图像。

3.根据权利要求1所述的最优缝合线搜索方法，其特征在于，在所述步骤S1中图像A和B的差图diff_AB具体为：

diff_ABij＝abs(A_ij-B_ij)/max(A_ij,B_ij),其中i和j表示图像的第i行和第j列。

4.根据权利要求1所述的最优缝合线搜索方法，其特征在于，在所述步骤S2中随机生成N条备选缝合线具体为：

随机生成N个长度为H的向量，向量中每个变量的值为整数且在闭区间[1,W]内。

5.根据权利要求1所述的最优缝合线搜索方法，其特征在于，在所述步骤S3中基于差图diff_AB计算N条备选缝合线的适应度的方法具体为：

设备选缝合线为S_i，其适应度值为

6.根据权利要求1所述的最优缝合线搜索方法，其特征在于，在所述步骤S4中将染色体的H个变量随机分为k组的具体方法为：

将自然数列1到H随机打乱，选取第1个到第个变量作为第一组变量，第个到第个作为第二组变量，依次类推，将第个到第变量作为第k-1组变量，剩余变量作为第k组变量，即前k-1组每组个变量,第k组个变量。

7.根据权利要求1至6中任一项所述的最优缝合线搜索方法，其特征在于，所述步骤S5具体包括：

S5.1、基于每段子染色体构造新的染色体种群，设基于第i组变量构建染色体种群S_i，具体操作为将当前种群S的每个染色体中除第i组变量之外的所有变量的值用S_min染色体相应位置的变量值代替；

S5.2、计算新染色体种群的适应度值，基于差图diff_AB计算种群S_i中染色体的适应度值，挑选出适应度值最大的染色体S_min；

S5.3、基于染色体的适应度值，使用轮赌盘策略选择出N个染色体；

S5.4、针对步骤S5.3中选择出的染色体，使用交叉变异算子生成新的N个染色体。

8.根据权利要求7所述的最优缝合线搜索方法，其特征在于，在所述步骤S5.3中使用轮赌盘策略选择出N个染色体的方法具体为：

设有个体s_a,s_b,s_c对应的适应度分别为2，3，1，其相应的累计概率则为2/6，(2+3)/6，(2+3+1)/6，生成一个随机数为rand，若rand<2/6，选中个体s_a,如果2/6<rand<(2+3)6，选中个体s_b，如果(2+3)/6<rand<(2+3+1)/6，选中个体s_c。

9.根据权利要求7所述的最优缝合线搜索方法，其特征在于，在所述步骤S5.4中使用交叉变异算子生成新的N个染色体的方法具体为：

交叉算子：首先随机从种群S中选择两个个体作为父代染色体，设为s1和s2，每个染色体即代表一条备选缝合线，且有H个基因位，每个基因位代表了一个缝合点；其次检测s1和s2是否满足交叉条件，即s1和s2中是否存在起止位置相同的基因序列且其起止位置的基因值相等，若不满足则重新选择两个个体，否则进行交叉操作，即交换s1和s2中处于该段基因序列除起止位置的基因值之外的其他基因值；

变异算子：首先从交叉操作产生的新种群中随机选择一个个体，记为s3；其次，针对每一位基因(从1到H)，以概率0.9判别是否进行变异操作，即若rand<0.9，不进行变异操作，否则执行变异操作，其中rand为一个位于0到1之间的随机数；然后，针对要进行变异的基因位进行如下处理，如第k个基因位，若其相邻两个基因位的值c_k-1和c_k+1相等，则等概率将c_k-1，c_k或c_k+1的赋值于c_k；若其相邻两个基因位的值c_k-1和c_k+1相差为1，则令c_k＝c_k-1；否则不进行任何操作。

10.根据权利要求1至6中任一项所述的最优缝合线搜索方法，其特征在于，所述步骤S5具体包括，初始化i＝1：

S5.1、基于第i组变量构建染色体种群S_i，具体操作为将当前种群S的每个染色体中除第i组变量之外的所有变量的值用S_min染色体相应位置的变量值代替；此外，令t＝1；

S5.2、基于差图diff_AB计算种群S_i中染色体的适应度值，挑选出适应度值最大的染色体S_min；

S5.3、基于染色体的适应度值，使用轮赌盘策略选择出N个染色体；

S5.4、针对步骤S5.3中选择出的染色体，使用交叉变异算子生成新的N个染色体；

S5.5、令gen＝gen+1,t＝t+1,若t小于T，则跳转到S5.3；

否则

令i＝i+1,若i≤k,则跳转到步骤S1；

否则

跳转到步骤S4，若gen大于maxGen，则跳转到第六步。