CN103489154B - 基于目标块检测的缝合线实时调整方法 - Google Patents

Abstract

本发明属于图像信息处理领域，解决视频拼接中由于相邻帧之间缝合线变化导致视觉效果下降的问题，提供一种基于目标块检测的缝合线实时调整方法。包括：将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测；将临界区域均分成若干个方格块，计算每一个方格块灰度变化，标记目标块；对该段缝合线进行局部调整。本发明能够实时对缝合线进行局部调整，能够使缝合线绕开运动目标，避免缝合线的全局跳变，达到更理想的视觉效果。

Description

基于目标块检测的缝合线实时调整方法

技术领域

本发明属于图像信息处理领域，涉及多路高清视频拼接过程中的缝合线调整方法。

背景技术

视频拼接技术突破摄像机采集传感器的物理限制，通过拼接多摄像机同一时刻下拍摄的视频序列，得到高分辨的全景视频，能够大大提高人们对事物和场景的动态感知、辨别与监控能力，技术要点涉及数据采集、图像配准、图像拼接与融合等方面。

在图像拼接与融合过程中，需要在相邻图像重叠区域内寻找一条最优缝合线，在缝合线的左侧写入源图像一的相应像素值，在缝合线另一侧写入源图像二的相应像素值。如果缝合线选取恰当，不但能够得到无错位的融合图像，而且可以从根本上消除“鬼影”现象。

求解缝合线的过程可以归结为一个多阶段决策问题，而动态规划算法是一种解决多阶段决策问题的高效优化方法。从缝合线初始点到终点的搜索过程中，由当前点寻找下一点的决策可以构成一个决策序列，即一个策略。在所有可能策略中，按照上述准则选取最优解。具体来说，首先按照上述准则构建重叠区域的差值图像，然后在差值图像上用动态规划算法求解缝合线，并选择经过像素值最小的缝合线作为最优缝合线。

由于求得的缝合线可能穿过重叠区域中的运动目标，容易造成运动目标产生较明显的形变和错位。如果在每一帧中都重新求解缝合线，则会造成整条缝合线的全局调整，容易出现比较明显的闪动的视觉效果。针对这些问题，对穿过运动目标的缝合线部分进行局部调整，既可以绕开运动目标，又可以避免相邻两帧之间缝合线的全局调整，能够取得更好的视觉效果。

发明内容

本发明为解决由于相邻帧之间缝合线发生全局变化和缝合线穿过运动目标而导致的视频拼接视觉效果下降的技术问题，提供一种基于目标块检测的缝合线实时调整方法。

本发明是采用以下技术方案实现的：

一种基于目标块检测的缝合线实时调整方法，包括如下步骤：

S1、将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化，所述已有缝合线为上一帧缝合线；

S2、根据预先设定的方格块区域总数将每段缝合线所对应的临界区域均分成若干个方格块，计算每一个所述方格块的灰度变化；当方格块的灰度变化大于预先设定的变化阈值时，将所述方格块标记为目标块；

S3、设定目标块数量阈值，当某段缝合线所对应的临界区域内的目标块数量大于所述目标块数量阈值时，对该段缝合线进行局部调整。

进一步地，在步骤S3中需要进行局部调整的若干段缝合线中如果存在相邻的缝合线段，则以相邻的缝合线段构成的整体缝合线段进行局部调整。

进一步地，所述步骤S3中对缝合线进行局部调整所采用的方法包括但不限于动态规划算法、图割算法或贪婪搜索算法。

进一步地，所述步骤S3中对缝合线进行局部调整所采用的方法包括以下步骤：

S31、计算图像重叠区域的差异图像；

S32、采用动态规划算法，在该段缝合线所在重叠区域内从缝合线段的上端到下端进行逐行搜索，寻找一条最优路径使得缝合线经过位置的差异图像像素值之和最小，所述最优路径即为局部调整后的缝合线。

进一步地，所述步骤S31中计算图像重叠区域的差异图像的具体方法为：对两幅源图像在每一个像素点处的颜色差和梯度差，根据预先设定的对应的加权系数进行加权平均得到每个像素点对应的差异值，进而得到重叠区域的差异图像。

进一步地，所述步骤S32中的动态规划算法为：首先从待局部调整的缝合线终点向起点方向分别按照从左向右和从右向左顺序，在差异图像内进行逐行计算，得到每行内各个像素点到该缝合线终点的最小的差异图像像素值之和；再按照相反方向从该缝合线起点到终点进行搜索，根据当前点和其相邻点到该缝合线终点的最小的差异图像像素值之和，依次从其相邻点中确定下一个缝合线点，最终确定调整后的缝合线。

综上所述，本发明所述方法首先将上一帧缝合线作为已有缝合线，并将缝合线分割成等长缝合线段，然后对于每段缝合线，在缝合线两侧的临界区域利用帧差法进行变化检测。当灰度变化大于变化阈值时，标记目标块。最后利用改进动态规划算法更新该段缝合线。本发明能够实时对缝合线进行局部调整，能够使缝合线绕开运动目标，避免缝合线的全局跳变，达到更理想的视觉效果。

附图说明

图1是本发明所述方法的流程图；

图2是本发明实施例中两幅有重叠区域的源图像；

图3是重叠区域图像；

图4是已有缝合线示意图；

图5是缝合线分割成等长缝合线段示意图；

图6是帧差法求得灰度变化结果示意图；

图7是目标块标记示意图；

图8是差异值图像示意图；

图9是改进动态规划算法求解过程示意图；

图10是局部调整后缝合线示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明。

本发明提供了一种基于目标块检测的缝合线实时调整方法，如图1所示，包括如下步骤：

S1、将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化，所述已有缝合线为上一帧缝合线。

缝合线段长度根据图像尺寸具体确定，可以按照垂直距离将重叠区域等分为若干部分，每一部分中包含了一段垂直方向等长的缝合线。对于第一帧视频图像的重叠区域，该已有缝合线的初值为所述重叠区域垂直方向的中心线。一般来说，可以按照垂直距离将重叠区域等分为5至20个部分。

帧差法在运动目标检测中使用较多，其基本原理是将连续的两帧图像对应的像素值相减。在环境亮度变化不大的情况下，如果对应像素值相差很小，可以认为此处景物是静止的，如果图像区域某处的像素值变化很大，可认为这是由于图像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，可以求出运动目标在图像中的位置。设分别为像素点(i,j)在相邻两帧的灰度值，则像素点(i,j)的灰度变化Δg₀(i,j)为：

$\mathrm{\Δ}{g}_0(i,j)=\mathrm{abs}(g_{F_0}(i,j)-g_{F_1}(i,j))$

其中abs(·)表示取绝对值。

将所得灰度变化结果进行二值化处理，设置阈值T，一般来说，阈值T可以设置为5至40，则：

其中(i,j)表示像素点位置，Δg(i,j)表示将Δg₀(i,j)进行二值化处理后的值。

选取缝合线两侧Δd距离内的区域为临界区域，只需关注临界区域内的灰度值变化。

本实施例中，对于图2所示的两幅有重叠部分的图像，可以获得其重叠部分如图3。将图4所示的已有缝合线分割成等长的缝合线段（如图5所示），利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化（如图6所示），所述已有缝合线为上一帧缝合线。

S2、根据预先设定的方格块区域总数将每段缝合线所对应的临界区域均分成若干个方格块，计算每一个所述方格块的灰度变化；当方格块的灰度变化大于预先设定的变化阈值时，将所述方格块标记为目标块。

首先将每段缝合线所对应的临界区域均分为M×N个方格块，一般来说M和N的值分别取值在50-100之间。设Δg(m,n)为该区域中(m,n)位置对应的二值化后的灰度变化绝对值。计算每一方格块区域中的灰度变化Δg_b，其中D_b表示第b个方格块区域，b=1,2,…,M×N：

$\mathrm{\Δ}{g}_b=\underset{(m,n)\∈D_b}{\mathrm{\Σ}}\mathrm{\Δg}(m,n)$

当每块内灰度变化Δg_b超过阈值T_b时，该块标记为目标块。一般来说，阈值T_b的取值范围在10至30之间。

如图7所示即为本实施例中目标块标记的示意图。

需要注意的是，本发明中在调整缝合线时不能穿过这些目标块。在具体实施时，针对待调整的局部缝合线，例如可以将目标块内各个像素点到该段缝合线终点的最小的差异图像像素值之和设置为较大的值，保证在调整缝合线时不会穿过目标块。或者对该目标块内的各个点进行标记，在缝合线调整过程中绕开所有具有所述标记的各像素点。

S3、设定目标块数量阈值，当某段缝合线所对应的临界区域内的目标块数量大于所述目标块数量阈值时，对该段缝合线进行局部调整。

为缝合线段所在区域中的目标块数量N设定阈值T_n，当N＞T_n时，认为该区域有运动变化发生，只需对该段缝合线进行局部调整，即在该缝合线段所在区域内从其起点至终点重新确定一条缝合线。一般来说，阈值T_n的取值范围T_n≥10。

目前确定缝合线的方法主要有动态规划算法、图割算法和贪婪搜索算法。

动态规划算法可以参见文献[1]：H.Gu,Y.Yu,W.Sun,ANewOptimalSeamSelectionMethodforAirborneImageStitching,IEEEInternationalWorkshoponIST’09,159–163,2005，文献[1]中介绍了一种典型的动态规划算法，可以应用在本发明中对该段缝合线进行局部调整。

图割算法的一种典型形式可以参见文献[2]：V.Kolmogorov,R.Zabih,ComputingVisualCorrespondencewithOcclusionsUsingGraphCuts,Proceedingsof8^thIEEEInternationalConferenceonComputerVision(ICCV),2,508–515,2001。文献[2]中介绍了一种典型的图割算法，可以应用在本发明中对该段缝合线进行局部调整。

贪婪搜索算法的一种典型形式可以参见文献[3]：K.W.Lee,S.W.Jung,S.K.Kim,S.J.KO,ANovelContent-AwareStitchingAlgorithmforReal-TimeVideoSequences,IEICETransactiononInformationandSystem,E94-D,2,357–362,2011。文献[3]中介绍了一种典型的贪婪搜索算法，也可以应用在本发明中对该段缝合线进行局部调整。

本领域技术人员能够熟知上述各种算法的计算过程，并将其应用到本发明中进行缝合线的局部调整。

本发明中还提供了一种改进动态规划算法，可以对含有目标块区域内的缝合线段进行局部调整，并且通过多次仿真实验，结果表明该方法局部调整的效果更好。

所述对缝合线进行局部调整的步骤如下：

S31、计算图像重叠区域的差异图像。

对于源图像一和源图像二形成的重叠区域内任一点(x,y)，该点在源图像一和源图像二中分别对应像素点的颜色值为f₁(x,y)和f₂(x,y)，源图像一和源图像二在该点处的梯度值分别为▽f₁(x,y)和▽f₂(x,y)，定义该点(x,y)位置的差值为：

D(x,y)＝αD_c(x,y)+βD_g(x,y)

其中，D_c(x,y)＝abs(f₁(x,y)-f₂(x,y))，D_g(x,y)＝abs(▽f₁(x,y)-▽f₂(x,y))，α，β为预先设定的加权系数，一般来说，α+β=1，并且α，β的取值范围均在0.2-0.8之间。采用上述方法可以求得重叠区域各点处的差异图像。

本实施例中所使用的差值图像如图8所示。

S32、采用动态规划算法，在该段缝合线所在重叠区域内从缝合线段的上端到下端进行逐行搜索，寻找一条最优路径使得缝合线经过位置的差异图像像素值之和最小，所述最优路径即为局部调整后的缝合线。

为了保证局部调整后的缝合线的连续性，在调整前应当固定该段缝合线的起点和终点。

所述寻找最优路径的过程为：首先从待局部调整的缝合线终点向起点方向分别按照从左向右和从右向左顺序，在差异图像内进行逐行计算，得到每行内各个像素点到该缝合线终点的最小的差异图像像素值之和；再按照相反方向从该缝合线起点到终点进行搜索，根据当前点和其相邻点到该缝合线终点的最小的差异图像像素值之和，依次从其相邻点中确定下一个缝合线点，最终确定调整后的缝合线。

如图9所示，设f(i,j)为第i行第j列像素到缝合线段终点的最小累积差值距离，S为第i行第j列像素到缝合线段终点的缝合线段上点构成的集合，则有：

$f(i,j)=\min \left(\underset{s\∈S}{\mathrm{\Σ}}d\left(s\right)\right)$

其中，d(s)为缝合线上某一点s处的差异值。设d(i,j)为第i行第j列的差值像素值，重叠区域尺寸为W×H。首先设置最小累积差值距离初值：

f(H,j)＝d(H,j)(j＝1…W)

从最后一行开始，向上逐行求解各点到最后一行的最小差值距离。传统动态规划算法只考虑i+1行中与点(i,j)邻接的点：

f(i,j)＝min(d(i+1,j-1)+f(i+1,j-1),

d(i+1,j)+f(i+1,j),

d(i+1,j+1)+f(i+1,j+1))

导致最佳缝合线无法沿着水平方向拓展。改进动态规划算法可以将第i行中与点(i,j)相邻的点也纳入求解过程，从而解决这一问题。具体实施过程如下：

（1）从左向右计算，刷新最小累积差值距离f_l(i,j)。

f_l(i,j)＝min(d(i+1,j-1)+f(i+1,j-1),

d(i+1,j)+f(i+1,j),

d(i+1,j+1)+f(i+1,j+1),

d(i,j-1)+f(i,j-1))

（2）从右向左计算，刷新最小累积差值距离f_R(i,j)。

f_R(i,j)＝min(d(i+1,j-1)+f(i+1,j-1),

d(i+1,j)+f(i+1,j),

d(i+1,j+1)+f(i+1,j+1),

d(i,j+1)+f(i,j+1))

（3）最终的最小累积差值距离f(i,j)为

f(i,j)＝min(f_l(i,j),f_R(i,j))

运用改进动态规划算法对含有目标块区域内的缝合线段进行局部调整。此时该段缝合线的首尾端点均已固定，从该缝合线起点到终点进行搜索，根据当前点和其相邻点到该缝合线终点的最小的差异图像像素值之和，依次从其相邻点中确定下一个缝合线点并进行标记，最终确定调整后的缝合线。过程表示如下：

如果

然后将已标记的缝合线点连接起来，得到最终局部调整后的缝合线。如图10所示即为本实施例中最终的缝合线局部调整效果。

Claims (6)

1.一种基于目标块检测的缝合线实时调整方法，其特征在于包括如下步骤：

S1、将已有缝合线分割成等长的缝合线段，利用帧差法在每段缝合线所对应的临界区域进行变化检测，得到相邻两帧在所述临界区域内的灰度变化，所述已有缝合线为上一帧缝合线；

S2、根据预先设定的方格块区域总数将每段缝合线所对应的临界区域均分成若干个方格块，计算每一个所述方格块的灰度变化；当方格块的灰度变化大于预先设定的变化阈值时，将所述方格块标记为目标块；

S3、设定目标块数量阈值，当某段缝合线所对应的临界区域内的目标块数量大于所述目标块数量阈值时，对该段缝合线进行局部调整。

2.根据权利要求1所述的基于目标块检测的缝合线实时调整方法，其特征在于：在步骤S3中需要进行局部调整的若干段缝合线中如果存在相邻的缝合线段，则以相邻的缝合线段构成的整体缝合线段进行局部调整。

3.根据权利要求1或2所述的基于目标块检测的缝合线实时调整方法，其特征在于：所述步骤S3中对缝合线进行局部调整所采用的方法包括但不限于动态规划算法、图割算法或贪婪搜索算法。

4.根据权利要求1或2所述的基于目标块检测的缝合线实时调整方法，其特征在于：所述步骤S3中对缝合线进行局部调整所采用的方法包括以下步骤：

S31、计算图像重叠区域的差异图像；

S32、采用动态规划算法，在该段缝合线所在重叠区域内从缝合线段的上端到下端进行逐行搜索，寻找一条最优路径使得缝合线经过位置的差异图像像素值之和最小，所述最优路径即为局部调整后的缝合线。

5.根据权利要求4所述的基于目标块检测的缝合线实时调整方法，其特征在于：所述步骤S31中计算图像重叠区域的差异图像的具体方法为：对两幅源图像在每一个像素点处的颜色差和梯度差，根据预先设定的对应的加权系数进行加权平均得到每个像素点对应的差异值，进而得到重叠区域的差异图像。

6.根据权利要求4所述的基于目标块检测的缝合线实时调整方法，其特征在于：所述步骤S32中的具体方法为：首先从待局部调整的缝合线终点向起点方向分别按照从左向右和从右向左顺序，在差异图像内进行逐行计算，得到每行内各个像素点到该缝合线终点的差异图像像素值之和的最小值；再按照相反方向从该缝合线起点到终点进行搜索，根据当前点和其相邻点到该缝合线终点的差异图像像素值之和的最小值，依次从其相邻点中确定下一个缝合线点，最终确定调整后的缝合线。