CN107203970A - 一种基于动态最优缝合线的视频拼接方法 - Google Patents

一种基于动态最优缝合线的视频拼接方法 Download PDF

Info

Publication number
CN107203970A
CN107203970A CN201710471081.7A CN201710471081A CN107203970A CN 107203970 A CN107203970 A CN 107203970A CN 201710471081 A CN201710471081 A CN 201710471081A CN 107203970 A CN107203970 A CN 107203970A
Authority
CN
China
Prior art keywords
mrow
msubsup
msub
mtd
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710471081.7A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201710471081.7A priority Critical patent/CN107203970A/zh
Publication of CN107203970A publication Critical patent/CN107203970A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)

Abstract

一种基于动态最优缝合线的视频拼接方法，属于视频信息处理技术领域。该方法包括：S1：计算空间相邻图像的重叠区域；S2：分离重叠区域的前景和背景图像；S3：计算最优初始缝合线；S4：计算前后帧缝合线上每一像素点是否为运动像素；S5：判断是否更新最优缝合线；S61：更新最优缝合线；S62：保持当前最优缝合线；S7：根据最优缝合线对图像进行融合，从而得到拼接后的全景图像。方法中采用了颜色特征、纹理特征和光流轨迹的统计信息建立嵌套模型，避免了运动区域判断的失败，根据检测出的前景信息和背景信息计算最优缝合线，从而解决了重叠区域包含运动物体时视频拼接容易出现重影的问题，达到了较好的视频图像拼接效果。

Description

一种基于动态最优缝合线的视频拼接方法
技术领域
本发明属于视频信息处理技术领域，涉及视频拼接技术，尤其涉及一种基于动态最优缝合线的视频拼接方法。
背景技术
视频拼接是指将多个摄像机从不同视角拍摄的多个图像序列拼接成全景视频的技术，广泛应用于大场景的监控系统和无人驾驶系统。
视频拼接的一个核心问题在于如何消除视差引起的重影，特别是重叠区域包含运动物体的场景。为了降低视频拼接中视差引起的拼接重影，又称为“鬼影”，一类方法是采用先进的图像合成技术，如seam cutting(切缝)方法，但有移动目标经过缝合线时，应用这类方法拼接图像中会出现运动目标断裂。
另一类方法为Spatially-Varying Warping(空间变化扭曲)方法，即是在图像配准阶段采用局部参数变换模型代替全局变换模型。如Zaragoza等人提出的As-Projective-As-Possible(APAP)方法，将图像划分为多个密集矩形网格，对每一矩形网格，利用匹配的特征点对估计局部射影变换矩阵，并引入了距离权重因子，近距离的特征点权重大，远距离的特征点权重小，距离权重因子自适应地调整射影模型参数。这类方法可以消除静态场景的拼接重影、错位问题，但不能很好地消除运动目标的重影，而且该类方法计算成本高，实时性较差。
故亟需一种视频拼接方法，解决现有技术中重叠区域包含运动物体时视频拼接后出现的重影现象。
发明内容
本发明针对重叠区域包含运动物体时视频拼接容易出现重影的问题，提供了一种基于动态最优缝合线的视频拼接方法，消除了视频拼接出现的重影现象。
一种基于动态最优缝合线的视频拼接方法，包括：S1：计算空间相邻图像的重叠区域；
S2：分离重叠区域的前景和背景图像；
S201：提取重叠区域图像的颜色特征、纹理特征和光流轨迹；
S202：利用所述颜色特征、纹理特征、光流轨迹的统计信息建立嵌套模型；
S203：利用嵌套模型对重叠图像区域中的运动区域进行判定，从而得出重叠区域图像的前景信息和背景信息；
S3：基于重叠区域的背景图像计算最优初始缝合线；
S4：分别计算重叠区域前后帧缝合线上所有像素点的梯度值之差，并根据梯度值之差判断每一像素点是否为运动像素；
S5：对缝合线上运动像素点进行求和，并与预设阈值进行比较，并判断运动像素点之和是否大于预设阈值，如果运动像素点之和大于预设阈值，则跳转到步骤S61，否则，跳转到步骤S62；
S61：更新最优缝合线；
S62：保持当前最优缝合线；
S7：根据最优缝合线对图像进行融合，从而得到拼接后的全景图像。
进一步的，计算空间相邻图像的重叠区域具体包括：
计算相邻两幅图像的重叠角度:
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重叠角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频；
然后，根据重叠角度计算空间相邻两幅图像重叠区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重叠区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重叠角度，FovHAngle是指摄像机的水平视角。
进一步的，所述S201中纹理特征提取方法如下：
纹理特征采用局部二值模式(Local Binary Pattern，LBP)，通过对中心像素和邻域像素的灰度变化阈值化，形成由0、1组成的二进制字符串；像素p＝(x,y)的LBP定义为：
其中，表示t时刻p像素点的LBP向量，Ig表示灰度图像，p是像素点，q是像素点p在N邻域内的像素点，R是邻域半径，ε是噪音系数，表示级联算子。
进一步的，所述S202中建立嵌套模型的方法如下：1)、建立统计模型；
设表示t时刻图像的统计模型函数：
其中表示统计模型的分布数，统计模型中前项分布被当作为背景；像素的统计模型是通过对颜色、纹理和光流轨迹的时间统计信息学习得到；表示RGB颜色值，表示纹理信息，表示光流信息，表示k分布属于背景的概率大小，表示k分布在前t帧的最大权值；
利用t时刻获得的像素RGB颜色值It、纹理特征LBPt和光流信息flowt与按权值系数进行降序排列的t-1时刻统计模型进行匹配，匹配函数定义为：
其中Dcolor、Dtexture和Dflow中函数σ＝8为高斯核函数方差，‖·‖为欧氏距离，λ1、λ2∈[0,1]分别表示颜色和纹理的权重因子；设与模型匹配分数最高的分布为如果最高匹配得分小于阈值T1，表示该像素与统计模型中的任何一个分布不匹配，此时中分布数目小于时，分布将被添加；当分布数目等于时，分布将替代权值系数最小的分布；若中存在分布则对分布的参数进行如下更新：
其中α、β∈(0,1)表示学习参数；
2)、建立背景模型；
基于背景的时间一致性特征和统计模型建立可靠的背景模型，t时刻的背景模型定义为：
其中，表示背景模型的分布数，背景模型中前项分布被当作为背景；像素的背景模型是通过聚类于统计模型中权值系数较大的前B1分布学习得到的；是像素RGB颜色均值，表示光流，为背景模型b分布的权值，表示b分布在前t帧的最大权值；计算分布与背景模型进行匹配，匹配函数：
同样，分布与中匹配分数最高的分布标记为如果小于阈值T2，表示像素与背景模型中的任何一个分布都不匹配，此时若中分布数目小于时，该分布将被添加；当分布数目等于时，该分布将替代中权值系数最小的分布；如果在存在分布，则对分布参数进行更新，更新方法与统计模型的分布相同。
进一步的，所述S203中得出重叠区域图像的前景信息和背景信息的方法如下：
利用背景模型中权值系数较大的前项分布，估计t时刻像素属于背景的颜色期望值LBP纹理期望值和拟合的光流期望值计算公式如下：
其中，表示t时刻背景模型b分布的权值系数，It、LBPt和flowt分别表示t时刻像素的RGB颜色向量、LBP纹理特征与拟合的光流估计信息；t时刻像素属于背景的匹配分数，定义为输入图像像素观察数据与上述估计的期望值的匹配得分，匹配分数的计算公式为：
其中It、LBPt和flowt分别表示t时刻像素的RGB颜色向量、LBP纹理特征与拟合的光流估计信息，Dcolor是颜色特征的匹配分数，Dtexture是LBP纹理特征的匹配分数，Dflow是光流特征的匹配分数，匹配分数计算公式 σ＝8为高斯核函数方差，‖·‖为欧氏距离，为t时刻像素属于背景的颜色期望值、为LBP纹理期望值；为拟合的光流速度期望值；ρ1、ρ2∈[0,1]分别表示颜色特征和纹理特征的权重因子；最后，设定阈值Tbg，将匹配得分大于阈值Tbg的像素标记为背景像素，得分小于阈值Tbg的像素标记为运动像素；判别公式如下所示：
其中M表示场景中的运动像素的集合，B表示背景像素的集合。
进一步的，所述S3中计算最优初始缝合线的方法如下：
利用最小化左右图像上缝合线位置上的像素值差异Eintensity，最小化左右图像上缝合线位置上的梯度值差异Egradient，两者的计算公式如下：
Eintensity＝|IL(x，y)-IR(x，y)|/max(IL(xiy)，IR(x，y))
其中，IL(x,y)表示左图像(x,y)点的灰度值，IR(x,y)表示右图像(x,y)点的灰度值；表示左图像(x,y)点梯度值，表示右图像(x,y)点的梯度值，‖·‖为欧氏距离；Eintensity表示左右图像缝合线上的像素值差异，Egradient表示梯度值差异；
引入像素值差异和梯度差异构成能量函数：
E＝∑xy(Eintensity+αEgradient)
E表示总能量差异，Eintensity表示像素值差异，Egradient表示梯度值差异，基于graph-cut方法计算最佳缝合线路径，使得能量函数最小。
进一步的，所述S4中计算运动像素的方法如下：
分别计算t时刻和t+1时刻缝合线的灰度梯度值，计算公式如下：
其中Git表示t时刻缝合线上像素点pi＝(x,y)的梯度值，Git+1则表示t+1时刻缝合线上像素点pi的梯度值；然后计算两者之间的梯度差：
其中，δ为经验阈值，一般取值为0.5，Ci表示前后帧缝合线上像素点是否为运动像素，Ci为1表示该前后帧缝合线上像素点pi为运动像素，否则为背景像素。
本发明的视频拼接方法中采用了颜色特征、纹理特征和光流轨迹的统计信息建立嵌套模型，避免了运动区域判断的失败，从而能够很好的检测出重叠区域图像的前景信息和背景信息，根据检测出的前景信息和背景信息计算最优缝合线，然后对图像进行融合，从而解决了重叠区域包含运动物体时视频拼接容易出现重影的问题，达到了较好的视频图像拼接效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于动态最优缝合线的视频拼接方法的流程图；
图2是本发明实施例中基于多特征与嵌套模型的运动区域检测方法的流程图；
图3是本发明实施例中嵌套模型结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
为了解决本领域技术人员一直着力解决，却没彻底解决的技术问题，该问题是：重叠区域包含运动物体时视频拼接容易出现重影。本发明提供了一种基于动态最优缝合线的视频拼接方法。该方法很好的消除了视频拼接后出现的重影现象。如图1所示，该方法包括：
S1：计算空间相邻图像的重叠区域；
首先，计算相邻两幅图像的重叠角度:
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重叠角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频。
然后，根据重叠角度计算空间相邻两幅图像重叠区域的图像宽度：
其中，overlapImgWidth指相邻两幅图像重叠区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重叠角度，FovHAngle是指摄像机的水平视角。
S2：分离重叠区域的前景和背景图像；
得到重叠区域图像后，采用Li等人的基于多特征与嵌套模型分离前景和背景；算法流程如图2所示，具体包括如下步骤：
S201：提取重叠区域图像的颜色特征、纹理特征和光流轨迹；
颜色特征采用RGB值，纹理特征采用局部二值模式(Local Binary Pattern，LBP)，LBP反映了像素纹理结构、对灰度、旋转变换具有较好的鲁棒性。通过对中心像素和邻域像素的灰度变化阈值化，形成由0、1组成的二进制字符串。像素p＝(x,y)的LBP定义为：
其中，表示t时刻p像素点的LBP向量，Ig表示灰度图像，p是像素点，q是像素点p在N邻域内的像素点，R是邻域半径，ε是噪音系数，表示级联算子。
在低纹理或无纹理区域，仅利用LBP纹理特征与RGB颜色特征可能会检测失败，因此在LBP纹理特征与RGB颜色特征基础上进一步提取光流信息。首先估计图像像素在t-1时刻和t时刻的光流大小和方向，因为运动物体轨迹在时间相邻图像近似为直线，利用最小二乘法直线拟合像素在相邻4帧图像的光流轨迹。
S202：利用所述颜色特征、纹理特征、光流轨迹的统计信息建立嵌套模型；
首先利用颜色特征、纹理特征、光流轨迹的统计信息建立统计模型，再基于背景像素时间一致性假设和背景聚类于统计模型中一个或多个分布的特点建立鲁棒的背景模型，嵌套模型如图3所示，对重叠区域图像像素特征集合，建立按权值系数降序排列的统计模型及按权值系数降序排列的背景模型建立嵌套模型的具体步骤如下：
1)、建立统计模型；
设表示t时刻图像的统计模型函数：
其中表示统计模型的分布数，统计模型中前项分布被当作为背景。像素的统计模型是通过对颜色、纹理和光流轨迹的时间统计信息学习得到。表示RGB颜色值，表示纹理信息，表示光流轨迹信息，表示k分布属于背景的概率大小，表示k分布在前t帧的最大权值。
利用t时刻获得的像素RGB颜色值It、纹理特征LBPt和光流信息flowt与按权值系数进行降序排列的t-1时刻统计模型进行匹配，匹配函数定义为：
其中Dcolor、Dtexture和Dflow中函数σ＝8为高斯核函数方差，‖·‖为欧氏距离，λ1、λ2∈[0,1]分别表示颜色和纹理的权重因子。设与模型匹配分数最高的分布为如果最高匹配得分小于阈值T1，表示该像素与统计模型中的任何一个分布不匹配，此时中分布数目小于时，分布将被添加；当分布数目等于时，分布将替代权值系数最小的分布。若中存在分布则对分布的参数进行如下更新：
其中α、β∈(0,1)表示学习参数。
2)、建立背景模型；
基于背景的时间一致性特征和统计模型建立可靠的背景模型，t时刻的背景模型定义为：
其中，表示背景模型的分布数，背景模型中前项分布被当作为背景。像素的背景模型是通过聚类于统计模型中权值系数较大的前B1分布学习得到的。是像素RGB颜色均值，表示光流，为背景模型b分布的权值，表示b分布在前t帧的最大权值。计算分布与背景模型进行匹配，匹配函数：
同样，分布与中匹配分数最高的分布标记为如果小于阈值T2，表示像素与背景模型中的任何一个分布都不匹配，此时若
中分布数目小于时，该分布将被添加；当分布数目等于时，该分布将替代中权值系数最小的分布。如果在存在分布，则对分布参数进行更新，更新方法与统计模型的分布相同。
该嵌套模型可以快速地适应场景变化，如恢复长时间被遮挡的背景，消除物体重影开始运动产生的鬼影以及周期运动的背景像素，并且通过统计模型和背景模型密切的层间交互，可以加快恢复长时间被遮挡的背景和减慢长时间被静止物体遮挡的背景。
S203：利用嵌套模型对重叠图像区域中的运动区域进行判定，从而得出重叠区域图像的前景信息和背景信息；
基于背景像素时间一致性特征，利用背景模型中权值系数较大的前项分布，估计t时刻像素属于背景的颜色期望值LBP纹理期望值和拟合的光流速度期望值计算公式如下：
其中，表示t时刻背景模型b分布的权值系数，It、LBPt和flowt分别表示t时刻像素的RGB颜色向量、LBP纹理特征与拟合的光流估计信息。t时刻像素属于背景的匹配分数，定义为输入图像像素观察数据与上述估计的期望值的匹配得分，匹配分数的计算公式为：
其中It、LBPt和flowt分别表示t时刻像素的RGB颜色向量、LBP纹理特征与拟合的光流轨迹估计信息，Dcolor是颜色特征的匹配分数，Dtexture是LBP纹理特征的匹配分数，Dflow是光流特征的匹配分数，匹配分数计算公式σ＝8为高斯核函数方差，‖·‖为欧氏距离，为t时刻像素属于背景的颜色期望值、为LBP纹理期望值；为拟合的光流速度期望值；ρ1、ρ2∈[0,1]分别表示颜色特征和纹理特征的权重因子。最后，设定阈值Tbg，将匹配得分大于阈值Tbg的像素标记为背景区域，得分小于阈值Tbg的像素标记为运动像素。判别公式如下所示：
其中M表示场景中的运动像素的集合(前景信息)，B表示背景像素的集合(背景信息)。
S3：基于重叠区域的背景图像计算最优初始缝合线；
对重叠区域的背景图像，采用seam-cutting方法计算最优缝合线。最优缝合线不应该引入不一致的场景和强度差异，因此，引入两条准则作为选择标准：(1)最小化左右图像上缝合线位置上的像素值差异Eintensity，(2)最小化左右图像上缝合线位置上的梯度值差异Egradient，两者的计算公式如下：
Eintensity＝|IL(x，y)-IR(x，y)|/max(IL(x，y)，IR(x，y))
其中，IL(x，y)表示左图像(x，y)点的灰度值，IR(x，y)表示右图像(x，y)点的灰度值。表示左图像(x，y)点梯度值，表示右图像(x，y)点的梯度值，||·||为欧氏距离。Eintensity表示左右图像缝合线上的像素值差异，Egradient表示梯度值差异。
引入像素值差异和梯度差异构成能量函数：
E∑xy(Eintensity+αEgradient)
E表示总能量差异，Eintensity表示像素值差异，Egradient表示梯度值差异，基于graph-cut方法计算最佳缝合线路径，使得能量函数最小。该步骤中基于亮度差异和梯度差异最小化选择最优缝合线，可以消除背景图像中因视差引起的拼接重影和拼接缝。
S4：分别计算重叠区域前后帧缝合线上所有像素点的梯度值之差，并根据梯度值之差判断每一像素点是否为运动像素；
当运动目标横穿缝合线运动时，若不更新缝合线，直接基于原有的缝合线融合，会出现运动目标断裂或鬼影。针对该问题，本发明采用智能动态缝合线算法，根据像素梯度差动态更新缝合线。分别计算t时刻和t+1时刻缝合线的灰度梯度值，计算公式如下：
其中Git表示t时刻缝合线上像素点pi＝(x,y)的梯度值，Git+1则表示t+1时刻缝合线上像素点pi的梯度值。然后计算两者之间的梯度差：
其中，δ为经验阈值，一般取值为0.5，Ci表示前后帧缝合线上像素点是否为运动像素，Ci为1表示该前后帧缝合线上像素点pi为运动像素，否则为背景像素。
S5：对缝合线上运动像素点进行求和，并与预设阈值进行比较，并判断运动像素点之和是否大于预设阈值，如果运动像素点之和大于预设阈值，则跳转到步骤S61，否则，跳转到步骤S62；
S61：更新最优缝合线；
S62：保持当前最优缝合线；
具体的，将前后帧缝合线上的与预设阈值进行比较，预设阈值设置为0.3*N，如果则更新最佳缝合线；否则，不对缝合线进行更新，保持当前最优缝合线。其中，N为缝合线像素点的总个数。根据公式，统计缝合线上梯度变化明显的像素个数。若缝合线上像素点中满足梯度变化阈值的像素点的总和大于0.3*N，则判定t+1时刻缝合线上有运动目标穿过，则重复S3步骤采用当前帧(t+1时刻)的背景图像重新计算缝合线。否则，t+1时刻采用t时刻相同的最优缝合线。
该步骤通过更新缝合线，可以消除运动目标拼接重影问题，同时，通过梯度值变化智能判断是否需要更新，避免每帧都更新缝合线，计算复杂度降低，时间成本降低。
S7：根据最优缝合线对图像进行融合，从而得到拼接后的全景图像。
得到最优缝合线后，在缝合线位置，采用线性加权融合方法融合重叠区域；再将非重叠区域和拼接后的重叠区域图像融合，得到拼接后的全景图像。
本发明的视频拼接方法中采用了颜色特征、纹理特征和光流轨迹的统计信息建立嵌套模型，避免了运动区域判断的失败，从而能够很好的检测出重叠区域图像的前景信息和背景信息，根据检测出的前景信息和背景信息计算最优缝合线，然后对图像进行融合，从而解决了重叠区域包含运动物体时视频拼接容易出现重影的问题，达到了较好的视频图像拼接效果。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (7)

1.一种基于动态最优缝合线的视频拼接方法，其特征在于，包括：
S1：计算空间相邻图像的重叠区域；
S2：分离重叠区域的前景和背景图像；
S201：提取重叠区域图像的颜色特征、纹理特征和光流轨迹；
S202：利用所述颜色特征、纹理特征、光流轨迹的统计信息建立嵌套模型；
S203：利用嵌套模型对重叠图像区域中的运动区域进行判定，从而得出重叠区域图像的前景信息和背景信息；
S3：基于重叠区域的背景图像计算最优初始缝合线；
S4：分别计算重叠区域前后帧缝合线上所有像素点的梯度值之差，并根据梯度值之差判断每一像素点是否为运动像素；
S5：对缝合线上运动像素点进行求和，并与预设阈值进行比较，并判断运动像素点之和是否大于预设阈值，如果运动像素点之和大于预设阈值，则跳转到步骤S61，否则，跳转到步骤S62；
S61：更新最优缝合线；
S62：保持当前最优缝合线；
S7：根据最优缝合线对图像进行融合，从而得到拼接后的全景图像。
2.根据权利要求1所述的方法，其特征在于，计算空间相邻图像的重叠区域具体包括：
计算相邻两幅图像的重叠角度:
overlapAngle＝(FovHAngle*numCams-360)/numCams
其中，overlapAngle为相邻两幅图像的重叠角度，FovHAngle是指摄像机的水平视角，numCams表示摄像机的个数，numCams数量的摄像机获取水平360度场景视频；
然后，根据重叠角度计算空间相邻两幅图像重叠区域的图像宽度：
<mrow> <mi>o</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> <mi>l</mi> <mi>a</mi> <mi>p</mi> <mi>Im</mi> <mi>g</mi> <mi>W</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> <mo>=</mo> <mi>i</mi> <mi>m</mi> <mi>g</mi> <mi>W</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> <mo>*</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <mi>o</mi> <mi>v</mi> <mi>e</mi> <mi>r</mi> <mi>l</mi> <mi>a</mi> <mi>p</mi> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> </mrow> <mrow> <mi>F</mi> <mi>o</mi> <mi>v</mi> <mi>H</mi> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
其中，overlapImgWidth指相邻两幅图像重叠区域的图像宽度，imgWidth表示原图像的图像宽度，overlapAngle为相邻两幅图像的重叠角度，FovHAngle是指摄像机的水平视角。
3.根据权利要求2所述的方法，其特征在于，所述S201中纹理特征提取方法如下：
纹理特征采用局部二值模式(Local Binary Pattern，LBP)，通过对中心像素和邻域像素的灰度变化阈值化，形成由0、1组成的二进制字符串；像素p＝(x,y)的LBP定义为：
<mrow> <msubsup> <mi>LBP</mi> <mrow> <mi>N</mi> <mo>,</mo> <mi>R</mi> </mrow> <mi>t</mi> </msubsup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mo>&amp;CirclePlus;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>s</mi> <mrow> <mo>(</mo> <msup> <mi>I</mi> <mi>g</mi> </msup> <mo>(</mo> <mi>q</mi> <mo>)</mo> <mo>-</mo> <msup> <mi>I</mi> <mi>g</mi> </msup> <mo>(</mo> <mi>p</mi> <mo>)</mo> <mo>+</mo> <mi>&amp;epsiv;</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>s</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mn>1</mn> <mo>,</mo> <mi>l</mi> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> <mo>,</mo> <mi>l</mi> <mo>&lt;</mo> <mn>0</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
其中，表示t时刻p像素点的LBP向量，Ig表示灰度图像，p是像素点，q是像素点p在N邻域内的像素点，R是邻域半径，ε是噪音系数，表示级联算子。
4.根据权利要求3所述的方法，其特征在于，所述S202中建立嵌套模型的方法如下：
1)建立统计模型；
设表示t时刻图像的统计模型函数：
<mrow> <msubsup> <mi>M</mi> <mn>1</mn> <mi>t</mi> </msubsup> <mo>=</mo> <mo>{</mo> <msubsup> <mi>K</mi> <mn>1</mn> <mi>t</mi> </msubsup> <mo>,</mo> <msub> <mrow> <mo>{</mo> <msubsup> <mi>m</mi> <mi>k</mi> <mi>t</mi> </msubsup> <mo>}</mo> </mrow> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msubsup> <mi>K</mi> <mn>1</mn> <mi>t</mi> </msubsup> </mrow> </msub> <mo>,</mo> <msubsup> <mi>B</mi> <mn>1</mn> <mi>t</mi> </msubsup> <mo>}</mo> </mrow> 1
其中表示统计模型的分布数，统计模型中前项分布被当作为背景；像素的统计模型是通过对颜色、纹理和光流轨迹的时间统计信息学习得到；表示RGB颜色值，表示纹理信息，表示光流信息，表示k分布属于背景的概率大小，表示k分布在前t帧的最大权值；利用t时刻获得的像素RGB颜色值It、纹理特征LBPt和光流信息flowt与按权值系数进行降序排列的t-1时刻统计模型进行匹配，匹配函数定义为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mi>c</mi> <mi>o</mi> <mi>r</mi> <mi>e</mi> <mrow> <mo>(</mo> <msubsup> <mi>m</mi> <mi>k</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <msub> <mi>D</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>I</mi> <mi>k</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msup> <mi>I</mi> <mi>t</mi> </msup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msub> <mi>D</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>LBP</mi> <mi>k</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msup> <mi>LBP</mi> <mi>t</mi> </msup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mrow> <mo>)</mo> </mrow> <msub> <mi>D</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>flow</mi> <mi>k</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msup> <mi>flow</mi> <mi>t</mi> </msup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中Dcolor、Dtexture和Dflow中函数σ＝8为高斯核函数方差，‖·‖为欧氏距离，λ1、λ2∈[0,1]分别表示颜色和纹理的权重因子；设与模型匹配分数最高的分布为如果最高匹配得分小于阈值T1，表示该像素与统计模型中的任何一个分布不匹配，此时中分布数目小于时，分布将被添加；当分布数目等于时，分布将替代权值系数最小的分布；若中存在分布则对分布的参数进行如下更新：
<mrow> <msubsup> <mi>I</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mi>t</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <msubsup> <mi>I</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <msup> <mi>&amp;alpha;I</mi> <mi>t</mi> </msup> </mrow>
<mrow> <msubsup> <mi>LBP</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mi>t</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <msubsup> <mi>LBP</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <msup> <mi>&amp;alpha;LBP</mi> <mi>t</mi> </msup> </mrow>
<mrow> <msubsup> <mi>flow</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mi>t</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>)</mo> </mrow> <msubsup> <mi>flow</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <msup> <mi>&amp;alpha;flow</mi> <mi>t</mi> </msup> </mrow>
<mrow> <msubsup> <mi>w</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mi>t</mi> </msubsup> <mo>=</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>&amp;beta;</mi> <mo>)</mo> </mrow> <msubsup> <mi>w</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <mi>&amp;beta;</mi> </mrow>
<mrow> <msubsup> <mi>s</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mi>t</mi> </msubsup> <mo>=</mo> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mrow> <mo>(</mo> <msubsup> <mi>s</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>w</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mi>t</mi> </msubsup> <mo>)</mo> </mrow> </mrow>
其中α、β∈(0,1)表示学习参数；
2)建立背景模型；
基于背景的时间一致性特征和统计模型建立可靠的背景模型，t时刻的背景模型定义为：
<mrow> <msubsup> <mi>M</mi> <mn>2</mn> <mi>t</mi> </msubsup> <mo>=</mo> <mo>{</mo> <msubsup> <mi>K</mi> <mn>2</mn> <mi>t</mi> </msubsup> <mo>,</mo> <msub> <mrow> <mo>{</mo> <msubsup> <mi>m</mi> <mi>b</mi> <mi>t</mi> </msubsup> <mo>}</mo> </mrow> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mo>...</mo> <msubsup> <mi>K</mi> <mn>2</mn> <mi>t</mi> </msubsup> </mrow> </msub> <mo>,</mo> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> <mo>}</mo> </mrow>
其中，表示背景模型的分布数，背景模型中前项分布被当作为背景；像素的背景模型是通过聚类于统计模型中权值系数较大的前B1分布学习得到的；是像素RGB颜色均值，表示光流，为背景模型b分布的权值，表示b分布在前t帧的最大权值；计算分布与背景模型进行匹配，匹配函数：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mi>c</mi> <mi>o</mi> <mi>r</mi> <mi>e</mi> <mrow> <mo>(</mo> <msubsup> <mi>m</mi> <mi>b</mi> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <msub> <mi>D</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>I</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>I</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> <msub> <mi>D</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>LBP</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>LBP</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mn>2</mn> </msub> </mrow> <mo>)</mo> </mrow> <msub> <mi>D</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>flow</mi> <mover> <mi>k</mi> <mo>^</mo> </mover> <mrow> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>flow</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
同样，分布与中匹配分数最高的分布标记为 如果小于阈值T2，表示像素与背景模型中的任何一个分布都不匹配，此时若中分布数目小于时，该分布将被添加；当分布数目等于时，该分布将替代中权值系数最小的分布；如果在存在分布，则对分布参数进行更新，更新方法与统计模型的分布相同。
5.根据权利要求4所述的方法，其特征在于，所述S203中得出重叠区域图像的前景信息和背景信息的方法如下：
利用背景模型中权值系数较大的前项分布，估计t时刻像素属于背景的颜色期望值LBP纹理期望值和拟合的光流期望值计算公式如下：
<mrow> <msubsup> <mi>E</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> <mi>t</mi> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> </msubsup> <msubsup> <mi>w</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> </munderover> <msubsup> <mi>w</mi> <mi>b</mi> <mi>t</mi> </msubsup> <msubsup> <mi>I</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow>
<mrow> <msubsup> <mi>E</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> <mi>t</mi> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> </msubsup> <msubsup> <mi>w</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> </munderover> <msubsup> <mi>w</mi> <mi>b</mi> <mi>t</mi> </msubsup> <msubsup> <mi>LBP</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow>
<mrow> <msubsup> <mi>E</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>w</mi> </mrow> <mi>t</mi> </msubsup> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> </msubsup> <msubsup> <mi>w</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>b</mi> <mo>=</mo> <mn>1</mn> </mrow> <msubsup> <mi>B</mi> <mn>2</mn> <mi>t</mi> </msubsup> </munderover> <msubsup> <mi>w</mi> <mi>b</mi> <mi>t</mi> </msubsup> <msubsup> <mi>flow</mi> <mi>b</mi> <mi>t</mi> </msubsup> </mrow>
其中，表示t时刻背景模型b分布的权值系数，It、LBPt和flowt分别表示t时刻像素的RGB颜色向量、LBP纹理特征与拟合的光流估计信息；t时刻像素属于背景的匹配分数，定义为输入图像像素观察数据与上述估计的期望值的匹配得分，匹配分数的计算公式为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msup> <mi>E</mi> <mi>t</mi> </msup> <mo>=</mo> <msub> <mi>&amp;rho;</mi> <mn>1</mn> </msub> <msub> <mi>D</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>c</mi> <mi>o</mi> <mi>l</mi> <mi>o</mi> <mi>r</mi> </mrow> <mi>t</mi> </msubsup> <mo>,</mo> <msup> <mi>I</mi> <mi>t</mi> </msup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>&amp;rho;</mi> <mn>2</mn> </msub> <msub> <mi>D</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>t</mi> <mi>e</mi> <mi>x</mi> <mi>t</mi> <mi>u</mi> <mi>r</mi> <mi>e</mi> </mrow> <mi>t</mi> </msubsup> <mo>,</mo> <msup> <mi>LBP</mi> <mi>t</mi> </msup> </mrow> <mo>)</mo> </mrow> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mrow> <mo>(</mo> <mrow> <mn>1</mn> <mo>-</mo> <msub> <mi>&amp;rho;</mi> <mn>1</mn> </msub> <mo>-</mo> <msub> <mi>&amp;rho;</mi> <mn>2</mn> </msub> </mrow> <mo>)</mo> </mrow> <msub> <mi>D</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>w</mi> </mrow> </msub> <mrow> <mo>(</mo> <mrow> <msubsup> <mi>E</mi> <mrow> <mi>f</mi> <mi>l</mi> <mi>o</mi> <mi>w</mi> </mrow> <mi>t</mi> </msubsup> <mo>,</mo> <msup> <mi>flow</mi> <mi>t</mi> </msup> </mrow> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中It、LBPt和flowt分别表示t时刻像素的RGB颜色向量、LBP纹理特征与拟合的光流估计信息，Dcolor是颜色特征的匹配分数，Dtexture是LBP纹理特征的匹配分数，Dflow是光流特征的匹配分数，匹配分数计算公式σ＝8为高斯核函数方差，‖·‖为欧氏距离，为t时刻像素属于背景的颜色期望值、为LBP纹理期望值；为拟合的光流期望值；ρ1、ρ2∈[0,1]分别表示颜色特征和纹理特征的权重因子；最后，设定阈值Tbg，将匹配得分大于阈值Tbg的像素标记为背景像素，得分小于阈值Tbg的像素标记为运动像素；判别公式如下所示：
<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>p</mi> <mo>&amp;Element;</mo> <mi>M</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <msup> <mi>E</mi> <mi>t</mi> </msup> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&lt;</mo> <msub> <mi>T</mi> <mrow> <mi>b</mi> <mi>g</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>p</mi> <mo>&amp;Element;</mo> <mi>B</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中M表示场景中的运动像素的集合，B表示背景像素的集合。
6.根据权利要求5所述的方法，其特征在于，所述S3中计算最优初始缝合线的方法如下：
利用最小化左右图像上缝合线位置上的像素值差异Eintensity，最小化左右图像上缝合线位置上的梯度值差异Egradient，两者的计算公式如下：
Eintensity＝|IL(x,y)-IR(x,y)|/max(IL(x,y),IR(x,y))
<mrow> <msub> <mi>E</mi> <mrow> <mi>g</mi> <mi>r</mi> <mi>a</mi> <mi>d</mi> <mi>i</mi> <mi>e</mi> <mi>n</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>L</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>I</mi> <mi>R</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> </mrow>
其中，IL(x,y)表示左图像(x,y)点的灰度值，IR(x,y)表示右图像(x,y)点的灰度值；表示左图像(x,y)点梯度值，表示右图像(x,y)点的梯度值，‖·‖为欧氏距离；Eintensity表示左右图像缝合线上的像素值差异，Egradient表示梯度值差异；
引入像素值差异和梯度差异构成能量函数：
E＝∑xy(Eintensity+αEgradient)
E表示总能量差异，Eintensity表示像素值差异，Egradient表示梯度值差异，基于graph-cut方法计算最佳缝合线路径，使得能量函数最小。
7.根据权利要求6所述的方法，其特征在于，所述S4中计算运动像素的方法如下：
分别计算t时刻和t+1时刻缝合线的灰度梯度值，计算公式如下：
<mrow> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> <mo>=</mo> <mo>&amp;dtri;</mo> <mi>L</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>=</mo> <mo>&amp;dtri;</mo> <mi>L</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>,</mo> <mi>t</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中Git表示t时刻缝合线上像素点pi＝(x,y)的梯度值，Git+1则表示t+1时刻缝合线上像素点pi的梯度值；然后计算两者之间的梯度差：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <msub> <mi>C</mi> <mi>i</mi> </msub> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>i</mi> <mi>f</mi> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>-</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> <mo>|</mo> <mo>/</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>t</mi> </mrow> </msub> <mo>,</mo> <msub> <mi>G</mi> <mrow> <mi>i</mi> <mi>t</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>&gt;</mo> <mi>&amp;delta;</mi> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>w</mi> <mi>i</mi> <mi>s</mi> <mi>e</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，δ为经验阈值，一般取值为0.5，Ci表示前后帧缝合线上像素点是否为运动像素，Ci为1表示该前后帧缝合线上像素点pi为运动像素，否则为背景像素。
CN201710471081.7A 2017-06-20 2017-06-20 一种基于动态最优缝合线的视频拼接方法 Pending CN107203970A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710471081.7A CN107203970A (zh) 2017-06-20 2017-06-20 一种基于动态最优缝合线的视频拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710471081.7A CN107203970A (zh) 2017-06-20 2017-06-20 一种基于动态最优缝合线的视频拼接方法

Publications (1)

Publication Number Publication Date
CN107203970A true CN107203970A (zh) 2017-09-26

Family

ID=59908029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710471081.7A Pending CN107203970A (zh) 2017-06-20 2017-06-20 一种基于动态最优缝合线的视频拼接方法

Country Status (1)

Country Link
CN (1) CN107203970A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090436A (zh) * 2017-12-13 2018-05-29 深圳市航盛电子股份有限公司 一种运动物体的检测方法、系统及介质
CN108307200A (zh) * 2018-01-31 2018-07-20 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN108495060A (zh) * 2018-03-26 2018-09-04 浙江大学 一种高清视频实时拼接方法
CN111553841A (zh) * 2020-04-21 2020-08-18 东南大学 一种基于最佳缝合线更新的实时视频拼接算法
CN111988524A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种无人机与摄像头协同避障方法、服务器及存储介质
CN112118396A (zh) * 2019-06-21 2020-12-22 晶睿通讯股份有限公司 图像校正方法及其相关监控摄像系统
CN112200727A (zh) * 2020-11-06 2021-01-08 厦门星宸科技有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
CN112489225A (zh) * 2020-11-26 2021-03-12 北京邮电大学 视频与三维场景融合的方法、装置、电子设备和存储介质
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN112967186A (zh) * 2021-02-24 2021-06-15 李�浩 一种高铁车站智慧照明系统及全方位照明灯
CN115460356A (zh) * 2022-08-26 2022-12-09 中南民族大学 一种基于接缝查找优化技术的视频拼接方法及装置
CN115546027A (zh) * 2022-10-13 2022-12-30 爱芯元智半导体(上海)有限公司 图像缝合线确定方法、装置以及存储介质
GB2609996A (en) * 2021-07-07 2023-02-22 Mo Sys Engineering Ltd Image stitching
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938152A (zh) * 2012-10-15 2013-02-20 山东大学 一种视频监控中的背景建模方法
CN103489154A (zh) * 2013-10-01 2014-01-01 中国人民解放军国防科学技术大学 基于目标块检测的缝合线实时调整方法
CN103544696A (zh) * 2013-10-01 2014-01-29 中国人民解放军国防科学技术大学 一种用于fpga实现的缝合线实时查找方法
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
CN105427292A (zh) * 2015-11-11 2016-03-23 南京邮电大学 一种基于视频的显著目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102938152A (zh) * 2012-10-15 2013-02-20 山东大学 一种视频监控中的背景建模方法
CN103489154A (zh) * 2013-10-01 2014-01-01 中国人民解放军国防科学技术大学 基于目标块检测的缝合线实时调整方法
CN103544696A (zh) * 2013-10-01 2014-01-29 中国人民解放军国防科学技术大学 一种用于fpga实现的缝合线实时查找方法
CN104680501A (zh) * 2013-12-03 2015-06-03 华为技术有限公司 图像拼接的方法及装置
CN105427292A (zh) * 2015-11-11 2016-03-23 南京邮电大学 一种基于视频的显著目标检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BOTAO HE 等: "Parallax-Robust Surveillance Video Stitching", 《SENSORS》 *
SHIYING LI 等: "Accurate Detection of Moving Regions via a Nested Model", 《17TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
刘娟 等: "室外场景的多视角视频拼接", 《计算机工程》 *
赵新跃: "快速拼接算法在智能手机全景图的应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈勇 等: "图像拼接中运动目标干扰的自适应消除", 《半导体光电》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090436A (zh) * 2017-12-13 2018-05-29 深圳市航盛电子股份有限公司 一种运动物体的检测方法、系统及介质
CN108090436B (zh) * 2017-12-13 2021-11-19 深圳市航盛电子股份有限公司 一种运动物体的检测方法、系统及介质
CN108307200A (zh) * 2018-01-31 2018-07-20 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN108307200B (zh) * 2018-01-31 2020-06-09 深圳积木易搭科技技术有限公司 一种在线视频拼接方法系统
CN108495060A (zh) * 2018-03-26 2018-09-04 浙江大学 一种高清视频实时拼接方法
CN112118396A (zh) * 2019-06-21 2020-12-22 晶睿通讯股份有限公司 图像校正方法及其相关监控摄像系统
CN112118396B (zh) * 2019-06-21 2022-06-14 晶睿通讯股份有限公司 图像校正方法及其相关监控摄像系统
CN111553841B (zh) * 2020-04-21 2023-04-07 东南大学 一种基于最佳缝合线更新的实时视频拼接方法
CN111553841A (zh) * 2020-04-21 2020-08-18 东南大学 一种基于最佳缝合线更新的实时视频拼接算法
CN111988524A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种无人机与摄像头协同避障方法、服务器及存储介质
CN112200727A (zh) * 2020-11-06 2021-01-08 厦门星宸科技有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
CN112200727B (zh) * 2020-11-06 2023-11-21 星宸科技股份有限公司 图像缝合装置、图像处理芯片、及图像缝合方法
CN112489225A (zh) * 2020-11-26 2021-03-12 北京邮电大学 视频与三维场景融合的方法、装置、电子设备和存储介质
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN112967186A (zh) * 2021-02-24 2021-06-15 李�浩 一种高铁车站智慧照明系统及全方位照明灯
GB2609996A (en) * 2021-07-07 2023-02-22 Mo Sys Engineering Ltd Image stitching
CN115460356A (zh) * 2022-08-26 2022-12-09 中南民族大学 一种基于接缝查找优化技术的视频拼接方法及装置
CN115460356B (zh) * 2022-08-26 2024-06-25 中南民族大学 一种基于接缝查找优化技术的视频拼接方法及装置
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质
CN115546027A (zh) * 2022-10-13 2022-12-30 爱芯元智半导体(上海)有限公司 图像缝合线确定方法、装置以及存储介质
CN115546027B (zh) * 2022-10-13 2023-08-29 爱芯元智半导体(上海)有限公司 图像缝合线确定方法、装置以及存储介质

Similar Documents

Publication Publication Date Title
CN107203970A (zh) 一种基于动态最优缝合线的视频拼接方法
Senior et al. Appearance models for occlusion handling
Sanches et al. Mutual occlusion between real and virtual elements in augmented reality based on fiducial markers
US20080181507A1 (en) Image manipulation for videos and still images
CN107580186B (zh) 一种基于缝合线时空优化的双摄像机全景视频拼接方法
CN106683121A (zh) 一种融合检测过程的鲁棒目标追踪方法
CN112465021B (zh) 基于图像插帧法的位姿轨迹估计方法
CN102497505A (zh) 基于改进的Meanshift算法的多球机联动目标跟踪方法及系统
JP6924932B2 (ja) 移動体追跡方法、移動体追跡装置、およびプログラム
Xiao et al. Vehicle and person tracking in aerial videos
CN104700384B (zh) 基于增强现实技术的展示系统及展示方法
Rozumnyi et al. Fmodetect: Robust detection of fast moving objects
Wang et al. Archive film defect detection and removal: an automatic restoration framework
François Real-time multi-resolution blob tracking
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Gallego et al. Bayesian foreground segmentation and tracking using pixel-wise background model and region based foreground model
Ma et al. Depth assisted occlusion handling in video object tracking
EP2947626B1 (en) Method and apparatus for generating spanning tree, method and apparatus for stereo matching, method and apparatus for up-sampling, and method and apparatus for generating reference pixel
Kamiyama et al. Improvement of badminton-player tracking applying image pixel compensation
Gruenwedel et al. Decentralized tracking of humans using a camera network
Xu et al. Moving target detection and tracking in FLIR image sequences based on thermal target modeling
CN114821441A (zh) 联合ads-b信息的基于深度学习的机场场面运动目标识别方法
Tsai et al. Multiple human objects tracking in crowded scenes
Wu et al. Segmenting moving objects from a freely moving camera with an effective segmentation cue
Chen et al. Automatic insertion of advertisements into a video sequence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication