CN104794683B - 基于围绕渐变拼缝区域平面扫描的视频拼接方法 - Google Patents

基于围绕渐变拼缝区域平面扫描的视频拼接方法 Download PDF

Info

Publication number
CN104794683B
CN104794683B CN201510224858.0A CN201510224858A CN104794683B CN 104794683 B CN104794683 B CN 104794683B CN 201510224858 A CN201510224858 A CN 201510224858A CN 104794683 B CN104794683 B CN 104794683B
Authority
CN
China
Prior art keywords
piece
image
video
overlapping region
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510224858.0A
Other languages
English (en)
Other versions
CN104794683A (zh
Inventor
刘煜
李靖
张政
张茂军
赖世铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201510224858.0A priority Critical patent/CN104794683B/zh
Publication of CN104794683A publication Critical patent/CN104794683A/zh
Application granted granted Critical
Publication of CN104794683B publication Critical patent/CN104794683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明在传统的最优拼缝算法和平面扫描算法基础上,考虑到运行速度和帧间一致性上的要求,针对视频拼接中的视差问题,提出一种基于围绕渐变拼缝区域平面扫描的视频拼接方法。首先,利用已有的摄像机标定信息矫正相邻的两幅视频帧,将二维图像偏移关系简化到一维;然后,基于重叠区域的图像差异和潜在匹配不确定性以及前一帧的拼缝,得到当前帧的拼缝位置;然后,在围绕拼缝的窄带状区域运行平面扫描,得到拼缝位置的水平偏移。最后,将拼缝位置的偏移量线性扩散到重叠区域其他位置,并据此对当前帧图像进行形变并融合,实现了有视差情况下快速高质量的视频拼接。

Description

基于围绕渐变拼缝区域平面扫描的视频拼接方法
技术领域:
本发明属于图像信息处理领域,涉及视频拼接方法,尤其涉及基于围绕渐变拼缝区域平面扫描的视频拼接方法。
背景技术
图像视频拼接是计算机视觉学科的一个重要研究方向,受到了广泛的关注和深入的研究。其中,图像拼接已经是一个较成熟的研究领域,目前已有一系列针对不同应用需求的理论和方法被各国学者提出,并取得了良好的实验效果。而视频拼接的问题规模和复杂度都远高于图像拼接,限于相关理论基础和硬件设备的处理能力,相关研究还处在起步阶段。
对于一组已完成配准的图像,传统的图像拼接方法首先在重叠区域选择一条最优拼缝,然后沿拼缝对图像进行融合完成不同图像之间的平滑过渡。但当源图像之间存在视差时,即由于各台相机的光心不完全重合造成的同一场景在不同摄像机拍摄中的成像差异,通过投影变换映射到同一观察平面的各路图像并不能完全重合,即存在结构偏差。为消除结构偏差,研究者们提出了包括平面扫描在内的一系列方法。平面扫面方法在寻找最优拼缝之前先通过多次假设被拍摄场景的深度并比较不同深度下图像的匹配程度,得到重叠区域局部的深度信息,再根据深度信息投影图像到观察平面,配合后续的拼缝选择和图像融合,完成带有视差情况下的图像拼接。
与图像拼接相比,视频拼接对算法运行速度的要求较高,且需要相保证相邻帧之间一致性。图像拼接中的平面扫描方法并不满足上述要求,因此不能直接应用于视频拼接。而且考虑到图像或视频帧融合时拼缝两侧的图像主要取自不同的源图像,只有靠近拼缝的区域才会同时用到两幅源图像的信息,因此求解整个重叠区域的深度信息是不必要的。在视频拼接中有效利用这一点,能够显著加快拼接速度。
发明内容
本发明针对视频拼接中多摄像机光心不重合造成的视差问题,提出了一种基于围绕渐变拼缝区域平面扫描的视频拼接方法,其能够在保持视频帧间一致性的前提下消除视差的影响,完成快速高质量的视频拼接。本发明所采用的策略是结合视频拼接中的渐变拼缝和平面扫描,将平面扫描的范围缩减到拼缝附近的窄带状区域,再将所得拼缝位置的偏移信息线性扩散到重叠区域的其它部分,据此对视频帧作变形并融合以完成当前帧的拼接。
本发明首先利用已有的摄像机标定信息矫正相邻的两幅视频帧,然后基于重叠区域的图像信息与前一帧的拼缝,得到当前帧的拼缝位置,再在围绕拼缝的窄带状区域运行平面扫描,最后根据平面扫描所得结果对图像进行形变并融合。
具体地,本发明采用的技术方案是:
一种基于围绕渐变拼缝区域平面扫描的视频拼接方法,包括以下步骤:
S1.沿基线方向矫正相邻的两幅视频帧,将两幅图像之间的二维偏移关系简化到水平方向;
S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法;
S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域,在该区域运行平面扫描算法,得到拼缝位置的像素偏移;
S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分,并根据整个重叠区域的偏移对图像进行形变。
S5.融合重叠区域的图像,并与非重叠区域的图像组合得到当前一组视频帧的拼接图像。
进一步地,所述步骤S1的具体方法包括:
对于两台已完成标定的摄像机,其内参数矩阵K1,K2,以及两摄像机之间的旋转矩阵R=[r1,r2,r3]和平移向量T已知,则被拍摄场景中的一点P在两摄像机坐标系中坐标XC1与XC2的关系为
XC1=RXC2+T
图像矫正需要将两摄像机坐标系变换为新的具有平行光轴的两个虚拟摄像机坐标系下,两虚拟摄像机坐标系的基向量在第一台摄像机坐标系下的表述均为:
r x = T | | T | | r y ′ = [ 0 , 0 , 1 ] T × r 3 r y = r y ′ | | r y ′ | | r z = r x × r y
其中||·||表示取其向量模。则两虚拟摄像机坐标系的旋转矩阵均为RV=[rx,ry,rz],平移向量分别为0与T。则P点在两虚拟摄像机坐标系中的坐标XVC1,XVC2与对应的两摄像机坐标系中的坐标XC1,XC2之间的变换关系为:
X C 1 = R V X V C 1 X C 2 = R T ( X C 1 - T ) = R T ( R V X V C 2 + T - T ) = R T R V X V C 2
设P点在两摄像机的图像坐标系中的坐标分别为X1=(x1,y1,1)T,X2=(x2,y2,1)T,则有:
z c 1 X 1 = K 1 X C 1 z c 2 X 2 = K 2 X C 2
其中,zc1与zc2分别为点P在两摄像机坐标系中的深度坐标,是未知量。上式等价于:
X 1 ∝ K 1 X C 1 X 2 ∝ K 2 X C 2
其中,∝表示等比关系。设两虚拟摄像机的内参数矩阵均为KV,则两虚拟摄像机的图像坐标XV1=(xv1,yv1,1)T,Xv2=(xv2,yv2,1)T与对应的两摄像机的图像坐标X1,X2之间变换关系为:
X 1 ∝ K 1 R V K V - 1 X V 1 X 2 ∝ K 1 R T R V K V - 1 X V 1
使用上式变换每一组视频帧,得到矫正后的两幅图像,此时,两幅图像之间的只有水平方向的偏移。
进一步地,所述步骤S2的具体方法包括:
对于矫正后的两幅视频图像I1和I2,其重叠区域的拼缝选择同时取决于图像差异大小和潜在匹配不确定性。分别记I1和I2在重叠区域的部分为IO1和IO2,则重叠区域图像差异ED定义为:
ED=||IO1-IO2||1
其中||·||1表示向量的1-范数。由于IO1和IO2之间的只有水平方向的偏移,潜在匹配不确定性与水平方向的纹理辨识度成反比,因此,潜在匹配不确定性EM定义为:
E M = 1 | | ▿ x I O 1 | | 1 + | | ▿ x I O 2 | | 1
其中表示对水平方向梯度。对于首帧图像的拼接,总的能量函数E0表示为:
E0=λDEDMEM
其中λD和λM分别为ED和EM的加权系数。为避免陷入局部最优,对E0进行高斯平滑:
E 0 smooh = gσ ⊗ E 0
其中gσ表示方差为σ的高斯核函数,表示卷积运算。在上运行动态规划算法得到首帧的拼缝位置:
x=S0(y)
其中,y为重叠区域的竖直坐标,x为竖直坐标y处的拼缝位置。
为保持拼接完成的视频的帧间一致性,相邻帧的拼缝位置不能偏离太多,即拼缝位置是渐变的。因此,在后续帧的拼缝查找时以前一帧的拼缝位置作为一项约束,对应的渐变约束项ET为:
E T = Σ y ( S t ( y ) - S t - 1 ( y ) ) 2
其中,t为当前帧序号,且t≥1。第t帧的重叠区域拼缝选择对应的总能量函数E表示为:
Et=λDEDMEMTET
其中,λT为ET的加权系数。同样地,对Et进行高斯平滑得到并在上运行动态规划算法得到第t帧的拼缝位置x=St(y)。
进一步地,所述步骤S3的具体方法包括:
对于矫正后的两幅图像I1和I2,由于对应的两虚拟摄像机的光轴平行,则两图像水平方向的像素偏移d与对应物点的深度D之间的关系如下:
d f = | | T | | D
其中,f为虚拟摄像机的等效焦距,||T||为两虚拟摄像机的基线长度。
平面扫描方法假设被拍摄场景的所有物体全部位于某一深度Dk,k=1,…,N,然后将两幅图像按照Dk对应的偏移组合,并衡量每一位置的图像匹配程度,对所有N个假设深度作同样的操作,最后综合每一位置除的匹配程度和相邻位置的几何约束,得到整个重叠区域每一位置的深度及对应的偏移量。
考虑到图像融合时拼缝两侧的图像主要取自不同的源图像,只有靠近拼缝的区域才会同时用到两幅源图像的信息,因此求解整个重叠区域的精确匹配关系是不必要的。只在拼缝附近运行平面扫描可以显著加速视频拼接的速度,且不会损失拼接质量。
以当前帧的拼缝为中心,取宽度为Ws(如Ws=32像素)的窄带状区域,沿拼缝方向,以为竖直间隔,取长宽均为Ws的图像块作为匹配块Bi,i=1,…,n,n为沿当前拼缝上可取到的匹配块总数。取偏移量d=0,1,…m(对应深度为的空间平面),m为所考虑的最小深度对应的偏移量。计算Bi与另一幅图像中水平偏移为d的图像块Bi,d的匹配度,匹配准则采用归一化互相关系数。取匹配度最高的图像块对应的d为拼缝上当前位置处的偏移量。
完成整个窄带状区域的平面扫描后,得到拼缝上间隔为的离散位置的偏移量。为进一步保证拼接的鲁棒性,利用双边滤波去除其中的误匹配点。最后利用线性插值得到整条拼缝上逐像素的偏移:
d=V(y)。
进一步地,所述步骤S4的具体方法包括:
以Ω表示整个重叠区域,不妨设I1在I2的左侧,并以I1为参考图像,I2为目标图像,以Ω1={(x,y)|(x,y)∈Ω,x<St(y)}表示重叠区域中位于拼缝左侧的区域,以Ω2={(x,y)|(x,y)∈Ω,x>St(y)}表示重叠区域中位于拼缝右侧的区域。
以水平偏移函数U(x,y),(x,y)∈Ω2表示I2在Ω2上的偏移。设定重叠右侧区域边缘x=R(y)处的偏移量为零。则Ω2内任意位置(x,y)处的偏移计算过程如下:
U ( x , y ) = R ( y ) - x R ( y ) - S ( y ) V ( y )
根据上式计算Ω2内每个像素的U(x,y)即得到I2在重叠区域的偏移量。根据U(x,y)对I2在Ω2中的部分进行变形,得到变形后图像IΩ2,即IO2′中(x,y)处的像素从原图像IO2的(x-U(x,y),y)位置取值,当(x-U(x,y),y)为非整数位置时,采用线性插值得到其像素值。
进一步地,所述步骤S5的具体方法包括:
将I1在区域Ω1中的部分IΩ1与IΩ2进行梯度域融合,得到重叠区域的融合图像IΩ。由于设定重叠区域右侧边缘的偏移为零,因此在Ω2上所做形变不会影响重叠区域与非重叠区域的图像之间的连续性。直接将IΩ与I1,I2的非重叠部分组合,即得到在两虚拟摄像机坐标系下的融合图像IV。将IV变化到两摄像机坐标系下即最终的拼接图像It,具体变换如下:
XV1∝KVRV TK1 -1X1
其中,XV1为IV的图像坐标,X1为It的图像坐标。
对每一组视频帧适用步骤S1至S5处理过程,即可得到高质量的无缝拼接视频。
本发明所述方法在传统的最优拼缝算法和平面扫描算法基础上,考虑到运行速度和帧间一致性上的要求,针对视频拼接中的视差问题,提出一种基于围绕渐变拼缝区域平面扫描的视频拼接方法。首先,利用已有的摄像机标定信息矫正相邻的两幅视频帧,将二维图像偏移关系简化到一维;然后,基于重叠区域的图像差异和潜在匹配不确定性以及前一帧的拼缝,得到当前帧的拼缝位置;然后,在围绕拼缝的窄带状区域运行平面扫描,得到拼缝位置的水平偏移。最后,将拼缝位置的偏移量线性扩散到重叠区域其他位置,并据此对当前帧图像进行形变并融合,实现了有视差情况下快速高质量的视频拼接。
附图说明
图1为本发明的总体流程图。
图2为图像矫正示意图。
图3为平面扫描示意图。
图4为围绕拼缝区域的平面扫描示意图。
具体实施方式
下面将结合附图和实例对本发明的具体实施方式作进一步的详细说明。
本发明将视频拼接中的渐变拼缝算法和局部的平面扫描算法相结合,以实现带有视差情况下的视频拼接,能够满足视频拼接的帧间一致性要求,并且具有比图像拼接中平面扫描方法更快的运行速度。首先,沿基线方向矫正相邻的两幅视频帧,将二维图像偏移关系简化到一维;然后,在重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法,得到当前帧的拼缝位置;然后,在围绕拼缝的窄带状区域运行平面扫描算法,得到拼缝位置的像素偏移。最后,将拼缝位置的像素偏移线性扩散到重叠区域的其他部分,并据此对图像进行形变并融合,实现了有视差情况下快速高质量的视频拼接。总体流程图如图1所示。
本发明提供的基于围绕渐变拼缝区域平面扫描的视频拼接方法通过以下步骤实现:
S1.沿基线方向矫正相邻的两幅视频帧,即将图像变化到两台平行光轴的虚拟摄像机视图中,使图像之间的二维偏移关系简化到一维;
对于两台已完成标定的摄像机,其内参数矩阵K1,K2,以及两摄像机之间的旋转矩阵R=[r1,r2,r3]和平移向量T已知,则被拍摄场景中的一点P在两摄像机坐标系中坐标XC1与XC2的关系为
XC1=RXC2+T
图像矫正需要将两摄像机坐标系变换为新的具有平行光轴的两个虚拟摄像机坐标系下,两虚拟摄像机坐标系的基向量在第一台摄像机坐标系下的表述均为:
r x = T | | T | | r y ′ = [ 0 , 0 , 1 ] T × r 3 r y = r y ′ | | r y ′ | | r z = r x × r y
其中||·||表示取向量模。则两虚拟摄像机坐标系的旋转矩阵均为RV=[rx,ry,rz],平移向量分别为0与T。则P点在两虚拟摄像机坐标系中的坐标XVC1,XVC2与对应的两摄像机坐标系中的坐标XC1,XC2之间的变换关系为:
X C 1 = R V X V C 1 X C 2 = R T ( X C 1 - T ) = R T ( R V X V C 2 + T - T ) = R T R V X V C 2
设P点在两摄像机的图像坐标系中的坐标分别为X1=(x1,y1,1)T,X2=(x2,y2,1)T,则有:
z c 1 X 1 = K 1 X C 1 z c 2 X 2 = K 2 X C 2
其中,zc1与zc2分别为点P在两摄像机坐标系中的深度坐标,是未知量。上式等价于:
X 1 ∝ K 1 X C 1 X 2 ∝ K 2 X C 2
其中,∝表示等比关系。设两虚拟摄像机的内参数矩阵均为KV,则两虚拟摄像机的图像坐标XV1=(xv1,yv1,1)T,Xv2=(xv2,yv2,1)T与对应的两摄像机的图像坐标X1,X2之间变换关系为:
X 1 ∝ K 1 R V K V - 1 X V 1 X 2 ∝ K 1 R T R V K V - 1 X V 1
使用上式变换每一组视频帧,得到矫正后的两幅图像,如图2所示。此时,两幅图像之间的只有水平方向的偏移。
S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法,对当前拼缝的选择以上一帧的拼缝位置作为约束,可以保证视频的帧间一致性;
对于矫正后的两幅视频图像I1和I2,其重叠区域的拼缝选择同时取决于图像差异大小和潜在匹配不确定性。分别记I1和I2在重叠区域的部分为IO1和IO2,则重叠区域图像差异ED定义为:
ED=||IO1-IO2||1
其中||·||1表示向量的1-范数。由于IO1和IO2之间的只有水平方向的偏移,潜在匹配不确定性与水平方向的纹理辨识度成反比,因此,潜在匹配不确定性EM定义为:
E M = 1 | | ▿ x I O 1 | | 1 + | | ▿ x I O 2 | | 1
其中表示对水平方向梯度。对于首帧图像的拼接,总的能量函数E0表示为:
E0=λDEDMEM
其中λD和λM分别为ED和EM的加权系数。为避免陷入局部最优,对E0进行高斯平滑:
E 0 s m o o t h = g σ ⊗ E 0
其中gσ表示方差为σ的高斯核函数,表示卷积运算。在上运行动态规划算法得到首帧的拼缝位置:
x=S0(y)
其中,y为重叠区域的竖直坐标,x为竖直坐标y处的拼缝位置。
为保持拼接完成的视频的帧间一致性,相邻帧的拼缝位置不能偏离太多,即拼缝位置是渐变的。因此,在后续帧的拼缝查找时以前一帧的拼缝位置作为一项约束,对应的渐变约束项ET为:
E T = Σ y ( S t ( y ) - S t - 1 ( y ) ) 2
其中,t为当前帧序号,且t≥1。第t帧的重叠区域拼缝选择对应的总能量函数E表示为:
Et=λDEDMEMTET
其中,λT为ET的加权系数。同样地,对Et进行高斯平滑得到并在上运行动态规划算法得到第t帧的拼缝位置x=St(y)。
S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域,近似地认为该区域内同一纵坐标的深度相同,在该区域运行平面扫描算法,得到拼缝位置的像素偏移;
对于矫正后的两幅图像I1和I2,由于对应的两虚拟摄像机的光轴平行,则两图像水平方向的像素偏移d与对应物点的深度D之间的关系如下:
d f = | | T | | D
其中,f为虚拟摄像机的等效焦距,||T||为两虚拟摄像机的基线长度。
平面扫描方法假设被拍摄场景的所有物体全部位于某一深度Dk,k=1,…,N,如图3所示。然后将两幅图像按照Dk对应的偏移组合,并衡量每一位置的图像匹配程度,对所有N个假设深度作同样的操作,最后综合每一位置除的匹配程度和相邻位置的几何约束,得到整个重叠区域每一位置的深度及对应的偏移量。
考虑到图像融合时拼缝两侧的图像主要取自不同的源图像,只有靠近拼缝的区域才会同时用到两幅源图像的信息,因此求解整个重叠区域的精确匹配关系是不必要的。只在拼缝附近运行平面扫描可以显著加速视频拼接的速度,且不会损失拼接质量。
以当前帧的拼缝为中心,取宽度为Ws(如Ws=32像素)的窄带状区域,沿拼缝方向,以为竖直间隔,取长宽均为Ws的图像块作为匹配块Bi,i=1,…,n,n为沿当前拼缝上可取到的匹配块总数,如图4所示。取偏移量d=0,1,…m(对应深度为的空间平面),m为所考虑的最小深度对应的偏移量。计算Bi与另一幅图像中水平偏移为d的图像块Bi,d的匹配度,匹配准则采用归一化互相关系数。取匹配度最高的图像块对应的d为拼缝上当前位置处的偏移量。
完成整个窄带状区域的平面扫描后,得到拼缝上间隔为的离散位置的偏移量。为进一步保证拼接的鲁棒性,利用双边滤波去除其中的误匹配点。最后利用线性插值得到整条拼缝上逐像素的偏移:
d=V(y)。
S4.设定重叠区域边界上的像素偏移为零,将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分,并根据整个重叠区域的偏移对图像进行形变。
以Ω表示整个重叠区域,不妨设I1在I2的左侧,并以I1为参考图像,I2为目标图像,以Ω1={(x,y)|(x,y)∈Ω,x<St(y)}表示重叠区域中位于拼缝左侧的区域,以Ω2={(x,y)|(x,y)∈Ω,x>St(y)}表示重叠区域中位于拼缝右侧的区域。
以水平偏移函数U(x,y),(x,y)∈Ω2表示I2在Ω2上的偏移。设定重叠右侧区域边缘x=R(y)处的偏移量为零。则Ω2内任意位置(x,y)处的偏移计算过程如下:
U ( x , y ) = R ( y ) - x R ( y ) - S ( y ) V ( y )
根据上式计算Ω2内每个像素的U(x,y)即得到I2在重叠区域的偏移量。根据U(x,y)对I2在Ω2中的部分进行变形,得到变形后图像IΩ2,即IO2′中(x,y)处的像素从原图像IO2的(x-U(x,y),y)位置取值,当(x-U(x,y),y)为非整数位置时,采用线性插值得到其像素值。
S5.融合重叠区域的图像,并与非重叠区域的图像组合,在投影变化到原摄像机的图像坐标系下,得到当前一组视频帧的拼接图像。
将I1在区域Ω1中的部分IΩ1与IΩ2进行梯度域融合,得到重叠区域的融合图像IΩ。由于设定重叠区域右侧边缘的偏移为零,因此在Ω2上所做形变不会影响重叠区域与非重叠区域的图像之间的连续性。直接将IΩ与I1,I2的非重叠部分组合,即得到在两虚拟摄像机坐标系下的融合图像IV。将IV变化到两摄像机坐标系下即最终的拼接图像It,具体变换如下:
XV1∝KVRV TK1 -1X1
其中,XV1为IV的图像坐标,X1为It的图像坐标。
对每一组视频帧适用步骤S1至S5处理过程,即可得到高质量的无缝拼接视频。

Claims (5)

1.一种基于围绕渐变拼缝区域平面扫描的视频拼接方法,其特征在于包括以下步骤:
S1.沿基线方向矫正相邻的两幅视频帧,将两幅图像之间的二维偏移关系简化到水平方向;
对于两台已完成标定的摄像机,其内参数矩阵K1,K2,以及两摄像机之间的旋转矩阵R=[r1,r2,r3]和平移向量T已知,则被拍摄场景中的一点P在两摄像机坐标系中坐标XC1与XC2的关系为
XC1=RXC2+T
图像矫正需要将两摄像机坐标系变换为新的具有平行光轴的两个虚拟摄像机坐标系下,两虚拟摄像机坐标系的基向量在第一台摄像机坐标系下的表述均为:
r x = T | | T | | r y ′ = [ 0 , 0 , 1 ] T × r 3 r y = r y ′ | | r y ′ | | r z = r x × r y
其中||·||表示取向量模;则两虚拟摄像机坐标系的旋转矩阵均为RV=[[rx,ry,rz]],平移向量分别为0与T;则P点在两虚拟摄像机坐标系中的坐标XVC1,XVC2与对应的两摄像机坐标系中的坐标XC1,XC2之间的变换关系为:
X C 1 = R V X V C 1 X C 2 = R T ( X C 1 - T ) = R T ( R V X V C 2 + T - T ) = R T R V X V C 2
设P点在两摄像机的图像坐标系中的坐标分别为X1=(x1,y1,1)T,X2=(x2,y2,1)T,则有:
z c 1 X 1 = K 1 X C 1 z c 2 X 2 = K 2 X C 2
其中,zc1与zc2分别为点P在两摄像机坐标系中的深度坐标,是未知量;上式等价于:
X 1 ∝ K 1 X C 1 X 2 ∝ K 2 X C 2
其中,∝表示等比关系;设两虚拟摄像机的内参数矩阵均为KV,则两虚拟摄像机的图像坐标XV1=(xv1,yv1,1)T,Xv2=(xv2,yv2,1)T与对应的两摄像机的图像坐标X1,X2之间变换关系为:
X 1 ∝ K 1 R V K V - 1 X V 1 X 2 ∝ K 1 R T R V K V - 1 X V 1
使用上式变换每一组视频帧,得到矫正后的两幅图像I1和I2,此时,两幅图像I1和I2之间的只有水平方向的偏移;
S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法;
S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域,在该区域运行平面扫描算法,得到拼缝位置的像素偏移;
S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分,并根据整个重叠区域的偏移对图像进行形变;
S5.融合重叠区域的图像,并与非重叠区域的图像组合得到当前一组视频帧的拼接图像。
2.根据权利要求1所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法,其特征在于:所述步骤S2的具体方法包括:
对于矫正后的两幅视频图像I1和I2,其重叠区域的拼缝选择同时取决于图像差异大小和潜在匹配不确定性;分别记I1和I2在重叠区域的部分为IO1和IO2,则重叠区域图像差异ED定义为:
ED=||IO1-IO2||1
其中||·||1表示向量的1-范数;由于IO1和IO2之间的只有水平方向的偏移,潜在匹配不确定性与水平方向的纹理辨识度成反比,因此,潜在匹配不确定性EM定义为:
E M = 1 | | ▿ x I O 1 | | 1 + | | ▿ x I O 2 | | 1
其中表示对水平方向梯度;对于首帧图像的拼接,总的能量函数E0表示为:
E0=λDEDMEM
其中λD和λM分别为ED和EM的加权系数;为避免陷入局部最优,对E0进行高斯平滑:
E 0 s m o o t h = g σ ⊗ E 0
其中gσ表示方差为σ的高斯核函数,表示卷积运算;在上运行动态规划算法得到首帧的拼缝位置:
x=S0(y)
其中,y为重叠区域的竖直坐标,x为竖直坐标y处的拼缝位置;
为保持拼接完成的视频的帧间一致性,相邻帧的拼缝位置不能偏离太多,即拼缝位置是渐变的;因此,在后续帧的拼缝查找时以前一帧的拼缝位置作为一项约束,对应的渐变约束项ET为: E T = Σ y ( S t ( y ) - S t - 1 ( y ) ) 2
其中,t为当前帧序号,且t≥1;第t帧的重叠区域拼缝选择对应的总能量函数E表示为:
Et=λDEDMEMTET
其中,λT为ET的加权系数;同样地,对Et进行高斯平滑得到并在上运行动态规划算法得到第t帧的拼缝位置x=St(y)。
3.根据权利要求2所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法,其特征在于:所述步骤S3的具体方法包括:
对于矫正后的两幅图像I1和I2,由于对应的两虚拟摄像机的光轴平行,则两图像水平方向的像素偏移d与对应物点的深度D之间的关系如下: d f = | | T | | D
其中,f为虚拟摄像机的等效焦距,||T||为两虚拟摄像机的基线长度;
平面扫描方法假设被拍摄场景的所有物体全部位于某一深度Dk,k=1,…,N,然后将两幅图像按照Dk对应的偏移组合,并衡量每一位置的图像匹配程度,对所有N个假设深度作同样的操作,最后综合每一位置的匹配程度和相邻位置的几何约束,得到整个重叠区域每一位置的深度及对应的偏移量;
考虑到图像融合时拼缝两侧的图像主要取自不同的源图像,只有靠近拼缝的区域才会同时用到两幅源图像的信息,因此只在拼缝附近运行平面扫描;
以当前帧的拼缝为中心,取宽度为Ws的窄带状区域,沿拼缝方向,以为竖直间隔,取长宽均为Ws的图像块作为匹配块Bi,i=1,…,n,n为沿当前拼缝上可取到的匹配块总数;取偏移量d=0,1,…m,对应深度为D=∞,f||T||,…,的空间平面,m为所考虑的最小深度对应的偏移量;计算Bi与另一幅图像中水平偏移为d的图像块Bi,d的匹配度,匹配准则采用归一化互相关系数;取匹配度最高的图像块对应的d为拼缝上当前位置处的偏移量;
完成整个窄带状区域的平面扫描后,得到拼缝上间隔为的离散位置的偏移量;为进一步保证拼接的鲁棒性,利用双边滤波去除其中的误匹配点;最后利用线性插值得到整条拼缝上逐像素的偏移:
d=V(y)。
4.根据权利要求3所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法,其特征在于:所述步骤S4的具体方法包括:
以Ω表示整个重叠区域,设I1在I2的左侧,并以I1为参考图像,I2为目标图像,以Ω1={(x,y)|(x,y)∈Ω,x<tS(y})表示重叠区域中位于拼缝左侧的区域,以Ω2={(x,y)|(x,y)∈Ω,x>St(y)}表示重叠区域中位于拼缝右侧的区域;
以水平偏移函数U(x,y),(x,y)∈Ω2表示I2在Ω2上的偏移;设定重叠右侧区域边缘x=R(y)处的偏移量为零;则Ω2内任意位置(x,y)处的偏移计算过程如下:
U ( x , y ) = R ( y ) - x R ( y ) - S ( y ) V ( y )
根据上式计算Ω2内每个像素的U(x,y)即得到I2在重叠区域的偏移量;根据U(x,y)对I2在Ω2中的部分进行变形,得到变形后图像IΩ2,即IO2′中(x,y)处的像素从原图像IO2的(x-U(x,y),y)位置取值,当(x-U(x,y),y)为非整数位置时,采用线性插值得到其像素值。
5.根据权利要求4所述的基于围绕渐变拼缝区域平面扫描的视频拼接方法,其特征在于:所述步骤S5的具体方法包括:
将I1在区域Ω1中的部分IΩ1与IΩ2进行梯度域融合,得到重叠区域的融合图像IΩ;由于设定重叠区域右侧边缘的偏移为零,因此在Ω2上所做形变不会影响重叠区域与非重叠区域的图像之间的连续性;直接将IΩ与I1,I2的非重叠部分组合,即得到在两虚拟摄像机坐标系下的融合图像IV;将IV变化到两摄像机坐标系下即最终的拼接图像It,具体变换如下:
XV1∝KVRV TK1 -1X1
其中,XV1为IV的图像坐标,X1为It的图像坐标;
对每一组视频帧适用步骤S1至S5的处理过程,即可得到高质量的无缝拼接视频。
CN201510224858.0A 2015-05-05 2015-05-05 基于围绕渐变拼缝区域平面扫描的视频拼接方法 Active CN104794683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510224858.0A CN104794683B (zh) 2015-05-05 2015-05-05 基于围绕渐变拼缝区域平面扫描的视频拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510224858.0A CN104794683B (zh) 2015-05-05 2015-05-05 基于围绕渐变拼缝区域平面扫描的视频拼接方法

Publications (2)

Publication Number Publication Date
CN104794683A CN104794683A (zh) 2015-07-22
CN104794683B true CN104794683B (zh) 2016-03-23

Family

ID=53559466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510224858.0A Active CN104794683B (zh) 2015-05-05 2015-05-05 基于围绕渐变拼缝区域平面扫描的视频拼接方法

Country Status (1)

Country Link
CN (1) CN104794683B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847779B (zh) * 2016-03-30 2018-11-30 广东外语外贸大学 垂直方向立体接缝雕刻缩放方法
CN107560525B (zh) * 2017-08-21 2020-01-14 沪东中华造船(集团)有限公司 一种船体基线测量方法
CN107845066B (zh) * 2017-10-09 2021-03-30 中国电子科技集团公司第二十八研究所 基于分段仿射变换模型的城市遥感图像拼接方法及装置
CN109697705B (zh) * 2018-12-24 2019-09-03 北京天睿空间科技股份有限公司 适于视频拼接的色差矫正方法
CN113450304B (zh) * 2020-03-26 2024-05-10 中国商用飞机有限责任公司 一种铺层异常检测方法、装置、云服务器和介质
CN112489225A (zh) * 2020-11-26 2021-03-12 北京邮电大学 视频与三维场景融合的方法、装置、电子设备和存储介质
CN112258427B (zh) * 2020-12-18 2021-03-30 北京红谱威视图像技术有限公司 一种红外图像的修复方法及装置
CN112906665A (zh) * 2021-04-06 2021-06-04 北京车和家信息技术有限公司 交通标线融合方法、装置、存储介质及电子设备
CN113793382A (zh) * 2021-08-04 2021-12-14 北京旷视科技有限公司 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
CN114584747B (zh) * 2022-03-04 2023-10-31 大连海事大学 一种360°环幕无缝投影软矫正方法
CN115861050A (zh) * 2022-08-29 2023-03-28 如你所视(北京)科技有限公司 用于生成全景图像的方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
CN103501415B (zh) * 2013-10-01 2017-01-04 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法

Also Published As

Publication number Publication date
CN104794683A (zh) 2015-07-22

Similar Documents

Publication Publication Date Title
CN104794683B (zh) 基于围绕渐变拼缝区域平面扫描的视频拼接方法
US11783446B2 (en) Large-field-angle image real-time stitching method based on calibration
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
JP6126809B2 (ja) エゴモーション概算システムおよび方法
CN101276465B (zh) 广角图像自动拼接方法
US20170019655A1 (en) Three-dimensional dense structure from motion with stereo vision
JP4851239B2 (ja) 画像処理装置及びその処理方法
US20210082086A1 (en) Depth-based image stitching for handling parallax
CN105374019A (zh) 一种多深度图融合方法及装置
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
JP2016071846A (ja) 単眼カメラに基づく障害物検知方法及び装置
CN109859105B (zh) 一种无参数影像自然拼接方法
EP3446283B1 (en) Image stitching method and device
CN105005964A (zh) 基于视频序列影像的地理场景全景图快速生成方法
CN103501415A (zh) 一种基于重叠部分结构变形的视频实时拼接方法
CN101840570A (zh) 一种快速图像拼接方法
Ding et al. Fusing structure from motion and lidar for dense accurate depth map estimation
CN106856000A (zh) 一种车载全景图像无缝拼接处理方法及系统
CN106023080A (zh) 一种车载全景图像无缝拼接处理系统
CN105550981A (zh) 一种基于Lucas-Kanade算法的图像配准和拼接方法
Zhang et al. A line scan camera-based structure from motion for high-resolution 3D reconstruction
Nagy et al. Development of an omnidirectional stereo vision system
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
JP4851240B2 (ja) 画像処理装置及びその処理方法
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant