CN106101535B - 一种基于局部及整体运动差异补偿的视频稳定方法 - Google Patents

一种基于局部及整体运动差异补偿的视频稳定方法 Download PDF

Info

Publication number
CN106101535B
CN106101535B CN201610453067.XA CN201610453067A CN106101535B CN 106101535 B CN106101535 B CN 106101535B CN 201610453067 A CN201610453067 A CN 201610453067A CN 106101535 B CN106101535 B CN 106101535B
Authority
CN
China
Prior art keywords
frame
camera path
grid
video
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610453067.XA
Other languages
English (en)
Other versions
CN106101535A (zh
Inventor
黄华
黄建峰
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201610453067.XA priority Critical patent/CN106101535B/zh
Publication of CN106101535A publication Critical patent/CN106101535A/zh
Application granted granted Critical
Publication of CN106101535B publication Critical patent/CN106101535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种基于局部及整体运动差异补偿的视频稳定方法，包括以下步骤：1)使用光流法获得相邻视频帧中特征点的运动轨迹，并将视频帧网格化，根据内容保存约束和相似不变约束，计算出每个网格以及整体视频帧的相机路径；2)计算整体相机路径与网格相机路径之间的补偿矩阵，并根据路径平滑和重叠的约束，计算一条优化的整体相机路径；3)根据优化的整体相机路径与网格相机路径之间的补偿矩阵，计算出优化的网格相机路径；4)根据优化前后的网格相机路径，求出每个网格的变形矩阵，并对网格进行变形从而获得稳定的视频帧。与已有方法相比，本方法用补偿矩阵将需要优化的路径数量从网格数减少到了一条整体路径，减少了计算时间，提高了计算效率。

Description

一种基于局部及整体运动差异补偿的视频稳定方法
技术领域
本发明涉及一种视频稳定方法，尤其涉及一种基于局部及整体运动差异补偿的视频稳定方法，属于视频信号处理及视频运动补偿技术领域。
背景技术
随着数码相机的普及，人们无论在何时何地都能拍摄视频，这就导致了视频数量的快速稳定增长。然而，不同的拍摄环境和技术，拍出来的视频效果也大不相同。特别是对于业余视频拍摄者来说，很难做到一直稳定的拿着相机拍摄，这样拍出来的视频会有明显的抖动现象，而且有的时候看起来还模糊不清。目前，一些硬件设备已经被用来消除拍摄时的视频抖动，如手推车、凸轮、三脚架等等，但是这些设备都是需要提前准备好的，如果临时拍摄视频，是没有这些设备的。因此，抖动的视频是无法避免的。虽然相机的内置光学接口或电子稳定器能够消除高频抖动，但是当一个走动的人拿着相机拍摄时产生的低频抖动却是相机无法处理的，所以，拍摄出来的视频还是会伴随有抖动，影响人们观看时的视觉效果。
作为一个具有较高应用价值的问题，视频稳定被国内外的学者做了大量的研究，并且产生了显著地成果。目前已知的视频稳定技术主要包括两种：基于2D的视频稳定技术和基于3D的视频稳定技术。2D的视频稳定技术首先估计连续帧之间的2D变换，然后按时间序列去平滑视频帧，从而生成一个稳定的视频。2D方法虽然能够通过快速鲁邦的建立平滑的相机运动来实现视频的稳定，但是也正是由于这种简单的线性运动模型，它在处理含有因场景深度变化而产生的视差的视频时，结果会产生严重的变形。3D视频稳定技术依赖于运动场景的3D重建和强健的特征轨迹追踪。它首先使用运动恢复结构(SFM)技术对原始视频进行3D场景重建，然后建立一条平滑的运动路径，再根据特征点在两条路径上的投影位置，建立从原始路径到稳定路径之间的变换，根据这个变换，将输入视频投射到稳定的运动路径上，从而实现视频的稳定。从理论上来说，3D方法能够处理视差，产生强健且稳定的结果，但是它的运动模型评估容易出现问题，特别是当特征点追踪失败的情况下。
针对2D和3D视频稳定技术中存在的问题，(Liu S,Yuan L,Tan P,et al.Bundledcamera paths for video stabilization[J].Acm Transactions on Graphics,2013,32(4):96-96.)提出了一种基于捆绑相机路径的视频稳定技术。此文把视频分块处理，对于每一块，根据内容保存和尽可能相似约束，建立一条相机路径，再分别对每一条相机路径进行优化，最后根据优化前后的相机路径对每一块视频进行变形，获得稳定的结果。该技术采用分块处理的思想，在避免3D场景重建的同时，能够很好地完成含有视差的视频的稳定；然而，在相机路径优化时，文中单独对每一条路径进行优化，这大大增加了处理时间，降低了速率。而且，当不同块之间有较大的运动差异时，对应平滑的相机路径方向也会产生较大差异，这会使稳定的视频产生较大的内容损失。
上述已有的基于捆绑相机路径的视频稳定技术虽然能够解决2D视频稳定技术无法处理的视差问题和避免3D建模出错的问题，但在计算平滑相机路径时，需要计算多条路径，这消耗大量时间。而且，在视频各部分运动差异较大的情况下，计算出来的平滑路径的运动趋势也会有较大差异，所以，依然存在速率过低和内容损失过多的问题。本发明的目的旨在克服基于捆绑相机路径的视频稳定技术的速率低和内容损失多问题，提出基于局部及整体运动差异补偿的视频稳定方法。
发明内容
本发明的目的是针对现有视频稳定技术中稳定速率较低和内容损失过多的问题，提出一种基于局部及整体运动差异补偿的视频稳定方法。
本发明技术方案的思想是：首先，使用光流法获得相邻视频帧中特征点的运动轨迹；然后，将视频帧网格化，根据内容保存约束和相似不变约束，计算出每个网格的相机路径和整体视频帧的相机路径，并得到整体相机路径与网格相机路径之间的补偿矩阵；接着，根据路径平滑和重叠的约束，计算一条优化的整体相机路径，并利用补偿矩阵和优化的整体相机路径，计算出优化的网格相机路径；最后，求出每个网格的变形矩阵，并对网格进行变形从而获得稳定的图像。
一种基于局部及整体运动差异补偿的视频稳定方法所依托的视频稳定系统，后续简称本系统，包括相机路径建立模块、相机路径平滑模块以及图像变形模块；
本系统中各模块的连接关系为：
相机路径建立模块与相机路径平滑模块相连，相机路径平滑模块与图像变形模块相连；
本系统中各模块的功能为：
相机路径建立模块的功能是：将特征点检测与匹配以及计算相机路径；相机路径平滑模块的功能为：计算相机路径间的补偿矩阵和平滑相机路径；图像变形模块功能为：计算变形矩阵和变形图像；
一种基于局部及整体运动差异补偿的视频稳定方法，包括以下步骤：
步骤一、相机路径建立模块计算视频流的特征点轨迹；
具体的，在视频流的一个视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到所有特征点在视频中的运动轨迹，即特征点轨迹；
其中，所述的特征点轨迹是指相邻视频帧中的特征点，分别记为p和两个特征点共同位于一条特征轨迹上；
所述的视频帧来源于包含有抖动、旋转和缩放的视频，视频帧的数量记为N，其范围为100到800；
所述的光流法计算特征点的位置，具体为：首先，在第t帧中检测角点并计算它们在第t帧中的位置；然后，根据视频流中的像素强度数据的时域变化和相关性来确定像素位置的“运动”；最后，根据角点在第t帧中的位置和像素的移动确定角点在第t+1帧中的最佳位置；
其中，t的取值范围为1到N；
步骤二、相机路径建立模块将步骤一的视频帧网格化；
步骤2.1将视频流的第t帧帧划分为M个大小一致的长方形区域，每个长方形区域为个单个网格；
其中，M范围为整数D的平方，整数D的取值范围是2到16；所述的单个网格形式化表示为公式(1)：
公式(1)中p表示特征点，Vp表示特征点p所在的网格，代表特征点p所在网格的角点，一个网格是指划分此视频帧中的一个小长方形，由长方形区域的四个顶点和四条边组成；
步骤2.2将步骤2.1输出的网格化视频帧进一步变形，得出公式(2)的变形网格形式化表示：
其中，是一个二维坐标点，表示网格形式化后的角点，上标i的取值为1到4；
步骤三、相机路径建立模块计算用于求解相机路径及其能量方程的内容保持项；
具体包含以下步骤：
步骤3.1、相机路径建立模块分别计算网格化视频帧中一条特征点轨迹在相邻视频帧中的特征点；
其中，所述的相邻视频帧中的特征点，记为p和
其中，特征点p落在第t帧的网格Vp上，特征点落在第t+1帧的网格上；Vp和在这两相邻帧上的位置相同，并且，表示在第t+1帧中网格变形后的结果；
步骤3.2、相机路径建立模块计算步骤3.1中特征点p的双线性插值表示；
其中，所述的双线性插值表示基于网格Vp四个角点产生，根据如下公式(3)计算：
p＝Vpωp； (3)
其中， 为第i角点的双线性插值权重，i的取值为1到4；步骤3.3、相机路径建立模块计算内容保持项；
其中，内容保持项记为Ed；由公式(4)算出：
其中，∑条件1(计算1)是求和符号，表示对所有满足“条件1”的项执行“计算1”，并将“计算1”的结果相加；表示的二阶范数： 的平方；
是第t+1帧变形后所有角点的集合；
步骤四、相机路径建立模块计算用于求解相机路径能量方程的保形项；
其中，所述的保形项，记为Es；对于保形项的计算，本系统采用(Liu S,Yuan L,TanP,et al.Bundled camera paths for video stabilization[J].Acm Transactions onGraphics,2013,32(4):96-96.)里的公式(2)来完成，具体为下公式(5)所示：
其中，是第t+1帧变形后在一个三角形上的网格角点,R90是旋转矩阵，s是一个已知的标量，其值为：s＝||v-v1||/||v-v0||；v，v1，v0是在视频帧变形前对应的网格角点，v，v1，v0都是已知量；
步骤五、相机路径建立模块建立求解相机路径的能量方程；
结合公式(4)的内容保持项和公式(5)的保形项赋予权重，建立用于求解相机路径的能量方程,其形式化表示为公式(6)所示：
其中，α为权重系数，用来控制保形项所占的分量，其变化范围为0.3到3；
用稀疏线性系统求解器来求解该能量方程，得到变形后的网格角点集合
步骤六、相机路径建立模块计算视频流的局部相机路径，具体为：
步骤6.1、相机路径建立模块用Vj和作为输入，调用OpenCV库里的findHomography函数求解网格j在第t+1帧处的局部单应矩阵Fj(t+1)；
其中，Vj,分别表示第t+1帧上第j个网格变形前后的四个网格角点；
步骤6.2、重复步骤6.1N次，得到网格j在视频流上的所有局部单应矩阵；
步骤6.3、计算网格j在t+1帧处的相机路径；
其中，网格j在t+1帧处的相机路径记为Cj(t+1)；由公式(7)算出：
其中，j的取值范围是1到M；
步骤6.4、重复步骤6.3N次，计算网格j在所有帧上的相机位置；
步骤6.5、重复步骤6.1到6.4M次，计算所有网格在所有帧上的相机位置；
步骤七、相机路径建立模块计算视频流的整体相机路径，具体为：
步骤7.1、相机路径建立模块用步骤二的V以及步骤五的作为输入，调用OpenCV库里的findHomography函数，求解第t+1帧对应的整体单应矩阵F(t+1)；
步骤7.2、重复步骤7.1N次，得到所有视频帧的整体单应矩阵；
步骤7.3、计算第t+1帧视频的整体相机路径；
其中，第t+1帧处的整体相机路径记为C(t+1)；由公式(8)算出：
步骤7.4、重复步骤7.3N次，计算所有N个视频帧的整体相机路径；
步骤八、相机路径平滑模块计算整体相机路径到单个网格相机路径的补偿矩阵；
在第t+1帧中，整体相机路径到第j网格相机路径的补偿矩阵记为Hj(t+1)，即步骤七的C(t+1)和步骤六的Cj(t+1)的补偿矩阵；其中，Hj(t+1)由公式(9)算出：
其中，Fj(t+1)表示网格j在第t+1帧的单应矩阵，F(t+1)表示第t+1帧的整体单应矩阵，F(t+1)′是F(t+1)的逆矩阵；表示F(0)到F(t)的连乘，即：步骤九、相机路径平滑模块建立优化整体相机路径的能量方程；
对于整体相机路径的优化，我们使用(Liu S,Yuan L,Tan P,et al.Bundledcamera paths for video stabilization[J].Acm Transactions on Graphics,2013,32(4):96-96.)里的公式(5)来实现，用公式(10)来计算：
其中，f的取值范围是2到N，C＝{C(f)}表示初始整体相机路径，P＝{P(f)}表示优化后整体相机路径；λf是这两个能量项的一个平衡参数，其取值范围为0.5到5；Ωf表示与第f帧相邻的视频帧的集合；ωf,r(C)是一个在场景变换或镜头旋转情况下保存运动不连续性的权重；
采用雅克比迭代法求解公式(10)的能量方程；
步骤十、相机路径平滑模块计算网格的优化相机路径；
设Pj(t+1)表示网格j在t+1帧处优化后的相机路径，用公式(11)计算：
Pj(t+1)＝P(t+1)*Hj(t+1) (11)
其中，P(t+1)是优化的整体相机路径在第t+1帧处的相机路径，Hj(t+1)表示整体相机路径在t+1帧处的相机路径和网格j在t+1帧处的相机路径之间的补偿矩阵；
步骤十一、图像变形模块变形图像，具体如下：
步骤11.1、计算第t+1帧第j网格的变形矩阵；
其中，第t+1帧第j网格的变形矩阵记为Bj(t+1)，由公式(11)算出：
Bj(t+1)＝Cj(t+1)′*Pj(t+1) (12)
Cj(t+1)′是Cj(t+1)的逆矩阵；
步骤11.2、图像变形模块用得到的变形矩阵Bj(t+1)计算第t+1帧第j个网格稳定后的网格角点坐标，然后用opengl纹理贴图技术完成该网格图像的变形，即用该网格稳定前的四个角点坐标作为纹理坐标，同时按比例缩小该网格稳定后的四个角点坐标作为opengl坐标；
步骤11.3、重复步骤11.1到11.2M次，完成第t+1帧所有网格图像的纹理贴图，得到第t+1帧的稳定视频帧；
步骤11.4、重复步骤11.1到11.3N次，得到所有帧的稳定视频帧；
步骤11.5、图像变形模块把步骤11.4输出的所有稳定视频帧写入到一个avi格式的视频文件中，得到稳定视频流；
至此，从步骤一到步骤十一，完成了一种基于局部及整体运动差异补偿的视频稳定方法。
有益效果
一种基于局部及整体运动差异补偿的视频稳定方法，与其他视频稳定方法相比，具有如下有益效果：
(1)传统的基于2D的视频稳定方法一般无法处理含有视差的视频，在使用2D方法处理含有由于景深变化产生的视差的场景时往往会发生明显的扭曲，而本发明克服了这一问题，视频的分块处理相当于每一块看成单独的一个视频，即每一块都是由一个相机单独拍摄，而且，处理的时候本发明是把每一块单独处理，这样，就把景深相同的场景块划分到了一个相机中，就能够有效地消除景深不同而产生的视差问题；
(2)传统的基于3D的视频稳定方法需要通过从运动恢复结构(SFM)来完成视频稳定，这种方法计算复杂度较高，且对于复杂场景无法准确建模，而本发明无需使用从运动恢复结构的方法，而是使用特征轨迹的方法来实现视频的去抖处理，而且，我们只需要根据相邻两帧间的特征点组成的轨迹来建立模型，因此，这使得我们的运动模型的建立不受特征点轨迹长度的约束，同时，也减少存储复杂度和计算复杂度，极大提高了存储和计算效率；
(3)在现有的基于相机路径的视频稳定方法中，它们在计算优化路径时，对每一条路径都单独计算其对应的优化路径，这极大增加了计算时间，降低了效率。本发明提出了补偿路径思想，首先计算一条整体路径，然后计算整体路径和网格路径之间的补偿矩阵，然后计算整体路径的优化路径，最后根据补偿矩阵和优化的整体路径，直接算出每个网格路径的优化路径；通过这种方法，只需进行一次路径优化操作，大大减少了计算时间，提高了稳定速率；同时每个网格路径以整体路径为基准进行优化，减少了网格路径间的差异，从而减少了稳定视频的内容损失。
附图说明
图1是本发明一种基于局部及整体运动差异补偿的视频稳定方法的流程图。
具体实施方式
下面结合附图1对本发明方法的实施方式做详细说明。
一种基于局部及整体运动差异补偿的视频稳定方法，具体步骤如发明主体中步骤一到步骤十一所述；
其中，步骤一中，特征点p的检测采用计算机视觉库OpenCV函数库里的特征点检测函数GoodFeaturesToTrack()函数来实现，对于特征点采用计算机视觉库OpenCV函数库里的特征点追踪函数calcOpticalFlowPyrLK()函数来计算；视频帧数量N的值在本实施例中为387；
步骤二中，本实施例将视频帧t(t的取值范围是1到387)划分为8*8＝64个网格，即M的值为64，D的值为8；一行有8个网格，则一行有9个网格角点，同理，一列也有9个网格角点，这样，视频帧t共有9*9＝81个网格角点；视频的分辨率为1280*720；设步骤二中网格Vp的第i个网格角点(i的取值范围是1到4)在视频帧t中的行序号和列序号分别为a和b(a、b的取值范围都是1到9)，则的坐标可以由公式(13)求出：
步骤三中，双线性插值权重的四个分量的和为1，即
步骤五中，经过多次实验，发现权重系数α的值为3时效果最好，因此，本实施将α的值设为3；对于发明主体中步骤五的能量方程(6)的计算，本实施例用该能量方程分别对变形网格角点横、纵坐标求导，并令求导后的结果等于0，这样就得到了两个分别关于变形网格角点横、纵坐标的超大稀疏线性方程组，然后用umFpack数学库中自带的超大稀疏线性方程组求解函数求解这两个方程组，得到变形网格角点的横、纵坐标值，即发明主体步骤二中的角点的坐标；
步骤九中，本实施例将平衡参数λf的值设为5，集合Ωf取第f帧前后各30帧，共60帧；在本实施例中，我们用用双边滤波的思想来计算运动不连续保存权重ωf,r，具体地，权重ωf,r用公式(14)计算：
ωf,r＝exp(-(r-f)^2/(10*10))*exp(-(||C(r)-C(f)||)^2/(20*20)) (14)
其中exp()表示以自然常数e为底的指数函数，如exp(u)＝eu,u为任意实数；||C(r)-C(f)||表示相机路径C(r)和C(f)之间的平移量,在本实施例中用公式(15)计算：
||C(r)-C(f)||＝|Cr[0][2]-Cf[0][2]|+|Cr[1][2]-Cf[1][2]| (15)
其中，Cr和Cf分别是相机路径C(r)和C(f)对应的矩阵表示，均为3*3的矩阵；
对于发明主体步骤九中的能量方程(10)的求解，本实施例用雅克比迭代法实现，并将其转化成等价的雅克比迭代公式，如公式(16)所示：
其中，ξ是迭代系数，本实施例共迭代了20次，令P0(f)＝C(f)；
步骤十一中，步骤11.2需要根据第t+1帧第j个网格的变形矩阵Bj(t+1)来计该网格稳定后的四个网格角点坐标，计算一个网格的四个角点稳定后的坐标的方法是完全一样的，本实施例只说明其中一个角点的计算方法；为了方便表示，将第t+1帧第j个网格第i个(i＝1,2,3,4)网格角点稳定前后的坐标分别记为v(x0,y0)、v(x1,y1)，同时将第t+1帧第j个网格的变形矩阵Bj(t+1)记为B，变形矩阵Bj(t+1)是一个3*3的单应矩阵，对于网格角点坐标v(x1,y1)的计算，本实施例采用公式(17)来完成：
x1＝(x0*B[0][0]+y0*B[0][1]+B[0][2])/z
y1＝(x0*B[1][0]+y0*B[1][1]+B[1][2])/z (17)
其中，z的计算式为：z＝(x0*B[2][0]+y0*B[2][1]+B[2][2])；
为了说明本发明的内容及实施方法，本说明书给出了一个具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。

Claims (1)

1.一种基于局部及整体运动差异补偿的视频稳定方法，包括以下步骤：
步骤一、相机路径建立模块计算视频流的特征点轨迹，具体为：在视频流的一个视频帧中提取特征点，使用光流法计算下一帧中特征点的位置，进而得到所有特征点在视频中的运动轨迹，即特征点轨迹；
其中，所述的特征点轨迹是指相邻视频帧中的特征点，分别记为p和两个特征点共同位于一条特征轨迹上；
所述的视频帧来源于包含有抖动、旋转和缩放的视频，视频帧的数量记为N，其范围为100到800；
所述的光流法计算特征点的位置，具体为：首先，在第t帧中检测角点并计算它们在第t帧中的位置；然后，根据视频流中的像素强度数据的时域变化和相关性来确定像素位置的“运动”；最后，根据角点在第t帧中的位置和像素的移动确定角点在第t+1帧中的最佳位置；
其中，t的取值范围为1到N；
步骤二、相机路径建立模块将步骤一的视频帧网格化，具体包括：
步骤2.1将视频流的第t帧帧划分为M个大小一致的长方形区域，每个长方形区域为个单个网格；
其中，M范围为整数D的平方，整数D的取值范围是2到16；所述的单个网格形式化表示为公式(1)：
公式(1)中p表示特征点，Vp表示特征点p所在的网格，代表特征点p所在网格的角点，一个网格是指划分此视频帧中的一个小长方形，由长方形区域的四个顶点和四条边组成；
步骤2.2将步骤2.1输出的网格化视频帧进一步变形，得出公式(2)的变形网格形式化表示：
其中，是一个二维坐标点，表示网格形式化后的角点，上标i的取值为1到4；
步骤三、相机路径建立模块计算用于求解相机路径及其能量方程的内容保持项，具体包含以下步骤：
步骤3.1、相机路径建立模块分别计算网格化视频帧中一条特征点轨迹在相邻视频帧中的特征点；
其中，所述的相邻视频帧中的特征点，记为p和
其中，特征点p落在第t帧的网格Vp上，特征点落在第t+1帧的网格上；Vp和在这两相邻帧上的位置相同，并且，表示在第t+1帧中网格变形后的结果；
步骤3.2、相机路径建立模块计算步骤3.1中特征点p的双线性插值表示；
其中，所述的双线性插值表示基于网格Vp四个角点产生，根据如下公式(3)计算：
p＝Vpωp； (3)
其中， 为第i角点的双线性插值权重，i的取值为1到4；步骤3.3、相机路径建立模块计算内容保持项；
其中，内容保持项记为Ed；由公式(4)算出：
其中，∑条件1(计算1)是求和符号，表示对所有满足“条件1”的项执行“计算1”，并将“计算1”的结果相加；表示的二阶范数：的平方；
是第t+1帧变形后所有角点的集合；
步骤四、相机路径建立模块计算用于求解相机路径能量方程的保形项；
其中，所述的保形项，记为Es；对于保形项的计算，本系统采用公式(5)来完成：
其中，是第t+1帧变形后在一个三角形上的网格角点,R90是旋转矩阵，s是一个已知的标量，其值为：s＝||v-v1||/||v-v0||；v，v1，v0是在视频帧变形前对应的网格角点，v，v1，v0都是已知量；
步骤五、相机路径建立模块建立求解相机路径的能量方程，具体为：结合公式(4)的内容保持项和公式(5)的保形项赋予权重，建立用于求解相机路径的能量方程,其形式化表示为公式(6)所示：
其中，α为权重系数，用来控制保形项所占的分量，其变化范围为0.3到3；
用稀疏线性系统求解器来求解该能量方程，得到变形后的网格角点集合
步骤六、相机路径建立模块计算视频流的局部相机路径，具体为：
步骤6.1、相机路径建立模块用Vj和作为输入，调用OpenCV库里的findHomography函数求解网格j在第t+1帧处的局部单应矩阵Fj(t+1)；
其中，Vj,分别表示第t+1帧上第j个网格变形前后的四个网格角点；
步骤6.2、重复步骤6.1 N次，得到网格j在视频流上的所有局部单应矩阵；
步骤6.3、计算网格j在t+1帧处的相机路径；
其中，网格j在t+1帧处的相机路径记为Cj(t+1)；由公式(7)算出：
其中，j的取值范围是1到M；
步骤6.4、重复步骤6.3N次，计算网格j在所有帧上的相机位置；
步骤6.5、重复步骤6.1到6.4M次，计算所有网格在所有帧上的相机位置；步骤七、相机路径建立模块计算视频流的整体相机路径，具体为：
步骤7.1、相机路径建立模块用步骤五的作为输入，调用OpenCV库里的findHomography函数，求解第t+1帧对应的整体单应矩阵F(t+1)；
步骤7.2、重复步骤7.1N次，得到所有视频帧的整体单应矩阵；
步骤7.3、计算第t+1帧视频的整体相机路径；
其中，第t+1帧处的整体相机路径记为C(t+1)；由公式(8)算出：
步骤7.4、重复步骤7.3N次，计算所有N个视频帧的整体相机路径；
步骤八、相机路径平滑模块计算整体相机路径到单个网格相机路径的补偿矩阵，具体为：
在第t+1帧中，整体相机路径到第j网格相机路径的补偿矩阵记为Hj(t+1)，即步骤七的C(t+1)和步骤六的Cj(t+1)的补偿矩阵；其中，Hj(t+1)由公式(9)算出：
其中，Fj(t+1)表示网格j在第t+1帧的单应矩阵，F(t+1)表示第t+1帧的整体单应矩阵，F(t+1)'是F(t+1)的逆矩阵；表示F(0)到F(t)的连乘，即：
步骤九、相机路径平滑模块建立优化整体相机路径的能量方程，具体为：
对于整体相机路径的优化，使用公式(10)来计算：
其中，f的取值范围是2到N，C＝{C(f)}表示初始整体相机路径，P＝{P(f)}表示优化后整体相机路径；λf是这两个能量项的一个平衡参数，其取值范围为0.5到5；Ωf表示与第f帧相邻的视频帧的集合；ωf,r(C)是一个在场景变换或镜头旋转情况下保存运动不连续性的权重；
采用雅克比迭代法求解公式(10)的能量方程；
步骤十、相机路径平滑模块计算网格的优化相机路径，具体为：
设Pj(t+1)表示网格j在t+1帧处优化后的相机路径，用公式(11)计算：
Pj(t+1)＝P(t+1)*Hj(t+1) (11)
其中，P(t+1)是优化的整体相机路径在第t+1帧处的相机路径，Hj(t+1)表示整体相机路径在t+1帧处的相机路径和网格j在t+1帧处的相机路径之间的补偿矩阵；
步骤十一、图像变形模块变形图像，具体如下：
步骤11.1、计算第t+1帧第j网格的变形矩阵；
其中，第t+1帧第j网格的变形矩阵记为Bj(t+1)，由公式(11)算出：
Bj(t+1)＝Cj(t+1)'*Pj(t+1) (12)
Cj(t+1)'是Cj(t+1)的逆矩阵；
步骤11.2、图像变形模块用得到的变形矩阵Bj(t+1)计算第t+1帧第j个网格稳定后的网格角点坐标，然后用opengl纹理贴图技术完成该网格图像的变形，即用该网格稳定前的四个角点坐标作为纹理坐标，同时按比例缩小该网格稳定后的四个角点坐标作为opengl坐标；
步骤11.3、重复步骤11.1到11.2M次，完成第t+1帧所有网格图像的纹理贴图，得到第t+1帧的稳定视频帧；
步骤11.4、重复步骤11.1到11.3N次，得到所有帧的稳定视频帧；
步骤11.5、图像变形模块把步骤11.4输出的所有稳定视频帧写入到一个avi格式的视频文件中，得到稳定视频流。
CN201610453067.XA 2016-06-21 2016-06-21 一种基于局部及整体运动差异补偿的视频稳定方法 Active CN106101535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610453067.XA CN106101535B (zh) 2016-06-21 2016-06-21 一种基于局部及整体运动差异补偿的视频稳定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610453067.XA CN106101535B (zh) 2016-06-21 2016-06-21 一种基于局部及整体运动差异补偿的视频稳定方法

Publications (2)

Publication Number Publication Date
CN106101535A CN106101535A (zh) 2016-11-09
CN106101535B true CN106101535B (zh) 2019-02-19

Family

ID=57238769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610453067.XA Active CN106101535B (zh) 2016-06-21 2016-06-21 一种基于局部及整体运动差异补偿的视频稳定方法

Country Status (1)

Country Link
CN (1) CN106101535B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856295B2 (en) 2020-07-29 2023-12-26 Google Llc Multi-camera video stabilization

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107046640B (zh) * 2017-02-23 2018-09-07 北京理工大学 一种基于帧间运动光滑性的无参考视频稳定质量评价方法
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN108881668A (zh) * 2017-06-02 2018-11-23 北京旷视科技有限公司 视频增稳方法、装置、系统和计算机可读介质
US10740431B2 (en) 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
US10171738B1 (en) * 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
CN109325465B (zh) * 2018-10-17 2021-08-03 新疆联海创智信息科技有限公司 多摄像机环境下的步态库构建系统及方法
CN109729263B (zh) * 2018-12-07 2021-02-23 苏州中科广视文化科技有限公司 基于融合运动模型的视频除抖方法
CN109379536B (zh) * 2018-12-29 2020-07-31 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
CN111862142A (zh) * 2020-07-23 2020-10-30 软通智慧科技有限公司 一种运动轨迹生成方法、装置、设备和介质
CN113436113B (zh) * 2021-07-22 2023-04-18 黑芝麻智能科技有限公司 防抖动的图像处理方法、装置、电子设备和存储介质
CN113873099B (zh) * 2021-08-27 2024-04-12 山东信通电子股份有限公司 一种输电通道视频稳像方法、设备及介质
CN116645496A (zh) * 2023-05-23 2023-08-25 北京理工大学 一种基于网格变形的拖挂车动态环视拼接与稳定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139568A (zh) * 2013-02-05 2013-06-05 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
CN103414853A (zh) * 2013-07-26 2013-11-27 东华大学 支持多自由度运动的视频图像序列实时稳定装置与方法
CN103810725A (zh) * 2014-03-12 2014-05-21 北京理工大学 一种基于全局优化的视频稳定方法
CN104822030A (zh) * 2015-04-16 2015-08-05 北京理工大学深圳研究院 一种基于图像变形的不规则视频矩形化矫正方法
CN105409196A (zh) * 2013-07-23 2016-03-16 微软技术许可有限责任公司 用于视频稳定的自适应路径平滑

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9854168B2 (en) * 2014-03-07 2017-12-26 Futurewei Technologies, Inc. One-pass video stabilization

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103139568A (zh) * 2013-02-05 2013-06-05 上海交通大学 基于稀疏度和保真度约束的视频稳像方法
CN105409196A (zh) * 2013-07-23 2016-03-16 微软技术许可有限责任公司 用于视频稳定的自适应路径平滑
CN103414853A (zh) * 2013-07-26 2013-11-27 东华大学 支持多自由度运动的视频图像序列实时稳定装置与方法
CN103810725A (zh) * 2014-03-12 2014-05-21 北京理工大学 一种基于全局优化的视频稳定方法
CN104822030A (zh) * 2015-04-16 2015-08-05 北京理工大学深圳研究院 一种基于图像变形的不规则视频矩形化矫正方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Bundled Camera Paths for Video Stabilization;Liu S，Yuan l，Tan P;《Acm Transactions on Graphics》;20130731;全文
基于范数优化路径的视频稳像算法;石春雷;《系统工程与电子技术》;20150630;全文

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11856295B2 (en) 2020-07-29 2023-12-26 Google Llc Multi-camera video stabilization

Also Published As

Publication number Publication date
CN106101535A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106101535B (zh) 一种基于局部及整体运动差异补偿的视频稳定方法
CN107564061B (zh) 一种基于图像梯度联合优化的双目视觉里程计算方法
CN106550174B (zh) 一种基于单应性矩阵的实时视频稳像方法
CN106023302B (zh) 一种移动通信终端、服务器及其实现三维重建的方法
CN108335322A (zh) 深度估计方法和装置、电子设备、程序和介质
CN108898630A (zh) 一种三维重建方法、装置、设备和存储介质
CN109754417A (zh) 从图像中无监督学习几何结构的系统与方法
CN103559737A (zh) 一种对象全景建模方法
CN109922231A (zh) 一种用于生成视频的插帧图像的方法和装置
CN103903263B (zh) 一种基于Ladybug全景相机图像的360度全方位测距方法
CN104869387A (zh) 基于光流法的双目图像最大视差获取方法
CN102750704B (zh) 一种摄像机分步自标定方法
CN103400376B (zh) 一种乳腺动态增强磁共振图像序列的配准方法
US9565414B2 (en) Efficient stereo to multiview rendering using interleaved rendering
CN105913488B (zh) 一种基于三维映射表的三维点云快速重建方法
CN103607584A (zh) 一种kinect拍摄的深度图与彩色摄像机拍摄视频的实时配准方法
CN102024252B (zh) 基于矩阵秩最小化的恢复水下失真图像的重构方法
CN110070598A (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
CN107862733B (zh) 基于视线更新算法的大规模场景实时三维重建方法和系统
CN106997579A (zh) 图像拼接的方法和装置
CN106251395A (zh) 一种三维模型快速重建方法及系统
CN102254346A (zh) 基于云计算的增强现实虚实碰撞检测方法
CN102355589B (zh) 基于参数自优化多群粒子群优化的视频超分辨重建方法
CN110335228A (zh) 一种图像视差的确定方法、装置及系统
CN102819662A (zh) 一种视频流体高度的计算方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant