CN110139031A - 一种基于惯性感知的视频防抖系统及其工作方法 - Google Patents
一种基于惯性感知的视频防抖系统及其工作方法 Download PDFInfo
- Publication number
- CN110139031A CN110139031A CN201910367117.6A CN201910367117A CN110139031A CN 110139031 A CN110139031 A CN 110139031A CN 201910367117 A CN201910367117 A CN 201910367117A CN 110139031 A CN110139031 A CN 110139031A
- Authority
- CN
- China
- Prior art keywords
- camera
- video
- translation
- rotation
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006641 stabilisation Effects 0.000 title claims abstract description 54
- 238000011105 stabilization Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000008447 perception Effects 0.000 title claims abstract description 20
- 238000013519 translation Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 4
- 230000009897 systematic effect Effects 0.000 abstract 1
- 230000007812 deficiency Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
- 230000007474 system interaction Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于惯性感知的视频防抖系统及其工作方法。该方法首先使用惯性传感器来追踪相机的旋转,然后通过追踪视频帧中特征点的坐标变化,进一步地估计相机的平移。通过惯性‑视觉融合,该方法能够准确、鲁棒地估计相机的运动,并降低计算开销。然后基于Android智能设备,本发明设计并实现了一个实时的视频防抖系统。在系统实现过程中,本发明采用多线程优化技术来降低视频防抖的处理时间。最终在Android移动设备上,实现了实时的视频防抖系统,并且很好地满足用户对视频防抖的需求。
Description
技术领域
本发明属于惯性感知和视频处理技术领域,具体涉及一种基于惯性感知的视频防抖系统及其工作方法。
背景技术
现在越来越多的人选择使用移动智能设备来拍摄视频,记录并分享精彩的时刻。但是当我们在运动的同时拍摄视频,我们会发现拍摄的视频经常会出现抖动的情况,这就导致了视频的质量大大降低。为此,视频防抖技术被广泛地研究。目前视频防抖技术通常分为两类:基于硬件设备的视频防抖技术及基于软件算法的视频防抖技术。其中基于硬件的视频防抖技术主要有:专业的Steadicam系统、手持稳定器以及光学防抖技术。这类视频防抖技术一般需要额外的设备,并且成本较高。对于基于软件算法的视频防抖技术,主要分为三个部分:估计相机的运动、通过平滑相机运动来消除不期望的抖动以及通过视频帧变换来得到稳定的视频。在这三个过程中,相机运动估计是最重要的,它是后续运动抖动消除、视频帧变换的关键前提。
通常,相机运动估计的方法分为两类:基于惯性测量的方法和基于计算机视觉的方法。其中,
基于惯性测量的方法主要是使用移动智能设备中配置的惯性传感器来持续追踪设备的3D运动。这类方法的计算效率很高,而且不受拍摄场景、运动速度太快的影响。但是这类方法主要关注于相机的旋转运动,而忽视相机的平移运动。这是因为惯性传感器中的陀螺仪采集的数据是设备的旋转速度(即角速度),因此可以通过对角速度数据进行一次积分来比较准确地计算相机的旋转。而惯性传感器中的加速度计采集的是设备的加速度数据,在计算平移运动时,由于加速度二次积分会累计巨大的误差,往往不能准确地追踪相机的平移。
对于基于计算机视觉的方法,这类方法通常是在视频帧之间使用运动恢复结构技术(structure-from-motion)来估计相机的3D运动。这类方法往往可以准确地估计相机的运动,但是它们的计算成本很高,而且计算精度很依赖于拍摄场景。当拍摄场景的光照条件很差或者前景运动很多时,这类方法的精度会下降很多。考虑到这两类方法各自的优缺点,目前有一些基于惯性-视觉传感器融合的方法。这类方法通过扩展卡尔曼滤波器或者构建非线性优化模型来融合惯性和视觉测量,进而补偿惯性传感器在平移估计中的不足,以及计算机视觉方法对拍摄场景、快速运动的敏感,最终可以准确、鲁棒地估计相机的运动。但是,这类方法在使用扩展卡尔曼滤波器或者非线性优化模型来融合惯性和视觉测量时,计算开销很大,通常不能满足实时视频防抖的需求。
因此,基于上述考虑,有必要提出一种轻耦合的惯性-视觉融合方法,不仅可以补偿惯性传感器在平移估计中的不足,以及计算机视觉方法对拍摄场景、快速运动的敏感,而且可以减少由滤波器或者非线性优化产生的计算开销,满足实时视频防抖的需求。
发明内容
针对于上述现有技术的不足,本发明的目的在于提供一种基于惯性感知的视频防抖系统及其工作方法,以解决现有技术不能准确、鲁棒地估计相机运动,以及计算开销太大的问题。
为达到上述目的,本发明采用的技术方案如下:
本发明的一种基于惯性感知的视频防抖系统,包括:相机运动估计模块、相机运动平滑模块及视频帧变换模块;其中,
相机运动估计模块,根据陀螺仪采集的角速度数据以及相机拍摄的视频,估计相机的3D旋转和平移,得到原始相机运动轨迹;
相机运动平滑模块,对上述相机运动估计模块得到的原始相机运动轨迹进行平滑,消除在运动过程中出现的抖动部分,得到平滑相机运动轨迹;
视频帧变换模块,根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系,生成一个新的视频帧,即稳定视频帧。
进一步地,所述生成一个新的视频帧具体为:将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
进一步地,所述相机运动估计模块进行的相机旋转估计,以50-200Hz的频率采集陀螺仪数据,获取设备的角速度数据,对采集到的角速度数据通过积分得到设备的旋转;然后基于设备局部坐标和相机坐标系之间的转换,根据设备的旋转推导出相机的旋转,其中旋转使用旋转矩阵来表示,记为R。
进一步地,所述相机运动平滑模块进行的相机平移估计,在相邻视频帧之间追踪特征点,并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
进一步地,所述相机平移估计的计算平移方法为:
a.对于视频的每个图像帧,提取ORB特征点,然后在相邻视频帧之间,记为(Ii,Ii+1),通过特征点匹配来得到匹配的特征点对,记为(Pj,i,Pj,i+1),其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点;
b.对于匹配的特征点对(Pj,i,Pj,i+1),特征点Pj,i和Pj,i+1之间的坐标满足对极约束关系;对极约束的几何意义是Pj,Pj,i,Pj,i+1三点共面,并且包含了相机的旋转和平移,即,Pj,i+1K-T[Ti,i+1]×Ri,i+1K-1Pj,i=0;其中,Pj,i+1和Pj,i分别表示对应特征点的像素坐标,通过特征点的提取和匹配得到;K表示相机的内参数矩阵,通过预先的相机标定工具计算得到;Ri,i+1表示相邻视频帧之间的相对旋转;Ti,i+1表示相邻视频帧之间的相对平移;
c.通过相机旋转估计,计算得到相对旋转Ri,i+1,并将计算得到的Ri,i+1代入到对极约束等式中,此时该等式中唯一的未知项是Ti,i+1,其中有3个未知参数,即分别表示在x轴、y轴及z轴上的平移;
d.使用多个匹配的特征点对来构建方程组,该方程组由多个对极变换等式构成;由于有3个未知参数,因此要求等式的数量大于等于3,即需要3个以上的特征点对;然后通过最小二乘法求解该方程组,计算得到这三个参数,即计算得到了相邻视频帧之间的相对平移Ti,i+1。
本发明的一种基于惯性感知的视频防抖系统的工作方法,其包括以下步骤:
1)以每秒20-30帧的频率拍摄视频,并在视频拍摄的过程中,以50-200Hz的频率来采集陀螺仪数据;
2)对已拍摄视频的每一帧进行特征点提取,并使用采集到的陀螺仪数据来计算相机的旋转;
3)在相邻视频帧之间进行特征点匹配,并使用匹配的特征点对计算相机的平移,得到原始相机运动轨迹;
4)对上述原始相机运动轨迹进行平滑,得到平滑的相机运动轨迹;
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系,生成一个新的视频帧,即稳定视频帧;
6)将生成的稳定视频帧依次写入文件,得到稳定的视频。
进一步地,所述的步骤2)中的特征点提取,通过多线程并行技术被加速处理;具体为:将视频帧沿水平方向分为四块,然后使用四个线程来并行地对每一分块进行特征点提取,降低特征点提取的时延。
进一步地,所述的步骤4)中对原始相机运动轨迹进行平滑的方法为:
41)相机平移平滑,相机平移由一个三维向量表示,有三个维度,对三个维度(即x轴、y轴和z轴)上的平移序列分别采用低通滤波器进行平滑;
42)相机旋转平滑,相机旋转由一个3╳3的旋转矩阵进行表示,即有9个参数;三维空间中的相机旋转有3个自由度,上述的9个参数彼此之间不是相互独立的,即不能对9个参数分别进行平滑。因此,首先将3╳3的旋转矩阵转换为对应的3╳1的欧拉角,然后对3个独立的欧拉角序列分别采用低通滤波器进行平滑,最后将平滑后的欧拉角转换为对应的旋转矩阵形式。
进一步地,所述步骤5)具体为:将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
进一步地,所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理;具体地,使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件;通过多线程并行处理,降低视频防抖的处理时间,实现实时的视频防抖系统。
本发明的有益效果:
1、准确、鲁棒的相机运动估计:本发明通过惯性-视觉融合,补偿惯性传感器在平移估计中的不足,以及计算机视觉方法对拍摄场景、快速运动的敏感,实现准确、鲁棒的相机运动估计;
2、降低计算开销:本发明通过轻耦合的惯性-视觉融合,降低现有技术中通过滤波器或非线性优化进行惯性-视觉融合所带来的巨大计算开销;
3、实时的视频防抖系统:本发明通过多线程并行技术来减少视频防抖的处理时间,实现实时的视频防抖系统;
4、成本低廉:只需在用户现有的Android智能拍摄设备上安装我们的系统即可进行视频防抖处理,无需其他硬件设备,成本很低。
附图说明
图1为本发明系统架构图;
图2为相机平移估计原理图;
图3为本发明方法的流程图;
图4为多线程处理示意图;
图5a为本发明系统的程序主界面图;
图5b为本发明系统的视频拍摄界面图;
图5c为本发明系统的视频拍摄结束界面图;
图5d为本发明系统的视频防抖开始界面图;
图5e为本发明系统的视频防抖处理进度界面图;
图5f为本发明系统的视频防抖结束界面图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
参照图1所示,本发明的一种基于惯性感知的视频防抖系统,包括:相机运动估计模块、相机运动平滑模块及视频帧变换模块;其中,
相机运动估计模块,根据陀螺仪采集的角速度数据以及相机拍摄的视频,估计相机的3D旋转和平移,得到原始相机运动轨迹;
相机运动平滑模块,对上述相机运动估计模块得到的原始相机运动轨迹进行平滑,消除在运动过程中出现的抖动部分,得到平滑相机运动轨迹;
视频帧变换模块,根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系,生成一个新的视频帧,即稳定视频帧。具体地,将原始视频帧中的每一个像素映射到它在稳定视频帧中对应的像素位置。最后,通过将生成的稳定视频帧依次写入稳定视频中,使稳定视频看起来就像是沿着相机平滑运动轨迹所拍摄得到的。
本发明的一种基于惯性-视觉融合的相机运动估计方法,包括:相机旋转估计及相机平移估计;其中,
相机旋转估计,以100Hz的频率采集陀螺仪数据,获取设备的角速度数据,对采集到的角速度数据通过积分得到设备的旋转。然后基于设备局部坐标和相机坐标系之间的转换,根据设备的旋转推导出相机的旋转,其中旋转使用旋转矩阵来表示,记为R;
相机平移估计,在相邻视频帧之间追踪特征点,并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
其中,所述相机运动估计模块进行的相机旋转估计,以100Hz的频率采集陀螺仪数据,获取设备的角速度数据,对采集到的角速度数据通过积分得到设备的旋转;然后基于设备局部坐标和相机坐标系之间的转换,根据设备的旋转推导出相机的旋转,其中旋转使用旋转矩阵来表示,记为R。
其中,所述相机运动平滑模块进行的相机平移估计,在相邻视频帧之间追踪特征点,并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
参照图2所示,所述相机平移估计的计算平移的方法为:
a.对于视频的每个图像帧,提取ORB特征点,然后在相邻视频帧之间,记为(Ii,Ii+1),通过特征点匹配来得到匹配的特征点对,记为(Pj,i,Pj,i+1),其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点;
b.对于匹配的特征点对(Pj,i,Pj,i+1),特征点Pj,i和Pj,i+1之间的坐标满足对极约束关系。对极约束的几何意义是Pj,Pj,i,Pj,i+1三点共面,并且包含了相机的旋转和平移,即,Pj,i+1K-T[Ti,i+1]×Ri,i+1K-1Pj,i=0。其中,Pj,i+1和Pj,i分别表示对应特征点的像素坐标,通过特征点的提取和匹配得到;K表示相机的内参数矩阵,通过预先的相机标定工具计算得到;Ri,i+1表示相邻视频帧之间的相对旋转;Ti,i+1表示相邻视频帧之间的相对平移;
c.通过所述的相机旋转估计,计算得到相对旋转Ri,i+1,并将计算得到的Ri,i+1代入到对极约束等式中,此时该等式中唯一的未知项是Ti,i+1,其中有3个未知参数,即分别表示在x轴、y轴及z轴上的平移;
d.使用多个匹配的特征点对来构建方程组,该方程组由多个对极变换等式构成。由于有3个未知参数,因此要求等式的数量大于等于3,即需要3个以上的特征点对。然后通过最小二乘法求解该方程组,计算得到这三个参数,也就是计算得到了相邻视频帧之间的相对平移Ti,i+1。
参照图3所示,本发明的一种基于惯性感知的视频防抖系统的工作方法,示例中,其包括以下步骤:
1)以每秒30帧的频率拍摄视频,并在视频拍摄的过程中,以100Hz的频率来采集陀螺仪数据;
2)拍摄结束后,对已拍摄视频的每一帧进行特征点提取,并使用采集到的陀螺仪数据来计算相机的旋转;
3)在相邻视频帧之间进行特征点匹配,并使用匹配的特征点对计算相机的平移,得到原始相机运动轨迹;
4)对上述原始相机运动轨迹进行平滑,得到平滑的相机运动轨迹;
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系,生成一个新的视频帧,即稳定视频帧;具体地,将原始视频帧中每一个像素映射到它在稳定视频帧中对应的像素位置;
6)将生成的稳定视频帧依次写入文件,得到稳定的视频。
参照图4所示,所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理。具体地,使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件。通过多线程并行处理,降低视频防抖的处理时间,实现实时的视频防抖系统。
图5a-图5f是视频防抖系统交互界面示意图。当用户运行程序,进入程序主界面,用户可以选择拍摄新的视频,或者选择已经拍摄的视频进行视频防抖,如图5a所示。当用户选择拍摄新的视频时,程序会进入视频拍摄界面。点击拍摄按钮后,程序会开始录制视频,并显示视频当前时长,如图5b所示。在录制视频的同时,程序会以100Hz的频率来采集惯性传感器的数据。当用户再次点击拍摄按钮,则程序会停止录制视频,以及惯性传感器数据的采集,然后保存刚刚录制的视频和传感器数据。然后在界面下方,会显示返回按钮和视频防抖按钮,如图5c所示。若用户点击返回,则返回至程序主界面。当用户点击视频防抖按钮,则程序进入视频防抖界面,如图5d所示。当用户点击开始按钮,则开始视频防抖处理,并显示当前的进度,如图5e所示。此时,程序会使用三个线程来并行地提取特征点和估计相机旋转,原始视频帧防抖处理并得到稳定视频帧,以及将稳定视频帧写入文件。在视频防抖结束后,如图5f所示,界面会显示播放视频以及返回按钮。当用户选择返回,则返回至主界面。用户选择播放视频按钮,则开始播放防抖后的视频。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (10)
1.一种基于惯性感知的视频防抖系统,其特征在于,包括:相机运动估计模块、相机运动平滑模块及视频帧变换模块;其中,
相机运动估计模块,根据陀螺仪采集的角速度数据以及相机拍摄的视频,估计相机的3D旋转和平移,得到原始相机运动轨迹;
相机运动平滑模块,对上述相机运动估计模块得到的原始相机运动轨迹进行平滑,消除在运动过程中出现的抖动部分,得到平滑相机运动轨迹;
视频帧变换模块,根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系,生成一个新的视频帧,即稳定视频帧。
2.根据权利要求1所述的基于惯性感知的视频防抖系统,其特征在于,所述相机运动估计模块进行的相机旋转估计,以50-200Hz的频率采集陀螺仪数据,获取设备的角速度数据,对采集到的角速度数据通过积分得到设备的旋转;然后基于设备局部坐标和相机坐标系之间的转换,根据设备的旋转推导出相机的旋转,其中旋转使用旋转矩阵来表示,记为R。
3.根据权利要求1或2所述的基于惯性感知的视频防抖系统,其特征在于,所述相机运动平滑模块进行的相机平移估计,在相邻视频帧之间追踪特征点,并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
4.根据权利要求3所述的基于惯性感知的视频防抖系统,其特征在于,所述相机平移估计的计算平移方法为:
a.对于视频的每个图像帧,提取ORB特征点,然后在相邻视频帧之间,记为(Ii,Ii+1),通过特征点匹配来得到匹配的特征点对,记为(Pj,i,Pj,i+1),其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点;
b.对于匹配的特征点对(Pj,i,Pj,i+1),特征点Pj,i和Pj,i+1之间的坐标满足对极约束关系;对极约束的几何意义是Pj,Pj,i,Pj,i+1三点共面,并且包含了相机的旋转和平移,即,Pj,i+1K-T[Ti,i+1]×Ri,i+1K-1Pj,i=0;其中,Pj,i+1和Pj,i分别表示对应特征点的像素坐标,通过特征点的提取和匹配得到;K表示相机的内参数矩阵,通过预先的相机标定工具计算得到;Ri,i+1表示相邻视频帧之间的相对旋转;Ti,i+1表示相邻视频帧之间的相对平移;
c.通过相机旋转估计,计算得到相对旋转Ri,i+1,并将计算得到的Ri,i+1代入到对极约束等式中,此时该等式中唯一的未知项是Ti,i+1,其中有3个未知参数,即分别表示在x轴、y轴及z轴上的平移;
d.使用多个匹配的特征点对来构建方程组,该方程组由多个对极变换等式构成;由于有3个未知参数,因此要求等式的数量大于等于3,即需要3个以上的特征点对;然后通过最小二乘法求解该方程组,计算得到这三个参数,即计算得到了相邻视频帧之间的相对平移Ti,i+1。
5.根据权利要求1所述的基于惯性感知的视频防抖系统,其特征在于,所述生成一个新的视频帧具体为:将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
6.一种基于惯性感知的视频防抖系统的工作方法,其特征在于,其包括以下步骤:
1)以每秒20-30帧的频率拍摄视频,并在视频拍摄的过程中,以50-200Hz的频率来采集陀螺仪数据;
2)对已拍摄视频的每一帧进行特征点提取,并使用采集到的陀螺仪数据来计算相机的旋转;
3)在相邻视频帧之间进行特征点匹配,并使用匹配的特征点对计算相机的平移,得到原始相机运动轨迹;
4)对上述原始相机运动轨迹进行平滑,得到平滑的相机运动轨迹;
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系,生成一个新的视频帧,即稳定视频帧;
6)将生成的稳定视频帧依次写入文件,得到稳定的视频。
7.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法,其特征在于,所述的步骤2)中的特征点提取,通过多线程并行技术被加速处理;具体为:将视频帧沿水平方向分为四块,然后使用四个线程来并行地对每一分块进行特征点提取,降低特征点提取的时延。
8.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法,其特征在于,所述的步骤4)中对原始相机运动轨迹进行平滑的方法为:
41)相机平移平滑,相机平移由一个三维向量表示,有三个维度,对三个维度上的平移序列分别采用低通滤波器进行平滑;
42)相机旋转平滑,相机旋转由一个3╳3的旋转矩阵进行表示,将3╳3的旋转矩阵转换为对应的3╳1的欧拉角,然后对3个独立的欧拉角序列分别采用低通滤波器进行平滑,最后将平滑后的欧拉角转换为对应的旋转矩阵形式。
9.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法,其特征在于,所述步骤5)具体为:将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
10.根据权利要求6所述的基于惯性感知的视频防抖系统的工作方法,其特征在于,所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理;具体地,使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件;通过多线程并行处理,降低视频防抖的处理时间,实现实时的视频防抖系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910367117.6A CN110139031B (zh) | 2019-05-05 | 2019-05-05 | 一种基于惯性感知的视频防抖系统及其工作方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910367117.6A CN110139031B (zh) | 2019-05-05 | 2019-05-05 | 一种基于惯性感知的视频防抖系统及其工作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110139031A true CN110139031A (zh) | 2019-08-16 |
CN110139031B CN110139031B (zh) | 2020-11-06 |
Family
ID=67576160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910367117.6A Active CN110139031B (zh) | 2019-05-05 | 2019-05-05 | 一种基于惯性感知的视频防抖系统及其工作方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110139031B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314604A (zh) * | 2020-02-19 | 2020-06-19 | Oppo广东移动通信有限公司 | 视频防抖方法和装置、电子设备、计算机可读存储介质 |
CN111405187A (zh) * | 2020-04-16 | 2020-07-10 | 青岛浩海网络科技股份有限公司 | 用于监控器材的图像防抖方法、系统、设备和存储介质 |
CN112702528A (zh) * | 2020-12-28 | 2021-04-23 | 维沃移动通信有限公司 | 视频防抖方法、装置及电子设备 |
CN113660420A (zh) * | 2021-08-16 | 2021-11-16 | 维沃移动通信有限公司 | 视频帧处理方法和视频帧处理装置 |
CN114979456A (zh) * | 2021-02-26 | 2022-08-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
WO2022214001A1 (zh) * | 2021-04-08 | 2022-10-13 | 北京字跳网络技术有限公司 | 视频防抖处理方法、装置、电子设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090160951A1 (en) * | 2007-12-20 | 2009-06-25 | Utah State University Research Foundation | Three-Axis Image Stabilization System |
CN101877140A (zh) * | 2009-12-18 | 2010-11-03 | 北京邮电大学 | 一种基于全景图的全景虚拟游方法 |
CN102103756A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统 |
CN102752484A (zh) * | 2012-06-25 | 2012-10-24 | 清华大学 | 一种快速非全局一致图像抖动模糊去除算法及其系统 |
CN108171728A (zh) * | 2017-12-25 | 2018-06-15 | 清华大学 | 基于混合相机系统的无标记运动物体姿态恢复方法及装置 |
CN108259709A (zh) * | 2018-01-19 | 2018-07-06 | 长沙全度影像科技有限公司 | 一种用于子弹时间拍摄的视频图像防抖方法及系统 |
CN109618091A (zh) * | 2018-10-23 | 2019-04-12 | 天津天地伟业信息系统集成有限公司 | 融合陀螺仪的视频防抖方法和装置 |
-
2019
- 2019-05-05 CN CN201910367117.6A patent/CN110139031B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090160951A1 (en) * | 2007-12-20 | 2009-06-25 | Utah State University Research Foundation | Three-Axis Image Stabilization System |
CN101877140A (zh) * | 2009-12-18 | 2010-11-03 | 北京邮电大学 | 一种基于全景图的全景虚拟游方法 |
CN102103756A (zh) * | 2009-12-18 | 2011-06-22 | 华为技术有限公司 | 支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统 |
CN102752484A (zh) * | 2012-06-25 | 2012-10-24 | 清华大学 | 一种快速非全局一致图像抖动模糊去除算法及其系统 |
CN108171728A (zh) * | 2017-12-25 | 2018-06-15 | 清华大学 | 基于混合相机系统的无标记运动物体姿态恢复方法及装置 |
CN108259709A (zh) * | 2018-01-19 | 2018-07-06 | 长沙全度影像科技有限公司 | 一种用于子弹时间拍摄的视频图像防抖方法及系统 |
CN109618091A (zh) * | 2018-10-23 | 2019-04-12 | 天津天地伟业信息系统集成有限公司 | 融合陀螺仪的视频防抖方法和装置 |
Non-Patent Citations (2)
Title |
---|
赵赛等: ""基于MEMS陀螺仪的电子稳像算法"", 《中国知网》 * |
赵赛等: ""基于MEMS陀螺仪的电子稳像算法研究"", 《中国知网》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111314604A (zh) * | 2020-02-19 | 2020-06-19 | Oppo广东移动通信有限公司 | 视频防抖方法和装置、电子设备、计算机可读存储介质 |
CN111314604B (zh) * | 2020-02-19 | 2021-08-31 | Oppo广东移动通信有限公司 | 视频防抖方法和装置、电子设备、计算机可读存储介质 |
CN111405187A (zh) * | 2020-04-16 | 2020-07-10 | 青岛浩海网络科技股份有限公司 | 用于监控器材的图像防抖方法、系统、设备和存储介质 |
CN112702528A (zh) * | 2020-12-28 | 2021-04-23 | 维沃移动通信有限公司 | 视频防抖方法、装置及电子设备 |
CN114979456A (zh) * | 2021-02-26 | 2022-08-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
WO2022214001A1 (zh) * | 2021-04-08 | 2022-10-13 | 北京字跳网络技术有限公司 | 视频防抖处理方法、装置、电子设备和存储介质 |
CN113660420A (zh) * | 2021-08-16 | 2021-11-16 | 维沃移动通信有限公司 | 视频帧处理方法和视频帧处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110139031B (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110139031A (zh) | 一种基于惯性感知的视频防抖系统及其工作方法 | |
Cvišić et al. | Stereo odometry based on careful feature selection and tracking | |
CN107481270B (zh) | 乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备 | |
Karpenko et al. | Digital video stabilization and rolling shutter correction using gyroscopes | |
Tanskanen et al. | Live metric 3D reconstruction on mobile phones | |
CN103019024B (zh) | 实时精确观测和分析乒乓球旋转系统与系统运行方法 | |
JP5722502B2 (ja) | モバイルデバイスのための平面マッピングおよびトラッキング | |
US9767568B2 (en) | Image processor, image processing method, and computer program | |
CN109307508A (zh) | 一种基于多关键帧的全景惯导slam方法 | |
US10825249B2 (en) | Method and device for blurring a virtual object in a video | |
WO2010095191A1 (ja) | 情報処理装置および情報処理方法 | |
CN106446815A (zh) | 一种同时定位与地图构建方法 | |
CN104796596B (zh) | 一种信息处理方法及电子设备 | |
CN101383899A (zh) | 一种空基平台悬停视频稳像方法 | |
CN105160703A (zh) | 一种使用时域视觉传感器的光流计算方法 | |
CN104964685A (zh) | 一种手机运动姿态的判定方法 | |
CN110516639B (zh) | 一种基于视频流自然场景的人物三维位置实时计算方法 | |
Bloesch et al. | Fusion of optical flow and inertial measurements for robust egomotion estimation | |
CN108519102A (zh) | 一种基于二次投影的双目视觉里程计算方法 | |
CN105809664B (zh) | 生成三维图像的方法和装置 | |
CN111899276A (zh) | 一种基于双目事件相机的slam方法及系统 | |
CN106595601A (zh) | 一种无需手眼标定的相机六自由度位姿精确重定位方法 | |
CN115218906A (zh) | 面向室内slam的视觉惯性融合定位方法及系统 | |
CN103617631A (zh) | 一种基于中心检测的跟踪方法 | |
Liu et al. | Botanicgarden: A high-quality dataset for robot navigation in unstructured natural environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20190816 Assignee: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd. Assignor: NANJING University Contract record no.: X2023320000124 Denomination of invention: A Video Anti Shaking System Based on Inertial Sensing and Its Working Method Granted publication date: 20201106 License type: Common License Record date: 20230323 |
|
EE01 | Entry into force of recordation of patent licensing contract |