CN110139031B - 一种基于惯性感知的视频防抖系统及其工作方法 - Google Patents

一种基于惯性感知的视频防抖系统及其工作方法 Download PDF

Info

Publication number
CN110139031B
CN110139031B CN201910367117.6A CN201910367117A CN110139031B CN 110139031 B CN110139031 B CN 110139031B CN 201910367117 A CN201910367117 A CN 201910367117A CN 110139031 B CN110139031 B CN 110139031B
Authority
CN
China
Prior art keywords
camera
video
rotation
translation
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910367117.6A
Other languages
English (en)
Other versions
CN110139031A (zh
Inventor
谢磊
韩飞
殷亚凤
陆桑璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201910367117.6A priority Critical patent/CN110139031B/zh
Publication of CN110139031A publication Critical patent/CN110139031A/zh
Application granted granted Critical
Publication of CN110139031B publication Critical patent/CN110139031B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于惯性感知的视频防抖系统及其工作方法。该方法首先使用惯性传感器来追踪相机的旋转，然后通过追踪视频帧中特征点的坐标变化，进一步地估计相机的平移。通过惯性‑视觉融合，该方法能够准确、鲁棒地估计相机的运动，并降低计算开销。然后基于Android智能设备，本发明设计并实现了一个实时的视频防抖系统。在系统实现过程中，本发明采用多线程优化技术来降低视频防抖的处理时间。最终在Android移动设备上，实现了实时的视频防抖系统，并且很好地满足用户对视频防抖的需求。

Description

一种基于惯性感知的视频防抖系统及其工作方法
技术领域
本发明属于惯性感知和视频处理技术领域，具体涉及一种基于惯性感知的视频防抖系统及其工作方法。
背景技术
现在越来越多的人选择使用移动智能设备来拍摄视频，记录并分享精彩的时刻。但是当我们在运动的同时拍摄视频，我们会发现拍摄的视频经常会出现抖动的情况，这就导致了视频的质量大大降低。为此，视频防抖技术被广泛地研究。目前视频防抖技术通常分为两类：基于硬件设备的视频防抖技术及基于软件算法的视频防抖技术。其中基于硬件的视频防抖技术主要有：专业的Steadicam系统、手持稳定器以及光学防抖技术。这类视频防抖技术一般需要额外的设备，并且成本较高。对于基于软件算法的视频防抖技术，主要分为三个部分：估计相机的运动、通过平滑相机运动来消除不期望的抖动以及通过视频帧变换来得到稳定的视频。在这三个过程中，相机运动估计是最重要的，它是后续运动抖动消除、视频帧变换的关键前提。
通常，相机运动估计的方法分为两类：基于惯性测量的方法和基于计算机视觉的方法。其中，
基于惯性测量的方法主要是使用移动智能设备中配置的惯性传感器来持续追踪设备的3D运动。这类方法的计算效率很高，而且不受拍摄场景、运动速度太快的影响。但是这类方法主要关注于相机的旋转运动，而忽视相机的平移运动。这是因为惯性传感器中的陀螺仪采集的数据是设备的旋转速度(即角速度)，因此可以通过对角速度数据进行一次积分来比较准确地计算相机的旋转。而惯性传感器中的加速度计采集的是设备的加速度数据，在计算平移运动时，由于加速度二次积分会累计巨大的误差，往往不能准确地追踪相机的平移。
对于基于计算机视觉的方法，这类方法通常是在视频帧之间使用运动恢复结构技术(structure-from-motion)来估计相机的3D运动。这类方法往往可以准确地估计相机的运动，但是它们的计算成本很高，而且计算精度很依赖于拍摄场景。当拍摄场景的光照条件很差或者前景运动很多时，这类方法的精度会下降很多。考虑到这两类方法各自的优缺点，目前有一些基于惯性-视觉传感器融合的方法。这类方法通过扩展卡尔曼滤波器或者构建非线性优化模型来融合惯性和视觉测量，进而补偿惯性传感器在平移估计中的不足，以及计算机视觉方法对拍摄场景、快速运动的敏感，最终可以准确、鲁棒地估计相机的运动。但是，这类方法在使用扩展卡尔曼滤波器或者非线性优化模型来融合惯性和视觉测量时，计算开销很大，通常不能满足实时视频防抖的需求。
因此，基于上述考虑，有必要提出一种轻耦合的惯性-视觉融合方法，不仅可以补偿惯性传感器在平移估计中的不足，以及计算机视觉方法对拍摄场景、快速运动的敏感，而且可以减少由滤波器或者非线性优化产生的计算开销，满足实时视频防抖的需求。
发明内容
针对于上述现有技术的不足，本发明的目的在于提供一种基于惯性感知的视频防抖系统及其工作方法，以解决现有技术不能准确、鲁棒地估计相机运动，以及计算开销太大的问题。
为达到上述目的，本发明采用的技术方案如下：
本发明的一种基于惯性感知的视频防抖系统，包括：相机运动估计模块、相机运动平滑模块及视频帧变换模块；其中，
相机运动估计模块，根据陀螺仪采集的角速度数据以及相机拍摄的视频，估计相机的3D旋转和平移，得到原始相机运动轨迹；
相机运动平滑模块，对上述相机运动估计模块得到的原始相机运动轨迹进行平滑，消除在运动过程中出现的抖动部分，得到平滑相机运动轨迹；
视频帧变换模块，根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧。
进一步地，所述生成一个新的视频帧具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
进一步地，所述相机运动估计模块进行的相机旋转估计，以50-200Hz的频率采集陀螺仪数据，获取设备的角速度数据，对采集到的角速度数据通过积分得到设备的旋转；然后基于设备局部坐标和相机坐标系之间的转换，根据设备的旋转推导出相机的旋转，其中旋转使用旋转矩阵来表示，记为R。
进一步地，所述相机运动平滑模块进行的相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
进一步地，所述相机平移估计的计算平移方法为：
a.对于视频的每个图像帧，提取ORB特征点，然后在相邻视频帧之间，记为(Ii，Ii+1)，通过特征点匹配来得到匹配的特征点对，记为(Pj，i，Pj，i+1)，其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点；
b.对于匹配的特征点对(Pj，i，Pj，i+1)，特征点Pj，i和Pj，i+1之间的坐标满足对极约束关系；对极约束的几何意义是Pj,Pj，i，Pj，i+1三点共面，并且包含了相机的旋转和平移，即，Pj，i+1K-T[Ti，i+1]×Ri，i+1K-1Pj，i＝0；其中，Pj，i+1和Pj，i分别表示对应特征点的像素坐标，通过特征点的提取和匹配得到；K表示相机的内参数矩阵，通过预先的相机标定工具计算得到；Ri，i+1表示相邻视频帧之间的相对旋转；Ti，i+1表示相邻视频帧之间的相对平移；
c.通过相机旋转估计，计算得到相对旋转Ri，i+1，并将计算得到的Ri，i+1代入到对极约束等式中，此时该等式中唯一的未知项是Ti，i+1，其中有3个未知参数，即
Figure BDA0002048579910000021
分别表示在x轴、y轴及z轴上的平移；
d.使用多个匹配的特征点对来构建方程组，该方程组由多个对极变换等式构成；由于有3个未知参数，因此要求等式的数量大于等于3，即需要3个以上的特征点对；然后通过最小二乘法求解该方程组，计算得到
Figure BDA0002048579910000031
这三个参数，即计算得到了相邻视频帧之间的相对平移Ti，i+1。
本发明的一种基于惯性感知的视频防抖系统的工作方法，其包括以下步骤：
1)以每秒20-30帧的频率拍摄视频，并在视频拍摄的过程中，以50-200Hz的频率来采集陀螺仪数据；
2)对已拍摄视频的每一帧进行特征点提取，并使用采集到的陀螺仪数据来计算相机的旋转；
3)在相邻视频帧之间进行特征点匹配，并使用匹配的特征点对计算相机的平移，得到原始相机运动轨迹；
4)对上述原始相机运动轨迹进行平滑，得到平滑的相机运动轨迹；
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧；
6)将生成的稳定视频帧依次写入文件，得到稳定的视频。
进一步地，所述的步骤2)中的特征点提取，通过多线程并行技术被加速处理；具体为：将视频帧沿水平方向分为四块，然后使用四个线程来并行地对每一分块进行特征点提取，降低特征点提取的时延。
进一步地，所述的步骤4)中对原始相机运动轨迹进行平滑的方法为：
41)相机平移平滑，相机平移由一个三维向量表示，有三个维度，对三个维度(即x轴、y轴和z轴)上的平移序列分别采用低通滤波器进行平滑；
42)相机旋转平滑，相机旋转由一个3╳3的旋转矩阵进行表示，即有9个参数；三维空间中的相机旋转有3个自由度，上述的9个参数彼此之间不是相互独立的，即不能对9个参数分别进行平滑。因此，首先将3╳3的旋转矩阵转换为对应的3╳1的欧拉角，然后对3个独立的欧拉角序列分别采用低通滤波器进行平滑，最后将平滑后的欧拉角转换为对应的旋转矩阵形式。
进一步地，所述步骤5)具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
进一步地，所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理；具体地，使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件；通过多线程并行处理，降低视频防抖的处理时间，实现实时的视频防抖系统。
本发明的有益效果：
1、准确、鲁棒的相机运动估计：本发明通过惯性-视觉融合，补偿惯性传感器在平移估计中的不足，以及计算机视觉方法对拍摄场景、快速运动的敏感，实现准确、鲁棒的相机运动估计；
2、降低计算开销：本发明通过轻耦合的惯性-视觉融合，降低现有技术中通过滤波器或非线性优化进行惯性-视觉融合所带来的巨大计算开销；
3、实时的视频防抖系统：本发明通过多线程并行技术来减少视频防抖的处理时间，实现实时的视频防抖系统；
4、成本低廉：只需在用户现有的Android智能拍摄设备上安装我们的系统即可进行视频防抖处理，无需其他硬件设备，成本很低。
附图说明
图1为本发明系统架构图；
图2为相机平移估计原理图；
图3为本发明方法的流程图；
图4为多线程处理示意图；
图5a为本发明系统的程序主界面图；
图5b为本发明系统的视频拍摄界面图；
图5c为本发明系统的视频拍摄结束界面图；
图5d为本发明系统的视频防抖开始界面图；
图5e为本发明系统的视频防抖处理进度界面图；
图5f为本发明系统的视频防抖结束界面图。
具体实施方式
为了便于本领域技术人员的理解，下面结合实施例与附图对本发明作进一步的说明，实施方式提及的内容并非对本发明的限定。
参照图1所示，本发明的一种基于惯性感知的视频防抖系统，包括：相机运动估计模块、相机运动平滑模块及视频帧变换模块；其中，
相机运动估计模块，根据陀螺仪采集的角速度数据以及相机拍摄的视频，估计相机的3D旋转和平移，得到原始相机运动轨迹；
相机运动平滑模块，对上述相机运动估计模块得到的原始相机运动轨迹进行平滑，消除在运动过程中出现的抖动部分，得到平滑相机运动轨迹；
视频帧变换模块，根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧。具体地，将原始视频帧中的每一个像素映射到它在稳定视频帧中对应的像素位置。最后，通过将生成的稳定视频帧依次写入稳定视频中，使稳定视频看起来就像是沿着相机平滑运动轨迹所拍摄得到的。
本发明的一种基于惯性-视觉融合的相机运动估计方法，包括：相机旋转估计及相机平移估计；其中，
相机旋转估计，以100Hz的频率采集陀螺仪数据，获取设备的角速度数据，对采集到的角速度数据通过积分得到设备的旋转。然后基于设备局部坐标和相机坐标系之间的转换，根据设备的旋转推导出相机的旋转，其中旋转使用旋转矩阵来表示，记为R；
相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
其中，所述相机运动估计模块进行的相机旋转估计，以100Hz的频率采集陀螺仪数据，获取设备的角速度数据，对采集到的角速度数据通过积分得到设备的旋转；然后基于设备局部坐标和相机坐标系之间的转换，根据设备的旋转推导出相机的旋转，其中旋转使用旋转矩阵来表示，记为R。
其中，所述相机运动平滑模块进行的相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移。
参照图2所示，所述相机平移估计的计算平移的方法为：
a.对于视频的每个图像帧，提取ORB特征点，然后在相邻视频帧之间，记为(Ii，Ii+1)，通过特征点匹配来得到匹配的特征点对，记为(Pj，i，Pj，i+1)，其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点；
b.对于匹配的特征点对(Pj，i，Pj，i+1)，特征点Pj，i和Pj，i+1之间的坐标满足对极约束关系。对极约束的几何意义是Pj,Pj，i，Pj，i+1三点共面，并且包含了相机的旋转和平移，即，Pj，i+1K-T[Ti，i+1]×Ri，i+1K-1Pj，i＝0。其中，Pj，i+1和Pj，i分别表示对应特征点的像素坐标，通过特征点的提取和匹配得到；K表示相机的内参数矩阵，通过预先的相机标定工具计算得到；Ri，i+1表示相邻视频帧之间的相对旋转；Ti，i+1表示相邻视频帧之间的相对平移；
c.通过所述的相机旋转估计，计算得到相对旋转Ri，i+1，并将计算得到的Ri，i+1代入到对极约束等式中，此时该等式中唯一的未知项是Ti，i+1，其中有3个未知参数，即
Figure BDA0002048579910000051
分别表示在x轴、y轴及z轴上的平移；
d.使用多个匹配的特征点对来构建方程组，该方程组由多个对极变换等式构成。由于有3个未知参数，因此要求等式的数量大于等于3，即需要3个以上的特征点对。然后通过最小二乘法求解该方程组，计算得到
Figure BDA0002048579910000052
这三个参数，也就是计算得到了相邻视频帧之间的相对平移Ti，i+1。
参照图3所示，本发明的一种基于惯性感知的视频防抖系统的工作方法，示例中，其包括以下步骤：
1)以每秒30帧的频率拍摄视频，并在视频拍摄的过程中，以100Hz的频率来采集陀螺仪数据；
2)拍摄结束后，对已拍摄视频的每一帧进行特征点提取，并使用采集到的陀螺仪数据来计算相机的旋转；
3)在相邻视频帧之间进行特征点匹配，并使用匹配的特征点对计算相机的平移，得到原始相机运动轨迹；
4)对上述原始相机运动轨迹进行平滑，得到平滑的相机运动轨迹；
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧；具体地，将原始视频帧中每一个像素映射到它在稳定视频帧中对应的像素位置；
6)将生成的稳定视频帧依次写入文件，得到稳定的视频。
参照图4所示，所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理。具体地，使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件。通过多线程并行处理，降低视频防抖的处理时间，实现实时的视频防抖系统。
图5a-图5f是视频防抖系统交互界面示意图。当用户运行程序，进入程序主界面，用户可以选择拍摄新的视频，或者选择已经拍摄的视频进行视频防抖，如图5a所示。当用户选择拍摄新的视频时，程序会进入视频拍摄界面。点击拍摄按钮后，程序会开始录制视频，并显示视频当前时长，如图5b所示。在录制视频的同时，程序会以100Hz的频率来采集惯性传感器的数据。当用户再次点击拍摄按钮，则程序会停止录制视频，以及惯性传感器数据的采集，然后保存刚刚录制的视频和传感器数据。然后在界面下方，会显示返回按钮和视频防抖按钮，如图5c所示。若用户点击返回，则返回至程序主界面。当用户点击视频防抖按钮，则程序进入视频防抖界面，如图5d所示。当用户点击开始按钮，则开始视频防抖处理，并显示当前的进度，如图5e所示。此时，程序会使用三个线程来并行地提取特征点和估计相机旋转，原始视频帧防抖处理并得到稳定视频帧，以及将稳定视频帧写入文件。在视频防抖结束后，如图5f所示，界面会显示播放视频以及返回按钮。当用户选择返回，则返回至主界面。用户选择播放视频按钮，则开始播放防抖后的视频。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (7)

1.一种基于惯性感知的视频防抖系统，其特征在于，包括：相机运动估计模块、相机运动平滑模块及视频帧变换模块；其中，
相机运动估计模块，根据陀螺仪采集的角速度数据以及相机拍摄的视频，估计相机的3D旋转和平移，得到原始相机运动轨迹；
相机运动平滑模块，对上述相机运动估计模块得到的原始相机运动轨迹进行平滑，消除在运动过程中出现的抖动部分，得到平滑相机运动轨迹；
视频帧变换模块，根据上述原始相机运动轨迹和平滑相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧；
所述相机运动平滑模块进行的相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移；
所述相机平移估计的计算平移方法为：
a.对于视频的每个图像帧，提取ORB特征点，然后在相邻视频帧之间，记为(Ii，Ii+1)，通过特征点匹配来得到匹配的特征点对，记为(Pj，i，Pj，i+1)，其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点；
b.对于匹配的特征点对(Pj，i，Pj，i+1)，特征点Pj，i和Pj，i+1之间的坐标满足对极约束关系；对极约束的几何意义是Pj，Pj，i，Pj，i+1三点共面，并且包含了相机的旋转和平移，即，Pj，i+1K-T[Ti，i+1]×Ri，i+1K-1Pj，i＝0；其中，Pj，i+1和Pj，i分别表示对应特征点的像素坐标，通过特征点的提取和匹配得到；K表示相机的内参数矩阵，通过预先的相机标定工具计算得到；Ri，i+1表示相邻视频帧之间的相对旋转；Ti，i+1表示相邻视频帧之间的相对平移；
c.通过相机旋转估计，计算得到相对旋转Ri，i+1，并将计算得到的Ri，i+1代入到对极约束等式中，此时该等式中唯一的未知项是Ti，i+1，其中有3个未知参数，即
Figure FDA0002666660360000011
分别表示在x轴、y轴及z轴上的平移；
d.使用多个匹配的特征点对来构建方程组，该方程组由多个对极变换等式构成；由于有3个未知参数，因此要求等式的数量大于等于3，即需要3个以上的特征点对；然后通过最小二乘法求解该方程组，计算得到
Figure FDA0002666660360000012
这三个参数，即计算得到了相邻视频帧之间的相对平移Ti，i+1。
2.根据权利要求1所述的基于惯性感知的视频防抖系统，其特征在于，所述相机运动估计模块进行的相机旋转估计，以50-200Hz的频率采集陀螺仪数据，获取设备的角速度数据，对采集到的角速度数据通过积分得到设备的旋转；然后基于设备局部坐标和相机坐标系之间的转换，根据设备的旋转推导出相机的旋转，其中旋转使用旋转矩阵来表示，记为R。
3.根据权利要求1所述的基于惯性感知的视频防抖系统，其特征在于，所述生成一个新的视频帧具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
4.一种基于惯性感知的视频防抖系统的工作方法，其特征在于，其包括以下步骤：
1)以每秒20-30帧的频率拍摄视频，并在视频拍摄的过程中，以50-200Hz的频率来采集陀螺仪数据；
2)对已拍摄视频的每一帧进行特征点提取，并使用采集到的陀螺仪数据来计算相机的旋转；
3)在相邻视频帧之间进行特征点匹配，并使用匹配的特征点对计算相机的平移，得到原始相机运动轨迹；
4)对上述原始相机运动轨迹进行平滑，得到平滑的相机运动轨迹；
5)根据原始相机运动轨迹和平滑的相机运动轨迹之间的映射关系，生成一个新的视频帧，即稳定视频帧；
6)将生成的稳定视频帧依次写入文件，得到稳定的视频；
进行相机平移估计，在相邻视频帧之间追踪特征点，并使用相邻帧之间匹配的特征点对的坐标变化来计算相机的平移；
所述相机平移估计的计算平移方法为：
a.对于视频的每个图像帧，提取ORB特征点，然后在相邻视频帧之间，记为(Ii，Ii+1)，通过特征点匹配来得到匹配的特征点对，记为(Pj，i，Pj，i+1)，其表示同一个3D目标点Pj分别在相邻视频帧Ii和Ii+1上的投影点；
b.对于匹配的特征点对(Pj，i，Pj，i+1)，特征点Pj，i和Pj，i+1之间的坐标满足对极约束关系；对极约束的几何意义是Pj，Pj，i，Pj，i+1三点共面，并且包含了相机的旋转和平移，即，Pj，i+1K-T[Ti，i+1]×Ri，i+1K-1Pj，i＝0；其中，Pj，i+1和Pj，i分别表示对应特征点的像素坐标，通过特征点的提取和匹配得到；K表示相机的内参数矩阵，通过预先的相机标定工具计算得到；Ri，i+1表示相邻视频帧之间的相对旋转；Ti，i+1表示相邻视频帧之间的相对平移；
c.通过相机旋转估计，计算得到相对旋转Ri，i+1，并将计算得到的Ri，i+1代入到对极约束等式中，此时该等式中唯一的未知项是Ti，i+1，其中有3个未知参数，即
Figure FDA0002666660360000021
分别表示在x轴、y轴及z轴上的平移；
d.使用多个匹配的特征点对来构建方程组，该方程组由多个对极变换等式构成；由于有3个未知参数，因此要求等式的数量大于等于3，即需要3个以上的特征点对；然后通过最小二乘法求解该方程组，计算得到
Figure FDA0002666660360000022
这三个参数，即计算得到了相邻视频帧之间的相对平移Ti，i+1；
所述的步骤4)中对原始相机运动轨迹进行平滑的方法为：
41)相机平移平滑，相机平移由一个三维向量表示，有三个维度，对三个维度上的平移序列分别采用低通滤波器进行平滑；
42)相机旋转平滑，相机旋转由一个3×3的旋转矩阵进行表示，将3×3的旋转矩阵转换为对应的3×1的欧拉角，然后对3个独立的欧拉角序列分别采用低通滤波器进行平滑，最后将平滑后的欧拉角转换为对应的旋转矩阵形式。
5.根据权利要求4所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述的步骤2)中的特征点提取，通过多线程并行技术被加速处理；具体为：将视频帧沿水平方向分为四块，然后使用四个线程来并行地对每一分块进行特征点提取，降低特征点提取的时延。
6.根据权利要求4所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述步骤5)具体为：将原始视频帧中的每一个像素映射到其所在稳定视频帧中对应的像素位置。
7.根据权利要求4所述的基于惯性感知的视频防抖系统的工作方法，其特征在于，所述步骤2)、步骤3至5)、步骤6)分别用单独的线程来并行处理；具体地，使用三个线程来并行地提取特征点和估计相机旋转、处理原始视频帧来得到稳定视频帧、以及将稳定视频帧写入文件；通过多线程并行处理，降低视频防抖的处理时间，实现实时的视频防抖系统。
CN201910367117.6A 2019-05-05 2019-05-05 一种基于惯性感知的视频防抖系统及其工作方法 Active CN110139031B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910367117.6A CN110139031B (zh) 2019-05-05 2019-05-05 一种基于惯性感知的视频防抖系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910367117.6A CN110139031B (zh) 2019-05-05 2019-05-05 一种基于惯性感知的视频防抖系统及其工作方法

Publications (2)

Publication Number Publication Date
CN110139031A CN110139031A (zh) 2019-08-16
CN110139031B true CN110139031B (zh) 2020-11-06

Family

ID=67576160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910367117.6A Active CN110139031B (zh) 2019-05-05 2019-05-05 一种基于惯性感知的视频防抖系统及其工作方法

Country Status (1)

Country Link
CN (1) CN110139031B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111314604B (zh) * 2020-02-19 2021-08-31 Oppo广东移动通信有限公司 视频防抖方法和装置、电子设备、计算机可读存储介质
CN111405187A (zh) * 2020-04-16 2020-07-10 青岛浩海网络科技股份有限公司 用于监控器材的图像防抖方法、系统、设备和存储介质
CN112702528B (zh) * 2020-12-28 2022-05-31 维沃移动通信有限公司 视频防抖方法、装置及电子设备
CN114979456B (zh) * 2021-02-26 2023-06-30 影石创新科技股份有限公司 视频数据的防抖处理方法、装置、计算机设备和存储介质
CN115209030B (zh) * 2021-04-08 2024-02-27 北京字跳网络技术有限公司 视频防抖处理方法、装置、电子设备和存储介质
CN113660420B (zh) * 2021-08-16 2023-06-02 维沃移动通信有限公司 视频帧处理方法和视频帧处理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171728A (zh) * 2017-12-25 2018-06-15 清华大学 基于混合相机系统的无标记运动物体姿态恢复方法及装置
CN108259709A (zh) * 2018-01-19 2018-07-06 长沙全度影像科技有限公司 一种用于子弹时间拍摄的视频图像防抖方法及系统
CN109618091A (zh) * 2018-10-23 2019-04-12 天津天地伟业信息系统集成有限公司 融合陀螺仪的视频防抖方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8212880B2 (en) * 2007-12-20 2012-07-03 Utah State University Research Foundation Three-axis image stabilization system
CN102103756B (zh) * 2009-12-18 2012-10-03 华为技术有限公司 支持姿态偏转的人脸数字图像漫画夸张方法、装置及系统
CN101877140A (zh) * 2009-12-18 2010-11-03 北京邮电大学 一种基于全景图的全景虚拟游方法
CN102752484B (zh) * 2012-06-25 2015-05-20 清华大学 一种快速非全局一致图像抖动模糊去除算法及其系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171728A (zh) * 2017-12-25 2018-06-15 清华大学 基于混合相机系统的无标记运动物体姿态恢复方法及装置
CN108259709A (zh) * 2018-01-19 2018-07-06 长沙全度影像科技有限公司 一种用于子弹时间拍摄的视频图像防抖方法及系统
CN109618091A (zh) * 2018-10-23 2019-04-12 天津天地伟业信息系统集成有限公司 融合陀螺仪的视频防抖方法和装置

Also Published As

Publication number Publication date
CN110139031A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110139031B (zh) 一种基于惯性感知的视频防抖系统及其工作方法
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
US11748907B2 (en) Object pose estimation in visual data
Saurer et al. Rolling shutter stereo
US9185388B2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
CN107357286A (zh) 视觉定位导航装置及其方法
US10825249B2 (en) Method and device for blurring a virtual object in a video
US11783443B2 (en) Extraction of standardized images from a single view or multi-view capture
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
CN108519102A (zh) 一种基于二次投影的双目视觉里程计算方法
CA2870480A1 (en) Hybrid precision tracking
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN105809664B (zh) 生成三维图像的方法和装置
CN109040525B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN113223050A (zh) 一种基于ArUco码的机器人运动轨迹实时采集方法
JP4881178B2 (ja) 走行距離映像生成装置及び走行距離映像生成プログラム
CN115218906A (zh) 面向室内slam的视觉惯性融合定位方法及系统
CN113643206A (zh) 一种奶牛呼吸情况检测方法
CN116804553A (zh) 基于事件相机/imu/自然路标的里程计系统及方法
CN111145220A (zh) 一种基于视觉信息的隧道目标轨迹跟踪方法
Saner et al. High-Speed Object Tracking Using an Asynchronous Temporal Contrast Sensor.
CN114184127B (zh) 一种基于单相机无标靶的建筑物全局位移监测方法
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars
Shi et al. A Review and Comparison on Video Stabilization Alorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190816

Assignee: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd.

Assignor: NANJING University

Contract record no.: X2023320000124

Denomination of invention: A Video Anti Shaking System Based on Inertial Sensing and Its Working Method

Granted publication date: 20201106

License type: Common License

Record date: 20230323

EE01 Entry into force of recordation of patent licensing contract