CN107743190A - 视频防抖方法 - Google Patents

视频防抖方法 Download PDF

Info

Publication number
CN107743190A
CN107743190A CN201610654695.4A CN201610654695A CN107743190A CN 107743190 A CN107743190 A CN 107743190A CN 201610654695 A CN201610654695 A CN 201610654695A CN 107743190 A CN107743190 A CN 107743190A
Authority
CN
China
Prior art keywords
video
angular velocity
frame
rotation
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610654695.4A
Other languages
English (en)
Inventor
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TD Tech Ltd
TD Tech Chengdu Co Ltd
Original Assignee
TD Tech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TD Tech Ltd filed Critical TD Tech Ltd
Priority to CN201610654695.4A priority Critical patent/CN107743190A/zh
Publication of CN107743190A publication Critical patent/CN107743190A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

本申请公开了一种视频防抖方法，将陀螺仪与视频采集设备刚性连接在一起，该方法包括：陀螺仪周期输出角速度数据；根据陀螺仪的角速度数据计算视频采集设备采集的相邻两个视频帧之间的旋转角度；根据旋转角度确定补偿位移，并按照确定出的补偿位移对当前视频帧进行补偿。应用本申请，能够提高视频防抖性能。

Description

视频防抖方法
技术领域
本申请涉及图像处理技术，特别涉及一种视频防抖方法。
背景技术
手持终端在进行视频业务过程中，由于稳定性不佳，拍摄画面会引入高频的抖动，这对于视频观感、压缩编码、内容分析和细节识别都带来了不佳的体验。因此改善该问题极为有价值。
目前，对于视频防抖技术，大致分为机械防抖、光学防抖、电子防抖和数字防抖。机械防抖通过加装外置稳定设备来改善拍摄效果，机械防抖的防抖效果较好，但其防抖的物理设备通常较大，不利于随身携带，通常应用于专业的摄影领域，成本较高。光学防抖通过对摄像机镜片进行反向运动补偿实现防抖，电子防抖利用强制提高ISO，保证快门速度在安全快门范围实现图像稳定，但是光学防抖和电子防抖，也需要添加额外的设备，成本较高，目前仅用于高端设备中，并且防抖的幅度并不大，只能消除小幅度的抖动。数字防抖对采集后的图像进行数字图像处理操作，通过图像特征匹配、运动信息提取、图像变换方式实现防抖。数字防抖算法主要利用数字图像处理技术，而图像特征匹配受限于目前计算机视觉技术的发展，稳定性并不高，且运算复杂，对CPU的处理能力要求较高，这导致数字防抖算法不能应对常见场景。同时，运动过程中，图像存在扭曲变形，匹配成功率不高，关键特征可能运动出画面，导致无法完成图像匹配，从而防抖失败。
发明内容
本申请提供一种视频防抖方法，能够提高视频防抖性能，并且实现简单。
为实现上述目的，本申请采用如下技术方案：
一种视频防抖方法，将陀螺仪与视频采集设备刚性连接在一起，该视频防抖方法包括：
所述陀螺仪周期输出角速度数据；
根据陀螺仪的角速度数据计算所述视频采集设备采集的相邻两个视频帧之间的旋转角度；其中，所述相邻两个视频帧为：从视频首帧到当前视频帧为止的任意两个相邻视频帧；
根据所述旋转角度确定补偿位移，并按照所述补偿位移对当前视频帧进行补偿。
较佳地，所述根据陀螺仪的角速度数据计算所述旋转角度包括：
选择相邻的若干组角速度数据，使采集相应角速度数据的时间间隔与所述相邻两个视频帧的时间间隔存在重叠区域；
根据所述若干组角速度数据，确定用于计算旋转角度的角速度数据，并根据所述用于计算旋转角度的角速度数据Gyro'[x,y,z]，计算所述相邻两个视频帧之间x轴、y轴和z轴的旋转角度分别为θx＝Gyro'.x*(t2-t1)、θy＝Gyro'.y*(t2-t1)和θz＝Gyro'.z*(t2-t1)，其中，t1和t2为所述相邻两个视频帧的采集时间。
较佳地，所述用于计算旋转角度的角速度数据为：所述若干组角速度数据的设定组角速度数据的对应x轴、y轴和z轴数据，或者，所述若干组角速度数据中对应x轴、y轴和z轴的统计平均结果。
较佳地，所述根据旋转角度确定补偿位移包括：
根据所述相邻两个视频帧之间的旋转角度计算该相邻两个视频帧间的位移，并将视频首帧到当前视频帧为止每两个视频帧之间的位移累加求和，得到当前视频帧的补偿位移。
较佳地，所述计算相邻两个视频帧间的位移包括：
利用所述相邻两个视频帧i和j中前一视频帧i的任一指定点的坐标ai，计算所述指定点在后一视频帧j中的坐标aj＝(RT(θx,θy，θz)ai)；
根据ai和aj计算所述相邻两个视频帧i和j之间的位移；
其中，
由上述技术方案可见，本申请中，将陀螺仪与视频采集设备刚性连接在一起，陀螺仪周期输出角速度数据；根据陀螺仪的角速度数据计算视频采集设备采集的相邻两个视频帧之间的旋转角度；根据旋转角度确定补偿位移，并按照确定出的补偿位移对当前视频帧进行补偿。通过上述方式，利用陀螺仪的角速度数据进行补偿位移的计算，实现简单，性能稳定，能够提高视频防抖性能。
附图说明
图1为本申请中视频防抖方法的基本流程示意图。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。
三轴陀螺仪可以准确记录设备的三轴旋转的角速度，测量精度可以到毫秒级。目前，三轴陀螺仪已经得到广泛应用，成本低廉。由于陀螺仪能够对运动信息进行记录，因此，可以利用该记录的运动信息对图像运动进行相应的矫正补偿，就可以减缓因为旋转造成的抖动和图像扭曲，去除或者减缓视频的抖动感，使图像更平稳。基于此，本申请的基本思想在于：将陀螺仪与视频采集设备结合在一起，通过准确记录的视频采集设备的旋转运动轨迹，进行视频防抖处理。
下面对本申请中的视频防抖方法进行详细介绍。本申请的方法中，将三轴陀螺仪与视频采集设备(例如摄像设备或手机等)进行刚性连接，从而使陀螺仪能够与视频采集设备保持同步移动；然后通过图1所示的方法进行视频防抖处理。如图1所示，具体视频防抖流程包括：
步骤101，陀螺仪周期输出角速度数据。
三轴陀螺仪采集输出的角速度数据通常表示为Gryo[x,y,z,gryo time]，其中的x为陀螺仪记录的X轴的旋转角速度，y是Y轴角速度，z是Z轴角速度，gyro time表示这组角速度的采集时间点。
步骤102，根据陀螺仪的角速度数据计算视频采集设备采集的相邻两个视频帧之间的旋转角度。
利用陀螺仪输出的角速度和两个采集点之间的时间间隔可以计算出在相应时间间隔内旋转角度DeltaTheta[ΔthetaX,ΔthetaY,ΔthetaZ,gyro time]，通常计算方法可以是：
ΔthetaX＝Gyro.x*Δt，ΔthetaY＝Gyro.y*Δt，ΔthetaZ＝Gyro.z*Δt，gyrotime为陀螺仪数据Gryo[x,y,z,gryo time]的采集时间，Δt为是陀螺仪采集周期的间隔时间。
但是，相邻两个视频帧的采集时间点与陀螺仪采集数据的时间点可能并不完全一致，因此需要基于视频帧的采集时间点，对利用陀螺仪输出数据计算的旋转角度进行线性插值，计算两个视频帧之间的旋转角度。其中，相邻两个视频帧指视频首帧到当前视频帧为止的任意两个相邻视频帧。
具体地，选择相邻的若干组角速度数据，使采集相应角速度数据的时间间隔与当前计算旋转角度的相邻两个视频的时间间隔存在重叠区域；根据选择出的若干组角速度数据，确定用于计算旋转角度的角速度数据，并根据该角速度数据Gyro'[x,y,z]，计算x轴、y轴和z轴的旋转角度分别为θx＝Gyro'.x*(t2-t1)、θy＝Gyro'.y*(t2-t1)和θz＝Gyro'.z*(t2-t1)。
其中，优选地，根据选择出的若干组角速度数据确定用于计算旋转角度的角速度数据的方式可以为：1、可以将选择出的若干组角速度数据中的某个指定组角速度数据A(例如，第一组数据或最后一组数据或第N组数据，N为预先设定的自然数)直接作为用于计算旋转角度的角速度数据，即将A中的x轴数据作为Gyro'.x，将A中的y轴数据作为Gyro'.y，将A中的z轴数据作为Gyro'.z；2、可以将选择出的若干组角速度数据进行统计平均处理，将处理得到的统计平均结果作为用于计算旋转角度的角速度数据，例如，将多组角速度数据中的X轴角速度取平均值作为Gyro'.x，将多组角速度数据中的Y轴角速度取平均值作为Gyro'.y，将多组角速度数据中的Z轴角速度取平均值作为Gyro'.z。
例如，假设相邻两个视频帧的采集时间点为t1和t2，陀螺仪的相邻两组角速度数据的采集时间点为t3和t4，采集的两组角速度数据分别为Gryo[x1,y1,z1,t3]和Gryo[x2,y2,z2,t4]，t3<t1<t2<t4，那么可以利用Gryo[x1,y1,z1,t3]或Gryo[x2,y2,z2,t4]或上述两组数据的统计平均结果进行线性差值计算。当利用Gryo[x2,y2,z2,t4]计算时，视频帧n和帧n+1之间的X轴旋转角度为Gyro.x2*(t2-t1)，Y轴旋转角度为Gyro.y2*(t2-t1)，Z轴旋转角度为Gyro.z2*(t2-t1)。
按上述线性插值方式，可以得到每一个视频帧相对于上一个视频帧的旋转角度：VedioDeltaTheta[θx，θy，θz]，其中的每一个元素，就是对应视频帧相对于上一视频帧需要矫正的X，Y，Z轴的角度。
步骤103，根据步骤102计算得到的旋转角度确定补偿位移，并按照相应的补偿位移对当前视频帧进行补偿。
具体地，根据相邻两个视频帧间的旋转角度计算该相邻两个视频帧间的位移，然后将视频首帧到当前视频帧为止每两个视频帧之间的位移累加求和，得到当前视频帧的补偿位移。
下面给出一种优选的相邻两个视频帧间位移的计算方式：
对于两个相邻的视频帧i和j，利用前一视频帧i的某个指定点A的坐标ai，计算指定点A在后一视频帧j中的坐标aj，根据ai和aj计算视频帧i和j之间的位移。其中，aj＝(RT(θx，θy,θz)ai)，
(RT(θx,θy,θz)为旋转矩阵R(θx,θy,θz)的转置矩阵。在计算ai和aj之间的位移时，可以将两个点之间的三维坐标对应相减，得到x轴、y轴和z轴上的位移分别表示为deltaX、deltaY和deltaZ。
指定点A可以是视频帧i中的任一点，优选地，A为视频帧i的中心点。
从视频帧的第一帧开始到当前视频帧n为止，按照上述方式计算每两个相邻帧之间的位移，再叠加到一起求和，就可以得到当前视频帧相对于视频第一帧的位移，即 也就是当前视频帧的补偿位移。然后，根据得到的补偿位移，将当前视频帧的所有采集点进行补偿移动，可以得到防抖处理后的当前视频帧图像。其中，不考虑扭曲变形的情况下，图像中的各个采集点的变化相同，即将所有采集点的坐标补偿移动(CumDeltaX,CumDeltaY,CumDeltaZ)，就可以实现防抖处理。
至此，本申请中的视频防抖方法结束。通过上述本申请的方法进行的防抖处理，实现简单，性能稳定，能够有效改善防抖效果，提高防抖性能。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (5)

1.一种视频防抖方法，其特征在于，将陀螺仪与视频采集设备刚性连接在一起，该视频防抖方法包括：
所述陀螺仪周期输出角速度数据；
根据陀螺仪的角速度数据计算所述视频采集设备采集的相邻两个视频帧之间的旋转角度；其中，所述相邻两个视频帧为：从视频首帧到当前视频帧为止的任意两个相邻视频帧；
根据所述旋转角度确定补偿位移，并按照所述补偿位移对当前视频帧进行补偿。
2.根据权利要求1所述的方法，其特征在于，所述根据陀螺仪的角速度数据计算所述旋转角度包括：
选择相邻的若干组角速度数据，使采集相应角速度数据的时间间隔与所述相邻两个视频帧的时间间隔存在重叠区域；
根据所述若干组角速度数据，确定用于计算旋转角度的角速度数据，并根据所述用于计算旋转角度的角速度数据Gyro'[x,y,z]，计算所述相邻两个视频帧之间x轴、y轴和z轴的旋转角度分别为θx＝Gyro'.x*(t2-t1)、θy＝Gyro'.y*(t2-t1)和θz＝Gyro'.z*(t2-t1)，其中，t1和t2为所述相邻两个视频帧的采集时间。
3.根据权利要求2所述的方法，其特征在于，所述用于计算旋转角度的角速度数据为：所述若干组角速度数据的设定组角速度数据的对应x轴、y轴和z轴数据，或者，所述若干组角速度数据中对应x轴、y轴和z轴的统计平均结果。
4.根据权利要求1、2或3所述的方法，其特征在于，所述根据旋转角度确定补偿位移包括：
根据所述相邻两个视频帧之间的旋转角度计算该相邻两个视频帧间的位移，并将视频首帧到当前视频帧为止每两个视频帧之间的位移累加求和，得到当前视频帧的补偿位移。
5.根据权利要求4所述的方法，其特征在于，所述计算相邻两个视频帧间的位移包括：
利用所述相邻两个视频帧i和j中前一视频帧i的任一指定点的坐标ai，计算所述指定点在后一视频帧j中的坐标aj＝(RT(θx,θy,θz)ai)；
根据ai和aj计算所述两个相邻视频帧i和j之间的位移；
其中，
CN201610654695.4A 2016-08-10 2016-08-10 视频防抖方法 Pending CN107743190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610654695.4A CN107743190A (zh) 2016-08-10 2016-08-10 视频防抖方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610654695.4A CN107743190A (zh) 2016-08-10 2016-08-10 视频防抖方法

Publications (1)

Publication Number Publication Date
CN107743190A true CN107743190A (zh) 2018-02-27

Family

ID=61234971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610654695.4A Pending CN107743190A (zh) 2016-08-10 2016-08-10 视频防抖方法

Country Status (1)

Country Link
CN (1) CN107743190A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
CN109286833A (zh) * 2018-09-30 2019-01-29 湖南机电职业技术学院 一种应用于网络直播中的信息处理方法及系统
CN111741212A (zh) * 2019-03-25 2020-10-02 佳能株式会社 配备图像稳定机构的摄像设备的振动检测设备和摄像设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957869A (zh) * 2011-09-26 2013-03-06 斯凯普公司 视频稳定
CN103414844A (zh) * 2013-08-27 2013-11-27 北京奇艺世纪科技有限公司 视频抖动修正方法及装置
US20150033821A1 (en) * 2013-07-30 2015-02-05 Stmicroelectronics S.R.L. Method and system for gyroscope real-time calibration
CN104469251A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 图像采集方法及电子设备
CN204329976U (zh) * 2015-01-14 2015-05-13 上海物景智能科技有限公司 一种机器人航向测定装置及包含该装置的机器人
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102957869A (zh) * 2011-09-26 2013-03-06 斯凯普公司 视频稳定
US20150033821A1 (en) * 2013-07-30 2015-02-05 Stmicroelectronics S.R.L. Method and system for gyroscope real-time calibration
CN103414844A (zh) * 2013-08-27 2013-11-27 北京奇艺世纪科技有限公司 视频抖动修正方法及装置
CN104469251A (zh) * 2013-09-23 2015-03-25 联想(北京)有限公司 图像采集方法及电子设备
CN204329976U (zh) * 2015-01-14 2015-05-13 上海物景智能科技有限公司 一种机器人航向测定装置及包含该装置的机器人
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108600616A (zh) * 2018-04-04 2018-09-28 深圳市极酷威视科技有限公司 一种基于rtp帧同步的视频防抖系统和视频获取器材
CN109286833A (zh) * 2018-09-30 2019-01-29 湖南机电职业技术学院 一种应用于网络直播中的信息处理方法及系统
CN111741212A (zh) * 2019-03-25 2020-10-02 佳能株式会社 配备图像稳定机构的摄像设备的振动检测设备和摄像设备
CN111741212B (zh) * 2019-03-25 2022-05-10 佳能株式会社 配备图像稳定机构的摄像设备的振动检测设备和摄像设备

Similar Documents

Publication Publication Date Title
US11285613B2 (en) Robot vision image feature extraction method and apparatus and robot using the same
CN104902142B (zh) 一种移动终端视频的电子稳像方法
CN107801014B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN108648215B (zh) 基于imu的slam运动模糊位姿跟踪算法
Tanskanen et al. Live metric 3D reconstruction on mobile phones
CN102714696B (zh) 图像处理装置、图像处理方法及摄影装置
CN104796596B (zh) 一种信息处理方法及电子设备
CN107255476A (zh) 一种基于惯性数据和视觉特征的室内定位方法和装置
CN108702450B (zh) 用于图像捕获设备的相机模块
CN106027852A (zh) 一种用于微纳卫星的视频稳像方法
CN105681674A (zh) 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN105611169A (zh) 图像获取方法和电子设备
CN106447766A (zh) 一种基于移动设备单目相机的场景重建方法及装置
CN106488116A (zh) 摄像装置
US10506163B2 (en) Systems and methods for synchronizing sensor data
CN107743190A (zh) 视频防抖方法
CN106791360A (zh) 生成全景视频的方法及装置
WO2016187411A1 (en) Systems and methods for storing images and sensor data
CN103733131B (zh) 抖动量检测装置、摄像装置和抖动量检测方法
CN109618103A (zh) 无人机图传视频的防抖方法及无人机
JP7027064B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
CN107370941A (zh) 一种信息处理方法及电子设备
CN107942090B (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
CN109922258A (zh) 车载相机的电子稳像方法、装置及可读存储介质
CN106488081A (zh) 视频稳像系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180227