CN110678898B - 一种视频防抖方法及移动设备 - Google Patents
一种视频防抖方法及移动设备 Download PDFInfo
- Publication number
- CN110678898B CN110678898B CN201780091696.5A CN201780091696A CN110678898B CN 110678898 B CN110678898 B CN 110678898B CN 201780091696 A CN201780091696 A CN 201780091696A CN 110678898 B CN110678898 B CN 110678898B
- Authority
- CN
- China
- Prior art keywords
- video frame
- time
- frame
- motion track
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 230000033001 locomotion Effects 0.000 claims abstract description 203
- 239000011159 matrix material Substances 0.000 claims abstract description 30
- 238000009499 grossing Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 11
- 230000000903 blocking effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 5
- 239000004576 sand Substances 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 229920000535 Tan II Polymers 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
公开了一种视频防抖方法，包括：获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；对于所拍得的每一视频帧：计算视频帧对应的三轴旋转角度；根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理，得到该视频帧的运动轨迹；对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。一并公开了相应地移动设备。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种视频防抖方法及移动设备。
背景技术
随着科学技术的飞速发展，各种移动设备不断地丰富并方便了大众生活，因其具有方便快捷、节省资源等优势，已经成为人们生活中不可或缺的一部分。
其中，智能手机、平板电脑等具有摄像头的移动设备使得用户可以随时拍摄自身想要的视频图像，增加用户体验。但是，在视频拍摄过程中，由于环境因素或其他因素，例如，在行走、行车过程中拍摄时，由于设备跟随移动造成拍摄目标无规律的抖动，导致所拍摄的视频图像发生抖动现象，进而降低用户的观感。
可见，为提高拍摄效果，需要对获取到的视频进行防抖处理。现有的视频防抖技术主要有两种：一是利用运动传感器检测相机的运动矢量再转换为图像的运动量从而进行防抖；另一种是直接利用数字图像处理技术，通过确定图像间的运动量而进行补偿达到防抖的目的。基于数字图像处理技术的防抖方法依赖于图像的质量，容易出现运动量估计误差大的情况，并且在大幅度快速移动、拍摄环境昏暗等情况下防抖效果不理想。
因此，如何有效降低由于视频拍摄过程中移动设备不稳定所造成的视频抖动是一个亟待解决的问题。
发明内容
为此，本发明提供了一种视频防抖方法及移动设备，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种视频防抖方法，该方法用于对通过移动设备采集的视频进行防抖处理，该方法包括步骤：获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；；对于所拍得的每一视频帧：计算视频帧对应的三轴旋转角度；根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理，得到该视频帧的运动轨迹；对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；以及根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。
可选地，在根据本发明的视频防抖方法中，获取移动设备在拍摄过程中陀螺仪的三轴角速度数据的步骤还包括：将所获取的陀螺仪三轴角速度值约束到预定区间内；以及利用预定的核函数对当前时刻陀螺仪的对应轴角速度及其前后时间段内多个陀螺仪的对应轴角速度进行平滑处理，得到该陀螺仪的三轴角速度。
可选地，在根据本发明的视频防抖方法中，根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度的步骤还包括：以陀螺仪相邻时间间隔内的时间戳信息确定表征该三轴旋转角度的时间戳信息，作为第一时间。
可选地，在根据本发明的视频防抖方法中，获取视频帧图像数据的同时，还获取了视频帧对应的系统时间，作为第二时间。
可选地，在根据本发明的视频防抖方法中，计算视频帧对应的三轴旋转角度的步骤包括：利用视频帧的第二时间、根据第一时间与三轴旋转角度的对应关系匹配到该视频帧的三轴旋转角度。
可选地，在根据本发明的视频防抖方法中，还包括预先对第二时间进行校正的步骤：根据视频帧的曝光时间对视频帧的第二时间进行校正，得到校正后的第二时间。
可选地，在根据本发明的视频防抖方法中，校正后的第二时间为：
frame_time2＝frame_time1+base_val+(0.03-exp_Time)×0.5
其中，frame_time1为视频帧的第二时间，frame_time2为校正后的视频帧的第二时间，base_val为基准校正值，exp_Time为视频帧的曝光时间，当无法获取视频帧的曝光时间时，exp_Time为0。
可选地，在根据本发明的视频防抖方法中，根据第一时间与三轴旋转角度的对应关系匹配到当前视频帧的三轴旋转角度的步骤包括：从第一时间中查找是否存在校正后的第二时间，若存在则将所查找到的第一时间对应的三轴旋转角度作为该视频帧的三轴旋转角度；以及若不存在则按照预定条件计算出该视频帧的三轴旋转角度。
可选地，在根据本发明的视频防抖方法中，按照预定条件计算该视频帧的三轴旋转角度的步骤包括：从第一时间中取出与校正后的第二时间相邻的前后两个时间；以及根据所取出的两个时间及其对应的三轴旋转角度计算该视频帧的三轴旋转角度。
可选地，在根据本发明的视频防抖方法中，视频帧的三轴旋转角度θi为：
其中，i＝x，y，z分别代表x，y，z三个坐标轴，gyro(k)_time和gyro(k+1)_time表示与校正后第二时间frame_time2相邻的前后两个时间，gyro(k)_θi和gyro(k+1)_θi表示这两个时间对应的三轴旋转角度。
可选地，在根据本发明的视频防抖方法中，利用张正友标定算法对移动设备的相机进行标定，并求得相机焦距。
可选地，在根据本发明的视频防抖方法中，第一运动轨迹H＝KR，
其中，K为相机标定矩阵，R为旋转矩阵，
其中，θx，θy，θz分别表示x，y，z三轴的旋转角度。
可选地，在根据本发明的视频防抖方法中，对第一运动轨迹进行平滑处理包括：
其中，t为当前图像帧，r为与t相邻的前/后参考帧。H(t)表示第t帧的运动轨迹，H(r)表示第r帧的运动轨迹，P(t)表示经过轨迹平滑后第t帧的运动轨迹。Gt表示帧序列层面上第r帧对于第t帧的权重，Gm表示在运动轨迹层面上第r帧对于第t帧的权重。
可选地，在根据本发明的视频防抖方法中，对该视频帧的第一运动轨迹进行平滑处理得到该视频帧的运动轨迹的步骤包括：对第一运动轨迹进行平滑处理得到第二运动轨迹、调整第二运动轨迹得到该视频帧的运动轨迹的步骤，即：计算第一运动轨迹和第二运动轨迹的差异值；若差异值大于阈值则根据该差异值对第二运动轨迹进行调整，直到差异值小于阈值，将调整后的第二运动轨迹作为该视频帧的运动轨迹；以及若差异值小于阈值则将第二运动轨迹作为该视频帧的运动轨迹。
可选地，在根据本发明的视频防抖方法中，计算第一运动轨迹和第二运动轨迹的差异值的步骤包括：根据该视频帧的图像数据定义有效区域的四个角点的初始坐标；计算第一运动轨迹下四个角点的第一坐标集合；计算第二运动轨迹下四个角点的第二坐标集合；以及计算第一坐标集合和第二坐标集合分别确定的矩形区域的面积差值作为这两个运动轨迹的差异值。
可选地，在根据本发明的视频防抖方法中，第一运动轨迹下角点的第一坐标Xt＝HtX，第二运动轨迹下角点的第二坐标Xs＝HsX，其中，Ht为第一运动轨迹的单应性矩阵，Hs为第二运动轨迹的单应性矩阵，X为角点的初始坐标。
可选地，在根据本发明的视频防抖方法中，差异值diff＝Areat-Areas，
其中，Areat和Areas代表第一坐标集合和第二坐标集合所分别确定的矩形区域的面积。
可选地，在根据本发明的视频防抖方法中，根据该差异值对第二运动轨迹进行调整的步骤包括：根据该差异值计算插值比；以及根据插值比以线性插值方法对第二运动轨迹进行调整。
可选地，在根据本发明的视频防抖方法中，插值比radio＝Areat/diff。
可选地，在根据本发明的视频防抖方法中，阈值为：
threshold＝cos(a tan 2(min(width，height)/2，f))，
其中，width和height分别代表视频帧的宽和高，f为标定的相机焦距。
可选地，在根据本发明的视频防抖方法中，对视频帧进行分块处理的步骤包括：根据卷帘式快门的特点、按从上到下的顺序对视频帧进行分块。
可选地，在根据本发明的视频防抖方法中，根据视频帧的运动轨迹计算各分块运动轨迹的步骤包括：根据快门时间计算各分块的系统时间；根据各分块的系统时间计算出各分块对应的三轴旋转角度；根据各分块的三轴旋转角度和相机标定矩阵计算各分块的初始运动轨迹；以及结合各分块的初始运动轨迹和该视频帧的运动轨迹计算得到各分块的运动轨迹。
可选地，在根据本发明的视频防抖方法中，各分块的系统时间定义为：
t(y)＝frame_time2+ts*y/height，
其中，y表示各分块的行索引号，ts表示快门时间。
可选地，在根据本发明的视频防抖方法中，各分块的运动轨迹为：
H′(y)＝H′*H(y)-1，
其中，H′为视频帧的运动轨迹，H(y)为各分块的初始运动轨迹。
可选地，在根据本发明的视频防抖方法中，预定区间为[-4，4]。
根据本发明的又一方面，提供了一种移动设备，包括：相机子系统，适于采集视频图像数据；陀螺仪；一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序存储在存储器中并被配置为由所述一个或多个处理器执行，一个或多个程序包括用于执行如上所述方法中的任一方法的指令。
根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当移动设备执行时，使得移动设备执行如上所述的方法中的任一方法。
根据本发明的视频防抖方案，利用陀螺仪得到移动设备在视频采集过程中的三轴旋转角度、进而获取该移动设备某一帧视频的运动轨迹；再利用卷帘式快门的特点对视频帧进行分块操作、并根据分块的运动轨迹对每个分块进行变换，最终输出稳定的视频。本方案不仅算法简单、运算速度快，而且不依赖于视频图像本身的质量，特别适用于拍摄的视频图像本身质量不高的场景，例如，对室内低光环境下拍摄的视频进行防抖处理。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的移动设备100的构造示意图；以及
图2示出了根据本发明一个实施例的视频防抖方法200的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例的移动设备100的构造示意图。参照图1，移动设备100包括：存储器接口102、一个或多个数据处理器、图像处理器和/或中央处理单元104，以及外围接口106。存储器接口102、一个或多个处理器104和/或外围接口106既可以是分立元件，也可以集成在一个或多个集成电路中。在移动设备100中，各种元件可以通过一条或多条通信总线或信号线来耦合。传感器、设备和子系统可以耦合到外围接口106，以便帮助实现多种功能。例如，运动传感器110、光传感器112和距离传感器114可以耦合到外围接口106，以方便定向、照明和测距等功能。其他传感器116同样可以与外围接口106相连，例如定位系统(例如GPS接收机)、温度传感器、生物测定传感器或其他感测设备，由此可以帮助实施相关的功能。根据本发明的实现方式，其他传感器116中包含至少一个角速度传感器，即，陀螺仪，不同于加速度传感器(G-sensor)，陀螺仪主要用于测量移动设备100在发生偏转、倾斜时的转动角速度。根据本发明的实施例，陀螺仪布置为三轴陀螺仪，可同时测定三轴的旋转角速度数据。
相机子系统120和光学传感器122可以用于方便诸如记录照片和视频剪辑的相机功能的实现，其中相机子系统和光学传感器例如可以是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光学传感器。在本发明中，对于相机子系统120采集视频图像，经后期处理后得到防抖效果良好的视频数据。
可以通过一个或多个无线通信子系统124来帮助实现通信功能，其中无线通信子系统可以包括射频接收机和发射机和/或光(例如红外)接收机和发射机。无线通信子系统124的特定设计和实施方式可以取决于移动设备100所支持的一个或多个通信网络。例如，移动设备100可以包括被设计成支持GSM网络、GPRS网络、EDGE网络、Wi-Fi或WiMax网络以及BlueboothTM网络的通信子系统124。音频子系统126可以与扬声器128以及麦克风130相耦合，以便帮助实施启用语音的功能，例如语音识别、语音复制、数字记录和电话功能。
I/O子系统140可以包括触摸屏控制器142和/或一个或多个其他输入控制器144。触摸屏控制器142可以耦合到触摸屏146。举例来说，该触摸屏146和触摸屏控制器142可以使用多种触摸感测技术中的任何一种来检测与之进行的接触和移动或是暂停，其中感测技术包括但不局限于电容性、电阻性、红外和表面声波技术。一个或多个其他输入控制器144可以耦合到其他输入/控制设备148，例如一个或多个按钮、摇杆开关、拇指旋轮、红外端口、USB端口、和/或指示笔之类的指点设备。一个或多个按钮(未显示)可以包括用于控制扬声器128和/或麦克风130音量的向上/向下按钮。
存储器接口102可以与存储器150相耦合。该存储器150可以包括高速随机存取存储器和/或非易失性存储器，例如一个或多个磁盘存储设备，一个或多个光学存储设备，和/或闪存存储器(例如NAND，NOR)。存储器150可以存储操作系统152，例如Android、IOS或是Windows Phone之类的操作系统。该操作系统152可以包括用于处理基本系统服务以及执行依赖于硬件的任务的指令。存储器150还可以存储应用154。这些应用在操作时，会从存储器150加载到处理器104上，并在已经由处理器104运行的操作系统之上运行，并利用操作系统以及底层硬件提供的接口实现各种用户期望的功能，如即时通信、网页浏览、图片管理等。应用可以是独立于操作系统提供的，也可以是操作系统自带的。在一些实现方式中，应用154可以是一个或多个程序。
本发明提供了视频防抖方案，通过在移动设备100的存储器150中存储相应的一个或多个程序来实现上述功能。需要说明的是，本发明所指的移动设备100可以是具有上述构造的手机、平板、相机等。
图2示出了根据本发明一个实施例的视频防抖方法200的流程图。如图2所示，该方法始于步骤S210，获取移动设备100在拍摄过程中陀螺仪的三轴角速度数据(设为wx、wy、wz)和所拍得的视频帧图像数据。
根据本发明的一个实施例，对所获取到的陀螺仪的三轴角速度数据还要进行校正和平滑处理。
在校正处理时，根据相机方向对陀螺仪三轴角速度进行校正。具体地，根据移动设备100的方向(横屏或竖屏)来调整三轴角速度，最终调整为wx代表俯仰角(pitch)的角速度，wy代表航向角(yaw)的角速度，wz代表横滚角(roll)的角速度。也就是说，将所获取的陀螺仪三轴角速度值约束到预定区间内。一般地，根据经验值，预定区间取[-4，4]之间。
然后，在进行平滑处理时，利用预定的核函数对当前时刻陀螺仪的对应轴角速度及其前后相邻时间段内多个陀螺仪的对应轴角速度(即，在一定时间间隔内采集到的陀螺仪的对应轴角速度)进行平滑处理，以第α时刻陀螺仪某个轴的角速度dataα为例，设其相邻时间间隔内的多个陀螺仪的对应轴角速度为：
{dataα-4，dataα-3，dataα-2，dataα-1，dataα，dataα+1，dataα+2，dataα+3}，
根据预定的核函数[Kernel0，Kernel1，Kernel2，Kernel3，Kernel4，Kernel5，Kernel6，Kernel7]对其进行平滑计算，输出的三轴角速度值作为该陀螺仪的三轴角速度。
根据本发明的一个实施方式，在获取视频帧图像数据的同时，还获取了每一视频帧对应的系统时间作为第二时间，记作frame_time1。
随后在步骤S220中，根据相邻时间间隔内陀螺仪的轴角速度和该时间间隔计算得到对应轴的旋转角度。可选地，以该时间间隔内陀螺仪的对应轴角速度均值做匀速运动计算得到各轴旋转角度。
同时，以陀螺仪相邻时间间隔内的时间戳信息确定表征该三轴旋转角度的时间戳信息，作为第一时间。可选地，第一时间取相邻时间间隔内前后两个时间戳的均值。
这样，在拍摄视频过程中，对每一个计算出的三轴旋转角度，都有一个相应的第一时间与之对应。
接下来的步骤中，要对所拍得的视频中的每一视频帧(即，图像帧，为统一描述，下文中所指的视频帧都是指拍摄视频中的图像帧)进行防抖处理。
在步骤S230中，计算当前视频帧对应的三轴旋转角度。在本步骤中，需要利用当前视频帧的第二时间(经步骤S210求得)、根据第一时间与三轴旋转角度的对应关系(经步骤S220求得)匹配到该视频帧的三轴旋转角度。
根据本发明的实施例，在计算视频帧的三轴旋转角度前，需要根据视频帧的曝光时间对其第二时间进行校正，得到校正后的第二时间frame_time2为：
frame_time2＝frame_time1+base_val+(0.03-exp_Time)×0.5
其中，frame_time1为视频帧的第二时间(即，步骤S210所得)，frame_time2为校正后的视频帧的第二时间，base_val为基准校正值，exp_Time为视频帧的曝光时间。特别地，当无法获取视频帧的曝光时间时，exp_Time设为0。
在得到校正后的第二时间后，从第一时间中查找是否存在该校正后的第二时间，若存在则将所查找到的第一时间对应的三轴旋转角度作为该视频帧的三轴旋转角度。
若没有查找到该校正后的第二时间，则按照预定条件计算出该视频帧的三轴旋转角度。具体地，从第一时间中取出与校正后的第二时间相邻的前后两个时间，然后根据所取出的两个时间及其对应的三轴旋转角度计算该视频帧的三轴旋转角度θi，如：
其中，i＝x，y，z分别代表x，y，z三个坐标轴，gyro(k)_time和gyro(k+1)_time表示与校正后第二时间frame_time2相邻的前后两个时间，gyro(k)_θi和gyro(k+1)_θi表示这两个时间对应的三轴旋转角度。
依照本步骤，可以计算出每一视频帧对应的三轴旋转角度。
随后在步骤S240中，根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹。根据本发明的实施方式，假定相机进行纯旋转运动，采用如下方法计算第一运动轨迹H：
H＝KR，
其中，K为相机标定矩阵，R为旋转矩阵，且
其中，θx，θy，θz分别表示x，y，z三轴的旋转角度。
可选地，利用张正友标定算法对移动设备100的相机进行标定，并求得相机焦距，记作f。鉴于张正友标定算法是本领域技术人员普遍了解的一种算法，且不是本发明的重点，故此处不再展开描述。
随后在步骤S250中，根据与视频帧相邻的至少一个参考帧的运动轨迹的变换趋势及参考帧距离当前视频帧的时空距离，对该视频帧的第一运动轨迹进行平滑处理(也就是说，参考当前某一视频帧前后多帧的运动轨迹，对当前的这一视频帧进行平滑处理)，拟合得到该视频帧的第二运动轨迹，而后，调整第二运动轨迹得到该视频帧的运动轨迹。
可选地，对第一运动轨迹进行平滑处理包括：
其中，t为当前图像帧，r为与t相邻的前/后参考帧。H(t)表示第t帧的运动轨迹，H(r)表示第r帧的运动轨迹，P(t)表示经过轨迹平滑后第t帧的运动轨迹。Gt表示帧序列层面上第r帧对于第t帧的权重，Gm表示在运动轨迹层面上第r帧对于第t帧的权重，Gt使得距离当前视频帧越近的参考帧具有越大的权重，Gm确保两个视频帧轨迹的变化。更详细的内容，可参见论文“MeshFlow：Minimum Latency Online Video Stabilization，S Liu，P Tan，LYuan，et al，Springer International Publishing，2016”，由于篇幅有限，此处不再展开赘述。
接着，根据第一运动轨迹和第二运动轨迹比较差异，若差异产生黑边效应则进行黑边抑制操作，即，调整第二运动轨迹。判断是否产生黑边效应，也就是计算第一运动轨迹和第二运动轨迹的差异值、比较该差异值是否在阈值范围内。
更具体地，计算第一运动轨迹和第二运动轨迹的差异值的流程为：
a.根据该视频帧的图像数据定义有效区域的四个角点的初始坐标。
b.计算第一运动轨迹下四个角点各自的第一坐标，作为第一坐标集合。假设四个角点中其中一个角点的初始坐标为X(x，y)，那么，第一运动轨迹下该角点的第一坐标Xt＝HtX，其中，Ht为第一运动轨迹的单应性矩阵。
换种表达方式，第一运动轨迹下角点坐标Xt(x′，y′)的计算公式为：
其中，ht1、ht2、ht3表示单应性矩阵Ht的第1、2、3行，T表示矩阵的转置。
同理，可计算出4个角点各自的第一坐标，得到第一坐标集合。
c.计算第二运动轨迹下所述四个角点各自的第二坐标，作为第二坐标集合。与上述步骤b中的计算方式相同，第二运动轨迹下某一角点的第二坐标Xs＝HsX，其中，Hs为第二运动轨迹的单应性矩阵。即，第一运动轨迹下角点坐标Xs(x″，y″)的计算公式为：
其中，hs1、hs2、hs3表示单应性矩阵Hs的第1、2、3行，T表示矩阵的转置。
同样地，据此计算出4个角点各自的第二坐标，得到第二坐标集合。
d.根据第一坐标集合中的4个角点可以确定出一个矩形，同样，根据第二坐标集合中的4个角点也可以确定出一个矩形，计算这两个矩形区域的面积差值作为这两个运动轨迹的差异值，即，
差异值diff＝Areat-Areas，
其中，Areat和Areas代表第一坐标集合和第二坐标集合所分别确定的矩形区域的面积。
至此，通过上述步骤a、b、c、d即可计算出第一运动轨迹和第二运动轨迹的差异值，接下来就是比较该差异值与阈值的大小，以确定是否产生黑边效应。
根据本发明的一个实施例，阈值根据标定得到的相机焦距计算得出：
threshold＝cos(a tan 2(min(width，height)/2，f))，
其中，width和height分别代表视频帧的宽和高，f为标定的相机焦距，f在步骤S240中已经得出。
若比较得出差异值大于阈值，则根据该差异值对第二运动轨迹进行调整，直到差异值小于阈值(即，黑边抑制操作)，将调整后的第二运动轨迹作为该视频帧的运动轨迹；反之，若比较得出差异值小于阈值，则将第二运动轨迹作为该视频帧的运动轨迹。
具体地，根据差异值对第二运动轨迹进行调整的步骤可以分为两步：先是根据该差异值计算插值比，可选地，插值比定义为radio＝Areat/diff。
然后再根据计算出的插值比radio，以线性插值的方法按radio将第二运动轨迹向第一运动轨迹靠近。
随后在步骤S260中，对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹。根据本发明的实施例，根据卷帘式快门的特点、按从上到下的顺序对视频帧进行分块，即，按行对视频帧进行分块。
根据一种实现方式，根据视频帧的运动轨迹计算各分块运动轨迹的步骤包括：
1)根据快门时间计算各分块的系统时间。例如，定义各分块的系统时间为：
t(j)＝frame_time2+ts*j/height，
其中，j表示各分块的行索引号，ts表示快门时间，frame_time2已经在步骤S230中计算得出。
2)根据各分块的系统时间，即可在累计记录的陀螺仪的三轴旋转角度(上述步骤S220所得)中插值出各分块对应的三轴旋转角度，可选地，以线性插值的方式插值出各块对应的三轴旋转角度，其中，线性比例是基于各分块的系统时间和对应的陀螺仪的系统时间计算得到。
3)根据各分块的三轴旋转角度和相机标定矩阵计算各分块的初始运动轨迹，计算各分块初始运动轨迹H(j)的方法同步骤S240，此处不再赘述。
4)结合各分块的初始运动轨迹H(j)和该视频帧的运动轨迹(经步骤S250求得)计算得到各分块的运动轨迹，定义各分块的运动轨迹为：
H′(j)＝H′*H(j)-1、
其中，H′为视频帧的运动轨迹，H(j)为各分块的初始运动轨迹。
至此，根据视频帧最终的运动轨迹确定出了该视频帧各分块最终的运动轨迹。
随后在步骤S270中，根据各分块的运动轨迹H′(j)对各分块内图像数据进行调整，输出稳定的视频帧。可选地，根据得到的各分块的运动轨迹对该分块的图像像素进行仿射或者投影变换，输出防抖后的帧数据。
综上，本视频防抖方案利用陀螺仪得到移动设备100在视频采集过程中的三轴旋转角度、进而获取该移动设备某一视频帧的运动轨迹，根据轨迹平滑算法和抑制黑边操作获取防抖后的视频帧的运动轨迹；再利用卷帘式快门的特点对视频帧进行分块操作、并根据分块的运动轨迹对每个分块进行变换，最终输出稳定的视频。
根据本发明的视频防抖方案，不仅算法简单、运算速度快，而且不依赖于视频图像本身的质量，特别适用于拍摄的视频图像本身质量不高的场景，例如，对室内低光环境下拍摄的视频进行防抖处理。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的视频防抖方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明还公开了：
A9、如A8所述的方法，其中，按照预定条件计算该视频帧的三轴旋转角度的步骤包括：从第一时间中取出与校正后的第二时间相邻的前后两个时间；以及根据所取出的两个时间及其对应的三轴旋转角度计算该视频帧的三轴旋转角度。
A10、如A9所述的方法，其中，视频帧的三轴旋转角度θi为：
其中，i＝x，y，z分别代表x，y，z三个坐标轴，gyro(k)_time和gyro(k+1)_time表示与校正后第二时间frame_time2相邻的前后两个时间，gyro(k)_θi和gyro(k+1)_θi表示这两个时间对应的三轴旋转角度。
A11、如A1-10中任一项所述的方法，其中，根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹的步骤还包括：利用张正友标定算法对移动设备的相机进行标定，并求得相机焦距。
A12、如A11所述的方法，其中，第一运动轨迹H＝KR，
其中，K为相机标定矩阵，R为旋转矩阵，
其中，θx，θy，θz分别表示x，y，z三轴的旋转角度。
A13、如A1-12中任一项所述的方法，其中对第一运动轨迹进行平滑处理包括：
其中，t为当前图像帧，r为与t相邻的前/后参考帧。H(t)表示第t帧的运动轨迹，H(r)表示第r帧的运动轨迹，P(t)表示经过轨迹平滑后第t帧的运动轨迹。Gt表示帧序列层面上第r帧对于第t帧的权重，Gm表示在运动轨迹层面上第r帧对于第t帧的权重。
A14、如A1-13中任一项所述的方法，其中，对该视频帧的第一运动轨迹进行平滑处理得到该视频帧的运动轨迹的步骤包括：对第一运动轨迹进行平滑处理得到第二运动轨迹、调整第二运动轨迹得到该视频帧的运动轨迹的步骤：计算第一运动轨迹和第二运动轨迹的差异值；若差异值大于阈值则根据该差异值对所述第二运动轨迹进行调整，直到差异值小于阈值，将调整后的第二运动轨迹作为该视频帧的运动轨迹；以及若差异值小于阈值则将第二运动轨迹作为该视频帧的运动轨迹。
A15、如A14所述的方法，其中计算第一运动轨迹和第二运动轨迹的差异值的步骤包括：根据该视频帧的图像数据定义有效区域的四个角点的初始坐标；计算第一运动轨迹下所述四个角点的第一坐标集合；计算第二运动轨迹下四个角点的第二坐标集合；以及计算第一坐标集合和第二坐标集合分别确定的矩形区域的面积差值作为这两个运动轨迹的差异值。
A16、如A15所述的方法，其中，第一运动轨迹下角点的第一坐标Xt＝HtX，其中，Ht为第一运动轨迹的单应性矩阵，X为角点的初始坐标。
A17、如A16所述的方法，其中，第二运动轨迹下角点的第二坐标Xs＝HsX，其中，Hs为第二运动轨迹的单应性矩阵，X为角点的初始坐标。
A18、如A15-17中任一项所述的方法，其中，差异值diff＝Areat-Areas，其中，Areat和Areas代表第一坐标集合和第二坐标集合所分别确定的矩形区域的面积。
A19、如A18所述的方法，其中，根据该差异值对第二运动轨迹进行调整的步骤包括：根据该差异值计算插值比；以及根据插值比以线性插值方法对第二运动轨迹进行调整。
A20、如A19所述的方法，其中，插值比radio＝Areat/diff。
A21、如A14-20中任一项所述的方法，其中，阈值为：
threshold＝cos(a tan 2(min(width，height)/2，f))，其中，width和height分别代表视频帧的宽和高，f为标定的相机焦距。
A22、如A1-20中任一项所述的方法，其中，对视频帧进行分块处理的步骤包括：根据卷帘式快门的特点、按从上到下的顺序对视频帧进行分块。
A23、如A1-22中任一项所述的方法，其中，根据视频帧的运动轨迹计算各分块运动轨迹的步骤包括：根据快门时间计算各分块的系统时间；根据各分块的系统时间计算出各分块对应的三轴旋转角度；根据各分块的三轴旋转角度和相机标定矩阵计算各分块的初始运动轨迹；以及结合各分块的初始运动轨迹和该视频帧的运动轨迹计算得到各分块的运动轨迹。
A24、如A23所述的方法，其中，各分块的系统时间为：
t(y)＝frame_time2+ts*y/height，其中，y表示各分块的行索引号，ts表示快门时间。
A25、如A24所述的方法，其中，各分块的运动轨迹H′(y)＝H′*H(y)-1，其中，H′为视频帧的运动轨迹，H(y)为各分块的初始运动轨迹。
A26、如A1-25中任一项所述的方法，其中，预定区间为[-4，4]。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (27)
1.一种视频防抖方法，该方法用于对通过移动设备采集的视频进行防抖处理，该方法包括步骤：
获取移动设备在拍摄过程中陀螺仪的三轴角速度数据和所拍得的视频帧图像数据；
根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度；
对于所拍得的每一视频帧：
计算视频帧对应的三轴旋转角度；
根据所述视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹；
根据与视频帧相邻的至少一个参考帧对该视频帧的第一运动轨迹进行平滑处理得到第二运动轨迹；
计算所述第一运动轨迹和第二运动轨迹的差异值，若差异值大于阈值则根据该差异值对所述第二运动轨迹进行调整，直到差异值小于阈值，将调整后的第二运动轨迹作为该视频帧的运动轨迹，以及，若差异值小于阈值则将第二运动轨迹作为该视频帧的运动轨迹；
对视频帧进行分块处理，并根据视频帧的运动轨迹计算出各分块的运动轨迹；以及
根据各分块的运动轨迹对各分块内图像数据进行调整，输出防抖处理后的视频帧。
2.如权利要求1所述的方法，其中所述获取移动设备在拍摄过程中陀螺仪的三轴角速度数据的步骤还包括：
将所获取的陀螺仪三轴角速度值约束到预定区间内；以及
利用预定的核函数对当前时刻陀螺仪的对应轴角速度及其前后时间段内多个陀螺仪的对应轴角速度进行平滑处理，得到该陀螺仪的三轴角速度。
3.如权利要求1所述的方法，其中，所述根据相邻时间间隔内陀螺仪的轴角速度计算得到对应轴的旋转角度的步骤还包括：
以陀螺仪相邻时间间隔内的时间戳信息确定表征该三轴旋转角度的时间戳信息，作为第一时间。
4.如权利要求3所述的方法，其中，获取所拍得的视频帧图像数据的步骤还包括：
获取视频帧对应的系统时间，作为第二时间。
5.如权利要求4所述的方法，其中，所述计算视频帧对应的三轴旋转角度的步骤包括：
利用视频帧的第二时间、根据所述第一时间与三轴旋转角度的对应关系匹配到该视频帧的三轴旋转角度。
6.如权利要求5所述的方法，还包括预先对第二时间进行校正的步骤：
根据视频帧的曝光时间对视频帧的第二时间进行校正，得到校正后的第二时间。
7.如权利要求6所述的方法，其中，校正后的第二时间为：
frame_time2＝frame_time1+base_val+(0.03-exp_Time)×0.5
其中，frame_time1为视频帧的第二时间，frame_time2为校正后的视频帧的第二时间，base_val为基准校正值，exp_Time为视频帧的曝光时间，当无法获取视频帧的曝光时间时，exp_Time为0。
8.如权利要求6所述的方法，其中，根据第一时间与三轴旋转角度的对应关系匹配到当前视频帧的三轴旋转角度的步骤包括：
从第一时间中查找是否存在校正后的第二时间，若存在则将所查找到的第一时间对应的三轴旋转角度作为该视频帧的三轴旋转角度；以及
若不存在则按照预定条件计算出该视频帧的三轴旋转角度。
9.如权利要求8所述的方法，其中，按照预定条件计算该视频帧的三轴旋转角度的步骤包括：
从第一时间中取出与校正后的第二时间相邻的前后两个时间；以及
根据所取出的两个时间及其对应的三轴旋转角度计算该视频帧的三轴旋转角度。
10.如权利要求9所述的方法，其中，视频帧的三轴旋转角度θi为：
其中，i＝x,y,z分别代表x,y,z三个坐标轴，gyro(k)_time和gyro(k+1)_time表示与校正后第二时间frame_time2相邻的前后两个时间，gyro(k)_θi和gyro(k+1)_θi表示这两个时间对应的三轴旋转角度。
11.如权利要求1所述的方法，其中，所述根据视频帧的三轴旋转角度和相机标定矩阵计算该视频帧的第一运动轨迹的步骤还包括：
利用张正友标定算法对移动设备的相机进行标定，并求得相机焦距。
12.如权利要求11所述的方法，其中，
所述第一运动轨迹H＝KR，
其中，K为相机标定矩阵，R为旋转矩阵，
其中，θx,θy,θz分别表示x,y,z三轴的旋转角度。
13.如权利要求1所述的方法，其中对第一运动轨迹进行平滑处理包括：
其中，t为当前图像帧，r为与t相邻的前/后参考帧，H(t)表示第t帧的运动轨迹，H(r)表示第r帧的运动轨迹，P(t)表示经过轨迹平滑后第t帧的运动轨迹，Gt表示帧序列层面上第r帧对于第t帧的权重，Gm表示在运动轨迹层面上第r帧对于第t帧的权重。
14.如权利要求1所述的方法，其中所述计算第一运动轨迹和第二运动轨迹的差异值的步骤包括：
根据该视频帧的图像数据定义有效区域的四个角点的初始坐标；
计算第一运动轨迹下所述四个角点的第一坐标集合；
计算第二运动轨迹下所述四个角点的第二坐标集合；以及
计算第一坐标集合和第二坐标集合分别确定的矩形区域的面积差值作为这两个运动轨迹的差异值。
15.如权利要求14所述的方法，其中，
第一运动轨迹下角点的第一坐标Xt＝HtX，
其中，Ht为第一运动轨迹的单应性矩阵，X为角点的初始坐标。
16.如权利要求15所述的方法，其中，
第二运动轨迹下角点的第二坐标Xs＝HsX，
其中，Hs为第二运动轨迹的单应性矩阵，X为角点的初始坐标。
17.如权利要求14所述的方法，其中，
所述差异值diff＝Areat-Areas，
其中，Areat和Areas代表第一坐标集合和第二坐标集合所分别确定的矩形区域的面积。
18.如权利要求17所述的方法，其中，根据该差异值对第二运动轨迹进行调整的步骤包括：
根据该差异值计算插值比；以及
根据所述插值比以线性插值方法对第二运动轨迹进行调整。
19.如权利要求18所述的方法，其中，
所述插值比radio＝Areat/diff。
20.如权利要求1所述的方法，其中，
所述阈值threshold＝cos(atan2(min(width,height)/2,f))，
其中，width和height分别代表视频帧的宽和高，f为标定的相机焦距。
21.如权利要求1所述的方法，其中，对视频帧进行分块处理的步骤包括：
根据卷帘式快门的特点、按从上到下的顺序对视频帧进行分块。
22.如权利要求20所述的方法，其中，根据视频帧的运动轨迹计算各分块运动轨迹的步骤包括：
根据快门时间计算各分块的系统时间；
根据各分块的系统时间计算出各分块对应的三轴旋转角度；
根据各分块的三轴旋转角度和相机标定矩阵计算各分块的初始运动轨迹；以及
结合各分块的初始运动轨迹和该视频帧的运动轨迹计算得到各分块的运动轨迹。
23.如权利要求22所述的方法，其中，
各分块的系统时间t(j)＝frame_time2+ts*j/height，
其中，j表示各分块的行索引号，ts表示快门时间，frame_time2为校正后的视频帧的第二时间。
24.如权利要求23所述的方法，其中，
所述各分块的运动轨迹H'(j)＝H'*H(j)-1，
其中，H'为视频帧的运动轨迹，H(j)为各分块的初始运动轨迹。
25.如权利要求2所述的方法，其中，所述预定区间为[-4，4]。
26.一种移动设备，包括：
相机子系统，适于采集视频图像数据；
陀螺仪；
一个或多个处理器；
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-25所述方法中的任一方法的指令。
27.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当移动设备执行时，使得所述移动设备执行根据权利要求1-25所述的方法中的任一方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/087754 WO2018223381A1 (zh) | 2017-06-09 | 2017-06-09 | 一种视频防抖方法及移动设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110678898A CN110678898A (zh) | 2020-01-10 |
| CN110678898B true CN110678898B (zh) | 2022-03-18 |
Family
ID=64565660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780091696.5A Active CN110678898B (zh) | 2017-06-09 | 2017-06-09 | 一种视频防抖方法及移动设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110678898B (zh) |
| WO (1) | WO2018223381A1 (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114208164B (zh) * | 2019-08-16 | 2024-02-09 | 影石创新科技股份有限公司 | 动态控制视频编码码率的方法、智能设备和运动相机 |
| CN112712543A (zh) * | 2019-10-25 | 2021-04-27 | 北京京东振世信息技术有限公司 | 物品运送轨迹检测方法、装置以及存储介质 |
| CN111641835B (zh) * | 2020-05-19 | 2023-06-02 | Oppo广东移动通信有限公司 | 视频处理方法、视频处理装置和电子设备 |
| CN114979456B (zh) * | 2021-02-26 | 2023-06-30 | 影石创新科技股份有限公司 | 视频数据的防抖处理方法、装置、计算机设备和存储介质 |
| CN113014823B (zh) * | 2021-03-25 | 2023-06-06 | 苏州科达科技股份有限公司 | 摄像装置的防抖处理方法、系统、设备及存储介质 |
| CN115209030B (zh) * | 2021-04-08 | 2024-02-27 | 北京字跳网络技术有限公司 | 视频防抖处理方法、装置、电子设备和存储介质 |
| CN113556464B (zh) * | 2021-05-24 | 2023-02-03 | 维沃移动通信有限公司 | 拍摄方法、装置及电子设备 |
| CN113596327B (zh) * | 2021-07-21 | 2024-01-23 | 维沃移动通信（杭州）有限公司 | 拍摄方法、装置、电子设备和存储介质 |
| CN115546042B (zh) * | 2022-03-31 | 2023-09-29 | 荣耀终端有限公司 | 视频处理方法及其相关设备 |
| CN116934654A (zh) * | 2022-03-31 | 2023-10-24 | 荣耀终端有限公司 | 图像模糊度的确定方法及其相关设备 |
| CN114531549B (zh) * | 2022-04-22 | 2022-08-09 | 浙江大华技术股份有限公司 | 图像采集方法、电子设备和计算机可读存储介质 |
| CN116862767A (zh) * | 2023-06-30 | 2023-10-10 | 苏州城市学院 | 一种线扫光伏组件图片的弹性矫正与拼接方法和系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069753A (zh) * | 2015-07-30 | 2015-11-18 | 华中科技大学 | 一种面向移动终端的抖动模糊图像复原方法 |
| CN106027852A (zh) * | 2016-06-24 | 2016-10-12 | 西北工业大学 | 一种用于微纳卫星的视频稳像方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8416186B2 (en) * | 2007-07-06 | 2013-04-09 | Kazuyuki Yamamoto | Input apparatus, control apparatus, control system, control method, and handheld apparatus |
| JP5519077B2 (ja) * | 2011-04-12 | 2014-06-11 | 富士フイルム株式会社 | 撮像装置 |
-
2017
- 2017-06-09 CN CN201780091696.5A patent/CN110678898B/zh active Active
- 2017-06-09 WO PCT/CN2017/087754 patent/WO2018223381A1/zh active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105069753A (zh) * | 2015-07-30 | 2015-11-18 | 华中科技大学 | 一种面向移动终端的抖动模糊图像复原方法 |
| CN106027852A (zh) * | 2016-06-24 | 2016-10-12 | 西北工业大学 | 一种用于微纳卫星的视频稳像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018223381A1 (zh) | 2018-12-13 |
| CN110678898A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110678898B (zh) | 一种视频防抖方法及移动设备 | |
| US10200613B2 (en) | Video stabilization for mobile devices | |
| KR102282458B1 (ko) | 영상안정화장치 및 방법 | |
| KR101856947B1 (ko) | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 | |
| US20150348325A1 (en) | Method and system for stabilization and reframing | |
| CN109218614B (zh) | 一种移动终端的自动拍照方法及移动终端 | |
| US20080284858A1 (en) | Image pickup apparatus equipped with function of detecting image shaking | |
| CN113454982A (zh) | 用于使图像稳定化的电子装置及其操作方法 | |
| US9426370B2 (en) | Image capturing device and exposure time adjusting method thereof | |
| CN113824876B (zh) | 数字变焦下画面稳定性处理方法、装置、移动终端及介质 | |
| CN101895783A (zh) | 数字摄像装置稳定度的侦测方法及数字摄像装置 | |
| WO2023072088A1 (zh) | 对焦方法及装置 | |
| TW202029727A (zh) | 全景影片影像穩定方法及裝置與影像穩定演算法評估方法 | |
| WO2017128750A1 (zh) | 一种图像采集方法和图像采集装置 | |
| US9843729B2 (en) | Rotation stabilization | |
| US9049374B2 (en) | Imaging apparatus with camera shake correction function | |
| CN111669499A (zh) | 一种视频防抖方法、装置及视频采集设备 | |
| CN113438409B (zh) | 延迟校准方法、装置、计算机设备和存储介质 | |
| JP6332212B2 (ja) | 姿勢推定装置、姿勢推定方法及びプログラム | |
| CN111955005B (zh) | 处理360度图像内容的方法和系统 | |
| TW201536050A (zh) | 可修正偏移視角的影像擷取方法、電腦程式產品暨其影像擷取裝置 | |
| US20160373648A1 (en) | Methods and systems for capturing frames based on device information | |
| WO2020180462A1 (en) | Roll compensation and blur reduction in tightly synchronized optical image stabilization (ois) | |
| US11245830B2 (en) | Image capture apparatus and control method for same, and storage medium | |
| TWI578784B (zh) | 產生縮時影片的方法、電子裝置及使用此方法的記錄媒體 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |