CN110602377B - 一种视频稳像方法及装置 - Google Patents

一种视频稳像方法及装置 Download PDF

Info

Publication number
CN110602377B
CN110602377B CN201910203098.3A CN201910203098A CN110602377B CN 110602377 B CN110602377 B CN 110602377B CN 201910203098 A CN201910203098 A CN 201910203098A CN 110602377 B CN110602377 B CN 110602377B
Authority
CN
China
Prior art keywords
camera
gyroscope
pose
accumulated
gyro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910203098.3A
Other languages
English (en)
Other versions
CN110602377A (zh
Inventor
洪明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Li Ke Semiconductor Technology Co ltd
Original Assignee
Shanghai Li Ke Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Li Ke Semiconductor Technology Co ltd filed Critical Shanghai Li Ke Semiconductor Technology Co ltd
Priority to CN201910203098.3A priority Critical patent/CN110602377B/zh
Publication of CN110602377A publication Critical patent/CN110602377A/zh
Application granted granted Critical
Publication of CN110602377B publication Critical patent/CN110602377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本发明提供一种视频稳像方法，该方法包括：利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；对校正后的摄像头的累积位姿进行平滑处理。

Description

一种视频稳像方法及装置
技术领域
本发明涉及视频处理领域，尤其涉及一种视频稳像方法及装置。
背景技术
随着手机的普及和性能的不断提升，无需专业摄像设备也能拍摄出高质量的视频。然而在拍摄的过程中经常会由于手部的抖动而输出不稳定的视频，将会导致视频的观看效果不佳，或者不利于视频的后期处理。视频稳像技术的目的在于消除视频中的抖动分量，形成较为稳定的视频输出。
稳定视频图像的基本方法可以分为三类：光学稳像、机械稳像和电子稳像。光学稳像需要精密的光学仪器而导致成本过高，一般只装配在专业摄像设备或高端手机上。电子稳像受环境、光照影响较大，鲁棒性较差，且难以实时地解决互补金属氧化物半导体图像传感器(Complementary Metal Oxide Semiconductor，CMOS)产生的果冻效应(Rollingshutter effect)，一般被用于视频后期处理。机械稳像通过陀螺仪等传感器元件检测摄像头的抖动，然后对拍摄的视频图像进行纠正和补偿而达到稳定图像的目的。由于陀螺仪传感器造价低廉、不易受环境因素影响、且实时性较好，大部分手机厂商普遍采用机械稳像来稳定视频输出。
然而，陀螺仪会存在较大的偏差，使得稳像后的视频以固定角度倾斜或以固定角速度旋转。为了解决该问题，在进行视频稳像之前或手机开机时需要对陀螺仪进行校准，等待陀螺仪校准将会降低用户体验，并且在长时间拍摄后陀螺仪仍会出现累积偏差，造成稳像效果不佳。
发明内容
本发明要解决的技术问题是提供一种视频稳像方法及装置，以消除CMOS摄像头的果冻效应，实时地输出准确稳定的视频图像。
为解决上述技术问题，本发明的一方面提供了一种视频稳像方法，该方法包括：利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；对校正后的摄像头的累积位姿进行平滑处理。
在本发明的一实施例中，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角的步骤包括：提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配，采用随机抽样一致法筛选出置信度较高的特征点匹配对，得到特征点匹配对集合，基于摄像头成像模型并利用非线性最优化算法迭代求解摄像头的内参、摄像头与陀螺仪之间的夹角。
在本发明的一实施例中，采用如下公式，计算陀螺仪角速度采集时刻对应的累积位姿：
pose_gyroi＝update(pose_gyroi-1，ωxi-1，ωyi-1，ωzi-1，t_gyroi-t_gyroi-1)
其中，pose_gyroi表示角速度采集时刻t_gyroi陀螺仪的累积位姿，pose_gyroi-1表示角速度采集时刻t_gyroi-1陀螺仪的累积位姿，ωxi-1表示角速度采集时刻t_gyroi-1陀螺仪x轴角速度，ωyi-1表示角速度采集时刻t_gyroi-1陀螺仪y轴角速度，ωzi-1表示角速度采集时刻t_gyroi-1陀螺仪z轴角速度，update为一阶龙格库塔四元数微分算法。
在本发明的一实施例中，采用如下公式，估算各像素行读取时刻摄像头的累积位姿：
Figure BDA0001998101510000021
Figure BDA0001998101510000022
Figure BDA0001998101510000031
其中，
Figure BDA0001998101510000032
表示第j帧图像第y行像素的读取时刻，t_gyronear与t_gyronear+1表示距离
Figure BDA0001998101510000033
最近的前后两次陀螺仪角速度的采集时刻，
Figure BDA0001998101510000034
表示
Figure BDA0001998101510000035
时刻摄像头的累积位姿，pose_gyronear表示t_gyronear时刻陀螺仪的累积位姿，pose_gyronear+1表示t_gyronear+1时刻陀螺仪的累积位姿，slerp表示四元数球面插值算法，A表示摄像头与陀螺仪之间的夹角。
在本发明的一实施例中，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正：
Figure BDA0001998101510000036
其中，
Figure BDA0001998101510000037
表示第j帧图像第y行像素相对于该帧第1行像素的相对位姿，
Figure BDA0001998101510000038
表示第j帧图像第y行像素摄像头的累积位姿的逆，
Figure BDA0001998101510000039
表示第j帧图像第一像素行读取时刻摄像头的累积位姿。
在本发明的一实施例中，采用基于匀速模型的无损卡尔曼滤波对校正后的摄像头的累积位姿进行平滑处理。
在本发明的一实施例中，还包括采用球面插值算法对经过平滑处理之后的摄像头的累积位姿进行约束和调整。
在本发明的一实施例中，还包括将采用逆向映射方法并结合摄像头位姿调整量的逆对原始帧图像进行裁剪输出，获得稳像后的帧图像。
本发明的另一方面提供一种视频稳像装置，该装置包括：参数确定单元，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；列表建立单元，建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；估算单元，读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；校正单元，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；平滑单元，对校正后的摄像头的累积位姿进行平滑处理。
在本发明的一实施例中，所述参数确定单元提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配，采用随机抽样一致法筛选出置信度较高的特征点匹配对，得到特征点匹配对集合，基于摄像头成像模型并利用非线性最优化算法迭代求解摄像头的内参、摄像头与陀螺仪之间的夹角。
在本发明的一实施例中，所述列表建立单元采用如下公式，计算陀螺仪角速度采集时刻对应的累积位姿：
pose_gyroi＝update(pose_gyroi-1，ωxi-1，ωyi-1，ωzi-1，t_gyroi-t_gyroi-1)
其中，pose_gyroi表示角速度采集时刻t_gyroi陀螺仪的累积位姿，pose_gyroi-1表示角速度采集时刻t_gyroi-1陀螺仪的累积位姿，ωxi-1表示角速度采集时刻t_gyroi-1陀螺仪x轴角速度，ωyi-1表示角速度采集时刻t_gyroi-1陀螺仪y轴角速度，ωzi-1表示角速度采集时刻t_gyroi-1陀螺仪z轴角速度，update为一阶龙格库塔四元数微分算法。
在本发明的一实施例中，所述估算单元采用如下公式，估算各像素行读取时刻摄像头的累积位姿：
Figure BDA0001998101510000041
Figure BDA0001998101510000042
Figure BDA0001998101510000043
其中，
Figure BDA0001998101510000044
表示第j帧图像第y行像素的读取时刻，t_gyronear与t_gyronear+1表示距离
Figure BDA0001998101510000045
最近的前后两次陀螺仪角速度的采集时刻，
Figure BDA0001998101510000046
表示
Figure BDA0001998101510000047
时刻摄像头的累积位姿，pose_gyronear表示t_gyronear时刻陀螺仪的累积位姿，pose_gyronear+1表示t_gyronear+1时刻陀螺仪的累积位姿，slerp表示四元数球面插值算法，A表示摄像头与陀螺仪之间的夹角。
在本发明的一实施例中，所述校正单元采用如下公式，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正：
Figure BDA0001998101510000051
其中，
Figure BDA0001998101510000052
表示第j帧图像第y行像素相对于该帧第1行像素的相对位姿，
Figure BDA0001998101510000053
表示第j帧图像第y行像素摄像头的累积位姿的逆，
Figure BDA0001998101510000054
表示第j帧图像第一像素行读取时刻摄像头的累积位姿。
在本发明的一实施例中，所述校正单元采用基于匀速模型的无损卡尔曼滤波对校正后的摄像头的累积位姿进行平滑处理。
在本发明的一实施例中，还包括裁剪单元，所述裁剪单元采用球面插值算法对经过平滑处理之后的摄像头的累积位姿进行约束和调整。
在本发明的一实施例中，还包括逆向映射单元，所述逆向映射单元将，采用逆向映射方法并结合摄像头位姿调整量的逆对原始帧图像进行裁剪输出，获得稳像后的帧图像。
与现有技术相比，本发明具有以下优点：本发明提供一种视频稳像方法及装置，通过摄像头与陀螺仪之间的夹角和陀螺仪累积位姿列表估算帧图像中摄像头的累积位姿，消除CMOS摄像头的果冻效应，避免了对CMOS摄像头曝光时间和陀螺仪偏差的标定，提升了用户体验；采用无损卡尔曼滤波对摄像头的累积位姿进行平滑处理，可以防止帧图像以固定角度倾斜或以固定角速度旋转，提高了稳像效果。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1是根据本发明一实施例的视频稳像方法的流程图；
图2是根据本发明一实施例的视频稳像装置的示意图；
图3是图1所示的视频稳像方法中步骤110的流程图；
图4是根据本发明一实施例的特征点匹配的示意图；
图5是采用本发明的一实施例的视频稳像方法之后的帧图像；
图6是对图5所示的帧图像进行裁剪的示意图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
图1是根据本发明一实施例的视频稳像方法的流程图。参考图1所示，本实施例的视频稳像方法包括下列步骤：
步骤110，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角。
步骤120，建立陀螺仪累积位姿列表。
步骤130，读取待处理的帧图像，根据夹角和陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿。
步骤140，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正。
步骤150，对校正后的摄像头的累积位姿进行平滑处理。
图2是根据本发明一实施例的视频稳像装置的示意图。参考图2所示，该实施例的视频稳像装置200包括参数确定单元210、列表建立单元220、估算单元230、校正单元240、平滑单元250、裁剪单元260和逆向映射单元270。下面结合图2对图1所示的视频稳像方法的步骤进行详细说明。
在图1所示的步骤110中，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参K、摄像头与陀螺仪之间的夹角A。
在一些实施例中，步骤110可以由视频稳像装置200中的参数确定单元210执行。
该测试视频是由该实施例中的摄像头所获得的一段用于测试的视频文件。该摄像头包括CMOS(Complementary Metal Oxide Semiconductor)传感器，可以将所获得的光像信号转换为电信号。该测试视频可以是任何类型的视频格式，例如但不限于MPEG、AVI、MOV等格式。
该摄像头的内参K是指用于摄像机标定的摄像头的内部参数K，是对摄像头物理特性的近似。通常对摄像头进行标定的过程分为两步。第一步是从世界坐标系到摄像头坐标系的转换。这一步是三维点到三维点的转换，其中需要涉及到摄像头的外部参数，即外参，等参数。第二步是从摄像头坐标系到成像平面坐标系的转换。这一步是三维点到二维点的转换，其中需要涉及到摄像头的内部参数，即内参K，等参数。
对于具备照相/摄像功能的手机、相机或其他设备来说，其摄像头与陀螺仪之间存在一定的夹角A。也就是说，由陀螺仪所检测得到的位姿信息并不能直接用于反映摄像头的位姿信息。
为了清楚的说明步骤110的执行过程，图3示出了步骤110的具体流程图。参考图3所示，在一些实施例中，在步骤110中利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参K、摄像头与陀螺仪之间的夹角A的步骤包括：
步骤310，提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配。
假设该测试视频具有N帧图像。在本步骤中，首先对测试视频中的N帧图像进行尺度不变特征变换(SIFT)，提取N帧图像的特征点，并对前后两帧的特征点进行匹配。
在其他的实施例中，也可以采用其他的特征点提取和匹配方法对前后两帧的特征点进行匹配，例如但不限于SURF(Speeded Up Robust Feature)、ORB(Oriented Brief)、FAST(Feature from Accelerated Segment Test)等方法。
步骤320，采用随机抽样一致法(RANSAC)筛选出置信度较高的特征点匹配对，得到特征点匹配对集合。
在其他的实施例中，也可以采用其他的方法，例如但不限于最小二乘法、霍夫变换等方法来对特征点匹配对进行筛选。
图4是采用尺度不变特征变换方法提取特征点对前后帧的特征点进行匹配，并采用随机抽样一致法得到特征点匹配对集合的示意图。参考图4所示，以N帧图像中相邻的第n-1帧和第n帧为例，1≤n≤N，对其中的三个特征点进行匹配，从而形成了三对匹配点
Figure BDA0001998101510000081
其中
Figure BDA0001998101510000082
和
Figure BDA0001998101510000083
分别表示第n-1帧图像中的第m-1个特征点及其对应的在第n帧图像中的第m-1个特征点；
Figure BDA0001998101510000084
和
Figure BDA0001998101510000085
分别表示第n-1帧图像中的第m个特征点及其对应的在第n帧图像中的第m个特征点；
Figure BDA0001998101510000086
和
Figure BDA0001998101510000087
分别表示第n-1帧图像中的第m+1个特征点及其对应的在第n帧图像中的第m+1个特征点。
可以理解的是，本发明对进行匹配的前后两帧的特征点的数量没有限制。
步骤330，基于摄像头成像模型利用非线性最优化算法迭代求解摄像头的内参K、摄像头与陀螺仪之间的夹角A。
在一些实施例中，摄像头成像模型表示为：X＝K{R|t}Y，其中K为摄像头的内参，X为世界坐标系中的Y点经过平移t和旋转R后在摄像头中的成像坐标。在不考虑平移的情况下，以第m-1个特征点为例，可以得到相邻的第n-1帧和第n帧中某一匹配点的关系如下：
根据
Figure BDA0001998101510000088
和
Figure BDA0001998101510000089
可推导出
Figure BDA00019981015100000810
其中
Figure BDA00019981015100000811
和
Figure BDA00019981015100000812
分别表示第n-1帧和第n帧所对应时刻摄像头的旋转矩阵。假设摄像头的坐标系和陀螺仪的坐标系存在如下旋转关系：Rg＝ARc，其中A为摄像头坐标系到陀螺仪坐标系的转换矩阵，将
Figure BDA00019981015100000813
和
Figure BDA00019981015100000814
带入公式(1)，则第n-1帧和第n帧中某一匹配点的关系则变成如下等式：
Figure BDA00019981015100000815
同样的，第n-1帧和第n帧中的第m、m+1个及其它匹配点的关系如下列等式：
Figure BDA0001998101510000091
Figure BDA0001998101510000092
在方程组(3)中，除了摄像头的内参K、摄像头与陀螺仪之间的夹角A是未知数以外，其它均为已知。因此，可以采用计算方法中的迭代估计优化方法来对方程组(3)中的K和A进行求解。在本发明的优选实施例中采用了LMA(Levenberg-Marquardt，列文伯格-马夸尔特法)方法求解到最优的K和A值。在其他的实施例中，也可以采用其他方法例如但不限于梯度下降法、高斯-牛顿法等。
至此，在步骤110中可以获得摄像头的内参K、摄像头与陀螺仪之间的夹角A。
接下来，在图1所示的步骤120中，建立陀螺仪累积位姿列表L。该陀螺仪累积位姿列表L包括陀螺仪角速度采集时刻及与陀螺仪角速度采集时刻对应的累积位姿。
在一些实施例中，步骤120可以由视频稳像装置200中的列表建立单元220执行。
在一些实施例中，陀螺仪周期性的将其所采集到的信息发送到列表建立单元220。这些信息包括陀螺仪角速度(ωxi、ωyi、ωzi)、陀螺仪角速度采集时刻t_gyroi以及对应的累积位姿pose_gyroi。根据陀螺仪角速度采集时刻t_gyroi所发送到列表建立单元220的陀螺仪角速度旋转信息，来计算陀螺仪在角速度采集时刻t_gyroi的累积位姿pose_gyroi。在一些实施例中，对陀螺仪的姿态角的解算方法可以采用矩阵旋转法、欧拉旋转法或四元数旋转法等。在本发明的优选实施例中，采用四元数旋转法来对陀螺仪的姿态角进行解算，可以防止出现万向节锁现象并降低计算复杂度。在本发明的实施例中，四元数旋转法可以是一阶龙格库塔四元数微分算法或二阶龙格库塔四元数微分算法。下文以一阶龙格库塔四元数微分算法为例对陀螺仪的姿态角的解算方法进行说明。
在一些实施例中，采用公式(4)计算陀螺仪角速度采集时刻t_gyroi对应的累积位姿pose_gyroi：
pose_gyroi＝update(pose_gyroi-1，ωxi-1，ωyi-1，ωzi-1，t_gyroi-t_gyroi-1)(4)
其中，pose_gyroi表示陀螺仪角速度采集时刻t_gyroi时陀螺仪的累积位姿，pose_gyroi-1表示角速度采集时刻t_gyroi-1时陀螺仪的累积位姿，ωxi-1表示角速度采集时刻t_gyroi-1时陀螺仪x轴角速度，ωyi-1表示角速度采集时刻t_gyroi-1时陀螺仪y轴角速度，ωzi-1表示角速度采集时刻t_gyroi-1时陀螺仪z轴角速度，update为一阶龙格库塔四元数微分算法。
利用公式(4)计算得到不同的陀螺仪角速度采集时刻(t_gyro0，t_gyro1，…，t_gyroi)及其对应的陀螺仪累积位姿(pose_gyro0，pose_gyro1，…，pose_gyroi)，以形成陀螺仪累积位姿列表L：
L＝{<t_gyro0,pose_gyro0>,<t_gyro1,pose_gyro1>,…,<t_gyroi-1,pose_gyroi-1>,<t_gyroi,pose_gyroi>} (5)
可以理解的是，本发明的实施例对陀螺仪的采集时刻没有数量上的限制。在其他的实施例中，陀螺仪也可以以非周期性的方式采集相关的信息发送到列表建立单元220。
在图1所示的步骤130中，读取待处理的帧图像，根据夹角和陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿。
在一些实施例中，步骤130可以由视频稳像装置200中的估算单元230执行。
在本步骤中，估算单元230首先读取待处理的帧图像，该帧图像包括帧缓存、各像素行读取时刻
Figure BDA0001998101510000101
其中j表示第j帧图像，y表示第y像素行。
在陀螺仪发送到列表建立单元220的信息中，寻找距离像素行读取时刻
Figure BDA0001998101510000102
最近的前后两次陀螺仪角速度采集时刻t_gyronear与t_gyronear+1，它们应满足如下约束条件：
Figure BDA0001998101510000103
在一些实施例中各像素行读取时刻
Figure BDA0001998101510000104
摄像头的累积位姿
Figure BDA0001998101510000105
可以通过lerp插值算法、slerp插值算法和squad插值算法估算。以slerp插值算法为例，各像素行读取时刻
Figure BDA0001998101510000111
摄像头的累积位姿
Figure BDA0001998101510000112
可以由公式(7)估算：
Figure BDA0001998101510000113
Figure BDA0001998101510000114
其中，
Figure BDA0001998101510000115
表示第j帧图像第y行像素的读取时刻，t_gyronear与t_gyronear+1表示距离
Figure BDA0001998101510000116
最近的前后两次陀螺仪角速度的采集时刻，
Figure BDA0001998101510000117
表示
Figure BDA0001998101510000118
时刻摄像头的累积位姿，pose_gyronear表示t_gyronear时刻陀螺仪的累积位姿，pose_gyronear+1表示t_gyronear+1时刻陀螺仪的累积位姿，slerp表示四元数球面插值算法，A表示摄像头与陀螺仪之间的夹角。
在图1所示的步骤140中，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正。
在一些实施例中，步骤140可以由视频稳像装置200中的校正单元240执行。
在一些实施例中，可以采用公式(8)，根据第一像素行曝光时刻摄像头的累积位姿对各像素行读取时刻摄像头的累积位姿进行校正：
Figure BDA0001998101510000119
其中，
Figure BDA00019981015100001110
表示第j帧图像第y行像素相对于该帧第1行像素的相对位姿，
Figure BDA00019981015100001111
表示第j帧图像第y行像素摄像头的累积位姿的逆，
Figure BDA00019981015100001112
表示第j帧图像第一像素行读取时刻摄像头的累积位姿。
经过本步骤，可以去除CMOS摄像头在成像中所产生的果冻效应。并且，由于本步骤直接使用步骤130中所获得由各像素行读取时刻等信息估算得到的帧图像每像素行的累积位姿，与传统的需要前期标定获得摄像头参数的方法相比，本实施例的视频稳像方法具有自适应性和准确度高的特点。
在一些实施例中，本发明的视频稳像方法还包括步骤150，即，对校正后的摄像头的累积位姿进行平滑处理。
在一些实施例中，步骤150可以由视频稳像装置200中的平滑单元250执行。
在对视频进行稳像处理时，实际上是让摄像头的累积位姿的变化从剧烈变为相对平滑。因此，需要对摄像头的所有实际累积位姿进行平滑处理。假设对摄像头的累积位姿为pose_camj，经过平滑处理后的累积位姿为pose_camj′，则本步骤的平滑处理可以按照如下公式进行：
pose_cam′j＝Smooth(pose_camj) (9)
其中Smooth可以是用于平滑处理的任意算法。
由于摄像头的抖动通常是没有规律的，属于非线性系统，且陀螺仪偏移一般在某个很小的时间段内为一恒定值，因此，在一些实施例中，可以采用基于匀速模型的无损卡尔曼滤波(UKF)对摄像头的所有实际累积位姿进行平滑滤波处理，以实现跟踪陀螺仪偏移的同时平滑摄像头的累积位姿，则平滑公式(9)可以被替换成公式(10)：
pose_cam′j＝UKF(pose_camj) (10)
其中UKF表示无损卡尔曼滤波函数，无损卡尔曼滤波动态模型为：
Figure BDA0001998101510000121
而测量模型为：
pose_camj＝pose_cam′j*pose_cam_noisej (12)
其中ωx_noisej、ωy_noisej和ωz_noisej为无损卡尔曼滤波的过程噪声(即陀螺仪噪声)，默认值为3e-10，它的值设置的越小，处理后的摄像头的累积位姿越平滑；pose_cam_noisej为无损卡尔曼滤波的测量噪声(即摄像头的抖动)，默认值为0.002，它的值越大，处理后的摄像头的累积位姿与实际摄像头的累积位姿越接近(即跟踪越快)，也就越不平滑。因此，可根据实际需求，合理调整这些参数。
由于对摄像头的累积位姿进行了平滑处理，在进行快速跟踪并平滑摄像头或摄像头位姿的同时，能有效的防止因陀螺仪偏移而出现稳像后视频以固定角度倾斜或以固定角速度旋转等现象，与传统方法相比，该方法无需进行陀螺仪偏移标定。
在一些实施例中，考虑到避免最终裁剪的图像存在黑边，本发明的视频稳像方法还包括采用球面插值算法对经过平滑处理之后的摄像头的累积位姿进一步约束并调整的步骤。该步骤可以由图2所示的视频稳像装置200中的裁剪单元260执行。
图5是采用本发明的一实施例的视频稳像方法处理之后的帧图像。参考图5所示，对具有抖动的帧图像进行稳像处理后，处理后的帧图像相对于原始帧图像来说可能因为发生形变而变小使得周围出现黑色无效区域，也可能因发生位移而导致部分超出可显示区域。这两种情况发生的概率都和抖动剧烈程度有关，抖动越剧烈，为了去除这些抖动，需要较大的运动补偿，而使得黑色无效区域变大，部分区域超出可显示区域可能性也变大。因此，在一些实施例中，会对经过稳像处理之后的帧图像进行裁剪。
在进行裁剪的步骤中，需要对经过平滑处理之后的摄像头累积位姿pose_camj′进行进一步处理得到pose_camj″，使得经过稳像处理后的帧图像在给定的有效显示区域(cx,cy,cx+cw-1,cy+ch-1)内不会产生黑色无效区域。
图6是对图5所示的帧图像进行裁剪的示意图。参考图6所示，经过裁剪之后的帧图像在方框所示的有效显示区域内不存在黑色无效区域。
在一些实施例中，根据摄像头的累积位姿pose_camj、经过平滑处理后的累积位姿pose_camj′以及参数t，通过球面插值算法得到pose_camj″，其计算公式如下所示:
Figure BDA0001998101510000131
在计算过程中，通过参数t的调整，以满足下式所示的约束条件：
Figure BDA0001998101510000132
其中，g([x，y，z]T)＝[x/z，y/z]T (15)
Figure BDA0001998101510000141
满足
Figure BDA0001998101510000142
必须使
Figure BDA0001998101510000143
成立 (16)
其中，width和height分别代表第j帧图像的宽度和高度，而xj和yj表示经过稳像处理后，像素点(xj′,yj′)在原始第j帧图像中的坐标，K表示摄像头的内参。
在一些实施例中，对最优t的确定，可以采用二分查找法进行加速求解。
在得到摄像头的累积位姿pose_camj、经过平滑处理后的累积位姿pose_camj′以及pose_camj″之后，即可完成原始帧图像的所有像素点到经过稳像处理后的帧图像的映射。也就是说，根据每个像素行的相对位姿
Figure BDA0001998101510000144
可以得到每个像素点的新坐标(xj′,yj′)，如下列公式所示：
Figure BDA0001998101510000145
g([x，y，z]T)＝[x/z，y/z]T (18)
在实际实现过程中，为了防止映射后的帧图像出现空洞，可以采用逆向映射(inverse warping)。因此，在一些实施例中，本发明的视频稳像方法还包括将裁剪之后的摄像头的累积位姿逆向映射至原始帧图像。该步骤可以由图2所示的视频稳像装置200中的逆向映射单元270执行。
该逆向映射方法如下列公式所示:
Figure BDA0001998101510000146
g([x，y，z]T)＝[x/z，y/z]T (20)
通过公式(19)和公式(20)，在经过稳像处理后的帧图像的有效显示区域(cx,cy,cx+cw-1,cy+ch-1)内，所有像素点都可以找到原始帧图像对应的像素点。在这些实施例中，通过该逆向映射的步骤可以同时完成映射和剪裁工作。
本发明提供一种视频稳像方法及装置，通过摄像头与陀螺仪之间的夹角和陀螺仪累积位姿列表估算帧图像中摄像头的累积位姿，消除CMOS摄像头的果冻效应，避免了对CMOS摄像头曝光时间和陀螺仪偏差的标定，提升了用户体验；采用无损卡尔曼滤波对摄像头的累积位姿进行平滑处理，可以防止帧图像以固定角度倾斜或以固定角速度旋转，提高了稳像效果。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本发明的限定。虽然此处并没有明确说明，本领域技术人员可能会对本发明进行各种修改、改进和修正。该类修改、改进和修正在本发明中被建议，所以该类修改、改进、修正仍属于本发明示范实施例的精神和范围。
同时，本发明使用了特定词语来描述本发明的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本发明至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本发明的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
应当注意的是，为了简化本发明披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本发明实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本发明对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本发明一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本发明的权利要求书的范围内。

Claims (14)

1.一种视频稳像方法，该方法包括：
利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；
建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；
读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；
根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；
对校正后的摄像头的累积位姿进行平滑处理；
其中，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角的步骤包括：提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配，采用随机抽样一致法筛选出置信度较高的特征点匹配对，得到特征点匹配对集合，基于摄像头成像模型并利用非线性最优化算法迭代求解摄像头的内参K、摄像头与陀螺仪之间的夹角A，其中，摄像头成像模型是
Figure 33842DEST_PATH_IMAGE002
，X为世界坐标系中的Y点经过平移t和旋转R后在摄像头中的成像坐标；相邻的第n-1帧和第n帧中第m个匹配点的关系为：
Figure 215425DEST_PATH_IMAGE004
，其中，
Figure 405098DEST_PATH_IMAGE006
，
Figure 304921DEST_PATH_IMAGE008
和
Figure 871031DEST_PATH_IMAGE010
分别表示第n-1帧和第n帧所对应时刻摄像头的旋转矩阵，
Figure 438279DEST_PATH_IMAGE012
和
Figure 798853DEST_PATH_IMAGE014
分别表示第n-1帧和第n帧所对应时刻陀螺仪的旋转矩阵。
2.根据权利要求1所述的视频稳像方法，其特征在于，采用如下公式，计算陀螺仪角速度采集时刻对应的累积位姿：
Figure DEST_PATH_IMAGE016AAAA
其中，pose_gyroi表示角速度采集时刻t_gyroi陀螺仪的累积位姿，pose_gyroi-1表示角速度采集时刻t_gyroi-1陀螺仪的累积位姿，ωxi-1表示角速度采集时刻t_gyroi-1陀螺仪x轴角速度，ωyi-1表示角速度采集时刻t_gyroi-1陀螺仪y轴角速度，ωzi-1表示角速度采集时刻t_gyroi-1陀螺仪z轴角速度，update为一阶龙格库塔四元数微分算法。
3.根据权利要求2所述的视频稳像方法，其特征在于，采用如下公式，估算各像素行读取时刻摄像头的累积位姿：
Figure DEST_PATH_IMAGE018AAAA
Figure DEST_PATH_IMAGE020AAAA
Figure DEST_PATH_IMAGE022AAAA
其中，
Figure 982710DEST_PATH_IMAGE024
表示第j帧图像第y行像素的读取时刻，t_gyronear与t_gyronear+1表示距离
Figure 352511DEST_PATH_IMAGE024
最近的前后两次陀螺仪角速度的采集时刻，
Figure 243107DEST_PATH_IMAGE026
表示
Figure 40161DEST_PATH_IMAGE024
时刻摄像头的累积位姿，pose_gyronear表示t_gyronear时刻陀螺仪的累积位姿，pose_gyronear+1表示t_gyronear+1时刻陀螺仪的累积位姿，slerp表示四元数球面插值算法，A表示摄像头与陀螺仪之间的夹角。
4.根据权利要求1所述的视频稳像方法，其特征在于，采用如下公式，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正：
Figure DEST_PATH_IMAGE028AAAA
其中，
Figure 914577DEST_PATH_IMAGE030
表示第j帧图像第y行像素相对于该帧第1行像素的相对位姿，
Figure 88069DEST_PATH_IMAGE032
表示第j帧图像第y行像素摄像头的累积位姿的逆，
Figure 567592DEST_PATH_IMAGE034
表示第j帧图像第一像素行读取时刻摄像头的累积位姿。
5.根据权利要求1所述的视频稳像方法，其特征在于，采用基于匀速模型的无损卡尔曼滤波对校正后的摄像头的累积位姿进行平滑处理。
6.根据权利要求1所述的视频稳像方法，其特征在于，还包括采用球面插值算法对经过平滑处理之后的摄像头的累积位姿进行约束和调整。
7.根据权利要求6所述的视频稳像方法，其特征在于，还包括将采用逆向映射方法并结合摄像头位姿调整量的逆对原始帧图像进行裁剪输出，获得稳像后的帧图像。
8.一种视频稳像装置，该装置包括：
参数确定单元，利用测试视频中相邻两帧图像的特征点匹配对计算摄像头的内参、摄像头与陀螺仪之间的夹角，所述摄像头包括CMOS传感器；
列表建立单元，建立陀螺仪累积位姿列表，所述陀螺仪累积位姿列表包括陀螺仪角速度采集时刻及与所述陀螺仪角速度采集时刻对应的累积位姿；
估算单元，读取待处理的帧图像，所述帧图像包括帧缓存、各像素行的读取时刻，根据所述夹角和所述陀螺仪累积位姿列表，估算各像素行读取时刻摄像头的累积位姿；
校正单元，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正；
平滑单元，对校正后的摄像头的累积位姿进行平滑处理；
其中，所述参数确定单元提取测试视频中的各帧的尺度不变特征变换特征点并对前后两帧的特征点进行匹配，采用随机抽样一致法筛选出置信度较高的特征点匹配对，得到特征点匹配对集合，基于摄像头成像模型并利用非线性最优化算法迭代求解摄像头的内参K、摄像头与陀螺仪之间的夹角A，其中，摄像头成像模型是
Figure 535548DEST_PATH_IMAGE036
，X为世界坐标系中的Y点经过平移t和旋转R后在摄像头中的成像坐标；相邻的第n-1帧和第n帧中第m个匹配点的关系为：
Figure 631680DEST_PATH_IMAGE038
，采用迭代估计优化方法对多个匹配点所组成的方程组中的K和A进行求解，其中，
Figure 343284DEST_PATH_IMAGE040
，
Figure 536368DEST_PATH_IMAGE042
和
Figure 675225DEST_PATH_IMAGE044
分别表示第n-1帧和第n帧所对应时刻摄像头的旋转矩阵，
Figure 258653DEST_PATH_IMAGE046
和
Figure 508369DEST_PATH_IMAGE048
分别表示第n-1帧和第n帧所对应时刻陀螺仪的旋转矩阵。
9.根据权利要求8所述的视频稳像装置，其特征在于，所述列表建立单元采用如下公式，计算陀螺仪角速度采集时刻对应的累积位姿：
Figure DEST_PATH_IMAGE016AAAAA
其中，pose_gyroi表示角速度采集时刻t_gyroi陀螺仪的累积位姿，pose_gyroi-1表示角速度采集时刻t_gyroi-1陀螺仪的累积位姿，ωxi-1表示角速度采集时刻t_gyroi-1陀螺仪x轴角速度，ωyi-1表示角速度采集时刻t_gyroi-1陀螺仪y轴角速度，ωzi-1表示角速度采集时刻t_gyroi-1陀螺仪z轴角速度，update为一阶龙格库塔四元数微分算法。
10.根据权利要求9所述的视频稳像装置，其特征在于，所述估算单元采用如下公式，估算各像素行读取时刻摄像头的累积位姿：
Figure DEST_PATH_IMAGE018AAAAA
Figure DEST_PATH_IMAGE020AAAAA
Figure DEST_PATH_IMAGE022AAAAA
其中，
Figure 962484DEST_PATH_IMAGE024
表示第j帧图像第y行像素的读取时刻，t_gyronear与t_gyronear+1表示距离
Figure 865718DEST_PATH_IMAGE024
最近的前后两次陀螺仪角速度的采集时刻，
Figure 936442DEST_PATH_IMAGE026
表示
Figure 989849DEST_PATH_IMAGE024
时刻摄像头的累积位姿，pose_gyronear表示t_gyronear时刻陀螺仪的累积位姿，pose_gyronear+1表示t_gyronear+1时刻陀螺仪的累积位姿，slerp表示四元数球面插值算法，A表示摄像头与陀螺仪之间的夹角。
11.根据权利要求8所述的视频稳像装置，其特征在于，所述校正单元采用如下公式，根据第一像素行读取时刻摄像头的累积位姿对其后各像素行读取时刻摄像头的累积位姿进行校正：
Figure DEST_PATH_IMAGE028AAAAA
其中，
Figure 95208DEST_PATH_IMAGE050
表示第j帧图像第y行像素相对于该帧第1行像素的相对位姿，
Figure 575868DEST_PATH_IMAGE032
表示第j帧图像第y行像素摄像头的累积位姿的逆，
Figure 868309DEST_PATH_IMAGE052
表示第j帧图像第一像素行读取时刻摄像头的累积位姿。
12.根据权利要求8所述的视频稳像装置，其特征在于，所述校正单元采用基于匀速模型的无损卡尔曼滤波对校正后的摄像头的累积位姿进行平滑处理。
13.根据权利要求8所述的视频稳像装置，其特征在于，还包括裁剪单元，所述裁剪单元采用球面插值算法对经过平滑处理之后的摄像头的累积位姿进行约束和调整。
14.根据权利要求13所述的视频稳像装置，其特征在于，还包括逆向映射单元，所述逆向映射单元将，采用逆向映射方法并结合摄像头位姿调整量的逆对原始帧图像进行裁剪输出，获得稳像后的帧图像。
CN201910203098.3A 2019-03-18 2019-03-18 一种视频稳像方法及装置 Active CN110602377B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910203098.3A CN110602377B (zh) 2019-03-18 2019-03-18 一种视频稳像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910203098.3A CN110602377B (zh) 2019-03-18 2019-03-18 一种视频稳像方法及装置

Publications (2)

Publication Number Publication Date
CN110602377A CN110602377A (zh) 2019-12-20
CN110602377B true CN110602377B (zh) 2021-04-23

Family

ID=68852465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910203098.3A Active CN110602377B (zh) 2019-03-18 2019-03-18 一种视频稳像方法及装置

Country Status (1)

Country Link
CN (1) CN110602377B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556464B (zh) * 2021-05-24 2023-02-03 维沃移动通信有限公司 拍摄方法、装置及电子设备
CN114979489A (zh) * 2022-05-30 2022-08-30 西安理工大学 基于陀螺仪的重型装备生产场景视频监控稳像方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046623A (zh) * 2006-03-29 2007-10-03 三星电子株式会社 拍摄全景照片的设备和方法
JP2010160379A (ja) * 2009-01-09 2010-07-22 Panasonic Corp カメラキャリブレーション方法、およびカメラキャリブレーション装置
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN108307118A (zh) * 2018-02-10 2018-07-20 北京理工大学 一种基于惯导参数流形优化的低延时视频稳像方法
CN109167902A (zh) * 2018-10-31 2019-01-08 中国矿业大学(北京) 一种具有角度检测功能的摄像机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6412864B2 (ja) * 2013-09-25 2018-10-24 日本電産サンキョー株式会社 振れ補正機能付き光学ユニット
US10038850B2 (en) * 2014-09-23 2018-07-31 Texas Instruments Incorporated Optical image stabilization (OIS) with compensation for component misalignment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101046623A (zh) * 2006-03-29 2007-10-03 三星电子株式会社 拍摄全景照片的设备和方法
JP2010160379A (ja) * 2009-01-09 2010-07-22 Panasonic Corp カメラキャリブレーション方法、およびカメラキャリブレーション装置
CN103745474A (zh) * 2014-01-21 2014-04-23 南京理工大学 基于惯性传感器和摄像机的图像配准方法
CN108307118A (zh) * 2018-02-10 2018-07-20 北京理工大学 一种基于惯导参数流形优化的低延时视频稳像方法
CN109167902A (zh) * 2018-10-31 2019-01-08 中国矿业大学(北京) 一种具有角度检测功能的摄像机

Also Published As

Publication number Publication date
CN110602377A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
JP6937809B2 (ja) 制約ベースの回転平滑化を介してデジタルビデオを安定化するためのシステムおよび方法
CN107241544B (zh) 视频稳像方法、装置及摄像终端
JP4586534B2 (ja) 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
Karpenko et al. Digital video stabilization and rolling shutter correction using gyroscopes
Hee Park et al. Gyro-based multi-image deconvolution for removing handshake blur
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
US8559751B2 (en) Method and device for removing motion blur effects
CN111314604B (zh) 视频防抖方法和装置、电子设备、计算机可读存储介质
JP6087671B2 (ja) 撮像装置およびその制御方法
JP2011119802A (ja) 画像処理装置、画像処理方法
JP2011029735A5 (zh)
WO2017113917A1 (zh) 成像方法、成像装置和终端
JP2007228154A (ja) 画像処理装置および画像処理方法
US9384552B2 (en) Image registration methods for still image stabilization
CN110602377B (zh) 一种视频稳像方法及装置
JP2000298300A (ja) 手ぶれ画像補正方法、記録媒体及び撮像装置
WO2021035524A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
WO2021102893A1 (zh) 视频防抖优化处理方法和装置、电子设备
CN113436113A (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
CN111951295B (zh) 基于多项式拟合高精度确定飞行轨迹的方法、装置和电子设备
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
US10983363B2 (en) Method for stabilizing a camera frame of a video sequence
US20220174217A1 (en) Image processing method and device, electronic device, and computer-readable storage medium
CN113438409A (zh) 延迟校准方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201203 1st, 6th and 7th floors, building 2, No. 1761, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant after: Shanghai Li Ke Semiconductor Technology Co.,Ltd.

Address before: 201206 No. 1258 Mingyue Road, Shanghai, Pudong New Area

Applicant before: Shanghai Li Ke Semiconductor Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant