CN111405187A - 用于监控器材的图像防抖方法、系统、设备和存储介质 - Google Patents

用于监控器材的图像防抖方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN111405187A
CN111405187A CN202010300537.5A CN202010300537A CN111405187A CN 111405187 A CN111405187 A CN 111405187A CN 202010300537 A CN202010300537 A CN 202010300537A CN 111405187 A CN111405187 A CN 111405187A
Authority
CN
China
Prior art keywords
image
shake
camera
video sequence
monitoring equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010300537.5A
Other languages
English (en)
Inventor
逄增伦
石少峰
郭伟
杨文泉
孙晓燕
柳燕
徐崑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QINGDAO HAOHAI NETWORK TECHNOLOGY CO LTD
Original Assignee
QINGDAO HAOHAI NETWORK TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QINGDAO HAOHAI NETWORK TECHNOLOGY CO LTD filed Critical QINGDAO HAOHAI NETWORK TECHNOLOGY CO LTD
Priority to CN202010300537.5A priority Critical patent/CN111405187A/zh
Publication of CN111405187A publication Critical patent/CN111405187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及图像处理技术领域，特别涉及一种用于监控器材的图像防抖方法、系统、设备和存储介质。本公开提供的用于监控器材的图像防抖方法，通过尺度不变特征变换的方式，估计图像在像素坐标系下的平移抖动量，并结合MEMS检测的抖动量，对抖动量的精确补充，极大提高了相机获取的图像的稳定程度。并且，不仅增加了平移抖动量的估计，还避免了现有技术中采用的特征匹配误差，而且还降低了在防抖计算过程中的复杂程度。

Description

用于监控器材的图像防抖方法、系统、设备和存储介质
技术领域
本公开涉及图像处理技术领域，特别涉及一种用于监控器材的图像防抖方法、系统、设备和存储介质。
背景技术
固定在云台上的摄像机，会随着云台的运动产生随机的抖动，进而引起摄像机输出视频图像的不连贯变化。
视频图像的晃动会严重影响图像质量，进而对后面的图像造成较大干扰，尤其是在目标跟踪是，摄像系统的随机抖动会导致目标位置在画面上呈现不规则变化，增大了目标检测难度，甚至目标丢失。再者摄像机抖动引起的画面晃动使观察者产生疲劳，无法精确有效的观测画面。
想要从处于复杂运动状态的监控器材中得到稳定的视频图像，目前方法主要有三种：光学稳像、机械稳像和电子稳像。
发明内容
本公开的一方面提供了一种用于监控器材的图像防抖方法。所述图像防抖方法包括如下步骤：
所述方法用于带有MEMS陀螺仪的监控器材中，所述方法包括如下步骤：
读取所述陀螺仪的输出数据，以获得所述监控器材中相机的平移抖动量；
分离承载所述相机的云台带给相机的的非意向运动和意向运动形成的噪声干扰，以得到分离噪声的平滑图像数据；
对运动矢量进行运动估算处理，以得到第一视频序列；
获取所述第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度；
根据所述旋转角度对所述云台进行逆向补偿，以获得得到补偿后的第二连续视频序列；
将所述二次视频序列进行坐标转换，以得到在像素坐标系下的第三视频序列；
采取相邻图像补偿法，结合运动矢量坐标，对所述第三视频序列中的每一帧进行逆向旋转，以得到所述相机发生抖动前的坐标；
根据所述抖动前的坐标，对所述云台进行运动补偿，并采用相反方向移动以消除所述平移抖动量，以使所述相机得到稳定的视频图像。
在一实施例中，所述的获取第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度的步骤包括：
读取所述陀螺仪检测的相机的角速率和时间，并对角速率与时间的乘积结果进行线性差值补充，以获得所述旋转角度。
在一实施例中，所述的对云台进行运动补偿，并采用相反方向移动以消除平移抖动量，以使相机得到稳定的视频图像的步骤还包括：
对所述云台进行运动补偿，并采用相反方向移动以消除平移抖动量，以得到运动补偿后、且消除抖动量的视频图像
将所述消除抖动量的视频图像中的每相邻两帧图像进行重复区域重合拼接，以消除所述稳定的视频图像中的黑边，以得到所述稳定的视频图像。
本公开的另一方面是提供了一种用于监控器材的图像防抖系统。所述用于监控器材的图像防抖系统用于实现如前所述的用于监控器材的图像防抖方法的步骤。所述系统包括：
数据获取模块，用于读取所述陀螺仪的输出数据，以获得所述监控器材中相机的平移抖动量；
数据处理模块，用于分离承载所述相机的云台带给相机的非意向运动和意向运动形成的噪声干扰，以得到分离噪声的平滑图像数据；并且
还用于对运动矢量进行运动估算处理，以得到第一视频序列；
所述数据获取模块，还用于获取所述第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度；
数据补偿模块，用于根据所述旋转角度对所述云台进行逆向补偿，以获得得到补偿后的第二连续视频序列；
所述数据处理模块，还用于将所述二次视频序列进行坐标转换，以得到在像素坐标系下的第三视频序列；以及
还用于所述第三视频序列中的每一帧进行逆向旋转，以得到所述相机发生抖动前的坐标；
所述数据补偿模块，还用于根据所述抖动前的坐标，对所述云台进行运动补偿，并采用相反方向移动以消除所述平移抖动量，以使所述相机得到稳定的视频图像。
本公开的再一方面还提供了一种用于监控器材的图像防抖设备。所述用于监控器材的图像防抖设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如本公开前一方面所述的用于监控器材的图像防抖方法的步骤。
本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的用于监控器材的图像防抖方法的步骤。
在本公开提供的用于监控器材的图像防抖方法、系统、设备和存储介质中，通过尺度不变特征变换的方式，估计图像在像素坐标系下的平移抖动量，并结合MEMS检测的抖动量，对抖动量的精确补充，极大提高了相机获取的图像的稳定程度。并且，不仅增加了平移抖动量的估计，还避免了现有技术中采用的特征匹配误差，而且还降低了在防抖计算过程中的复杂程度。
附图说明
附图示例性地示出了实施例并且构成说明书地一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1是本公开一实施例所展示的图像防抖方法的步骤流程图；
图2是本公开一实施例提供的优选的获得稳定的视频图像的方法步骤流程图；
图3是本公开一实施例提供的输出稳定视频序列的处理过程示意图；
图4是本公开一实施例提供的用于监控器材的图像防抖系统模块连接示意图；
图5是本公开一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
通过上述说明可知，视频图像的晃动会严重影响图像质量，进而对后面的图像处理造成较大干扰。
为了降低摄像机的抖动而因此的视频图像晃动现象，现有技术中常采用光学稳像、机械稳像和电子稳像的方式来得到稳定的视频图像。
光学稳像和电子稳像虽然在图像补偿方面取得了很大的进展，但因电子设备受到体积、成本、便携性等因素的限制，往往都不适合被应用到电子设备上。而且电子稳像技术大多有实通过特征值匹配或者特征值跟踪等形成稳定的视频图像，其计算过程较为复杂，实时性也较差，在一些领域中，例如森林防火中难以使用。
并且，现有的陀螺仪的稳定算法虽然取得了较好的图像防抖效果，但其相机运动估计仅针对旋转运动，忽略了平移运动。当相机距离拍摄物体较远时，平移抖动相对于高频率的旋转抖动可以忽略不计。目前的电子设备很多在近处使用，当物体距相机较近时，相机的平移抖动亦会严重影响拍摄效果。
为了解决现有技术存在的问题，发明人通过创造性的劳动提出了一种用于监控器材的图像防抖方法、系统、设备和存储介质。值得说明的是，本公开提供的图像防抖方法，不仅能够用于监控器材的防抖过程中，而且还可以应用于其他带有陀螺仪的图像拍摄器材中。
以下结合附图和具体实施例对本公开提出的用于监控器材的图像防抖方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明，本公开的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本公开实施例的目的。
应当理解的内容是，说明书中的用辞仅用于描述特定的实施例，并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义，均具有本领域技术人员通常理解的含义。为简明和/或清楚起见，公知的功能或结构不再详细说明。
本公开以带有MEMS(Micro-Electro-Mechanical System，微机电系统)陀螺仪的防火监控器材为例，对本公开提供的技术方案进行详细说明。关于图像防抖方法的示例说明
请参阅图1，其展示了本公开一实施例中的图像防抖方法的步骤流程图。
在这个实施例的步骤S001中，读取所述陀螺仪的输出数据，以获得所述监控器材中相机的平移抖动量；
在这个实施例的步骤S002中，分离承载所述相机的云台带给相机的的非意向运动和意向运动形成的噪声干扰，以得到分离噪声的平滑图像数据；
在这个实施例的步骤S003中，对运动矢量进行运动估算处理，以得到第一视频序列；
在这个实施例的步骤S004中，获取所述第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度；
在这个实施例的步骤S005中，根据所述旋转角度对所述云台进行逆向补偿，以获得得到补偿后的第二视频序列；
在这个实施例的步骤S006中，将所述二次视频序列进行坐标转换，以得到在像素坐标系下的第三视频序列；
在这个实施例的步骤S007中，采取相邻图像补偿法，结合运动矢量坐标，对所述第三视频序列中的每一帧进行逆向旋转，以得到所述相机发生抖动前的坐标；
在这个实施例的步骤S008中，根据所述抖动前的坐标，对所述云台进行运动补偿，并采用相反方向移动以消除所述平移抖动量，以使所述相机得到稳定的视频图像。
在本公开的一实施例中，所述的获取初次视频序列在三维坐标系中的相对于每个坐标轴的旋转角度的步骤包括：
读取所述陀螺仪检测的相机的角速率和时间，并对角速率与时间的乘积结果进行线性差值补充，以获得所述旋转角度。
在本公开的一实施例中，还对获得稳定的视频图像进行了进一步的说明，如图2所示，是本公开一实施例体提供的优选的获得稳定的视频图像的方法步骤流程图。
在步骤S011中，对所述云台进行运动补偿，并采用相反方向移动以消除平移抖动量，以得到运动补偿后、且消除抖动量的视频图像；
在步骤S012中，将所述消除抖动量的视频图像中的每相邻两帧图像进行重复区域重合拼接，以消除所述稳定的视频图像中的黑边，以得到所述稳定的视频图像。
为了更加详细的说明本公开提供的方法，本公开还以防火监控器材为例，进一步对本公开提供的方案进行说明。具体内容如下：
如图3所示，图3是本公开一实施例提供的输出稳定视频序列的处理过程示意图。对于实现防抖目的来说，首先通过MEMS陀螺仪进行运动估计，计算连续视频序列之间的旋转量。其次，由于相机存在意向运动以及非意向运动，利用高斯平滑滤波将摄像平台的非意向运动(高频率抖动)和意向运动(低频率抖动)进行分离，得到精确的运动矢量。最后，根据精确的相机运动矢量，结合相机自身标定进行运动补偿，得到稳定的视频序列。
更具体地来说稳像技术包括3个阶段：运动估计、运动滤波以及运动补偿。
首先，其运动估计是由防火监控设备内置的MEMS陀螺仪提供数据的。MEMS陀螺仪是一种用于检测角速度(角速率)，也就是单位时间内的旋转角度的设备。通过MEMS陀螺仪的IIC接口获取相关的数据(陀螺仪输出:相机绕x,y,z这3个轴旋转的角速率)进行运动估计，计算对应的连续视频序列之间的旋转量。视频图像在像素坐标系中的抖动(VPM)主要由相机旋转抖动(CRM)、相机平移抖动(CTM)和拍摄物体的运动(POM)3个因素造成，可描述为：
CRM+CTM+POM→VPM (1)
采用SIFT方法难免会有特征点落在运动物体上，因为它们不属于相机运动，必须将其剔除。定义TOM为CTM和POM的组合，可描述为：
CTM+POM＝VPM—CRM→TOM (2)
利用拉依达准则剔除落在运动物体上的特征点，其公式为：
|fi-u|>2s (3)
其中，f是SIFT特征向量，u是TOM的均值，s是TOM的标准方差。剔除满足式(3)的特征点后，式(2)变为：
VPM—CRM→CTM (4)
即可获得平移抖动量。
其次，由于相机存在摄像平台(承载相机的云台)带来的意向运动以及非意向运动，利用高斯平滑滤波将摄像平台的非意向运动(高频率抖动)和意向运动(低频率抖动)即噪声的干扰，进行分离，得到平滑图像数据。
Figure BDA0002453817890000071
其中，xc表示核函数中心,σ表示核函数的宽度参数，其值将直接影响平滑程度。根据高斯平滑后的MEMS运动矢量进行运动估算，就能进而得到稳定的视频序列。
在笛卡尔坐标系中，俯仰角表示绕x轴旋转，会造成图像的垂直方向平移；偏航角表示绕z轴旋转，会造成图像的水平方向的平移；翻滚角表示绕y轴旋转，会造成图像的旋转。获得相关陀螺仪数据之后，根据旋转角度＝角速率*时间，估计连续视频序列之间绕X轴，Y轴和Z轴旋转的角度Φ，θ，ψ，则旋转矩阵R(Φ，θ，ψ)为：
Figure BDA0002453817890000072
因为采样频率的问题，在某些时刻可能存在无陀螺仪数据的情况，为了提高算法精度，采用差值算法进行线性差值补充，以遍后期获取可连续视频序列。
得到连续视频序列对应点之间的旋转角度之后，通过逆向补偿的方式即可得到稳定的连续视频序列。通过坐标系的一系列转换，将真实世界的物体的三维坐标系，经过一系列的矩阵转换获取到最终的物体在图像中的二维的像素坐标系。
图像坐标系中的点与相机坐标系中的点关系描述为p,x和y为二维坐标值，Xc,Yc,Zc为三维坐标值，f为相机焦距，其坐标转换依据以下公式：
Figure BDA0002453817890000081
Figure BDA0002453817890000082
Figure BDA0002453817890000083
然后采取相邻图像补偿法，结合上述的运动矢量坐标，对当前的视频帧进行相应的逆向旋转得到抖动前的坐标，然后进行运动补偿，如果出现平移的情况，则由FPGA根据平移的角度对搭载相机的云台进行逆向操作(实现过程是由FPGA通过422接口向云台的主控板发送相应的指令，然后由云台主控板控制驱动器最终实现相应的移动操作)，如图像向左平移，则控制云台向右移动对应的角度，进行平移的纠正，这时候得到的图像就是稳像图像。
但稳像的图像可能因旋转和平移造成边沿图像信息的丢失(即黑边)，简单的图像裁剪不能取得理想的效果，这时候我们通过前后两帧图像直接的图像进行拼接，能够有效地降低因图像丢失造成的黑边问题，但是会产生拼接痕迹问题。然我们通过加权融合的策略使得图像的边界更加平滑、降低拼接痕迹的程度，最终实现稳定图像的输出。
对图像重叠区域的灰度值进行加权求和处理，加权求和后的灰度值为f(x,y)＝w1(x,y)f1(x,y)+w2(x,y)f2(x,y)其中，w1,w2为权值，其和为1,x,y为重叠区域像素点的横纵坐标。权值的渐变过程为
Figure BDA0002453817890000091
Figure BDA0002453817890000092
其中，xi为当前像素点横坐标，xl,xr为重叠区域左右边界坐标，w1
由1逐渐变为0，w2由0逐渐变为1。
通过以上过程，由硬件和算法的结合最终实现了一种具有防抖功能的防火监控设备，实现了本公开的提出的图像防抖的目的。
关于用于监控器材的图像防抖系统的示例说明
本公开的一实施例中还提供了一种用于监控器材的图像防抖系统。在图4中，展示了本公开一实施例提供的用于监控器材的图像防抖系统模块连接示意图。该系统包括：
数据获取模块301，用于读取所述陀螺仪的输出数据，以获得所述监控器材中相机的平移抖动量；
数据处理模块302，用于分离承载所述相机的云台带给相机的非意向运动和意向运动形成的噪声干扰，以得到分离噪声的平滑图像数据；并且
还用于对运动矢量进行运动估算处理，以得到第一视频序列；
所述数据获取模块301，还用于获取所述第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度；
数据补偿模块303，用于根据所述旋转角度对所述云台进行逆向补偿，以获得得到补偿后的第二连续视频序列；
所述数据处理模块302，还用于将所述二次视频序列进行坐标转换，以得到在像素坐标系下的第三视频序列；以及
还用于所述第三视频序列中的每一帧进行逆向旋转，以得到所述相机发生抖动前的坐标；
所述数据补偿模块303，还用于根据所述抖动前的坐标，对所述云台进行运动补偿，并采用相反方向移动以消除所述平移抖动量，以使所述相机得到稳定的视频图像。
关于用于监控器材的图像防抖设备的示例说明
本公开的一实施例中还提供了一种图像防抖设备。所述图像防抖设备包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现本公开中说明的图像防抖方法的步骤。
本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
关于可读存储介质的示例说明
本公开的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时能够实现上述公开中图像防抖方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式，但在一些可能的实施方式中，本公开说明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本公开中图像防抖方法部分中描述的根据本公开各种实施例中实施方式的步骤。
图5是本公开一实施例提供的计算机可读存储介质的结构示意图。如图5所示，其中描述了根据本公开的实施方式中用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。当然，依据本实施例产生的程序产品不限于此，在本公开中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本公开提供的用于监控器材的图像防抖方法、系统、设备和存储介质中，通过尺度不变特征变换的方式，估计图像在像素坐标系下的平移抖动量，并结合MEMS检测的抖动量，对抖动量的精确补充，极大提高了相机获取的图像的稳定程度。并且，不仅增加了平移抖动量的估计，还避免了现有技术中采用的特征匹配误差，而且还降低了在防抖计算过程中的复杂程度。
上述描述仅是对本公开较佳实施例的描述，并非对本公开范围的任何限定，本公开领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (6)

1.一种用于监控器材的图像防抖方法，其特征在于，所述方法用于带有MEMS陀螺仪的监控器材中，所述方法包括如下步骤：
读取所述陀螺仪的输出数据，以获得所述监控器材中相机的平移抖动量；
分离承载所述相机的云台带给相机的的非意向运动和意向运动形成的噪声干扰，以得到分离噪声的平滑图像数据；
对运动矢量进行运动估算处理，以得到第一视频序列；
获取所述第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度；
根据所述旋转角度对所述云台进行逆向补偿，以获得得到补偿后的第二视频序列；
将所述二次视频序列进行坐标转换，以得到在像素坐标系下的第三视频序列；
采取相邻图像补偿法，结合运动矢量坐标，对所述第三视频序列中的每一帧进行逆向旋转，以得到所述相机发生抖动前的坐标；
根据所述抖动前的坐标，对所述云台进行运动补偿，并采用相反方向移动以消除所述平移抖动量，以使所述相机得到稳定的视频图像。
2.如权利要求1所述的用于监控器材的图像防抖方法，其特征在于，所述的获取第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度的步骤包括：
读取所述陀螺仪检测的相机的角速率和时间，并对角速率与时间的乘积结果进行线性差值补充，以获得所述旋转角度。
3.如权利要求1所述的用于监控器材的图像防抖方法，其特征在于，所述的对云台进行运动补偿，并采用相反方向移动以消除平移抖动量，以使相机得到稳定的视频图像的步骤还包括：
对所述云台进行运动补偿，并采用相反方向移动以消除平移抖动量，以得到运动补偿后、且消除抖动量的视频图像；
将所述消除抖动量的视频图像中的每相邻两帧图像进行重复区域重合拼接，以消除所述稳定的视频图像中的黑边，以得到所述稳定的视频图像。
4.一种用于监控器材的图像防抖系统，用于实现权利要求1至3中任一项所述的用于监控器材的图像防抖方法的步骤，其特征在于，所述系统包括：
数据获取模块，用于读取所述陀螺仪的输出数据，以获得所述监控器材中相机的平移抖动量；
数据处理模块，用于分离承载所述相机的云台带给相机的非意向运动和意向运动形成的噪声干扰，以得到分离噪声的平滑图像数据；并且
还用于对运动矢量进行运动估算处理，以得到第一视频序列；
所述数据获取模块，还用于获取所述第一视频序列在三维坐标系中的相对于每个坐标轴的旋转角度；
数据补偿模块，用于根据所述旋转角度对所述云台进行逆向补偿，以获得得到补偿后的第二连续视频序列；
所述数据处理模块，还用于将所述二次视频序列进行坐标转换，以得到在像素坐标系下的第三视频序列；以及
还用于所述第三视频序列中的每一帧进行逆向旋转，以得到所述相机发生抖动前的坐标；
所述数据补偿模块，还用于根据所述抖动前的坐标，对所述云台进行运动补偿，并采用相反方向移动以消除所述平移抖动量，以使所述相机得到稳定的视频图像。
5.一种用于监控器材的图像防抖设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至3中任一项所述的用于监控器材的图像防抖方法的步骤。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的用于监控器材的图像防抖方法的步骤。
CN202010300537.5A 2020-04-16 2020-04-16 用于监控器材的图像防抖方法、系统、设备和存储介质 Pending CN111405187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010300537.5A CN111405187A (zh) 2020-04-16 2020-04-16 用于监控器材的图像防抖方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010300537.5A CN111405187A (zh) 2020-04-16 2020-04-16 用于监控器材的图像防抖方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN111405187A true CN111405187A (zh) 2020-07-10

Family

ID=71429597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010300537.5A Pending CN111405187A (zh) 2020-04-16 2020-04-16 用于监控器材的图像防抖方法、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111405187A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261262A (zh) * 2020-10-21 2021-01-22 维沃移动通信有限公司 图像校准方法和装置、电子设备和可读存储介质
CN112383712A (zh) * 2020-11-12 2021-02-19 北京环境特性研究所 一种机载视频陀螺稳像处理方法及装置
CN114765663A (zh) * 2021-01-14 2022-07-19 北京小米移动软件有限公司 防抖处理方法、装置、移动设备及存储介质
WO2022227040A1 (zh) * 2021-04-30 2022-11-03 深圳市大疆创新科技有限公司 视频增稳方法、成像装置、手持云台、可移动平台及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257129A1 (en) * 2005-05-11 2006-11-16 Konica Minolta Photo Imaging, Inc. Image sensing apparatus equipped with anti-shake mechanism
CN105681674A (zh) * 2016-03-21 2016-06-15 南通大学 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN108513603A (zh) * 2017-07-31 2018-09-07 深圳市大疆灵眸科技有限公司 云台拍摄器
CN110139031A (zh) * 2019-05-05 2019-08-16 南京大学 一种基于惯性感知的视频防抖系统及其工作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257129A1 (en) * 2005-05-11 2006-11-16 Konica Minolta Photo Imaging, Inc. Image sensing apparatus equipped with anti-shake mechanism
CN105681674A (zh) * 2016-03-21 2016-06-15 南通大学 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN108513603A (zh) * 2017-07-31 2018-09-07 深圳市大疆灵眸科技有限公司 云台拍摄器
CN110139031A (zh) * 2019-05-05 2019-08-16 南京大学 一种基于惯性感知的视频防抖系统及其工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵赛等: ""基于 MEMS 陀螺仪的电子稳像算法"", 《西北大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261262A (zh) * 2020-10-21 2021-01-22 维沃移动通信有限公司 图像校准方法和装置、电子设备和可读存储介质
CN112383712A (zh) * 2020-11-12 2021-02-19 北京环境特性研究所 一种机载视频陀螺稳像处理方法及装置
CN114765663A (zh) * 2021-01-14 2022-07-19 北京小米移动软件有限公司 防抖处理方法、装置、移动设备及存储介质
WO2022227040A1 (zh) * 2021-04-30 2022-11-03 深圳市大疆创新科技有限公司 视频增稳方法、成像装置、手持云台、可移动平台及存储介质

Similar Documents

Publication Publication Date Title
CN111405187A (zh) 用于监控器材的图像防抖方法、系统、设备和存储介质
US9979889B2 (en) Combined optical and electronic image stabilization
CN108259703B (zh) 一种云台的跟拍控制方法、装置及云台
US10594941B2 (en) Method and device of image processing and camera
EP2849428B1 (en) Image processing device, image processing method, image processing program, and storage medium
CN106911889B (zh) 图像模糊校正设备和倾斜校正设备及其控制方法
US20170078577A1 (en) Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus
US9338355B2 (en) Image capturing apparatus, control method thereof, and storage medium
WO2021027323A1 (zh) 基于仿生眼平台的混合稳像方法和装置
CN109618103B (zh) 无人机图传视频的防抖方法及无人机
JP2015070328A (ja) 撮像装置およびその制御方法
CN110622091A (zh) 云台的控制方法、装置、系统、计算机存储介质及无人机
CN112022355A (zh) 基于计算机视觉的手眼标定方法及装置、存储介质
CN107370941B (zh) 一种信息处理方法及电子设备
US20210185231A1 (en) Image stabilization apparatus, method of controlling same, and storage medium
EP3835913A1 (en) Control method of handheld gimbal, handheld gimbal, and handheld device
CN109561254A (zh) 一种全景视频防抖的方法、装置及便携式终端
EP3840358A1 (en) Mode switching method and device for tripod head, movable platform, and storage medium
CN110060295B (zh) 目标定位方法及装置、控制装置、跟随设备及存储介质
CN112640419B (zh) 跟随方法、可移动平台、设备和存储介质
WO2020257999A1 (zh) 图像处理方法、装置、云台和存储介质
CN109688327B (zh) 一种全景视频防抖的方法、装置及便携式终端
CN114125305A (zh) 拍摄方法、装置及设备
WO2019205103A1 (zh) 云台姿态修正方法、云台姿态修正装置、云台、云台系统和无人机
US10764500B2 (en) Image blur correction device and control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710

RJ01 Rejection of invention patent application after publication