CN106257911A - 用于视频图像的图像稳定方法和装置 - Google Patents

用于视频图像的图像稳定方法和装置 Download PDF

Info

Publication number
CN106257911A
CN106257911A CN201610339143.4A CN201610339143A CN106257911A CN 106257911 A CN106257911 A CN 106257911A CN 201610339143 A CN201610339143 A CN 201610339143A CN 106257911 A CN106257911 A CN 106257911A
Authority
CN
China
Prior art keywords
image
attitude angle
video image
displacement
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610339143.4A
Other languages
English (en)
Inventor
黄程
詹朝林
徐云翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Staring (Shenzhen) technology Limited by Share Ltd
Original Assignee
Shanghai Nine Eagles Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Nine Eagles Electronic Technology Co Ltd filed Critical Shanghai Nine Eagles Electronic Technology Co Ltd
Priority to CN201610339143.4A priority Critical patent/CN106257911A/zh
Publication of CN106257911A publication Critical patent/CN106257911A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种用于视频图像的图像稳定方法和装置。该视频图像稳定方法包括：获取由图像采集模块采集的视频图像；检测视频图像采集时所述图像采集模块的姿态角变化；利用检测到的姿态角变化对所述视频图像进行姿态角校正处理；检测所述视频图像的不同图像帧之间的位移；以及利用检测到的位移对所述视频图像进行位移校正处理。

Description

用于视频图像的图像稳定方法和装置
技术领域
本申请涉及图像处理技术，更具体地，涉及一种用于视频图像的图像稳定方法和装置。
背景技术
无人飞行器是一种利用无线电遥控设备和机载控制设备操控的不载人飞行器。近年来，随着技术的快速发展，无人飞行器的生产和应用得到了蓬勃发展，许多公司都推出了各自的无人飞行器产品。
无人飞行器上通常都会装载图像采集设备，例如摄像头，其能够在无人飞行器飞行时采集静态图像或动态视频图像，以供操作人员查看。然而，为了躲避障碍或追踪目标，无人飞行器会在其飞行过程中频繁地进行姿态调整，这会带动图像采集设备的姿态和位置变化，进而导致所采集的图像发生抖动，成像质量也会显著下降。
为了解决上述问题，现有的无人飞行器利用机械云台来连接无人飞行器的机身和图像采集设备。机械云台具有机械防抖的功能，其能够在无人飞行器飞行过程中减少图像采集设备的抖动，从而提高成像质量。然而，机械云台的结构复杂，并且对安装的图像采集设备也有特殊要求。因此，机械云台的使用大幅提高了无人飞行器的成本。
因此，需要一种改进的图像稳定方法。
发明内容
本申请的目的之一是提供一种图像稳定方法，其不需要机械稳定装置来稳定图像采集设备采集的视频图像。
在本申请的一个方面，提供了一种用于视频图像的图像稳定方法。该图像稳定方法包括：获取由图像采集模块采集的视频图像；检测视频图像采集时所述图像采集模块的姿态角变化；利用检测到的姿态角变化对所述视频图像进行姿态角校正处理；检测所述视频图像的不同图像帧之间的位移；以及利用检测到的位移对所述视频图像进行位移校正处理。
这种图像稳定方法可以通过预定的算法来对视频图像进行校正处理，从而补偿图像采集模块的姿态角变化以及图像采集模块的振动对视频图像的影响。这种处理方式不需要机械稳定装置，有效降低了图像稳定处理的成本。在本申请的另一个实施例，还提供了一种用于视频图像的图像稳定装置。该图像稳定装置包括：图像采集模块，用于采集并生成视频图像；运动传感器，用于检测视频图像采集时所述图像采集模块的运动状态；姿态角计算模块，用于根据运动传感器的检测结果计算视频图像采集时所述图像采集模块的姿态角变化；姿态角校正模块，用于利用检测到的姿态角变化对所述视频图像进行姿态角校正处理；以及位移校正模块，用于检测所述视频图像的不同图像帧之间的位移，并且利用检测到的位移对所述视频图像进行位移校正处理。
以上为本申请的概述，可能有简化、概括和省略细节的情况，因此本领域的技术人员应该认识到，该部分仅是示例说明性的，而不旨在以任何方式限定本申请范围。本概述部分既非旨在确定所要求保护主题的关键特征或必要特征，也非旨在用作为确定所要求保护主题的范围的辅助手段。
附图说明
通过下面说明书和所附的权利要求书并与附图结合，将会更加充分地清楚理解本申请内容的上述和其他特征。可以理解，这些附图仅描绘了本申请内容的若干实施方式，因此不应认为是对本申请内容范围的限定。通过采用附图，本申请内容将会得到更加明确和详细地说明。
图1是根据本申请一个实施例的无人飞行器的示意图；
图2示出了图1所示的无人飞行器的电子系统的框图；
图3示出了根据本申请一个实施例的用于视频图像的图像稳定方法的流程图；
图4示例性地表示了图1的无人飞行器的姿态角检测的参考系；
图5示出了校正翻转姿态时对视频图像的旋转操作；
图6示出了根据本申请一个实施例的确定两个图像帧相对位移的示意图；
图7示出了根据本申请一个实施例的用于视频图像的图像稳定装置的框图。
具体实施方式
在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的符号通常表示类似的组成部分，除非上下文另有说明。详细描述、附图和权利要求书中描述的说明性实施方式并非旨在限定。在不偏离本申请的主题的精神或范围的情况下，可以采用其他实施方式，并且可以做出其他变化。可以理解，可以对本申请中一般性描述的、在附图中图解说明的本申请内容的各个方面进行多种不同构成的配置、替换、组合，设计，而所有这些都明确地构成本申请内容的一部分。
图1示出了根据本申请一个实施例的无人飞行器100的示意图。本申请的用于视频图像的图像稳定方法可以用于处理该无人飞行器100上装载的图像采集设备采集的视频图像。在下文中，均以无人飞行器100为应用环境介绍本申请的图像稳定方法，但是本领域技术人员可以理解，本申请的图像稳定方法也可以用于其他应用场合，例如用于摄像机或手机上装载的图像采集设备的图像稳定处理。
如图1所示，该无人飞行器100包括机身102，以及固定在机身102上的多个旋翼104。其中，机身102中可以放置电池、控制电路板和/或其他部件(图中未示出)。在一些实施例中，无人飞行器100可以包括2个、4个、6个或更多个旋翼。无人飞行器100还包括支撑构件106，其上部被固定于机身102上，而其下部则用于固定地连接图像采集模块108和运动传感器110。其中，该图像采集模块108电耦接到机身102中的控制电路板，以与其进行数据和信号交互。例如，图像采集模块108可以采集图像信号，并且将采集到的图像信号发送给控制电路板。类似地，运动传感器110也电耦接到控制电路板，以将检测到的反映无人飞行器及其各个部件的运动状态变化的运动检测信号发送给控制电路板。控制电路板上通常安装有处理器、图像处理模块或其他电子控制组件，以作为无人飞行器的控制系统。控制电路板可以接收图像信号和运动检测信号，并且对其进行处理，例如由处理器或图像处理模块来处理图像信号。此外，控制电路板还可以向图像采集模块108和运动传感器110发送控制指令，以控制这些模块的运行。关于无人飞行器的电子控制系统的内容将在下文中进一步说明。
在图1所示的实施例中，图像采集模块108与运动传感器110通过支撑构件106固定地耦接在一起，因而图像采集模块108与无人飞行器100的机身102基本以相同的姿态运动。因此，运动传感器110能够准确地检测机身102和图像采集模块108的运动状态的变化，例如姿态角变化，或者沿不同方向的加速度、速度和/或位移变化。在此所称的机身102和图像采集模块108的姿态或姿态角，是指其相对于地面或地面上的观察者所在的参考系的姿态或姿态角，而姿态角变化是指机身102或图像采集模块108的当前姿态角相对于参考姿态角的变化。当参考姿态角的各个元素(例如俯仰姿态角、翻转姿态角和方位姿态角)为零时，检测到的姿态角变化的大小即为当前姿态角的大小。
具体地，运动传感器110可以检测图像采集模块108的姿态角，例如由于无人飞行器运动带动图像采集模块108运动所引起的俯仰姿态角变化、翻转姿态角变化和/或方位姿态角变化。在一些实施例中，运动传感器110可以是9轴陀螺仪，其包括三轴加速度计、三轴磁力计和三轴角速度计的组合；或者是6轴陀螺仪，其包括三轴磁力计和三轴角速度计的组合、或者三轴加速度计和三轴角速度计的组合。
需要说明的是，在一些实施例中，支撑构件106还可以具有减震机构，例如减震连接器。该减震机构能够同时缓冲图像采集模块108和运动传感器110的运动，例如缓冲图像采集模块108和运动传感器110的振动。通常而言，减震机构不会影响机身102和图像采集模块108的姿态检测。
在一些其他的实施例中，图像采集模块108与运动传感器110可以通过不同的支撑构件分别地固定到机身102上，从而使得这两者被固定地耦接在一起。固定地耦接意味着图像采集模块108与运动传感器110之间不会发生相对运动。在另一些实施例中，运动传感器110可以被直接固定在机身102上，例如被集成在控制电路板中，而图像采集模块108则被通过支撑构件106固定到机身102上。在此情况下，运动传感器110和图像采集模块108之间大体仍不会发生相对运动。
图2示出了图1所示的无人飞行器的电子系统的框图。
如图2所示，无人飞行器的电子系统包括控制模块112，其例如可以为微控制器(MCU)、中央控制器(CPU)、数字信号处理器(DSP)或其他类似能够进行数据/信号处理和操作控制的模块。控制模块112耦接到图像采集模块108和运动传感器110，以分别接收其采集的图像信号和运动检测信号。这些信号可以是模拟信号，也可以是数字信号。控制模块112可以运行各种软件程序，例如用于实现本申请的图像稳定方法的程序，从而根据该程序对图像采集模块108提供的视频图像进行处理。
电子系统还包括存储器116，其用于存储各种数据。存储器116被耦接到控制模块112，其在控制模块112的控制下写入或读出数据。例如，存储器116可以从控制模块112接收经控制模块112处理的视频图像的数据，并且将其存储起来。在一些替代的实施例中，视频图像或其他数据，也可以经由电子系统的通信模块114直接发送出去，例如发送给外部控制终端120，并由该外部控制终端120存储或显示。这样，操作人员可以通过外部控制终端120的显示实时地查看视频图像。
控制模块112还耦接旋翼驱动马达118，其可以运行例如飞行控制程序来驱动旋翼马达118，进而控制无人飞行器的飞行动作和轨迹。在一些替代的实施例中，旋翼驱动马达118可以具有单独的飞行控制模块(图中未示出)。相应地，控制模块112可以耦接到该飞行控制模块，以经由该飞行控制模块控制无人飞行器的飞行。
图3示出了根据本申请一个实施例的用于视频图像的图像稳定方法300的流程图。该图像稳定方法300可以用于例如图1和图2所示的无人飞行器中，例如用于对无人飞行器上携带的图像采集模块采集的视频图像进行图像稳定处理。在实际应用中，在采用该图像稳定方法300后，视频图像的图像稳定处理可以通过运行软件程序来完成，这就避免了使用机械云台或类似装置来进行图像稳定。
接下来，结合无人飞行器这一具体应用，对该图像稳定方法300的具体步骤和细节进行详述。
如图3所示，在步骤S302，获取由图像采集模块采集的视频图像。
当无人飞行器在空中飞行时，其上装载的图像采集模块可以对准无人飞行器的外部环境或一追踪目标，从而大体实时地采集图像，并且生成具有相应内容的视频图像。根据图像采集模块具体型号和参数的不同，所采集的视频图像可以具有各种格式和规格，例如视频图像的格式为YUV或RGB或YcbCr；视频图像的分辨率为4096×2160(4K)、3840×2160(4K)、2704×1520(2.7K)、1920×1080、1280×720，或者其他更低或更高的分辨率；而视频图像的帧率可以为24帧/秒、25帧/秒、30帧/秒、48帧/秒、50帧/秒、60帧/秒、120帧/秒，等等。
需要说明的是，在实际应用中，在图像采集模块生成视频图像的过程中，通常需要经过曝光、传感器扫描、数据编码以及数据读取等诸多处理步骤。因此，视频图像中每一帧图像的采集时间可能相较于外部环境的变化或追踪目标的动作略有延迟，下文中会介绍通过同步处理来校正所述延迟。
接着，在步骤S304，检测视频图像采集时图像采集模块的姿态角。
正如前述，在图像采集模块采集视频图像的同时，无人飞行器带动包括图像采集模块在内的各个模块飞行，从而使得图像采集模块的姿态可能发生变化。通过无人飞行器上装载的运动传感器，图像采集模块的姿态角可以被实时地检测。
运动传感器实质上作用为一姿态定向系统。通常地，姿态定向系统包括多个多轴传感器，例如角速度计、加速度计以及磁力计等。姿态定向系统通过这些传感器来采集与物体姿态相关的数据信息(例如，角速度、加速度或磁场强度等)，并采用特定的算法来计算并表示物体的姿态和/或运动方向。在传统的姿态定向系统中，物体相对于物体坐标系(即物体自身所在的局部坐标系)的姿态通常由欧拉角(即，对应于三个旋转轴的俯仰角(pitch)、翻转角(roll)以及方位角(yew))表示。然而，采用欧拉角表示物体的姿态或物体的旋转时，会出现万向节锁定(Gimbal Lock)问题，即当物体的旋转使得三个旋转轴中的两个旋转轴相互平行时，绕一个旋转轴的旋转可能会覆盖绕另一个旋转轴的旋转，从而失去一个旋转自由度。一种避免出现万向节锁定的方法采用四元数(Quaternion)参数来描述物体的姿态。四元数由实数与三个元素i、j、k组成，其中i、j、k满足i2+k2+j2＝ijk＝-1的关系，每个四元数都可以表示为1、i、j、k的线性组合。由于四元数的表达式没有类似于欧拉角的奇点，因此，以四元数来描述的物体姿态不会出现万向节锁定的问题。在传统的姿态定向系统中，可以利用三轴陀螺仪(角速度计)测量物体运动的角速度，并进一步地对该角速度进行积分，从而得到以四元数参数表示的物体的姿态。
图4示例性地表示了图1的无人飞行器的姿态角检测的参考系。如图4所示，无人飞行器100的姿态角由绕3个旋转轴X、Y和Z的俯仰角、翻转角和方位角表示，其中，图像采集模块108的成像平面与Y轴垂直，并且运动传感器的各个检测方向Bx、By和Bz也与三个旋转轴X、Y和Z的方向分别萍乡，以便于数据处理。可以理解，在一些其他的实施例中，无人飞行器的姿态角、图像采集模块的成像平面以及运动传感器的检测方向也可以不按照图4所示的方向设置，例如无人飞行器对应的X轴和Y轴分别与运动传感器对应的Bx轴和By轴平行，但是无人飞行器对应的Z轴与运动传感器对应的Bz轴之间存在夹角；或者再例如，无人飞行器对应的X轴与运动传感器对应的Bx轴平行，但是无人飞行器对应的Y轴和Z轴分别与运动传感器对应的By轴和Bz轴之间存在夹角。本领域技术人员可以理解，由于无人飞行器、图像采集模块和运动传感器是固定地耦接在一起的，因此姿态角和运动传感器的检测方向之间的夹角是固定不变的，因而其不会实质地影响本申请的图像稳定方法的实现。在下文中，均以图4的方向设置为例，对本申请的图像稳定方法进行说明，但是本申请不限于此。
正如前述，可以通过三轴角速度计来测量无人飞行器的角速度，并且对角速度积分，从而得到以例如四元数表示的无人飞行器的姿态。替代地，也可以通过加速度计来检测重力，从而确定无人飞行器相对于地面的姿态。在一些优选的实施例中，也可以采用加速度计、磁力计和/或角速度计的组合来共同的检测无人飞行器的姿态，从而确定无人飞行器以及其上装载的图像采集模块的姿态角的变化。
在一些实施例中，运动传感器可以是6轴陀螺仪，其包括三轴加速度计和三轴角速度计的组合。相应地，可以采用四元数将三轴角速度计与三轴加速度计的检测数据进行互补融合。其中，加速度计用于检测重力加速度，但是由于飞行时无人飞行器自身运动(例如机身振动)的加速度会影响加速度计的检测结果，因此短时间内加速度计的检测结果可靠性相对较低。角速度计的噪声小，但是其积分是离散的，长时间的积分会出现漂移的问题，因此可以用加速度计的求得的姿态来校正角速度计积分姿态的漂移。
可以通过下述方法来利用检测到的加速度和角速度计算图像采集模块的姿态角。
(1)初始化四元数与误差积分
q0＝1.0f
q1＝0.0f
q2＝0.0f
q3＝0.0f
exint＝0.0
eyint＝0.0
ezint＝0.0
(2)将加速度计的检测数据(三维向量(ax,ay,az)，其中每个元素表示一个检测轴上的检测值)转化为单位向量
norm＝sqrt(ax*ax+ay*ay+az*az)
ax＝ax/norm
ay＝ay/norm
az＝az/norm
(3)根据角速度计的检测数据估算的姿态推算重力向量(三维向量(vx,vy,vz))
vx＝2*(q1*q3-q0*q2)
vy＝2*(q2*q3-q0*q1)
vz＝q0*q0-q1*q1-q2*q2+q3*q3
(4)计算(2)和(3)的向量(即三维向量(ax,ay,az)与(vx,vy,vz))之间的误差(向量叉积)
ex＝ay*vz-az*vy
ey＝az*vx-ax*vz
ez＝ax*vy-ay*vx
(5)用(4)的向量叉积纠正加速度的值
exint＝exint+ex*ki
eyint＝eyint+ey*ki
ezint＝ezint+ez*ki
其中ki为误差积分增益
gx＝gx+kp*ex+exint
gy＝gy+kp*ey+eyint
gz＝gz+kp*ez+ezint
其中kp为加速度权重
(6)四元数更新
q0＝q0+(-q1*gx-q2*gy-q3*gz)*halft
q1＝q1+(-q0*gx-q2*gz-q3*gy)*halft
q2＝q2+(-q0*gy-q1*gz-q3*gx)*halft
q3＝q3+(-q0*gz-q1*gy-q2*gx)*halft
其中halft为采样周期的一半
(7)四元数规范化处理
norm＝sqrt(q0*q0+q1*q1+q2*q2+q3*q3)
q0＝q0/norm
q1＝q1/norm
q2＝q2/norm
q3＝q3/norm
(8)将四元数转化为欧拉角方程，计算姿态角
俯仰角：pitch＝-arcsin(2(q1*q3-q0*q2))
翻转角：roll＝arctan(2(q0*q1+q2*q3)/1-2(q1*q1+q2*q2))
方位角：yew＝-arctan(2(q1*q2+q0*q3)/1-2(q1*q1+q2*q2))
通过上述计算过程，即可得到图像采集模块当前的姿态角。可以进一步地将计算得到的姿态角与参考姿态角进行比较，即可确定图像采集模块的姿态角变化。
在一些实施例中，运动传感器可以是包括三轴加速度计和三轴磁力计的组合的6轴陀螺仪。相应地，可以通过下述方法来利用检测到的加速度和磁场强度计算图像采集模块的姿态角及其变化。其中，所检测的磁场强度可以修正基于加速度计检测结果计算得到的姿态角。
(1)计算磁力计数据(Ex,Ey,Ez)与加速度计数据(Ax,Ay,Az)的向量叉积
Hx＝Ey*Az-Ez*Ay
Hy＝Ez*Ax-Ex*Az
Hz＝Ex*Ay-Ey*Ax
(2)计算(1)向量(Hx,Hy,Hz)的模。在一些实施例中，当向量的模小于一定阈值时，可以不进行角度计算；只有当该向量的模等于或大于该阈值时，才进行后续的角度计算。
normH＝sqrt(Hx*Hx+Hy*Hy+Hz*Hz)
(3)对(1)向量进行规范化处理
Hx＝Hx/normH
Hy＝Hy/normH
Hz＝Hz/normH
(4)将加速度计采集到的值，即三维向量(Ax,Ay,Az)，转化为单位向量
norm＝sqrt(Ax*Ax+Ay*Ay+Az*Az)
Ax＝Ax/norm
Ay＝Ay/norm
Az＝Az/norm
(5)计算加速度数据(Ax,Ay,Az)与(1)向量(Hx,Hy,Hz)的向量叉积
Mx＝Ay*Hz-Az*Hy
My＝Az*Hx-Ax*Hz
Mz＝Ax*Hy-Ay*Hx
(6)计算姿态角
俯仰角：pitch＝asin(-Ay)
翻转角：roll＝atan(-Ax/Az)
方位角：yew＝atan(Hy/My)
通过上述计算过程，即可得到图像采集模块当前的姿态角。可选地，可以将计算得到的姿态角与参考姿态角进行比较，即可确定图像采集模块的姿态角变化。在一些实施例中，参考姿态角可以是设备启动时或者图像采集模块开始采集图像时所检测到的姿态角，或者是不需要姿态角校正处理的视频图像对应的图像采集模块的姿态角。
在一些实施例中，运动传感器可以是9轴陀螺仪，其包括三轴加速度计、三轴磁力计和三轴角速度计的组合。在这种情况下，图像采集模块的姿态角的计算过程可以参考前述关于6轴陀螺仪的计算过程，在此不再赘述。
继续参考图3所示，在步骤S306中，利用检测到的姿态角变化对视频图像进行姿态角校正处理。
具体地，可以利用检测到的姿态角变化来对视频图像进行仿射变换，以消除图像传感器的姿态角变化对其所采集的视频图像的影响。在一些实施例中，被消除的姿态角变化主要包括俯仰姿态角变化和/或翻转姿态角变化。
其中，对于俯仰姿态角变化，可以通过沿Z轴方向的(参见图4)平移来实现。换言之，视频图像可以在平行于XZ平面的平面上沿Z轴方向移动，以校正俯仰姿态角变化。
具体地，可以将步骤S304中得到的俯仰角代入到等式z＝pitch*F/pixel_bin中，以计算出沿Z轴方向位移的像素数。之后，可以将该沿Z轴方向的位移像素数代入仿射变换公式中进行图像校正。
其中，z表示沿Z轴方向位移的像素数，pitch表示俯仰角，F表示图像采集模块的焦距，pixel_bin表示像素合并数。像素合并数是指将相邻的多个像素合并在一起，并且在一次计算/赋值中执行。像素合并可以减少数据计算量，从而提高处理速度。例如，可以将4K分辨率的视频图像中的每2*2个相邻像素合并起来，从而得到1080P分辨率的视频图像。可以理解，在一些实施例中，也可以不对视频图像中的相邻像素进行合并处理，而是仍按原有视频图像的分辨率进行图像校正。相应地，俯仰角的校正计算式则为z＝pitch*F。
对于翻转姿态角变化，可以通过旋转视频图像得到。图5示出了校正翻转姿态时对视频图像的旋转操作。其中，在实际处理中，图5所示的旋转操作是对视频图像中包括的多个图像帧逐一进行的，在图5中仅示例性地示出了一个图像帧的处理。
如图5所示，由于图像采集模块的翻转姿态角变化，所采集的视频图像相对于水平方向倾斜了角度θ。因此，可以将根据被处理的图像帧的像素阵列中各个像素的坐标确定的坐标矢量与旋转矩阵相乘(其中假定每帧图像的中心点为坐标原点)，即可得到旋转校正后的坐标矢量。其中角度θ为在步骤S304中确定的翻转姿态角，每个像素对应的坐标矢量被定义为(x,z,1)，其中x和z分别为该像素在像素阵列中x轴和z轴的坐标值(参见图4所示)。
在完成步骤S306的处理之后，由于无人飞行器飞行所引起的视频图像的姿态角变化可以被校正。
在一些实施例中，可以设定姿态角变化阈值。相应地，在进行图像姿态角校正处理时，可以将检测到的姿态角变化与预定姿态角变化阈值进行比较：在检测到的姿态角变化小于预定姿态角变化阈值时，利用检测到的姿态角变化来对视频图像进行姿态角校正处理；以及在检测到的姿态角变化等于或大于预定姿态角变化阈值时，利用预定姿态角变化阈值来对视频图像进行姿态角校正处理。
仍参考图5所示，其中示出了原始图像(分辨率为m*n个像素)和校正图像(分辨率为m’*n’个像素)，其中m’<m，n’<n。可以看出，校正图像的分辨率小于原始图像的分辨率，因而实际上原始图像的部分外围区域并不会被参与校正处理。因此，在一些实施例中，可以对原始图像进行预处理，以丢弃原始图像的部分外围区域的像素，例如图5所示的原始图像范围内但处于预处理后图像范围之外的像素。在一些实施例中，预处理后图像的分辨率或能够校正的最大姿态角变化是预先设定的，因而需要丢弃的像素范围也可以相应地确定。通过对原始图像进行预处理，使得需要进行姿态角校正处理的图像数据显著减少，这可以大大提高图像校正处理的速度。
正如前文中所说明的，视频图像的采集是由图像采集模块执行的，而姿态角变化的检测是由运动传感器执行的。图像采集模块生成视频图像的数据需要进行曝光、扫描、数据编码等诸多处理，而这些处理会带来显著的处理延迟；相反，运动传感器检测姿态角变化的过程则相对较快，运动传感器输出的检测结果大体即时地随图像采集模块的运动状态变化。因此，所检测到的姿态角变化与视频图像往往是不同步的。具体来说，对于无人飞行器和图像采集模块的姿态角变化，运动传感器输出信号/数据对该姿态角变化的响应通常快于图像采集模块输出信号/数据的响应。但是，在进行姿态角校正时，优选用所检测到的姿态角变化来对同一时刻采集的视频图像进行处理。因此，需要对这两个模块的输出进行同步处理。在同步处理之后，可以利用经同步处理后的姿态角变化来对视频图像进行姿态角校正处理，从而提高姿态角校正处理的准确性。
在一些实施例中，上述同步处理可以是静态同步方式。具体地，首先，可以记录视频图像中各个图像帧的采集时间，并且记录姿态角变化的检测时间；接着，比较采集时间与检测时间以确定这两者之间的时间差；然后，基于采集时间与检测时间的时间差，对检测到的姿态角变化与视频图像进行同步处理。其中，图像的采集时间包括预设的图像生成时长，也即考虑了图像采集模块生成一帧视频图像所需的时间。在一些实施例中，预设的图像生成时长包括曝光时间、传感器扫描时间、数据编码时间和数据读取时间。
在一些替代的实施例中，上述同步处理也可以是动态同步方式。由于在视频图像采集时视频图像也会随图像采集模块的姿态角变化而变化，因此可以处理预定时间段内采集的视频图像，以从中确定图像采集模块的姿态角变化。所确定的姿态角变化与运动传感器检测的姿态角变化均反映了图像采集模块的姿态角变化历史，但是其可能时间上存在差异。因此，可以将由处理视频图像确定的姿态角变化与由运动传感器检测的姿态角变化进行比较，从而确定视频图像的采集时间与运动传感器的检测时间之间的时间差。接着，可以基于采集时间与检测时间的时间差，对所检测的姿态角变化与视频图像进行同步处理。这种动态同步方式避免了静态同步方式中预设图像生成时长的参数无法修改的不足，其同步精度更高。
在一些实施例中，确定时间差的步骤可以包括：基于由视频图像确定图像采集模块的姿态角变化，描绘第一姿态角变化曲线；基于由运动传感器检测的姿态角变化，描绘第二姿态角变化曲线；以及比较第一姿态角变化曲线与第二姿态角变化曲线，确定视频图像的采集时间与运动传感器检测的姿态角变化的检测时间之间的时间差。其中，两个姿态角变化曲线的比较可以通过曲线拟合来实现，在曲线拟合后，两个曲线时间轴的偏移即可作为视频图像的采集时间和运动传感器姿态角变化的检测时间之间的时间差。由于上述姿态角变化曲线反映了姿态角或姿态角变化在一段时间内的变化情况，因此通过比较姿态角变化曲线来进行数据同步具有较高的精度。
在实际应用中，由采集到的视频图像来确定姿态角变化的计算过程可以参考上文中校正因姿态角变化引起的视频图像旋转的处理过程。具体地，可以先从三个姿态角中选择一个姿态角，例如图4所示的翻转姿态角作为待比较的姿态角。接着，可以处理视频图像的两个相邻图像帧，以计算得到使得这两个图像帧相对旋转的旋转矩阵，从而确定这两个图像帧之间的翻转姿态角变化。其中，可以从两个图像帧中选择一些特征点，并且通过识别这些特征点在这两个图像帧之间的位置变化的方式来计算图像帧之间相对旋转的旋转矩阵。可以重复地对一段时间内视频图像的多对相邻图像帧进行处理，从而得到该段时间内翻转姿态角变化的变化曲线。与此同时，还可以利用运动传感器检测图像采集模块的翻转姿态角变化，并且得到对应的翻转姿态角变化曲线。然后，可以比较这两个翻转姿态角变化曲线，从而确定视频图像的采集时间和运动传感器姿态角变化的检测时间之间的时间差，进而用于同步处理。
在一些替代的实施例中，也可以对采集的视频图像进行处理以确定视频图像不同图像帧之间的位移或其变化，例如沿图4所示的X轴、Y轴或Z轴方向的位移或其变化，并且与运动传感器检测的位移或其变化进行比较。位移变化的检测可选地，可以基于这两种方式得到的位移变化分别绘制一段时间内的位移变化曲线。之后，可以根据位移变化或位移变化曲线的比较结果确定视频图像的采集时间和运动传感器检测时间之间的时间差，进而用于同步处理。
需要说明的是，在数据同步处理后，视频图像与运动传感器的检测数据即在时间上相互对准，因而通常不需要一直进行数据同步的处理。在一些实施例中，可以每隔一段时间，例如1分钟、2分钟、5分钟或更长时间间隔，进行一次同步处理。在另一些实施例中，也可以在系统上电后初始化时进行一次同步处理，而在之后的视频图像采集过程中不再进行数据同步处理。在一些实施例中，也可以监测运动传感器输出的传感器数据，并且在当传感器数据的变化频率达到预设门限阈值后，再进行同步处理。
经过步骤S306的处理后，视频图像因图像采集模块的姿态角变化所产生的图像变化可以被校正，但是这种校正处理并不能够消除由于振动引起的视频图像抖动，也即视频图像在各个方向上的线性位移。需要额外的处理步骤来校正视频图像的位移变化。
继续参考图3，在步骤S308中，检测视频图像的不同图像帧之间的位移。
可以理解，视频图像通常由连续的多个图像帧构成，例如每秒24帧、25帧、30帧、60帧或更多帧。由于不同帧图像是在不同的时刻采集的，因此这些图像帧可能会因为无人飞行器飞行时的抖动而发生位移。通常而言，这种图像帧之间的位移应当是全局性的，也即对于一个图像帧中的所有像素相对于另一个图像帧中的所有像素的移动是一致的，也即以相同的方向移动相同的距离。基于此，可以在两个图像帧中选择一些特征点，通过检测这些特征点在两个图像帧之间的位置变化，来确定两个图像帧之间整体的相对位移。
图6示出了根据本申请一个实施例的确定视频图像中两个图像帧的相对位移的示意图。
如图6所示，其中示出了选自一个视频图像的多个图像帧中的两个图像帧：第一图像帧和第二图像帧，其中第二图像帧时间上采集于第一图像帧之后。在一些实施例中，这两个图像帧可以是时间上相邻的；在另一些实施例中，这两个图像帧也可以不相邻，而是相隔一个或多个图像帧。
对于第一图像帧，可以从中选取一个或多个特征点，其中每个特征点处于一个特征位置。这些特征点可以是从第一图像帧中的不同区域随机选取的，也可以是从第一图像帧中的指定区域选取的。例如，可以将第一图像帧网格化为例如20*10个相等大小的子区域，然后从网格的各个格点处选择一个特征点，或者从子区域的中心处选择一个特征点。格点或子区域中心的位置即为该特征点在第一图像帧中对应的特征位置。在图6所示的例子中，从第一图像帧中示例性地选择了6个特征点，这些特征点对应于第一图像帧中的多个特征位置。图6中所示的虚线框CO1-CO6为这些特征位置在第二图像帧中的位置。可以理解，在其他的例子中，可以选取更多数量的特征点。通常来说，特征点的数量越多，检测到的特征位置的变化(也即位移)越多，因而计算得到的图像帧之间的位移也越准确。在一些实施例中，在第一图像帧中选取的特征点的数量不小于200、不小于300、不小于400或者不小于500。
在一些实施例中，每个特征点可以包括一个像素点，则该特征点的特征位置是该像素点在第一图像帧的像素阵列中的位置。在另一些实施例中，每个特征点可以包括由多个像素点构成的子图像，例如可以包括4个(2*2)、6个(2*3)、8个(2*4)、9个(3*3)、16个(4*4)或更多个相邻的像素点；相应地，该特征点的特征位置可以是子图像中各个像素点位置的平均值，或者是子图像中心处像素点的位置。在图4所示的例子中，每个特征点是一个包括例如相邻5*5个像素点的子图像，而其特征位置为子图像中心像素点的位置。可以理解，特征位置是相对于一个图像帧的像素阵列中的一个位置。
在确定各个特征点在第一图像帧中分别的特征位置之后，还需要确定各个特征点的特征信息。其中，对于每个特征点包括一个像素点的例子中，该特征点的特征信息可以是该像素点的灰度、色彩或其他图像特征参数；而对于每个特征点包括多个像素点的例子中，特征点的特征信息可以是基于这多个像素点构成的子图像的图像特征确定的。例如，特征信息可以是子图像的灰度、色彩、纹理、对比度或其他图像特征参数。不同特征点的特征信息通常是不同的，因此，所确定的特征信息可以将每个特征点从第一图像帧中标识出来。
接下来，继续确定每个特征点在第二图像帧中的位置。这样，通过比较每个特征点在这两个图像帧中位置的差值，即可确定每个特征点的相对位移。
以图6中所示的特征位置CO1处的特征点为例，可以通过以下方式确定每个特征点在第二图像帧中的位置。
正如之前所提到的，由于特征位置相对于两个图像帧是不变的，因此首先根据一特征点在第一图像帧的特征位置(例如，图中CO1所标示的)确定其在第二图像帧中的特征位置不变，仍为相同的位置(例如，CO1)。接着，可以在第二图像帧中选取与特征位置CO1相邻的多个候选点，这些候选点可以沿特征位置CO1的不同方向分布，并且在每个方向上可以间隔不同的距离分布有多个候选点。在图6所示的例子中，相对于特征位置CO1的上(U)、下(D)、左(L)、右(R)、左上(UL)、左下(DL)、右上(UR)和右下(DR)等8个方向上，分别间隔地分布了2个候选点，其中这些方向中任意两个相邻的方向均具有45度的夹角。例如，左上(UL)方向上分布了两个候选点，其中一个候选点的位置为UL1(图6中标记为UL1的虚线框)，其距离特征位置CO1一个单位长度，而另一个候选点的位置为UL2(图6中标记为UL2的阴影框)，其距离特征位置CO1两个单位长度。在此所述的单位长度通常可以以相间隔的像素数量来衡量。取决于位移检测的精度，单位长度可以被设置为一个像素、两个像素、三个像素或更多个像素。可以理解，在不同的实施例中，候选点相对于特征位置的方向可以不同于图6的例子，例如，可以在4个方向(对应用90度的夹角)、6个方向(对应于60度的夹角)或更多个方向上选取候选点，并且每个方向上候选点的数量也可以更多，例如，3个、4个、5个或更多个。对于每个特征位置，其所对应的候选点的数量可以是N*M个，其中N是候选点所在方向的数量，而M是每个方向上候选点的数量。因此，第二图像帧中所选取的候选点的总数是N*M*L，其中L是第一图像帧中所选取的特征点或特征位置的数量。
接着，与特征点的特征信息相类似，确定候选点的特征信息。然后，对于第一图像帧中的每个特征点，将该特征点的特征信息与第二图像帧中对应特征位置相邻的N*M个候选点的特征信息进行比较，从中识别出具有最接近特征信息的候选点。具有最接近特征信息的候选点即被作为特征点所对应的匹配特征点。换言之，第一图像帧中的特征点被认为移动到了第二图像帧中的匹配特征点所在的位置，而匹配特征点相对于特征位置的位置变化即可被确定为该特征点的位移。
如图6所示，对于特征位置CO1处的特征点，经匹配比较后，确定其所对应的匹配特征点处于位置UL2，该匹配特征点沿左上方向UL间隔特征位置CO1两个单位长度；类似地，特征位置CO2至CO6处的匹配特征点也均沿左上方向UL间隔对应的特征位置两个单位长度，即分别由N2至N6表示的阴影框。可以理解，由于特征点选取、或者特征信息计算、特征信息比较的准确度等因素，在一些情况下，并非所有特征点的检测到的位移均相同。但是可以理解，可以通过增加特征点的数量来减少这种差异带来的干扰。例如，可以对多个特征点相对于其特征位置的位移的数据进行滤波处理，从而将少量干扰数据滤除，以得到趋于一致或占据主导的大多数特征点的位移数据(例如进行统计分析)。根据大多数特征点的位移数据即可确定第一图像帧和第二图像帧之间的位移。例如对于图6的例子中，特征位置CO1至CO6处的特征点均沿左上方向UL移动两个单位长度，则确定第二图像帧相对于第一图像帧沿左上方向UL移动两个单位长度。
继续参考图3，在确定第一图像帧和第二图像帧的相对位移后，在步骤S310中，利用检测到的位移对视频图像进行位移校正处理。具体地，可以对视频图像中的第二图像帧中的所有像素进行线性平移，以抵消检测到的第一图像帧与第二图像帧之间的位移。像素平移的方向与检测到的图像移动的方向相反，而像素平移的距离则与检测到的图像移动的距离相等。这样，经位移校正处理后的视频图像中，第二图像帧相对于第一图像帧即没有发生位移。
需要说明的是，在一些替代的实施例中，也可以从采集时间较后的第二图像帧中选取特征点，并且在第一图像帧中寻找匹配特征点，以计算两个图像帧之间的相对位移，进而用于位移校正。
在实际应用中，除了机械振动会使得视频图像产生线性移动之外，无人飞行器根据操作人员指示进行的飞行也可能会使得图像采集模块采集的视频图像线性移动。通常来说，这种平移相对于振动位移的位移幅度较大，并且是不希望消除的。因此，在一些实施例中，可以设置一预定位移阈值。相应地，可以将检测到的图像帧之间的位移与预定位移阈值进行比较：如果检测到的位移小于或等于预定位移阈值，则利用检测到的位移来对视频图像进行位移校正处理；但是，如果检测到的位移大于预定位移阈值，则认为该位移是操作人员指示的，因而此种情况下不对视频图像进行位移校正处理。
可以理解，对于视频图像中的所有图像帧，可以重复进行步骤S304至S310的处理步骤，从而使得每一图像帧的姿态角和位移变化均得以校正，处理得到的视频图像具有较优的稳定性。
需要说明的是，在本实施例中，位移校正的处理被描述为在姿态角校正处理步骤S306之后进行的，但是在实际应用中，位移校正的处理也可以在姿态角校正处理之前或同时进行。在实际应用中，位移校正处理在姿态角校正处理之后进行可以显著提高数据处理速度，从而满足处理高帧率视频图像(例如50帧/秒、60帧/秒或更高)的要求。
图7示出了根据本申请一个实施例的用于视频图像的图像稳定装置700的框图。该图像稳定装置700可以集成在例如无人飞行器中。
如图7所示，该图像稳定装置700接收图像采集模块702采集的视频图像，以及运动传感器704采集的传感器数据。在一些实施例中，传感器数据包括图像采集模块702的姿态角变化。
图像稳定装置700包括数据同步模块706，其可以对视频图像和传感器数据进行同步处理，以使得视频图像的采集时间与传感器数据的采集时间同步。数据同步模块706将与传感器数据的采集时间同步的视频图像提供给图像数据缓存模块708，并且将与视频图像时间同步的传感器数据提供给姿态角计算模块710。
姿态角计算模块710根据传感器数据计算图像采集模块的姿态角。姿态角的具体计算方法参见前文中的描述，在此不再赘述。姿态角计算模块710将计算得到的姿态角变化的数据提供给姿态角校正模块712，并由姿态角校正模块712利用姿态角变化的数据来对经缓存的视频图像进行姿态角校正处理，从而消除姿态角变化对视频图像的影响。
姿态角校正模块712输出经姿态角校正后的视频图像给位移校正模块714，并且由位移校正模块714进行位移校正处理。位移校正模块714可以检测视频图像中的不同图像帧之间的位移；并且利用检测到的位移对视频图像进行位移校正处理。在一些实施例中，位移校正模块714可以包括位移检测子模块和位移校正子模块。虽然在图7中，姿态角校正模块712位于位移校正模块714之前；但在一些其他的实施例中，位移校正模块714也可以位于姿态角校正模块712之前，也即视频图像先被进行位移校正处理，再被进行姿态角校正处理。
位移校正模块714输出处理完成的视频图像，并且提供给图像数据存储模块716，以将视频图像存储在其中。与此同时，处理后的视频图像也可以被发送给图像分辨率调整模块718。视频图像在由模块718调整分辨率之后，被发送给图像预览模块720，并且显示出来，以供操作人员或其他人员查看。
可以看出，对于图7所示的实施例，图像采集模块702采集的视频图像在被图像稳定装置700处理之后，才被提供给图像数据存储模块716和图像分辨率调整模块718。因此，视频图像的存储和预览共用了图像稳定处理，这有效减少了对系统资源的占用，特别是对缓存的占用，从而节省了稳定处理的开销。
需要说明的是，对于本申请的图像稳定方法和装置，虽然其可以替代现有的机械稳定装置来对图像采集设备所采集的视频图像进行图像稳定处理，但是在一些实施例中，其也可以被用于装备了机械稳定装置的图像采集设备，与机械稳定装置设备共同实现视频图像的稳定处理。例如，机械稳定装置可以是图1所示的带有减震机构的支撑构件106，或者机械云台。
那些本技术领域的一般技术人员可以通过研究说明书、公开的内容及附图和所附的权利要求书，理解和实施对披露的实施方式的其他改变。在权利要求中，措词“包括”不排除其他的元素和步骤，并且措辞“一”、“一个”不排除复数。在本申请的实际应用中，一个零件可能执行权利要求中所引用的多个技术特征的功能。权利要求中的任何附图标记不应理解为对范围的限制。

Claims (28)

1.一种用于视频图像的图像稳定方法，其特征在于，所述图像稳定方法包括：
获取由图像采集模块采集的视频图像；
检测视频图像采集时所述图像采集模块的姿态角变化；
利用检测到的姿态角变化对所述视频图像进行姿态角校正处理；
检测所述视频图像的不同图像帧之间的位移；以及
利用检测到的位移对所述视频图像进行位移校正处理。
2.根据权利要求1所述的图像稳定方法，其特征在于，所述图像采集模块被与一运动传感器固定地耦接在一起，以便所述运动传感器检测所述图像采集模块的姿态角变化。
3.根据权利要求2所述的图像稳定方法，其特征在于，所述图像采集模块与所述运动传感器均被固定于一无人飞行器上。
4.根据权利要求3所述的图像稳定方法，其特征在于，所述姿态角变化包括所述无人飞行器运动带动所述图像采集模块运动所引起的俯仰姿态角变化和/或翻转姿态角变化。
5.根据权利要求2所述的图像稳定方法，其特征在于，所述运动传感器是三轴加速度传感器、三轴磁力计和三轴角加速度传感器的组合，或者三轴加速度传感器和三轴角加速度传感器的组合，或者三轴加速度传感器和三轴磁力计的组合。
6.根据权利要求2所述的图像稳定方法，其特征在于，所述姿态角校正处理的步骤还包括：
对检测到的姿态角变化与所述视频图像进行同步处理；
利用经同步处理后的检测到的姿态角变化对所述视频图像进行姿态角校正处理。
7.根据权利要求6所述的图像稳定方法，其特征在于，所述同步处理的步骤包括：
记录所述视频图像中各个图像帧的采集时间；
记录所述姿态角变化的检测时间；
比较所述采集时间与所述检测时间以确定这两者之间的时间差；以及
基于所述采集时间与检测时间的时间差，对检测到的姿态角变化与所述视频图像进行同步处理。
8.根据权利要求7所述的图像稳定方法，其特征在于，所述图像的采集时间包括预设的图像生成时长。
9.根据权利要求8所述的图像稳定方法，其特征在于，所述预设的图像生成时长包括与生成视频图像相关的曝光时间、传感器扫描时间、数据编码时间和数据读取时间。
10.根据权利要求6所述的图像稳定方法，其特征在于，所述同步处理的步骤还包括：
处理预定时间段内采集的视频图像，以由所述视频图像确定所述预定时间段内所述图像采集模块的姿态角变化；
由运动传感器检测所述预定时间段内所述图像采集模块的姿态角变化；
将由处理视频图像确定的姿态角变化与由运动传感器检测的姿态角变化进行比较，从而确定所述视频图像的采集时间与所述运动传感器检测的姿态角变化的检测时间之间的时间差；
基于所述采集时间与所述检测时间的时间差，对所述检测的姿态角变化与所述视频图像进行同步处理。
11.根据权利要求10所述的图像稳定方法，其特征在于，所述确定所述视频图像的采集时间与所述运动传感器检测的姿态角的检测时间之间的时间差的步骤还包括：
基于由所述视频图像确定的所述图像采集模块的姿态角变化，描绘第一姿态角变化曲线；
基于由所述运动传感器检测的姿态角变化，描绘第二姿态角变化曲线；以及
比较所述第一姿态角变化曲线与所述第二姿态角变化曲线，确定所述视频图像的采集时间与所述运动传感器检测的姿态角变化的检测时间之间的时间差。
12.根据权利要求1所述的图像稳定方法，其特征在于，所述姿态角校正处理的步骤还包括：
利用检测到的姿态角变化来对所述视频图像进行仿射变换，以消除所述图像传感器的姿态角变化对其所采集的视频图像的影响。
13.根据权利要求1所述的图像稳定方法，其特征在于，在所述姿态角校正处理的步骤之前，所述方法还包括：
对所述视频图像进行预处理，以去除所述视频图像中姿态角校正处理区域之外的像素点。
14.根据权利要求1所述图像稳定方法，其特征在于，所述姿态角校正处理的步骤还包括：
将检测到的姿态角变化与预定姿态角变化阈值进行比较；以及
在检测到的姿态角变化小于所述预定姿态角变化阈值时，利用检测到的姿态角变化来对所述视频图像进行姿态角校正处理；以及在检测到的姿态角变化等于或大于所述预定姿态角变化阈值时，利用所述预定姿态角变化阈值来对所述视频图像进行姿态角校正处理。
15.根据权利要求1所述的图像稳定方法，其特征在于，所述视频图像包括多个图像帧，所述位移检测的步骤包括：
选取所述视频图像多个图像帧中的第一图像帧中的一个或多个特征点，其中每个特征点处于一个特征位置；
确定所述一个或多个特征点在所述视频图像多个图像帧中的第二图像帧中的位置，从而确定每个特征点相对于其特征位置的位移，其中所述第二图像帧采集于所述第一图像帧之后；
根据所述一个或多个特征点的相对于其特征位置的位移，确定所述视频图像的第一图像帧和第二图像帧之间的位移。
16.根据权利要求15所述的图像稳定方法，其特征在于，一个图像帧中所选取的特征点的数量不小于200。
17.根据权利要求15所述的图像稳定方法，其特征在于，所述确定每个特征点在第二图像帧中相对于其特征位置的位移的步骤包括：
确定第一图像帧中处于特征位置的所述特征点的特征信息；
确定第二图像帧中与所述特征位置相邻的多个候选点的特征信息；
将所述特征点的特征信息与所述多个候选点的特征信息进行比较，以识别出具有最接近特征信息的候选点；
将所述第二图像帧中具有最接近特征信息的候选点作为所述第一图像帧中的所述特征点对应的匹配特征点；以及
将所述匹配特征点相对于所述特征位置的位置变化确定为所述特征点的位移。
18.根据权利要求17所述的图像稳定方法，其特征在于，所述特征信息包括图像灰度、色彩、纹理或对比度。
19.根据权利要求17所述的图像稳定方法，其特征在于，所述特征点和所述候选点均包括具有预定多个像素的子图像，所述特征点或所述候选点的特征信息是基于对应的预定多个像素的子图像的图像特征生成的。
20.根据权利要求17所述的图像稳定方法，其特征在于，所述第二图像帧中与所述特征位置相邻的多个候选点是沿所述特征位置的多个不同方向分布，并且在每个方向上间隔不同距离分布有多个候选点。
21.根据权利要求20所述的图像稳定方法，其特征在于，所述多个不同方向中每两个相邻的方向之间的夹角均相等。
22.根据权利要求21所述的图像稳定方法，其特征在于，每两个相邻的方向之间的夹角为45度、60度或90度。
23.根据权利要求15所述的图像稳定方法，其特征在于，所述确定第一图像帧和第二图像帧之间的位移的步骤还包括：
对多个特征点相对于其特征位置的位移进行滤波处理，以得到第一图像帧和第二图像帧之间的位移。
24.根据权利要求1所述的图像稳定方法，其特征在于，所述位移校正处理的步骤还包括：
将检测到的位移与预定位移阈值进行比较；以及
在检测到的位移小于或等于所述预定位移阈值时，利用检测到的位移来对所述视频图像进行位移校正处理；以及在检测到的位移大于所述预定位移阈值时，不对所述视频图像进行位移校正处理。
25.根据权利要求1所述的图像稳定方法，其特征在于，所述位移校正处理的步骤是在所述姿态角校正处理的步骤之后进行的。
26.一种用于视频图像的图像稳定装置，其特征在于，包括：
图像采集模块，用于采集并生成视频图像；
运动传感器，用于检测视频图像采集时所述图像采集模块的运动状态；
姿态角计算模块，用于根据运动传感器的检测结果计算视频图像采集时所述图像采集模块的姿态角变化；
姿态角校正模块，用于利用检测到的姿态角变化对所述视频图像进行姿态角校正处理；以及
位移校正模块，用于检测所述视频图像的不同图像帧之间的位移，并且利用检测到的位移对所述视频图像进行位移校正处理。
27.根据权利要求26所述的图像稳定装置，其特征在于，所述位移校正模块耦接在所述姿态角校正模块的输出端，以接收经姿态角校正处理的视频图像。
28.根据权利要求26所述的图像稳定装置，其特征在于，所述位移校正模块包括位移检测子模块和位移校正子模块，其中所述位移检测子模块用于检测所述视频图像的不同图像帧之间的位移；而所述位移校正子模块用于利用检测到的位移对所述视频图像的对应图像帧进行位移校正处理。
CN201610339143.4A 2016-05-20 2016-05-20 用于视频图像的图像稳定方法和装置 Pending CN106257911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610339143.4A CN106257911A (zh) 2016-05-20 2016-05-20 用于视频图像的图像稳定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610339143.4A CN106257911A (zh) 2016-05-20 2016-05-20 用于视频图像的图像稳定方法和装置

Publications (1)

Publication Number Publication Date
CN106257911A true CN106257911A (zh) 2016-12-28

Family

ID=57713539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610339143.4A Pending CN106257911A (zh) 2016-05-20 2016-05-20 用于视频图像的图像稳定方法和装置

Country Status (1)

Country Link
CN (1) CN106257911A (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN108401115A (zh) * 2018-04-28 2018-08-14 北京心领神绘科技有限公司 一种便携图像采集终端的自动修正采集装置及方法
CN108600622A (zh) * 2018-04-12 2018-09-28 联想(北京)有限公司 一种视频防抖的方法及装置
WO2018214090A1 (zh) * 2017-05-25 2018-11-29 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109099891A (zh) * 2018-07-12 2018-12-28 广州维绅科技有限公司 基于图像识别的空间定位方法、装置及系统
CN109391767A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法
CN109391755A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110672017A (zh) * 2019-10-11 2020-01-10 大连海事大学 一种激光位移传感器振动补偿平台
CN110933309A (zh) * 2019-12-03 2020-03-27 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景防抖方法及系统
CN111212224A (zh) * 2020-01-10 2020-05-29 上海摩象网络科技有限公司 应用于图像拍摄设备的防抖处理方法及其装置、电子设备
CN111357273A (zh) * 2019-02-21 2020-06-30 深圳市大疆创新科技有限公司 拍摄参数的调整方法、拍摄设备以及可移动平台
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
CN111722452A (zh) * 2020-06-29 2020-09-29 烟台艾睿光电科技有限公司 一种红外产品的防抖稳像方法、装置、设备及存储介质
WO2020207108A1 (zh) * 2019-04-08 2020-10-15 清华大学 图像处理方法、装置和系统，以及机器人
CN111866395A (zh) * 2020-08-07 2020-10-30 苏州臻迪智能科技有限公司 增稳处理模组、无人机摄像系统以及图像增稳处理方法
CN112166597A (zh) * 2019-08-22 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、设备和可移动平台
WO2021068170A1 (zh) * 2019-10-10 2021-04-15 深圳市大疆创新科技有限公司 拍摄装置及其控制方法、可移动平台
WO2021119982A1 (zh) * 2019-12-17 2021-06-24 深圳市大疆创新科技有限公司 图像传输系统及方法、控制装置、可移动平台
CN113099161A (zh) * 2021-04-13 2021-07-09 北京中科深智科技有限公司 一种基于深度神经网络的会议视频重建方法和系统
CN113395454A (zh) * 2021-07-06 2021-09-14 Oppo广东移动通信有限公司 图像拍摄的防抖方法与装置、终端及可读存储介质
CN113766117A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 一种视频去抖动方法和装置
CN114206755A (zh) * 2019-05-22 2022-03-18 安立股份有限公司 测试体、使用了该测试体的诊断系统以及物品检查装置
CN114616820A (zh) * 2019-10-29 2022-06-10 富士胶片株式会社 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010088084A (ja) * 2008-10-03 2010-04-15 Sony Corp 撮像装置、撮像方法、およびプログラム
CN103455983A (zh) * 2013-08-30 2013-12-18 深圳市川大智胜科技发展有限公司 嵌入式视频系统中的图像扰动消除方法
CN103514450A (zh) * 2012-06-29 2014-01-15 华为技术有限公司 一种图像特征提取方法和图像校正方法以及设备
CN104796596A (zh) * 2014-01-20 2015-07-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010088084A (ja) * 2008-10-03 2010-04-15 Sony Corp 撮像装置、撮像方法、およびプログラム
CN103514450A (zh) * 2012-06-29 2014-01-15 华为技术有限公司 一种图像特征提取方法和图像校正方法以及设备
CN103455983A (zh) * 2013-08-30 2013-12-18 深圳市川大智胜科技发展有限公司 嵌入式视频系统中的图像扰动消除方法
CN104796596A (zh) * 2014-01-20 2015-07-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN104902142A (zh) * 2015-05-29 2015-09-09 华中科技大学 一种移动终端视频的电子稳像方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814753B (zh) * 2017-03-20 2020-11-06 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN107194968A (zh) * 2017-05-18 2017-09-22 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
WO2018214090A1 (zh) * 2017-05-25 2018-11-29 深圳市大疆创新科技有限公司 一种控制方法、装置及云台
CN109391767A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法
CN109391755A (zh) * 2017-08-03 2019-02-26 佳能株式会社 摄像设备及其中执行的方法
CN109391755B (zh) * 2017-08-03 2021-09-14 佳能株式会社 摄像设备及其中执行的方法
CN109391767B (zh) * 2017-08-03 2021-06-01 佳能株式会社 摄像设备及其中执行的方法
CN108600622A (zh) * 2018-04-12 2018-09-28 联想(北京)有限公司 一种视频防抖的方法及装置
CN108401115A (zh) * 2018-04-28 2018-08-14 北京心领神绘科技有限公司 一种便携图像采集终端的自动修正采集装置及方法
CN109099891A (zh) * 2018-07-12 2018-12-28 广州维绅科技有限公司 基于图像识别的空间定位方法、装置及系统
CN109099891B (zh) * 2018-07-12 2021-08-13 广州达泊智能科技有限公司 基于图像识别的空间定位方法、装置及系统
CN110022439B (zh) * 2019-01-29 2021-09-28 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
CN110022439A (zh) * 2019-01-29 2019-07-16 威盛电子股份有限公司 全景视频图像稳定装置、编码方法及播放方法和评估方法
US11627390B2 (en) 2019-01-29 2023-04-11 Via Technologies, Inc. Encoding method, playing method and apparatus for image stabilization of panoramic video, and method for evaluating image stabilization algorithm
WO2020168519A1 (zh) * 2019-02-21 2020-08-27 深圳市大疆创新科技有限公司 拍摄参数的调整方法、拍摄设备以及可移动平台
CN111357273A (zh) * 2019-02-21 2020-06-30 深圳市大疆创新科技有限公司 拍摄参数的调整方法、拍摄设备以及可移动平台
WO2020207108A1 (zh) * 2019-04-08 2020-10-15 清华大学 图像处理方法、装置和系统，以及机器人
CN114206755B (zh) * 2019-05-22 2023-12-05 安立股份有限公司 测试体、使用了该测试体的诊断系统以及物品检查装置
CN114206755A (zh) * 2019-05-22 2022-03-18 安立股份有限公司 测试体、使用了该测试体的诊断系统以及物品检查装置
CN112166597A (zh) * 2019-08-22 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、设备和可移动平台
WO2021068170A1 (zh) * 2019-10-10 2021-04-15 深圳市大疆创新科技有限公司 拍摄装置及其控制方法、可移动平台
CN110672017A (zh) * 2019-10-11 2020-01-10 大连海事大学 一种激光位移传感器振动补偿平台
CN114616820A (zh) * 2019-10-29 2022-06-10 富士胶片株式会社 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序
US11968448B2 (en) 2019-10-29 2024-04-23 Fujifilm Corporation Imaging support device, imaging apparatus, imaging system, imaging support system, imaging support method, and program
CN114616820B (zh) * 2019-10-29 2024-06-11 富士胶片株式会社 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及存储介质
CN110933309A (zh) * 2019-12-03 2020-03-27 深圳市圆周率软件科技有限责任公司 一种多目全景相机全景防抖方法及系统
WO2021119982A1 (zh) * 2019-12-17 2021-06-24 深圳市大疆创新科技有限公司 图像传输系统及方法、控制装置、可移动平台
CN111212224A (zh) * 2020-01-10 2020-05-29 上海摩象网络科技有限公司 应用于图像拍摄设备的防抖处理方法及其装置、电子设备
CN111355888A (zh) * 2020-03-06 2020-06-30 Oppo广东移动通信有限公司 视频拍摄方法、装置、存储介质以及终端
CN111722452B (zh) * 2020-06-29 2022-07-12 烟台艾睿光电科技有限公司 一种红外产品的防抖稳像方法、装置、设备及存储介质
CN111722452A (zh) * 2020-06-29 2020-09-29 烟台艾睿光电科技有限公司 一种红外产品的防抖稳像方法、装置、设备及存储介质
WO2022027876A1 (zh) * 2020-08-07 2022-02-10 苏州臻迪智能科技有限公司 增稳处理模组、无人机摄像系统以及图像增稳处理方法
CN111866395A (zh) * 2020-08-07 2020-10-30 苏州臻迪智能科技有限公司 增稳处理模组、无人机摄像系统以及图像增稳处理方法
CN113766117A (zh) * 2020-11-09 2021-12-07 北京沃东天骏信息技术有限公司 一种视频去抖动方法和装置
CN113766117B (zh) * 2020-11-09 2023-08-08 北京沃东天骏信息技术有限公司 一种视频去抖动方法和装置
CN113099161A (zh) * 2021-04-13 2021-07-09 北京中科深智科技有限公司 一种基于深度神经网络的会议视频重建方法和系统
CN113395454A (zh) * 2021-07-06 2021-09-14 Oppo广东移动通信有限公司 图像拍摄的防抖方法与装置、终端及可读存储介质

Similar Documents

Publication Publication Date Title
CN106257911A (zh) 用于视频图像的图像稳定方法和装置
CN107785663B (zh) 天线波束姿态控制方法和系统
CN104902142B (zh) 一种移动终端视频的电子稳像方法
CN104848859B (zh) 一种三轴惯性稳定平台及其自定位定向的控制方法
CN109000612A (zh) 设备的角度估算方法、装置、摄像组件及飞行器
CN108762324A (zh) 云台电机角度和角速度估算方法、装置、云台及飞行器
CN110268445A (zh) 利用陀螺仪的相机自动校准
CN106791363A (zh) 配备发送校正了晃动效应的图像序列的摄像机的无人机
US10559135B1 (en) Fixed holograms in mobile environments
CN108605098A (zh) 用于卷帘快门校正的系统和方法
CN106053874A (zh) 带有为水平速度估计而补偿瞬时旋转的垂直视角摄像机的无人机
WO2004029549A2 (en) Method and system for processing pulse signals within an inertial navigation system
JPH06105216A (ja) 電子ジンバルシステム
CN106403892A (zh) 适于装载到无人机上以绘制土地地图的照相机单元和通过照相机单元的图像捕捉管理的方法
JP4446041B2 (ja) カメラベクトル演算装置と、このカメラベクトル演算装置に備えられる揺れ成分検出装置，画像安定化装置，位置姿勢安定化装置，目的対象物ロックオン装置及び実写対象物属性呼出装置
CN113720330B (zh) 一种亚角秒级的遥感卫星高精度姿态确定设计与实现方法
CN105607760A (zh) 一种基于微惯性传感器的轨迹还原方法及系统
CN111595332B (zh) 一种融合惯性技术与视觉建模的全环境定位方法
CN115574816B (zh) 仿生视觉多源信息智能感知无人平台
CN106197403B (zh) Htem系统吊舱多点姿态光斑成像测量方法及装置
CN110736457A (zh) 一种基于北斗、gps和sins的组合导航方法
CN111091088A (zh) 一种视频卫星信息支援海上目标实时检测定位系统及方法
Coppa et al. Accuracy enhancement of unmanned helicopter positioning with low-cost system
CN114509071B (zh) 一种风洞试验模型姿态测量方法
CN110136168A (zh) 一种基于特征点匹配和光流法的多旋翼速度测量方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20170803

Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets Yi of financial science and Technology Software Park building 12 floor

Applicant after: Staring (Shenzhen) technology Limited by Share Ltd

Address before: 201801 Shanghai city Jiading District abundance Road No. 818

Applicant before: Shanghai Nine Eagles Electronic Technology Co., Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20161228

WD01 Invention patent application deemed withdrawn after publication