CN109951631B - 用于图像捕获的图像稳定的系统和方法 - Google Patents

用于图像捕获的图像稳定的系统和方法 Download PDF

Info

Publication number
CN109951631B
CN109951631B CN201811498158.0A CN201811498158A CN109951631B CN 109951631 B CN109951631 B CN 109951631B CN 201811498158 A CN201811498158 A CN 201811498158A CN 109951631 B CN109951631 B CN 109951631B
Authority
CN
China
Prior art keywords
orientation
image
sequence
image sensor
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811498158.0A
Other languages
English (en)
Other versions
CN109951631A (zh
Inventor
S·奥马里
P·戈尔
J·A·恩克
S·莫斯科夫切科
B·P·坦科斯莱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GoPro Inc
Original Assignee
GoPro Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GoPro Inc filed Critical GoPro Inc
Publication of CN109951631A publication Critical patent/CN109951631A/zh
Application granted granted Critical
Publication of CN109951631B publication Critical patent/CN109951631B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

公开了用于图像捕获的图像稳定的系统和方法，用于图像信号处理。例如，方法可以包括：确定用于图像传感器的取向设定点；基于针对图像传感器的取向估计序列和取向设定点，调用机械稳定系统，以调整图像传感器的取向朝向取向设定点；接收来自图像传感器的图像；确定在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差；基于取向误差，调用电子图像稳定模块，以针对与取向误差对应的旋转来校正图像，以获得稳定的图像；以及基于稳定的图像，存储、显示或传送输出图像。

Description

用于图像捕获的图像稳定的系统和方法
技术领域
本公开涉及用于图像捕获的图像稳定。
背景技术
图像捕获设备，诸如摄像机，可以将内容捕获为图像或视频。光可以经由镜头而被接收和聚焦，并且可以由图像传感器而被转换成电子图像信号。图像信号可以被图像信号处理器(ISP)处理以形成图像，该图像可以被存储和/或被编码。在一些实施方式中，来自不同图像传感器的多个图像或多个视频帧可以包括空间邻近的或重叠的内容，该内容可以被拼合在一起，以形成具有更大视场的更大图像。
发明内容
本文所公开的是用于图像捕获的图像稳定的实施方式。
在第一方面，本说明书中所描述的主题可以在如下系统中体现，该系统包括：图像传感器，被配置为捕获图像；包括电机的机械稳定系统，该机械稳定系统被配置为控制图像传感器的取向，以匹配取向设定点；以及电子图像稳定模块，被配置为：针对与取向误差对应的图像传感器的旋转来校正图像，该取向误差为：在图像的捕获期间，图像传感器的取向和取向设定点之间的取向误差。
在第二方面，本说明书中所描述的主题可以在如下方法中体现，该方法包括：确定用于图像传感器的取向设定点；基于针对图像传感器的取向估计序列和取向设定点，调用机械稳定系统，以调整图像传感器的取向朝向取向设定点；接收来自图像传感器的图像；确定在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差；基于取向误差，调用电子图像稳定模块，以针对与取向误差对应的旋转来校正图像，以获得稳定的图像；以及基于稳定的图像，存储、显示或传送输出图像。
在第三方面，本说明书中所描述的主题可以在如下系统中体现，该系统包括：图像传感器，被配置为捕获图像；一个或多个运动传感器，被配置为检测图像传感器的运动；机械稳定系统，包括万向节和电机，被配置为控制图像传感器的取向；电子图像稳定模块，被配置为针对图像传感器的旋转来校正图像；以及处理装置，被配置为：基于来自一个或多个运动传感器的传感器数据，确定取向估计序列；确定图像传感器的取向设定点；基于取向估计序列和取向设定点，调用机械稳定系统以调整图像传感器的取向；接收来自图像传感器的图像；确定在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差；基于取向误差，调用电子图像稳定模块，以针对与取向误差对应的旋转来校正图像，以获得稳定的图像；以及基于稳定的图像，存储、显示或传送输出图像。
下文的详细描述、所附权利要求和附图公开了本公开的这些方面和其它方面。
附图说明
当结合附图阅读下文的详细描述时，从中最佳地理解本公开。强调的是，根据通常的实践，附图的各种特征不是按比例的。相反地，为了清楚起见，各种特征的尺寸被任意扩大或缩小。
图1是可移动成像系统和高级别部件的框图。
图2A是可移动成像组件的图示。
图2B是成像设备的图示。
图2C是可移动成像组件控制器和用户界面的图示。
图2D是图2B的成像设备在移动机构内的图示。
图3A是被配置为用于具有图像稳定的图像捕获的系统的示例的框图。
图3B是被配置为用于具有图像稳定的图像捕获的系统的示例的框图。
图4是被配置为用于具有图像稳定的图像捕获的系统的示例的框图。
图5是被配置为用于具有图像稳定的图像捕获的系统的示例的框图。
图6是用于具有机械和电子图像稳定的图像捕获的过程的示例的流程图。
图7是用于具有机械和电子图像稳定的图像捕获的过程的示例的流程图。
图8是用于基于图像序列的取向估计序列来确定旋转的过程的示例的流程图。
具体实施方式
本文包括用于图像捕获的系统、装置和方法的公开，该图像捕获具有联合的机械和电子图像稳定。电子图像稳定(EIS)和机械稳定系统(MSS)试图使用类似的数据解决相同的问题。通常的实施方式不能同时正确运行。通常的电子图像稳定模块可以使用陀螺仪数据来校正摄像机围绕摄像机框架的X、Y和Z轴的旋转运动。通常的机械稳定系统可以使用陀螺仪和/或加速计数据以及可选地使用磁力计、气压计和全球定位系统数据，以抑制在万向节框架的X、Y和Z轴上的滚动运动以及在万向节框架中的X、Y和Z轴上的平移运动。机械稳定系统可以被配置为抑制运动，而电子图像稳定模块校正所捕获的图像(例如，视频帧)中的运动伪影。机械稳定系统在万向节参照系(其对于每个轴可以不同)中工作，而电子图像稳定模块在摄像机参照系上工作。
机械图像稳定通常依赖于具有高扭矩、高带宽的电机，以确保稳定的摄像机的取向精确遵循所期望的取向。这样的方法存在若干缺点。第一，电机在控制带宽方面具有固有的限制。例如，电机可能受限于其抑制高频振动的能力，该高频振动在摄像机上可以是可见的(例如，抖动或扭曲伪影)。第二，电机在最大扭矩方面具有固有的限制。例如，机械稳定系统可能受限于其抑制高扭矩干扰的能力(例如在跳跃之后着陆时的强烈撞击)。第三，如果我们仅能依赖于机械稳定，则最大化控制带宽和扭矩可以导致沉重、昂贵和大型的电机。
还可以采用电子图像稳定(EIS)方法和电子滚动快门(ERS)补偿，而不是仅依赖于机械稳定。ERS被设计成去除滚动快门伪影(例如，由非常高频率运动引起)。EIS被设计成通过去除摄像机的高频旋转运动的一部分来平滑镜头。在将EIS和ERS直接应用于经机械稳定的镜头时，实际上可能使结果更糟糕。这可能是因为试图稳定图像的ERS和EIS逻辑不具有将图像稳定到相同取向的目标。事实上，选择所期望的ERS/EIS校正的标准通常与机械万向节稳定的标准不一致。例如，机械稳定系统通常在特定区域内工作，并且当用户移动设备(例如，缓慢追拍)时，机械稳定系统将以平滑的方式跟随。这可以被解释为EIS系统的无意运动。结果可能是在图像捕获和处理流水线结束时所输出的图像序列(例如，视频帧)中的起伏运动。
在相同的图像捕获系统中同时使用机械稳定系统和电子图像稳定模块两者可能导致两个系统的动力学之间的干扰，这实际上可能降低图像(例如，视频)质量。另一问题是机械稳定系统可能需要高功率消耗并且耗尽图像捕获系统的电池。另一问题是电子图像稳定模块可能是计算复杂的并且消耗大量的计算资源(例如，处理器周期或存储器)。另一问题是机械稳定系统通常具有电机，在消耗过多功率时，该电机可能过热。
提出了一种技术，其中使用顺序方法，而不是独立地运行机械稳定并且与EIS和/或ERS并行，在该顺序方法中，机械稳定和电子稳定的稳定标准是一致的。基本想法是具有轨迹发生器，该轨迹发生器提供摄像机的取向设定点(例如，所期望的取向)。机械稳定系统试图达到该取向设定点。在捕获图像或图像的一部分期间，取向设定点和摄像机的实际取向之间的误差可以被估计，并且然后由电子图像稳定模块来补偿。对于使用电子滚动快门的系统，可以针对图像的各个部分(例如，像素线或像素行)来确定取向误差，并且然后扭曲映射(warp mapping)可以被计算并且被应用于图像以实现EIS和ERS补偿，该补偿考虑了逐部分(例如，逐行)的取向误差。通过将图像的取向设定点和/或取向误差从机械稳定系统前馈到电子图像稳定模块，可以使得电子图像稳定模块能够使用该数据，以在校正无意运动和误差时忽略所期望的/有意的运动。该结果可以在图像的结果序列中被感知为预期的平滑运动。
在一些实施方式中，轨迹发生器只能访问当前的和过去的数据，但不能访问未来的数据。通过引入一些算法处理延迟来考虑未来的摄像机运动(即，关于在图像序列中捕获之后的图像期间的运动的信息)，可以确定用于EIS补偿的改进的摄像机轨迹。图像序列的图像和对应的取向估计和/或取向误差可以被存储在缓冲区中，来以延迟方式等待EIS处理。这种缓冲可以在确定用于电子图像稳定模块(例如，通过快速轨迹发生器)的轨迹(例如，EIS旋转序列)时，使得能够考虑缓冲区中的图像的所有取向。然后，考虑了来自缓冲区的取向数据的快速轨迹发生器的输出可以被应用于缓冲区中的最旧图像，以确定受缓冲区延迟影响的稳定的图像。该过程可以被重复用于新的图像。
所提出的用于联合机械稳定系统和电子图像稳定模块的技术和系统可以提供优于传统图像稳定系统的优点。例如，可以提高稳定图像的质量，对于给定的图像质量可以减少机械稳定系统的功率消耗，可以减少图像捕获系统中的计算资源的消耗，和/或可以避免或减少机械稳定系统的电机过热。
参考附图详细描述了实施方式，其作为示例提供以使本领域的技术人员能够实践本技术。附图和示例不意味着将本公开的范围限制于单个实施方式或实施例，并且通过与所描述或所示出的元素中一些或所有互换或结合的方式，其他实施方式和实施例是可能的。在任何方便的地方，相同的附图标记将贯穿附图使用以表示相同或类似的部分。
图1是可移动成像系统10和高级别部件的框图。可移动成像系统10可以具有两个主部件：可移动成像组件20(MIA)和外部设备50，诸如具有用户界面的MIA控制器。这些部件可以经由链路55而被通信地连接。链路55可以是无线的或有线的。其他部件也可以被包括在可移动成像系统10内。例如，可移动成像组件20可以包括成像设备100，诸如可以被用来捕获静态和视频图像的摄像机(如本文所使用的，术语“摄像机”被广泛限定成包括任何形式的成像设备)。可移动成像组件20可以包括可移动平台40，该可移动平台40可以关于固定的参考地面位置移动和/或旋转移动。可移动成像组件20还可以包括移动机构30，该移动机构30允许成像设备100关于可移动平台40位置移动和/或旋转移动。
在一些实施方式中，外部设备50可以对应于智能电话、平板计算机、平板电话、智能手表、便携计算机和/或另外的设备，被配置为接收用户输入并且与成像设备100、移动机构30和/或可移动平台40单独地传递信息，或与作为一个整体的可移动成像组件20传递信息。
在一个或多个实施方式中，链路55可以利用任何无线接口配置，例如，WiFi、蓝牙(BT)、蜂窝数据链路、ZigBee、近场通信(NFC)链路，例如，使用ISO/IEC 14443协议、ANT+链路和/或其他无线通信链路。在一些实施方式中，链路55可以使用有线接口来实现，例如，HDMI、USB、数字视频接口、显示端口接口(例如，由视频电子标准协会(VESA)开发的数字显示接口、以太网、Thunderbolt)和/或其他接口。
外部设备50的UI可以操作软件应用(例如，GoPro
Figure GDA0003332901870000061
GoPro
Figure GDA0003332901870000062
和/或其他应用)，被配置为执行与摄像机配置、视频采集的控制和/或由成像设备100捕获的视频的显示相关的各种操作。应用(例如，GoPro
Figure GDA0003332901870000063
)可以使用户能创建短视频剪辑和将视频剪辑分享到云服务(例如，
Figure GDA0003332901870000064
)；执行成像设备100功能的完全远程控制；实时预览被捕获的视频用于拍摄取景；在录制时标记关键时刻(例如，HiLight
Figure GDA0003332901870000065
在GoPro Camera
Figure GDA0003332901870000066
中查看HiLight标签)以用于定位和/或回放视频集锦；无线控制摄像机软件和/或执行其他功能。各种方法可以被利用，以用于配置成像设备100和/或显示所捕获的信息。
作为说明，外部设备50的UI可以接收用户设置，表征图像分辨率(例如，3840像素乘以2160像素)、帧率(例如，60帧每秒(fps))和/或其他与通过用户捕获的活动(例如，山地骑单车)有关的设置(例如，地点)。外部设备50的UI可以经由链路55将这些设置传递到成像设备100。
用户可以利用外部设备50的UI来查看由成像设备100采集的内容。外部设备50的UI的显示器可以充当进入内容的3D空间的视口。在一些实施方式中，外部设备50的UI可以将附加的信息(例如，元数据)传递到成像设备100。作为说明，外部设备50的UI可以向成像设备100提供外部设备50的UI关于给定坐标系的取向，以使得能够确定视口地点或尺寸或两者，以用于查看全景内容的一部分。作为说明，用户可以旋转(扫掠)外部设备50的UI通过空间中的弧度。外部设备50的UI可以使用诸如链路55的通信接口向成像设备100传递显示取向信息。成像设备100可以提供编码比特流，被配置为在成像设备100穿过路径时使得能够查看内容的一部分，该内容的一部分与显示地点的环境的一部分对应。因此，从外部设备50的UI发送到成像设备100的显示取向信息允许用户可选择地查看所捕获的图像和/或视频。
在许多实例中，期望用可移动成像组件20跟踪目标(该目标可以包括一个或多个主体)。各种形式的跟踪可以被利用，包括那些在下文中讨论的和在于2016年7月21日提交的美国临时专利申请序列号No.62/364,960中讨论的，并且以整体通过引用并入本文。跟踪系统60可以被用来实现所描述形式的跟踪。跟踪系统60可以包括处理器和用于跟踪目标的算法。跟踪系统60以虚线示出，因为该跟踪系统60可以被整体包括在可移动成像组件20内或被整体包括在外部设备50内，或跟踪系统60的部分可以定位或被复制在可移动成像组件20和外部设备50中的每一个内。语音识别系统70也可以被用来与跟踪系统60交互并且发出命令(例如，标识或调整目标的命令)。
图2A至图2D是图1所示的部件的实施方式的图示。
图2A是可移动成像组件20的图示。在所示的示例实施方式中，可移动成像组件20包括可移动平台40，四轴飞行器无人机。可移动成像组件20可以是关于固定地面可移动的任何形式的飞行器或任何形式的可移动设备，可以包括连接到地球的可移动机械系统。如图2A所示，成像设备100被安装在可移动平台40的前方，使得成像设备100指向沿可移动平台40的轴的方向。然而，在各种实施方式中，使用移动机构30来完成将成像设备100安装到可移动平台40。
图2B是成像设备100的图示。在图2B中，成像设备100是GoPro
Figure GDA0003332901870000081
摄像机，然而任何类型的成像设备100可以被利用。成像设备100可以包括视频摄像机设备。图2B还示出摄像机的镜头130和显示屏147。
图2C是外部设备50，具体地，MIA控制器和用户界面的图示。用户界面还可以包括具有显示设备52的显示系统51。MIA控制器还可以包括通信接口，经由此通信接口，MIA控制器可以接收命令，用于操作诸如UAV或无人机的可移动平台40和操作成像设备100两者。命令可以包括移动命令、配置命令和其他类型的操作控制命令。
图2D是图2B的成像设备100在移动机构30内的图示。移动机构30将成像设备100耦合到可移动平台40。图2D所示的移动机构30的实施方式是三轴万向节机构，允许成像设备100围绕三个独立轴旋转。然而，移动机构30可以包括任何类型的平移和/或旋转元件，允许在一个、两个或三个维度上的旋转和/或平移移动。
图3A是系统300的示例的框图，系统300被配置为用于具有图像稳定的图像捕获。系统300包括图像捕获设备310(例如，摄像机或无人机)，包括处理装置312，处理装置312被配置为接收来自一个或多个图像传感器314的图像。图像捕获设备310包括万向节和电机316，万向节和电机316是机械稳定系统的致动器，该机械稳定系统被配置为控制一个或多个图像传感器314的取向(例如，关于可移动平台的取向)。万向节和电机316可以由机械稳定系统的控制器来控制，机械稳定系统的控制器可以由处理装置312来实现(例如，作为软件模块或专用硬件模块)。处理装置312可以被配置为执行图像信号处理(例如，滤波、色调映射、拼接和/或编码)，以基于来自图像传感器314的图像数据生成输出图像。处理装置312可以包括电子图像稳定模块(例如，被实现为软件模块或专用硬件模块)，被配置为针对一个或多个图像传感器314的旋转来校正图像。图像捕获设备310包括一个或多个运动传感器318，被配置为检测一个或多个图像传感器314的运动。一个或多个运动传感器318可以向机械稳定系统和/或电子图像稳定模块提供反馈信号。图像捕获设备310包括通信接口322，用于将图像传输到其他设备。图像捕获设备310包括用户界面320，可以允许用户控制图像捕获功能和/或查看图像。图像捕获设备310包括电池324，用于为图像捕获设备310供电。例如，系统300可以被用来实现本公开所描述的过程，诸如图6的过程600和图7的过程700。
处理装置312可以包括一个或多个处理器，具有单个或多个处理核。处理装置312可以包括存储器，诸如随机存取存储器设备(RAM)、闪存存储器或诸如非暂时性计算机可读存储器的任何其他合适类型的存储设备。处理装置312的存储器可以包括可执行指令和数据，可以由处理装置312的一个或多个处理器访问。例如，处理装置312可以包括诸如双倍数据速率同步动态随机-存取存储器(DDR SDRAM)的一个或多个DRAM模块。在一些实施方式中，处理装置312可以包括数字信号处理器(DSP)。在一些实施方式中，处理装置312可以包括专用集成电路(ASIC)。例如，处理装置312可以包括定制图像信号处理器。在一些实施方式中，处理装置312可以在图像捕获设备310的不同部分中具有多个处理单元。例如，处理装置312可以包括可移动平台(例如，可移动平台40)上的处理器和由万向节和电机316连接的成像设备(例如，成像设备100)中的处理器
处理装置312可以包括电子图像稳定模块，被配置为针对图像传感器的旋转来校正图像。例如，电子图像稳定模块可以通过由处理装置312执行的软件来实现。电子图像稳定模块可以将传感器数据(例如，陀螺仪数据)和/或图像传感器的取向估计作为输入，确定校正的旋转，并且将校正的旋转应用到来自图像传感器的图像以获得稳定的图像。
一个或多个图像传感器314被配置为捕获图像。一个或多个图像传感器314被配置为检测某些光谱的光(例如，可见光谱或红外光谱)并且将构成图像的信息作为电信号(例如，模拟信号或数字信号)输送。例如，一个或多个图像传感器314可以包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)的有源像素传感器。一个或多个图像传感器314可以检测通过各自的镜头(例如，鱼眼镜头)入射的光。在一些实施方式中，一个或多个图像传感器314包括数字/模拟转换器。在一些实施方式中，一个或多个图像传感器314具有各自的重叠的视场。
一个或多个图像传感器314的机械稳定系统包括万向节和电机316。万向节和电机316可以是移动机构(例如，移动机构30)的构件。万向节和电机316可以将一个或多个图像传感器314连接到移动平台并且控制这些传感器的取向。例如，图像捕获设备310可以包括无人机，通过机械稳定系统的万向节而被耦合到图像传感器314的外壳。万向节和电机316可以跨越多个轴(例如，具有无刷直流电机的3轴万向节组)。机械稳定系统可以包括控制器(例如，比例积分微分(PID)控制器)。例如，机械稳定系统的控制器可以由处理装置312实现(例如，作为软件模块或专用硬件模块)。
一个或多个运动传感器318被配置为检测一个或多个图像传感器314的运动。例如，一个或多个运动传感器318可以包括惯性测量单元(例如，包括陀螺仪、加速计和/或磁力计)的构件，惯性测量单元被安装在具有一个或多个图像传感器314的外壳中。在一些实施方式中，一个或多个运动传感器318可以包括惯性测量单元的构件，被安装在图像捕获设备310的可移动平台中。在一些实施方式中，一个或多个运动传感器318包括检测万向节和电机316的状态的传感器(例如，磁编码器、光学编码器和/或电位计)，以测量图像捕获设备310的图像传感器和可移动平台的相对取向。例如，一个或多个运动传感器318可以包括编码器，被配置为检测图像传感器相对于可移动平台(例如，无人机或手持电池底座)的位置和取向。处理装置312可以被配置为基于来自一个或多个运动传感器318的传感器数据，确定取向估计序列。例如，确定取向估计序列可以包括将二次估计应用于传感器数据，该传感器数据来自一个或多个运动传感器318中的多个。
处理装置312可以被配置为联合调用机械稳定系统和电子图像稳定模块，以减轻由图像捕获设备310的运动引起的所捕获图像的失真。处理装置312可以被配置为：基于来自一个或多个运动传感器的传感器数据，确定取向估计序列；确定图像传感器的取向设定点；基于取向估计序列和取向设定点，调用机械稳定系统以调整图像传感器的取向；接收来自图像传感器的图像；确定在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差；以及基于取向误差，调用电子图像稳定模块以针对与取向误差对应的旋转来校正图像，以获得稳定的图像。处理装置312可以被配置为基于稳定的图像，存储、显示或传送输出图像。在一些实施方式中，处理装置被配置为：将在图像之后被捕获的图像序列存储在缓冲区中；以及基于取向估计，确定与取向误差对应的旋转，该取向估计来自与图像序列对应的取向估计序列。例如，处理装置312可以被配置为：基于与图像序列对应的取向估计序列，确定轨迹；以及基于轨迹，确定与取向误差对应的旋转。例如，处理装置312可以被配置为：基于与图像序列对应的取向估计序列和取向设定点，确定取向误差序列；以及将滤波器(例如，低通滤波器)应用于取向误差序列以获得轨迹。在一些实施方式中，图像通过电子滚动快门而被捕获，取向误差是与图像的第一部分相关联的第一取向误差，并且处理装置312被配置为：确定在图像的第二部分的捕获期间图像传感器的取向和取向设定点之间的第二取向误差；以及基于第二取向误差，调用电子图像稳定模块以针对与第二取向误差对应的旋转来校正图像的第二部分，以获得稳定的图像。例如，处理装置312可以被配置为实现图6的过程600或图7的过程700。
图像捕获设备310可以包括用户界面320。例如，用户界面320可以包括LCD显示，用于向用户呈现图像和/或信息。例如，用户界面320可以包括按钮或开关，使得人能够手动地开启或关闭图像捕获设备310。例如，用户界面320可以包括用于拍摄照片的快门按钮。
图像捕获设备310可以包括通信接口322，使得能够与个人计算设备(例如，智能电话、平板、笔记本计算机或台式计算机)通信。例如，通信接口322可以被用来接收命令，控制图像捕获设备310中的图像捕获和处理。例如，通信接口322可以被用来将图像数据传送到个人计算设备。例如，通信接口322可以包括有线接口，诸如高清多媒体接口(HDMI)、通用串行总线(USB)接口或FireWire接口。例如，通信接口322可以包括无线接口，诸如蓝牙接口、ZigBee接口和/或Wi-Fi接口。
图像捕获设备310可以包括电池324，为图像捕获设备310和/或图像捕获设备310的外设供电。例如，电池324可以无线地或通过微型USB接口而被充电。
图3B是系统330的示例的框图，该系统330被配置为用于具有图像稳定的图像捕获。系统330包括图像捕获设备340和个人计算设备360，经由图像链路350通信。图像捕获设备340包括一个或多个图像传感器342，被配置为捕获图像。图像捕获设备340包括通信接口348，被配置为经由通信链路350将图像传输到个人计算设备360。个人计算设备360包括处理装置362，被配置为使用通信接口366接收来自一个或多个图像传感器342的图像。图像捕获设备340包括万向节和电机344，万向节和电机344是机械稳定系统的致动器，该机械稳定系统被配置为控制一个或多个图像传感器342的取向(例如，关于可移动平台的取向)。万向节和电机344可以由机械稳定系统的控制器控制，机械稳定系统的控制器可以由处理装置362实现(例如，作为软件模块或专用硬件模块)并且经由通信链路350向电机344提供控制信号。处理装置362可以被配置为执行图像信号处理(例如，滤波、色调映射、拼接和/或编码)，以基于来自一个或多个图像传感器342的图像数据生成输出图像。处理装置362可以包括电子图像稳定模块(例如，被实现为软件模块或专用硬件模块)，被配置为针对一个或多个图像传感器342的旋转来校正图像。图像捕获设备340包括一个或多个运动传感器346，被配置为检测一个或多个图像传感器342的运动。一个或多个运动传感器346可以向机械稳定系统和/或电子图像稳定模块提供反馈信号(例如，经由通信链路350)。例如，系统330可以被用来实现本公开所描述的过程，诸如图6的过程600和图7的过程700。
一个或多个图像传感器342被配置为捕获图像。一个或多个图像传感器342被配置为检测某些光谱的光(例如，可见光谱或红外光谱)并且将构成图像的信息作为电信号(例如，模拟信号或数字信号)输送。例如，一个或多个图像传感器342可以包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)的有源像素传感器。一个或多个图像传感器342可以检测通过各自的镜头(例如，鱼眼镜头)入射的光。在一些实施方式中，一个或多个图像传感器342包括数字/模拟转换器。在一些实施方式中，一个或多个图像传感器342具有各自的重叠的视场。
处理装置362可以包括一个或多个处理器，具有单个或多个处理核。处理装置362可以包括存储器，诸如随机存取存储器设备(RAM)、闪存存储器或诸如非暂时性计算机可读存储器的任何其他合适类型的存储设备。处理装置362的存储器可以包括可执行指令和数据，其可以由处理装置362的一个或多个处理器访问。例如，处理装置362可以包括诸如双倍数据速率同步动态随机-存取存储器(DDR SDRAM)的一个或多个DRAM模块。在一些实施方式中，处理装置362可以包括数字信号处理器(DSP)。在一些实施方式中，处理装置362可以包括专用集成电路(ASIC)。例如，处理装置362可以包括定制图像信号处理器。
处理装置362可以包括电子图像稳定模块，被配置为针对图像传感器的旋转来校正图像。例如，电子图像稳定模块可以通过由处理装置362执行的软件来实现。电子图像稳定模块可以将传感器数据(例如，陀螺仪数据)和/或图像传感器的取向估计作为输入，确定校正的旋转，并且将校正的旋转应用到来自图像传感器的图像以获得稳定的图像。
一个或多个图像传感器342的机械稳定系统包括万向节和电机344。万向节和电机344可以是移动机构(例如，移动机构30)的构件。万向节和电机344可以将一个或多个图像传感器342连接到移动平台并且控制这些传感器的取向。例如，图像捕获设备340可以包括无人机，通过机械稳定系统的万向节而被耦合到图像传感器342的外壳。万向节和电机344可以跨越多个轴(例如，具有无刷直流电机的3轴万向节组)。机械稳定系统可以包括控制器(例如，比例积分微分(PID)控制器)。例如，机械稳定系统的控制器可以由处理装置362实现(例如，作为软件模块或专用硬件模块)。
一个或多个运动传感器346被配置为检测一个或多个图像传感器342的运动。例如，一个或多个运动传感器346可以包括惯性测量单元(例如，包括陀螺仪、加速计和/或磁力计)的构件，惯性测量单元被安装在具有一个或多个图像传感器342的外壳中。在一些实施方式中，一个或多个运动传感器346可以包括惯性测量单元的构件，被安装在图像捕获设备340的可移动平台中。在一些实施方式中，一个或多个运动传感器346包括检测万向节和电机344的状态的传感器(例如，磁编码器、光学编码器和/或电位计)，以测量图像捕获设备340的图像传感器和可移动平台的相对取向。例如，一个或多个运动传感器346可以包括编码器，被配置为检测图像传感器相对于可移动平台(例如，无人机或手持电池底座)的位置和取向。处理装置362可以被配置为基于来自一个或多个运动传感器346的传感器数据，确定取向估计序列。例如，确定取向估计序列可以包括将二次估计应用于传感器数据，该传感器数据来自一个或多个运动传感器346中的多个。
处理装置362可以被配置为联合调用机械稳定系统和电子图像稳定模块，以减轻由图像捕获设备340的运动引起的所捕获图像的失真。处理装置362可以被配置为：基于来自一个或多个运动传感器的传感器数据，确定取向估计序列；确定图像传感器的取向设定点；基于取向估计序列和取向设定点，调用机械稳定系统以调整图像传感器的取向；接收来自图像传感器的图像；确定在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差；以及基于取向误差，调用电子图像稳定模块以针对与取向误差对应的旋转来校正图像，以获得稳定的图像。处理装置362可以被配置为基于稳定的图像，存储、显示或传送输出图像。在一些实施方式中，处理装置被配置为：将在图像之后被捕获的图像序列存储在缓冲区中；以及基于取向估计，确定与取向误差对应的旋转，该取向估计来自与图像序列对应的取向估计序列。例如，处理装置362可以被配置为：基于与图像序列对应的取向估计序列，确定轨迹；以及基于轨迹，确定与取向误差对应的旋转。例如，处理装置362可以被配置为：基于与图像序列对应的取向估计序列和取向设定点，确定取向误差序列；以及将滤波器(例如，低通滤波器)应用于取向误差序列以获得轨迹。在一些实施方式中，图像通过电子滚动快门而别捕获，取向误差是与图像的第一部分相关联的第一取向误差，并且处理装置362被配置为：确定在图像的第二部分的捕获期间图像传感器的取向和取向设定点之间的第二取向误差；以及基于第二取向误差，调用电子图像稳定模块以针对与第二取向误差对应的旋转来校正图像的第二部分，以获得稳定的图像。例如，处理装置362可以被配置为实现图6的过程600或图7的过程700。
通信链路350可以是有线通信链路或无线通信链路。通信接口348和通信接口366可以使得能够在通信链路350上通信。例如，通信接口348和通信接口366可以包括高清多媒体接口(HDMI)、通用串行总线(USB)接口、FireWire接口、蓝牙接口、ZigBee接口和/或Wi-Fi接口。例如，通信接口348和通信接口366可以被用来将图像数据从图像捕获设备340传送到个人计算设备360，以用于图像信号处理(例如，滤波、色调映射、拼接和/或编码)，以基于来自一个或多个图像传感器342的图像数据生成输出图像。例如，通信接口348和通信接口366可以被用来将运动传感器数据从图像捕获设备340传输到个人计算设备360，以用于机械稳定系统和/或电子图像稳定系统的控制器中的处理。例如，通信接口348和通信接口366可以被用来将控制信号从个人计算设备360传输到图像捕获设备340，以用于控制机械稳定系统的万向节和电机344。
个人计算设备360可以包括用户界面364。例如，用户界面364可以包括触摸屏显示，用于向用户呈现图像和/或信息并且接收来自用户的命令。例如，用户界面364可以包括按钮或开关，使得人能够手动地开启或关闭个人计算设备360。在一些实施方式中，经由用户界面364接收的命令(例如，开始录制视频、停止录制视频、拍摄照片或选择跟踪目标)可以经由通信链路350而被传递到图像捕获设备340。
图4是系统400的示例的框图，被配置为用于具有图像稳定的图像捕获。该系统包括：图像传感器410，被配置为捕获图像；机械稳定系统420，被配置为控制图像传感器410的取向；电子图像稳定模块430，被配置为针对图像传感器的旋转来校正图像；运动跟踪模块440，包括一个或多个运动传感器，该运动跟踪模块440被配置为检测图像传感器410的运动并且向机械稳定系统420和/或电子图像稳定模块430提供输入；以及取向设定点发生器450，被配置为确定图像传感器的取向设定点。电子图像稳定模块430可以被配置为针对与机械稳定系统420的取向误差对应的旋转来校正图像，以获得稳定的图像。例如，系统400可以被用来实现本公开所描述的过程，诸如图6的过程600和图7的过程700。
系统400包括图像传感器410，被配置为捕获图像412。图像传感器410可以被配置为检测某些光谱的光(例如，可见光谱或红外光谱)并且将构成图像的信息作为电信号(例如，模拟信号或数字信号)输送。例如，图像传感器410可以包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)的有源像素传感器。图像传感器410可以检测通过镜头(例如，鱼眼镜头)入射的光。在一些实施方式中，图像传感器410包括数字/模拟转换器。
系统400包括机械稳定系统420，包括电机，该机械稳定系统420被配置为控制图像传感器410的取向以匹配取向设定点。在本示例中，机械稳定系统420包括万向节和电机422，万向节和电机422是被用来控制图像传感器410的取向的致动器(例如，关于可移动平台的取向)。万向节和电机422可以是移动机构(例如，移动机构30)的构件。万向节和电机422可以将图像传感器410连接到可移动平台并且用可移动平台控制图像传感器410的取向。例如，系统400可以包括无人机(例如，可移动平台40)，通过机械稳定系统420而被耦合到图像传感器410的外壳。万向节和电机422可以跨越多个轴(例如，具有无刷直流电机的3轴万向节组)。机械稳定系统420可以包括控制器424(例如，比例积分微分(PID)控制器)。例如，机械稳定系统420的控制器424可以被实现为软件模块或专用硬件模块(例如，通过处理装置312)。控制器424可以从取向设定点发生器450取得取向设定点426，取向设定点发生器450可以包括跟踪系统(例如，跟踪系统60)。控制器424可以被配置为抑制偏离取向设定点426(例如，当前取向)的运动。万向节和电机422被用来生成力428(例如，力矩或位移)，以致动图像传感器410的取向和/或位置的控制。例如，力428可以用于在所连接的可移动平台(例如，无人机)移动时，保持图像传感器410稳定地指向目标。
系统400包括电子图像稳定模块430，被配置为针对图像传感器410的旋转来校正图像，图像传感器410的旋转与在图像412的捕获期间，图像传感器410的取向和取向设定点426之间的取向误差434对应。例如，电子图像稳定模块430可以通过由处理装置(例如，图像信号处理器)执行的软件来实现。电子图像稳定模块430可以将取向误差434作为输入，确定校正的旋转，并且将校正的旋转应用于来自图像传感器410的图像412，以获得稳定的图像432。基于从机械稳定系统420前馈的取向误差434来进行针对旋转的校正可以防止或减少机械稳定系统420的动力学和电子图像稳定模块430的动力学之间的干扰，并且提高稳定的图像432的图像质量。例如，图像传感器410的某些高频运动(例如，振动)可能太快，以至于不能由机械稳定系统420有效地抑制，并且因此可能导致图像412的失真。该剩余失真可以由电子图像稳定模块430中的数字图像处理整体地或部分地校正。
系统400包括运动跟踪模块440，包括一个或多个运动传感器，该运动跟踪模块440被配置为检测图像传感器410的运动并且确定图像传感器410的取向估计448序列。运动跟踪模块440包括惯性测量单元442，可以被用来检测图像传感器410的位置和取向的变化。例如，惯性测量单元442可以包括3轴加速计、3轴陀螺仪和/或3轴磁力计。运动跟踪模块440包括编码器444(例如，磁编码器、光学编码器和/或干涉激光编码器)，可以被用来检测图像传感器410相对于由万向节和电机422连接的可移动平台(例如，无人机)的位置和/或取向。运动跟踪模块440包括全球定位系统(GPS)接收器446，可以被用来跟踪图像传感器410的位置变化。运动跟踪模块440可以包括传感器融合模块，用于联合来自运动跟踪模块440的各个传感器的数据，以确定图像传感器410的位置和/或取向的估计序列。例如，确定取向估计448序列可以包括将二次估计应用于来自惯性测量单元442、编码器444和/或GPS接收器446的传感器数据。机械稳定系统420可以将取向估计448序列作为输入并且使用取向估计448序列作为反馈，以用于控制图像传感器410的取向。
系统400包括取向设定点发生器450，用于指引图像传感器410的取向。取向设定点发生器450可以确定图像传感器的取向设定点426。取向设定点426可以基于来自运动跟踪模块440的传感器数据和/或取向估计452而被确定。在一些实施方式中，取向设定点426被确定，以维持稳定的取向(例如，基于图像传感器410的过往取向估计来选择)。在一些实施方式中，取向设定点426被确定，以跟踪对象并且将其保持在图像传感器410的视场内。例如，取向设定点发生器450可以包括跟踪模块(例如，跟踪系统60)，被配置为跟踪对象(例如，人)。对象可以由用户选择用于跟踪。例如，对象可以使用计算机视觉技术和/或来自对象的信标信号而被跟踪。取向设定点426可以被周期性地更新(例如，以图像传感器410的帧率、半帧率或十倍帧率)。取向设定点426可以指定图像传感器410的取向和/或位置。例如，取向设定点426可以包括四元数。在一些实施方式中，取向设定点426可以指定十二个自由度(例如，三个角度、三个角速度、三个位置坐标和三个速度)。例如，取向设定点发生器450可以被实现为由处理装置(例如，处理装置312)执行的软件。
图5是系统500的示例的框图，被配置为用于具有图像稳定的图像捕获。该系统包括：图像传感器510，被配置为捕获图像；机械稳定系统520，被配置为控制图像传感器510的取向；电子图像稳定模块530，被配置为针对图像传感器的旋转来校正图像；运动跟踪模块540，包括一个或多个运动传感器，该运动跟踪模块540被配置为检测图像传感器510的运动并且向机械稳定系统520和/或电子图像稳定模块530提供输入；慢速轨迹发生器550，被配置为确定图像传感器的取向设定点526序列；缓冲区560，用于存储图像序列；以及快速轨迹发生器570，被配置为基于存储在缓冲区560中的图像序列的取向误差572，来确定用于由电子图像稳定模块530进行的校正的旋转574序列。电子图像稳定模块530可以被配置为针对来自快速轨迹发生器570、与机械稳定系统520的取向误差对应的旋转574来校正图像，以获得稳定的图像。将图像序列(例如，视频帧)存储在缓冲区560中可以提供处理延迟，以使得能够进行非因果超前滤波(non-causal,look-ahead filtering)，以确定更平滑的旋转574序列，以用于电子图像稳定模块530的校正，这可以提高得到的稳定的图像532的质量。例如，系统500可以被用来实现本公开所描述的过程，诸如图7的过程700。
系统500包括图像传感器510，被配置为捕获图像512。图像传感器510可以被配置为检测某些光谱的光(例如，可见光谱或红外光谱)并且将构成图像的信息作为电信号(例如，模拟信号或数字信号)输送。例如，图像传感器510可以包括电荷耦合设备(CCD)或互补金属氧化物半导体(CMOS)的有源像素传感器。图像传感器510可以检测通过镜头(例如，鱼眼镜头)入射的光。在一些实施方式中，图像传感器510包括数字/模拟转换器。
系统500包括机械稳定系统520，包括电机，该机械稳定系统520被配置为控制图像传感器510的取向以匹配取向设定点。在本示例中，机械稳定系统520包括万向节和电机522，万向节和电机522是被用来控制图像传感器510的取向的致动器(例如，关于可移动平台的取向)。万向节和电机522可以是移动机构(例如，移动机构30)的构件。万向节和电机522可以将图像传感器510连接到可移动平台并且用可移动平台控制图像传感器510的取向。例如，系统500可以包括无人机(例如，可移动平台40)，通过机械稳定系统520而被耦合到图像传感器510的外壳。万向节和电机522可以跨越多个轴(例如，具有无刷直流电机的3轴万向节组)。机械稳定系统520可以包括控制器524(例如，比例积分微分(PID)控制器)。例如，机械稳定系统520的控制器524可以被实现为软件模块或专用硬件模块(例如，通过处理装置312)。控制器524可以从慢速轨迹发生器550取得取向设定点526，慢速轨迹发生器550可以包括跟踪系统(例如，跟踪系统60)。控制器524可以被配置为抑制偏离取向设定点526(例如，当前取向)的运动。万向节和电机522被用来生成力528(例如，力矩或位移)，以致动图像传感器510的取向和/或位置的控制。例如，力528可以用于在所连接的可移动平台(例如，无人机)移动时，保持图像传感器510稳定地指向目标。
系统500包括电子图像稳定模块530，被配置为针对图像传感器510的旋转来校正图像，图像传感器510的旋转与在图像512的捕获期间，图像传感器510的取向和取向设定点526之间的取向误差534对应。例如，电子图像稳定模块530可以通过由处理装置(例如，图像信号处理器)执行的软件来实现。电子图像稳定模块530可以将来自快速轨迹发生器570的旋转574作为输入，确定校正的旋转，并且将校正的旋转应用于来自缓冲区560的图像562(例如，存储在缓冲区560中的图像序列中的最旧图像)，以获得稳定的图像532。基于从机械稳定系统520前馈的取向误差572来进行针对旋转的校正可以防止或减少机械稳定系统520的动力学和电子图像稳定模块530的动力学之间的干扰，并且提高稳定的图像532的图像质量。例如，图像传感器510的某些高频运动(例如，振动)可能太快，以至于不能由机械稳定系统520有效地抑制，并且因此可能导致图像562的失真。该剩余失真可以由电子图像稳定模块530中的数字图像处理整体地或部分地校正。
系统500包括运动跟踪模块540，包括一个或多个运动传感器，该运动跟踪模块540被配置为检测图像传感器510的运动并且确定图像传感器510的取向估计548序列。运动跟踪模块540包括惯性测量单元542，可以被用来检测图像传感器510的位置和取向的变化。例如，惯性测量单元542可以包括3轴加速计、3轴陀螺仪和/或3轴磁力计。运动跟踪模块540包括编码器544(例如，磁编码器、光学编码器和/或干涉激光编码器)，可以被用来检测图像传感器510相对于由万向节和电机522连接的可移动平台(例如，无人机)的位置和/或取向。运动跟踪模块540包括全球定位系统(GPS)接收器546，可以被用来跟踪图像传感器510的位置变化。运动跟踪模块540可以包括传感器融合模块，用于联合来自运动跟踪模块540的各个传感器的数据，以确定图像传感器510的位置和/或取向的估计序列。例如，确定取向估计548序列可以包括将二次估计应用于来自惯性测量单元542、编码器544和/或GPS接收器546的传感器数据。机械稳定系统520可以将取向估计548序列作为输入并且使用取向估计548序列作为反馈，以用于控制图像传感器510的取向。
系统500包括慢速轨迹发生器550，用于指引图像传感器510的取向。慢速轨迹发生器550可以确定取向设定点526序列，该取向设定点526序列指定图像传感器510的期望轨迹。取向设定点526可以基于来自运动跟踪模块540的传感器数据和/或取向估计552而被确定。在一些实施方式中，取向设定点526序列被确定，以维持稳定的取向(例如，基于图像传感器510的过往取向估计来选择)。在一些实施方式中，取向设定点526序列被确定，以跟踪对象并且将其保持在图像传感器510的视场内。例如，慢速轨迹发生器550可以包括跟踪模块(例如，跟踪系统60)，被配置为跟踪对象(例如，人)。对象可以由用户选择用于跟踪(例如，经由触摸屏用户界面)。例如，对象可以使用计算机视觉技术和/或来自对象的信标信号而被跟踪。取向设定点526可以被周期性地更新(例如，以图像传感器510的帧率、半帧率或十倍帧率)。取向设定点526可以指定图像传感器510的取向和/或位置。例如，取向设定点526可以包括四元数。在一些实施方式中，取向设定点526可以指定十二个自由度(例如，三个角度、三个角速度、三个位置坐标和三个速度)。例如，慢速轨迹发生器550可以被实现为由处理装置(例如，处理装置312)执行的软件。
系统500包括缓冲区560，以存储由图像传感器510捕获的图像序列(例如，视频帧)。例如，缓冲区560可以是循环缓冲区，存储在固定时间段内已经被按顺序捕获的最新图像(例如，最新0.5秒、1秒或2秒的视频帧的缓冲区)。例如，在最旧图像已经被电子图像稳定模块530处理之后，可以将新图像512写到存储在缓冲区560中的最旧图像上。缓冲区560也可以接收与新图像512对应的取向误差534，该取向误差534与图像512一起被存储在缓冲区560中。
系统500包括快速轨迹发生器570，被配置为基于取向误差572确定旋转574序列，取向误差572与缓冲区560中的图像对应。与存储在缓冲区560中的图像序列相关联的取向误差572序列可以由快速轨迹发生器570访问。例如，低通滤波器可以被应用于取向误差572序列，以确定将要被校正的旋转574序列。在确定旋转574序列时，快速轨迹发生器570也可以考虑图像序列中较旧图像的取向误差，这些较旧图像先前已经由电子图像稳定模块530处理并且被从缓冲区560删除，旋转574序列包括用于将由电子图像稳定模块530处理的图像562的旋转。例如电子图像稳定模块530可以被配置为使用来自旋转574序列、与存储在缓冲区560中的最旧图像562对应的旋转。
图6是过程600的示例的流程图，该过程600用于具有机械和电子图像稳定的图像捕获。过程600包括：基于来自一个或多个运动传感器的传感器数据，确定610取向估计序列；确定620图像传感器的取向设定点；基于图像传感器的取向估计序列和取向设定点，调用630机械稳定系统以调整图像传感器的取向朝向取向设定点；接收640来自图像传感器的图像；确定650在图像捕获期间图像传感器的取向和取向设定点之间的取向误差；基于取向误差，调用660电子图像稳定模块以针对与取向误差对应的旋转来校正图像，以获得稳定的图像；以及基于稳定的图像，存储、显示或传送670输出图像。例如，过程600可以由图1的可移动成像系统10、图3A的系统300、图3B的系统330或图4的系统400来实现。例如，过程600可以由图像捕获设备来实现，诸如图3A所示的图像捕获设备310。例如，过程600可以由个人计算设备来实现，诸如个人计算设备360。
过程600包括基于来自一个或多个运动传感器(例如，一个或多个运动传感器318)的传感器数据，确定610取向估计序列。一个或多个运动传感器可以包括惯性测量单元(例如，惯性测量单元442)，可以被用来检测图像传感器的位置和取向的变化。一个或多个运动传感器可以包括编码器(例如，磁编码器、光学编码器和/或干涉激光编码器)，可以被用来检测图像传感器相对于由万向节和电机连接的可移动平台(例如，无人机)的位置和/或取向。一个或多个运动传感器可以包括电位器，检测万向节和电机的状态和由此图像传感器相对于由万向节和电机连接的可移动平台(例如，无人机)的位置和/或取向。来自一个或多个运动传感器的数据可以被联合，以确定610图像传感器的取向估计序列。例如，确定610取向估计序列可以包括将二次估计应用于来自一个或多个运动传感器的传感器数据。在一些实施方式中，取向估计序列的取向估计可以包括图像传感器关于重力或地平线的取向估计。例如，来自惯性测量单元的传感器测量可以被用来估计图像传感器关于重力的取向。在一些实施方式中，取向估计序列的取向估计可以包括图像传感器关于可移动平台(例如，无人机或手持式可移动平台)的取向估计。在一些实施方式中，取向估计序列包括图像传感器关于可移动平台的取向估计和图像传感器关于重力的取向估计。
过程600包括确定620图像传感器的取向设定点。取向设定点可以基于传感器数据和/或取向估计而被确定620，该取向估计反映图像传感器的取向和/或位置。在一些实施方式中，取向设定点被确定620，以维持稳定的取向(例如，基于图像传感器的过往取向估计来选择)。例如，最近的取向估计或最近的取向估计的平均值可以被用来确定620取向设定点，以在附接的可移动平台(例如，无人机)的振动或其他运动存在的情况下努力保持图像传感器稳定。在一些实施方式中，取向设定点被确定620，以跟踪对象并且将其保持在图像传感器的视场内。例如，被配置为跟踪对象(例如，人)的跟踪模块(例如，跟踪系统60)可以被调用以确定620取向设定点。对象可以由用户选择用于跟踪。例如，对象可以使用计算机视觉技术和/或来自对象的信标信号而被跟踪。取向设定点可以被周期性地确定620(例如，以图像传感器的帧率、半帧率或十倍帧率)。取向设定点可以指定图像传感器的取向和/或位置。例如，取向设定点可以包括四元数。在一些实施方式中，取向设定点可以指定十二个自由度(例如，三个角度、三个角速度、三个位置坐标和三个速度)。例如，取向设定点可以使用由处理装置(例如，处理装置312)执行的软件而被确定620。
过程600包括：基于图像传感器的取向估计序列和取向设定点，调用630机械稳定系统(例如，机械稳定系统420)以调整图像传感器的取向朝向取向设定点。例如，机械稳定系统可以包括由比例积分微分(PID)控制器控制的万向节和电机(例如，万向节和电机316)。例如，可以通过如下方式来调用630机械稳定系统，即调用和/或执行机械稳定系统的控制器的软件实现并且使其处理基于取向估计序列的输入数据，以生成控制信号来驱动致动器(例如，万向节和电机316)，以控制图像传感器的取向和/或位置。例如，可以通过如下方式来调用630机械稳定系统，即将基于取向估计序列和取向设定点的数据输入机械稳定系统的控制器的专用硬件实现并且使其处理该输入数据，以生成控制信号来驱动致动器(例如，万向节和电机316)，以控制图像传感器的取向和/或位置。调用630机械稳定系统可以减少图像传感器的非期望运动和相关联的失真(例如，模糊和视频帧之间的颤动)。
过程600包括从图像传感器接收640图像。图像传感器可以是图像捕获系统(例如，可移动成像系统10、图像捕获设备310或图像捕获设备340)的一部分。在一些实施方式中，图像传感器可以被附接到实现过程600的处理装置上。例如，图像可以经由总线从图像传感器而被接收640。在一些实施方式中，图像可以经由通信链路(例如，通信链路350)而被接收640。例如，图像可以经由无线的或有线的通信接口(例如，WiFi、蓝牙、USB、HDMI、无线USB、近场通信(NFC)、以太网、无线电频率收发器和/或其他接口)而被接收640。例如，图像可以经由通信接口366而被接收640。例如，图像可以被接收640为输入图像信号，可以以限定的格式表示每一个像素值，诸如以RAW图像格式。在一些实施方式中，图像可以是视频帧，即视频的图像序列中的一个图像。在一些实施方式中，图像在没有中间图像处理的情况下从图像传感器而直接地被接收640。在一些实施方式中，图像在经过中间图像处理(例如，死像素校正、频带处理、垂直空白去耦、空间降噪和/或时间降噪)之后而被接收640。
过程600包括确定650在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差。取向误差可以被确定650为相对取向或旋转(例如，被存储为四元数)，在图像的捕获期间将取向设定点和图像传感器的取向估计关联。在一些实施方式中，由图像传感器使用电子滚动快门来捕获图像，并且针对在略微不同的时间而被捕获的图像的各个部分(例如，像素行)，可以确定650多个取向误差。例如，可以确定650与图像的第一部分相关联的第一取向误差和与图像的第二部分相关联的第二取向误差。
过程600包括：基于取向误差，调用660电子图像稳定模块(例如，电子图像稳定模块430)以针对与取向误差对应的旋转来校正图像，以获得稳定的图像。例如，可以通过如下方式来调用660电子图像稳定模块，即调用和/或执行电子图像稳定模块的软件实现并且使其处理与取向误差对应的输入数据，以确定校正的旋转变换，并且将该校正的旋转变换应用于来自图像传感器的图像，以稳定图像(例如，关于视频帧序列中的其他图像)。例如，可以通过如下方式来调用660电子图像稳定模块，即将基于取向估计序列和取向设定点的数据输入电子图像稳定模块的专用硬件实现并且使其处理该输入数据，以确定校正的旋转变换，并且将该校正的旋转变换应用于来自图像传感器的图像，以稳定图像。在一些实施方式中，由电子图像稳定模块校正的旋转是取向误差或取向误差的逆。例如，由电子图像稳定模块校正的旋转可以从图像序列(例如，先前的视频帧)中的各个图像的取向误差序列插值而来。在一些实施方式中，用电子滚动快门捕获图像并且存在图像的各个部分的多个取向误差(例如，与图像的第一部分相关联的第一取向误差和与图像的第二部分相关联的第二取向误差)，图像的各个部分在不同时间而被捕获。例如，可以确定在捕获图像第二部分期间图像传感器的取向和取向设定点之间的第二取向误差，并且基于该第二取向误差，电子图像稳定模块可以被调用660，以针对与第二取向误差对应的旋转来校正图像的第二部分，以获得稳定的图像。
针对与取向误差对应的旋转来校正图像可以防止或减少机械稳定系统的动力学和电子图像稳定模块的动力学之间的干扰，并且提高稳定的图像的图像质量。例如，图像传感器的某些高频运动(例如，振动)可能太快，以至于不能由机械稳定系统有效地抑制，并且因此可能导致图像的失真。该剩余失真可以由电子图像稳定模块中的数字图像处理整体地或部分地校正。
过程600包括基于稳定的图像，存储、显示或传送670输出图像。在一些实施方式中，输出图像是稳定的图像。在一些实施方式中，稳定的图像可以经过附加的图像处理(例如，感知色调映射、镜头失真校正、电子滚动快门校正、具有视差校正的拼接和混合以联合来自多个图像传感器的图像和/或输出投影)，以确定输出图像。例如，输出图像可以被传送670到外部设备(例如，个人计算设备)以用于显示或存储。例如，输出图像可以被存储670在处理装置(例如，处理装置312或处理装置362)的存储器中。例如，输出图像可以被显示670在用户界面320中或用户界面364中。例如，输出图像可以经由通信接口322而被传送670。
图7是过程700的示例的流程图，该过程700用于具有机械和电子图像稳定的图像捕获。过程700包括：基于来自一个或多个运动传感器的传感器数据，确定710取向估计序列；确定720图像传感器的取向设定点；基于图像传感器的取向估计序列和取向设定点，调用730机械稳定系统以调整图像传感器的取向朝向取向设定点；接收740来自图像传感器的图像；确定750在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差；将在图像之后捕获的图像序列存储752在缓冲区中；基于取向估计，确定754与取向误差对应的旋转，取向估计来自与图像序列对应的取向估计序列；基于取向误差，调用760电子图像稳定模块，以针对旋转来校正图像以获得稳定的图像；以及基于稳定的图像，存储、显示或传送770输出图像。将图像序列(例如，视频帧)存储在缓冲区中可以提供处理延迟，以使得能够进行非因果超前滤波(non-causal,look-ahead filtering)，以确定更平滑的旋转序列，以用于电子图像稳定模块的校正，这可以提高得到的稳定的图像的质量。例如，过程700可以由图1的可移动成像系统10、图3A的系统300、图3B的系统330或图4的系统400来实现。例如，过程700可以由图像捕获设备来实现，诸如图3A所示的图像捕获设备310。例如，过程700可以由个人计算设备来实现，诸如个人计算设备360。
过程700包括基于来自一个或多个运动传感器(例如，一个或多个运动传感器318)的传感器数据，确定710取向估计序列。一个或多个运动传感器可以包括惯性测量单元(例如，惯性测量单元442)，可以被用来检测图像传感器的位置和取向的变化。一个或多个运动传感器可以包括编码器(例如，磁编码器、光学编码器和/或干涉激光编码器)，可以被用来检测图像传感器相对于由万向节和电机连接的可移动平台(例如，无人机)的位置和/或取向。一个或多个运动传感器可以包括电位器，检测万向节和电机的状态和由此图像传感器相对于由万向节和电机连接的可移动平台(例如，无人机)的位置和/或取向。来自一个或多个运动传感器的数据可以被联合，以确定710图像传感器的取向估计序列。例如，确定710取向估计序列可以包括将二次估计应用于来自一个或多个运动传感器的传感器数据。在一些实施方式中，取向估计序列的取向估计可以包括图像传感器关于重力或地平线的取向估计。例如，来自惯性测量单元的传感器测量可以被用来估计图像传感器关于重力的取向。在一些实施方式中，取向估计序列的取向估计可以包括图像传感器关于可移动平台(例如，无人机或手持式可移动平台)的取向估计。在一些实施方式中，取向估计序列包括图像传感器关于可移动平台的取向估计和图像传感器关于重力的取向估计。
过程700包括确定720图像传感器的取向设定点。取向设定点可以基于传感器数据和/或取向估计而被确定720，该取向估计反映图像传感器的取向和/或位置。在一些实施方式中，取向设定点被确定720，以维持稳定的取向(例如，基于图像传感器的过往取向估计来选择)。例如，最近的取向估计或最近的取向估计的平均值可以被用来确定720取向设定点，以在附接的可移动平台(例如，无人机)的振动或其他运动存在的情况下努力保持图像传感器稳定。在一些实施方式中，取向设定点被确定720，以跟踪对象并且将其保持在图像传感器的视场内。例如，被配置为跟踪对象(例如，人)的跟踪模块(例如，跟踪系统60)可以被调用以确定720取向设定点。对象可以由用户选择用于跟踪。例如，对象可以使用计算机视觉技术和/或来自对象的信标信号而被跟踪。取向设定点可以被周期性地确定720(例如，以图像传感器的帧率、半帧率或十倍帧率)。取向设定点可以指定图像传感器的取向和/或位置。例如，取向设定点可以包括四元数。在一些实施方式中，取向设定点可以指定十二个自由度(例如，三个角度、三个角速度、三个位置坐标和三个速度)。例如，取向设定点可以使用由处理装置(例如，处理装置312)执行的软件而被确定720。
过程700包括：基于图像传感器的取向估计序列和取向设定点，调用730机械稳定系统(例如，机械稳定系统420)以调整图像传感器的取向朝向取向设定点。例如，机械稳定系统可以包括由比例积分微分(PID)控制器控制的万向节和电机(例如，万向节和电机316)。例如，可以通过如下方式来调用730机械稳定系统，即调用和/或执行机械稳定系统的控制器的软件实现并且使其处理基于取向估计序列的输入数据，以生成控制信号来驱动致动器(例如，万向节和电机316)，以控制图像传感器的取向和/或位置。例如，可以通过如下方式来调用730机械稳定系统，即将基于取向估计序列和取向设定点的数据输入机械稳定系统的控制器的专用硬件实现并且使其处理该输入数据，以生成控制信号来驱动致动器(例如，万向节和电机316)，以控制图像传感器的取向和/或位置。调用730机械稳定系统可以减少图像传感器的非期望运动和相关联的失真(例如，模糊和视频帧之间的颤动)。
过程700包括从图像传感器接收740图像。图像传感器可以是图像捕获系统(例如，可移动成像系统10、图像捕获设备310或图像捕获设备340)的一部分。在一些实施方式中，图像传感器可以被附接到实现过程700的处理装置上。例如，图像可以经由总线从图像传感器而被接收740。在一些实施方式中，图像可以经由通信链路(例如，通信链路350)而被接收740。例如，图像可以经由无线的或有线的通信接口(例如，WiFi、蓝牙、USB、HDMI、无线USB、近场通信(NFC)、以太网、无线电频率收发器和/或其他接口)而被接收740。例如，图像可以经由通信接口366而被接收740。例如，图像可以被接收740为输入图像信号，可以以限定的格式表示每一个像素值，诸如以RAW图像格式。在一些实施方式中，图像可以是视频帧，即视频的图像序列中的一个图像。在一些实施方式中，图像在没有中间图像处理的情况下从图像传感器而直接地被接收740。在一些实施方式中，图像在经过中间图像处理(例如，死像素校正、频带处理、垂直空白去耦、空间降噪和/或时间降噪)之后而被接收740。
过程600包括确定750在图像的捕获期间图像传感器的取向和取向设定点之间的取向误差。取向误差可以被确定750为相对取向或旋转(例如，被存储为四元数)，在图像的捕获期间将取向设定点和图像传感器的取向估计关联。在一些实施方式中，由图像传感器使用电子滚动快门来捕获图像，并且针对在略微不同的时间而被捕获的图像的各个部分(例如，像素行)，可以确定750多个取向误差。例如，可以确定750与图像的第一部分相关联的第一取向误差和与图像的第二部分相关联的第二取向误差。
过程700包括将在图像之后捕获的图像序列存储752在缓冲区(例如，缓冲区560)中。缓冲区可以提供处理延迟，以使得能够进行非因果超前滤波，以确定更平滑的旋转序列，以用于电子图像稳定模块的校正。例如，缓冲区可以是循环缓冲区，存储在固定时间段内已经被按顺序捕获的最新图像(例如，最新0.5秒、1秒或2秒的视频帧的缓冲区)。例如，当新图像被捕获时，在最旧图像已经被电子图像稳定模块处理之后，可以将新图像写到存储在缓冲区中的最旧图像上。缓冲区也可以存储与新图像对应的取向误差和/或取向估计，该取向误差和/或取向估计与图像一起被存储在缓冲区中。
过程700包括基于取向估计确定754与取向误差对应的旋转，该取向估计来自与图像序列对应的取向估计序列。例如，存储在缓冲区中的最旧图像的旋转可以被确定754为经平滑的旋转序列中的旋转(例如，轨迹)，该旋转基于取向估计序列和/或相应的与图像序列对应的取向误差而被确定，该图像序列包括存储在缓冲区中的较新图像序列。在一些实施方式中，确定754旋转包括：基于与图像序列对应的取向估计序列确定轨迹(例如，EIS旋转序列)；以及基于轨迹确定与取向误差对应的旋转。例如，确定轨迹可以包括：基于与图像序列对应的取向估计序列和取向设定点，确定取向误差序列，以及将滤波器(例如，低通滤波器)应用于取向误差序列以获得轨迹。例如，图8的过程800可以被实现以确定754与取向误差对应的旋转。
过程700包括：基于取向误差，调用760电子图像稳定模块(例如，电子图像稳定模块430)以针对与取向误差对应的旋转来校正图像，以获得稳定的图像。例如，可以通过如下方式来调用760电子图像稳定模块，即调用和/或执行电子图像稳定模块的软件实现并且使其处理与取向误差对应的输入数据，以确定校正的旋转变换，并且将该校正的旋转变换应用于来自图像传感器的图像，以稳定图像(例如，关于视频帧序列中的其他图像)。例如，可以通过如下方式来调用760电子图像稳定模块，即将基于取向估计序列和取向设定点的数据输入电子图像稳定模块的专用硬件实现并且使其处理该输入数据，以确定校正的旋转变换，并且将该校正的旋转变换应用于来自图像传感器的图像，以稳定图像。在一些实施方式中，由电子图像稳定模块校正的旋转是取向误差或取向误差的逆。例如，由电子图像稳定模块校正的旋转可以从图像序列(例如，先前的视频帧)中的各个图像的取向误差序列插值而来。在一些实施方式中，用电子滚动快门捕获图像并且存在图像的各个部分的多个取向误差(例如，与图像的第一部分相关联的第一取向误差和与图像的第二部分相关联的第二取向误差)，图像的各个部分在不同时间而被捕获。例如，可以确定在捕获图像第二部分期间图像传感器的取向和取向设定点之间的第二取向误差，并且基于该第二取向误差，电子图像稳定模块可以被调用760，以针对与第二取向误差对应的旋转来校正图像的第二部分，以获得稳定的图像。
针对与取向误差对应的旋转来校正图像可以防止或减少机械稳定系统的动力学和电子图像稳定模块的动力学之间的干扰，并且提高稳定的图像的图像质量。例如，图像传感器的某些高频运动(例如，振动)可能太快，以至于不能由机械稳定系统有效地抑制，并且因此可能导致图像的失真。该剩余失真可以由电子图像稳定模块中的数字图像处理整体地或部分地校正。
过程700包括基于稳定的图像，存储、显示或传送770输出图像。在一些实施方式中，输出图像是稳定的图像。在一些实施方式中，稳定的图像可以经过附加的图像处理(例如，感知色调映射、镜头失真校正、电子滚动快门校正、具有视差校正的拼接和混合以联合来自多个图像传感器的图像和/或输出投影)，以确定输出图像。例如，输出图像可以被传送770到外部设备(例如，个人计算设备)以用于显示或存储。例如，输出图像可以被存储770在处理装置(例如，处理装置312或处理装置362)的存储器中。例如，输出图像可以被显示770在用户界面320中或用户界面364中。例如，输出图像可以经由通信接口322而被传送770。
图8是过程800的示例的流程图，该过程800用于基于图像序列的取向估计序列确定旋转。过程800包括：基于与图像序列对应的取向估计序列和取向设定点确定810取向误差序列；将滤波器应用820于取向误差序列，以获得轨迹；以及基于该轨迹，确定830与图像序列中的图像的取向误差对应的旋转。例如，过程800可以由图1的可移动成像系统10、图3A的系统300、图3B的系统330或图4的系统400来实现。例如，过程800可以由图像捕获设备来实现，诸如图3A所示的图像捕获设备310。例如，过程800可以由个人计算设备来实现，诸如个人计算设备360。
过程800包括基于与图像序列(例如，视频帧)对应的取向估计序列和取向设定点确定810取向误差序列。对于图像序列中的所有图像，取向设定点可以是相同的，或者取向设定点可以在图像序列中的图像之间改变。图像的取向估计可以与对应的取向设定点联合，以在捕获图像和使用取向误差之间的任何时间确定图像的取向误差，以确定EIS旋转。在一些实施方式中，图像序列中的各个图像的取向估计被与取向设定点的一个或多个对应值分开存储，而相应的图像被存储在缓冲区中并且等待EIS处理。然后，当需要时(例如，通过快速轨迹生成器570)，可以确定810图像序列中的图像的取向误差。在一些实施方式中，图像序列中的各个图像的取向误差在捕获时被确定810，并且与对应的图像一起被存储在缓冲区中，等待EIS处理。
过程800包括将滤波器应用820于取向误差序列，以获得轨迹(例如，EIS旋转序列)。例如，低通滤波器可以被应用820，以便平滑或插值取向误差序列以获得轨迹。例如，低通滤波器可以包括汉明窗，该汉明窗以与当前正由电子图像稳定模块处理的图像对应的取向误差为中心，该图像可以是存储在缓冲区中的最旧图像。
过程800包括基于轨迹确定830与取向误差对应的旋转。例如，旋转可以被确定830为来自与当前正由电子图像稳定模块处理的图像对应的轨迹的旋转或旋转的逆，该图像可以是存储在缓冲区中的最旧图像。
应该注意，所描述的与图6至图7有关的过程和类似的过程可以被应用于来自图像捕获装置(例如，图1中所示的可移动成像组件20、图3A的系统300或图3B的系统330)的不同图像传感器的多个图像。可以使用拼合操作来联合得到的稳定的图像。
虽然已经结合某些实施例描述了本公开，但是应该理解，本公开不限制于所公开的实施例，而是相反地，本公开旨在覆盖包括在所附权利要求范围内的各种修改和等同布置，该范围将符合最广泛的解释以便包含如法律允许的所有这种修改和等同结构。

Claims (29)

1.一种用于图像捕获的图像稳定的系统，包括：
图像传感器，被配置为捕获图像；
一个或多个运动传感器，被配置为检测所述图像传感器的运动；
机械稳定系统，包括万向节和电机，被配置为控制所述图像传感器的取向；
电子图像稳定模块，被配置为针对所述图像传感器的旋转来校正图像；以及
处理装置，被配置为：
基于来自所述一个或多个运动传感器的传感器数据，确定取向估计序列；
确定用于所述图像传感器的取向设定点；
基于所述取向估计序列和所述取向设定点，调用所述机械稳定系统以调整所述图像传感器的所述取向；
接收来自所述图像传感器的所述图像；
确定在所述图像的捕获期间所述图像传感器的所述取向和所述取向设定点之间的取向误差；
基于所述取向误差，调用所述电子图像稳定模块，以针对与所述取向误差对应的旋转来校正所述图像，以获得稳定的图像；以及
基于所述稳定的图像，存储、显示或传送输出图像。
2.根据权利要求1所述的系统，包括无人机，所述无人机通过所述机械稳定系统的所述万向节而被耦合到所述图像传感器的外壳。
3.根据权利要求1所述的系统，其中所述处理装置被配置为：
将在所述图像之后被捕获的图像序列存储在缓冲区中；以及
基于取向估计，确定与所述取向误差对应的所述旋转，所述取向估计来自与所述图像序列对应的所述取向估计序列。
4.根据权利要求3所述的系统，其中所述处理装置被配置为：
基于与所述图像序列对应的所述取向估计序列，确定轨迹；以及
基于所述轨迹，确定与所述取向误差对应的所述旋转。
5.根据权利要求4所述的系统，其中所述处理装置被配置为：
基于与所述图像序列对应的所述取向估计序列和所述取向设定点，确定取向误差序列；以及
将滤波器应用于所述取向误差序列以获得所述轨迹。
6.根据权利要求1至5中任一项所述的系统，其中所述图像通过电子滚动快门而被捕获，所述取向误差是与所述图像的第一部分相关联的第一取向误差，并且所述处理装置被配置为：
确定在所述图像的第二部分的捕获期间所述图像传感器的所述取向和所述取向设定点之间的第二取向误差；以及
基于所述第二取向误差，调用所述电子图像稳定模块，以针对与所述第二取向误差对应的旋转来校正所述图像的所述第二部分，以获得所述稳定的图像。
7.根据权利要求1至5中任一项所述的系统，其中所述一个或多个运动传感器包括编码器，所述编码器被配置为检测所述图像传感器相对于可移动平台的位置和取向。
8.根据权利要求1至5中任一项所述的系统，其中所述取向设定点包括四元数。
9.根据权利要求1至5中任一项所述的系统，其中所述电子图像稳定模块通过由所述处理装置执行的软件来实现。
10.根据权利要求1至5中任一项所述的系统，其中所述取向估计序列中的取向包括：所述图像传感器关于可移动平台的取向估计和所述图像传感器关于重力的取向估计。
11.根据权利要求1至5中任一项所述的系统，其中所述机械稳定系统的所述万向节和电机由比例积分微分控制器来控制。
12.一种用于图像捕获的图像稳定的系统，包括：
图像传感器，被配置为捕获图像；
包括电机的机械稳定系统，所述机械稳定系统被配置为控制所述图像传感器的取向，以匹配取向设定点；以及
电子图像稳定模块，被配置为：针对与一个或多个取向误差对应的所述图像传感器的旋转来校正所述图像，所述一个或多个取向误差为：在所述图像的捕获期间，所述图像传感器的所述取向和所述取向设定点之间的一个或多个取向误差。
13.根据权利要求12所述的系统，包括无人机，所述无人机通过所述机械稳定系统而被耦合到所述图像传感器的外壳。
14.根据权利要求12所述的系统，包括：包括跟踪系统的取向设定点发生器，所述取向设定点发生器被配置为：确定所述取向设定点，以跟踪对象并且将所述对象保持在所述图像传感器的视场内。
15.根据权利要求12所述的系统，包括：
缓冲区，被配置为存储由所述图像传感器捕获的图像序列；以及
快速轨迹发生器，被配置为：基于与所述缓冲区中的图像对应的取向误差来确定旋转序列，其中所述电子图像稳定模块被配置为：使用来自所述旋转序列、与存储在所述缓冲区中的最旧图像对应的旋转。
16.根据权利要求15所述的系统，其中所述快速轨迹发生器被配置为：
基于与所述图像序列对应的取向估计序列和所述取向设定点，确定取向误差序列；
将滤波器应用于所述取向误差序列以获得轨迹；以及
基于所述轨迹，确定来自所述旋转序列、与存储在所述缓冲区中的最旧图像对应的所述旋转。
17.根据权利要求12所述的系统，包括：
包括一个或多个运动传感器的运动跟踪模块，所述运动跟踪模块被配置为：检测所述图像传感器的运动并且确定针对所述图像传感器的取向估计序列，其中所述机械稳定系统被配置为：将所述取向估计序列作为输入，并且使用所述取向估计序列作为反馈，以用于控制所述图像传感器的所述取向。
18.根据权利要求17所述的系统，其中所述一个或多个运动传感器包括编码器，所述编码器被配置为：检测所述图像传感器相对于可移动平台的位置和取向，所述可移动平台通过所述机械稳定系统而被附接到所述图像传感器，其中所述一个或多个取向误差中的至少一个基于所述图像传感器相对于所述可移动平台的所述位置和所述取向。
19.根据权利要求17所述的系统，其中所述取向估计序列中的取向包括：所述图像传感器关于可移动平台的取向估计和所述图像传感器关于重力的取向估计。
20.根据权利要求12至19中任一项所述的系统，其中所述图像通过电子滚动快门而被捕获，所述一个或多个取向误差包括：与所述图像的第一部分相关联的第一取向误差，以及在所述图像的第二部分的捕获期间所述图像传感器的所述取向和所述取向设定点之间的第二取向误差，并且所述电子图像稳定模块被配置为：
基于所述第二取向误差，针对与所述第二取向误差对应的旋转来校正所述图像的所述第二部分。
21.根据权利要求12至19中任一项所述的系统，其中所述取向设定点包括四元数。
22.根据权利要求12至19中任一项所述的系统，其中所述机械稳定系统包括由所述电机驱动的万向节，并且所述机械稳定系统的所述电机由比例积分微分控制器来控制。
23.一种用于图像捕获的图像稳定的方法，包括：
确定用于图像传感器的取向设定点；
基于针对所述图像传感器的取向估计序列和所述取向设定点，调用机械稳定系统，以调整所述图像传感器的取向朝向所述取向设定点；
接收来自所述图像传感器的图像；
确定在所述图像的捕获期间所述图像传感器的所述取向和所述取向设定点之间的取向误差；
基于所述取向误差，调用电子图像稳定模块，以针对与所述取向误差对应的旋转来校正所述图像，以获得稳定的图像；以及
基于所述稳定的图像，存储、显示或传送输出图像。
24.根据权利要求23所述的方法，包括：
将在所述图像之后被捕获的图像序列存储在缓冲区中；以及
基于取向估计，确定与所述取向误差对应的所述旋转，所述取向估计来自与所述图像序列对应的所述取向估计序列。
25.根据权利要求24所述的方法，包括：
基于与所述图像序列对应的所述取向估计序列，确定轨迹；以及
基于所述轨迹，确定与所述取向误差对应的所述旋转。
26.根据权利要求25所述的方法，包括：
基于与所述图像序列对应的所述取向估计序列和所述取向设定点，确定取向误差序列；以及
将滤波器应用于所述取向误差序列以获得所述轨迹。
27.根据权利要求23至26中任一项所述的方法，其中所述图像通过电子滚动快门而被捕获，所述取向误差是与所述图像的第一部分相关联的第一取向误差，并且还包括：
确定在所述图像的第二部分的捕获期间所述图像传感器的所述取向和所述取向设定点之间的第二取向误差；以及
基于所述第二取向误差，调用所述电子图像稳定模块，以针对与所述第二取向误差对应的旋转来校正所述图像的所述第二部分，以获得所述稳定的图像。
28.根据权利要求23至26中任一项所述的方法，其中所述取向估计序列中的取向包括：所述图像传感器关于可移动平台的取向估计和所述图像传感器关于重力的取向估计。
29.根据权利要求23至26中任一项所述的方法，其中所述机械稳定系统包括：由比例积分微分控制器控制的万向节和电机。
CN201811498158.0A 2017-12-11 2018-12-07 用于图像捕获的图像稳定的系统和方法 Active CN109951631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/837,263 US11496684B2 (en) 2017-12-11 2017-12-11 Combined mechanical and electronic image stabilization
US15/837,263 2017-12-11

Publications (2)

Publication Number Publication Date
CN109951631A CN109951631A (zh) 2019-06-28
CN109951631B true CN109951631B (zh) 2022-04-05

Family

ID=66179414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811498158.0A Active CN109951631B (zh) 2017-12-11 2018-12-07 用于图像捕获的图像稳定的系统和方法

Country Status (3)

Country Link
US (2) US11496684B2 (zh)
CN (1) CN109951631B (zh)
DE (1) DE202018106983U1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681277B1 (en) * 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)
CN110312078B (zh) * 2019-08-02 2021-06-29 睿魔智能科技（深圳）有限公司 一种自动环绕目标拍摄方法及系统
CN110677578A (zh) * 2019-08-14 2020-01-10 北京理工大学 基于仿生眼平台的混合稳像方法和装置
US11250617B1 (en) * 2019-09-25 2022-02-15 Amazon Technologies, Inc. Virtual camera controlled by a camera control device
CN111307198A (zh) * 2019-11-01 2020-06-19 宁波纳智微光电科技有限公司 一种动态测量系统及其测量方法
CN111212224A (zh) * 2020-01-10 2020-05-29 上海摩象网络科技有限公司 应用于图像拍摄设备的防抖处理方法及其装置、电子设备
US11006044B1 (en) * 2020-03-03 2021-05-11 Qualcomm Incorporated Power-efficient dynamic electronic image stabilization
CN113183879B (zh) * 2021-04-23 2023-05-16 恒大恒驰新能源汽车研究院(上海)有限公司 防抖模组、电子外后视镜及车辆
US11615582B2 (en) * 2021-06-08 2023-03-28 Fyusion, Inc. Enclosed multi-view visual media representation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370128A (zh) * 2008-10-17 2009-02-18 北京中星微电子有限公司 一种智能视频监控系统
CN101872196A (zh) * 2010-05-10 2010-10-27 北京航天控制仪器研究所 车载摄像稳定平台控制系统
CN102355574A (zh) * 2011-10-17 2012-02-15 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CN103064430A (zh) * 2012-12-18 2013-04-24 湖南华南光电(集团)有限责任公司 机电融合型图像稳定装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5249056A (en) 1991-07-16 1993-09-28 Sony Corporation Of America Apparatus for generating video signals from film
US6657654B2 (en) 1998-04-29 2003-12-02 International Business Machines Corporation Camera for use with personal digital assistants with high speed communication link
JP2002051118A (ja) 2000-08-02 2002-02-15 Matsushita Electric Ind Co Ltd 携帯情報端末型テレビ電話システム
DE10053215A1 (de) 2000-10-26 2002-08-01 Siemens Ag Kamera
US20050243173A1 (en) 2004-05-03 2005-11-03 Bob Levine Portable modular inspection-surveillance system
IL165190A (en) 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
US7643063B2 (en) 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
US7978222B2 (en) 2008-03-01 2011-07-12 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems and methods for image stabilization
DE102008039468A1 (de) 2008-08-25 2010-03-04 Stefan Reich Vorrichtung und Verfahren zur Lagestabilisierung von Kameras
US9144714B2 (en) 2009-05-02 2015-09-29 Steven J. Hollinger Ball with camera for reconnaissance or recreation and network for operating the same
GB0918453D0 (en) 2009-10-21 2009-12-09 Selexsensors And Airborne Syst Imaging device
GB2551449B (en) 2010-12-17 2018-03-21 Spacelabs Healthcare Llc Integrated, extendable, anesthesia system
KR101856947B1 (ko) * 2011-10-07 2018-05-11 삼성전자주식회사 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
WO2013067335A1 (en) 2011-11-02 2013-05-10 Wagner Steven D Actively stabilized payload support apparatus and methods
DE102012000857B4 (de) 2012-01-13 2021-08-05 Carl Zeiss Ag Fernoptische Vorrichtung mit Bildstabilisierung
US9044543B2 (en) 2012-07-17 2015-06-02 Elwha Llc Unmanned device utilization methods and systems
US8930044B1 (en) 2012-12-28 2015-01-06 Google Inc. Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion
FR3000813B1 (fr) 2013-01-04 2016-04-15 Parrot Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol.
CN103921933A (zh) 2013-01-10 2014-07-16 深圳市大疆创新科技有限公司 飞行器变形结构及微型飞行器
WO2014140357A1 (en) 2013-03-15 2014-09-18 Freefly Systems Inc. Method and system for enabling pointing control of an actively stabilized camera
WO2014147285A1 (en) * 2013-03-18 2014-09-25 Nokia Corporation An apparatus, method and a computer program for image stabilization
US9574703B2 (en) 2013-08-15 2017-02-21 Freefly Systems, Inc. Hand-held or vehicle mounted camera stabilization system
JP6170395B2 (ja) 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
CN104903790B (zh) 2013-10-08 2018-07-24 深圳市大疆灵眸科技有限公司 用于增稳和减振的装置和方法
US9204048B2 (en) * 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
GB2525232A (en) 2014-04-17 2015-10-21 Nokia Technologies Oy A device orientation correction method for panorama images
CN112478185A (zh) 2014-04-28 2021-03-12 深圳市大疆创新科技有限公司 手持式平台
DK3139239T3 (en) 2014-04-30 2019-04-15 Sz Dji Osmo Technology Co Ltd Control unit, cradle head for use and cradle control method
EP3505808B1 (en) 2014-07-29 2021-08-11 SZ DJI Osmo Technology Co., Ltd. Systems and methods for payload stabilization
US9596411B2 (en) 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
EP3096512B1 (en) * 2015-05-18 2017-03-22 Axis AB Method and camera for producing an image stabilized video
EP4198626A1 (en) 2015-05-27 2023-06-21 GoPro, Inc. Camera system using stabilizing gimbal
KR20170017573A (ko) 2015-08-07 2017-02-15 삼성전자주식회사 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
KR101667394B1 (ko) 2015-08-25 2016-10-19 (주) 에셀티 파지 및 착용 가능한 휴대용 단말기 흔들림 보정장치
WO2017035840A1 (zh) 2015-09-06 2017-03-09 深圳市大疆创新科技有限公司 云台、成像装置及无人飞行器
EP3353706A4 (en) 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
US10455158B2 (en) * 2015-09-17 2019-10-22 IJK Controls LLC Stabilized gimbal system with unlimited field of regard
WO2017091704A1 (en) 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays
US10008028B2 (en) 2015-12-16 2018-06-26 Aquifi, Inc. 3D scanning apparatus including scanning sensor detachable from screen
WO2017132598A1 (en) 2016-01-29 2017-08-03 Carrie Basham Design And Consulting Llc Customizable device cases and bags
US9859938B2 (en) 2016-01-31 2018-01-02 Robert Louis Piccioni Public safety smart belt
US10112575B2 (en) 2016-01-31 2018-10-30 Robert Louis Piccioni Public safety smart belt
US20170307334A1 (en) * 2016-04-26 2017-10-26 Martin William Greenwood Apparatus and System to Counter Drones Using a Shoulder-Launched Aerodynamically Guided Missile
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10636150B2 (en) 2016-07-21 2020-04-28 Gopro, Inc. Subject tracking systems for a movable imaging system
CN108431869A (zh) * 2016-08-06 2018-08-21 深圳市大疆创新科技有限公司 用于移动平台成像的系统和方法
US10150576B2 (en) 2016-09-16 2018-12-11 Gopro, Inc. Vibration damping gimbal sleeve for an aerial vehicle
US9863171B1 (en) 2016-09-28 2018-01-09 Ford Global Technologies, Llc Vehicle compartment
US10735653B1 (en) 2017-03-14 2020-08-04 Ambarella International Lp Electronic image stabilization to improve video analytics accuracy
CN106885107B (zh) 2017-03-28 2024-03-01 桂林飞宇创新科技有限公司 防水稳定器
US10852364B2 (en) 2017-05-02 2020-12-01 Qualcomm Incorporated Interference mitigation in magnetometers
WO2018218640A1 (en) 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US10827123B1 (en) 2018-01-05 2020-11-03 Gopro, Inc. Modular image capture systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370128A (zh) * 2008-10-17 2009-02-18 北京中星微电子有限公司 一种智能视频监控系统
CN101872196A (zh) * 2010-05-10 2010-10-27 北京航天控制仪器研究所 车载摄像稳定平台控制系统
CN102355574A (zh) * 2011-10-17 2012-02-15 上海大学 机载云台运动目标自主跟踪系统的图像稳定方法
CN103064430A (zh) * 2012-12-18 2013-04-24 湖南华南光电(集团)有限责任公司 机电融合型图像稳定装置

Also Published As

Publication number Publication date
US20190182424A1 (en) 2019-06-13
US20230059888A1 (en) 2023-02-23
DE202018106983U1 (de) 2019-03-29
US11496684B2 (en) 2022-11-08
CN109951631A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN109951631B (zh) 用于图像捕获的图像稳定的系统和方法
US11936982B2 (en) Combined mechanical and electronic image stabilization
US11480291B2 (en) Camera system using stabilizing gimbal
US8896697B2 (en) Video motion compensation and stabilization gimbaled imaging system
US20200258200A1 (en) Double non-local means denoising
EP3906663B1 (en) High dynamic range processing based on angular rate measurements
US11871105B2 (en) Field of view adjustment
WO2017112800A1 (en) Macro image stabilization method, system and devices
JP2018156036A (ja) 撮像装置
US10165173B2 (en) Operating method and apparatus for detachable lens type camera
JP2018207254A (ja) 撮像装置、制御方法、プログラム及び撮像システム
JP2024003461A (ja) 姿勢算出装置、姿勢算出方法、姿勢算出装置を備える撮像装置とその制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant