CN108432222A - 支持包围式成像的系统、方法和移动平台 - Google Patents

支持包围式成像的系统、方法和移动平台 Download PDF

Info

Publication number
CN108432222A
CN108432222A CN201580085404.8A CN201580085404A CN108432222A CN 108432222 A CN108432222 A CN 108432222A CN 201580085404 A CN201580085404 A CN 201580085404A CN 108432222 A CN108432222 A CN 108432222A
Authority
CN
China
Prior art keywords
image
images
multiple images
imaging device
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580085404.8A
Other languages
English (en)
Inventor
暴林超
俞利富
曹子晟
王铭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
Shenzhen Dajiang Innovations Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dajiang Innovations Technology Co Ltd filed Critical Shenzhen Dajiang Innovations Technology Co Ltd
Publication of CN108432222A publication Critical patent/CN108432222A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于支持成像的系统及其制造和使用方法。所述系统可以增稳移动平台上的成像装置，并且经由成像装置针对基本相同的场景用各个成像配置捕获多个图像。一个或多个图像处理器可以基于所捕获的图像生成结果图像。结果图像可以呈现比由每个捕获图像呈现的信息更多的信息。由于移动平台引起的成像装置的运动可以被减震或得到补偿，使得成像装置可以捕获图像，其中所述图像之问具有可忽略的空问错位。结果图像的生成可以是简单的并且可以有利地在移动平台E实现。

Description

支持包围式成像的系统、方法和移动平台
版权声明
本专利文件的公开的一部分包含受到版权保护的材料。版权所有人不反对任何人对专利文档或专利公开(如其在专利和商标局中的专利文件或记录中出现的原样)进行复制再现，但是在其他情况下版权所有人保留所有版权。
技术领域
所公开的实施例总体上涉及图像处理，且更具体地但不排他地，涉及用于支持成像的系统、方法和移动平台。
背景技术
诸如有人驾驶和无人驾驶载运工具的移动平台可以用于执行针对各种应用的监视、侦察和勘探任务。例如，无人飞行器(UAV)可以配备有功能型负载，诸如用于捕获图像(诸如，数字图像)的相机。当用于捕获自然景色时，UAV可能遇到富有挑战性的条件，例如，自然景色中的照明环境的显著变化。
鉴于上述情况，需要能够在自然景色中生成图像的系统、移动平台和方法。
发明内容
本公开涉及一种用于支持成像的系统及其制作和使用方法。
根据这里公开的第一方面，提出了一种用于支持成像的方法，所述方法包括：
增稳移动平台上的成像装置；以及
经由成像装置，以各个成像配置针对基本相同场景捕获多个图像。
在所公开的方法的一些实施例中，所述捕获包括针对相同场景捕获多个图像。
在所公开的方法的一些实施例中，所述方法还包括：基于使用各个成像配置捕获的多个图像来生成结果图像(resultant image)。
在所公开的方法的一些实施例中，所述生成包括将所捕获的多个图像融合成结果图像。
在所公开的方法的一些实施例中，所述增稳包括相对于移动平台的运动增稳成像装置。
在所公开的方法的一些实施例中，所述增稳包括将多个图像之间的空间错位保持在预定错位阈值以下。
在所公开的方法的一些实施例中，所述方法还包括：将所述多个图像融合为结果图像，而不执行所述多个图像之间的图像配准。
在所公开的方法的一些实施例中，所述方法还包括：获得一个或多个成像参数，包括用于选择各个成像配置的至少一个参数、用于基于多个图像来处理结果图像的至少一个参数或其组合。
在所公开的方法的一些实施例中，所述方法还包括：使用成像装置以用包括包围式配置的各个成像配置来捕获多个图像。
在所公开的方法的一些实施例中，所述方法还包括：使用成像装置以用包括各个曝光配置的包围式配置来捕获多个图像。
在所公开的方法的一些实施例中，所述方法还包括：使用成像装置以用基于曝光值差异的各个曝光配置来捕获多个图像。
在所公开的方法的一些实施例中，所述方法还包括：将使用各个曝光配置捕获的多个图像融合成结果图像，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
在所公开的方法的一些实施例中，所述方法还包括：基于使用各个成像配置捕获的多个图像来生成结果图像，并存储结果图像。
在所公开的方法的一些实施例中，所述方法还包括将结果图像渲染成预览图像。
在所公开的方法的一些实施例中，所述渲染包括：经由色调映射将结果图像渲染成预览图像。
在所公开的方法的一些实施例中，所述方法还包括：在渲染结果图像之前缩小结果图像。
在所公开的方法的一些实施例中，所述缩小包括：对结果图像进行下采样。
在所公开的方法的一些实施例中，所述方法还包括：在渲染结果图像之前对结果图像进行去马赛克(demosaicing)。
在所公开的方法的一些实施例中，所述方法还包括：通过使用基于预览图像的呈现而选择的其他各个成像配置来捕获另外的多个图像。
在所公开的方法的一些实施例中，所述方法还包括：通过使用其他各个成像配置来捕获针对基本相同场景的另外的多个图像。
在所公开的方法的一些实施例中，所述方法还包括：通过使用各个成像配置来捕获针对不同场景的另外的多个图像。
在所公开的方法的一些实施例中，所述增稳包括：通过控制将成像装置连接到移动平台的云台来增稳成像装置。
根据这里公开的另一方面，提出了一种用于基于移动平台的支持成像的方法，所述方法包括：
增稳移动平台上的成像装置；以及
使用成像装置，以各个成像配置捕获针对基本相同场景的多个图像。
根据这里公开的另一方面，提出了一种用于支持成像的系统，所述系统包括：
增稳装置，操作用于增稳移动平台上的成像装置；以及
控制器，操作用于引导成像装置以各个成像配置来捕获针对基本相同场景的多个图像。
在所公开的系统的一些实施例中，控制器操作用于引导成像装置以各个成像配置针对相同场景捕获多个图像。
在所公开的系统的一些实施例中，所述系统还包括：一个或多个图像处理器，所述图像处理器操作用于基于使用各个成像配置捕获的多个图像来生成结果图像。
在所公开的系统的一些实施例中，所述一个或多个图像处理器操作用于通过融合使用各个成像配置捕获的多个图像来生成结果图像。
在所公开的系统的一些实施例中，所述增稳装置操作用于相对于移动平台的运动来增稳成像装置。
在所公开的系统的一些实施例中，增稳装置操作用于保持多个图像的空间错位低于预定错位阈值。
在所公开的系统的一些实施例中，所述系统还包括：一个或多个图像处理器，所述图像处理器操作用于融合多个图像而不执行多个图像之间的图像配准。
在所公开的系统的一些实施例中，所述系统还包括：获得一个或多个成像参数，包括用于选择各个成像配置的至少一个参数、用于基于多个图像来处理结果图像的至少一个参数或其组合。
在所公开的系统的一些实施例中，所述成像装置操作用于通过使用各个包围式配置捕获多个图像。
在所公开的系统的一些实施例中，所述成像装置操作用于通过使用各个曝光配置捕获多个图像。
在所公开的系统的一些实施例中，所述成像装置操作用于通过使用基于曝光值差异的各个曝光配置捕获多个图像。
在所公开的系统的一些实施例中，所述系统还包括：一个或多个处理器，所述一个或多个处理器操作用于将使用各个曝光配置捕获的多个图像融合成结果图像，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
在所公开的系统的一些实施例中，所述系统还包括：一个或多个图像处理器，所述图像处理器操作用于基于使用各个成像配置捕获的多个图像来生成结果图像并存储结果图像。
在所公开的系统的一些实施例中，所述图像处理器操作用于将结果图像渲染成预览图像。
在所公开的系统的一些实施例中，所述图像处理器操作用于经由色调映射将结果图像渲染成预览图像。
在所公开的系统的一些实施例中，所述图像处理器操作用于在将结果图像渲染成预览图像之前缩小结果图像。
在所公开的系统的一些实施例中，所述图像处理器操作用于在将结果图像渲染成预览图像之前对结果图像进行下采样。
在所公开的系统的一些实施例中，所述图像处理器操作用于在将结果图像渲染成预览图像之前对结果图像进行去马赛克。
在所公开的系统的一些实施例中，所述成像装置操作用于通过使用基于预览图像的呈现的其他各个成像配置来捕获针对基本相同场景的另外的多个图像。
在所公开的系统的一些实施例中，所述成像装置操作用于通过使用其他各个成像配置来捕获针对基本相同场景的另外的多个图像。
在所公开的系统的一些实施例中，所述成像装置操作用于通过使用各个成像配置来捕获针对不同场景的另外的多个图像。
在所公开的系统的一些实施例中，所述增稳装置包括用于将成像装置连接到移动平台的云台。
根据这里公开的另一方面，提出了一种用于移动平台上支持成像的系统，所述系统包括：
成像装置，被配置为使用各个成像配置来捕获针对基本相同场景的多个图像；
增稳装置，被配置成在捕获多个图像期间增稳移动平台上的成像装置；以及
控制器，被配置为控制移动平台的操作并被配置为与成像装置和增稳装置中的至少一个进行通信。
根据这里公开的另一方面，提出了一种无人机(UAV)，所述UAV包括：
成像装置，操作用于使用各个成像配置来捕获针对基本相同场景的多个图像；以及
云台，连接到所述成像装置，以相对于UAV的运动增稳成像装置。
根据这里公开的另一方面，提出了一种用于图像处理的方法，所述方法包括：
接收使用各个成像配置捕获的针对基本相同场景的多个图像；以及
基于接收到的图像生成结果图像。
在所公开的方法的一些实施例中，所述接收包括接收针对相同场景的多个图像。
在所公开的方法的一些实施例中，所述接收包括从增稳的图像装置接收多个图像。
在所公开的方法的一些实施例中，所述生成包括融合多个图像而不执行图像配准。
在所公开的方法的一些实施例中，所述接收包括接收使用各个包围式配置捕获的多个图像。
在所公开的方法的一些实施例中，所述接收包括接收使用各个曝光值捕获的多个图像。
在所公开的方法的一些实施例中，所述生成包括：生成结果图像，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
在所公开的方法的一些实施例中，所述生成还包括：基于多个图像的各个曝光值，将多个图像融合为结果图像。
在所公开的方法的一些实施例中，所述生成包括：基于针对多个图像中的对应像素的图像数据的加权平均，确定结果图像中的每个像素的值。
在所公开的方法的一些实施例中，所述生成包括：基于参考曝光值来评估所述多个图像中的对应像素的图像数据。
在所公开的方法的一些实施例中，所述方法还包括：存储结果图像。
在所公开的方法的一些实施例中，所述存储包括：以无损的方式存储结果图像。
在所公开的方法的一些实施例中，所述方法还包括：以原始图像数据格式存储结果图像。
在所公开的方法的一些实施例中，所述方法还包括：以32位浮点相机滤色器阵列数据存储结果图像。
在所公开的方法的一些实施例中，所述方法还包括渲染针对结果图像的预览图像。
在所公开的方法的一些实施例中，所述渲染包括：经由色调映射渲染针对结果图像的预览图像。
在所公开的方法的一些实施例中，所述渲染包括：以8位图像格式渲染预览图像。
在所公开的方法的一些实施例中，所述方法还包括：在渲染结果图像之前缩小结果图像。
在所公开的方法的一些实施例中，所述缩小包括：在渲染结果图像之前对结果图像进行下采样。
在所公开的方法的一些实施例中，所述方法还包括：在渲染结果图像之前对结果图像进行去马赛克。
根据这里公开的另一方面，提出了一种用于图像处理的系统，所述系统包括：
一个或多个图像处理器，被配置为：
接收使用各个成像配置针对基本相同场景捕获的多个图像；以及
基于接收到的图像生成结果图像。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为接收针对相同场景捕获的多个图像。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为从增稳的成像装置接收多个图像。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为融合多个图像而不执行图像配准。
在所公开的系统的一些实施例中，所接收的图像是使用各个包围式配置捕获的。
在所公开的系统的一些实施例中，所接收的图像是使用各个曝光值捕获的。
在所公开的系统的一些实施例中，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
在所公开的系统的一些实施例中，所述一个或多个图像处理器被配置为：基于与多个图像相关联的各个曝光值，将多个图像融合为结果图像。
在所公开的系统的一些实施例中，所述一个或多个图像处理器被配置为基于针对多个图像中的对应像素的图像数据的加权平均，确定结果图像中的每个像素的值。
在所公开的系统的一些实施例中，所述一个或多个图像处理器被配置为：基于参考曝光值来评估所述多个图像中的对应像素的图像数据。
在所公开的系统的一些实施例中，所述系统还包括存储器，用于存储结果图像。
在所公开的系统的一些实施例中，所述存储器被配置为以无损的方式存储结果图像。
在所公开的系统的一些实施例中，所述存储器被配置为以原始图像数据格式存储结果图像。
在所公开的系统的一些实施例中，所述存储器被配置为以32位浮点相机滤色器阵列数据存储结果图像。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为渲染针对结果图像的预览图像。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为经由色调映射渲染针对结果图像的预览图像。
在所公开的系统的一些实施例中，预览图像是8位图像格式。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为在渲染预览图像之前缩小结果图像。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为在渲染预览图像之前对结果图像进行下采样。
在所公开的系统的一些实施例中，一个或多个图像处理器被配置为在渲染预览图像之前对结果图像进行去马赛克。
根据本文公开的另一方面，提出了一种图像设备，所述图像设备包括：
成像装置；以及
一个或多个图像处理器，被配置为：
从成像装置接收使用不同成像配置针对基本相同场景捕获的多个图像；以及
基于接收到的图像生成结果图像。
根据本文所公开的另一方面，提出了一种包括用于图像处理的指令的计算机程序产品。
附图说明
图1是示出了用于图像处理的系统的实施例的示例性顶层图。
图2是示出了图1的系统的备选实施例的示例图，其中所述系统连接到移动平台。
图3是示出了使用图1的系统来支持成像的方法的实施例的示例顶层流程图。
图4是示出了图2的系统的备选实施例的示例图，其中所述系统包括至少部分地与和移动平台相关联的载体相集成的增稳装置。
图5是示出了图1的系统的另一备选实施例的示例细节图，其中所述系统连接到无人机。
图6是示出了图1的系统的备选实施例的示例图，其中所述系统包括成像装置。
图7是示出了图3的方法的备选实施例的示例流程图，其中所述系统在所选位置处捕获多个图像。
图8是示出了图7的方法的备选实施例的示例流程图，其中将多个图像融合为结果图像。
图9是示出了用于图像处理的方法的实施例的流程图。
图10是示出了用于图像处理的系统的实施例的示例图，其中所述系统包括成像装置。
图11是示出了图10的系统的备选实施例的示例图，其中所述系统包括用于处理图像的多个模块。
应该注意的是，附图并未按比例绘制，并且出于说明目的，在整个附图中类似结构或功能的元件通常用类似的附图标记来表示。还应该注意的是，附图只是为了便于描述优选实施例。附图没有示出所描述的实施例的每个方面，并且不限制本公开的范围。
具体实施方式
拍摄中，针对某些场景获得令人满意的图像可能是富有挑战性的。对于富有挑战性的场景，相机可能无法捕获单个图像以呈现由人眼感知的场景。在一个示例中，场景在照明条件下可以具有明显变化。在另一示例中，场景可以包括距离相机为不同距离的物体。
用于处理由无人机(UAV)捕获的图像的当前可用方法是复杂的并且不能针对富有挑战性的场景捕获高质量图像。因此，使用移动平台支持成像和/或生成高质量图像的系统和方法可以证明是理想的，并且为大量移动平台应用提供基础，诸如，在复杂的照明条件下捕获航拍图像以及将航拍图像实时地融合为高质量高动态范围(HDR)图像。根据本文公开的一个实施例，可以通过如图1所示的系统100来实现该结果。
转到图1，将该系统100示出为包括用于捕获多个图像210的成像装置200。成像装置200可以操作用于捕获多个图像210。可选地，连接到成像装置200和/或远离成像装置200的控制器(未示出)可以引导成像装置200捕获多个图像。示例性成像装置200可以包括被配置为捕获相同场景的图像210的相机。图像210可以包括静止图像和/或视频的单个静态图像(即，静止帧)。成像装置200可以使用各个成像配置来捕获多个图像210。图像配置可以包括用于拍摄图像的相机的设置。成像配置在多个图像210之间可以是一致的和/或不同的。例如，多个图像210可以包括第一图像211和第二图像212。
示例性成像配置可以包括包围式配置。在多种情况下，通过成像装置200的单次拍摄可能难以获得令人满意的效果。相反，成像装置200可以通过包围(bracketing)拍摄多个图像210。包围可以指的是使用不同的相机设置(或包围式配置)来捕获相同场景的多个图像210。也就是说，通过包围，成像装置200可以使用各个包围配置来捕获相同场景的图像210。
通过包围，成像装置200可以捕获多个图像，并且可以随后处理多个图像以产生具有令人满意的效果的图像。在某些示例中，成像装置200可以经由自动包围(autobracketing)来捕获多个图像210。自动包围可以包括通过使用成像装置200上的一个或多个设置来进行自动包围，以拍摄多个包围镜头。
包围的示例类型可以包括曝光包围。曝光可以指到达胶片或电子图像传感器的每单位面积的光量。曝光配置可以包括当捕获图像210时的曝光设置。示例性曝光配置可以包括与图像210的曝光相关的一个或多个参数和/或设置。示例性曝光配置可以包括曝光值、快门速度、镜头光圈、场景亮度或其组合。
成像装置200可以通过曝光包围来捕获图像，并且可以随后处理所述图像以产生其动态范围大于单个捕获图像的动态范围的图像。例如，成像装置200可以遇到HDR场景，其可以具有人眼可见但是超过由8位数字图像存储设备和/或显示设备能够处理的可见动态范围。
动态范围可以包括图像的最大亮度与最小亮度之间的比值，例如：
其中DR是以分贝为单位的动态范围，且Ilargest和Ismallest分别是图像的最大亮度和最小亮度。
数字图像存储设备和/或显示设备可以处理8位数字图像，其可以将动态范围表达如下：
相反，人眼可以感知具有以下动态范围的可见光：
使用曝光包围可以允许捕获相同HDR场景的黑暗和明亮区域中的细节，从而与人类视觉相比减少和/或消除成像的限制。
包围的另一示例类型可以包括闪光灯包围。闪光灯包围可以包括在以下包围系列中捕获图像210：成像装置200的闪光灯所提供的光量可以针对每个图像210而改变，以便找到环境光和补充闪光灯的最令人满意的组合。
包围的另一示例类型可以包括景深(Depth-of-Field，DOF)包围。DOF包围可以包括在以下包围系列中捕获图像210：成像装置200提供的快门速度和/或国际标准化组织(ISO)速度可以针对每个图像210而改变，以便在结果图像203中找到最佳的运动模糊。
包围的另一示例类型可以包括对焦包围。对焦包围可以包括在以下包围系列中捕获图像210：成像装置200的焦平面的位置可以针对每个图像210而改变，以便从图像210中选择最大的场景部分聚焦的图像，和/或数字地组合图像210的聚焦部分。
包围的另一示例类型可以包括白平衡包围。白平衡包围可以包括在以下包围系列中捕获图像210：成像装置200的白点设置可以针对每个图像210(例如，从浅蓝图像到微红图像)而改变，以便捕获混合照明的场景。
成像装置200可以使用其他类型的包围，例如，ISO包围。尽管在本公开中公开的某些说明性示例中，包围配置包括曝光配置，但是可以使用任何其他包围配置来捕获图像210，而没有限制。此外，可以执行一种或多种类型的包围以捕获图像210。例如，图像210可以具有各个曝光配置、聚焦和/或DOF。换言之，可以使用相应的包围配置来捕获图像210。
图1还将系统100示出为包括连接到成像装置200的增稳装置300，用于增稳该成像装置200。例如，增稳装置300可以在捕获多个图像210期间增稳成像装置200。增稳装置300可以相对于可在空间上移动成像装置200从而在多个图像210之中引起空间错位的运动，使成像装置200增稳。例如，可以将增稳装置300配置为减少和/或消除第一图像211和第二图像212之间的空间错位。
在没有增稳装置300的情况下，成像装置200和/或成像装置200可能在操作期间经受振动和/或空间移位。当相机捕获相同场景的多个静止和/或视频图像时，图像可能会经历可辨别的空间错位。当需要对图像进行融合以形成图像时，应首先通过使用图像配准过程来减小错位。图像配准过程可以用于将空间错位的图像转换到一个坐标系，从而可以改善图像之间的空间对齐。图像处理可能需要使用计算机系统的复杂计算。另外，即使是图像配准过程也不能完全消除某些错位。因此，不能保证高质量的结果图像。
通过使用增稳装置300来增稳成像装置200和/或成像装置200，可以执行图像处理而不必执行图像配准处理。此外，可以实现高质量的结果图像。
参考图2，示出了示例性移动平台400。示例性移动平台400可以包括但不限于自行车、汽车、卡车、轮船、船只、火车、直升机、飞机及其各种混合等。在一些实施例中，移动平台是无人机(UAV)。通俗地称为“无人机(drones)”，UAV是在自主控制的或由远程驾驶员控制(或有时两者)的载运工具上没有人类驾驶员的飞行器。目前发现UAV在涉及各种空中操作(例如数据收集或传递)的民用应用中使用量增加。本系统和方法适用于多种类型的UAV，包括但不限于四轴飞行器(也称为四旋翼直升机或四旋翼)、单旋翼、双旋翼、三旋翼、六旋翼和八旋翼的旋翼UAV、固定翼UAV以及混合旋翼式固定翼UAV。
在贯穿本公开所公开的各种实施例中，移动平台被描述为包括UAV，仅用于说明的目的。移动平台可以包括除UAV之外和/或替代UAV的任何类型的移动平台，并且不限于UAV。
图2将系统100示出为与移动平台400相连。可以使用增稳装置300来将成像装置200连接和/或耦接到移动平台400。增稳装置300可以相对于移动平台400的运动增稳成像装置200。因此，增稳装置300可以配置为相对于移动平台400的运动增稳成像装置200。
移动平台400可以包括控制器410，其被配置为执行数据采集、数据处理以及用于控制移动平台400的操作的任何其他功能和操作。控制器410可以包括一个或多个通用微处理器(例如，单核或多核处理器)、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
例如，控制器410可以包括一个或多个微处理器。微处理器可以包括计算机处理器，其结合在一个或多个集成电路上的计算机中央处理单元(CPU)的功能。微处理器可以是多用途和/或可编程装置，其接受数字数据作为输入、根据存储在存储器(未示出)中的指令处理数字数据、并提供结果作为输出。
虽然仅出于说明的目的而被描述为包括单个处理器，但是控制器410可以包括任何合适数量的相同的和/或不同的处理器，其中每个处理器可以分别执行一个或多个相同的和/或不同的功能。
移动平台400还可以包括存储器450和/或经由一个或多个通信总线(和/或信号线)490与控制器410相连的通信模块460。附加地和/或备选地，控制器410可以经由总线490与成像装置200和/或增稳装置300进行通信。
示例存储器450可以包括但不限于随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪存、安全数字(SD)卡等。存储器450可以被配置为存储数据文件以及用于指示控制器410执行编码指令的编码指令。尽管仅出于说明的目的而被描述为包括单个存储器450，然而成像装置200可以包括任何合适数量的相同的和/或不同的存储器450。
通信模块460可以被配置为在系统100、控制器410/和/或电子设备之间发送数据和/或控制信号。示例性电子设备可以包括位于远离移动平台400的远程控制器500和/或计算机(未示出)。例如，通信模块460可以包括收发器、发射器和/或接收器，其可以包括射频(或RF)电路或任何其他适当硬件以及指示硬件以便经由与控制器410和/或电子设备的有线或无线连接来接收和/或发送数据的任何适当软件。
通信模块460可以包括数字通信接口和/或模拟通信接口。通信模块460可以通过一个或多个外部通信端口(未示出)来促进系统100与控制器410之间的通信，并且还可以包括用于处理由收发器和/或外部通信端口接收的数据的各种软件组件。
外部通信端口可以包括用于连接电气设备的任何合适的电气和/或机械连接器并实现电气设备之间的通信。外部通信端口可以适用于直接连接到其他装置或者通过网络(例如，因特网、无线LAN等)间接连接到其他装置。示例性的外部通信端口可以包括通用串行总线(USB)、FIREWIRE、印刷电路板(PCB)等。
RF电路可以包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户订户身份模块(SIM)卡、收发器、连接器、LNA(Low Noise Amplifier，即，低噪声放大器)、双工器等。此外，RF电路可以通过无线通信网络与其他装置通信。无线通信可以使用任何通信标准或协议，包括但不限于，GSM(全球移动通信系统)、GPRS(通用分组无线电服务)、CDMA(码分多址)、WCDMA(宽带编码分多址)、LTE(长期演进)、电子邮件、SMS(短消息服务)。
尽管仅为了说明的目的而被描述为包括单个通信模块460，但是通信模块460可以包括任何合适数目的相同和/或不同的通信模块460。
图2中所示的遥控器500可以向移动平台400和/或成像装置200发送操作命令。遥控器500可以包括诸如操纵杆、开关、按键或按钮等的组件，以便于操作人员使用。示例性操作命令可以包括移动命令，例如，前进或后退、侧向飞行、左转或右转、上升或下降、节气门控制、加速或减速、切换档位或模式、指定期望位置、保持悬停状态、调整相机方位等。示例性操作命令还可以包括相机操作。遥控器500可以包括收发器、发射器和/或接收器，其可以包括RF电路或任何其他适当硬件以及指示硬件以便经由与通信模块460的有线或无线连接来接收和/或发送数据的任何适当软件。
移动平台400还可以包括移动机构420，其被配置为使移动平台400能够根据控制器410的指令移动。移动机构420可以包括被配置为将一种形式的能量转换为机械能的任何机器。移动机构420可以包括但不限于以下项中的一个或多个：转子、螺旋桨、叶片、发动机、电机、车轮、车轴、磁体、喷嘴、动物和/或人类。
在非限制性示例中，移动机构420可以包括电机(未示出)。电机可以与推进机构430(如图2所示)连接。推进机构430可以包括用于产生导致移动平台400移动的力的任何结构。例如，推进机构430可以包括由移动机构420驱动的螺旋桨，以旋转并产生用于推动移动平台400的推力。
当移动机构420包括电机时，控制器410可以向电机发送电机控制信号。电机控制信号可以指示电机运行，所以移动平台400可以以预定方向和选定速度移动。附加地和/或备选地，控制器410可以将控制器指令发送到电机控制器(未示出)。电机控制器可以基于控制器指令生成电机控制信号。基于电机控制信号，移动机构420可以驱动用于推进移动平台400的推进机构430，因此使移动平台400能够相应地移动。
当成像装置200被指示捕获目标物体的静止和/或视频图像时，移动平台400的位置可能需要在预选时间间隔内保持不变。例如，如果移动平台400是无人机(UAV)，则UAV可以维持悬停状态，其中当成像装置200捕获场景的多个图像时，UAV在空中悬置而不改变位置。
如图2所示，移动平台400可以包括一个或多个传感器440，用于感测移动平台400的空间部署、速度、加速度和/或方位。可以相对于平移坐标系和/或旋转坐标系来表示移动平台400的示例性空间布置、速度和/或加速度。传感器440可以包括一个或多个相同的和/或不同的传感器。示例性传感器440可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、接近传感器、图像传感器、陀螺仪、加速计、角速度计、磁感应计和/或罗盘。由传感器440提供的传感数据可以由控制器410用于控制移动平台400的空间部署、速度、加速度和方位。附加地和/或备选地，传感器440可以提供关于移动平台400周围的环境的数据。例如，示例性数据可以包括天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
在处于期望位置的悬停状态下，控制器410可以从传感器440获得与移动平台400的移动相关联的数据。一旦检测到移动平台400与期望位置的偏差，控制器410可以相应地指示移动机构420补偿与期望位置的偏差。回到上述UAV示例，当UAV的速度被检测为非零时，控制器可以控制UAV将速度调整为零。在另一示例中，当检测到UAV的位置偏离期望位置时，控制器可以将UAV移回到期望位置。
移动平台400并不总是以良好的稳定性保持在期望位置。移动机构420通常在运行期间可以处于运动中。移动机构420的运动可以引起移动平台400和连接到移动平台的另一系统的运动。
推进机构430的启动可以引起移动平台400的运动。在UAV中，推进机构430和/或推进机构的转子的旋转可以引起移动平台400的振动、振荡、冲击和/或晃动。此外，移动平台400可能偏离期望位置。控制器410可以基于来自传感器440(例如，GPS和/或陀螺仪)的数据来测量移动平台400的移动。但是，陀螺仪的精度可能受到零点漂移和/或温度漂移的影响。民用领域的GPS的精度可能被限制在米级距离内。附加地和/或备选地，控制器410基于来自传感器440的数据进行的计算可以与所选错误相关联。因此，移动平台400的位置可能是不稳定的。
如果成像装置200通过刚性连接被连接到移动平台400，则当移动平台400移动时，移动平台400的运动传送到成像装置200。因此，移动平台400可以显著地影响成像装置200的稳定性。
为了克服移动平台400对成像装置200的影响，移动平台400包括如图2所示的增稳装置300。增稳装置300可以相对于移动平台400的运动增稳成像装置200。增稳装置300可以包括用于增稳成像装置200的增稳机构。增稳机构可以指的是用于实现物体的增稳的任何硬件和/或命令所述硬件的软件。
如图2所示，移动平台400可以包括用于将成像装置200连接到移动平台400的载体470。载体470可以包括可以在成像装置200和移动平台400之间形成固定和/或可调连接的任何机械和/或电气连接。增稳装置300可以至少部分地与载体470集成在一起。
转到图3，示出了用于图像处理的方法1000。在1100处，成像装置200可以在移动平台400上被增稳。移动平台可以被称为可移动物体。
在1200处，可以利用成像装置200捕获多个图像210。例如，可以通过使用各个成像配置，来利用成像装置200捕获多个图像210。在1100处，通过使用增稳装置300来增稳成像装置200，可以执行针对捕获图像210的图像处理而无需执行图像配准过程。此外，可以实现高质量的结果图像。
图4是示出了图1的移动平台100的备选实施例的示例图。图4将增稳装置300示出为至少部分地与和移动平台400相关联的载体470集成在一起。图4将增稳装置300示出为包括减震单元310和/或补偿单元320。换言之，增稳装置300的增稳机构可以包括减震单元310和/或补偿单元320。
可以参照图5来示出图4中描述的系统100、增稳装置300、载体470和/或移动平台400之间的示例关系。图5是示出了系统100的移动平台的备选实施例的示例细节图。如图5所示，移动平台400可以被提供为无人机(或UAV)400A。图5将推进机构430示出为包括螺旋桨，该螺旋桨可以旋转以保持UAV 400A处于悬停状态。
如图4所示，载体470可以包括减震单元310。因此，减震单元310可以用于将成像装置200和/或成像装置200安装到移动平台400上，并且抑制成像装置200所经受的运动。
减震单元310可以包括一个或多个减震元件。每个减震元件可以包括任何合适的结构和/或材料，其能够减小、限制和/或防止由诸如移动平台400的可移动物体的移动而引起的成像装置200和/或载体470的移动。
例如，减震元件可以通过将负载与运动源隔离并消散或减少运动源传递到成像装置200的运动量，来提供运动减震。减震元件可以减小成像装置200可能经历的运动的振幅。由减震元件施加的运动减震可以用于增稳负载，由此减少由成像装置200捕获的图像210之间的空间错位，并减少用于基于多个捕获图像210生成结果图像的计算复杂性。
示例性减震单元310可以由可压缩和/或可变形为任何合适形状的材料制成。可以选择减震单元310的特性以提供预定量的运动减震。例如，减震单元310可以由海绵、泡沫、橡胶、凝胶、粘弹性材料、压电材料和/或形状记忆材料制成。减震单元310可以包括一个或多个机械元件，例如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔离器等。例如，减震单元310可以包括用于将云台与移动平台400连接的一个或多个抗振球。抗振球可以由诸如橡胶的粘弹性材料制成，并且因此可以用作减震器以相对于移动平台400的振动而增稳成像装置200。
减震单元310可以包括一个或多个相同和/或不同类型的减震元件。减震单元310可以连接到成像装置200的一个或多个部分。例如，减震单元310可以位于负载和移动平台400之间的接触点、连接点和/或表面附近。在一些情况下，成像装置200可以嵌入在减震单元310内和/或由减震单元310包围。
在图5所示的示例中，减震单元310可以包括固定地和/或可调节地定位在顶部载体平台471与底部载体平台472之间的抗振球。顶部载体平台471可以固定地和/或可调节地连接到UAV 400A。底部载体平台472可以固定地和/或可调节地连接到成像装置200和/或成像装置200。顶部载体平台471的运动可以在被传递到底部载体平台472之前通过抗振球来减小。因此，抗振球可以用作载体与UAV 400A之间的非刚性连接，其可以减震UAV 400A的运动以减少被传递到成像装置200的运动。
如图4所示，增稳机构还可以包括补偿单元320补偿单元320可以被配置为补偿成像装置200所经受的运动。换言之，当成像装置200偏离期望位置时，补偿单元320可以使成像装置200能够恢复到期望位置。
补偿单元320可以包括载体控制器321、根据来自载体控制器321的指令操作的一个或多个致动器构件323、用于收集致动器构件323的数据的一个或多个载体传感器322和/或可以由致动器构件323控制的框架组件324。
框架组件324可以允许成像装置200围绕一个或多个轴线旋转。示例性的轴线可以包括相对于移动平台400的X轴或俯仰轴、Z轴或横滚轴、Y轴或者偏航轴。框架组件324可以包括一个或多个框架构件。例如，框架构件可以被构造成与成像装置200相连并且支撑成像装置200。一个或多个致动器构件323可以控制框架组件324。示例性的致动器构件323可以包括电机。
一个或多个载体传感器322可以确定载体470和/或载体470携带的成像装置200的状态。示例性状态可以包括关于载体470和/或成像装置200的位置、速度(例如，线速度或角速度)和/或加速度(例如，线加速度或角加速度)。从传感器数据获取和/或计算的状态可以用作反馈数据来控制框架构件的旋转。示例性的载体传感器322可以包括运动传感器(例如，加速度计)、旋转传感器(例如，陀螺仪)、惯性传感器、陀螺仪、GPS传感器、角速度计、磁感应计和/或罗盘。
载体传感器322可以连接到载体470(例如，框架组件324和/或致动器构件323)。附加地或备选地，载体传感器322可以至少部分地连接到由载体470携带的成像装置200。
载体传感器322可以与致动器构件323中的一部分构件或全部构件连接，并测量各个致动器构件323的驱动。在某些示例中，载体传感器322可以包括插入在电机的电机轴上的电位计，以测量电机转子和电机定子的相对位置，从而测量转子和定子的相对位置。载体传感器322可以为传感器测量的相应致动器构件323提供位置信号。
载体传感器322可以提供能够被传送到载体470上的载体控制器321和/或移动平台400上的控制器410(图2所示)的位置和/或方位数据。载体控制器321可以包括用于处理由载体传感器322提供的数据的一个或多个处理器。传感器数据可以用于基于反馈的控制方案，以控制对一个或多个致动器构件323的驱动。载体控制器321和/或控制器410可以基于从载体传感器322接收的指示载体470和/或成像装置200的空间布置的数据，来生成用于驱动致动器构件323的控制信号。有利地，控制方案可以用于提供用于驱动载体470的致动器构件323的反馈控制，由此使成像装置200能够更精确和准确地旋转。
载体470可以将成像装置200与移动平台400连接并精确地控制成像装置200的精确旋转。根据本公开，载体控制器321、致动器构件323、载体传感器322和/或框架组件324可以构成补偿单元320(如图所示)，以至少基于由载体传感器322检测到的运动来补偿成像装置200的运动。由此，可以在拍摄图像210的同时增稳成像装置200。
在说明性示例中，框架组件324可以包括用于将成像装置200与移动平台400连接的云台(未示出)。云台可以具有陀螺仪结构，该陀螺仪结构被配置为旋转成像装置200以根据来自载体控制器321的控制信号改变成像装置200的偏航角、俯仰角和/或横滚角。因此，成像装置200可以可调节地定位，以在较宽范围的方向上捕获图像。
基于载体传感器322收集的数据，载体控制器321可以确定云台的移动、位置和/或方向。由于成像装置200安装在云台上，所以云台的移动、位置和/或方向可以表示成像装置200的移动、位置和/或方向。载体控制器321可以被预编程为根据来自载体传感器322的数据来检测成像装置200与期望位置的偏差。因此，载体控制器321可以计算用于移动云台的量和方向，以帮助确保成像装置200保持在期望位置处。因此，载体控制器321能够使致动器构件323根据所计算的量和方向来移动框架组件324。
可选地，控制器410可以从一个或多个传感器440获得与移动平台400的位置和/或移动相关联的数据，并使用有线和/或无线通信将该数据传输到载体控制器321。载体控制器321可以被配置为使用来自控制器410的数据来校正来自载体传感器322的数据的结果，以改善对成像装置200的移动、方向和/或位置的测量的准确性。
例如，传感器440可以感测到移动平台400已经经历了偏航角的变化。载体传感器322可以感测到云台已经经历了与来自传感器440的数据一致的偏航角的变化。因此，可以由控制器410接收由传感器440生成的数据。控制器410可以将由传感器440生成的数据发送到载体控制器321。载体控制器321可以使用由传感器440生成的数据来验证和/或校正从载体传感器322接收的数据。附加地和/或备选地，来自传感器440的数据可以与来自载体传感器322的数据组合，以提高测量云台的运动的精度。例如，可以计算来自传感器440和载体传感器322的各个俯仰数据的平均值和/或加权平均值，以获得更精确的俯仰数据。在另一示例中，可以经由一个或多个选择的传感器数据组合技术将来自传感器440的数据与来自载体传感器322的数据组合。示例性技术包括中心极限定理、卡尔曼滤色器、贝叶斯网络和/或Dempster-Shafer理论。
如图5所示，增稳装置300可以包括用作云台的补偿单元320。成像装置200可以安装在云台上。云台可以通过减震单元310连接到UAV 400A。图5将减震单元310示出为包括四个抗振球。虽然示出了四个抗振球，但是减震单元310可以包括如参考图2所述的任何类型的减震单元310，和/或可以包括任何合适数量的抗振球。
如图5所示，载体470可以使成像装置200旋转。载体470可以使成像装置200能够相对于横滚轴、俯仰轴和/或偏航轴(在图5中示出)旋转以补偿UAV 400A的振动。
为了说明的目的，图5示出了成像装置200相对于偏航轴旋转。在某些实施例中，载体470可以使成像装置200能够以恒定的和/或可变的速度相对于偏航轴旋转。补偿单元320可以补偿成像装置200相对于俯仰轴和/或横滚轴的移动。附加地和/或备选地，补偿单元320可以补偿成像装置200相对于俯仰轴、偏航轴和/或横滚轴的移动，以使成像装置200增稳。
因此，增稳装置300和成像装置200中的至少一个可以与移动平台400和/或控制器410通信。如上所述，增稳装置300可以通过经由控制器410从传感器440接收数据来精确地增稳成像装置200。附加地和/或备选地，成像装置200可以从控制器410接收指令以捕获图像210。
在某些实施例中，推进机构430的螺旋桨可以以选定频率旋转。例如，选定的旋转频率范围可以从50Hz到200Hz。螺旋桨的示例性旋转频率可以是100Hz。由螺旋桨的旋转产生的振动可以在例如由抗振球部分地移除之后而被传递到载体470(和/或云台)。可以由诸如陀螺仪的载体传感器322检测被传递到载体470(和/或云台)的剩余振动。补偿单元320可以被配置为补偿预定频率(范围从500Hz到2000Hz)的振动运动。示例性补偿单元320可以被配置为补偿预定频率为1000Hz的振动运动。因此，在由补偿单元320至少部分补偿之后，成像装置200的最终振动可以忽略不计。
例如，在没有减震单元310和/或补偿单元320的情况下，在移动平台400的悬停状态下拍摄的图像210的空间错位可能大于错位阈值。在具有减震单元310和/或补偿单元320的情况下，在移动平台400的悬停状态下拍摄的图像210的空间错位可小于错位阈值。错位阈值的具体数值可以取决于移动平台400、减震单元310和/或补偿单元320的设计。示例性错位阈值的范围可以从50微米到300微米，和/或可以从0.5像素大小到2像素大小。
因此，当移动平台400在期望位置处于悬停状态时，成像装置200的成像装置200可以捕获相同场景的多个静止图像和/或视频图像210。图像210之间的空间错位可以忽略不计。
安装在移动平台上的相机可能受到移动平台的振动和/或空间漂移的影响。当相机捕获相同场景的多个静止和/或视频图像时，图像可能会经历可辨别的空间错位。当需要对图像进行融合以形成图像时，应首先通过使用图像配准过程来减小错位。
图像配准过程需要复杂的计算机程序和处理器能力，这大大限制了图像处理的灵活性和效率。即使具有复杂的计算机程序和处理器能力，图像配准过程也可能无法在图像之间实现期望对齐。因此，容易发生诸如重影现象的图像缺陷。因此，当需要图像配准过程时，图像处理可能是复杂的，并且不能保证高质量的结果图像。
在非限制性示例中，成像装置200可以捕获要用于生成HDR图像的多个静止和/或视频图像。
如果不使用所公开的系统100，则当UAV被指示捕获HDR图像时，安装在UAV上的相机可以分别以不同的曝光值捕获相同场景的多个图像。由于图像配准过程的复杂性，UAV和/或相机上的内置处理器对于执行图像配准过程没有足够的计算能力，特别是当图像具有高分辨率时。因此，需要将图像无线发送到陆地上的计算机，或在UAV着陆后将其发送到计算机，以由需要具有图像配准能力的计算机进行处理。在图像配准过程之后，图像接着被融合成具有高动态范围的结果图像。这样的过程可能是缓慢的和不方便的。
在没有公开的系统100的情况下，不能实时产生HDR图像，摄影师可能无法查看HDR图像的图像质量，并基于先前拍摄的HDR图像确定用于捕获其他图像的最佳动作。因此，摄影师可能错过捕获图像的最佳时刻。
图6是示出了图1的移动平台100的备选实施例的示例图。系统100可以包括成像装置200。图6的成像装置200可以包括用于基于使用各个图像配置捕获的多个图像210来生成结果图像的处理器230(或图像处理器230)。例如，一个或多个处理器230可以被配置为将使用各个曝光配置捕获的多个图像210融合到结果图像203中。结果图像203可以包含来自一个或多个捕获图像210的信息。
虽然图6将处理器230示出为位于成像装置200上，但是处理器230可以至少部分地与成像装置200分开并且远离成像装置200。例如，处理器230可以位于移动平台400上。
处理器230可以包括专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。虽然仅出于说明的目的而被描述为包括单个处理器230，但是成像装置200可以包括任何合适数量的相同的和/或不同的处理器230，其中每个处理器可以分别执行一个或多个相同的和/或不同的功能。
处理器230可以被配置成将图像210融合到最终图像203中。由于增稳装置300，图像210之间的空间错位可以忽略不计，因此可以省略图像配准过程。也就是说，图像210可以优选地在没有图像配准过程的情况下被融合到结果图像203中。因此，可以显着减少图像处理的计算量。安装在移动平台400上的成像装置200的处理器230可以在捕获图像210时实时地实现图像处理。
即使生成结果图像203可以包括图像配准过程，图像配准过程也可以是可选的而不是必需的。如果使用图像配准过程，则可以将其用于所选图像210的一部分，而不是应用于整个图像。例如，全景图像可以将结果图像203作为第一片段并将不同图像作为第二片段，图像配准过程可以用于在第一片段和第二片段之间的交叠区域中拼接第一和第二片段。然而，为了生成作为第一片段的结果图像203，图像配准过程不是必需的，这是因为相同像素可以在每个图像210中捕获相同的物体以用于图像203的融合。
附加地和/或备选地，如图6所示，成像装置200还可以包括与处理器230连接的存储器240和/或通信模块250。
示例存储器240可以包括但不限于随机存取存储器(RAM)、静态RAM、动态RAM、只读存储器(ROM)、可编程ROM、可擦除可编程ROM、电可擦除可编程ROM、闪存、安全数字(SD)卡等。存储器240可以被配置为存储数据文件以及用于指示处理器230执行编码指令的编码指令。尽管仅出于说明的目的而被描述为包括单个存储器240，然而成像装置200可以包括任何合适数量的相同的和/或不同的存储器240。
通信模块250可以被配置为在处理器230、控制器410/和/或远离移动平台400布置的电子设备之间发送数据和/或控制信号。例如，通信模块250可以包括能够包括射频(或RF)电路的收发器、发射器和/或接收器。尽管仅为了说明的目的而被描述为包括单个通信模块250，但是通信模块250可以包括任何合适数目的相同和/或不同的通信模块250。
图7是示出了用于图像处理的图3的方法的备选实施例的示例流程图。如图7所示，在1010处，移动平台400(图2所示)可以移动或被移动到预定地理位置处的选定位置。移动平台400可以自主地移动到所选位置，或可以经由任何其他机构被移动到选择的位置。例如，移动平台400可以包括UAV。控制器410(如图2所示)可以经由通信模块460(如图2所示)从遥控器500(如图2所示)接收操作命令。操作命令可以请求移动平台400移动到所选位置，并在所选位置保持悬停(或暂停)状态。所选位置可以包括成像装置200的所选位置和/或所选高度和/或所选方位。控制器410可以使移动平台400根据操作命令而移动。
在1020处，可以获得成像参数。成像装置200的(一个或多个)处理器230可以经由通信模块250从遥控器500(和/或远离移动平台400的另一电子装置)接收操作命令。操作命令可以包括成像参数。附加地和/或备选地，控制器410可以接收操作命令并将其传送到成像装置200的处理器230。
成像参数可以包括用于选择用于捕获图像210(在图6中示出)的成像配置和/或用于在捕获之后处理图像210(和/或结果图像203)的一个或多个参数。
成像参数可以包括与由成像装置200使用的包围式技术相对应的包围式参数。基于包围式参数，可以使用相应的包围式配置来捕获图像210。
例如，对于曝光包围，包围式参数可以包括与曝光配置相关的参数。示例性参数可以包括曝光值差ΔE。可以使用相应包围式配置来捕获图像210，并且在这种情况下，包围式配置可以包括曝光配置。
在另一示例中，对于对焦包围，包围式参数可以包括成像装置200的焦平面的位置。可以使用相应包围式配置来捕获图像210，并且在这种情况下，包围式配置可以包括对焦配置。
可以单独地或共同地执行一种或多种类型的包围以捕获图像210。例如，可以用对应于一种或多种包围式技术的相应包围式配置来捕获图像210。例如，可以使用相应的曝光、对焦和/或DOF配置来捕获图像210。
基于图像210生成的图像203与图像210的单独图像相比可以具有改善的效果。基于包围式技术的类型，示例性改进效果可以包括但不限于更大的动态范围(曝光包围)、更令人愉快的环境光和补充闪光灯的组合(通过使用闪光灯包围)、更大的图像焦点(对焦包围)和/或更正确的白平衡(通过使用白平衡包围)。
例如，图像210可以随后被融合到例如可以是HDR图像的结果图像203中(如图6所示)。在该情况下，成像参数可以包括用于捕获图像210和/或将图像210融合到HDR图像中的可调参数。
例如，为了获得HDR图像，成像装置200可以通过使用各个曝光配置来捕获相同场景的多个图像210。如前所述，示例性曝光配置可以包括与图像210的曝光相关联的一个或多个参数和/或设置。可以由曝光值(EV)计算曝光量，和/或由曝光值(EV)表示曝光量。因此，曝光配置可以与曝光值相关联。成像装置200可以以各个曝光配置来捕获相同场景的多个图像210。因此，多个图像210可以与各个曝光值相关联。
可以将多个图像210融合到结果图像203中，所述结果图像的复合动态范围DR大于多个图像210当中的所选图像的动态范围DR。在某些示例中，可以将多个图像210融合到结果图像203中，所述结果图像的复合动态范围DR大于多个图像210当中的每一个图像的动态范围DR。
附加地和/或备选地，成像参数可以包括多个图像210的选定数量N和相应的曝光值。示例性的数量N可以大于或等于2。
对于成像装置200，可以通过设置曝光值差(ΔE)来选择曝光配置和/或曝光值(EV)。例如，ΔE＝1(或“曝光步长”和/或“停止”)表示曝光值EV增加1，并且表示光量的加倍。相反，曝光值EV减1表示光量减半。为了显示在黑影中的细节，可能需要较高的曝光值EV。相反，为了防止明亮区域的细节“漂白”，可能需要较低的曝光值EV。当成像装置200不能在单次曝光内提供大范围的曝光值时，成像装置200可以捕获多个图像210。
因此，成像参数可以包括曝光值差ΔE的值。示例性的曝光值差ΔE可以是0.7、1、2，和/或类似的值。基于曝光值差ΔE，成像装置200可以选择用于拍摄多个图像210的曝光配置。
如图7所示，在1100，可以使成像装置200增稳以捕获多个图像210。在接收到图像捕获指令时，可以使成像装置200增稳以捕获多个图像210。成像装置200可以从遥控器500接收图像捕获指令。附加地和/或备选地，控制器410可以接收操作命令并将其传送到成像装置200的处理器230。图像捕获指令可以包括针对成像装置200开始捕获图像210的指令。在接收到图像捕获指令时，控制器410可以指示增稳装置300补偿成像装置200的运动以使成像装置200增稳。
在1200处，可以利用成像装置200捕获多个图像210。成像装置200可以根据成像参数来捕获图像210。在某些实施例中，成像装置200可以顺序地捕获图像210。在其他实施例中，成像装置200可以包括用于同时捕获至少两个图像210的多个成像装置(未示出)。例如，可以通过自动包围捕获多个图像210。
可选地，在被增稳的成像装置200捕获多个图像210之后，处理器230可以接收多个图像210。例如，处理器230可以经由总线490(在图2中示出)与成像装置200连接，并且可以经由总线490从成像装置200接收多个图像210。附加地和/或备选地，处理器230可以经由通信模块250(图2中所示)从成像装置200接收多个图像210。附加地和/或备选地，处理器230可以与成像装置200集成并且可以在捕获图像210时获得多个图像210。
在1300处，基于成像参数，根据多个图像210生成结果图像203(图6所示)。例如，可以基于各个曝光配置，将多个图像210融合到结果图像203中。如前所述，因为增稳装置300可以使图像210之间的空间错位可忽略，所以可以将图像210融合到结果图像203中而无需图像配准过程。
例如，每个捕获图像210和结果图像203可以是原始格式，诸如，滤色器阵列(colorfilter array，CFA)格式。CFA(或滤色器马赛克(color filter mosaic，CFM))可以指代放置在用于捕获颜色信息的成像装置200的图像传感器上方的滤色器的马赛克。CFA格式的每个图像210可以包括针对CFA中的每个滤色器的相应像素值。示例性的CFA配置是拜耳滤色器。拜耳滤色器对于奇数行可以具有交替的红色(R)和绿色(G)滤色器，且对于偶数行可以具有交替的绿色(G)和蓝色(B)滤色器。
将多个图像210融合到结果图像203中可以包括基于图像210中的像素的各个像素值来计算结果图像203的每个像素的像素值。用于融合多个图像210的方法在本公开中不受限制。图8中示出了该方法的示例性实施例。
多个图像210可以被融合到结果图像203中。在某些示例中，结果图像203的复合动态范围DR可以大于多个图像210中的至少一个所选图像的动态范围。此外，尽管仅为了说明的目的将多个图像描述为融合到HDR图像中，但是可以基于在1200处使用的包围式技术，将多个图像210融合到相较于多个图像210的单独图像能够具有附加和/或备选改善效果的结果图像203中。
在1400，可以存储结果图像203。例如，可以将结果图像203存储在存储器240(图6所示)和/或存储器450(图2所示)上。可选地，结果图像203可以在被存储之前被压缩。可以以无损的方式压缩和存储结果图像203。也就是说，可以根据被压缩和/或被存储的数据完全重建图像203的原始数据。
为了以无损方式存储结果图像203，可以使用无损图像文件格式来存储和/或压缩结果图像203。示例性的无损图像文件格式和/或压缩标准可以包括Interleaved BitMap(ILBM)、JBIG2(由联合双层图像专家组开发)、WebP(由Google开发，Mountain View，California，USA)、无损JPEG(JPEG(JPEG))、JPEG 2000、JPEG扩展范围(JPEG XR)、渐进式图形文件(PGF)、可移植网络图形(PNG)、标记图像文件格式(TIFF)、Gifsicle、优化jpeg文件(Jpegoptim)、开放压缩三角网状文件格式(OpenCTM)和/或数字负片(DNG)。
附加地和/或备选地，可以以原始图像格式压缩和/或存储结果图像203。即，可以存储结果图像203的原始文件。原始文件可以包含来自合成图像203的每个图像像素的最低限度处理的全分辨率数据。原始文件尚未被处理，且不一定就可以使用常见图形编辑器(诸如，位图图形编辑器)进行打印或编辑。示例性的原始图像格式可以包括12位图像格式或14位图像格式。
附加地和/或备选地，示例性原始图像格式可以包括32位浮点图像格式。有利地，以32位浮点格式存储的结果图像203可以具有高分辨率和丰富的信息量。所存储的结果图像203可以随后由希望以极大的创造性生成高质量图像的用户(诸如，摄影师和/或图形艺术家)进行处理。
32位浮点图像格式可以指符合32位浮点格式的图像文件。换言之，成像装置200可以被配置为将作为32位浮点CFA数据的结果图像203存储在存储器240和/或存储器450中。在某些实施例中，CFA中的每个滤色器的像素值可以由32位浮点数表示。
32位浮点格式可以符合电气和电子工程师学会(Institute of Electrical andElectronics Engineers，IEEE)针对浮点运算标准(IEEE 754)，这是浮点运算的技术标准。32位浮点格式也可以称为IEEE 754单精度二进制浮点格式。根据IEEE 754，每个图像传感器像素的像素值可以由32位表示。32位可以包括符号位(1位)、指数宽度(8位)和有效位精度(23位)。
由具有给定偏置指数e、8位指数宽度(即，8位无符号整数)和23位有效位的给定32位(和/或二进制32)数据假设的实际值是：
value＝(-1)sign(1.b22b21…b0)2×2(e-127) 等式(1)
或
其中b22、b21、…b0是23位部分的第22、第21、......第0位的二进制值，且“i”表示从23位有效位中选择的第i位。
32位浮点格式可以使像素值具有从6位到9位个有效小数位数的精度。也就是说，如果最多6个有效小数位数的十进制字串被转换为IEEE 754单精度二进制浮点格式，并接着被转换会相同数目的有效小数位数，则最后的字串应该与原始字串相匹配。换言之，如果将IEEE 754单精度二进制浮点格式的数字被转换为具有至少9位有效小数位的十进制字串，然后再转换回IEEE 754单精度二进制浮点格式，则最后的号码可以与原始字串相匹配。
结果图像203可以以任何合适图像格式存储为32位浮点格式。示例性的图像格式可以包括数字负片(Digital Negative，DNG)。DNG是由Adobe Systems(美国加利福尼亚圣何塞)编写的用于数字摄影的开放式无损原始图像格式。
在其他示例中，可以以诸如IEEE 754半精度二进制浮点格式(二进制16)、IEEE754双精度浮点格式(二进制64)、IEEE 754四元精确浮点格式(二进制128)和/或任何扩展的精度格式的任何其他适合格式来存储结果图像203。示例性的扩展精度格式包括x86扩展精度格式。
在1500处，可以将结果图像203渲染成预览图像。处理器230可以通过使用任何技术来渲染预览图像。例如，处理器230可以通过使用色调映射来渲染预览图像。通过色调映射，处理器230可以将结果图像203的第一组颜色映射到预览图像的第二组颜色。因此，新图像可以近似原始图像的外观并且可以在不能处理原始图像的电子设备上进行显示和/或编辑。
在一些实施例中，在1020处获得的成像参数可以包括用于色调映射的选定方法。结果图像203可以被渲染成典型显示设备可以显示的图像格式。用于渲染的示例性过程可以包括色调映射。色调映射方法的选择可以基于用户的个人偏好。例如，所选色调映射方法可以导致具有较低视觉对比度的平滑外观图像，而另一种色调映射方法可以导致具有较大视觉对比度的图像且对比度可能过度夸大。
例如，处理器230可以使用色调映射来在具有更有限的能力(例如，有限的动态范围)的介质中渲染HDR图像的预览图像。在一个示例中，结果图像203可以包括32位浮点图像格式的HDR图像。通过使用色调映射，处理器230可以将结果图像203渲染为8位图像格式的图像，所以普通的计算机监视器可以显示该图像。
当处理器230使用适当的色调映射方法时，即使图像对比度从场景辐射减小到显示装置的可显示范围，预览图像也可以保留对于欣赏原始场景内容而言重要的图像细节和颜色外观。用于色调映射的示例性方法可以包括对数映射、指数映射、Reinhard局部摄影方法和/或Durand双边滤波方法。
在1500处，可以使用色调映射过程来渲染结果图像203，从而所生成的预览图像可以适合于在典型的显示设备上显示。附加地和/或备选地，所生成的预览图像可以适合于通过诸如位图图形编辑器的普通图形编辑器进行编辑和/或打印。
当结果图像203是HDR图像时，色调映射处理可以使用任何合适的色调映射技术来渲染HDR图像。当先前(例如，在1020处)选择了色调映射技术时，所选色调映射技术可以用于将结果图像203渲染为预览图像。
预览图像可以是具有比结果图像203小的文件尺寸的格式。预览图像的示例性格式可以包括8位图像格式。预览图像的每个像素可以由8位整数表示，即，具有范围从0到255的可能值。典型的显示设备可以以8位图像格式显示数字图像。因此，预览图像可以有利地具有较小的文件大小并由典型的显示装置支持。
在1600处，预览图像可以被传送以供呈现。例如，可以传送预览图像以供预览。例如，与处理器230连接的通信模块250可以将预览图像发送到远离移动平台400的计算机。附加地和/或备选地，通信模块250可以将预览图像发送到与控制器410连接的通信模块460。例如，通信模块460可以将预览图像发送到远离移动平台400的计算机。因此，计算机可以显示用于呈现的预览图像。
尽管预览图像与结果图像203的原始文件相比可以具有减小的文件大小，但是预览图像可以能够传送比图像210的所选图像更丰富的信息。
例如，当预览图像可以是8位图像格式时，8位图像格式是作为HDR图像的结果图像203的渲染。然而，当以较高曝光值捕获图像211(图6所示)，以较低曝光值捕获图像212(图6所示)时，图像211可能在明亮的区域中显示“漂白”效果，且图像212可能无法显示在黑影中的细节。摄影师可能不能仅根据图像211或仅根据图像212获得期望的信息。相反，基于结果图像203渲染的预览图像可以能够在明亮区域和黑暗阴影两者中显示所选细节。因此，一个预览图像可能足以帮助摄影师评估所获得的结果图像203的图像质量。
此外，由于不再需要图像配准过程，因此可以当移动平台400正运行时(例如，当UAV在空中运行时)实时生成结果图像203。结果图像203可以被实时地渲染成预览图像。预览图像可以被传输到远程计算机系统以便实时呈现。实时可以包括捕获多个图像210的实时。
因此，所公开的方法1000和/或系统100可以帮助摄影师基于预览图像实时评估所获得的结果图像203的图像质量。因此，摄影者可以选择及时调整场景和/或成像配置。摄影师可以抓住捕获更多图像的最佳时刻。
例如，当预览图像不令人满意时，摄影师可以选择改变成像配置并捕获相同场景的另外多个图像。为了改变成像配置，摄影师可以改变成像参数(例如改变曝光值差ΔE、改变图像的数量N、改变包围式技术的类型)。也就是说，系统100可以通过使用其他各个成像配置，来获得不同的成像参数并针对基本相同的场景捕获另外的多个图像。换言之，系统100可以分别用第一多个成像配置捕获基本相同的场景的第一多个图像，然后分别用第二多个成像配置获得基本相同的场景的第二多个图像。第二多个成像配置可以至少部分地不同于第一多个成像配置。
在另一示例中，当预览图像令人满意时，摄影师可以选择改变场景以捕获更多的图像。移动平台400可以移动或移动到另一位置。备选地和/或另外地，成像装置200可以改变方向以捕获基本相同的场景。这样的场景可以与先前由图像210捕获的场景不同。在那种情况下，成像装置200可以接着通过使用先前针对图像210捕获的各个成像配置来捕获针对不同场景的另外的多个图像。成像装置200还可以通过使用其他各个成像配置来捕获针对不同场景的另一多个图像，这些成像配置可以至少部分地不同于先前针对图像210使用的各个成像配置。
图8是示出了用于图像处理的图2的方法1000的备选实施例的示例流程图。图8所示的方法1300可以用于基于多个图像210生成结果图像203。
图8示意性将示例性方法1300示出为用于将多个图像210融合为作为HDR图像的结果图像203，且所述多个图像210可以是先前在各个曝光配置下捕获的。。然而，可以通过改变用于图像融合的附加和/或备选的图像捕获参数(例如，如前面所述的其他包围式技术所示)，来预先捕获多个图像210。因此，方法1300可以处理多个图像210的CFA数据以形成结果图像203，用于实现HDR附加和/或备选的改善型图像质量。
如图8所示，在1310，可以可选地将多个图像210中的每一个的像素的像素值归一化。
其中Ji(p)是指图像i的像素p的归一化像素值，i是指图像210中的第i个图像(即，i＝1，2，…N)，Ii(p)是指图像i的像素p的像素值，Ei是指图像i的曝光值，并且Eref是指图像210的各个曝光值中的最低曝光值。例如，曝光值Ei可以计算如下：
其中Si是指图像i的国际标准化组织(ISO)速度，Ti是指图像i的曝光时间，并且Fi是指图像i的相对孔径(和/或f数)。Si、Ti和Fi可以由成像装置200提供。
此外，等式(3)中的Ii(p)可以预先标准化为[0，1]区间中的值，并且可以表示为浮点数。
根据示例性等式(3)，随着曝光值Ei增加，第i图像中的像素p的归一化像素值Ji(p)可以减小。
可以基于多个图像210中的对应像素的图像数据(和/或值)的加权平均，来确定结果图像203中的每个像素的值。在1320处，可以确定与归一化像素值Ji(p)相关联的权重。权重可以是指用于计算的统计权重。可以将与归一化像素值Ji(p)相关联的示例性权重计算如下：
示例性等式(5)可能针对接近0.5的像素值Ii(p)(即，中间亮度)导致较大权重，且针对接近0和/或1的像素值Ii(p)(即，非常低的亮度和/或非常高的亮度)导致较小权重。
在1330处，可以基于归一化像素值Ji(p)和权重wi(p)来获得结果图像203的像素的像素值。例如，可以将结果图像203的像素p的像素值H(p)计算如下：
像素值H(p)可以表示结果图像203的像素p的CFA数据。
备选地，可以通过多个图像210中的对应像素的图像数据的加权平均，来确定结果图像203中的每个像素的值。像素值H(p)可以基于归一化像素值Ji(p)和权重wi(p)的加权和，其中可以将加权和除以权重wi(p)的和，即：
随后可以将结果图像203存储为原始图像格式(如在1400处所示)。
如等式(3)-(6)所示，对于所选像素，可以组合不同成像配置(诸如，曝光配置)获得的像素值以获得针对结果图像203的像素值。因此，即使图像210中的一个图像不能具有捕获足够的场景和/或物体的信息的曝光值，结果图像203也可以是使用曝光值范围而不是单个曝光值捕获的图像。因此，结果图像203可以具有复合曝光值EV，其具有扩展在图像210的相应曝光值上的更大范围。事实上，可以显着提高成像装置200的曝光能力。
图8所示的方法1000可以是易于执行的。因此，方法1000中涉及的计算可以由处理器230和/或控制器410的处理器在短时间内完成。这种简单的图像处理还可以使系统100能够实时生成结果图像203。
在一些实施例中，处理器230、存储器240和/或通信模块250可以至少部分地与成像装置200集成，如图6所示。在那种情况下，成像装置200可以至少部分地包括处理器230、存储器240和/或通信模块250。在一个示例中，成像装置200可以捕获图像210并且基于图像210生成结果图像203，基于结果图像203渲染预览图像，存储结果图像203，和/或将结果图像203发送到另一计算机系统以供预览。
在其他实施例中，处理器230、存储器240可以分别至少部分地与控制器410、存储器450(在图2中示出)集成。也就是说，处理器230、存储器240可以至少部分地在移动平台400上。因此，成像装置200可以捕获图像210并且经由通信模块250将图像210发送到控制器410。控制器410可以基于图像210生成结果图像203，并且基于结果图像203来渲染预览图像。存储器450可以用于存储结果图像203。与移动平台400相关联的通信模块460可以将结果图像203传输到另一计算机系统以供预览。也就是说，成像装置200可以至少部分地与移动平台400集成。
此外，处理器230、存储器240和/或通信模块250可以至少部分地与远离移动平台400定位的计算机系统(未示出)集成。在示例性情况下，成像装置200可以经由总线490将图像210发送到控制器410。通信模块460可以将图像210发送给计算机系统。计算机系统可以基于图像210生成结果图像203和/或渲染预览图像。
本文公开的各种实施例还提供了一种移动平台400。如图2所示，移动平台400可以包括用于图像处理的系统100。此外，本文公开的各种实施例提供了一种用于组装如图2所示的移动平台400的工具箱。该工具箱可以用于组装移动平台400而不是获取工厂组装的移动平台400。在某些实施方案中，工具箱中可以包含使用说明书。说明书可以在其中进行说明。当操作者和/或组装机器遵循说明时，成像装置200和/或增稳装置300可以被组装到移动平台400中，如图2中的本公开所示。
各种实施例还公开了一种用于图像处理的方法。图9是示出了用于图像处理的方法1000的实施例的流程图。可以在处理器230上执行所述方法(如图6所示)。如图9所示，在1210，可以接收多个图像210。
例如，处理器230可以接收多个图像210。例如，处理器230可以经由总线490(在图2中示出)与成像装置200连接，并且可以经由总线490从成像装置200接收多个图像210。附加地和/或备选地，处理器230可以经由通信模块250(图6中所示)从成像装置200接收多个图像210。
在1210处，接收图像可以是可选的。例如，处理器230可以与成像装置200集成并且可以在捕获图像210时获得多个图像210。
图9将方法1000示出为包括在1300处基于图像210生成结果图像203。此外，方法1000包括在1400处存储结果图像203。
附加地和/或备选地，如图9所示，在1410处，可以缩小结果图像203。在使用结果图像203的某些处理中，较小的文件大小和较少的计算是有利的。例如，当需要将结果图像203有线或无线发送到远离移动平台400的计算机时，减小的文件大小可以减少在计算机与移动平台400之间的数据传输的负担。在该情况下，可以可选地缩小结果图像203以形成缩小的结果图像。
例如，可以使用一个或多个下采样技术来缩小结果图像203。下采样可以使用任何合适的方法。例如，可以通过每第n个像素保存一个值，将结果图像203下采样n倍。在另一示例中，下采样可以使用线性插值、双线性插值、双三次插值、最近邻插值。因此，可以减小结果图像203的文件大小。
可选地，在1410处缩小尺寸之后，在1420处，可以对缩小后的结果图像进行去马赛克(和/或去马赛克、去马赛克、退化)。去马赛克可以包括根据从与成像装置200的CFA交叠的图像传感器输出的不完整颜色样本重建全色图像。去马赛克还可以被称为CFA插值或颜色重建。因此，去马赛克处理可以将缩小的结果图像203转换成可以通过色调映射技术来渲染的可视格式。用于对结果图像203进行去马赛克的示例性方法可以包括复制相同颜色通道的相邻像素的最邻近插值。另一种简单的方法是双线性插值，其中非红色像素的红色值被计算为两个或四个相邻红色像素的平均值，且对于蓝色和绿色也是如此。其他示例性方法可以包括双立方插值、样条插值和Lanczos重采样，其在每个颜色平面内独立地内插。被称为“可变数量梯度插值”的方法计算感兴趣像素附近的梯度，并使用较低的梯度(表示图像更平滑和更相似的部分)来进行估计。被称为“像素分组”的方法使用关于自然风景的假设来进行估计。被称为“自适应均匀定向插值”的方法选择插值方向，以使与图像203相关联的同质性度量最大化。
图9将方法1000示出为包括在1500处将结果图像203渲染成预览图像。当结果图像203已被缩小(在1410)和/或被去马赛克(在1420)时，处理器230可以将尺寸缩小和/或去马赛克的结果图像203渲染成预览图像。在处理器230渲染预览图像之后，方法1000可以包括在1600处发送预览图像以供渲染。
各种实施例还公开了一种用于图像处理的系统100。示例性系统100可以包括如图1、3-6所示的成像装置200，其中成像装置200可以连接到增稳装置300。
图10是示出了用于执行图9中的方法1000的系统100的示例性框图。图10将系统100示出为包括处理器230。系统100还可以包括由处理器230指示的用于执行图9的方法1000和/或图8的方法1300的存储器240和/或通信模块250。处理器230可以位于成像装置200上和/或远离成像装置200。
各种实施例还公开了包括指令的计算机程序产品，用于根据如图3和7-9所示的本文公开的方法1000进行图像处理。程序/软件可以存储在(非暂时性)计算机可读存储介质中，包括例如只读存储器(ROM)、随机存取存储器(RAM)、内部存储器、寄存器、计算机硬盘、可移动磁盘、CD-ROM、光盘、软盘、磁盘等。程序/软件可以包括编码指令以指示计算机设备上的一个或多个处理器执行根据各种公开的实施例的方法。
各种实施例还公开了一种用于图像处理的系统100。图11是示出了图1的移动平台100的另一实施例的示例图。成像装置200可以包括多个模块231-234。模块231-234可以包括用于实现如图8和/或图9所示的处理器230的功能的微处理器和/或分立电路硬件。
成像装置200可以包括图像生成模块231，用于基于多个图像210生成(在图9的1300处示出)结果图像203。成像装置200可以包括图像缩小模块232，用于缩小(在图9的1410处示出)结果图像203。成像装置200可以包括图像去马赛克模块233，用于使结果图像203去马赛克(在图9的1420处示出)。成像装置200可以包括图像渲染模块234，用于将结果图像203渲染为预览图像(在图9的1500处示出)。
此外，成像装置200可以包括存储器240和/或通信模块250(如图10所示)。模块231-234可以与存储器240和/或通信模块250连接。
图9-11所示的所公开的方法和系统可以基于使用各个包围式配置捕获的多个图像210来生成结果图像203。因为用于生成结果图像203的处理可以简单地实施，所以成像装置200可以在操作期间(例如，在空中飞行期间)装载于移动平台400(图2所示)上时生成结果图像203。结果图像203可以被存储、缩小、和/或渲染成预览图像以供实时呈现。因此，本文所公开的内容为移动平台上的实时图像生成和图像处理的技术问题提供了解决方案，并进一步促进了移动平台技术以及图像处理技术的进步。
所公开的实施例存在各种修改和备选形式，并且其具体示例已经通过示例在附图中示出并且在本文进行了详细描述。然而，应该理解的是，所公开的实施例不限于所公开的特定形式或方法，相反，所公开的实施例将覆盖所有的修改、等同物和备选方案。

Claims (88)

1.一种用于支持成像的方法，包括：
增稳移动平台上的成像装置；以及
经由所述成像装置，使用各个成像配置针对基本相同场景捕获多个图像。
2.根据权利要求1所述的方法，其中所述捕获包括：针对相同场景捕获多个图像。
3.根据权利要求1或权利要求2所述的方法，还包括：基于使用各个成像配置捕获的多个图像来生成结果图像。
4.根据权利要求3所述的方法，其中所述生成包括：将所捕获的多个图像融合成结果图像。
5.根据权利要求1-4中任一项所述的方法，其中所述增稳包括：相对于所述移动平台的运动来增稳所述成像装置。
6.根据权利要求1-5中任一项所述的方法，其中所述增稳包括：将多个图像之间的空间错位保持在预定错位阈值以下。
7.根据权利要求5或权利要求6所述的方法，还包括：将所述多个图像融合成结果图像，而不执行所述多个图像之间的图像配准。
8.根据权利要求1-7中任一项所述的方法，还包括：获得一个或多个成像参数，所述一个或多个成像参数包括：用于选择各个成像配置的至少一个参数、用于基于多个图像来处理结果图像的至少一个参数、或其组合。
9.根据权利要求1-8中任一项所述的方法，还包括：使用所述成像装置以使用包括包围式配置的各个成像配置来捕获多个图像。
10.根据权利要求9所述的方法，还包括：使用所述成像装置以使用包括各个曝光配置的包围式配置来捕获多个图像。
11.根据权利要求10所述的方法，还包括：使用所述成像装置以使用基于曝光值差异的各个曝光配置来捕获多个图像。
12.根据权利要求10或权利要求11所述的方法，还包括：将使用各个曝光配置捕获的多个图像融合成结果图像，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
13.根据权利要求1-12中任一项所述的方法，还包括：基于使用各个成像配置捕获的多个图像来生成结果图像，并存储结果图像。
14.根据权利要求13所述的方法，还包括：将所述结果图像渲染成预览图像。
15.根据权利要求14所述的方法，其中所述渲染包括：经由色调映射将所述结果图像渲染成预览图像。
16.根据权利要求14或权利要求15所述的方法，还包括：在所述渲染之前缩小所述结果图像。
17.根据权利要求16所述的方法，其中所述缩小包括：对所述结果图像进行下采样。
18.根据权利要求14-17中任一项所述的方法，还包括：在所述渲染之前对所述结果图像进行去马赛克。
19.根据权利要求14-18中任一项所述的方法，还包括：通过使用基于所述预览图像的呈现而选择的其他各个成像配置来捕获另外的多个图像。
20.根据权利要求1-19中任一项所述的方法，还包括：通过使用其他各个成像配置针对基本相同场景捕获另外的多个图像。
21.根据权利要求1-20中任一项所述的方法，还包括：通过使用所述各个成像配置针对不同场景捕获另外的多个图像。
22.根据权利要求1-21中任一项所述的方法，其中所述增稳包括：通过控制将成像装置连接到移动平台的云台，增稳所述成像装置。
23.一种用于支持成像的系统，包括：
增稳装置，操作用于增稳移动平台上的成像装置；以及
控制器，操作用于引导所述成像装置使用各个成像配置针对基本相同场景捕获多个图像。
24.根据权利要求23所述的系统，其中所述控制器操作用于引导所述成像装置使用各个成像配置针对相同场景捕获多个图像。
25.根据权利要求23或权利要求24所述的系统，还包括：一个或多个图像处理器，所述一个或多个图像处理器操作用于基于使用各个成像配置捕获的多个图像来生成结果图像。
26.根据权利要求25所述的系统，其中所述图像处理器操作用于通过融合使用各个成像配置捕获的多个图像来生成结果图像。
27.根据权利要求23-26中任一项所述的系统，其中所述增稳装置操作用于相对于移动平台的运动来增稳所述成像装置。
28.根据权利要求23-27中任一项所述的系统，其中所述增稳装置操作用于将多个图像的空间错位保持在预定错位阈值以下。
29.根据权利要求27或权利要求28所述的系统，还包括：一个或多个图像处理器，所述一个或多个图像处理器操作用于融合多个图像而不执行多个图像之间的图像配准。
30.根据权利要求23-29中任一项所述的系统，还包括：获得一个或多个成像参数，所述一个或多个成像参数包括用于选择各个成像配置的至少一个参数、用于基于多个图像来处理结果图像的至少一个参数、或其组合。
31.根据权利要求23-30中任一项所述的系统，其中所述成像装置操作用于通过使用各个包围式配置捕获多个图像。
32.根据权利要求31所述的系统，其中所述成像装置操作用于通过使用各个曝光配置捕获多个图像。
33.根据权利要求32所述的系统，其中所述成像装置操作用于使用基于曝光值差异的各个曝光配置捕获多个图像。
34.根据权利要求32或权利要求33所述的系统，还包括：一个或多个图像处理器，所述一个或多个图像处理器操作用于将使用各个曝光配置捕获的多个图像融合成结果图像，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
35.根据权利要求23-34中任一项所述的系统，还包括：一个或多个图像处理器，所述一个或多个图像处理器操作用于基于使用各个成像配置捕获的多个图像来生成结果图像并存储所述结果图像。
36.根据权利要求35所述的系统，其中所述图像处理器操作用于将所述结果图像渲染成预览图像。
37.根据权利要求36所述的系统，其中所述图像处理器操作用于经由色调映射将所述结果图像渲染成所述预览图像。
38.根据权利要求36或权利要求37所述的系统，其中所述图像处理器操作用于在将所述结果图像渲染成所述预览图像之前缩小所述结果图像。
39.根据权利要求38所述的系统，其中所述图像处理器操作用于在将所述结果图像渲染成所述预览图像之前对所述结果图像进行下采样。
40.根据权利要求36-39中任一项所述的系统，其中所述图像处理器操作用于在将所述结果图像渲染成所述预览图像之前对所述结果图像进行去马赛克。
41.根据权利要求36-40中任一项所述的系统，其中所述成像装置操作用于通过使用基于所述预览图像的呈现的其他各个成像配置针对基本相同场景捕获另外的多个图像。
42.根据权利要求23-41中任一项所述的系统，其中所述成像装置操作用于通过使用其他各个成像配置针对基本相同场景捕获另外的多个图像。
43.根据权利要求23-42中任一项所述的系统，其中所述成像装置操作用于通过使用各个成像配置针对不同场景捕获另外的多个图像。
44.根据权利要求23-43中任一项所述的系统，其中所述增稳装置包括用于将成像装置连接到移动平台的云台。
45.一种用于支持成像的系统，包括：
成像装置，被配置为使用各个成像配置针对基本相同场景捕获多个图像；
增稳装置，被配置为在捕获多个图像期间增稳移动平台上的所述成像装置；以及
控制器，被配置为控制移动平台的操作并被配置为与所述成像装置和所述增稳装置中的至少一个进行通信。
46.一种无人机“UAV”，包括：
成像装置，操作用于使用各个成像配置针对基本相同场景捕获多个图像；以及
云台，连接到所述成像装置，以相对于UAV的运动来增稳所述成像装置。
47.一种用于图像处理的方法，包括：
接收使用各个成像配置捕获的针对基本相同场景的多个图像；以及
基于接收到的图像生成结果图像。
48.根据权利要求47所述的方法，其中所述接收包括：接收针对相同场景的多个图像。
49.根据权利要求47或权利要求48所述的方法，其中所述接收包括：从增稳的所述成像装置接收多个图像。
50.根据权利要求47-49中任一项所述的方法，其中所述生成包括：融合多个图像而不执行图像配准。
51.根据权利要求47-50中任一项所述的系统，其中所述接收包括：接收使用各个包围式配置捕获的多个图像。
52.根据权利要求51所述的方法，其中所述接收包括：接收使用各个曝光值捕获的多个图像。
53.根据权利要求52所述的方法，其中所述生成包括：生成结果图像，所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
54.根据权利要求52或权利要求53所述的方法，其中所述生成包括：基于多个图像的各个曝光值，将多个图像融合成所述结果图像。
55.根据权利要求47-54中任一项所述的方法，其中所述生成包括：基于针对多个图像中的对应像素的图像数据的加权平均，确定结果图像中的每个像素的值。
56.根据权利要求55所述的方法，其中所述生成包括：基于参考曝光值来评估所述多个图像中的对应像素的图像数据。
57.根据权利要求47-56中任一项所述的方法，还包括：存储所述结果图像。
58.根据权利要求52所述的方法，其中所述存储包括：以无损的形式存储所述结果图像。
59.根据权利要求57或权利要求58所述的方法，还包括：以原始图像数据格式存储所述结果图像。
60.根据权利要求57-59中任一项所述的方法，还包括：以32位浮点相机滤色器阵列数据存储所述结果图像。
61.根据权利要求47-60中任一项所述的方法，还包括：针对所述结果图像渲染预览图像。
62.根据权利要求61所述的方法，其中所述渲染包括：经由色调映射针对所述结果图像渲染所述预览图像。
63.根据权利要求61或权利要求62所述的方法，其中所述渲染包括：以8位图像格式渲染所述预览图像。
64.根据权利要求61-63中任一项所述的方法，还包括：在所述渲染之前缩小所述结果图像。
65.根据权利要求64所述的方法，其中所述缩小包括：在所述渲染之前对所述结果图像进行下采样。
66.根据权利要求61-65中任一项所述的方法，还包括：在所述渲染之前对所述结果图像进行去马赛克。
67.一种用于图像处理的系统，包括：
一个或多个图像处理器，被配置为：
接收使用各个成像配置针对基本相同场景捕获的多个图像；以及
基于接收到的图像生成结果图像。
68.根据权利要求67所述的系统，其中所述一个或多个图像处理器被配置为接收针对相同场景捕获的多个图像。
69.根据权利要求67或权利要求68所述的系统，其中所述一个或多个图像处理器被配置为：从增稳的所述成像装置接收多个图像。
70.根据权利要求67-69中任一个所述的系统，其中所述一个或多个图像处理器被配置为：融合多个图像而不执行图像配准。
71.根据权利要求67-70中任一项所述的系统，其中所接收的图像是使用各个包围式配置捕获的。
72.根据权利要求71所述的系统，其中所接收的图像是使用各个曝光值捕获的。
73.根据权利要求72所述的系统，其中所述结果图像的复合动态范围大于多个图像中的所选图像的动态范围。
74.根据权利要求72或权利要求73所述的系统，其中所述一个或多个图像处理器被配置为：基于与多个图像相关联的各个曝光值，将多个图像融合成所述结果图像。
75.根据权利要求67-74中任一项所述的系统，其中所述一个或多个图像处理器被配置为：基于针对多个图像中的对应像素的图像数据的加权平均，确定结果图像中的每个像素的值。
76.根据权利要求75所述的系统，其中所述一个或多个图像处理器被配置为：基于参考曝光值来评估所述多个图像中的对应像素的图像数据。
77.根据权利要求67-76中任一项所述的系统，还包括：用于存储所述结果图像的存储器。
78.根据权利要求77所述的系统，其中所述存储器被配置为：以无损的形式存储所述结果图像。
79.根据权利要求77或权利要求78所述的系统，其中所述存储器被配置为：以原始图像数据格式存储所述结果图像。
80.根据权利要求77-79中任一项所述的系统，其中所述存储器被配置为：以32位浮点相机滤色器阵列数据存储所述结果图像。
81.根据权利要求67-80中任一项所述的系统，其中所述一个或多个图像处理器被配置为：针对所述结果图像渲染预览图像。
82.根据权利要求81所述的系统，其中所述一个或多个图像处理器被配置为：经由色调映射针对所述结果图像渲染所述预览图像。
83.根据权利要求81或权利要求82所述的系统，其中所述预览图像是8位图像格式。
84.根据权利要求81-83中任一项所述的系统，其中所述一个或多个图像处理器被配置为：在渲染所述预览图像之前缩小所述结果图像。
85.根据权利要求84所述的系统，其中所述一个或多个图像处理器被配置为：在渲染所述预览图像之前对所述结果图像进行下采样。
86.根据权利要求81-85中任一项所述的系统，其中所述一个或多个图像处理器被配置为：在渲染所述预览图像之前对所述结果图像进行去马赛克。
87.一种成像设备，包括：
成像装置；以及
一个或多个图像处理器，被配置为：
从成像装置接收使用不同成像配置针对基本相同场景捕获的多个图像；以及
基于接收到的图像生成结果图像。
88.一种包括指令的计算机程序产品，所述指令用于根据权利要求47-66中任一项的图像处理。
CN201580085404.8A 2015-12-22 2015-12-22 支持包围式成像的系统、方法和移动平台 Pending CN108432222A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/098334 WO2017107075A1 (en) 2015-12-22 2015-12-22 System, method, and mobile platform for supporting bracketing imaging

Publications (1)

Publication Number Publication Date
CN108432222A true CN108432222A (zh) 2018-08-21

Family

ID=59088849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580085404.8A Pending CN108432222A (zh) 2015-12-22 2015-12-22 支持包围式成像的系统、方法和移动平台

Country Status (3)

Country Link
US (1) US11336837B2 (zh)
CN (1) CN108432222A (zh)
WO (1) WO2017107075A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
CN110708473A (zh) * 2019-11-14 2020-01-17 深圳市道通智能航空技术有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
WO2020133103A1 (zh) * 2018-12-27 2020-07-02 深圳市大疆创新科技有限公司 控制方法、装置、无人飞行器及存储介质
CN112703725A (zh) * 2018-09-12 2021-04-23 富士胶片株式会社 合成处理系统、合成处理装置以及合成处理方法
CN114514738A (zh) * 2020-11-26 2022-05-17 深圳市大疆创新科技有限公司 延时摄影方法及设备、延时摄影视频生成方法及设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6408832B2 (ja) * 2014-08-27 2018-10-17 ルネサスエレクトロニクス株式会社 制御システム、中継装置、及び制御方法
JP7005177B2 (ja) * 2017-06-02 2022-02-10 キヤノン株式会社 撮像装置及び移動体
CN110891862B (zh) * 2017-08-10 2023-07-11 深圳零零无限科技有限公司 飞行系统中用于避障的系统和方法
US10484659B2 (en) * 2017-08-31 2019-11-19 Disney Enterprises, Inc. Large-scale environmental mapping in real-time by a robotic system
JP6946604B2 (ja) * 2017-08-31 2021-10-06 エスゼット ディージェイアイ オスモ テクノロジー カンパニー リミテッドＳＺ ＤＪＩ Ｏｓｍｏ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 雲台およびその雲台を有する無人機
KR20200101048A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
US11196937B2 (en) 2019-11-25 2021-12-07 Qualcomm Incorporated High frame rate in high dynamic range processing
JP6775208B1 (ja) * 2020-04-06 2020-10-28 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像システム
CN114827487B (zh) * 2020-04-28 2024-04-12 荣耀终端有限公司 一种高动态范围图像合成方法和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052100A (zh) * 2007-03-29 2007-10-10 上海交通大学 多曝光图像增强方法
US20120200703A1 (en) * 2009-10-22 2012-08-09 Bluebird Aero Systems Ltd. Imaging system for uav
CN103939718A (zh) * 2011-09-09 2014-07-23 深圳市大疆创新科技有限公司 增稳云台及其控制方法和携带所述增稳云台的无人飞行器
CN203740142U (zh) * 2014-03-03 2014-07-30 青岛宏百川金属精密制品有限公司 无人机重力抗干扰航拍装置
CN104808680A (zh) * 2015-03-02 2015-07-29 杨珊珊 一种多旋翼飞行拍摄设备
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7755668B1 (en) * 1998-04-09 2010-07-13 Johnston Gregory E Mobile surveillance system
US6864916B1 (en) * 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US20020057289A1 (en) * 2000-11-16 2002-05-16 Jerry Crawford User station providing localized manufacturing for personalized products
US9493235B2 (en) * 2002-10-01 2016-11-15 Dylan T X Zhou Amphibious vertical takeoff and landing unmanned device
EP1924966B1 (en) * 2005-08-08 2009-04-29 MEP Imaging Technologies Ltd. Adaptive exposure control
KR101166504B1 (ko) * 2006-03-29 2012-07-20 삼성전자주식회사 휴대용 단말기에서 이미지 캡처 장치 및 방법
WO2008064349A1 (en) * 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing
US9565419B2 (en) * 2007-04-13 2017-02-07 Ari M. Presler Digital camera system for recording, editing and visualizing images
US9131128B2 (en) * 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
WO2009105254A2 (en) * 2008-02-20 2009-08-27 Actioncam, Llc Aerial camera system
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US20100034424A1 (en) * 2008-08-06 2010-02-11 Honeywell International Inc. Pointing system for laser designator
DE102008039468A1 (de) * 2008-08-25 2010-03-04 Stefan Reich Vorrichtung und Verfahren zur Lagestabilisierung von Kameras
WO2010045271A1 (en) * 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
SG164292A1 (en) * 2009-01-13 2010-09-29 Semiconductor Technologies & Instruments Pte System and method for inspecting a wafer
JP5276529B2 (ja) * 2009-06-18 2013-08-28 キヤノン株式会社 画像処理装置およびその方法
JP5761843B2 (ja) * 2011-02-03 2015-08-12 株式会社タムロン 動画撮像用カメラ
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8844896B2 (en) * 2011-06-07 2014-09-30 Flir Systems, Inc. Gimbal system with linear mount
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US9245348B2 (en) * 2012-06-15 2016-01-26 Microsoft Technology Licensing, Llc Determining a maximum inscribed size of a rectangle
US9083935B2 (en) * 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US8959555B2 (en) * 2012-07-03 2015-02-17 Lawrence Maxwell Monari Instrumented sports paraphernalia system
US9918017B2 (en) * 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9071756B2 (en) * 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9264630B2 (en) * 2013-01-04 2016-02-16 Nokia Technologies Oy Method and apparatus for creating exposure effects using an optical image stabilizing device
US20140211031A1 (en) * 2013-01-30 2014-07-31 Microsoft Corporation Auto picture alignment correction
KR101992933B1 (ko) * 2013-03-14 2019-06-25 삼성전자주식회사 광역 역광 보정 이미지 처리 방법 및 이를 이용하는 이미지 신호 프로세서
WO2014165820A1 (en) * 2013-04-05 2014-10-09 University Of Massachusetts Device and method for imaging collagen structure in vivo
KR102146560B1 (ko) * 2014-02-17 2020-08-20 삼성전자주식회사 영상 보정 방법 및 장치
CN107655461B (zh) * 2014-05-05 2020-07-24 赫克斯冈技术中心 测量子系统和测量系统
US9912864B2 (en) * 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
CN105120136A (zh) * 2015-09-01 2015-12-02 杨珊珊 基于无人飞行器的拍摄装置及其拍摄处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052100A (zh) * 2007-03-29 2007-10-10 上海交通大学 多曝光图像增强方法
US20120200703A1 (en) * 2009-10-22 2012-08-09 Bluebird Aero Systems Ltd. Imaging system for uav
CN103939718A (zh) * 2011-09-09 2014-07-23 深圳市大疆创新科技有限公司 增稳云台及其控制方法和携带所述增稳云台的无人飞行器
CN203740142U (zh) * 2014-03-03 2014-07-30 青岛宏百川金属精密制品有限公司 无人机重力抗干扰航拍装置
CN104808680A (zh) * 2015-03-02 2015-07-29 杨珊珊 一种多旋翼飞行拍摄设备
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112703725A (zh) * 2018-09-12 2021-04-23 富士胶片株式会社 合成处理系统、合成处理装置以及合成处理方法
US11315218B2 (en) 2018-09-12 2022-04-26 Fujifilm Corporation Composition processing system, composition processing apparatus, and composition processing method
CN109089053A (zh) * 2018-10-23 2018-12-25 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
CN109089053B (zh) * 2018-10-23 2021-03-05 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
WO2020133103A1 (zh) * 2018-12-27 2020-07-02 深圳市大疆创新科技有限公司 控制方法、装置、无人飞行器及存储介质
CN110708473A (zh) * 2019-11-14 2020-01-17 深圳市道通智能航空技术有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN110708473B (zh) * 2019-11-14 2022-04-15 深圳市道通智能航空技术股份有限公司 高动态范围图像曝光控制方法、航拍相机及无人飞行器
CN114514738A (zh) * 2020-11-26 2022-05-17 深圳市大疆创新科技有限公司 延时摄影方法及设备、延时摄影视频生成方法及设备
WO2022109897A1 (zh) * 2020-11-26 2022-06-02 深圳市大疆创新科技有限公司 延时摄影方法及设备、延时摄影视频生成方法及设备

Also Published As

Publication number Publication date
US20180302548A1 (en) 2018-10-18
US11336837B2 (en) 2022-05-17
WO2017107075A1 (en) 2017-06-29

Similar Documents

Publication Publication Date Title
CN108432222A (zh) 支持包围式成像的系统、方法和移动平台
US11330173B2 (en) UAV panoramic imaging
JP6619761B2 (ja) 無人飛行撮影装置
JP2017085550A (ja) 自動露光制御のために空の画像の区分を用いる前方視カメラ付きドローン
US20190294742A1 (en) Method and system for simulating visual data
JP6708790B2 (ja) 画像生成装置、画像生成システム、画像生成方法、及び画像生成プログラム
CN110254716A (zh) 信息处理装置、信息处理方法和成像系统
CN110462678A (zh) 图像处理装置及图像处理方法
US20190121156A1 (en) Imaging system
WO2019230604A1 (ja) 検査システム
US10917561B2 (en) Image processing in an unmanned autonomous vehicle
WO2017197653A1 (en) Systems and methods for digital video stabalization
CN111194433A (zh) 用于构图和捕捉图像的方法和系统
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
WO2021258399A1 (en) Techniques for mapping using compact payload in movable object environment
CN111602384B (zh) 图像处理装置、摄像装置、移动体、图像处理方法
WO2021253173A1 (zh) 图像处理方法、装置及巡检系统
CN110392891A (zh) 活动体检测装置、控制装置、移动体、活动体检测方法及程序
JP6543859B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
CN112335230A (zh) 控制装置、摄像装置、移动体、控制方法以及程序
JP6801161B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
CN112154485A (zh) 三维重建模型的优化方法、设备和可移动平台
CN112166374B (zh) 控制装置、摄像装置、移动体以及控制方法
JP6818987B1 (ja) 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム
US20240140625A1 (en) Techniques For Previewing And Composing Panoramic Photographs Using UAV Navigation Cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821