CN108781260B - 用于合成长曝光的即时更新 - Google Patents

用于合成长曝光的即时更新 Download PDF

Info

Publication number
CN108781260B
CN108781260B CN201780017207.1A CN201780017207A CN108781260B CN 108781260 B CN108781260 B CN 108781260B CN 201780017207 A CN201780017207 A CN 201780017207A CN 108781260 B CN108781260 B CN 108781260B
Authority
CN
China
Prior art keywords
image
institute
cohesive
exposure time
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780017207.1A
Other languages
English (en)
Other versions
CN108781260A (zh
Inventor
S.W.哈西诺夫
J.陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN108781260A publication Critical patent/CN108781260A/zh
Application granted granted Critical
Publication of CN108781260B publication Critical patent/CN108781260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2137—Intermediate information storage for one or a few pictures using still video cameras with temporary storage before final recording, e.g. in a frame buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

图像捕获设备的图像传感器可以捕获图像。所捕获的图像可以存储在两个或更多个先前所捕获的图像的缓冲器中。可以从缓冲器移除两个或更多个先前所捕获的图像中的最旧图像。可以更新缓冲器中的图像中的聚合图像。所述更新可以包括：从聚合图像减去最旧图像的表示，以及将所捕获的图像的表示添加到聚合图像。图像捕获设备的取景器可以显示聚合图像的表示。

Description

用于合成长曝光的即时更新
背景技术
创建通过特定曝光长度所捕获的图像的合成长曝光版本可以包括：将数字增益或模拟增益应用于图像的至少一些像素。以此方式，低光场景的图像可以受加亮，从而在一些情况下，场景的细节是更容易可视的。虽然该合成长曝光图像可以显示在图像捕获设备的取景器上，但如果捕获了真实长曝光图像，则所显示的图像不能精确地表示将导致什么情况。例如，如果场景中存在运动，则该运动可能在真实长曝光图像中通过模糊或条痕而显现，但运动在合成长曝光图像中将可能是较不模糊的和/或较少条痕的。因此，用户可能因图像捕获设备并未在其取景器上精确地表示实际所捕获的长曝光图像而变得受挫。
发明内容
图像捕获设备(例如无线计算设备、数字相机、头戴式显示器等)可以包括取景器(例如屏幕)，其显示表示场景的一系列所捕获的图像。这些取景器图像可以是在时间上相继地捕获的，或许彼此分隔几毫秒(或更少)，并且依次显示在取景器上。因此，可以按取景器刷新速率(例如15-30帧每秒)更新取景器上所显示的信息，从而一系列取景器图像类似于即时(live)视频。当调整图像捕获设备的设置和/或触发快门功能以触发一个或多个净荷图像时，用户可能依赖于这些取景器图像。净荷图像可以存储到存储器，以用于显示或进一步处理。
给定图像捕获设备已经正捕获取景器图像，那么可以通过将相继取景器图像的序列的像素值相加创建这些取景器图像的合成长曝光。可以保存所捕获的取景器图像的环形缓冲器(或相似表示)。此外，最新近取景器图像的运行之和(running sum)可以保存在聚合取景器图像中。当捕获新的取景器图像时，该新的图像加入到聚合取景器图像，并且从聚合取景器图像减去(环形缓冲器所指示的)贡献于聚合取景器图像的最旧帧。新的取景器图像然后替换环形缓冲器中的最旧帧。
每次取景器刷新，聚合取景器图像就可以显示在取景器上，而非最新近捕获的取景器图像。以此方式，取景器可以在期待的运动模糊的情况下表示非常长的曝光(例如1000-2000毫秒)，但将仍按远更快的取景器刷新速率进行更新。
相应地，第一示例实施例可以包括：图像捕获设备的图像传感器捕获图像。所捕获的图像可以存储在两个或更多个先前所捕获的图像的缓冲器中。可以从缓冲器移除两个或更多个先前所捕获的图像中的最旧图像。可以更新缓冲器中的图像中的聚合图像。所述更新可以包括：从聚合图像减去最旧图像的表示，以及将所捕获的图像的表示添加到聚合图像。图像捕获设备的取景器可以显示聚合图像的表示。
在第二示例实施例中，制造物可以包括非瞬时计算机可读介质，其已经在其上存储程序指令，所述程序指令在由计算设备执行时使得计算设备执行根据第一示例实施例的操作。
在第三示例实施例中，计算设备可以包括至少一个处理器以及数据储存器和程序指令。程序指令可以存储在数据储存器中，并且在由至少一个处理器执行时可以使得计算设备执行根据第一示例实施例的操作。
在第四示例实施例中，系统可以包括用于执行第一示例实施例的操作中的每一个的各种部件。
通过适当参照附图阅读以下详细描述，这些以及其它实施例、方面、优点和替选将对于本领域技术人员变得显然。此外，应理解，本文所提供的该发明内容和其它描述以及附图旨在仅通过示例的方式示出实施例，并且故此大量变形是可能的。例如，在仍处于所要求的实施例的范围内的同时，可以重新布置、组合、分布、消除或另外改变结构要素和处理步骤。
附图说明
图1描述根据示例实施例的数字相机设备的前视图、右侧视图以及后视图。
图2描述根据示例实施例的具有图像捕获能力的计算设备的框图。
图3描述根据示例实施例的图像捕获的时序。
图4描述根据示例实施例的所捕获的图像的处理。
图5描述根据示例实施例的用户接口。
图6描述根据示例实施例的用户接口。
图7是根据示例实施例的流程图。
图8是根据示例实施例的流程图。
具体实施方式
本文描述示例方法、设备和系统。应理解，词语“示例”和“示例性”在本文中用以表示“充当示例、实例或说明”。本文描述为“示例”或“示例性”的实施例或特征不一定理解为比其它实施例或特征更优选或有利。在不脱离本文提出的主题内容的范围的情况下，可以利用其它实施例，并且可以进行其它改变。
因此，本文所描述的示例实施例并非意味着限制。可以通过全部在本文中是预期的广泛各种不同配置布置、替换、组合、分离以及设计本文通常描述的以及在附图中示出的本公开的方面。
此外，除非上下文另外暗示，否则附图中的每一个所示的特征可以彼此组合而使用。因此，附图应通常视为一个或多个总体实施例的组件方面，其中，应理解，并非所有所示特征对于每个实施例是必要的。
取决于上下文，“相机”可以指代单独图像捕获组件或包含一个或多个图像捕获组件的设备。通常，图像捕获组件可以包括光圈、透镜、记录表面以及快门，如下所述。
1.示例图像捕获设备
随着图像捕获设备(例如相机)变得更流行，它们可以用作单机硬件设备或集成到各种其它类型的设备中。例如，静止相机和视频相机现在惯常地包括于无线计算设备(例如移动电话)、平板计算机、膝上型计算机、视频游戏接口、家庭自动化设备以及甚至汽车和其它类型的车辆中。
相机的物理组件可以包括：一个或多个孔径，光通过其进行；一个或多个记录表面，其用于捕获光所表示的图像；以及透镜，其位于每个光圈的前面，以将图像的至少部分聚焦在记录表面上。孔径可以是固定大小或可调整的。在模拟相机中，记录表面可以是照相胶片。在数字相机中，记录表面可以包括图像传感器(例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)，以传送所捕获的图像和/或将其存储在数据储存单元(例如存储器)中。
一个或多个快门可以耦合到或靠近透镜或记录表面。每个快门可以要么处于其阻挡光到达记录表面的闭合位置中，要么处于允许光到达记录表面的打开位置中。每个快门的位置可以受控于快门按钮。例如，快门可以按默认处于闭合位置中。当快门按钮受触发(例如，按压)时，快门可以从闭合位置改变为打开位置达一时间段(称为快门周期)。在快门周期期间，可以在记录表面上捕获图像。在快门周期的结束时，快门可以改变回到闭合位置。
替代地，快门开合处理可以是电子的。例如，在CCD图像传感器的电子快门“打开”之前，传感器可以重置，以移除其光电二极管中的任何残余信号。在电子快门保持打开的同时，光电二极管可以累积电荷。当快门闭合时或此后，这些电荷可以传送到长期数据储存器。机械和电子快门开合的组合也可以是可能的。
无论类型如何，都可以通过除了快门按钮之外的东西激活和/或控制快门。例如，可以通过软键、定时器或某其它触发器激活快门。本文中，术语“图像捕获”可以指代导致无论如何触发或控制快门开合处理都记录一个或多个图像的任何机械和/或电子快门开合处理。
可以通过光圈的大小、进入光圈的光的亮度以及快门周期的长度(又称为快门长度或曝光长度)的组合确定所捕获的图像的曝光。附加地，数字增益和/或模拟增益可以应用于图像，由此影响曝光。在一些实施例中，术语“曝光长度”、“曝光时间”或“曝光时间间隔”可以指代关于特定光圈大小的快门长度乘以增益。因此，这些术语可以稍微可互换地使用，并且应可能解释为快门长度、曝光时间和/或任何其它控制源自到达记录表面的光的信号响应的量的度量。
每次触发图像捕获，静止相机可以捕获一个或多个图像。只要图像捕获保持受触发(例如，在快门按钮保持按下的同时)，视频相机就可以按特定速率(例如24图像或帧每秒)连续地捕获图像。当激活相机设备或应用时，一些数字静止相机可以打开快门，并且快门可以保持在该位置中，直到禁用相机设备或应用。在快门打开的同时，相机设备或应用可以捕获场景的表示并且将其显示在取景器上。当图像捕获受触发时，可以捕获当前场景的一个或多个独特净荷图像。
相机——甚至模拟相机——可以包括用于控制一个或多个相机功能和/或设置(例如光圈大小、曝光长度、增益等)的软件。附加地，一些相机可以包括在图像捕获期间或此后以数字方式处理图像的软件。虽然以上的描述通常指代相机，但其可以具体地与数字相机有关。
如上所述，数字相机可以是单机设备或与其它设备集成。作为示例，图1示出数字相机设备100的形数。数字相机设备100可以是例如移动电话、平板计算机或可穿戴计算设备。然而，其它实施例是可能的。数字相机设备100可以包括各种元件(例如主体102、前置相机104、多元件显示器106、快门按钮108以及其它按钮110)。数字相机设备100可以还包括后置相机112。前置相机104可以位于在处于操作中的同时典型地面对用户的主体102的一侧上或与多元件显示器106相同的一侧上。后置相机112可以位于与前置相机104相对的主体102的一侧上。将相机称为前置和后置是任意的，并且数字相机设备100可以包括位于主体102的各个侧上的多个相机。
多元件显示器106可以表示阴极射线管(CRT)显示器、发光二极管(LED)显示器、液晶(LCD)显示器、等离子体显示器或本领域已知的任何其它类型的显示器。在一些实施例中，多元件显示器106可以显示前置相机104和/或后置相机112正捕获的当前图像的数字表示或这些相机中的任一或二者可以捕获或近来捕获的图像。因此，多元件显示器106可以充当用于任一相机的取景器。多元件显示器106也可以支持可以能够调整数字相机设备100的任何方面的设置和/或配置的触摸屏和/或压敏功能。
前置相机104可以包括图像传感器以及关联光学元件(例如透镜)。前置相机104可以提供变焦能力或可以具有固定焦距。在其它实施例中，可互换透镜可以用于前置相机104。前置相机104可以具有可变机械光圈以及机械和/或电子快门。前置相机104也可以被配置为捕获静止图像、视频图像或二者。此外，前置相机104可以表示单体视、立体视或多体视相机。可以相似地或不同地布置后置相机112。附加地，前置相机104、后置相机112或二者可以是一个或多个相机的阵列。
前置相机104和后置相机112中的任一或二者可以包括或关联于提供光场以照射目标对象的照明组件。例如，照明组件可以提供目标对象的闪光灯或恒定照明。照明组件也可以被配置为提供包括结构光、偏振光和具有特定谱含量的光的光场。在本文实施例的上下文内，已知的并且用以从对象恢复三维(3D)模型的其它类型的光场是可能的。
前置相机104和后置相机112中的任一或二者可以包括或关联于环境光传感器，其可以连续地或随着时间而确定相机可以捕获的场景的环境亮度。在一些设备中，环境光传感器可以用以调整与相机关联的屏幕(例如取景器)的显示亮度。当所确定的环境亮度很高时，屏幕的亮度等级可以增加，以使得屏幕更易于观看。当所确定的环境亮度很低时，屏幕的亮度等级可以降低，也以使得屏幕更易于观看并且势必节省功率。附加地，环境光传感器的输入可以用以确定关联相机的曝光长度，或有助于该确定。
数字相机设备100可以被配置为使用多元件显示器106以及要么前置相机104要么后置相机112以捕获目标对象的图像。所捕获的图像可以是多个静止图像或视频流。可以通过激活快门按钮108、按压多元件显示器106上的软键或通过一些其它机制触发图像捕获。取决于实现方式，可以按特定时间间隔(例如，在按压快门按钮108时，在目标对象的适当光照条件时，在将数字相机设备100移动预定距离时，或根据预定捕获调度)自动地捕获图像。
如上所述，数字相机设备100(或另一类型的数字相机)的功能可以集成到计算设备(例如无线计算设备、蜂窝电话、平板计算机、膝上型计算机等)中。为了示例的目的，图2是示出可以包括相机组件224的示例计算设备200的组件中的一些的简化框图。
通过示例的方式而非限制，计算设备200可以是蜂窝移动电话(例如智能电话)、静止相机、视频相机、传真机、计算机(例如台式、笔记本、平板或手持计算机)、个人数字助理(PDA)、家庭自动化组件、数字视频记录器(DVR)、数字电视、遥控、可穿戴计算设备或一些其它类型的装配有至少一些图像捕获和/或图像处理能力的设备。应理解，计算设备200可以表示实体相机设备(例如数字相机)、相机应用操作在软件中的特定实体硬件平台或被配置为执行相机功能的硬件和软件的其它组合。
如图2所示，计算设备200可以包括通信接口202、用户接口204、处理器206、数据储存器208、相机组件224，其全部可以通过系统总线、网络或其它连接机构210以通信方式链接在一起。
通信接口202可以允许计算设备200使用模拟或数字调制与其它设备、接入网和/或传送网进行通信。因此，通信接口202可以促进电路交换和/或分组交换通信(例如普通旧式电话服务(POTS)通信和/或互联网协议(IP)或其它分组式通信)。例如，通信接口202可以包括被布置用于与无线电接入网或其它接入点的无线通信的芯片集和天线。此外，通信接口202可以采取有线接口的形式或包括有线接口(例如以太网、通用串行总线(USB)或高清晰度多媒体接口(HDMI)端口)。通信接口202也可以采取无线接口的形式或包括无线接口(例如WiFi、全球定位系统(GPS)或广域无线接口(例如WiMAX或3GPP长期演进(LTE)))。然而，可以在通信接口202上使用其它形式的物理层接口和其它类型的标准或私有通信协议。此外，通信接口202可以包括多个物理通信接口(例如WiFi接口、接口以及广域无线接口)。
用户接口204可以运作为允许计算设备200与人类或非人类用户进行交互，例如，以从用户接收输入并且将输出提供给用户。因此，用户接口204可以包括输入组件(例如键区、键盘、触敏或压敏面板、计算机鼠标、轨迹球、操纵杆、麦克风等)。用户接口204也可以包括例如可以与压敏面板组合的一个或多个输出组件(例如显示屏幕)。显示屏幕可以基于CRT、LCD和/或LED技术或其它现在已知的或稍后开发的技术。用户接口204也可以被配置为经由扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其它相似设备生成可听输出。
在一些实施例中，用户接口204可以包括显示器，其充当用于计算设备200所支持的静止相机和/或视频相机功能的的取景器。附加地，用户接口204可以包括促进相机功能的配置和聚焦以及图像的捕获(例如，捕获图片)的一个或多个按钮、开关、柄和/或拨盘。通过压敏面板的方式实现一些或所有这些按钮、开关、柄和/或拨盘可以是可能的。
处理器206可以包括一个或多个通用处理器(例如微处理器)和/或一个或多个专用处理器(例如数字信号处理器(DSP)、图形处理器(GPU)、浮点单元(FPU)、网络处理器或专用集成电路(ASIC))。在一些实例中，在其它可能性当中，专用处理器可以有图像处理、图像对准以及融合图像的能力。数据储存器208可以包括一个或多个易失性和/或非易失性存储组件(例如磁、光、闪速或有机存储)，并且可以整体地或部分地与处理器206集成。数据储存器208可以包括可移除和/或不可移除组件。
处理器206可以有执行数据储存器208中所存储的程序指令218(例如编译或非编译程序逻辑和/或机器代码)的能力，以执行本文所描述的各种功能。因此，数据储存器208可以包括非瞬时计算机可读介质，其上已经存储程序指令，所述程序指令在由计算设备200执行时使得计算设备200执行该说明书和/或附图中所公开的任何方法、处理或操作。处理器206执行程序指令218可以导致处理器206使用数据212。
通过示例的方式，程序指令218可以包括计算设备200上所安装的操作系统222(例如操作系统内核、设备驱动和/或其它模块)以及一个或多个应用程序220(例如相机功能、地址簿、电子邮件、web浏览、社交连网和/或游戏应用)。相似地，数据212可以包括操作系统数据216和应用数据214。操作系统数据216可以主要对于操作系统222是可存取的，并且应用数据214可以主要对于应用程序220中的一个或多个是可存取的。应用数据214可以被布置在对于计算设备200的用户可见的或隐藏的文件系统中。
应用程序220可以通过一个或多个应用编程接口(API)与操作系统222进行通信。这些API可以促进例如应用程序220读取和/或写入应用数据214，经由通信接口202发送或接收信息、接收信息和/或将其显示在用户接口204上等。
在一些白话中，应用程序220可以简称为“app”。附加地，应用程序220可以通过一个或多个在线应用商店或应用市场下载到计算设备200。然而，应用程序也可以通过其它方式(例如，在计算设备200上经由web浏览器或通过物理接口(例如USB端口))安装在计算设备200上。
相机组件224可以包括但不限于光圈、快门、记录表面(例如照相胶片和/或图像传感器)、透镜和/或快门按钮。相机组件224可以至少部分地受控于处理器206所执行的软件。
2.示例合成曝光
如上所述，很多图像捕获设备包括取景器。当设备的光圈打开时，和/或当设备另外准备捕获净荷图像时，可以在取景器上显示预览图像。可以按特定速率(称为取景器刷新速率)刷新这些预览图像。在一些情况下，取景器刷新速率是15Hz或30Hz，但可以使用其它速率。这些刷新速率定义取景器的刷新时间间隔，其为各刷新之间的时间量。刷新时间间隔是刷新速率的倒数，因此，30Hz的刷新速率具有33.33毫秒的刷新时间间隔，而15Hz的刷新速率具有66.66毫秒的刷新时间间隔。
用户可以利用预览图像以瞄准、聚焦或另外调整图像捕获设备。在一些情况下，一旦用户对他或她在取景器上看见的东西感到满意，用户就触发图像捕获设备的快门功能。这样可以导致可能通过比取景器图像更高的分辨率捕获净荷图像。净荷图像存储到存储器和/或呈现给用户作为实际拍摄的图像。用户可以然后共享、打印或进一步操控该净荷图像。
在一些情况下，用户可能发现期望捕获具有长曝光的净荷图像。例如，如果用户正尝试捕获低光场景的图像，则可能需要长曝光以足够地获得场景中的一些细节。替代地或附加地，可以使用长曝光进行艺术拍摄。作为示例，用户可能想要以来自经过的汽车的头灯以条痕化方式显现的方式在黄昏拍摄建筑的图片。长曝光可以帮助用户实现该目的。
虽然本文中为了示例的目的讨论1000-2000毫秒的长曝光，但“长”曝光可以更长或更短，并且可以包括大于取景器刷新时间间隔的任何曝光时间间隔。
图3是长曝光图像捕获(300)与取景器刷新(302)和取景器显示(304)比较的示例233毫秒时序图。图像捕获(300)包括：图像捕获设备依次捕获图像1、图像2、图像3和图像4。每个的曝光时间间隔是100毫秒。因此，部分地示出图像1和图像4的捕获，如图3中的虚线所示。虽然图像捕获(300)示出当先前图像捕获结束时随后图像捕获开始，但一些实施例可以涉及这些事件之间的延迟。
取景器刷新(302)示出图像捕获设备的取景器能够刷新其所显示的图像的时序。在该示例中，因为刷新速率是30Hz，所以刷新时间间隔是33.33毫秒。为了方便，图3所示并且贯穿该说明书使用的刷新时间间隔可以向最接近的毫秒取整。
取景器显示(304)示出在每个时间点期间所显示的图像。直到33毫秒，才显示图像0。图像0假设为在当图像1的捕获开始时之前完全捕获的图像。由于所有图像具有100毫秒的曝光时间间隔，因此如果图3的时序图向左延伸，则图像0的显示将在-67毫秒处开始。
图像1的显示在33毫秒处开始，并且在133毫秒处结束。由于图像1的捕获在10毫秒处结束，因此图像1可以开始于显示的最早是在33毫秒处，其为下一可用取景器刷新。类似地，图像2的显示在133毫秒处开始(在图像2的捕获结束之后的下一可用取景器刷新)并且在233毫秒处结束。相似地，图像3的显示(未示出)在233毫秒(在图像3的捕获结束之后的下一可用取景器刷新)处开始，并且在333毫秒处结束。
图3中关于曝光时间间隔和取景器刷新时间间隔所使用的值仅是示例。可以使用其它值。
如上所述，当使用比取景器刷新时间间隔更长的曝光时间间隔时，作为图3中的情况，取景器上所显示的图像可能不满足用户的期待。在图3的示例中，取景器每隔100毫秒显示新的图像一次。对于足够长的曝光时间间隔(例如100毫秒或更多)，取景器显示可能不再对用户显现得“即时”。换言之，并非显现为显示目标场景的即时视频捕获，取景器可能似乎显示一系列不频繁更新的静止图像。因此，当期望的曝光时间间隔比与该速率关联的刷新时间间隔充分更长时，作为具有大约15Hz或更大的取景器刷新速率的结果的运动图片的错觉受破坏。
3.示例长合成曝光
图4描述可以用于解决该限制的技术。缓冲器400是具有七个项的环形缓冲器(又称为圆形缓冲器)。对缓冲器400的存取在迭代的环回基础上发生。新的数据写入项0、然后项1、项2，依此类推。当最后项(在此情况下，项6)被写入时，其它新的数据写入项0、项1等。这种缓冲器以圆形方式依次受遍历的处理可以无限地继续。
指针可以用以指向数据待写入的下一项，并且该指针可以在每个项写入之后前进。一旦项6写入，指针就移动到项0。
可以使用缓冲器400，从而可以应用匹配(或近似匹配)取景器刷新速率的图像捕获速率。图像捕获设备在该环形缓冲器中存储m(在此，m是7)个最新近所捕获的图像。图像捕获设备还在环形缓冲器中存储图像的运行之和(图4中未明确示出)。运行之和有效地是表示所捕获的图像中的场景的合成长曝光的聚合图像。
图4中示出缓冲器400和聚合图像可以如何用以显示即时合成长曝光的示例。假设取景器已经为有效的达一段时间，缓冲器400填满所捕获的图像，并且聚合图像是这些所捕获的图像之和。进一步假设指针指向项0。
在时间T0，捕获新的图像A。响应于此，图像捕获设备执行以下步骤：(i)从聚合图像减去项0中所存储的图像(其为缓冲器400中的最旧图像)，(ii)将新的图像A添加到聚合图像，(iii)将新的图像A写入项0(因此覆写最旧图像)，以及(iv)指针前进以指向项1。
类似地，在时间T1，捕获新的图像B。响应于此，图像捕获设备执行以下步骤：(i)从聚合图像减去项1中所存储的图像(其为缓冲器400中的现在最旧图像)，(ii)将新的图像B添加到聚合图像，(iii)将新的图像B写入项1(因此覆写最旧图像)，以及(iv)指针前进以指向项2。
相似地，在时间T2，捕获新的图像C。响应于此，图像捕获设备执行以下步骤：(i)从聚合图像减去项2中所存储的图像(其为缓冲器400中的现在最旧图像)，(ii)将新的图像C添加到聚合图像，(iii)将新的图像C写入项2(因此覆写最旧图像)，以及(iv)指针前进以指向项3。
该处理可以继续，以用于很多迭代，包括涉及在新的图像写入项6之后指针从项6到项0的“回转”的迭代。在每个迭代期间，聚合图像显示在取景器上。因此，具有缓冲器400中的项的数量所定义的曝光时间间隔的即时合成长曝光每刷新时间间隔更新一次。
在一些实施例中，可以不同地管理缓冲器400。在一个可能替选中，新捕获的图像可以被添加到缓冲器400中的新的项，然后移除其中的最旧图像(及其关联项)。因此，在至少一些时间点中，缓冲器400可以具有m+1的深度。在这些情况下，缓冲器400可以与两个指针关联：一个指向缓冲器400的头(例如包含最新近所捕获的图像的项)，另一个指向缓冲器400的尾(例如包含最旧的所捕获的图像的项)。
无论如何，使用图4的技术或等效技术，可以支持作为取景器刷新时间间隔的倍数的任何曝光时间间隔。例如，假设取景器刷新速率是30Hz，那么刷新时间间隔是33毫秒。作为仅一些可能示例，可以通过将缓冲器400中的项的数量分别调整为2、4、6、12、18、24、30和60支持67、133、200、400、600、800、1000和2000毫秒的长曝光时间间隔。
当缓冲器中的项的数量是1时，曝光时间间隔等于取景器刷新时间间隔。此外，可以通过1的缓冲器大小支持小于取景器刷新时间间隔的任意曝光时间间隔。例如，如果取景器刷新时间间隔是33毫秒并且曝光时间间隔是20毫秒，则可以每隔33毫秒捕获20毫秒曝光图像一次，并且最新近所捕获的图像可以由取景器显示。
因此，在一些实施例中，有效曝光时间间隔可以采取小于或等于刷新时间间隔的任何值或作为刷新时间间隔的倍数的值。作为示例，当刷新时间间隔是33毫秒时，可以选择大于0毫秒向上并且包括33毫秒的任何曝光时间间隔。然而，如果期望大于33毫秒的曝光时间间隔，则仅可以选择67毫秒、100毫秒、133毫秒等的值。
图5描述示出该性质的示例用户接口组件500。用户接口组件500包括滑动条502，其表示可选择的曝光时间间隔的范围。条形504表示默认的或所选择的曝光时间间隔，其中，在紧接之下描述该曝光时间间隔的值(在此情况下，曝光时间间隔是23毫秒)。
在用户接口组件500中，通过菱形指定刷新时间间隔的倍数，其中，它们的相应间隔显现在下面。因此，从左到右，示出用于0毫秒、33毫秒、67毫秒、100毫秒以及133毫秒的菱形。为了简明，用户接口组件并未明确示出大于133毫秒的刷新时间间隔的表示。虽然如此，但在一些实施例中，该倍数的序列可以继续到某任意高的值(例如1000或2000毫秒)。
用户接口组件500描述是否可通过滑动条502的宽度选择任意曝光时间间隔。例如，滑动条502的部段506是粗的，指示可以选择任意曝光时间间隔。另一方面，滑动条502的部段508是细的，指示仅可以选择菱形所表示的曝光时间间隔。因此，如果用户尝试将条形504移动到部段508中的33毫秒与67毫秒之间的点，则用户接口可以防止选择该值，和/或自动地将条形504移动到滑动条502上的最接近的菱形。
虽然以上声明可以选择小于刷新时间间隔的“任意”曝光时间间隔，但在一些实现方式中，这些曝光时间间隔可能受限为离散值。例如，在滑动条502的部段506中，条形504可能仅能够选择向最接近的秒、半秒、四分之一秒等取整的值。
用户接口组件500仅为用户接口可以如何允许用户选择曝光时间间隔的一种可能表示。可以利用其它用户接口组件、设计、布局或拓扑，以实现相同或相似功能。例如，拨盘、柄、滚动条、文本框或其它类型的用户接口组件可以被布置为支持本文的特征。此外，用户接口组件500可以显现在各种类型的相机设备(例如数字相机、智能电话、平板计算机、可穿戴计算设备等)上。
在替选实施例中，即使曝光时间间隔大于刷新时间间隔，也可以选择任意曝光时间间隔。可以通过将合成增益(数字或模拟)应用于这些所捕获的图像完成该操作。
例如，设n是期望的曝光时间间隔，并且设r是刷新时间间隔，其中，n>r。刷新时间间隔也是所捕获的图像的曝光时间间隔，如图4的布置中那样。每曝光时间间隔的完整刷新时间间隔的数量表示为f＝∝r，其中，∝是大于或等于1的整数。∝的值也表示待组合以形成即时合成长曝光图像的所捕获的图像的数量。
作为示例，假设n＝87毫秒并且r＝33.33毫秒。在曝光时间间隔n中存在两个完整刷新时间间隔r。因此，∝＝2，并且f＝2r＝66.66。向最接近的整数取整，f＝67。
n与f之间的差是20毫秒。这表示应该应用于两个所捕获的图像以精确地表示n的曝光时间间隔的亮度的合成增益的量。在所捕获的图像上均等地划分该增益，产生每图像增益：
g＝(n-f)/∝
在以上示例中，g的值是每图像10毫秒。
然而，能够将该值表示为乘数以应用于每个所捕获的图像的像素是方便的。由于∝＝f/r，因此增益可以表示为：
g＝r(n-f(/f
增益的比例乘数m给出为：
在以上示例中，m近似为1.3。因此，两个所捕获的图像中的每一个的像素亮度可以乘以1.3，以创建具有43.33毫秒的合成曝光的图像。当根据图4的过程相加在一起以形成聚合图像时，结果是86.66毫秒的合成长曝光，其为n＝87毫秒的期望长曝光的接近近似。
方便的是，因为这些公式对于当n是r的倍数时也是起作用的，所以该技术可以用于大于或等于r的任何n的值。例如，假设n＝100毫秒并且r＝33.33毫秒。项(n-f)/f去往0，因为n＝f，并且合成增益不应用于图像。
图6描述促进选择任意合成长曝光时间间隔的示例用户接口组件600。用户接口组件600包括滑动条602，其表示可选择的曝光时间间隔的范围。条形604表示默认的或所选择的曝光时间间隔，其中，在紧接之下描述该曝光时间间隔的值(在此情况下，曝光时间是90毫秒)。
情况如同用户接口组件500，用户接口组件600将刷新时间间隔的倍数显示为菱形，其中，它们的相应间隔显现在下面。但与用户接口组件500不同的是，任意曝光时间间隔是可选择的。此外，在一些实现方式中，这些“任意”曝光时间间隔可能受限为离散值。
用户接口组件600仅为用户接口可以如何允许用户选择任意合成长曝光时间间隔的一种可能表示。可以利用其它用户接口组件、设计、布局或拓扑，以实现相同或相似功能。
4.示例操作
图7是示出根据示例实施例的流程图。该实施例可以由计算设备(例如数字相机设备100)执行。然而，该实施例的一个或多个方面可以由其它类型的设备或设备子系统执行。此外，该实施例可以与该说明书或附图中所公开的任何方面或特征组合或可以包括它们。
显然，图7的步骤或块可以按除了附图所示的顺序之外的顺序产生。具体地说，在各个实施例中，块702、704和706可以不同地排序(见例如图8中所描述的实施例)。
图7的块700可以包括：由图像捕获设备的图像传感器捕获图像。
块702可以包括：将所捕获的图像存储在两个或更多个先前所捕获的图像的缓冲器中。所捕获的图像以及两个或更多个先前所捕获的图像可以是相同或相似的场景。例如，当捕获这些图像时，图像传感器可以正面对同一大致方向。
块704可以包括：从缓冲器移除两个或更多个先前所捕获的图像中的最旧图像。
块706可以包括：更新缓冲器中的图像中的聚合图像。所述更新可以包括：从聚合图像减去最旧图像的表示，以及将所捕获的图像的表示添加到聚合图像。因此，聚合图像可以是缓冲器中的图像的加法表示。
块708可以包括：在图像捕获设备的取景器上显示聚合图像的表示。该表示可以每取景器刷新时间间隔刷新一次。在一些实施例中，在取景器正显示聚合图像的表示的同时，图像传感器可以捕获其它图像，其可以进而放置在缓冲器中并且添加到聚合图像。
更新聚合图像可以包括：将图像稳定化应用于聚合图像。作为图像稳定化的示例，手持图像捕获设备(例如智能电话)可以用以记录例如飞行中的足球的图像序列。然而，如果图像捕获设备的用户具有摇晃的手，则所得视频序列可能展现帧到帧抖动。为了减少该抖动，可以匹配足球在这些图像中的两个或更多个内的位置。然后，可以调整图像序列，以补偿抖动，并且使得足球显现，以在平滑的弧形中移动。然而，图像稳定化也可以应用于鲜有或没有移动的静态场景。
在一些实施例中，图像捕获设备的取景器具有刷新时间间隔所限定的刷新速率。聚合图像的表示可以具有合成曝光时间间隔所限定的合成曝光长度，其中，合成曝光时间间隔大于刷新时间间隔。在一些情况下，合成曝光时间间隔可以是至少1000毫秒，并且刷新时间间隔可以小于150毫秒。例如，合成曝光时间间隔可以是2000毫秒，并且刷新时间间隔可以是33毫秒、67毫秒或133毫秒。其它值是可能的。
缓冲器可以按捕获的时间顺序存储至少15个先前所捕获的图像。然而，更多或更少的先前所捕获的图像可以存储在缓冲器中，并且缓冲器中所存储的先前所捕获的图像的数量可以基于合成曝光时间间隔对于刷新时间间隔的比率。
在一些实施例中，合成曝光时间间隔可以是刷新时间间隔的整数倍。在这些实施例中，图像捕获设备可以提供一个或多个用户接口组件，其被配置为接收从作为刷新时间间隔的不同整数倍的多个可能合成曝光时间间隔选择合成曝光时间间隔。具体地说，用户接口可以将合成曝光时间间隔的选取限制为作为刷新时间间隔的整数倍的合成曝光时间间隔。可能地，响应于接收该选择，图像捕获设备可以设置所选择的合成曝光时间间隔。
在其它实施例中，合成曝光时间间隔是刷新时间间隔的实数倍。在这些实施例中，图像捕获设备可以提供一个或多个用户接口组件，其被配置为接收从作为刷新时间间隔的不同实数倍的多个可能合成曝光时间间隔选择合成曝光时间间隔。具体地说，用户接口可以促进选取作为刷新时间间隔的整数或实数倍的合成曝光时间间隔。可能地，响应于接收该选择，图像捕获设备可以设置所选择的合成曝光时间间隔。
在一些实施例中，n可以表示合成曝光时间间隔，f可以表示合成曝光时间间隔中的所有完整刷新时间间隔的总长度。捕获场景的图像可以包括：将近似1+(n-f)/f的模拟或数字增益应用于所捕获的图像。术语“近似”表示增益可以准确地是1+(n-f)/f，或距1+(n-f)/f偏离达不多于设置值(例如0.10或0.25)或达不多于特定百分比(例如5％、10％、20％)。
在一些实施例中，可以支持零快门滞后(ZSL)图像捕获。在一些图像捕获设备中，即使取景器正显示场景的图像，该场景的高分辨率净荷图像也并未正被捕获并且存储，直到用户触发图像捕获设备的快门功能。此时，图像捕获设备可以执行聚焦和曝光确定(例如自动曝光)步骤。因此，在当触发快门功能时与捕获图像之间可能存在显著延迟。
当取景器是有效的时，支持ZSL技术的图像捕获设备可以连续地捕获高分辨率净荷图像。当触发快门功能时，所存储的图像中的一个或多个变为“所捕获的图像”。因此，对于本文的实施例，取景器可以显示聚合图像的低分辨率版本，而图像的高分辨率版本可以用作净荷图像。以此方式，所显示的聚合图像的表示可以是有限分辨率图像，并且先前所捕获的图像和聚合图像可以是完全分辨率图像。在这些实施例中，图像捕获设备可以接收已经触发快门功能的指示，并且图像捕获设备可以使得所存储的聚合图像对于一个或多个图像操控应用(例如照片图库应用、社交连网应用等)是可用的。
在一些实施例中，图像捕获设备包括图像处理管线，其将色调(tone)映射应用于所捕获的图像。色调映射包括确定如何在支持较小动态范围的介质上表示大动态范围的色彩和亮度等级的各种技术。这些技术中的一些可以考虑在人脑中如何感知色彩和亮度以保持图像的相邻区域的对比度、但不一定准确的色彩强度。这样可以限定将色调映射曲线应用于所捕获的图像中的一些或所有像素值。为此，因为这些所捕获的图像的“线性”不再成立，所以将这些图像的像素值求和以形成聚合图像可以导致聚合图像的色彩和/或亮度变为偏斜的。
存在本文的实施例可以应用在使用色调映射的图像处理管线中的至少两种方式。在一种方式中，所捕获的图像存储在缓冲器和/或聚合图像中，而没有来自管线的图像处理。例如，在所捕获的图像引入到图像处理管线之前，可以进行拷贝，目的是提供即时合成长曝光时间间隔。
替代地，在色调映射应用于所捕获的图像之后，该处理可以逆转，以获得原始图像的版本，目的是提供即时合成长曝光时间间隔。因此，图像捕获设备可以包括图像处理管线，其将色调映射应用于所捕获的图像，然后将所捕获的图像存储在缓冲器中。然后，在应用色调映射之后并且在将所捕获的图像存储在缓冲器之前，逆色调映射可以应用于图像，其中，逆色调映射从图像移除色调映射。
图8是示出根据示例实施例的流程图。该实施例可以由计算设备(例如数字相机设备100)执行。然而，该实施例的一个或多个方面可以由其它类型的设备或设备子系统执行。此外，该实施例可以与该说明书或附图中所公开的任何方面或特征组合或可以包括它们。例如，图7的上下文中所讨论的任何特征、变形或方面可以用在与图8一致的实施例中。
图8的块800可以包括：由图像捕获设备的图像传感器捕获图像。图像捕获设备可以将两个或更多个先前所捕获的图像存储在缓冲器中。
块802可以包括：更新缓冲器中的图像中的聚合图像。所述更新可以包括：从聚合图像减去缓冲器中的最旧图像的表示，以及将所捕获的图像的表示添加到聚合图像。因此，聚合图像可以是缓冲器中的图像的加法表示。
块804可以包括：将所捕获的图像存储在缓冲器中。块806可以包括：从缓冲器移除两个或更多个先前所捕获的图像中的最旧图像。在一些情况下，可以通过用所捕获的图像覆写最旧图像实现块804和806。
块808可以包括：在图像捕获设备的取景器上显示聚合图像的表示。该表示可以每取景器刷新时间间隔刷新一次。
5.结论
本公开并非关于旨在作为各个方面的说明的本申请中描述的特定实施例而受限。本领域技术人员应理解，在不脱离其范围的情况下，可以进行很多修改和变化。除了本文列举的这些之外的本公开的范围内的功能等同方法和装置据前面的描述对本领域技术人员将是显然的。这些修改和变化旨在落入所附权利要求的范围内。
以上具体实施方式参照附图描述所公开的系统、设备和方法的各种特征和功能。本文和附图中所描述的示例实施例并非意图限制。在不脱离本文提出的主题内容的范围的情况下，可以利用其它实施例，并且可以进行其它改变。将容易理解，本文通常所描述的以及在附图中示出的本公开的方面可以通过各种不同配置被布置、替换、组合、分离以及设计，其全部在本文中是明确预期的。
关于任何或所有消息流程图、情形以及附图中和本文所讨论的流程图，每个步骤、块和/或通信可以表示根据示例实施例的信息的处理和/或信息的传输。替选实施例包括于这些示例实施例的范围内。在这些替选实施例中，例如，取决于所涉及的功能，可以与所示或所讨论的顺序乱序地(包括实质上同时或按相反顺序)执行描述为步骤、块、传输、通信、请求、响应和/或消息的功能。此外，更多或更少的块和/或功能可以用于任何阶梯图、情形以及本文所讨论的流程图，并且这些阶梯图、情形以及流程图可以彼此部分地或整体地组合。
表示信息的处理的步骤或块可以对应于可以被配置为执行本文所描述的方法或技术的特定逻辑功能的电路。替代地或附加地，表示信息的处理的步骤或块可以对应于程序代码(包括有关数据)的模块、分段或部分。程序代码可以包括可由处理器执行的一个或多个指令，以用于实现方法或技术中的特定逻辑功能或动作。程序代码和/或有关数据可以存储在任何类型的计算机可读介质(例如包括盘、硬驱或其它存储介质的存储设备)上。
计算机可读介质可以还包括非瞬时计算机可读介质(例如存储数据达短时间段的计算机可读介质(例如寄存器存储器、处理器缓存以及随机存取存储器(RAM)))。计算机可读介质可以还包括存储程序代码和/或数据达长时间段的非瞬时计算机可读介质。因此，例如，计算机可读介质可以包括副或持久长期存储(例如只读存储器(ROM)、光或磁盘、压缩盘只读存储器(CD-ROM))。计算机可读介质也可以是任何其它易失性或非易失性存储系统。计算机可读介质可以看作计算机可读存储介质，例如，或有形存储设备。
此外，表示一个或多个信息传输的步骤或块可以对应于同一实体设备中的软件和/或硬件模块之间的信息传输。然而，其它信息传输可以处于不同实体设备中的软件模块和/或硬件模块之间。
附图中所示的特定布置不应视为限制。应理解，其它实施例可以包括给定的附图中所示的更多或更少的每个要素。此外，可以组合或省略一些所示要素。又进一步地，示例实施例可以包括附图中未示出的要素。
附加地，本说明书或权利要求中的要素、块或步骤的任何列举目的是清楚。因此，该列举不应解释为要求或暗指这些要素、块或步骤依附于特定布置或要按特定顺序执行。
虽然本文已经公开了各个方面和实施例，但其它方面和实施例对于本领域技术人员将是显然的。本文公开的各个方面和实施例目的是说明，而非旨在限制，其中，真实范围和精神由所附权利要求指示。

Claims (19)

1.一种方法，包括：
由图像捕获设备的图像传感器捕获场景的图像；
将所捕获的图像存储在所述场景的两个或更多个先前所捕获的图像的缓冲器中；
从所述缓冲器移除所述两个或更多个先前所捕获的图像中的最旧图像；
更新从存储在所述缓冲器中的图像获得的聚合图像，其中所述聚合图像是基于存储在所述缓冲器中的两个或多个图像的像素值的运行之和，其中所述更新包括：从所述聚合图像减去所述最旧图像的表示，以及将所捕获的图像的表示添加到所述聚合图像，并且其中所述运行之和表示所述场景的即时合成曝光；以及
在所述图像捕获设备的取景器上显示所述聚合图像的表示。
2.如权利要求1所述的方法，还包括：
在显示所述聚合图像的表示时，捕获所述场景的另一图像。
3.如权利要求1所述的方法，其中，所述图像捕获设备的所述取景器具有由刷新时间间隔所限定的刷新速率，其中，所述聚合图像的表示具有由合成曝光时间间隔所限定的合成曝光长度，其中，所述合成曝光时间间隔大于所述刷新时间间隔。
4.如权利要求3所述的方法，其中，所述合成曝光时间间隔是至少1000毫秒，并且所述刷新时间间隔小于150毫秒。
5.如权利要求3所述的方法，其中，所述合成曝光时间间隔是所述刷新时间间隔的整数倍。
6.如权利要求5所述的方法，还包括：
由所述图像捕获设备提供一个或多个用户接口组件，所述一个或多个用户接口组件被配置为接收从作为所述刷新时间间隔的不同整数倍的多个可能合成曝光时间间隔中的、对于所述合成曝光时间间隔的选择；以及
设置所选择的所述合成曝光时间间隔。
7.如权利要求3所述的方法，其中，所述合成曝光时间间隔是所述刷新时间间隔的实数倍。
8.如权利要求7所述的方法，还包括：
由所述图像捕获设备提供一个或多个用户接口组件，所述一个或多个用户接口组件被配置为接收从作为所述刷新时间间隔的不同实数倍的多个可能合成曝光时间间隔中的、对于所述合成曝光时间间隔的选择；以及
设置所选择的所述合成曝光时间间隔。
9.如权利要求7所述的方法，其中，n表示所述合成曝光时间间隔，其中，f表示所述合成曝光时间间隔中的所有完整刷新时间间隔的总长度，并且其中，捕获所述场景的图像包括：
将近似1+(n-f)/f的增益应用于所捕获的图像。
10.如权利要求1所述的方法，其中，所述缓冲器按捕获的时间顺序存储至少15个先前所捕获的图像。
11.如权利要求1所述的方法，其中，所显示的所述聚合图像的表示是低分辨率图像，并且其中，所述先前所捕获的图像和所述聚合图像是具有比所述低分辨率图像更高的分辨率的高分辨率图像，所述方法还包括：
由所述图像捕获设备接收已经触发快门功能的指示；以及
在所述图像捕获设备的存储器中存储所述聚合图像，使得所述聚合图像对于一个或多个图像操控应用是可用的。
12.如权利要求1所述的方法，其中，所述图像捕获设备包括图像处理管线，其将色调映射应用于所捕获的图像，并且其中，所捕获的图像在没有来自所述管线的图像处理的情况下被存储在所述缓冲器中。
13.如权利要求1所述的方法，其中，所述图像捕获设备包括图像处理管线，其在将所捕获的图像存储在所述缓冲器中之前将色调映射应用于所捕获的图像，所述方法还包括：
在应用色调映射之后并且在将所捕获的图像存储在所述缓冲器中之前，将逆色调映射应用于所述图像，其中，所述逆色调映射从所述图像移除所述色调映射。
14.如权利要求1所述的方法，其中，更新所述聚合图像包括：将图像稳定化应用于所述聚合图像。
15.一种制造物，其包括非瞬时计算机可读介质，所述非瞬时计算机可读介质在其上已经存储程序指令，所述程序指令在由图像捕获设备执行时使得所述图像捕获设备执行包括以下的操作：
由所述图像捕获设备的图像传感器捕获场景的图像；
将所捕获的图像存储在所述场景的两个或更多个先前所捕获的图像的缓冲器中；
从所述缓冲器移除所述两个或更多个先前所捕获的图像中的最旧图像；
更新从存储在所述缓冲器中的图像获得的聚合图像，其中所述聚合图像是基于存储在所述缓冲器中的两个或多个图像的像素值的运行之和，其中所述更新包括：从所述聚合图像减去所述最旧图像的表示，以及将所捕获的图像的表示添加到所述聚合图像，并且其中所述运行之和表示所述场景的即时合成曝光；以及
在所述图像捕获设备的取景器上显示所述聚合图像的表示。
16.如权利要求15所述的制造物，其中，所述图像捕获设备的所述取景器具有由刷新时间间隔所限定的刷新速率，其中，所述聚合图像的表示具有由合成曝光时间间隔所限定的合成曝光长度，其中，所述合成曝光时间间隔大于所述刷新时间间隔。
17.如权利要求16所述的制造物，所述操作还包括：
提供一个或多个用户接口组件，所述一个或多个用户接口组件被配置为接收从作为所述刷新时间间隔的不同整数倍的多个可能合成曝光时间间隔中的、对于所述合成曝光时间间隔的选择；以及
设置所选择的所述合成曝光时间间隔。
18.如权利要求16所述的制造物，所述操作还包括：
提供一个或多个用户接口组件，所述一个或多个用户接口组件被配置为接收从作为所述刷新时间间隔的不同实数倍的多个可能合成曝光时间间隔中的、对于所述合成曝光时间间隔的选择；以及
设置所选择的所述合成曝光时间间隔。
19.一种图像捕获设备，包括：
图像传感器；
取景器；
处理器；
存储器；以及
程序指令，存储于所述存储器中，其当由所述处理器执行时使得所述图像捕获设备执行包括以下的操作：
由所述图像传感器捕获场景的图像；
将所捕获的图像存储在所述场景的两个或更多个先前所捕获的图像的缓冲器中；
从所述缓冲器移除所述两个或更多个先前所捕获的图像中的最旧图像；
更新从存储在所述缓冲器中的图像获得的聚合图像，其中所述聚合图像是基于存储在所述缓冲器中的两个或多个图像的像素值的运行之和，其中所述更新包括：从所述聚合图像减去所述最旧图像的表示，以及将所捕获的图像的表示添加到所述聚合图像，并且其中所述运行之和表示所述场景的即时合成曝光；以及
在所述取景器上显示所述聚合图像的表示。
CN201780017207.1A 2016-04-13 2017-02-16 用于合成长曝光的即时更新 Active CN108781260B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/097,687 2016-04-13
US15/097,687 US10187587B2 (en) 2016-04-13 2016-04-13 Live updates for synthetic long exposures
PCT/US2017/018032 WO2017180233A1 (en) 2016-04-13 2017-02-16 Live updates for synthetic long exposures

Publications (2)

Publication Number Publication Date
CN108781260A CN108781260A (zh) 2018-11-09
CN108781260B true CN108781260B (zh) 2019-06-04

Family

ID=58266724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017207.1A Active CN108781260B (zh) 2016-04-13 2017-02-16 用于合成长曝光的即时更新

Country Status (6)

Country Link
US (2) US10187587B2 (zh)
EP (1) EP3395060B1 (zh)
JP (1) JP6720324B2 (zh)
KR (1) KR102156304B1 (zh)
CN (1) CN108781260B (zh)
WO (1) WO2017180233A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110769149B (zh) 2015-04-23 2021-05-11 苹果公司 用于处理来自多相机的内容的方法、电子设备和存储介质
US11308601B2 (en) * 2015-04-29 2022-04-19 Emhart Glass S.A. Container inspection system with individual light control
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
GB2554669B (en) * 2016-09-30 2022-04-06 Apical Ltd Image processing
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10677899B2 (en) * 2017-08-07 2020-06-09 Waymo Llc Aggregating non-imaging SPAD architecture for full digital monolithic, frame averaging receivers
US11276031B2 (en) * 2017-12-12 2022-03-15 Dover Europe Sarl Ultraviolet (UV) fluorescing product codes
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN111341284A (zh) * 2018-12-19 2020-06-26 富泰华工业（深圳）有限公司 电子装置及其显示屏亮度调节方法
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11039079B1 (en) 2019-05-07 2021-06-15 Lux Optics Incorporated Generating long exposure images
US20220294964A1 (en) * 2019-10-11 2022-09-15 Google Llc Low-light autofocus technique
CN111263082B (zh) * 2020-03-16 2021-12-14 维沃移动通信（杭州）有限公司 一种曝光数据获取方法及电子设备
US11394900B1 (en) 2020-05-07 2022-07-19 Lux Optics Incorporated Synthesizing intermediary frames for long exposure images
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11818465B2 (en) * 2022-01-10 2023-11-14 Gopro, Inc. Systems, apparatus, and methods for stabilization and blending of exposures

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740041A (zh) * 2011-04-05 2012-10-17 宝利通公司 增强直接目光接触的视频会议单元
WO2015050774A1 (en) * 2013-10-01 2015-04-09 Gopro, Inc. Image capture accelerator
CN104702854A (zh) * 2013-12-04 2015-06-10 全视技术有限公司 图像数据的聚合高动态范围的成像系统及相关方法
CN105323497A (zh) * 2014-05-30 2016-02-10 苹果公司 恒定包围的高动态范围（cHDR）操作

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3394662B2 (ja) * 1996-08-30 2003-04-07 沖電気工業株式会社 交通流計測方法および装置
US7027172B1 (en) * 2000-08-15 2006-04-11 Eastman Kodak Company Color digital printer having a graphical user interface for displaying and selecting images for local and remote printing
JP4503892B2 (ja) 2001-08-22 2010-07-14 オリンパス株式会社 撮像装置
JP4250436B2 (ja) * 2003-02-27 2009-04-08 キヤノン株式会社 表示制御装置
JP4323969B2 (ja) 2004-01-16 2009-09-02 キヤノン株式会社 撮影装置
JP4574473B2 (ja) * 2005-07-11 2010-11-04 キヤノン株式会社 情報処理装置および方法
JP4441882B2 (ja) * 2005-11-18 2010-03-31 ソニー株式会社 撮影装置、表示制御方法、プログラム
JP2007140278A (ja) * 2005-11-21 2007-06-07 Eastman Kodak Co デジタルカメラ、露出条件決定方法
JP4483841B2 (ja) * 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
JP2008079222A (ja) * 2006-09-25 2008-04-03 Nikon Corp デジタルカメラ
KR100831661B1 (ko) * 2006-12-06 2008-05-22 삼성전자주식회사 이미지 센서를 구비하는 촬영 장치와 그 사진 촬영 방법
KR100871222B1 (ko) * 2006-12-06 2008-12-01 삼성전자주식회사 자동 화상 관리 방법 및 장치
US8199220B2 (en) * 2006-12-06 2012-06-12 Samsung Electronics Co., Ltd. Method and apparatus for automatic image management
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
JP4958807B2 (ja) * 2008-01-24 2012-06-20 株式会社キーエンス 画像処理装置
JP4544332B2 (ja) * 2008-04-07 2010-09-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP4655239B2 (ja) 2008-09-24 2011-03-23 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP5434038B2 (ja) * 2008-10-08 2014-03-05 株式会社ニコン 撮像装置
JP2010252006A (ja) * 2009-04-15 2010-11-04 Casio Computer Co Ltd 撮像装置、撮影方法、及びそのプログラム
JP5384273B2 (ja) * 2009-09-30 2014-01-08 富士フイルム株式会社 カメラ及びカメラの記録方法
GB2474886A (en) 2009-10-30 2011-05-04 St Microelectronics Image stabilisation using motion vectors and a gyroscope
JP5136664B2 (ja) 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
KR101953614B1 (ko) * 2012-10-12 2019-05-22 삼성전자주식회사 카메라장치의 이미지처리장치 및 방법
US20140111670A1 (en) * 2012-10-23 2014-04-24 Nvidia Corporation System and method for enhanced image capture
JP6216109B2 (ja) * 2012-10-25 2017-10-18 京セラ株式会社 表示制御装置，表示制御プログラムおよび表示制御方法
US9319589B2 (en) * 2013-05-31 2016-04-19 Sony Corporation Device and method for capturing images and selecting a desired image by tilting the device
CN103293825B (zh) 2013-06-26 2014-11-26 深圳市中兴移动通信有限公司 多重曝光方法和装置
GB2520319A (en) * 2013-11-18 2015-05-20 Nokia Corp Method, apparatus and computer program product for capturing images
JP6501536B2 (ja) * 2015-02-02 2019-04-17 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10187587B2 (en) * 2016-04-13 2019-01-22 Google Llc Live updates for synthetic long exposures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102740041A (zh) * 2011-04-05 2012-10-17 宝利通公司 增强直接目光接触的视频会议单元
WO2015050774A1 (en) * 2013-10-01 2015-04-09 Gopro, Inc. Image capture accelerator
CN104702854A (zh) * 2013-12-04 2015-06-10 全视技术有限公司 图像数据的聚合高动态范围的成像系统及相关方法
CN105323497A (zh) * 2014-05-30 2016-02-10 苹果公司 恒定包围的高动态范围（cHDR）操作

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Viewfinder Alignment;Andrew Adams，等;《EUROGRAPHICS 2008》;20080401;第27卷(第2期);597-606

Also Published As

Publication number Publication date
WO2017180233A1 (en) 2017-10-19
CN108781260A (zh) 2018-11-09
US10523875B2 (en) 2019-12-31
US10187587B2 (en) 2019-01-22
JP2019511856A (ja) 2019-04-25
EP3395060B1 (en) 2021-05-19
US20170302840A1 (en) 2017-10-19
US20190116304A1 (en) 2019-04-18
KR20180102626A (ko) 2018-09-17
JP6720324B2 (ja) 2020-07-08
EP3395060A1 (en) 2018-10-31
KR102156304B1 (ko) 2020-09-16

Similar Documents

Publication Publication Date Title
CN108781260B (zh) 用于合成长曝光的即时更新
US10516834B2 (en) Methods and apparatus for facilitating selective blurring of one or more image portions
US9912865B2 (en) Methods and apparatus for supporting burst modes of camera operation
CN101883213B (zh) 摄像装置以及摄像装置的模式切换方法
US20150189154A1 (en) Camera focusing related methods and apparatus
JP6401324B2 (ja) ダイナミックフォトの撮影方法及び装置
US9332195B2 (en) Image processing apparatus, imaging apparatus, and image processing method
KR20150072358A (ko) 플래시에 의해 조명된 이미지들의 세트를 포착하는 방법 및 장치
CN107852460A (zh) 立体自动对焦
CN107920212A (zh) 数字拍摄装置及控制其的方法
CN107517345A (zh) 拍摄预览方法及拍摄设备
US20160292842A1 (en) Method and Apparatus for Enhanced Digital Imaging
CN101938603A (zh) 数字图像处理设备和控制所述设备的方法
US9986163B2 (en) Digital photographing apparatus and digital photographing method
KR20130053040A (ko) 촬상장치 및 촬상방법
US20230033956A1 (en) Estimating depth based on iris size
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
KR101140414B1 (ko) 디블러링 지원 디지털 촬영 장치 및 그 방법
WO2018116824A1 (ja) 制御装置、制御方法、並びにプログラム
US9906734B2 (en) Method and related camera device for generating pictures with rotation trace
US9736387B2 (en) Irradiation device, irradiation method, and program for switching irradiation regions
JP2020102793A (ja) 画像処理装置、撮像装置及び制御方法
WO2024076363A1 (en) Field of view correction techniques for shutterless camera systems
CN118450275A (zh) 一种拍摄方法及相关设备
Montabone Digital Photography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant