CN114258673A - 相机系统中的双曝光控制 - Google Patents

相机系统中的双曝光控制 Download PDF

Info

Publication number
CN114258673A
CN114258673A CN201980099515.2A CN201980099515A CN114258673A CN 114258673 A CN114258673 A CN 114258673A CN 201980099515 A CN201980099515 A CN 201980099515A CN 114258673 A CN114258673 A CN 114258673A
Authority
CN
China
Prior art keywords
image
live view
control feature
setting
view preview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980099515.2A
Other languages
English (en)
Inventor
R.盖斯
M.S.莱沃伊
S.W.哈西诺夫
T.薛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN114258673A publication Critical patent/CN114258673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

提供了与将照明模型应用于对象的图像相关的装置和方法。能够训练神经网络以将照明模型应用于输入图像。神经网络的训练能够利用置信度学习，置信度学习基于与输入图像的照明相关联的光预测和预测置信度值。计算设备能够接收对象的输入图像和关于要应用于输入图像的特定照明模型的数据。计算设备能够通过使用训练后的神经网络将特定照明模型应用于对象的输入图像来确定对象的输出图像。

Description

相机系统中的双曝光控制
背景技术
许多现代计算设备(包括移动电话、个人计算机和平板电脑)包括图像捕获设备，诸如静态相机和/或视频相机。图像捕获设备能够捕获图像，诸如包括人、动物、风景和/或对象的图像。
一些图像捕获设备和/或计算设备包括用作相机的取景器的图形显示器(例如，独立的无反相机或傻瓜相机上的电话屏幕或电子取景器(EVF))。这样的相机设备通常将显示如果/当用户点击(或轻击)快门按钮时将被捕获的图像的预览。该预览通常是基于由相机的图像传感器感测到的内容而实时生成的视频或图像流，并且也可以被称为实时取景预览图像。
发明内容
在一个方面，提供了一种计算机实现的方法。该方法包括：(i)在显示设备上显示用于图像捕获的图形界面，该图形界面包括：(a)基于来自图像捕获设备的图像传感器的图像数据流的实时取景预览图像，以及(b)第一控制特征和第二控制特征；(ii)经由图形界面接收对应于与第一控制特征的第一交互的第一输入数据，并且基于第一交互响应性地调整第一曝光设置；(iii)将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；(iv)经由图形界面接收对应于与第二控制特征的第二交互的第二输入数据，并且基于第二交互响应性地调整第二曝光设置；(v)将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；以及(vi)随后接收与图像捕获命令对应的第三输入数据，并且响应性地操作图像捕获设备以根据第一曝光设置和第二曝光设置两者来捕获图像。
在另一方面，提供了一种计算设备。计算设备包括一个或更多个处理器和一个或更多个计算机可读介质。一个或更多个计算机可读介质上存储有计算机可执行指令，计算机可执行指令在由所述一个或更多个处理器执行时使计算设备执行功能。功能包括：(i)在显示设备上显示用于图像捕获的图形界面，所述图形界面包括：(a)基于来自图像捕获设备的图像传感器的图像数据流的实时取景预览图像，以及(b)第一控制特征和第二控制特征；(ii)经由图形界面接收对应于与第一控制特征的第一交互的第一输入数据，并且基于第一交互响应性地调整第一曝光设置；(iii)将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；(iv)经由图形界面接收对应于与第二控制特征的第二交互的第二输入数据，并且基于第二交互响应性地调整第二曝光设置；(v)将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；以及(vi)随后接收与图像捕获命令对应的第三输入数据，并且响应性地操作图像捕获设备以根据第一曝光设置和第二曝光设置两者来捕获图像。
在另一方面，提供了一种制品。所述制品包括其上存储有计算机可读指令的一个或更多个计算机可读介质，计算机可读指令在由计算设备的一个或更多个处理器执行时使计算设备执行功能。功能包括：(i)在显示设备上显示用于图像捕获的图形界面，所述图形界面包括：(a)基于来自图像捕获设备的图像传感器的图像数据流的实时取景预览图像，以及(b)第一控制特征和第二控制特征；(ii)经由图形界面接收对应于与第一控制特征的第一交互的第一输入数据，并且基于第一交互响应性地调整第一曝光设置；(iii)将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；(iv)经由图形界面接收对应于与第二控制特征的第二交互的第二输入数据，并且基于第二交互响应性地调整第二曝光设置；(v)将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；以及(vi)随后接收与图像捕获命令对应的第三输入数据，并且响应性地操作图像捕获设备以根据第一曝光设置和第二曝光设置两者来捕获图像。
前述发明内容仅是说明性的，并不旨在以任何方式进行限制。除了上述说明性方面、实施例和特征之外，通过参考附图和以下详细描述以及附图，其他方面、实施例和特征将变得清楚。
附图说明
图1示出了用于提供图像捕获界面的计算机实现的方法。
图2A至图2C示出了用于阴暗和高亮控制的单滑块实时取景界面的示例。
图3A至图3C示出了用于阴暗和高亮控制的单滑块实时取景界面的另一示例。
图4A描绘了根据示例实施例的卷积神经网络(CNN)架构。
图4B描绘了根据示例实施例的卷积。
图5是根据示例实施例的示例计算设备的框图。
图6描绘了根据示例实施例的被布置为基于云的服务器系统的计算集群的网络。
具体实施方式
本申请描述了有助于经由图像捕获界面提供对相机的控制的方法和系统。特别地，方法和系统能够经由实时取景预览图像彼此独立地提供高亮级别和阴暗级别的预图像捕获控制。
一些相机应用，诸如移动设备上的那些相机应用，在图像被捕获之前允许用户调整相机使用的全局曝光以捕获图像。曝光的这种全局变化可以反映在实时取景图像中，该实时取景图像被显示以预览在用户按下快门按钮或以其他方式发起图像捕获过程的情况下将捕获的图像。然而，在许多情况下，对曝光的全局调整是不够的，并且用户会期望更本地化的、更场景特定的和/或更艺术的控制。
因此，说明性图形界面在图像被捕获之前在实时取景相机界面中彼此独立地提供对阴暗和高亮两者的实时控制。在一些实施方式中，可以通过分别调整高亮总曝光时间(TET)和阴暗TET来实现经由实时取景界面进行的对阴暗和高亮的调整，其中，高亮TET和阴暗TET能够影响实时取景预览图像的不同区域，并且用于图像捕获和/或图像处理。
在本文中，“总曝光时间”或“TET”可以是曝光时间(以一些标准单位，例如毫秒)和增益乘数的乘积。曝光时间可以被设置为相机设备的自动曝光过程的一部分。此外，可以使用多个TET来生成输出图像或视频，其中应用了不同的和/或附加的增益乘数。例如，在说明性实施例中，“高亮”或“短”TET可以是曝光时间和第一增益乘数的乘积，而“阴暗”或“长”TET可以是曝光时间和第二增益乘数(大于第一增益乘数)的乘积。在一些情况下，可以通过将附加数字增益应用于短TET来实现“长”TET，使得即使当图像捕获仅使用单个模拟曝光时间时也提供长TET和短TET。
在一些实施方案中，实时取景相机界面可以包括单滑块特征，其允许对实时取景预览流中的阴暗级别和高亮级别两者进行单独的实时调整(使得预览图像具有与随后经由实时取景界面上的快门按钮捕获的图像相同的阴暗级别和高亮级别)。在其他实施例中，实时取景相机界面可以包括两个滑块特征，这两个滑块特征允许对实时取景预览流中的阴暗级别和高亮级别两者进行单独的实时调整。在不脱离本发明的范围的情况下，其他类型的界面特征也可以提供对阴暗级别和高亮曝光级别的单独实时调整。
在本文中，“实时取景预览图像”应当被理解为基于来自图像捕获设备的图像传感器的图像数据流而生成和显示的图像或图像序列(例如，视频)。例如，图像数据可以由相机的图像传感器(或图像传感器上的像素的一部分、子集或采样)生成。该图像数据表示相机的视场(FOV)，因此指示在用户按下相机的快门按钮或以某种其他方式发起图像捕获的情况下将捕获的图像。为了帮助用户决定如何定位相机以进行图像捕获，相机设备或其他计算设备可以基于来自图像传感器的图像数据流来生成并显示实时取景预览图像。实时取景预览图像能够是实时图像馈送(例如，视频)，使得实时地向用户通知相机的FOV。
根据说明性方法和系统，计算设备可以处理来自传感器的图像数据流，以便生成实时取景预览图像，该实时取景预览图像更准确地表示如果/当用户发起图像捕获时将实际捕获的图像或视频。此外，计算设备可以结合实时取景预览图像提供包括用于图像处理的控制特征的图像捕获界面。这种布置能够在图像被捕获之前提供对一些图像设置或属性的调整，这些图像设置或属性先前仅在图像捕获之后可调整(例如，经由图像编辑应用中的后处理)。
在本文中，图像(或图像序列)的“阴暗”或“阴暗区域”应当被理解为包括图像中(或图像序列上)最暗的像素或区域。在实践中，图像帧中具有低于预定阈值的亮度级别的像素或区域(或多个)可以被识别为阴暗区域。当然，用于检测有资格作为阴暗区域的较暗区域的其他方法也是可行的。
在本文中，图像(或图像序列)的“高亮”或“高亮区域”能够包括图像中(或图像序列上)最亮的像素或区域(或多个)。在实践中，图像帧中具有高于预定阈值的亮度级别的像素或区域可以被识别为高亮区域。注意，可以利用不同的阈值来对阴暗和高亮区域进行分类(使得能够存在未被分类为阴暗或高亮的区域)。可替代地，高亮和阴暗的阈值可以是相同的(使得图像中的每个区域被分类为阴暗或高亮)。此外，阴暗和/或高亮阈值(或多个)也可以是自适应的，并且基于例如正在捕获的场景的特性而变化。在一些情况下，阴暗和/或高亮阈值(或多个)可以跨图像帧在空间上变化。用于检测有资格作为高亮区域的明亮区域的其他方法也是可行的。
本文描述的实施例可以允许彼此分开地进行阴暗级别和高亮级别的预图像捕获调整。此外，这些调整可以实时地应用于实时取景预览，使得实时取景预览提供在用户按下快门按钮或发起视频捕获的情况下将捕获的图像或视频的更准确的表示。此外，与在捕获图像之后的后处理中进行这种调整相比，在图像捕获之前调整短TET和长TET(分别用于阴暗级别和高亮级别)能够产生更胜一筹的结果。特别地，示例实施例可以调整捕获TET(例如，通过调整快门速度、光圈和/或图像灵敏度)，以便在图像捕获之前调整短TET和长TET。由于在图像捕获之前对曝光时间和模拟增益(例如，快门速度、光圈和/或图像灵敏度)进行调整通常产生比在后处理中使用数字增益来进行对应调整更好的图像质量(例如，更少的噪声、更少的量化伪像、更少的限幅)，因此利用本文描述的方法和系统的相机可以提供比它们以其他方式将提供的图像质量更好的图像质量。
I.用于提供图像捕获界面的方法
图1是根据示例实施例的用于提供图像捕获界面的计算机实现的方法100。该方法可以由图像捕获设备——诸如具有一个或更多个相机系统的数字相机或移动电话等——实现。方法100也可以由与图像捕获设备通信的计算设备实施，诸如由用于控制独立相机设备(例如，DSLR相机或运动型相机)的移动电话或其他显示设备来实施。
在块102处，方法100涉及显示用于图像捕获的图形界面，该图形界面包括(a)实时取景预览图像，以及(b)第一控制特征和第二控制特征。在块104处，计算设备经由图形界面接收对应于与第一控制特征的第一交互的第一输入数据。作为响应，如块106所示，计算设备基于第一交互来调整第一曝光设置。第一控制特征能够提供对相机的图像帧的高亮区域中的曝光的控制。因此，如块108所示，计算设备也将对第一曝光设置的调整实时地应用于实时取景预览图像中的至少一个高亮区域。
继续方法100，如块110所示，计算设备经由图形界面接收对应于与第二控制特征的第二交互的第二输入数据。作为响应，如块112所示，计算设备基于第二交互来调整第二曝光设置。第二控制特征能够提供对相机的图像帧的阴暗区域中的曝光的控制。因此，如块114所示，计算设备也将第二曝光设置实时地应用于实时取景预览图像中的至少一个阴暗区域。
随后，如块116所示，计算设备接收与图像捕获命令相对应的第三输入数据，并且响应性地操作图像捕获设备以使用第一曝光设置和第二曝光设置两者来捕获图像。注意，在块116处的图像捕获之前，能够多次调整第一曝光设置和第二曝光设置中的任一个或两者(例如，分别在块106和108以及块110和112处)。
在方法100的一些实施方式中，第一控制特征和第二控制特征能够是图像捕获界面中的单个曝光控制特征的一部分。例如，第一控制特征和第二控制特征可以是可沿着相同的滑块特征移动的图形元素(例如，圆形或另一形状)。后面在本文中参考图2A至图2C描述该布置的具体示例。在其他情况下，第一控制特征和第二控制特征能够是图像捕获界面中的单独的曝光控制特征。后面在本文中参考图3A至图3C描述该布置的具体示例。在方法100的实施方式中，第一控制特征和第二控制特征的其他布置也是可行的。
在一些实施例中，相机设备或与其通信地耦接的控制设备可以包括物理控件，该物理控件被映射以控制第一控制特征和第二控制特征(或者可能直接控制第一曝光设置和第二曝光设置，而无需来自图形界面的任何反馈)。例如，DSLR或另一类型的相机可以包括实时取景界面，以及机械控制特征，诸如(多个)控制旋钮、(多个)操纵杆、(多个)按钮和/或(多个)滑块。这些机械控制特征能够允许实时控制第一曝光设置和第二曝光设置，使得在实时取景界面中准确地表示对这些设置的改变。
II.说明性图形界面
图2A至图2C示出了用于阴暗和高亮控制的单滑块实时取景界面200的示例。重要的是，实时取景界面200能够在实时取景预览201中彼此独立地提供阴暗曝光级别和高亮曝光级别的实时预图像捕获控制和可视化。实时取景界面200包括具有第一控制特征204和第二控制特征206的滑块202。在大多数场景中，第一控制特征204和第二控制特征206在滑块202上是可独立移动的，并且分别控制高亮级别和阴暗级别。(为了便于解释，第一控制特征和第二控制特征也可以分别称为高亮控件和阴暗控件。然而，可以设想，所示的配置可以应用于其他类型的预图像捕获调整。)
在图2A至图2C中，实时取景界面200示出了实时取景预览图像201随时间的变化。移动滑块202上的高亮和/或阴暗控件将在实时取景预览图像中实时显示对相机曝光设置的结果调整。此外，在图2A至图2C中的每一个中，实时取景预览图像201指示在用户在那时轻击图像捕获按钮208的情况下将捕获的图像或视频。由于实时取景预览图像201示出了将用于图像捕获的曝光设置的准确预览，因此实时取景界面200可以被称为用于相机设备的所见即所得(WYSIWYG)取景器。
在图2A中，阴暗和高亮控件被定位在滑块202的高度的大约1/3和2/3处。在一些实施方式中，该特定布置可以是默认布置，这被映射到自动曝光设置。这样的自动曝光设置能够由相机设备的实时图像处理流水线确定(并且反映在图2A所示的实时取景预览图像中)。
例如，在没有来自用户的进一步输入的情况下，自动曝光过程可以确定控制用于图像捕获的曝光设置的第一曝光设置。在示例实施例中，第一曝光设置可以指示整个图像帧的总曝光时间(TET)(例如，全局曝光，如果用户没有进行其他调整的话)。能够通过设置模拟增益(例如，图像传感器的灵敏度)和数字增益(例如，应用于由图像传感器生成的图像数据的增益)的量来实现该曝光时间。在实施方式中，用于捕获图像的TET(例如，“捕获TET”)也可以被用作图像中的高亮区域的曝光级别，因此也可以称为“高亮TET”。(在实践中，阴暗TET通常将高于捕获TET或高亮TET，使得阴暗的细节更可见)。能够为阴暗区域确定更长的TET，这能够通过将附加增益应用于高亮的TET来实现。因此，高亮TET也可以被表征为“短”TET，并且阴暗TET可以被表征为“长”TET。
再次参考图像捕获界面200，该界面还可以允许用户在图像捕获之前与高亮区域分开地调整阴暗区域的曝光。因此，第一曝光设置能够有效地提供用于调整图像高亮的曝光的机制，而无需调整阴暗区域的曝光级别。因此，第一控制特征204可以允许与阴暗曝光级别分开地控制高亮曝光级别。相对应地，第二曝光设置可以指示阴暗的第二TET(例如，局部曝光设置)。这样，第二控制特征206可以允许第二TET的调整，其通过将附加增益(例如，数字增益)应用于图像帧中的阴暗区域来实现。因此，在大多数场景中，调整第二TET将有效地调整实时取景预览图像(以及经由快门按钮208捕获的图像)中的阴暗的曝光，而对同一图像中的高亮的曝光几乎没有影响。
在一些情况下，可以通过提供对短曝光时间和长曝光时间(例如，短TET和长TET)的控制来实现阴暗级别和高亮级别的单独控制。在直接的实施方式中，可以在高亮区域中应用短TET，并且可以在阴暗区域中应用长TET。在其他实施方式中，长/阴暗TET实际上可以是增益值(或TET值)的网格或矩阵，其以逐个像素为基础或以逐个图块为基础指定增益(其中像素或被分组到图像帧中的图块中)。在这样的实施方式中，可以使用基于金字塔的多次曝光技术或利用机器学习(例如，卷积神经网络)的近似技术(诸如Google的HDRnet)来确定阴暗TET。这样的技术能够帮助在整个图像中保留小的边缘幅度(细节)，当使用简单的全局色调映射来将增益应用于较暗像素时，这些小的边缘幅度(细节)会由于高亮区域的压缩而丢失。
用于与高亮分开地调整阴暗曝光级别的其他过程是可行的。例如，相机设备可以可操作以使用不同的曝光设置(例如，以对于移动电话相机上的HDR成像典型的方式)快速捕获场景的多个图像。当该方法与说明性图像捕获界面(诸如图2A至图2C中所示的图像捕获界面)组合时，界面可以提供对用于图像序列的短曝光时间和长曝光时间的单独控制。此外，利用这种配置，可以使用来自阴暗区域的长曝光图像(或多个)和高亮(或者可能未被分类为在阴暗区域中的任何像素)的短曝光图像(或多个)的数据来构建实时取景预览图像201。
作为另一示例，相机可以包括堆叠的图像传感器，诸如锯齿形(zig-zag)传感器。这种堆叠的传感器可以具有穿过传感器的像素阵列(例如，以锯齿形图案)对角交错的长曝光线和短曝光线，其中，“zig”线中的像素捕获短曝光，并且“zag”线中的像素同时提供更长的曝光。也可以在没有堆叠的图像传感器的情况下实现锯齿形传感器，只要它改变传感器上不同像素的曝光时间即可。当诸如图2A至图2C所示的说明性图像捕获界面与堆叠的传感器或锯齿形传感器配对时，界面可以提供对短曝光和长曝光的单独控制。此外，利用这种配置，可以使用来自阴暗区域的长曝光像素和来自高亮的短曝光像素(或者可能未被分类为在阴暗区域中的任何像素)的数据来构建实时取景预览图像201。
在一些情况下，界面可以通过允许对全局曝光和范围压缩(例如，分别为亮度和对比度)的单独控制来有效地提供对高亮和阴暗曝光级别的单独的预图像捕获控制。例如，第一控制特征可以允许对比度的调整，而第二控制特征可以允许亮度的调整。在这样的实施方式中，第一控制特征向上或向下的移动滑块可以导致长TET和/或短TET的调整，以减小或增加长TET或短TET之间的差异，从而分别减小或增加对比度。并且，第二控制特征在滑块上的移动可以在相同方向上调整长TET和短TET；例如，通过增大或减小长TET和短TET，以增大或减小在实时取景界面中显示的图像或图像序列的整体亮度。
返回到实时取景界面200的功能，当用户在滑块202上向上移动阴暗控件206时，阴暗的亮度增加，反之亦然。例如，在图2B中，与图2A中的阴暗控件206的位置相比，用户已经向上移动了阴暗控件206。结果，与图2A所示的实时取景预览图像相比，在图2B所示的实时取景预览图像中对象的面部和身体更亮。此外，由于与阴暗控件206从图2A到图2B的向上移动相比，高亮控件204从图2A到图2B的向上移动的量相对较小，因此与阴暗区域(例如，对象的面部和身体)在图2A和图2B之间的亮度变化相比，在图2A和图2B之间实时取景预览图像201的高亮区域的曝光的变化小得多。
类似地，当用户在滑块202上向下移动阴暗控件206时，这将降低阴暗的亮度。例如，在图2C中，与阴暗控件204在图2A和2B两者中的位置相比，用户已经向下移动了阴暗控件206。结果，与图2A和图2B所示的实时取景预览图像相比，在图2C所示的实时取景预览图像中，对象的面部和身体更暗。此外，由于阴暗控件206从图2B到图2C的向下移动的量大于高亮控件204从图2B到图2C的向下移动的量，因此与阴暗区域(例如，对象的面部和身体)的亮度从图2B到图2C的更大减小相比，实时取景预览图像201的高亮区域的曝光从图2B到图2C的减小更小。
在另一方面，为了保持一定的图像质量，第一控制特征204和第二控制特征206在滑块202上的移动可以部分地彼此依赖。特别地，在图像中可能存在被认为是可接受的、可行的和/或可实践的一定量的范围压缩。这样，第一控制特征204和第二控制特征206可以在滑块202上彼此独立地移动，只要它们不以使得实时取景预览图像200中的范围压缩超过阈值的方式改变高亮曝光和/或阴暗曝光即可。
更具体地，图像中的范围压缩量可以由“相对阴暗增益”数字化地表征，“相对阴暗增益”是阴暗曝光(例如，长TET)和高亮(例如，短TET)的比较度量。例如，相对阴暗增益可以被计算为长TET(考虑模拟曝光加上应用于阴暗区域的数字增益)与短TET(考虑模拟曝光加上应用于高亮区域的任何数字增益)的比率；或者，换句话说，长TET除以短TET。因此，可以为相对阴暗增益定义最大值，其对应于被认为不可接受的范围压缩量。可以设置最大相对阴暗增益，使得范围压缩不会将阴暗提升到丢失不可接受的细节量和/或引入不可接受的噪声的程度。另外，可以设置最小相对阴暗增益，使得范围压缩不会将阴暗提升到曝光不足或将阴暗“挤压”到丢失不可接受的细节量的程度。
为了将范围压缩量保持在可接受的级别，可能存在一些情况，其中，计算设备将自动对高亮曝光级别进行调整以补偿对阴暗曝光级别的用户指定的调整，反之亦然。特别地，高亮曝光级别(链接到高亮控件204)与阴暗曝光级别(链接到阴暗控件206)之间的差异可以通过滑块202上的阴暗控件206与高亮控件204之间的距离在界面200中可视地表示。因此，阴暗控件206与高亮控件204之间的距离也可以指示相对阴暗增益。更具体地，当阴暗控件206和高亮控件204在滑块202上移动得更靠近在一起时，与高亮相比，这增加了阴暗的曝光(并且减少了高亮的曝光)，因此增加了应用于阴暗的数字增益的量。结果，随着阴暗控件206和高亮控件204在滑块202上移动得更靠近在一起，实时取景预览图像(以及随后捕获的图像)的范围压缩增加，反之亦然。
在指定最大相对阴暗增益的场景中，相机应用可以自动移动阴暗控件206和/或高亮控件204，使得它们进一步分开，以便将实时取景预览图像201的相对阴暗增益(例如，阴暗TET除以高亮TET)保持在最大相对阴暗增益之下。
例如，考虑图2B，其中，高亮控件204在滑块202上比在图2A中更高。虽然用户可以手动地将高亮控件204移动到图2B中所示的位置，但是响应于用户将阴暗控件206从其在图2A中的位置向上移动到其在图2B中的位置，相机应用也可以已经自动地向上移动高亮控件204。具体地，在图2B中，滑块202上的高亮控件204与阴暗控件206之间的距离可以是最小分离距离，其对应于可允许的最大范围压缩量(例如，最大相对阴暗增益)。
相反，图像捕获界面200的一些实施方式可以被配置为维持最小相对阴暗增益。例如，可以定义最小相对阴暗增益，使得其对应于无范围压缩(例如，其中，阴暗TET与高亮TET的比率等于1.0)。因此，最小相对阴暗增益可以限制高亮控件204和阴暗控件206之间的距离，使得相对阴暗增益不会下降到最小级别以下。结果，相机应用可以自动移动阴暗控件206和/或高亮控件204，使得它们更靠近在一起，以便将实时取景预览201的相对阴暗增益保持在或高于最小相对阴暗增益。
关于底层图像处理，当用户将阴暗级别增加到导致相对阴暗增益超过最大阈值的程度时，应用可以将短TET设置为等于长TET除以最大相对阴暗增益。该实现方式有助于防止不期望的范围压缩量，同时仍然将阴暗亮度调整到由用户输入指定的程度。可替代地，当阴暗增益超过最大阈值时，应用可以通过不像用户输入所指定的那样多地提升阴暗(或者通过限制阴暗区域的亮度增加的量)来保留高亮。为此，当阴暗增益超过最大阈值时，应用可以将长TET设置为等于短TET和最大相对阴暗增益的乘积。
在另一方面，第一控制特征204和第二控制特征206可以保持图像质量，而第一控制特征204和第二控制特征206的移动不会部分地彼此依赖。例如，控制特征的移动可以以非线性方式映射到短TET和/或长TET的控制，使得不存在相对阴暗增益在可接受范围之外的控制特征的布置。作为另一示例，应用可以指定滑块上的“死区”，其中，用户能够移动滑块，但是这样做没有效果。其他示例也是可以的。
在实时取景相机界面的其他实施方式中，可以提供两个单独的滑块特征，其允许高亮曝光和阴暗曝光的单独控制。每个滑块可以包括单个控制特征。总体说来，两个滑块可以提供与在单滑块布置中描述的类似的功能。
图3A至图3C示出了具有用于阴暗控制和高亮控制的单独控件的实时取景界面300的示例。实时取景界面300包括具有第一控制特征304的第一滑块302a和具有第二控制特征306的第二滑块302b。第一控制特征304和第二控制特征306可以提供对实时取景预览图像301的高亮曝光设置(例如，短TET)和阴暗曝光设置(例如，长TET)的控制。在大多数场景下，第一控制特征304和第二控制特征306在它们各自的滑块302a和302b上是独立可移动的，使得界面300允许单独控制高亮和阴暗曝光设置。更一般地，除了第一控制特征304和第二控制特征306被布置在单独的滑块上以外，第一控制特征304和第二控制特征306可以以与上面参考控制特征204和206描述的相同或类似的方式起作用。
此外，以与滑块202上的第一控制特征204和第二控制特征206之间的距离对应于实时取景预览图像201的相对阴暗增益相同的方式，第一控制特征304和第二控制特征306之间的垂直距离对应于实时取景预览图像301的相对阴暗增益。因此，在一些实施方式中，图像捕获应用可以可操作以：(i)自动移动阴暗控件306和/或高亮控件304，使得它们在垂直方向上进一步分开，以便将实时取景预览图像301的相对阴暗增益(例如，阴暗TET除以高亮TET)保持在最大相对阴暗增益之下，和/或(ii)自动移动阴暗控件306和/或高亮控件304，使得它们在垂直方向上更靠近，以便保持实时取景预览图像301的相对阴暗增益处于或高于最小相对阴暗增益。
在不脱离本发明的范围的情况下，其他类型的界面特征还可以提供对阴暗和高亮曝光级别的单独实时调整。可以提供单个旋钮界面，其具有围绕同一中心点旋转的内部可旋转元件和外部可旋转元件，并且允许单独控制高亮曝光级别和阴暗曝光级别。可替代地，能够提供两个单独的旋钮来用于高亮曝光级别和阴暗曝光级别的单独控制。作为另一示例，可以在单个X-Y垫控制元件中提供多个可移动控制元素(例如，点)，其允许对高亮曝光级别和阴暗曝光级别的单独控制。其他示例也是可以的。
在另一方面，除了高亮和阴暗曝光级别之外或作为高亮和阴暗曝光级别的替代，实时取景界面能够实现本文描述的用于其他相关图像处理功能对的控制特征。例如，本文公开的第一控制特征和第二控制特征可以额外地或替代地提供对黑色级别和白色级别、全局曝光和对比度以及其他可能对的实时预图像捕获控制。
在另一方面，实时取景界面能够为用户提供指定实时取景预览图像中的控制点的机制。控制点是图像中指定在何处应用局部化效果或处理的特定位置。通常，在控制点周围的局部区域中应用效果，并且逐渐减小效果以将图像的受影响区域与周围区域混合。在这样的实施例中，本文描述的控制特征可以用于为特定控制点或控制点组提供例如单独的高亮和阴暗曝光控制。
如上所述，示例界面的两个控制特征可以通过单独改变实时取景预览的短TET和长TET来改变实时取景预览(如上所述，可能由于相对阴暗增益的限制而具有例外)。返回参考图2A至图2C，将控制特征204沿滑块向上移动通常会增加实时取景预览的短TET，反之亦然。类似地，将控制特征206沿滑块向上移动通常会增加实时取景预览的长TET，反之亦然。
两个控制特征也能够被映射到其他类型的图像调整，和/或能够以不同的方式控制短TET和/或长TET。例如，第一控制特征和第二控制特征(诸如图2A至图3C中所示的那些)能够提供对(a)亮度或曝光值补偿(EVC)和(b)相对阴暗增益的单独控制。这能够通过将第一控制特征(例如，控制特征204或控制特征304)映射到短TET和长TET两者(因此它影响整个实时取景预览的亮度)并且将第二控制特征(例如，控制特征206或控制特征306)仅映射到长TET来实现。在这种情况下，将控制特征204沿滑块向上移动通常将增加实时取景预览的亮度或EVC(通过增加短TET和长TET两者)，反之亦然。并且，通过增加实时取景预览的长TET，将控制特征206沿滑块向上移动将仅改变阴暗区域的合成曝光，反之亦然。在这样的实施方式中，图像捕获应用还能够以与上述类似的方式自动调整一个或两个控制特征以将相对阴暗增益保持在阈值以下。
作为另一示例，第一控制特征和第二控制特征(诸如图2A至图3C中所示的那些)能够提供对(a)亮度或EVC和(b)对比度的单独控制。这能够通过将第一控制特征(例如，控制特征204或控制特征304)映射到短TET和长TET两者(因此它影响整个实时取景预览的亮度)，并且映射第二控制特征(例如，控制特征206或控制特征306)以在相反方向上调整短TET和长TET来实现。
两个旋钮都影响两个TET。亮度在相同方向上移动它们；对比度在相反的方向上移动它们。我们决定不追求这一点，这是因为用户通常想要孤立地调整阴暗级别。在这种情况下，将控制特征204沿滑块向上移动通常将增加实时取景预览的亮度或EVC(通过增加短TET和长TET两者)，反之亦然。并且，将控制特征206沿滑块向上移动将通过同时增加短TET并减小长TET来调整实时取景预览中的对比度，并且反之对于向下移动也如此。在这样的实施方式中，图像捕获应用也能够以与上述类似的方式自动调整一个或两个控制特征以将相对阴暗增益保持在阈值以下。
控制特征到不同类型的图像调整过程的其他映射也是可行的。此外，注意，在不脱离本发明的范围的情况下，在这样的实施例中以及在本文描述的任何其他实施例中，能够反转控制特征的向上/向下移动的效果。
III.实时取景预览图像的实时调整
如上所述，实时取景预览图像可以是通过实时处理来自图像传感器的数据而生成的视频馈送。这可以以各种方式来实现。在一些情况下，可以通过将训练后的神经网络(例如，卷积神经网络或“CNN”)应用于来自图像传感器的帧来确定实时取景预览图像的初始设置，诸如曝光级别(例如，短TET和/或长TET)。
在这样的实施例中，CNN可以提供用作局部色调映射的图像处理算子的网格。该局部色调映射网格可以指示图像帧中不同区域的不同增益级别。在这种情况下，用于调整阴暗级别和/或高亮级别的控制特征可以被用于调整应用于网格中的各个点处的增益的系数的值，并且可以应用经调整的色调映射网格来生成实时取景预览图像。
可替代地，成像应用可以使用来自图像传感器的数据来生成用于短TET和长TET的两个低分辨率合成曝光。然后训练后的CNN可以被应用于这些合成曝光，以混合来自两者的部分并输出色调映射网格，该色调映射网格不同地曝光阴暗区域和高亮区域以输出实时取景预览图像。在这种情况下，用于调整阴暗级别和/或高亮级别的控制特征可以被用于调整混合这两个低分辨率合成曝光的方式，使得实时地利用调整来更新实时取景预览图像。
图4A示出了根据示例的CNN 400。CNN被设计为利用在大多数图像中发现的固有结构。特别地，CNN中的节点仅连接到前一层中的少量节点。该CNN架构能够被认为是三维的，其中，节点被布置在具有宽度、高度和深度的块中。例如，具有3个色彩通道的前述32×32像素块可以被布置到具有32个节点的宽度、32个节点的高度和3个节点的深度的输入层中。
更具体地，在CNN 400中，被表示为像素X1…Xm的初始输入值402被提供给输入层404。如上所述，输入层404可以具有基于像素X1…Xm的色彩通道的宽度、高度和数量的三个维度。输入层404将值提供到特征提取层的一个或更多个集合中，每个集合包含卷积层406、修正线性单元函数(RELU)层408和池化层410的实例。池化层410的输出被提供给一个或更多个分类层412。最终输出值414可以被布置在表示初始输入值402的简明表征的特征向量中。
卷积层406可以通过围绕这些输入值的三维空间布置滑动一个或更多个滤波器来变换其输入值。滤波器由施加到节点的偏置和其间的连接的权重来表示，并且通常具有小于输入值的宽度和高度。每个滤波器的结果可以是输出值的二维块(称为特征图或网格)，其中宽度和高度能够具有与输入值的宽度和高度相同的大小，或者这些维度中的一个或更多个可以具有不同的大小。每个滤波器的输出的组合产生深度维度中的特征图的层，其中每个层表示滤波器之一的输出。这样的特征图或网格可以为输出图像提供局部色调映射。
应用滤波器可以涉及计算滤波器中的条目与输入值的二维深度切片之间的点积和。在图4B中示出了这种情况的示例。矩阵420表示对卷积层的输入，并且因此可以是例如图像数据。卷积运算将滤波器422叠加在矩阵420上以确定输出424。例如，当滤波器422位于矩阵420的左上角，并且计算每个条目的点积和时，结果为4。这被放置在输出424的左上角。
回到图4A，CNN在训练期间学习滤波，使得这些滤波器最终能够识别输入值中特定位置处的一些类型的特征。作为示例，卷积层406可以包括最终能够检测图像块中的从其导出初始输入值402的边缘和/或色彩的滤波器。被称为感受野的超参数确定卷积层406中的每个节点与输入层404之间的连接的数量。这允许每个节点关注于输入值的子集。
RELU层408将激活函数应用于由卷积层406提供的输出。RELU函数能够是被定义为f(x)＝max(0,x)的简单阈值函数。因此，在x为负时输出为0，并且在x为非负时输出为x。对RELU函数的平滑的、可微分的近似是softplus函数。它被定义为f(x)＝log(1+ex)。尽管如此，在该层中可以使用其他函数。
池化层410通过对来自RELU层408的输出的每个二维深度切片进行下采样来减小数据的空间大小。一种可能的方法是将步幅为2的2×2滤波器应用于深度切片的每个2×2块。这将使每个深度切片的宽度和高度减小1/2，从而使数据的整体大小减小75％。
分类层412以特征向量的形式计算最终输出值414。作为示例，在被训练为图像分类器的CNN中，特征向量中的每个条目可以对图像分块包含特定类别的项目(例如，人脸、猫、海滩、树等)的概率进行编码。
在一些实施例中，存在多组特征提取层。因此，池化层410的实例可以向卷积层406的实例提供输出。此外，对于池化层410的每个实例，可以存在卷积层406和RELU层408的多个实例。
CNN 400表示能够在图像处理中使用的一般结构。卷积层406和分类层412类似于ANN 300中的层应用权重和偏置，并且可以在反向传播期间更新这些权重和偏置，使得CNN400能够学习。另一方面，RELU层408和池化层410通常应用固定运算，因此可能无法学习。
应当理解，CNN能够包括与本文示例中所示的不同数量的层，并且这些层中的每一个可以包括不同数量的节点。因此，CNN 400仅用于说明性目的，并且不应被视为限制CNN的结构。
此外，应当理解，在不脱离本发明的范围的情况下，用于生成和更新实时取景预览的其他方法也是可行的。
IV.示例计算设备
图5是根据示例实施例的示例计算设备500的框图。特别地，图5所示的计算设备500能够被配置为提供本文所述的各种成像功能，诸如图像捕获和/或提供实时取景界面(例如，取景器功能)。计算设备500可以采取各种形式，包括但不限于移动电话、独立相机(例如，DSLR、定点相机、摄像机或电影相机)、平板计算机、膝上型计算机、台式计算机、服务器系统、基于云的计算设备、可穿戴计算设备或网络连接的家用电器或消费电子设备等。
计算设备500可以包括用户界面模块501、网络通信模块502、一个或更多个处理器503、数据存储装置504、一个或更多个相机518、一个或更多个传感器520和电力系统522，所有这些都可以经由系统总线、网络或其他连接机制505链接在一起。
用户界面模块501能够可操作以向外部用户输入/输出设备发送数据和/或从外部用户输入/输出设备接收数据。例如，用户界面模块501能够被配置为向用户输入设备发送数据和/或从用户输入设备接收数据，所述用户输入设备诸如触摸屏、计算机鼠标、键盘、小键盘、触摸板、轨迹球、操纵杆、语音识别模块和/或其他类似设备。用户界面模块501还能够被配置为向用户显示设备提供输出，诸如一个或更多个阴极射线管(CRT)、液晶显示器、发光二极管(LEDs)使用数字光处理(DLP)技术的显示器、打印机、灯泡和/或现在已知或以后开发的其他类似设备。用户界面模块501还能够被配置为利用诸如扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其他类似设备的设备来生成可听输出。用户界面模块501还能够被配置有一个或更多个触觉设备，所述一个或更多个触觉设备能够生成触觉输出，诸如振动和/或可通过与计算设备500的触摸和/或物理接触检测到的其他输出。在一些示例中，用户界面模块501能够用于提供用于利用计算设备500的图形用户界面(GUI)。
网络通信模块502能够包括提供可配置为经由网络进行通信的一个或更多个无线接口507和/或一个或更多个有线接口508的一个或更多个设备。无线接口(或多个)507能够包括一个或更多个无线发送器、接收器和/或收发器，诸如BluetoothTM收发器、
Figure BDA0003510236870000171
收发器、Wi-FiTM收发器、WiMAXTM收发器和/或可配置为经由无线网络进行通信的其他类似类型的无线收发器。有线接口(或多个)508能够包括一个或更多个有线发送器、接收器和/或收发器，诸如以太网收发器、通用串行总线(USB)收发器或可配置为经由双绞线、同轴电缆、光纤链路或与有线网络的类似物理连接进行通信的类似收发器。
在一些示例中，网络通信模块502能够被配置为提供可靠的、安全的和/或认证的通信。对于本文描述的每个通信，能够提供用于促进可靠通信(例如，有保证的消息递送)的信息，可能作为消息报头和/或报尾的一部分(例如，分组/消息排序信息、封装报头和/或报尾、大小/时间信息、以及诸如循环冗余校验(CRC)和/或奇偶校验值的传输验证信息)。能够使用一个或更多个密码协议和/或算法(诸如但不限于数据加密标准(DES)、高级加密标准(AES)、Rivest-Shamir-Adelman(RSA)算法、Diffie-Hellman算法、安全套接字协议(诸如安全套接字层(SSL)或传输层安全(TLS))和/或数字签名算法(DSA))来使通信安全(例如，被编码或加密)和/或解密/解码。也能够使用其他密码协议和/或算法，或者除了本文列出的那些之外，还能够使用其他密码协议和/或算法来保护(然后解密/解码)通信。
一个或更多个处理器503能够包括一个或更多个通用处理器和/或一个或更多个专用处理器(例如，数字信号处理器、张量处理单元(TPU)、图形处理单元(GPU)、专用集成电路等)。一个或更多个处理器503能够被配置为执行包含在数据存储装置504中的计算机可读指令506和/或如本文所述的其他指令。
数据存储装置504能够包括能够由一个或更多个处理器503中的至少一个读取和/或访问的一个或更多个非暂时性计算机可读存储介质。一个或更多个计算机可读存储介质能够包括易失性和/或非易失性存储组件，诸如光学、磁性、有机或其他存储器或盘存储器，其能够全部或部分地与一个或更多个处理器503中的至少一个集成。在一些示例中，数据存储装置504能够使用单个物理设备(例如，一个光学、磁性、有机或其他存储器或盘存储单元)来实现，而在其他示例中，数据存储装置504能够使用两个或更多个物理设备来实现。
数据存储装置504能够包括计算机可读指令506以及可能的附加数据。在一些示例中，数据存储装置504能够包括执行本文描述的方法、场景和技术的至少一部分和/或本文描述的设备和网络的功能的至少一部分所需的存储装置。在一些示例中，数据存储装置504能够包括用于经训练的神经网络模型512(例如，诸如卷积神经网络的经训练的卷积神经网络的模型)的存储装置。特别地，在这些示例中，计算机可读指令506能够包括当由处理器503执行时使得计算设备500能够提供经训练的神经网络模型512的一些或全部功能的指令。
在一些示例中，计算设备500能够包括一个或更多个相机518。相机(或多个)518能够包括一个或更多个图像捕获设备，诸如静态相机和/或视频相机，其被配备为捕获光并将捕获的光记录在一个或更多个图像中；也就是说，相机(或多个)518能够生成所捕获的光的图像(或多个)。一个或更多个图像能够是一个或更多个静态图像和/或在视频影像中使用的一个或更多个图像。相机(或多个)518能够捕获作为可见光、红外辐射、紫外光和/或作为一个或更多个其他频率的光发射的光和/或电磁辐射。
在一些示例中，计算设备500能够包括一个或更多个传感器520。传感器520能够被配置为测量计算设备500内的状况和/或计算设备500的环境中的状况，并提供关于这些状况的数据。例如，传感器520能够包括以下项中的一个或更多个：(i)用于获得关于计算设备500的数据的传感器，诸如但不限于用于测量计算设备500的温度的温度计、用于测量电力系统522的一个或更多个电池的电力的电池传感器、和/或测量计算设备500的状况的其他传感器；(ii)用于识别其他对象和/或设备的识别传感器，诸如但不限于射频识别(RFID)读取器、接近传感器、一维条形码读取器、二维条形码(例如，快速响应(QR)码)读取器和激光跟踪器，其中，识别传感器能够被配置为读取标识符，例如RFID标签、条形码、QR码和/或被配置为被读取并提供至少识别信息的其他设备和/或对象；(iii)用于测量计算设备500的位置和/或移动的传感器，诸如但不限于倾斜传感器、陀螺仪、加速度计、多普勒传感器、GPS设备、声纳传感器、雷达设备、激光位移传感器和罗盘；(iv)用于获得指示计算设备500的环境的数据的环境传感器，诸如但不限于红外传感器、光学传感器、光传感器、生物传感器、电容传感器、触摸传感器、温度传感器、无线传感器、无线电传感器、移动传感器、麦克风、声音传感器、超声波传感器和/或烟雾传感器；和/或(v)用于测量作用在计算设备500周围的一个或更多个力(例如，惯性力和/或重力)的力传感器，诸如但不限于测量以下项的一个或更多个传感器：一个或更多个维度上的力、扭矩、地面力、摩擦力和/或识别零力矩点(ZMP)和/或ZMP的位置的ZMP传感器。传感器520的许多其他示例也是可行的。
电力系统522能够包括用于向计算设备500提供电力的一个或更多个电池524和/或一个或更多个外部电力接口526。当电耦接到计算设备500时，一个或更多个电池524中的每个电池能够用作针对计算设备500存储电力的来源。电力系统522的一个或更多个电池524能够被配置为便携式的。一个或更多个电池524中的一些或全部能够容易地从计算设备500移除。在其他示例中，一个或更多个电池524中的一些或全部能够在计算设备500内部，因此可能不容易从计算设备500移除。一个或更多个电池524中的一些或全部能够是可再充电的。例如，可再充电电池能够经由电池与另一电源之间的有线连接来再充电，诸如通过在计算设备500外部并且经由一个或更多个外部电源接口连接到计算设备500的一个或更多个电源。在其他示例中，一个或更多个电池524中的一些或全部能够是不可充电电池。
电力系统522的一个或更多个外部电力接口526能够包括一个或更多个有线电力接口，诸如USB电缆和/或电源线，其使得能够实现到计算设备500外部的一个或更多个电源的有线电力连接。一个或更多个外部功率接口526能够包括一个或更多个无线功率接口，诸如Qi无线充电器，其实现诸如经由Qi无线充电器到一个或更多个外部电源的无线电功率连接。一旦使用一个或更多个外部电源接口526建立到外部电源的电功率连接，计算设备500就能够通过所建立的电功率连接从外部电源汲取电力。在一些示例中，电力系统522能够包括相关传感器，诸如与一个或更多个电池相关联的电池传感器或其他类型的电功率传感器。
V.基于云的服务器
图6描绘了根据示例实施例的被布置为基于云的服务器系统的计算集群609a、609b、609c的网络606。计算集群609a、609b、609c能够是存储基于云的应用和/或服务的程序逻辑和/或数据的基于云的设备；例如，执行卷积神经网络、置信度学习、预测目标图像、预测原始照明模型、卷积神经网络、置信度学习和/或方法300的至少一个功能和/或与卷积神经网络、置信度学习、预测原始照明模型、卷积神经网络、置信度学习和/或方法300相关的至少一个功能。
在一些实施例中，计算集群609a、609b、609c能够是驻留在单个计算中心中的单个计算设备。在其他实施例中，计算集群609a、609b、609c能够包括单个计算中心中的多个计算设备，或者甚至包括位于不同地理位置的多个计算中心中的多个计算设备。例如，图6描绘了驻留在不同物理位置的计算集群609a、609b和609c中的每一个。
在一些实施例中，计算集群609a、609b、609c处的数据和服务能够被编码为存储在非暂时性有形计算机可读介质(或计算机可读存储介质)中并且可由其他计算设备访问的计算机可读信息。在一些实施例中，计算集群609a、609b、609c能够存储在单个磁盘驱动器或其他有形存储介质上，或者能够在位于一个或更多个不同地理位置处的多个磁盘驱动器或其他有形存储介质上实现。
图6描绘了根据示例实施例的基于云的服务器系统。在图6中，卷积神经网络、置信度学习和/或计算设备的功能能够分布在计算集群609a、609b、609c之间。计算集群609a能够包括通过本地集群网络612a连接的一个或更多个计算设备600a、集群存储阵列610a和集群路由器611a。类似地，计算集群609b能够包括通过本地集群网络612b连接的一个或更多个计算设备600b、集群存储阵列610b和集群路由器611b。同样地，计算集群609c能够包括通过本地集群网络612c连接的一个或更多个计算设备600c、集群存储阵列610c和集群路由器611c。
在一些实施例中，计算集群609a、609b和609c中的每一个能够具有相等数量的计算设备、相等数量的集群存储阵列和相等数量的集群路由器。然而，在其他实施例中，每个计算集群能够具有不同数量的计算设备、不同数量的集群存储阵列和不同数量的集群路由器。每个计算集群中的计算设备、集群存储阵列和集群路由器的数量能够取决于分配给每个计算集群的一个或更多个计算任务。
在计算集群609a中，例如，计算设备600a能够被配置为执行卷积神经网络、置信度学习和/或计算设备的各种计算任务。在一个实施例中，卷积神经网络、置信度学习和/或计算设备的各种功能能够分布在计算设备600a、600b、600c中的一个或更多个中。各个计算集群609b和609c中的计算设备600b和600c能够与计算集群609a中的计算设备600a类似地配置。另一方面，在一些实施例中，计算设备600A、600B和600C能够被配置为执行不同的功能。
在一些实施例中，与卷积神经网络、置信度学习和/或计算设备相关联的计算任务和存储数据能够至少部分地基于卷积神经网络、置信度学习和/或计算设备的处理要求，计算设备600a、600b、600c的处理能力，每个计算集群中的计算设备之间以及计算集群本身之间的网络链路的延迟，和/或能够有助于整个系统架构的成本、速度、容错、弹性、效率和/或其他设计目标的其他因素而分布在计算设备600a、600b和600c上。
计算集群609a、609b、609c的集群存储阵列610a、610b、610c能够是包括被配置为管理对硬盘驱动器组的读写访问的磁盘阵列控制器的数据存储阵列。磁盘阵列控制器单独或与其各个计算设备结合还能够被配置为管理存储在集群存储阵列中的数据的备份或冗余副本，以防止磁盘驱动器或其他集群存储阵列故障和/或网络故障，这些故障阻止一个或更多个计算设备访问一个或更多个集群存储阵列。
类似于卷积神经网络、置信度学习和/或计算设备的功能能够跨计算集群609a、609b、609c的计算设备600a、600b、600c分布的方式，这些组件的各种活动部分和/或备份部分能够跨集群存储阵列610a、610b、610c分布。例如，一些集群存储阵列能够被配置为存储卷积神经网络、置信度学习和/或计算设备的数据的一部分，而其他集群存储阵列能够存储卷积神经网络、置信度学习和/或计算设备的数据的其他部分。另外，一些集群存储阵列能够被配置为存储存储在其他集群存储阵列中的数据的备份版本。
计算集群609a、609b、609c中的集群路由器611a、611b、611c能够包括被配置为为计算集群提供内部和外部通信的联网设备。例如，计算集群609a中的集群路由器611a能够包括一个或更多个互联网交换和路由设备，其被配置为(i)经由本地集群网络612a提供计算设备600a与集群存储阵列610a之间的局域网通信，以及(ii)经由到网络606的广域网链路613a提供计算集群609a与计算集群609b和609c之间的广域网通信。集群路由器611b和611c能够包括类似于集群路由器611a的网络设备，并且集群路由器611b和611c能够为计算集群609b和609b执行与集群路由器611a为计算集群609a执行的联网功能类似的联网功能。
在一些实施例中，集群路由器611a、611b、611c的配置能够至少部分地基于计算设备和集群存储阵列的数据通信要求，集群路由器611a、611b、611c中的网络设备的数据通信能力，本地集群网络612a、612b、612c的延迟和吞吐量，广域网链路613a、613b、613c的延迟、吞吐量和成本，和/或能够有助于调整系统架构的成本、速度、容错、弹性、效率和/或其他设计标准的其他因素。
VII.结论
本公开不限于本申请中描述的特定实施例，其旨在作为各个方面的说明。在不脱离其精神和范围的情况下，能够进行许多修改和变化，这对于本领域技术人员来说是清楚的。根据前面的描述，除了本文列举的那些之外，本公开范围内的功能上等同的方法和装置对于本领域技术人员而言将是清楚的。这些修改和变化旨在落入所附权利要求的范围内。
以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中，除非上下文另有规定，否则类似的符号通常标识类似的组件。在详细描述、附图和权利要求中描述的说明性实施例并不意味着是限制性的。在不脱离本文呈现的主题的精神或范围的情况下，能够利用其他实施例，并且能够进行其他改变。将容易理解的是，如本文一般描述的并且在附图中示出的本公开的各方面能够以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中明确考虑。
关于附图中如本文所讨论的任何或所有梯形图、场景和流程图，每个块和/或通信可以表示根据示例实施例的信息的处理和/或信息的传输。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中，例如，被描述为块、传输、通信、请求、响应和/或消息的功能可以与所示出或讨论的顺序不同地执行，包括基本上同时或以相反的顺序，这取决于所涉及的功能。此外，更多或更少的块和/或功能可以与本文讨论的任何梯形图、场景和流程图一起使用，并且这些梯形图、场景和流程图可以部分地或全部地彼此组合。
表示信息处理的块可以对应于能够被配置为执行本文描述的方法或技术的特定逻辑功能的电路。可替代地或附加地，表示信息处理的块可以对应于模块、段或程序代码的一部分(包括相关数据)。程序代码能够包括可由处理器执行的一个或更多个指令，用于实现方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，诸如包括磁盘或硬盘驱动器或其他存储介质的存储设备。
计算机可读介质还可以包括非暂时性计算机可读介质，诸如短时间段存储数据的非暂时性计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括更长时间段地存储程序代码和/或数据的非暂时性计算机可读介质，诸如辅助或持久长期存储装置，例如只读存储器(ROM)、光盘或磁盘、压缩盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或有形存储设备。
此外，表示一个或更多个信息传输的块可以对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而，其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间进行。
虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员而言将是清楚的。本文公开的各个方面和实施例是为了解释的目的而提供的，而不是限制性的，真实范围由所附权利要求指示。

Claims (26)

1.一种方法，包括：
在显示设备上显示用于图像捕获的图形界面，所述图形界面包括：(a)基于来自图像捕获设备的图像传感器的图像数据流的实时取景预览图像，以及(b)第一控制特征和第二控制特征；
经由图形界面接收对应于与第一控制特征的第一交互的第一输入数据，并且基于第一交互响应性地调整第一曝光设置；
将第一曝光设置实时应用于实时取景预览图像中的至少一个高亮区域；
经由图形界面接收对应于与第二控制特征的第二交互的第二输入数据，并且基于第二交互响应性地调整第二曝光设置；
将第二曝光设置实时应用于实时取景预览图像中的至少一个阴暗区域；以及
随后接收与图像捕获命令对应的第三输入数据，并且响应性地操作图像捕获设备以根据第一曝光设置和第二曝光设置两者来捕获图像。
2.根据权利要求1所述的方法，其中，第一控制特征和第二控制特征被显示为图形界面中的单个控制特征的一部分。
3.根据权利要求2所述的方法，其中，单个控制特征包括滑块，并且其中，第一控制特征和第二控制特征沿着滑块可移动。
4.根据权利要求3所述的方法，其中，第一界面特征和第二界面特征之间沿着滑块的距离与实时取景图像数据的范围压缩对应。
5.根据权利要求2所述的方法，其中，单个控制特征包括旋钮界面，其中，第一控制特征包括旋钮界面的内部可旋转元件，其中，第二控制特征包括旋钮界面的外部可旋转元件，并且其中，内部可旋转元件和外部可旋转元件两者围绕旋钮界面的中心点旋转。
6.根据权利要求2所述的方法，其中，单个控制特征包括X-Y垫，其中，第一控制特征和第二控制特征在X-Y垫内可移动。
7.根据权利要求1所述的方法，其中，第一控制特征包括第一滑块特征，并且第二控制特征包括第二滑块。
8.根据权利要求7所述的方法，其中，第一滑块可操作来调整由图像捕获系统使用以生成图像数据流的高亮曝光设置，并且其中，第二滑块可操作来调整由图像捕获系统使用以生成图像数据流的阴暗曝光设置。
9.根据权利要求1至8中任一项所述的方法，其中，第一曝光设置包括由图像捕获系统使用以生成图像数据流的高亮曝光设置。
10.根据权利要求1至9中任一项所述的方法，其中，第二曝光设置包括阴暗曝光设置。
11.根据权利要求10所述的方法，其中，所述阴暗曝光设置影响要应用于来自图像捕获系统的图像数据流的一个或更多个阴暗区域的增益量。
12.根据权利要求1至11中任一项所述的方法，还包括：将局部曝光设置应用于图像数据流以生成实时取景图像数据。
13.根据权利要求1至12中任一项所述的方法，其中，实时取景图像数据为图像捕获系统提供所见即所得(WYSIWYG)取景器。
14.根据权利要求1至13中任一项所述的方法，其中，所述图形界面还包括用于使图像捕获系统捕获图像数据的图像捕获特征。
15.一种计算设备，包括：
一个或更多个处理器；以及
一个或更多个计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令在由所述一个或更多个处理器执行时使移动计算设备执行包括根据权利要求1至14中任一项所述的方法的功能。
16.一种计算设备，包括：
用于执行根据权利要求1至14中任一项所述的方法的装置。
17.一种制品，包括其上存储有计算机可读指令的一个或更多个计算机可读介质，所述计算机可读指令在由计算设备的一个或更多个处理器执行时使所述计算设备执行包括权利要求1至14中任一项所述的方法的功能。
18.根据权利要求17所述的制品，其中，所述一个或更多个计算机可读介质包括一个或更多个非暂时性计算机可读介质。
19.一种方法，包括：
在显示设备上显示用于图像捕获的图形界面，所述图形界面包括：(a)基于来自图像捕获设备的图像传感器的图像数据流的实时取景预览，以及(b)第一控制特征和第二控制特征；
经由图形界面接收对应于与第一控制特征的第一交互的第一输入数据，并且基于第一交互响应性地调整第一图像设置；
将第一图像设置实时应用于实时取景预览中的至少一个高亮区域；
经由图形界面接收对应于与第二控制特征的第二交互的第二输入数据，并且基于第二交互响应性地调整第二图像设置；
将第二图像设置实时应用于实时取景预览图像中的至少一个高亮区域；以及
随后接收与图像捕获命令对应的第三输入数据，并且响应性地操作图像捕获设备以根据第一曝光设置和第二曝光设置两者来捕获图像。
20.根据权利要求19所述的方法：
其中，应用第一图像设置包括调整实时取景预览的短总曝光时间；以及
其中，应用第二图像设置包括调整实时取景预览的长总曝光时间。
21.根据权利要求19所述的方法，其中，第一控制特征提供对实时取景预览中的高亮区域的调整，并且其中，第二控制特征提供对实时取景预览中的阴暗区域的调整。
22.根据权利要求21所述的方法：
其中，应用第一图像设置包括调整实时取景预览的短总曝光时间和长总曝光时间；以及
其中，应用第二图像设置包括调整实时取景预览的长总曝光时间。
23.根据权利要求19所述的方法，其中，第一控制特征提供对实时取景预览的亮度的调整，并且其中，第二控制特征提供实时取景预览中的阴暗调整。
24.根据权利要求23所述的方法：
其中，应用第一图像设置包括调整实时取景预览的短总曝光时间和长总曝光时间，其中，对长总曝光时间和短总曝光时间的调整是在相同方向上进行的；以及
其中，应用第二图像设置包括调整实时取景预览的长总曝光时间。
25.根据权利要求19所述的方法，其中，第一控制特征提供对实时取景预览的亮度的调整，并且其中，第二控制特征提供对实时取景预览中的对比度的调整。
26.根据权利要求23所述的方法：
其中，应用第一图像设置包括对实时取景预览的短总曝光时间进行第一调整和对长总曝光时间进行第一调整，其中，对长总曝光时间和短总曝光时间的第一调整是在相同方向上进行的；以及
其中，应用第二图像设置包括对实时取景预览的短总曝光时间进行第二调整和对长总曝光时间进行第二调整，其中，对长总曝光时间和短总曝光时间的第二调整是在彼此相反的方向上进行的。
CN201980099515.2A 2019-08-19 2019-08-19 相机系统中的双曝光控制 Pending CN114258673A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2019/047061 WO2021034311A1 (en) 2019-08-19 2019-08-19 Dual exposure control in a camera system

Publications (1)

Publication Number Publication Date
CN114258673A true CN114258673A (zh) 2022-03-29

Family

ID=67851224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980099515.2A Pending CN114258673A (zh) 2019-08-19 2019-08-19 相机系统中的双曝光控制

Country Status (4)

Country Link
US (1) US11800235B2 (zh)
EP (1) EP4018641B1 (zh)
CN (1) CN114258673A (zh)
WO (1) WO2021034311A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230308769A1 (en) * 2022-03-25 2023-09-28 Google Llc Methods and Systems for User Adjustable Region based Brightness Settings
CN115802169B (zh) * 2022-11-29 2024-04-30 福州鑫图光电有限公司 一种基于亮度直方图的自动曝光方法及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112131A (ko) * 2008-04-23 2009-10-28 삼성테크윈 주식회사 광역 역광보정 영상처리에서의 전처리 방법 및 장치
JP2013251724A (ja) * 2012-05-31 2013-12-12 Olympus Imaging Corp 撮影機器
WO2018066454A1 (ja) * 2016-10-04 2018-04-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
CN108702452A (zh) * 2017-06-09 2018-10-23 华为技术有限公司 一种图像拍摄方法及装置
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041890A (ja) 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090112131A (ko) * 2008-04-23 2009-10-28 삼성테크윈 주식회사 광역 역광보정 영상처리에서의 전처리 방법 및 장치
JP2013251724A (ja) * 2012-05-31 2013-12-12 Olympus Imaging Corp 撮影機器
WO2018066454A1 (ja) * 2016-10-04 2018-04-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
CN108702452A (zh) * 2017-06-09 2018-10-23 华为技术有限公司 一种图像拍摄方法及装置
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法

Also Published As

Publication number Publication date
EP4018641A1 (en) 2022-06-29
EP4018641B1 (en) 2024-01-24
US20220256068A1 (en) 2022-08-11
US11800235B2 (en) 2023-10-24
WO2021034311A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US12003853B2 (en) Systems and methods for adjusting focus based on focus target information
US20190215440A1 (en) Systems and methods for tracking a region using an image sensor
US10516877B2 (en) Light field collection control methods and apparatuses, light field collection devices
US9179062B1 (en) Systems and methods for performing operations on pixel data
CN113518210B (zh) 图像自动白平衡的方法及装置
US8547443B2 (en) Methods, apparatuses, systems, and computer program products for high dynamic range imaging
JP7013578B2 (ja) 単視点深度予測のための絞りの監視
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
US20170150045A1 (en) Device and method for generating a panoramic image
KR102146855B1 (ko) 촬영 설정 값을 공유하는 촬영 장치 및 방법 및 공유 시스템
CN114258673A (zh) 相机系统中的双曝光控制
KR20220067034A (ko) 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체
US20230132230A1 (en) Efficient Video Execution Method and System
US20230125040A1 (en) Temporally Consistent Neural Network Processing System
JP2021132292A (ja) 撮像装置、撮像装置の制御方法、システム、及び、プログラム
KR20230033994A (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
US20230308769A1 (en) Methods and Systems for User Adjustable Region based Brightness Settings
Yang et al. Personalized attention-aware exposure control using reinforcement learning
KR102676676B1 (ko) 사진 촬영 부스 및 사진 촬영 부스를 제어하는 방법
KR20240051782A (ko) 카메라를 이용하여 영상을 획득하는 전자 장치 및 그 동작 방법
KR20240079123A (ko) 이미지의 뷰 영역을 결정하는 전자 장치 및 그 동작 방법
WO2024191418A1 (en) Images with synthetic focus profiles generated from images from multiple perspectives
EP4434007A1 (en) Co-training of action recognition machine learning models
KR20220129885A (ko) 촬영 제어 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination