CN116711317A - 用于图像处理的高动态范围技术选择 - Google Patents

用于图像处理的高动态范围技术选择 Download PDF

Info

Publication number
CN116711317A
CN116711317A CN202180089685.XA CN202180089685A CN116711317A CN 116711317 A CN116711317 A CN 116711317A CN 202180089685 A CN202180089685 A CN 202180089685A CN 116711317 A CN116711317 A CN 116711317A
Authority
CN
China
Prior art keywords
image
hdr
preview image
technique
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180089685.XA
Other languages
English (en)
Inventor
T-H·刘
冯文俊
W-C·刘
J-Z·刘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN116711317A publication Critical patent/CN116711317A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

一种用于相机处理的设备被配置成接收预览图像，以及基于该预览图像的像素的亮度值来确定该预览图像是否是高动态范围(HDR)场景。该设备可以进一步基于预览图像不是HDR场景的确定，来确定使用单帧图像捕捉技术，以及基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动，来确定使用多个HDR图像捕捉技术中的一者。该设备然后可以使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。

Description

用于图像处理的高动态范围技术选择
本申请要求2021年1月14日提交的美国专利申请号17/149,371的优先权，该申请的全部内容通过引用并入本文中。
技术领域
本公开涉及图像捕捉和处理。
背景技术
图像捕捉设备被并入到各种各样的设备中。在本公开中，图像捕捉设备是指可以捕捉一个或多个数字图像的任何设备，包括可以捕捉静止图像的设备以及可以捕捉图像序列以记录视频的设备。作为示例，图像捕捉设备可以包含独立的数码相机或数字视频摄录机、配备有相机的无线通信设备手持机(诸如具有一个或多个相机的移动电话、蜂窝式或卫星无线电电话)、配备有相机的个人数字助理(PDA)、面板或平板型计算机、游戏设备、包括相机(诸如所谓的“网络摄像头”)的计算机设备，或具有数字成像或视频能力的任何设备。
由数码相机所捕捉的图像通常是低动态范围(LDR)图像(有时称为标准动态范围或SDR)。取决于相机的曝光设置，在某些照明情况下，LDR/SDR捕捉的图像可能包括图片亮区域或暗区域的细节的丢失。高动态范围(HDR)图像可以更准确地表示暗区域(例如，阴影)和光线亮区域(例如，阳光)，因为HDR图像通常包括更多可能的亮度值(例如，明度)。在一些示例中，可以通过组合不同曝光设置下的多个LDR图像来产生HDR图像。
图像捕捉设备可以包括多个图像传感器和/或多个镜头，这些图像传感器和/或镜头可以用于支持各种成像技术，诸如高动态范围(HDR)成像、多帧HDR(MFHDR)成像等。图像传感器继而可以将图像数据传递到相机处理器。示例性镜头类型包括广角镜头、超广角镜头、远摄镜头、望远镜头、潜望镜式变焦镜头、鱼眼镜头、微距镜头、定焦镜头或其各种组合。作为示例，具有双相机配置的图像捕捉设备可以包括广角镜头和远摄镜头。类似地，除了广角镜头和远摄镜头之外，三相机配置可以包括超广角镜头。通过使用多个镜头和/或图像传感器，图像捕捉设备的相机处理器可以捕捉具有各种视场(FOV)的图像、调整缩放级别、应用聚焦效应、和/或创建图像数据的一个或多个合成帧(例如，从多个图像的组合产生的图像)。
发明内容
大体上，本公开描述了涉及高动态范围(HDR)成像的相机处理技术。图像捕捉设备可以被配置成使用包括HDR图像捕捉技术的多个图像捕捉技术中的一者来捕捉一个或多个图像。图像捕捉设备可用的各种图像捕捉技术可能或多或少易受重影影响。重影效应通常出现在多帧图像捕捉技术中，其中多个图像被捕捉并融合在一起。因为多个图像是在一时间段内捕捉的，所以如果场景中存在相对于捕捉多个图像的时间延迟快速移动的对象，则场景中的一些对象可能不在所捕捉的不同图像中的相同位置。这种情况可能导致通过融合所捕捉的多个图像而形成的图像中的运动模糊或“重影”。
此外，图像捕捉设备可用的各种图像捕捉技术，包括HDR图像捕捉技术，可以基于被捕捉的场景的特性而展现更高或更低的信噪比(SNR)。例如，诸如四拜耳(Quad-Bayer)滤色器阵列(QCFA)传感器的像素合并(binning)传感器可以被配置成对四个相邻颜色传感器的值进行平均，以产生最终的输出像素。在像素合并模式下，QCFA传感器通常具有高SNR，尤其是在弱光环境中与非像素合并传感器相比时。然而，在一些HDR图像捕捉模式中，QCFA传感器不使用可用的像素合并的全部量，且因此，对于一些场景，可能产生具有较低SNR的图像。
鉴于这些问题，本公开描述了用于从多个图像捕捉技术中确定图像捕捉技术的技术。在一个示例中，图像捕捉设备可以分析预览图像的像素的亮度值的直方图，以便确定待捕捉的场景是HDR场景还是不是HDR场景。通常，HDR场景在直方图的欠饱和(例如，非常暗)区域和过饱和(例如，非常亮)区域都具有相对高百分比的亮度值。如果图像捕捉设备确定预览图像不是HDR场景，则图像捕捉设备可以被配置成使用单帧图像捕捉技术(例如，单像素合并帧)来捕捉后续图像。使用单帧图像捕捉技术极大地减少和/或消除了图像中重影的可能性，因为一次只捕捉单个图像(例如，不执行图像融合)。此外，单帧图像捕捉技术(例如，像素合并帧)的使用通常导致所得图像中的高SNR。
如果图像捕捉设备确定预览图像是HDR场景，则图像捕捉设备可以基于在预览图像中检测到运动，并且如果存在运动，还基于该运动在图像中的定位，来确定使用多个HDR捕捉技术中的一者。例如，如果图像捕捉设备确定场景是HDR场景(例如，基于如上所述的直方图)，并且还确定场景中没有运动，则图像捕捉设备可以确定使用捕捉多个帧并将多个帧融合在一起的HDR图像捕捉技术(例如，MFHDR)。虽然MFHDR易受重影影响，但MFHDR通常能产生高SNR的图像。然而，因为图像捕捉设备确定在预览图像中没有检测到运动，所以可以使用MFHDR，因为重影的概率很低。
如果图像捕捉设备确定该场景是HDR场景(例如，基于如上所述的直方图)，并且还确定该场景中存在运动，则图像捕捉设备可以进一步确定该运动是否在图像的暗区域中。如果运动不在暗区域中(例如，运动在图像的亮区域中)，则图像捕捉设备可以选择使用单帧HDR技术。单帧HDR技术不易受到重影的影响，但是可能提供通常较低的SNR。如果运动处于暗区域中，则图像捕捉设备可以选择将来自单帧HDR技术的图像与使用像素合并模式捕捉的另一图像融合。将单帧HDR图像与像素合并帧融合提供了高SNR，同时在亮区域也不容易出现重影。因为运动是在图像的暗区域，所以降低了图像中出现重影效应的可能性。通常，本公开的技术可以导致图像捕捉技术的更优选择，使得以高SNR和最小到无重影来捕捉HDR场景。
在一个示例中，本公开的技术涉及一种方法，包含：接收预览图像；基于预览图像的像素的亮度值来确定预览图像是否为高动态范围(HDR)场景；基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术；基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者；以及使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
在另一示例中，本公开的技术涉及一种被配置用于相机处理的设备，该设备包含存储器，该存储器被配置成：接收预览图像；基于预览图像的像素的亮度值来确定预览图像是否为高动态范围(HDR)场景；基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术；基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者；以及使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
本公开还描述了用于执行本文描述的技术中的任一者的部件。在示例中，本公开的技术涉及一种被配置成执行相机处理的装置，该装置包含：用于接收预览图像的部件；用于基于预览图像的像素的亮度值来确定预览图像是否为高动态范围(HDR)场景的部件；用于基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术的部件；用于基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者的部件；以及用于使用一个或多个图像来产生输出图像的部件，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
在另一示例中，本公开描述了一种存储指令的非暂时性计算机可读存储介质，该指令在被执行时，使得一个或多个处理器：接收预览图像；基于预览图像的像素的亮度值来确定预览图像是否为高动态范围(HDR)场景；基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术；基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者；以及使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
该发明内容旨在提供本公开中描述的主题的概述。其并不旨在提供对附图和说明书中详细描述的系统、设备和方法的排他性或详尽的解释。在附图和以下描述中陈述了所公开技术的一个或多个示例的进一步细节。所公开技术的其他特征、目标和优点将从描述、附图以及权利要求而显而易见。
附图说明
图1是被配置成执行本公开中描述的示例性技术中的一者或多者的设备的框图。
图2是示出示例性图像传感器和图像捕捉模式的概念图。
图3是更详细地示出图1的计算设备的示例性组件的框图。
图4是更详细地示出图3的计算设备的示例性组件的框图。
图5是示出本公开的示例性方法的流程图。
图6是示出示例性运动图的概念图。
图7是示出示例性亮度直方图的概念图。
图8是针对HDR和像素合并帧图像捕捉技术更详细地示出图1的计算设备的示例性组件的框图。
图9是示出与图8的技术一起使用的示例性融合权重的概念图。
图10是示出根据本公开的示例性技术的相机处理的示例性操作的流程图。
在整个说明书和附图中，相同的附图标记表示相同的元件。
具体实施方式
高动态范围(HDR)成像包括用于再现图像中亮度值的较宽动态范围图像的图像捕捉技术。HDR成像对于包括非常暗的区域和非常亮的区域的场景可能特别有用。传统的单帧图像捕捉模式可能无法保留非常亮的和非常暗的区域的细节。
在大多数成像设备中，应用于图像传感器的光的曝光度可以以两种方式中的一种来改变：通过增大/减小光圈的大小，或者通过增大/减小每次曝光的时间(例如，通过调整快门速度)。由于相机传感器的物理性质，可能无法捕捉具有非常宽的亮度值范围的场景(例如，展现高动态范围的场景)中存在的所有亮度值。也就是说，相机传感器可能无法记录场景中人眼可感知的所有亮度值。
例如，为了维持场景中较暗区域的细节，相机可以降低快门速度和/或增加光圈大小。然而，这将导致较亮区域过度曝光(例如，图像传感器输出将输出许多不同实际亮度值的最大亮度值)，并且较亮区域中的细节将丢失。为了维持较亮区域中的细节，相机可以增加快门速度和/或减小光圈大小。然而，这将导致较暗区域曝光不足(例如，图像传感器输出将输出许多不同实际亮度值的最小亮度值)，并且这些较暗区域中的细节将丢失。
在一些示例中，相机设备可以被配置成通过在不同的曝光设置下捕捉多个图像、并且然后组合多个图像以形成更准确地表示场景中的所有亮度值的最终图像，来产生HDR图像。这种捕捉技术有时被称为多帧HDR(MFHDR)。在一些示例中，通过仅改变曝光时间而不改变光圈大小来实现HDR产生的曝光变化。这是因为改变光圈大小也可能影响每一输出图像的景深，这在一些应用中可能是不期望的。在其他应用中，相机可以调整光圈和快门速度两者，以输出用于形成HDR图像的多个图像。相机还可以被配置成使用单帧传感器内HDR技术来捕捉HDR图像，以产生更宽动态范围的图像，并保留场景的高光以及亮区域和暗区域中的细节。通常，MFHDR可以产生具有较高信噪比(SNR)的图像，但由于在一段时间内捕捉多个连续图像，因此可能更易受重影(例如，运动模糊)的影响。传感器内单帧HDR技术对重影较不敏感，但相对于MFHDR技术，可能产生具有较低SNR的图像。
从上面的示例可以看出，使用单个HDR图像捕捉技术可能不适用于所有的HDR场景。一些HDR图像捕捉技术可能易受重影影响，而其他HDR图像捕捉技术可能没有重影，但是可能产生具有低于期望SNR的图像。鉴于这些缺点，本公开描述了涉及从预览图像中分析场景、并基于该分析确定多种HDR图像捕捉技术中的一种以用于捕捉并产生HDR图像的技术。
相机设备可以被配置成基于预览图像中的亮度值的直方图(例如，识别HDR场景)、在预览图像中检测到运动、和/或预览图像中检测到图像运动的特定区域(例如，暗区域或亮区域)中的一者或多者来确定要使用的HDR图像捕捉技术。以此方式，本公开的技术可以允许相机设备选择将产生具有高SNR和低重影伪影概率的图像的HDR图像捕捉技术。
图1是计算设备10的框图，该计算设备10被配置成执行本公开中描述的用于确定HDR图像捕捉技术的示例性技术中的一者或多者。计算设备10的示例包括计算机(例如，个人计算机、台式计算机或膝上型计算机)、诸如平板计算机的移动设备、无线通信设备(诸如，例如移动电话、蜂窝式电话、卫星电话和/或移动电话手持机)、互联网电话、数码相机、数字录像机、手持式设备(诸如便携式视频游戏设备或个人数字助理(PDA))、无人机设备、或可以包括一个或多个相机的任何设备。在一些示例中，计算设备10可以包括一个或多个相机处理器14、中央处理单元(CPU)16、视频编码器/解码器17、图形处理单元(GPU)18、GPU18的本地存储器、用户接口22、提供对系统存储器30的接入的存储器控制器24、以及输出使得图形数据被显示在显示器28上的信号的显示接口26。
如图1中的示例所示，计算设备10包括一个或多个图像传感器12A-N。在一些情况下，(一个或多个)图像传感器12A-N在本文中可以简称为“传感器12”，而在其他情况下，在适当的情况下可以称为多个“传感器12”。传感器12可以是任何类型的图像传感器，包括含有拜耳滤波器的传感器，或HDR交错传感器，诸如四拜耳传感器或四拜耳颜色滤波器阵列(QCFA)传感器。
计算设备10还包括一个或多个镜头13A-N。类似地，在一些情况下，(一个或多个)镜头13A-N在本文中可以简称为“镜头13”，而在其他情况下，在适当的情况下可以称为多个“镜头13”。在一些示例中，(一个或多个)传感器12表示一个或多个图像传感器12，每一图像传感器12可以包括处理电路、用于捕捉光的表示的像素传感器(例如，像素)阵列、存储器，诸如缓冲存储器或片上传感器存储器等。在一些示例中，每一图像传感器12可以与不同类型的镜头13耦合，每一镜头和图像传感器组合具有不同的光圈和/或视场。示例性镜头可以包括远摄镜头、广角镜头、超广角镜头或其他类型的镜头。
如图1中所示，计算设备10包括多个相机15。如本文所使用，术语“相机”是指计算设备10的特定图像传感器12，或计算设备10的多个图像传感器12，其中(一个或多个)图像传感器12与计算设备10的一个或多个镜头13组合布置。也就是说，计算设备10的第一相机15是指包括一个或多个图像传感器12和一个或多个镜头13的第一集合设备，并且与第一相机15分离的第二相机15是指包括一个或多个图像传感器12和一个或多个镜头13的第二集合设备。另外，可以通过相机处理器14或CPU 16从特定相机15的(一个或多个)图像传感器12接收图像数据。也就是说，在一些示例中，(一个或多个)相机处理器14或CPU 16可以从第一相机15的第一图像传感器12接收第一组图像数据帧，并且从第二相机15的第二图像传感器12接收第二组图像数据帧。
在示例中，如本文所使用的术语“相机”是指组合的图像传感器12和镜头13，它们耦合在一起，被配置成捕捉至少一帧图像数据，并将该至少一帧图像数据传递到(一个或多个)相机处理器14和/或CPU 16。在说明性示例中，第一相机15被配置成将第一帧图像数据传递到(一个或多个)相机处理器14，并且第二相机15被配置成将第二帧图像数据传递到(一个或多个)相机处理器14，其中这两帧是由不同的相机捕捉的，这可以由例如第一帧和第二帧的FOV和/或变焦水平的差异来证明。FOV和/或变焦水平的差异可以对应于第一相机15和第二相机15之间的焦距差异。
计算设备10可以包括双镜头设备、三镜头设备、360度相机镜头设备等。因而，每一镜头13和图像传感器12的组合可以提供各种变焦水平、视角(AOV)、焦距、视场(FOV)等。在一些示例中，可以为每一镜头13分配特定的图像传感器12，且反之亦然。例如，多个图像传感器12可以各自被分配给不同的镜头类型(例如，广角镜头、超广角镜头、远摄镜头和/或潜望镜镜头等)。
(一个或多个)相机处理器14可以被配置成控制相机15的操作，并对从相机15接收的图像执行处理。在一些示例中，(一个或多个)相机处理器14可以包括图像信号处理器(ISP)23。例如，(一个或多个)相机处理器14可以包括处理图像数据的电路。包括ISP 23的(一个或多个)相机处理器14可以被配置成对由图像传感器12捕捉的图像数据执行各种操作，包括自动白平衡、颜色校正或其他后处理操作。图1示出被配置成对相机15的输出进行操作的单个ISP 23。在其他示例中，(一个或多个)相机处理器14可以包括用于每一相机15的ISP 23，以便提高处理速度和/或改进来自相机15的多个相机的同时图像捕捉的同步。
在一些示例中，(一个或多个)相机处理器14可以执行“3A”算法。此类算法可以包括自动聚焦(AF)、自动曝光控制(AEC)和自动白平衡(AWB)技术。在此类示例中，3A可以表示统计算法处理引擎的功能性，其中(一个或多个)相机处理器14之一可以实现和操作此类处理引擎。
在一些示例中，(一个或多个)相机处理器14被配置成从(一个或多个)图像传感器12接收图像帧(例如，像素数据)，并处理图像帧以产生图像和/或视频内容。例如，(一个或多个)图像传感器12可以被配置成捕捉个别帧、HDR帧、帧突发、用于产生视频内容的帧序列、在记录视频时捕捉的静态照片、预览帧或来自静态照片的捕捉之前和/或之后的运动照片。CPU 16、GPU 18、(一个或多个)相机处理器14或一些其他电路可以被配置成将由(一个或多个)传感器12捕捉的图像和/或视频内容处理成用于在显示器28上显示的图像或视频。图像帧通常可以指代静态图像的数据帧或视频数据帧或其组合，诸如具有运动照片。(一个或多个)相机处理器14可以从(一个或多个)传感器12接收任何格式的图像帧的像素数据。例如，像素数据可以包括不同的颜色格式，诸如RGB、YCbCr、YUV等。在任何情况下，(一个或多个)相机处理器14可以从(一个或多个)图像传感器12接收多个图像数据帧。
在包括多个相机处理器14的示例中，(一个或多个)相机处理器14可以共享(一个或多个)传感器12，其中(一个或多个)相机处理器14中的每一者可以与(一个或多个)传感器12中的每一者对接。在任何情况下，(一个或多个)相机处理器14可以使用(一个或多个)传感器12的多个像素传感器来发起对场景的视频或图像的捕捉。在一些示例中，视频可以包括单独帧的序列。因而，(一个或多个)相机处理器14使得(一个或多个)传感器12使用多个像素传感器来捕捉图像。
(一个或多个)传感器12然后可以向(一个或多个)相机处理器14输出像素信息(例如，像素值、亮度值、颜色值、电荷值、模数单元(ADU)值等)，像素信息表示捕捉的图像或捕捉的图像序列。在一些示例中，(一个或多个)相机处理器14可以处理单色和/或颜色图像，以获得场景的增强的颜色图像。在一些示例中，(一个或多个)相机处理器14可以确定用于不同类型的像素混合的(一个或多个)通用混合权重系数，或者可以确定用于混合构成像素帧的不同类型的像素的(一个或多个)不同的混合权重系数(例如，用于混合经由第一相机15的单色传感器获得的像素和经由第二相机15的单色传感器获得的像素的第一混合权重系数，用于混合经由第一相机15的拜耳传感器获得的像素和经由第二相机15的拜耳传感器获得的像素的第二混合权重系数等)。
在本公开的示例中，(一个或多个)相机处理器14可以使得图像传感器12的特定图像传感器以HDR模式捕捉一个或多个图像。在一些示例中，(一个或多个)相机处理器14和/或相机15可以被配置成根据多个HDR捕捉技术中的一者来捕捉和产生HDR图像。
在一个示例中，(一个或多个)相机处理器14可以使图像传感器12以不同的曝光设置(例如，长曝光、中曝光和短曝光)来捕捉多个图像(例如，三个)。此类技术有时被称为多帧HDR(MFHDR)。在一个示例中，(一个或多个)相机处理器14可以被配置成使得图像传感器12以不同的快门速度但以相同的光圈大小来产生多个图像。图像传感器12可以例如基于变焦设置和所选择的镜头类型(例如，远摄、广角、超广角等)以特定的视场(FOV)和特定的分辨率输出多个图像。ISP 23可以接收多个图像，并且除了任何3A或其他处理之外，还可以执行MFHDR处理技术以将多个图像组合成HDR图像。
在另一示例中，(一个或多个)相机处理器14可以使用从相机15之一输出的单帧来产生HDR图像。单帧HDR可以包括使用单个图像的直方图均衡化后处理，该技术有时被称为局部色调映射(LTM)。在其他示例中，如下文将解释的，(一个或多个)相机处理器14可以指示相机15之一使用传感器内四拜耳译码(QBC)HDR技术来捕捉单帧HDR图像。传感器内QBCHDR技术可以包括捕捉单个图像，其中图像传感器12的像素传感器的第一部分以长曝光捕捉光，图像传感器12的像素传感器的第二部分以中等长度曝光捕捉光，并且图像传感器12的像素传感器的第三部分以短曝光捕捉光。
在其他示例中，(一个或多个)相机处理器14可以使用具有自适应动态范围译码(ADRC)的像素合并帧从相机15之一的输出产生HDR图像。当执行ADRC时，(一个或多个)相机处理器14可以通过用较低的传感器曝光捕捉图像来保留图像的高亮度区域。(一个或多个)相机处理器14然后可以将数字增益应用于输出图像以补偿整体亮度。
用于产生HDR图像的另一示例性技术是交错多帧HDR图像捕捉技术。在交错多帧HDR图像捕捉技术中，(一个或多个)相机处理器14可以被配置成使得相机15使用多个滚动快门来捕捉多个图像。滚动快门在一个时刻不从整个场景产生图像，而是通过扫描图像传感器12的行或列来产生图像。例如，相机15可以将长周期滚动快门捕捉与短周期滚动快门捕捉相结合。相机15可以行交织两个滚动快门的输出。
计算设备10可用的各种图像捕捉技术可能或多或少易受重影影响。重影效应通常出现在其中多个图像被捕捉并融合在一起的HDR图像捕捉技术中(例如，MFHDR)。因为多个图像是在一时间段内捕捉的，所以如果场景中存在相对于捕捉多个图像的时间延迟快速移动的对象，则场景中的一些对象可能不在所捕捉的不同图像中的相同位置。这种情况可能导致通过融合所捕捉的多个图像而形成的图像中的运动模糊或“重影”。
此外，计算设备10可用的各种图像捕捉技术，包括HDR图像捕捉技术，可以基于被捕捉的场景的特性而展现更高或更低的信噪比(SNR)。例如，图像传感器12中的一者可以是像素合并传感器，诸如四拜耳颜色滤波器阵列(QCFA)传感器。QCFA传感器可以被配置成对四个相邻颜色传感器的值进行平均，以产生最终的输出像素。在像素合并模式下，QCFA传感器通常具有高SNR，尤其是在弱光环境中与非像素合并传感器相比时。然而，在一些HDR图像捕捉模式中，QCFA传感器不使用可用的像素合并的全部量，并且因此，对于一些场景，可能产生具有较低SNR的图像。
鉴于这些问题，本公开描述了用于从多个图像捕捉技术中确定一种图像捕捉技术的技术。在一个示例中，HDR选择器19可以分析由图像传感器12中的一者捕捉的预览图像的像素的亮度值的直方图，以便确定待捕捉的场景是HDR场景还是不是HDR场景。通常，HDR场景在直方图的欠饱和(例如，非常暗)区域和过饱和(例如，非常亮)区域都具有相对高百分比的亮度值。如果HDR选择器19确定预览图像不是HDR场景，则(一个或多个)相机处理器14可以被配置成使用单帧图像捕捉技术(例如，单像素合并帧)来捕捉后续图像。使用单帧图像捕捉技术极大地减少和/或消除了图像中重影的可能性，因为一次只捕捉单个图像(例如，不执行图像融合)。此外，单帧图像捕捉技术(例如，像素合并帧)的使用通常导致所得图像中的高SNR。
如果HDR选择器19确定预览图像是HDR场景，则HDR选择器19可以基于在预览图像中检测到运动来确定使用多个HDR捕捉技术中的一者，并且如果存在运动，则HDR选择器19可以进一步基于预览图像中的运动的定位来确定HDR捕捉技术。例如，如果HDR选择器19确定场景是HDR场景(例如，基于如上所述的直方图)，并且还确定场景中没有运动，则HDR选择器19可以确定使用捕捉多个帧并将它们融合在一起的HDR图像捕捉技术(例如，MFHDR)。虽然MFHDR易受重影影响，但MFHDR通常能产生高SNR的图像。然而，因为HDR选择器19确定在预览图像中没有检测到运动，所以可以使用MFHDR，因为重影的概率很低。
如果HDR选择器19确定该场景是HDR场景(例如，基于如上所述的直方图)，并且还确定该场景中存在运动，则HDR选择器19可以进一步确定该运动是否在图像的暗区域中。如果运动不在暗区域中(例如，运动在图像的亮区域中)，则HDR选择器19可以选择使用单帧HDR技术。单帧HDR技术不易受到重影的影响，但是可能提供通常较低的SNR。如果运动处于暗区域中，则HDR选择器19可以选择将来自单帧HDR技术的图像与使用像素合并模式捕捉的另一图像融合。将单帧HDR图像与像素合并帧融合提供了高SNR，同时在亮区域也不容易出现重影。因为运动是在图像的暗区域，所以降低了图像中出现重影效应的可能性。通常，本公开的技术可以带来图像捕捉技术的更优选择，使得以高SNR和最小到无重影来捕捉HDR场景。
在一个示例中，(一个或多个)相机处理器14可以将预览帧划分成多个区域(例如，64×48像素区域)。HDR选择器19可以从ISP 23执行的AEC获得每一区域的亮度信息(例如，平均亮度信息)。HDR选择器19可以基于与阈值相比的区域的亮度信息来确定该区域是否是暗的。
根据本公开的一个示例，(一个或多个)相机处理器14可以被配置成接收预览图像，基于预览图像的像素的亮度值来确定预览图像是否为HDR场景，基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术，基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，并且使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
下文参考图2至10更详细描述关于HDR选择器19的操作的附加细节。如下文将更详细解释的，(一个或多个)相机处理器14可以包括和/或被配置成执行HDR选择器19。也就是说，HDR选择器19可以是由(一个或多个)相机处理器14执行的软件，可以是由(一个或多个)相机处理器14执行的固件，或者可以是(一个或多个)相机处理器14内的专用硬件。图1示出了与ISP 23分离的HDR选择器19，但在一些示例中，HDR选择器19可以是ISP 23的一部分。
尽管计算设备10的各种结构在图1中被示为分离的，但本公开的技术不限于此，并且在一些示例中，这些结构可以被组合以形成片上系统(SoC)。作为示例，(一个或多个)相机处理器14、CPU 16、GPU 18和显示接口26可以形成在通用集成电路(IC)芯片上。在一些示例中，(一个或多个)相机处理器14、CPU 16、GPU 18和显示接口26中的一者或多者可以形成在单独的IC芯片上。此外，在一些示例中，(一个或多个)相机处理器14的HDR选择器19可以是ISP 23的一部分。在其他示例中，HDR选择器19可以用软件实现并由CPU 16执行。各种其他排列和组合是可能的，并且本公开的技术不应被认为限于图1中所示的示例。在示例中，CPU 16可以包括(一个或多个)相机处理器14，使得(一个或多个)相机处理器14中的一者或多者是CPU 16的一部分。在此类示例中，CPU 16可以被配置成执行本文否则归于(一个或多个)相机处理器14的各种技术中的一者或多者。出于本公开的目的，(一个或多个)相机处理器14将在本文中被描述为与CPU 16分离且不同，尽管情况可能并不总是如此。
图1中所示的各种结构可以被配置成使用总线32彼此通信。总线32可以是各种总线结构中的任一者，诸如第三代总线(例如，HyperTransport总线或InfiniBand总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)快速总线或高级可扩展接口(AXI)总线)或另一类型的总线或设备互连。应注意，图1所示的不同结构之间的总线和通信接口的具体配置仅仅是例示性的，并且具有相同或不同结构的计算设备和/或其他图像处理系统的其他配置可以用于实现本公开的技术。
此外，图1中所示的各种组件(无论是形成在一个设备上还是不同的设备上)，包括(一个或多个)传感器12和(一个或多个)相机处理器14，可以形成为固定功能或可编程电路中的至少一者，或者两者的组合，诸如在一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或者其他等效的集成或离散逻辑电路中。此外，本地存储器20的示例包括一个或多个易失性或非易失性存储器或存储设备，诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、磁性数据介质或光学存储介质。
在一些示例中，存储器控制器24可以促进进出系统存储器30的数据传递。例如，存储器控制器24可以接收存储器读取和写入命令，并且关于存储器30服务此类命令，以便为计算设备10的各种组件提供存储器服务。在此类示例中，存储器控制器24可以通信地耦合到系统存储器30。尽管存储器控制器24在图1的计算设备10的示例中被示为与CPU 16和系统存储器30分离的处理电路，但在一些示例中，存储器控制器24的一些或所有功能性可以在CPU 16、系统存储器30、(一个或多个)相机处理器14、视频编码器/解码器17和/或GPU 18中的一者或多者上实现。
系统存储器30可以存储可由(一个或多个)相机处理器14、CPU 16和/或GPU 18访问的程序模块和/或指令和/或数据。例如，系统存储器30可以存储用户应用(例如，用于相机应用的指令)、来自(一个或多个)相机处理器14的所得图像等。系统存储器30可以附加地存储由计算设备10的其他组件使用和/或产生的信息。例如，系统存储器30可以充当用于(一个或多个)相机处理器14的设备存储器。系统存储器30可以包括一个或多个易失性或非易失性存储器或存储设备，诸如RAM、SRAM、DRAM、ROM、EPROM、EEPROM、闪速存储器、磁性数据介质或光学存储介质。此外，系统存储器30可以存储图像数据(例如，视频数据帧、编码视频数据、传感器模式设置、变焦设置、3A参数等)。在一些示例中，系统存储器30或本地存储器20可以将图像数据存储到片上存储器上，诸如在系统存储器30或本地存储器20的存储缓冲器中。在另一示例中，系统存储器30或本地存储器20可以输出图像数据，以便从芯片或缓冲器的存储器外部进行存储，诸如存储到相机设备的安全数字(SDTM)卡，或者在一些情况下，存储到相机设备的另一内部存储中。在说明性示例中，系统存储器30或本地存储器20可以体现为(一个或多个)相机处理器14芯片、GPU 18芯片或两者上的缓冲存储器，其中单个芯片包括两个处理电路。
在一些示例中，系统存储器30可以包括使得(一个或多个)相机处理器14、CPU 16、GPU 18和/或显示接口26执行归于本公开中这些组件的功能的指令。因此，系统存储器30可以是其上存储有指令的计算机可读存储介质，这些指令在被执行时使得一个或多个处理器(例如，(一个或多个)相机处理器14、CPU 16、GPU 18和显示接口26)执行本公开的各种技术。
在一些示例中，系统存储器30是非暂时性存储介质。术语“非暂时性”指示存储介质未体现在载波或传播信号中。然而，术语“非暂时性”不应被解释为意味着系统存储器30是不可移动的或者其内容是静态的。作为一个示例，系统存储器30可以从计算设备10移除，并被移动到另一设备。作为另一示例，大体上类似于系统存储器30的存储器可以被插入到计算设备10中。在特定示例中，非暂时性存储介质可以存储能够随着时间变化的数据(例如，在RAM中)。
另外，(一个或多个)相机处理器14、CPU 16和GPU 18可将图像数据、用户接口数据等存储在分配于系统存储器30内的相应缓冲器中。显示接口26可以从系统存储器30中检索数据，并配置显示器28以显示由图像数据表示的图像，诸如经由用户接口22屏幕。在一些示例中，显示接口26可以包括数模转换器(DAC)，其被配置成将从系统存储器30检索的数字值转换为可由显示器28消耗的模拟信号。在其他示例中，显示接口26可以将数字值直接传递给显示器28进行处理。
计算设备10可以包括视频编码器和/或视频解码器17，其任一者可以集成为组合式视频编码器/解码器(CODEC)(例如，视频译码器)的一部分。视频编码器/解码器17可以包括对由一个或多个相机15捕捉的视频进行编码的视频译码器，或者可以对经压缩或经编码的视频数据进行解码的解码器。在一些情况下，CPU 16和/或(一个或多个)相机处理器14可以被配置成编码和/或解码视频数据，在此情况下，CPU 16和/或(一个或多个)相机处理器14可以包括视频编码器/解码器17。
CPU 16可以包含控制计算设备10的操作的通用或专用处理器。用户可以向计算设备10提供输入，以使得CPU 16执行一个或多个软件应用。在CPU 16上执行的软件应用可以包括例如，相机应用、图形编辑应用、媒体播放器应用、视频游戏应用、图形用户界面应用或另一程序。例如，相机应用可以允许用户控制相机15的各种设置。用户可以经由一个或多个输入设备(未示出)向计算设备10提供输入，输入设备诸如键盘、鼠标、麦克风、触控板或经由用户接口22耦合到计算设备10的另一输入设备。
一个示例性软件应用是相机应用。CPU 16执行相机应用，并且作为响应，该相机应用使得CPU 16产生显示器28输出的内容。例如，显示器28可以输出诸如光强度、是否启用闪光以及其他此类信息的信息。相机应用还可以使得CPU 16指示(一个或多个)相机处理器14以用户定义的方式处理传感器12输出的图像。计算设备10的用户可以与显示器28对接(例如，经由用户接口22)以配置产生图像的方式(例如，应用变焦设置、有或没有闪光、聚焦设置、曝光设置、视频或静止图像以及其他参数)。例如，CPU 16可以经由用户接口22接收指令来以HDR模式捕捉图像(例如，捕捉并产生HDR图像)。如上所述，响应于用户指示使用HDR模式，HDR选择器19可以被配置成基于预览图像的分析来确定使用多个HDR图像捕捉技术中的一者。在一些示例中，HDR选择器19可以被配置成确定使用多个HDR图像捕捉技术中的一者，而不管用户是否已经选择了HDR模式。也就是说，HDR选择器19可以被配置成自动确定多个HDR模式中的一者。
显示器28可以包括监视器、电视、投影设备、HDR显示器、液晶显示器(LCD)、等离子显示面板、发光二极管(LED)阵列、有机LED(OLED)、电子纸、表面传导电子发射显示器(SED)、激光电视显示器、纳米晶体显示器或另一类型的显示单元。显示器28可以集成到计算设备10内。例如，显示器28可以是移动电话手持机、平板计算机或膝上型计算机的屏幕。可替代地，显示器28可以是经由有线或无线通信链路耦合到计算设备10的独立设备。例如，显示器28可以是经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。显示器28可以提供预览帧，如果相机15实际上将拍照或开始记录视频，用户可以查看预览帧，以了解正在存储什么或者图片看起来会是什么样子。
在一些示例中，(一个或多个)相机处理器14可以向存储器控制器24输出帧流，以便将输出帧存储为视频文件。在一些实例中，CPU 16、视频编码器/解码器17、和/或(一个或多个)相机处理器14可以输出HDR图像(例如，具有或不具有散景效应)以存储为视频文件。在一些示例中，存储器控制器24可以以任何合适的视频文件格式产生和/或存储输出帧。在一些实例中，视频编码器/解码器17可以在CPU 16、视频编码器/解码器17、和/或(一个或多个)相机处理器14使得输出帧被存储为经编码视频之前对输出帧进行编码。编码器/解码器17可以使用各种编码技术来编码图像数据的帧，包括由MPEG 2、MPEG 4、ITU-T H.263、ITU-T H.264/MPEG-4(第10部分，高级视频译码(AVC))、ITU-T H.265/高效视频译码(HEVC)、通用视频译码(VCC)等及其扩展所定义的标准中所描述的那些编码技术。在非限制性示例中，CPU 16、视频编码器/解码器17、和/或(一个或多个)相机处理器14可以使用移动图片专家组(MPEG)视频文件格式来存储输出帧。
图2是示出示例性图像传感器和图像捕捉模式的概念图。图2描绘了能够在像素合并模式200和传感器内QBC HDR模式210两者下操作的图像传感器12的一部分。在此示例中，图像传感器12是QCFA传感器，其可以被配置成在像素合并模式200或传感器内QBC HDR模式210以及其他模式中输出标准拜耳原始图像。图像传感器12的示例是由索尼公司制造的IMX686传感器。在一个示例中，图像传感器12的像素传感器的尺寸是0.8μm。
在一些示例中，传感器12能够在重新马赛克(remosaicing)模式下以第一较高分辨率(例如，48兆像素(MP)或其他)输出图像，并且在像素合并模式200下以第二较低分辨率(例如，12MP或从最大分辨率的另一降低)输出图像。图2示出了2×2像素合并的示例，其中四个相邻的像素传感器被平均以形成单个值，如传感器部分202中所示。在其他示例中，可以使用其他水平的像素合并。通常，在像素合并模式中，图像传感器12可以被配置成对具有相同滤色器的相邻像素(例如，2或4个相邻像素)进行平均，以为弱光图像捕捉提供较高SNR。虽然与重新马赛克模式(例如，无像素合并)相比分辨率较低，但是与重新马赛克模式相比，像素合并模式200每输出像素捕捉更多的光，从而增加了从像素合并模式输出的图像的SNR。这是因为像素合并模式平均每个输出像素有四个像素传感器，因此增加了像素传感器的有效尺寸(例如，在此示例中从0.8x到3.2μm)。
在图2中，图像传感器12具有四拜耳马赛克图案。在一个示例中，QCFA传感器的每一16×16部分可以包括四个相邻的红色滤色器、四个相邻的蓝色滤色器和两组四个相邻的绿色滤色器。结合在一起，此类图案可以表示各种各样的颜色。使用更多的绿色滤色器，因为人眼对绿色更敏感。
在一些示例中，(一个或多个)相机处理器14可以使得图像传感器12使用像素合并模式200来进行MFHDR图像捕捉。在MFHDR图像捕捉中，图像传感器12可以被配置成捕捉具有不同曝光时间(例如，短、中和长曝光)的三个或更多连续图像。例如，(一个或多个)相机处理器14可执行自动曝光算法，其确定图像传感器12的三个或更多不同的曝光设置。对于三个图像的示例，(一个或多个)相机处理器14可以确定保留场景的高亮度区域中的细节的短曝光时间，可以确定增强场景的暗区域中的细节的长曝光时间，且可以确定维持场景中的中间色调的更准确亮度值的中等长度曝光时间。(一个或多个)相机处理器14然后可以将三个或更多图像融合在一起以产生HDR图像。
因为MFHDR图像捕捉包括融合在不同时间捕捉的多个图像，所以所得的HDR图像可能展现重影伪影和/或其他运动模糊失真。因而，虽然针对MFHDR使用像素合并模式200通常产生具有SNR的图像，但如果在所捕捉的场景中存在运动，则从MFHDR模式产生的图像可能易受重影影响。通常，使用像素合并模式200的MFHDR产生具有较宽动态范围的图像(例如，与单像素合并帧相比)、在暗区域中具有改进的SNR的图像(例如，与非像素合并模式或具有较少像素合并的模式相比)、以及在所捕捉场景中的快速移动对象周围可能展现重影伪影的图像。
在其他示例中，图像传感器12可以被配置成根据QBC HDR模式210(例如，传感器内QBC HDR模式)操作。当根据QBC HDR模式210操作时，图像传感器12可以被配置成捕捉单个图像。然而，图像捕捉过程和像素融合过程不同于像素合并模式210。如图2所示，对于QBCHDR模式210，滤色器的每一2×2网格包括被配置成捕捉长曝光的一个像素传感器、被配置成捕捉中等长度曝光的两个像素传感器、以及被配置成捕捉短曝光的一个像素传感器。当然，可以使用曝光时间的其他组合。
QBC HDR模式210允许在同一时刻以不同曝光时间捕捉光，以便产生具有更宽动态范围的图像。如传感器部分212所示，每一2×2滤色器网格中的四个像素被融合成每一颜色通道的一个像素。与像素合并模式200相比，从QBC HDR模式210产生的图像具有较低的SNR，因为融合在一起的来自三个曝光时间的像素是来自一个或两个像素传感器，而不是四个。然而，因为三个曝光时间近似在相同时间处被捕捉而没有时滞，所以使用QBC HDR模式210捕捉的图像展现出很少或没有重影。通常，QBC HDR模式210产生与单帧像素合并模式相比具有更宽动态范围的图像，产生与MFHDR模式相比具有很少或没有重影的图像，并且产生与MFHDR模式相比在场景的暗区域中具有更低SNR的图像。
图3是更详细示出图1的计算设备的示例性组件的框图。将关于HDR选择器19来描述图3的技术。如上文所述，应理解，HDR选择器19可以用硬件、固件、软件或其任何组合来实现，并且可以是(一个或多个)相机处理器14、ISP 23、CPU 16和/或计算设备10的任何其他处理单元的一部分。
HDR选择器19可以被配置成从图像传感器12接收预览图像300。在该上下文中，预览图像300可以是由图像传感器12捕捉的任何图像，其在使用计算设备10的相机应用时被显示给用户(例如，在显示器28上)和/或由(一个或多个)相机处理器14用来确定相机设置。预览图像300通常不是要保存在计算设备10上的“快照”，而是由用户用来布置要捕捉的场景，并且由ISP 23用来设置相机功能(例如，3A设置)。根据本公开的技术，HDR选择器19可以被配置成分析预览图像300，以确定多种图像捕捉技术(例如，HDR图像捕捉技术)中的一者来用于捕捉和产生HDR图像(例如，输出图像314)。在一些示例中，HDR选择器19可以被配置成连续分析预览图像(例如，以设定的时间间隔)以连续更新对多个图像捕捉技术中的一者的确定，因为照明条件和场景可以随时间改变。计算设备10可以被配置成使用任何图像捕捉模式来捕捉预览图像300。在一些示例中，计算设备10可以使用传感器内QBC HDR模式来捕捉预览图像300。
HDR选择器19可以首先被配置成分析与预览图像300相关联的直方图信息304。直方图信息304可以包括预览图像300的每一像素的亮度值(例如，明度值)的直方图。在一些示例中，HDR选择器19或(一个或多个)相机处理器14和/或CPU 16的另一功能单元可以被配置成确定预览图像300的像素的亮度值的直方图。下面参考图7论述关于直方图信息的更多信息。
在本发明的一个示例中，HDR选择器19可以被配置成基于预览图像的像素的亮度值来确定预览图像300是否为HDR场景。通常，HDR场景在直方图的欠饱和(例如，非常暗)区域和过饱和(例如，非常亮)区域都具有相对高百分比的亮度值。如果HDR选择器19确定预览图像不是HDR场景，则HDR选择器19可以被配置成使用单帧图像捕捉技术来捕捉后续图像。也就是说，如果正被捕捉的实际场景不具有HDR特性(例如，场景中没有大范围的亮度值)，则使用HDR图像捕捉技术可能不会提供任何益处，并且可能实际上降低输出图像314的SNR。
相反，HDR选择器19可以确定使用高SNR图像捕捉技术。高SNR图像捕捉技术的示例可以包括用于自适应动态范围译码(ADRC)的单像素合并帧捕捉技术、单像素合并帧(例如，图2的2×2像素合并模式200)和/或单帧重新马赛克模式。使用高SNR、单帧图像捕捉技术极大地减少和/或消除了图像中重影的可能性，因为一次只捕捉单个图像(例如，不执行图像融合)。此外，单帧图像捕捉技术(例如，像素合并帧)的使用通常导致所得图像中的高SNR。
如果HDR选择器19基于直方图信息304确定预览图像300是HDR场景，则HDR选择器可以进一步基于在预览图像300中检测到运动来确定使用多个HDR图像捕捉技术中的一者。如上文所述，多个HDR图像捕捉技术可以包括MFHDR、交错HDR、传感器内QBC HDR以及其他HDR技术。另外，根据本公开的技术，在检测到运动但运动不在预览图像300的暗区域中时，HDR选择器19可以进一步被配置成选择包括使用与单个长曝光像素合并融合的QBC HDR帧的HDR捕捉技术。
运动检测信息302可以包括在预览图像300中是否检测到运动、以及在预览图像300中的何处检测到运动的指示。预览图像300中的运动的定位可以还包括该定位是预览图像300中相对较暗还是相对较亮的区域的信息。下面将参考图6描述运动检测信息的进一步描述。
在本公开的一个示例中，基于预览图像是HDR场景的确定，HDR选择器19可以还被配置成检测预览图像中是否存在运动。运动检测可以由HDR选择器19来执行，或者(一个或多个)相机处理器14和/或CPU 16的另一功能单元可以基于预览图像300和先前捕捉的预览图像的比较来产生运动检测信息302。HDR选择器19可以基于检测到预览图像300中不存在运动来确定使用第一HDR图像捕捉技术，其中第一HDR图像捕捉技术包括捕捉多个图像。在一个示例中，第一HDR图像捕捉技术是多帧HDR(MFHDR)图像捕捉技术或交错多帧HDR图像捕捉技术中的一者。虽然MFHDR和其他多帧HDR捕捉技术易受重影的影响，但MFHDR通常产生具有高SNR的图像。然而，因为HDR选择器19确定在预览图像300中没有检测到运动，所以可以使用MFHDR或其他多帧HDR捕捉，因为重影的概率很低。
在其他示例中，基于预览图像300是HDR场景的确定，HDR选择器19可以还被配置成检测预览图像300中是否存在运动，并且基于检测到预览图像300中存在运动，确定运动是否在预览图像300的暗区域中。HDR选择器19可以基于确定运动在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术(例如，传感器内QBC HDR)。诸如QBC HDR的单帧HDR技术不易受到重影的影响，但是通常可能提供较低的SNR。然而，如果在暗区域中检测到运动，则增加暗区域的SNR可能会导致重影效应。对在场景的暗区域中具有运动的HDR场景使用QBC HDR，可以在限制重影伪影和维持高SNR之间提供最佳的折衷。
HDR选择器19可以被配置成基于确定运动不在预览图像300的暗区域中来确定使用单帧HDR图像捕捉技术(例如，QBC HDR)连同单帧图像捕捉技术。将单帧HDR图像与来自单帧图像捕捉的图像(例如，长曝光像素合并帧)融合提供了高SNR，特别是对于场景的较暗区域，同时在亮区域中也不容易出现重影。
HDR选择器19可以还被配置成确定融合权重，其中在场景较暗但没有运动的区域中，更多的长曝光像素合并帧与QBC HDR图像融合(例如，混合)在一起。例如，HDR选择器19可以被配置成将混合权重确定为像素亮度值的函数。对于场景中较亮的区域，较少量的长曝光像素合并帧(例如，直到没有)与QBC HDR图像融合在一起。这是因为HDR选择器19在亮区域中检测到运动。在具有运动的场景的亮区域中融合长曝光像素合并帧可能会导致重影。然而，因为场景的亮区域通常比场景的暗区域具有更高的SNR，所以即使来自QBC HDR图像的像素构成了输出图像314的大部分，仍然可以获得高的整体SNR。
基于由HDR选择器19、HDR选择器19或计算设备10的另一处理单元选择的图像捕捉技术，可以使得图像传感器12捕捉一个或多个图像308。如上所述，在一些情况下，HDR选择器19可以选择图像传感器12仅捕捉单个图像的HDR图像捕捉技术，或者可以选择图像传感器12捕捉多个图像308的HDR图像捕捉技术。如果(一个或多个)图像308包括多个图像，则多个图像然后可以由融合控制单元310处理。通常，融合控制单元310可以应用将多个图像融合和/或混合成单个图像的处理技术。融合图像然后被传递到色调映射单元312。如果(一个或多个)图像308仅包括单个图像，则图像308可以被直接传递到色调映射单元312。色调映射312可以对接收到的图像应用色调映射过程。通常，色调映射过程将一组颜色(例如，来自输入图像)映射到另一组颜色，以近似和/或改进可能具有更有限动态范围的介质(例如，显示器)的HDR图像的外观。色调映射单元312然后可以发送输出图像314(例如，HDR图像)用于存储和/或显示。
图4是更详细示出图3的计算设备的示例性组件的框图。图4示出其中HDR选择器19被配置成基于直方图信息304和运动检测信息302来选择四种图像捕捉技术中的一者的示例。如上文所述，HDR选择器19可以被配置成选择四种图像捕捉技术中的对于各种条件实现高SNR、宽动态范围以及最小到没有重影的图像捕捉技术。
HDR选择器19可以被配置成针对直方图信息304指示预览图像300的场景是HDR场景、且运动检测信息302指示运动存在但不存在于预览图像300的暗区域中的情况，选择传感器内QBC HDR图像捕捉技术加上长曝光像素合并帧(图像308A)。图像308A然后可以被传递到融合控制310进行混合，因为对于该图像捕捉技术有多个图像。
如下文将参考图8至图9描述的，HDR选择器19可以进一步基于传感器内QBC HDR帧中的亮度(例如，明度值)来确定混合权重。传感器内QBC HDR帧加上长曝光像素合并帧的组合导致输出图像314具有宽动态范围(例如，来自QBC HDR帧)、高SNR(例如，来自在QBC HDR帧的暗区域中融合长曝光像素合并帧)，并且很少或没有重影。图像308的融合导致很少的重影，因为长曝光像素合并帧在没有检测到运动的帧的暗区域中混合得更重。
HDR选择器19可以被配置成针对直方图信息304指示预览图像300的场景是HDR场景、且运动检测信息302指示运动不存在于预览图像300的情况，选择MFHDR图像捕捉技术(例如，图像308B)。图像308B可以包括在不同时间以不同曝光长度捕捉的三个像素合并帧。图像308B然后可以被传递到融合控制310进行混合，因为对于该图像捕捉技术有多个图像。通常，MFHDR可以产生具有宽动态范围和高SNR的输出图像314。虽然MFHDR受到重影的影响，但是由于在预览图像300中没有检测到运动，因此预期在输出图像314中不会出现重影。
HDR选择器19可以被配置成针对直方图信息304指示预览图像300的场景是HDR场景、且运动检测信息302指示运动存在并且该运动存在于预览图像300的暗区域中的情况，选择传感器内QBC HDR图像捕捉技术(图像308C)。图像308C然后可以被直接传递到色调映射单元312，因为对于该图像捕捉技术没有多个图像。传感器内QBC HDR捕捉技术通常具有比MFHDR、或QBC HDR加长曝光像素合并帧更低的SNR，但是单帧传感器内QBC HDR帧对于所有条件都具有最小到没有重影，并且产生具有宽动态范围的输出图像314。因为对于传感器内QBC HDR捕捉技术的选择，运动是在暗区域中，所以任何改进QBC HDR帧的暗区域的尝试可能会引入不必要的重影。
HDR选择器19可以被配置成针对直方图信息304指示预览图像300的场景不是HDR场景的情况选择单像素合并帧(例如，用于ADRC的像素合并帧)图像捕捉技术(图像308D)。图像308D然后可以被直接传递到色调映射单元312，因为对于该图像捕捉技术没有多个图像。用于ADRC的单像素合并帧通常具有高SNR，在所有条件下都没有重影，但是与其他三种技术相比，在输出图像314中展现出较窄的动态范围。然而，由于直方图信息304指示该场景不是HDR场景，所以捕捉具有较窄动态范围的图像不太可能被用户注意到。
图5是示出本公开的示例性方法的流程图。HDR选择器19可以首先访问直方图信息304，并确定预览图像的场景是否是HDR场景(400)。如果场景不是HDR场景(在400处为否)，则HDR选择器19选择产生图像308D的HDR选择4(例如，用于ADRC的单像素合并帧)。通常，HDR选择4是高SNR、窄动态范围的图像捕捉技术。
如果场景是HDR场景(在400处为是)，则HDR选择器然后可以继续检查运动检测信息302。首先，HDR选择器19可以确定在预览图像中是否检测到任何运动(402)。如果在预览图像中没有检测到运动(在402处为否)，则HDR选择器19选择HDR选择2(例如，MFHDR)来产生图像308B。通常，HDR选择2是多帧HDR图像捕捉技术。
如果在预览图像中检测到运动(在402处为是)，则HDR选择器19确定在预览图像的暗区域中是否存在运动(404)。如果在暗区域中没有运动(在404处为否)，则HDR选择器19选择HDR选择1(例如，传感器内QBC HDR+长曝光像素合并帧)来产生图像308。如果在暗区域中有运动(在404处为是)，则HDR选择器19选择HDR选择3(例如，传感器内QBC HDR帧)来产生图像308C。
图6是示出示例性运动图的概念图。图6示出运动图600和运动图610。运动图600和610是运动检测信息302的示例。如运动图600中所示，黑色标记区域602指示运动的区域。同样地，在运动图610中，黑色标记区域604指示运动的区域。HDR选择器19可以使用运动图来确定预览图像中的场景是否具有移动对象。
HDR选择器19或计算设备10的另一处理单元可以使用任何技术来计算预览图像中的运动。作为一个示例，HDR选择器19可以确定当前预览图像的像素与先前捕捉的预览图像的像素相比的绝对差总和(SAD)。如果当前帧和先前帧的像素定位的SAD大于某一阈值，则对于该像素检测到运动。否则，未检测到运动。
如果SAD(当前帧－先前帧)>阈值
检测到运动
否则
未检测到运动
在一个示例中，阈值在9与15之间。
HDR选择器19可以还被配置成根据网格统计来确定任何运动是在暗区域还是亮区域。如图6所示，运动图600和610可以被划分成网格，其中每一网格表示M×N像素区域。如果检测到运动的网格的亮度(例如，网格中像素的平均亮度)大于预定阈值，则HDR选择器19可以确定在预览图像的亮区域中存在运动。如果否，则HDR选择器19确定该运动在预览图像的暗区域中。
如果亮度(运动对象的网格统计)>阈值
运动在亮区域中
否则
运动在暗区域中
在一个示例中，阈值在线性域中约为100(例如，在伽马校正之前)。
图7是示出示例性亮度直方图的概念图。图7示出可以由HDR选择器19和/或计算设备10的其他处理电路产生并包括在直方图信息304中的示例性直方图700、710和714。如直方图700所示，直方图包括指示预览图像中具有可以被图像传感器12检测到的每一可能亮度值的像素数量的信息。在此示例中，亮度值(例如，明度值)的数字值的范围可以从0到255。计算设备10还可以为每一直方图限定暗区域702和饱和区域704(例如，亮区域)。在直方图700的示例中，暗区域是从值0到15(例如，区间0到15)，而饱和区域是从值250到255(例如，区间250到255)。当然，可以使用其他大小的暗区域和饱和区域。
HDR选择器可以使用直方图分布信息来确定预览图像是否是HDR场景。HDR选择器19或计算设备10的另一处理单元可以通过将饱和像素(即，亮像素)的数量除以像素的总数(例如，所有饱和像素/所有像素)来计算饱和区域百分比。HDR选择器19可以通过将暗像素的数量除以像素的总数(例如，所有暗像素/所有像素)来进一步计算暗区域百分比。如果饱和区域百分比加上暗区域百分比大于预定阈值，则HDR选择器19可以确定预览图像的场景是HDR场景。如果否，则HDR选择器19可以确定预览图像的场景不是HDR场景。在一个示例中，饱和区域(例如，亮像素)被定义为直方图中可用亮度值的最高95％-100％。暗区域被定义为直方图中可用亮度值的最低0-25％。当然，饱和区域和暗区域的定义可以针对其他应用进行调整。
直方图710示出HDR场景的直方图的示例，其中暗区域百分比为5％，且饱和区域百分比为15％。直方图714示出非HDR场景的直方图的示例，其中暗区域百分比是3％，且饱和区域百分比是0.7％。
图8是针对HDR和像素合并帧图像捕捉技术更详细地示出图3的计算设备的示例性组件的框图。具体地，图8示出了HDR选择器19选择HDR选择1(例如，传感器内QBC HDR帧+长曝光像素合并帧)用于所产生的输出图像314的示例。在此示例中，融合控制单元310可以被配置成根据QBC-HDR权重316将QBC HDR帧与长曝光像素合并帧融合。
HDR选择器19或计算设备10的另一处理单元可以被配置成确定输出图像314中每一像素的QBC-HDR权重316。例如，HDR选择器19可以被配置成将QBC-HDR权重316确定为预览图像中的像素强度(例如，亮度或明度)的函数。
在一个示例中，HDR选择器19可以如下计算QBC-HDR权重316：
其中MIN是最小值函数，MAX是最大值函数，Tluma是像素强度，th1是第一阈值，且th2是第二阈值th2。图9是示出与图8的技术一起使用的QBC-HDR融合权重的示例性图900的概念图。从图9中可以看出，从像素强度值0到第一阈值(th1)，QBC-HDR权重316的值为0。从像素强度值的第一阈值(th1)到第二阈值(th2)，QBC-HDR权重316从0线性增加到1。对于大于第二阈值(th2)的像素强度值，QBC-HDR权重为1。th1和th2的值可以是可调谐的。
通常，融合控制310可以被配置成对较亮的像素向QBC HDR帧应用较高的权重，并向长曝光像素合并帧应用较低的权重。融合控制单元310可以使用以下等式来创建融合图像：
QBC-HDR权重(像素强度)*QBC HDR帧+(1-QBC-HDR权重(像素强度))*像素合并帧
在上面的等式中，术语QBC-HDR(像素强度)指示任何特定像素的QBC-HDR权重是该像素的强度(例如，亮度)的函数。从图900可以看出，像素强度越高(例如，亮度越高)，QBC-HDR权重的值越高。因而，对于HDR选择1，融合控制单元310将更多地使用来自长曝光像素合并帧的像素用于非常暗的像素强度(例如，低于th1)，将使用来自传感器内QBC HDR帧的像素用于非常亮的像素强度(例如，高于th2)，并且将混合来自长曝光像素合并帧和QBC HDR帧的像素用于th1与th2之间的像素强度。以此方式，在输出图像314的暗区域中SNR得到改善，同时在亮区域中保持没有重影。
图10是示出根据本公开的示例性技术的相机处理的示例性操作的流程图。图10的技术可以由计算设备10的一个或多个结构单元来执行，包括(一个或多个)相机处理器14和CPU 16。
在本公开的一个示例中，(一个或多个)相机处理器14和/或CPU 16可以被配置成接收(一个或多个)预览图像(1000)。例如，(一个或多个)相机处理器14和/或CPU 16可以被配置成使得相机15的相机捕捉图像。(一个或多个)相机处理器14和/或CPU 16可以还被配置成基于预览图像的像素的亮度值来确定预览图像是否是高动态范围(HDR)场景(1010)。(一个或多个)相机处理器14和/或CPU 16可以被配置成基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术(1020)。
例如，(一个或多个)相机处理器14和/或CPU 16可以被配置成确定预览图像的像素的亮度值的直方图。为了基于预览图像的像素的亮度值来确定预览图像是否是HDR场景，(一个或多个)相机处理器14和/或CPU 16可以被配置为基于直方图的过饱和区域和直方图的欠饱和区域中的亮度值的百分比是否大于阈值，来确定预览图像是否是HDR场景(例如，如上文所述)。在一个示例中，单帧图像捕捉技术是用于自适应动态范围译码(ADRC)的单像素合并帧捕捉技术。
(一个或多个)相机处理器14和/或CPU 16可以还被配置成基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动，来确定使用多个HDR图像捕捉技术中的一者(1030)。在一个实例中，为了基于预览图像是HDR场景的确定并且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，(一个或多个)相机处理器14和/或CPU 16可以被配置成检测预览图像中是否存在运动，并且基于检测到预览图像中不存在运动来确定使用第一HDR图像捕捉技术，其中第一HDR图像捕捉技术包括捕捉多个图像。在一个示例中，第一HDR图像捕捉技术是多帧HDR(MFHDR)图像捕捉技术或交错多帧HDR图像捕捉技术中的一者。
在另一示例中，为了基于预览图像是HDR场景的确定并且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，(一个或多个)相机处理器14和/或CPU 16可以被配置成检测预览图像中是否存在运动，基于检测到预览图像中存在运动来确定该运动是否在预览图像的暗区域中，基于确定该运动是在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术，并且基于确定该运动不在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术连同单帧图像捕捉技术。在一个示例中，单帧HDR图像捕捉技术是传感器内四拜耳译码(QBC)HDR图像捕捉技术，并且其中单帧图像捕捉技术是长曝光像素合并帧图像捕捉技术。
当使用单帧HDR图像捕捉技术连同单帧图像捕捉技术时，(一个或多个)相机处理器14和/或CPU 16可以被配置成使用传感器内QBC HDR图像捕捉技术来捕捉第一图像，使用长曝光像素合并帧图像捕捉技术来捕捉第二图像，并且基于混合权重将第一图像和第二图像融合为输出图像。在此示例中，(一个或多个)相机处理器14和/或CPU 16可以还被配置成将混合权重确定为像素亮度值的函数。
在以上示例中，(一个或多个)相机处理器14和/或CPU 16可以被配置成基于预览图像和先前捕捉的图像之间的像素值的绝对差总和的函数来检测预览图像中是否存在运动。(一个或多个)相机处理器14和/或CPU 16可以被配置成使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的(1140)。例如，(一个或多个)相机处理器14和/或CPU 16可以被配置成使得一个或多个相机15使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者来捕捉一个或多个图像。
本公开的其他说明性示例在下面的条款中描述。
条款1——一种被配置用于相机处理的设备，该设备包含：被配置成接收图像的存储器；以及与存储器通信的一个或多个处理器，该一个或多个处理器被配置成：接收预览图像；基于预览图像的像素的亮度值来确定预览图像是否为高动态范围(HDR)场景；基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术；基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者；以及使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
条款2——条款1的设备，其中为了基于预览图像是HDR场景的确定并且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，一个或多个处理器还被配置成：检测预览图像中是否存在运动；以及基于检测到预览图像中不存在运动来确定使用第一HDR图像捕捉技术，其中第一HDR图像捕捉技术包括捕捉多个图像。
条款3——条款2的设备，其中，第一HDR图像捕捉技术是多帧HDR(MFHDR)图像捕捉技术或交错多帧HDR图像捕捉技术中的一者。
条款4——条款1-3的任何组合的设备，其中，为了基于预览图像是HDR场景的确定并且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，一个或多个处理器还被配置成：检测预览图像中是否存在运动；基于检测到预览图像中存在运动来确定该运动是否在预览图像的暗区域中；基于确定该运动在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术；以及基于确定该运动不在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术连同单帧图像捕捉技术。
条款5——条款4的设备，其中，单帧HDR图像捕捉技术是传感器内四拜耳译码(QBC)HDR图像捕捉技术，并且其中单帧图像捕捉技术是长曝光像素合并帧图像捕捉技术。
条款6——条款5的设备，其中一个或多个处理器确定使用单帧HDR图像捕捉技术连同单帧图像捕捉技术，该一个或多个处理器还被配置成：使用传感器内QBC HDR图像捕捉技术来捕捉第一图像；使用长曝光像素合并帧图像捕捉技术来捕捉第二图像；以及基于混合权重将第一图像和第二图像融合成输出图像。
条款7——条款6的设备，其中，一个或多个处理器还被配置成：将混合权重确定为像素亮度值的函数。
条款8——条款1-7的任何组合的设备，其中，一个或多个处理器还被配置成：基于预览图像和先前捕捉的图像之间的像素值的绝对差总和的函数来检测预览图像中是否存在运动。
条款9——条款1-8的任何组合的设备，其中，一个或多个处理器还被配置成：确定预览图像的像素的亮度值的直方图。
条款10——条款9的设备，其中，为了基于预览图像的像素的亮度值来确定预览图像是否是HDR场景，一个或多个处理器被配置成：基于直方图的过饱和区域和直方图的欠饱和区域中的亮度值的百分比是否大于阈值来确定预览图像是否是HDR场景。
条款11——条款10的设备，其中，单帧图像捕捉技术是用于自适应动态范围译码(ADRC)的单像素合并帧捕捉技术。
条款12——条款1-11的任何组合的设备，还包含：一个或多个相机，被配置成使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者来捕捉一个或多个图像。
条款13——一种相机处理的方法，该方法包含：接收预览图像；基于预览图像的像素的亮度值来确定预览图像是否为高动态范围(HDR)场景；基于预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术；基于预览图像是HDR场景的确定且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者；以及使用一个或多个图像来产生输出图像，该一个或多个图像是使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者捕捉的。
条款14——条款13的方法，其中，基于预览图像是HDR场景的确定并且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，包含：检测预览图像中是否存在运动；以及基于检测到预览图像中不存在运动来确定使用第一HDR图像捕捉技术，其中第一HDR图像捕捉技术包括捕捉多个图像。
条款15——条款14的方法，其中，第一HDR图像捕捉技术是多帧HDR(MFHDR)图像捕捉技术或交错多帧HDR图像捕捉技术中的一者。
条款16——条款13-15的任何组合的方法，其中，基于预览图像是HDR场景的确定并且进一步基于在预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者，包含：检测预览图像中是否存在运动；基于检测到预览图像中存在运动来确定该运动是否在预览图像的暗区域中；基于确定该运动在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术；以及基于确定该运动不在预览图像的暗区域中来确定使用单帧HDR图像捕捉技术连同单帧图像捕捉技术。
条款17——条款16的方法，其中，单帧HDR图像捕捉技术是传感器内四拜耳译码(QBC)HDR图像捕捉技术，并且其中单帧图像捕捉技术是长曝光像素合并帧图像捕捉技术。
条款18——条款17的方法，还包含：确定使用单帧HDR图像捕捉技术连同单帧图像捕捉技术；使用传感器内QBC HDR图像捕捉技术来捕捉第一图像；使用长曝光像素合并帧图像捕捉技术来捕捉第二图像；以及基于混合权重将第一图像和第二图像融合成输出图像。
条款19——条款18的方法，还包含：将混合权重确定为像素亮度值的函数。
条款20——条款13-19的任何组合的方法，还包含：基于预览图像和先前捕捉的图像之间的像素值的绝对差总和的函数来检测预览图像中是否存在运动。
条款21——条款13-20的任何组合的方法，还包含：确定预览图像的像素的亮度值的直方图。
条款22——条款21的方法，其中，基于预览图像的像素的亮度值来确定预览图像是否是HDR场景包含：基于直方图的过饱和区域和直方图的欠饱和区域中的亮度值的百分比是否大于阈值来确定预览图像是否是HDR场景。
条款23——条款22的方法，其中，单帧图像捕捉技术是用于自适应动态范围译码(ADRC)的单像素合并帧捕捉技术。
条款24——条款13-23的任何组合的方法，还包含：使用单帧图像捕捉技术或多个HDR图像捕捉技术中的一者来捕捉一个或多个图像。
条款25——一种存储指令的非暂时性计算机可读存储介质，该指令在被执行时使得设备的一个或多个处理器执行条款13-24的技术的任何组合。
条款26——一种用于相机处理的设备，该设备包含用于执行条款13-24的技术的任何组合的部件。
在一个或多个示例中，所描述的功能可以用硬件、软件、固件或其任何组合来实现。如果用软件实现，则可以将功能作为一或多个指令或代码存储在计算机可读介质上或在其上传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质。以此方式，计算机可读介质通常可以对应于有形计算机可读存储介质，其为非暂时性的。数据存储介质可以是可以由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例且非限制，此类计算机可读存储介质可以包含RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储、或其他磁性存储设备、闪速存储器、高速缓冲存储器、或可以以指令或数据结构形式存储所需程序代码且可以由计算机访问的任何其他介质。应理解，计算机可读存储介质和数据存储介质不包括载波、信号或其他瞬态介质，而是涉及非瞬态有形存储介质。如本文所使用，磁盘和光盘包括紧密光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地再现数据，而光盘使用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)，或其他等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可以指代上述结构或适于实现本文所描述的技术的任何其他结构中的任一者。而且，可以将这些技术充分实现在一个或多个电路或逻辑元件中。
本公开的技术可以实现在广泛多种设备或装置中，包括无线手持机、集成电路(IC)或一组IC(例如，芯片组)。在本公开中描述各种组件、模块或单元以强调被配置成执行所公开的技术的设备的功能方面，但未必需要通过不同的硬件单元来实现。
已描述各种示例。这些和其他示例是在以下权利要求的范围内。

Claims (26)

1.一种被配置用于相机处理的设备，所述设备包含：
存储器，其被配置成接收图像；以及
一个或多个处理器，其与所述存储器通信，所述一个或多个处理器被配置成：
接收预览图像；
基于所述预览图像的像素的亮度值来确定所述预览图像是否是高动态范围HDR场景；
基于所述预览图像不是HDR场景的确定，来确定使用单帧图像捕捉技术；
基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动，来确定使用多个HDR图像捕捉技术中的一者；以及
使用一个或多个图像来产生输出图像，所述一个或多个图像是使用所述单帧图像捕捉技术或所述多个HDR图像捕捉技术中的一者捕捉的。
2.根据权利要求1所述的设备，其中，为了基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动来确定使用所述多个HDR图像捕捉技术中的一者，所述一个或多个处理器还被配置成：
检测所述预览图像中是否存在运动；以及
基于检测到所述预览图像中不存在运动来确定使用第一HDR图像捕捉技术，其中所述第一HDR图像捕捉技术包括捕捉多个图像。
3.根据权利要求2所述的设备，其中，所述第一HDR图像捕捉技术是多帧HDR(MFHDR)图像捕捉技术或交错多帧HDR图像捕捉技术中的一者。
4.根据权利要求1所述的设备，其中，为了基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动来确定使用所述多个HDR图像捕捉技术中的一者，所述一个或多个处理器还被配置成：
检测所述预览图像中是否存在运动；
基于检测到在所述预览图像中存在运动，确定所述运动是否在所述预览图像的暗区域中；
基于确定所述运动在所述预览图像的所述暗区域中，来确定使用单帧HDR图像捕捉技术；以及
基于确定所述运动不在所述预览图像的所述暗区域中，来确定使用所述单帧HDR图像捕捉技术连同单帧图像捕捉技术。
5.根据权利要求4所述的设备，其中，所述单帧HDR图像捕捉技术是传感器内四拜耳译码QBC HDR图像捕捉技术，并且其中所述单帧图像捕捉技术是长曝光像素合并帧图像捕捉技术。
6.根据权利要求5所述的设备，其中，所述一个或多个处理器确定使用所述单帧HDR图像捕捉技术连同单帧图像捕捉技术，所述一个或多个处理器还被配置成：
使用所述传感器内QBC HDR图像捕捉技术来捕捉第一图像；
使用所述长曝光像素合并帧图像捕捉技术来捕捉第二图像；以及
基于混合权重将所述第一图像和所述第二图像融合成所述输出图像。
7.根据权利要求6所述的设备，其中，所述一个或多个处理器还被配置成：
将所述混合权重确定为像素亮度值的函数。
8.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置成：
基于所述预览图像和先前捕捉的图像之间的像素值的绝对差总和的函数，来检测所述预览图像中是否存在运动。
9.根据权利要求1所述的设备，其中，所述一个或多个处理器还被配置成：
确定所述预览图像的所述像素的所述亮度值的直方图。
10.根据权利要求9所述的设备，其中，为了基于所述预览图像的所述像素的所述亮度值来确定所述预览图像是否是所述HDR场景，所述一个或多个处理器被配置成：
基于所述直方图的过饱和区域和所述直方图的欠饱和区域中的亮度值的百分比是否大于阈值，来确定所述预览图像是否是所述HDR场景。
11.根据权利要求10所述的设备，其中，所述单帧图像捕捉技术是用于自适应动态范围译码(ADRC)的单像素合并帧捕捉技术。
12.根据权利要求1所述的设备，还包含：
一个或多个相机，其被配置成使用所述单帧图像捕捉技术或所述多个HDR图像捕捉技术中的一者来捕捉一个或多个图像。
13.一种相机处理的方法，所述方法包含：
接收预览图像；
基于所述预览图像的像素的亮度值来确定所述预览图像是否是高动态范围HDR场景；
基于所述预览图像不是HDR场景的确定，来确定使用单帧图像捕捉技术；
基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动，来确定使用多个HDR图像捕捉技术中的一者；以及
使用一个或多个图像来产生输出图像，所述一个或多个图像是使用所述单帧图像捕捉技术或所述多个HDR图像捕捉技术中的一者捕捉的。
14.根据权利要求13所述的方法，其中，基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动来确定使用所述多个HDR图像捕捉技术中的一者，包含：
检测所述预览图像中是否存在运动；以及
基于检测到所述预览图像中不存在运动来确定使用第一HDR图像捕捉技术，其中所述第一HDR图像捕捉技术包括捕捉多个图像。
15.根据权利要求14所述的方法，其中，所述第一HDR图像捕捉技术是多帧HDR(MFHDR)图像捕捉技术或交错多帧HDR图像捕捉技术中的一者。
16.根据权利要求13所述的方法，其中，基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动来确定使用所述多个HDR图像捕捉技术中的一者，包含：
检测所述预览图像中是否存在运动；
基于检测到在所述预览图像中存在运动，确定所述运动是否在所述预览图像的暗区域中；
基于确定所述运动在所述预览图像的所述暗区域中，来确定使用单帧HDR图像捕捉技术；以及
基于确定所述运动不在所述预览图像的所述暗区域中，来确定使用所述单帧HDR图像捕捉技术连同单帧图像捕捉技术。
17.根据权利要求16所述的方法，其中，所述单帧HDR图像捕捉技术是传感器内四拜耳译码QBC HDR图像捕捉技术，并且其中所述单帧图像捕捉技术是长曝光像素合并帧图像捕捉技术。
18.根据权利要求17所述的方法，还包含：
确定使用所述单帧HDR图像捕捉技术连同单帧图像捕捉技术；
使用所述传感器内QBC HDR图像捕捉技术来捕捉第一图像；
使用所述长曝光像素合并帧图像捕捉技术来捕捉第二图像；以及
基于混合权重将所述第一图像和所述第二图像融合成所述输出图像。
19.根据权利要求18所述的方法，还包含：
将所述混合权重确定为像素亮度值的函数。
20.根据权利要求13所述的方法，还包含：
基于所述预览图像和先前捕捉的图像之间的像素值的绝对差总和的函数，来检测所述预览图像中是否存在运动。
21.根据权利要求13所述的方法，还包含：
确定所述预览图像的所述像素的所述亮度值的直方图。
22.根据权利要求21所述的方法，其中，基于所述预览图像的所述像素的所述亮度值来确定所述预览图像是否是所述HDR场景包含：
基于所述直方图的过饱和区域和所述直方图的欠饱和区域中的亮度值的百分比是否大于阈值，来确定所述预览图像是否是所述HDR场景。
23.根据权利要求22所述的方法，其中，所述单帧图像捕捉技术是用于自适应动态范围译码(ADRC)的单像素合并帧捕捉技术。
24.根据权利要求13所述的方法，还包含：
使用所述单帧图像捕捉技术或所述多个HDR图像捕捉技术中的一者来捕捉一个或多个图像。
25.一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使得设备的一个或多个处理器：
接收预览图像；
基于所述预览图像的像素的亮度值来确定所述预览图像是否是高动态范围(HDR)场景；
基于所述预览图像不是HDR场景的确定，来确定使用单帧图像捕捉技术；
基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动，来确定使用多个HDR图像捕捉技术中的一者；以及
使用一个或多个图像来产生输出图像，所述一个或多个图像是使用所述单帧图像捕捉技术或所述多个HDR图像捕捉技术中的一者捕捉的。
26.一种用于相机处理的设备，所述设备包含：
用于接收预览图像的部件；
基于所述预览图像的像素的亮度值来确定所述预览图像是否是高动态范围HDR场景；
用于基于所述预览图像不是HDR场景的确定来确定使用单帧图像捕捉技术的部件；
用于基于所述预览图像是HDR场景的确定且进一步基于在所述预览图像中检测到运动来确定使用多个HDR图像捕捉技术中的一者的部件；以及
用于使用一个或多个图像来产生输出图像的部件，所述一个或多个图像是使用所述单帧图像捕捉技术或所述多个HDR图像捕捉技术中的一者捕捉的。
CN202180089685.XA 2021-01-14 2021-12-16 用于图像处理的高动态范围技术选择 Pending CN116711317A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/149,371 US11671715B2 (en) 2021-01-14 2021-01-14 High dynamic range technique selection for image processing
US17/149,371 2021-01-14
PCT/US2021/063794 WO2022154931A1 (en) 2021-01-14 2021-12-16 High dynamic range technique selection for image processing

Publications (1)

Publication Number Publication Date
CN116711317A true CN116711317A (zh) 2023-09-05

Family

ID=79317066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180089685.XA Pending CN116711317A (zh) 2021-01-14 2021-12-16 用于图像处理的高动态范围技术选择

Country Status (7)

Country Link
US (1) US11671715B2 (zh)
EP (1) EP4278599A1 (zh)
JP (1) JP2024502938A (zh)
KR (1) KR20230131831A (zh)
CN (1) CN116711317A (zh)
BR (1) BR112023013409A2 (zh)
WO (1) WO2022154931A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220353489A1 (en) * 2021-04-30 2022-11-03 Microsoft Technology Licensing, Llc Systems and methods for efficient generation of single photon avalanche diode imagery with persistence
US11881129B2 (en) * 2021-04-30 2024-01-23 Microsoft Technology Licensing, Llc Systems and methods for adding persistence to single photon avalanche diode imagery
US11961206B2 (en) * 2021-09-09 2024-04-16 Samsung Electronics Co., Ltd. Image generation using non-linear scaling and tone-mapping based on cubic spline curves
CN114679542B (zh) * 2022-03-25 2024-04-16 三星半导体(中国)研究开发有限公司 图像处理方法和电子装置
CN115361505B (zh) * 2022-08-16 2024-04-30 豪威集成电路(成都)有限公司 一种场景自适应的aec目标亮度控制方法
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN117689559B (zh) * 2023-08-07 2024-08-02 上海荣耀智慧科技开发有限公司 一种图像融合方法、装置、电子设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5880777A (en) * 1996-04-15 1999-03-09 Massachusetts Institute Of Technology Low-light-level imaging and image processing
JP4405481B2 (ja) * 2006-06-30 2010-01-27 株式会社東芝 液晶表示装置
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
US9584733B2 (en) * 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
KR101699919B1 (ko) 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
CN103297701B (zh) * 2012-02-27 2016-12-14 江苏思特威电子科技有限公司 成像方法及成像装置
US9307161B2 (en) 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
CN109417592B (zh) * 2016-07-01 2020-12-29 麦克赛尔株式会社 拍摄装置、拍摄方法及拍摄程序
KR20180027047A (ko) 2016-09-05 2018-03-14 엘지전자 주식회사 Hdr 영상 촬영 장치 및 그 제어 방법
KR20190018280A (ko) 2017-08-14 2019-02-22 엘지전자 주식회사 이동 단말기 및 그의 hdr 영상 획득 방법
CN111418201B (zh) 2018-03-27 2021-10-15 华为技术有限公司 一种拍摄方法及设备
WO2020060598A1 (en) * 2018-09-19 2020-03-26 Gopro, Inc. Automated camera mode selection
US11714157B2 (en) * 2020-11-10 2023-08-01 Amazon Technologies, Inc. System to determine direction toward user

Also Published As

Publication number Publication date
JP2024502938A (ja) 2024-01-24
KR20230131831A (ko) 2023-09-14
BR112023013409A2 (pt) 2023-12-05
US11671715B2 (en) 2023-06-06
EP4278599A1 (en) 2023-11-22
WO2022154931A1 (en) 2022-07-21
US20220224820A1 (en) 2022-07-14

Similar Documents

Publication Publication Date Title
US11671715B2 (en) High dynamic range technique selection for image processing
JP6911202B2 (ja) 撮像制御方法および撮像装置
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US8111300B2 (en) System and method to selectively combine video frame image data
AU2011312756B2 (en) System and method for processing image data using an image signal processor having back-end processing logic
US11184553B1 (en) Image signal processing in multi-camera system
US20100157079A1 (en) System and method to selectively combine images
KR102385278B1 (ko) 이미지 캡처에서의 줌 제어
WO2012044434A1 (en) Overflow control techniques for image signal processing
EP2922288A1 (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
WO2012044432A1 (en) Image signal processor line buffer configuration for processing raw image data
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN110740266B (zh) 图像选帧方法、装置、存储介质及电子设备
US11057572B1 (en) Apparatus and methods for image capture control
JP2016173777A (ja) 画像処理装置
US8736739B2 (en) Imaging apparatus, imaging control method, and program
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
EP2446414B1 (en) Lens roll-off correction operation using values corrected based on brightness information
KR102247597B1 (ko) 영상 처리 장치 및 영상 처리 방법
US11678060B2 (en) Apparatus, method for controlling apparatus, and storage medium
US20230292020A1 (en) Lens distortion correction for image processing
WO2022041287A1 (zh) 获取图像的方法、装置、设备及计算机可读存储介质
US12052516B2 (en) Flexible region of interest color processing for cameras
CN117412185A (zh) 图像生成方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination