CN115516495A - 基于选择区域优化高动态范围(hdr)图像处理 - Google Patents

基于选择区域优化高动态范围(hdr)图像处理 Download PDF

Info

Publication number
CN115516495A
CN115516495A CN202080100500.6A CN202080100500A CN115516495A CN 115516495 A CN115516495 A CN 115516495A CN 202080100500 A CN202080100500 A CN 202080100500A CN 115516495 A CN115516495 A CN 115516495A
Authority
CN
China
Prior art keywords
scene
region
image
image frame
exposure setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080100500.6A
Other languages
English (en)
Inventor
N.瓦尔吉斯
N.斯里瓦斯塔瓦
N.K.切普里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN115516495A publication Critical patent/CN115516495A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

当触摸屏显示场景的预览帧时,例如通过对触摸屏的用户输入来识别场景的多个区域。基于所识别的区域来确定多个曝光设置。基于所识别的区域之一来确定每个曝光设置,例如以最佳地曝光该区域。捕获场景的多个图像帧,其中以所确定的曝光设置中不同的曝光设置来捕获每个图像帧。通过合并场景的多个图像帧来生成场景的高动态范围(HDR)图像。

Description

基于选择区域优化高动态范围(HDR)图像处理
技术领域
本申请涉及图像处理。更具体地,本申请涉及通过合并场景的多个图像帧来执行高动态范围(HDR)图像处理的系统和方法,每个图像帧是在不同的曝光下捕获的,其中不同的曝光基于场景的不同区域。
背景技术
数字图像设备(如数码相机)的动态范围是该设备在不饱和的情况下能够捕获的最大光量与该设备能够精确测量并从固有图像噪声(电噪声、热噪声等)中区分的最小光量之间的比率。大多数数码相机只能捕获真实世界场景中自然光照范围的一小部分。场景的动态范围可以是例如100,000:1,而数码相机的图像传感器的动态范围可以是例如100:1。当场景的动态范围超过传感器的动态范围时,最高光线级别和最低光线级别区域中的细节会丢失。
发明内容
通过允许用户或计算系统识别在生成场景的高动态范围(HDR)图像时优先考虑的场景中的重要区域能够改进HDR成像。在此描述了图像处理技术和工艺:识别场景的重要区域、基于那些特定区域确定曝光设置、以及将在那些曝光设置下捕获的图像帧合并在一起以生成最佳地再现所有那些区域的HDR图像。
在一个示例中,提供了一种处理图像数据的方法。该方法包括识别场景的第一区域并基于场景的第一区域确定第一曝光设置。该方法还包括识别场景的第二区域并基于场景的第二区域确定第二曝光设置。该方法还包括接收使用第一曝光设置捕获的场景的第一图像帧,以及接收使用第二曝光设置捕获的场景的第二图像帧。该方法还包括通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。
在另一个示例中,提供了一种用于处理图像数据的装置。该装置包括耦合到图像传感器的连接器。该连接器接收使用第一曝光设置捕获的场景的第一图像帧,并接收使用第二曝光设置捕获的场景的第二图像帧。该装置还包括存储指令的一个或多个存储器单元和执行指令的一个或多个处理器。一个或多个处理器对指令的执行使得所述一个或多个处理器执行操作。这些操作包括识别场景的第一区域和基于场景的第一区域确定第一曝光设置。这些操作还包括识别场景的第二区域并基于场景的第二区域确定第二曝光设置。这些操作还包括通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。
在另一个示例中,提供了一种其上存储有指令的非暂时性计算机可读介质,当由一个或多个处理器执行时,所述指令使得所述一个或多个处理器:识别场景的第一区域;基于场景的第一区域确定第一曝光设置;识别场景的第二区域;基于场景的第二区域确定第二曝光设置;接收使用第一曝光设置捕获的场景的第一图像帧;接收使用第二曝光设置捕获的场景的第二图像帧;并且通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。
在另一个示例中,提供了一种用于处理图像数据的装置。该装置包括:用于识别场景的第一区域的部件;用于基于场景的第一区域确定第一曝光设置的部件;用于识别场景的第二区域的部件;用于基于场景的第二区域确定第二曝光设置的部件;用于接收使用第一曝光设置捕获的场景的第一图像帧的部件;用于接收使用第二曝光设置捕获的场景的第二图像帧的部件;以及用于通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像的部件。
在一些方面,上述方法、装置和计算机可读介质还包括:当触摸屏显示场景的一个或多个预览帧时,通过触摸屏接收一个或多个基于触摸的输入,其中识别第一区域和第二区域是基于一个或多个基于触摸的输入。
在一些方面,上述方法、装置和计算机可读介质还包括:当屏幕显示场景的一个或多个预览帧时,通过控制屏幕上的指针的输入设备接收一个或多个基于指针的输入,其中识别第一区域和第二区域是基于一个或多个基于指针的输入。
在一些方面,上述方法、装置和计算机可读介质还包括:使用对象检测算法识别场景中的对象,其中识别场景的第一区域基于识别该对象在第一区域内。在一些示例中,该对象是面部。
在一些方面,上述方法、装置和计算机可读介质还包括:识别场景的第三区域;基于场景的第三区域确定第三曝光设置;以及接收使用第三曝光设置捕获的场景的第三图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
在一些方面,上述方法、装置和计算机可读介质还包括:第一曝光设置对应于第一曝光时间,而第二曝光设置对应于不同于第一曝光时间的第二曝光时间。
在一些方面,场景中的第一区域的中间色调在第一阈值内匹配第一图像帧中的第一区域的表示的中间色调。在一些情况下,场景中的第二区域的中间色调在第二阈值内匹配第二图像帧中的第一区域的表示的中间色调。
在一些方面,第一区域以第二对比度级别在第二图像帧中再现,并且以超过第二对比度级别的第一对比度级别在第一图像帧中再现。
在一些方面,第二区域以第一对比度级别在第一图像帧中再现,并且以超过第一对比度级别的第二对比度级别在第二图像帧中再现。
在一些方面,HDR图像的第三动态范围大于第一图像帧的第一动态范围和第二图像帧的第二动态范围中的至少一个。
在一些方面,第一区域包括第一图像帧的所有像素。
在一些方面,上述的方法、装置和计算机可读介质进一步包括:基于第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置;接收使用第三曝光设置捕获的场景的第三图像帧;以及接收使用第四曝光设置捕获的场景的第四图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧和第四图像帧。
在一些方面,上述方法、装置和计算机可读介质还包括:确定从第一曝光设置偏移预定偏移量的第三曝光设置;以及接收使用第三曝光设置捕获的场景的第三图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
在一些方面,上述方法、装置和计算机可读介质还包括:使用第一曝光设置捕获场景的第一图像帧;以及使用第二曝光设置捕获场景的第二图像帧。
在一些方面,该装置包括相机、移动设备(例如,移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、扩展现实设备(例如,虚拟现实(VR)设备、增强现实(AR)设备或混合现实(MR)设备)、个人计算机、膝上型计算机、服务器计算机或其他设备。在一些方面,该装置包括用于捕获一个或多个图像的一个或多个相机。在一些方面,该装置还包括用于显示一个或多个图像、通知和/或其他可显示数据的显示器。在一些方面,上述装置可以包括一个或多个传感器。
该概述不旨在标识所要求保护的主题的关键或必要特征,也不旨在孤立地用于确定所要求保护的主题的范围。应该通过参考本专利的整个说明书、任何或所有附图以及每个权利要求的适当部分来理解主题。
参考以下说明书、权利要求书和附图,前述内容以及其他特征和实施例将变得更加明显。
附图说明
下面参考以下附图详细描述本申请的说明性实施例:
图1是图示出图像捕获和处理设备的架构的框图;
图2是图示出用于生成高动态范围(HDR)图像的图像处理操作的流程图;
图3A是图示出场景的预览帧的概念图;
图3B是图示在识别了多个区域的情况下的图3A的预览帧的概念图;
图4是图示出将多个图像帧合并成单个高动态范围(HDR)图像的操作的图;
图5是图示出用于处理图像数据的过程的示例的流程图;以及
图6是图示出用于实现本技术的某些方面的系统的示例的图。
具体实施方式
下面提供了本公开的某些方面和实施例。这些方面和实施例中的一些可以独立应用,并且它们中的一些可以组合应用,这对于本领域技术人员来说是显然的。在以下描述中,出于解释的目的,阐述了具体细节,以便提供对本申请的实施例的全面理解。然而,显然地,可以在没有这些具体细节的情况下实施各种实施例。附图和描述不是限制性的。
随后的描述仅提供示例性实施例,并不旨在限制本公开的范围、适用性或配置。相反,示例性实施例的随后描述将为本领域技术人员提供实现示例性实施例的描述。应当理解,在不脱离所附权利要求中阐述的本申请的精神和范围的情况下,可以对要素的功能和布置进行各种改变。
高动态范围成像(HDRI)是一种用于成像和摄影的高动态范围(HDR)技术。执行HDRI的相机通常以不同的曝光设置捕获同一场景的两个或更多个图像帧,然后将这些图像帧合并成单个HDR图像。HDR图像通常比被合并以产生HDR图像的任何图像帧具有更高的动态范围。
低曝光限制了到达图像传感器的光量。因此,在低曝光下捕获的图像帧通常能够准确地再现场景中非常明亮的区域的细节,诸如描绘太阳、灯、屏幕或另一光源的场景区域。另一方面,高曝光允许更多的光到达图像传感器。然后,在高曝光下捕获的图像帧通常能够准确地再现场景中非常昏暗的区域中的细节,诸如被阴影笼罩的区域。通过将在低曝光下捕获的图像帧与在高曝光下捕获的图像帧合并而生成的HDR图像能够精确地再现非常明亮和非常昏暗的区域中的细节,从而再现比在任何单次曝光下捕获的图像帧更大的亮度动态范围。
1在一些情况下,能够通过被称为曝光包围的过程来选择要在HDRI过程中合并的图像帧的曝光时间。在曝光包围中,“主”曝光被选择,并表示为曝光值(EV)0。例如,可以基于自动曝光(AE)控制来选择“主”曝光,该自动曝光控制可以尝试对曝光设置进行增量调整,直到找到产生如下场景的表示的曝光设置,在该场景的表示中,场景的表示的中间色调尽可能接近地匹配实际场景的中间色调(例如,在阈值内)。选择预定的偏移量EV,诸如N个光阑(stops)。选择比EV 0低偏移量EV的较低曝光。例如,如果偏移量为N个光阑,此较低的曝光被表示为EV-N。选择比EV 0高偏移量EV的较高曝光。例如,如果偏移量是N个光阑,这个更高的曝光被表示为EV+N。通过合并在EV 0处捕获的图像帧、在EV-N处捕获的图像帧和在EV+N处捕获的图像帧来生成HDR图像。这里,N可以是任何值,例如0.5、1.0、1.5、2.0、2.5、3.0、3.5、4.0、4.5、5.0,0和0.5之间的数字、大于5.0的数字,或者之前列举的数字中任意两者之间的数字
然而,曝光包围有其局限性。如果场景的区域在所有三个图像帧(例如,EV0、EV-N和EV+N)中曝光不良,则该区域在所得到的HDR图像中仍然曝光不良。使用捕获图像帧以合并成HDR图像,并通过曝光包围来选择那些图像帧的曝光设置的图像捕获和处理设备的用户无法确保对用户来说重要的场景的特定区域(如面部或具有书写文本的区域)在HDR图像中被正确曝光。
一些情况下,可以在基于场景的特定区域选择的曝光设置下捕获最终被组合以形成HDR图像的图像帧。这些区域可由图像捕获和处理设备基于用户输入(例如,选择区域内的对象或区域的一个或多个角落或边缘)、一个或多个对象辨识算法(例如,自动辨识场景内的人脸或其他重要对象)或其某种组合来识别。可以基于所识别的场景区域生成曝光设置,生成对应于每个区域的曝光设置以优化该区域的曝光。例如,可以生成具有长曝光时间的曝光设置以对应于光线昏暗的区域,从而捕获足够的光以使光线昏暗的区域内的细节清晰,而可以生成具有短曝光时间的曝光设置以对应于光线明亮的区域,从而限制光线摄入以使光线明亮的区域内的细节清晰。通过合并用对应于场景中特定区域的这些曝光设置捕获的图像帧而生成的HDR图像包括这些区域内的最佳细节级别。在一些情况下,可以使用区域聚焦曝光设置和曝光包围的组合。
图1是图示图像捕获和处理设备的架构的框图。图1的图像捕获和处理设备100包括图像捕获和处理设备100用来捕获和处理场景110的图像的各种组件。设备100的镜头115面向场景110,接收来自场景110的光,并将光折向图像传感器130。由镜头115接收的光穿过由一个或多个控制机构120控制的光圈,并由图像传感器130接收。一个或多个控制机构120可以基于来自图像传感器130和/或来自图像处理器150的信息来控制曝光、聚焦和/或变焦。一个或多个控制机构120可以包括多个机构和组件;例如,控制机构120可以包括一个或多个曝光控制机构125A、一个或多个聚焦控制机构125B和/或一个或多个变焦控制机构125C。
控制机构120的聚焦控制机构125B将聚焦设置存储在存储寄存器中,并且基于该聚焦设置,相对于图像传感器130的位置调整镜头115的位置,在一些情况下,通过致动马达或伺服机构将镜头115移动得更靠近图像传感器130或更远离图像传感器130,从而调整聚焦。在一些情况下,设备100中可以包括附加的镜头,诸如图像传感器130的每个光电二极管上的一个或多个微镜头,在光到达光电二极管之前,每个微镜头将从镜头115接收的光折向相应的光电二极管。聚焦设置可以经由对比度检测自动聚焦(CDAF)、相位检测自动聚焦(PDAF)或其某种组合来确定。可以使用控制机构120、图像传感器130和/或图像处理器150来确定聚焦设置。
控制机构120的曝光控制机构125A将曝光设置存储在存储寄存器中,并且基于该曝光设置,曝光控制机构125A控制光圈的大小(例如,光圈大小或f/stop)、光圈打开的持续时间(例如,曝光时间或快门速度)、图像传感器130的灵敏度(例如,ISO速度或感光度)、图像传感器130应用的模拟增益,或其某种组合。对于HDR摄影,光圈大小在一些情况下是不变的,因为光圈大小的改变在一些情况下可能会改变景深,这可能会导致在一个图像帧中清晰的某些区在另一个图像帧中模糊,反之亦然,从而潜在地阻止在这些场景下以不同光圈大小捕获的图像帧被清晰地合并在一起成为HDR图像。曝光时间、ISO速度和模拟增益的改变通常不会影响景深,因此可以更有效地用于捕获最终合并生成HDR图像的图像帧。
控制机构120的变焦控制机构125C将变焦设置存储在存储寄存器中。基于该变焦设置,变焦控制机构125C通过致动一个或多个马达或伺服机构以相对于彼此移动一个或多个镜头来控制包括镜头115和一个或多个附加镜头的镜头元件构件(镜头构件)的焦距。镜头构件可以包括等焦面变焦镜头或变焦面变焦镜头。镜头构件可以包括首先接收来自场景110的光的聚焦镜头115,然后是聚焦镜头115和图像传感器130之间的无焦变焦系统。在一些情况下,无焦点变焦系统可以包括两个焦距相等或相似(例如,在阈值差内)的正(例如,会聚、凸透镜)镜头,在它们之间有负(例如,发散、凹透镜)。在一些情况下,变焦控制机构125C移动无焦变焦系统中的一个或多个镜头,诸如负镜头和一个或两个正镜头。
图像传感器130包括光电二极管或其他光敏元件的一个或多个阵列,每个光电二极管测量最终对应于图像传感器130产生的图像中的特定像素的光量。在一些情况下,不同的光电二极管可以被不同的滤色器覆盖,因此可以测量与覆盖光电二极管的滤色器的颜色相匹配的光。例如,拜耳滤色器包括红色滤色器、蓝色滤色器和绿色滤色器,图像的每个像素是基于来自用红色滤色器覆盖的至少一个光电二极管的红光数据、来自用蓝色滤色器覆盖的至少一个光电二极管的蓝光数据以及来自用绿色滤色器覆盖的至少一个光电二极管的绿光数据而生成的。其他类型的滤色器可以使用黄色、品红色和/或青色(也称为“祖母绿”)滤色器来代替或补充红色、蓝色和/或绿色滤色器。一些图像传感器可能完全没有滤色器,而是在整个像素阵列中使用不同的光电二极管(在一些情况下垂直堆叠),不同的光电二极管具有不同的光谱灵敏度曲线,因此响应于不同波长的光。单色图像传感器也可能缺少滤色器,因此缺少色深。
在一些情况下,图像传感器130可以替代地或附加地包括不透明和/或反射掩模,其在某些时间和/或从某些角度阻挡光到达某些光电二极管或某些光电二极管的部分,这可以用于相位检测自动聚焦(PDAF)。图像传感器130还可以包括模拟增益放大器以放大由光电二极管输出的模拟信号,和/或模数转换器(ADC)以将光电二极管输出的(和/或由模拟增益放大器放大的)模拟信号转换成数字信号。在一些情况下,关于一个或多个控制机构120讨论的某些组件或功能可以替代地或附加地包括在图像传感器130中。图像传感器130可以是电荷耦合器件(CCD)传感器、电子倍增CCD(EMCCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)、混合CCD/CMOS传感器(例如,sCMOS),或它们的一些其他组合。
图像处理器150可以包括一个或多个处理器,诸如一个或多个图像信号处理器(ISP)、一个或多个数字信号处理器(DSP)和/或关于计算系统600讨论的一个或多个任何其他类型的处理器610。图像处理器150可以执行多个任务,诸如去马赛克、色彩空间转换、图像帧下采样、像素插值、自动曝光(AE)控制、自动增益控制(AGC)、CDAF、PDAF、自动白平衡、图像帧的合并以形成HDR图像、图像辨识、对象辨识、特征辨识、接收输入、管理输出、管理存储器,或其一些组合。图像处理器150可以将图像帧和/或经处理的图像存储在随机存取存储器(RAM)140/620、只读存储器(ROM)145/625、高速缓存612、存储器单元615、另一存储设备630,或其某种组合中。
各种输入/输出(I/O)设备160可以连接到图像处理器150,诸如显示屏、键盘、小键盘、触摸屏、轨迹板、触敏表面、任何其他输出设备635、任何其他输入设备645,或其某种组合。在一些情况下,可以基于由一个或多个I/O设备160从用户接收的输入来识别场景的区域,并将其传送到图像处理器150。I/O 160可以包括一个或多个端口、插孔或其他连接器,其实现设备100和一个或多个外围设备之间的有线连接,通过该有线连接,设备100可以从一个或多个外围设备接收数据和/或向一个或多个外围设备发送数据。I/O 160可以包括一个或多个无线收发器,其实现设备100和一个或多个外围设备之间的无线连接,通过该无线连接,设备100可以从一个或多个外围设备接收数据和/或向一个或多个外围设备发送数据。
在一些情况下,图像捕获和处理设备100可以是单个设备。在一些情况下,图像捕获和处理设备100实际上可以是两个分开的设备——图像捕获设备105A(例如,相机)和图像处理设备105B(例如,耦合到相机的计算设备)。图像捕获设备105A和图像处理设备105B可以例如经由一条或多条线路或电缆或者无线地耦合在一起。图像捕获设备105A和图像处理设备105B可以彼此断开连接。垂直虚线将图1的图像捕获和处理设备100分成两部分,这两部分分别表示图像捕获设备105A和图像处理设备105B。图像捕获设备105A包括镜头115、控制机构120、图像传感器130,和图像处理器150的一部分(包括ISP)。图像处理设备105B包括图像处理器150的第二部分(包括DSP)、RAM 140、ROM 145和I/O 160。在一些情况下,图像捕获设备105A中图示出的某些组件,诸如ISP,可以被包括在图像处理设备105B中。在一些情况下,图像处理设备105B中所图示的某些组件,诸如DSP,可包括在图像捕获设备105A中。
图1的图像捕获和处理设备100可以包括电子设备,诸如移动或固定电话手机(例如,智能电话、蜂窝电话等)、台式计算机、膝上型或笔记本计算机、平板计算机、机顶盒、电视机、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、互联网协议(IP)相机或任何其他合适的电子设备。在一些示例中,图像捕获和处理设备100可以包括用于无线通信的一个或多个无线收发器。
虽然图像捕获和处理设备100被示为包括某些组件,但是普通技术人员将会理解,图像捕获和处理设备100可以包括比图1所示更多的组件。图像捕获和处理设备100的组件可以包括软件、硬件或者软件和硬件的一个或多个组合。例如,在一些实施方式中,图像捕获和处理设备100的组件可以包括电子电路或其他电子硬件和/或可以使用电子电路或其他电子硬件来实现,电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如,微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其他合适的电子电路),和/或可以包括计算机软件、固件或其任意组合和/或使用计算机软件、固件或其任意组合来实现,以执行这里描述的各种操作。软件和/或固件可以包括存储在计算机可读存储介质上并可由实现图像捕获和处理设备100的电子设备的一个或多个处理器执行的一个或多个指令。
图2是图示出用于生成高动态范围(HDR)图像的图像处理操作的流程图。图2的图像处理操作200可以由图1的图像捕获和处理设备100或图像处理设备105B来执行。为了简单起见,将把图2的操作200讨论为由图像处理设备105B执行。
在操作215,图像处理设备105B识别场景的第一区域。在操作220,图像处理设备105B识别场景的第二区域。在一些情况下,操作220中的第一区域和第二区域的识别可以基于操作205和/或操作210。
在操作205,图像处理设备105B接收选择场景的第一区域和/或场景的第二区域的一个或多个输入。在一个示例中,一个或多个输入可以包括通过图像处理设备105B的I/O160的触摸屏接收的基于触摸的输入,同时触摸屏显示场景的一个或多个预览帧。预览帧在这里也可以被称为预览图像。替代地或附加地,一个或多个输入可以包括通过图像处理设备105B的I/O 160的输入设备接收的一个或多个基于指针的输入,该输入设备在屏幕显示场景的一个或多个预览帧时控制屏幕上的指针(例如,鼠标或轨迹板或键盘或小键盘)。
例如,用户可以触摸或点击对象来定义包括该对象的区域。响应于从触摸屏或输入设备接收到对象上的触摸或点击,图像处理设备105B能够通过经由边缘检测、特征检测、对象检测、对象辨识或其某种组合来识别对象的边界,从而确定区域的边界。在另一示例中,用户可以触摸或点击区域的预期中心,并且图像处理设备105B能够在图像处理设备105B从触摸屏或输入设备接收触摸或点击输入的位置周围定义预定义大小的区域。在另一个示例中,用户可以触摸区域的一个或多个角落或边缘来定义该区域所跨越的面积,并且图像处理设备105B能够基于由图像处理设备105B从触摸屏或输入设备接收的触摸或点击输入所指示的角落或边缘来定义区域。在另一个示例中,用户可以触摸或点击区域的角落,并且在释放触摸或点击之前滑动或拖动到该区域的对角,并且图像处理设备105B能够将该区域所跨越的面积定义为具有由图像处理设备105B从触摸屏或输入设备接收的触摸或指针输入所指示的两个角落的矩形。在另一示例中,用户可以触摸、点击、拖动和/或滑动他们的手指或指针到重叠在触摸屏上的场景上的网格的一个或多个框(例如,正方形或长方形),并且图像处理设备105B能够识别包括由图像处理设备105B从触摸屏或输入设备接收的触摸或指针输入所指示的网格的那些框的区域。在另一示例中,用户可以经由触摸在触摸屏上或经由指针在屏幕上绘制形状,并且图像处理设备105B能够定义区域以包括使用图像处理设备105B从触摸屏或输入设备接收的触摸或指针输入所绘制的形状内的场景区。虽然基于触摸的输入和基于指针的输入在这里被用作说明性示例,但是能够使用任何类型的输入,诸如基于指针的输入、基于手势的输入、基于语音或话语的输入、输入的任何组合(例如,基于触摸和基于语音的输入的组合等),和/或其他类型输入。
在一些情况下,可以基于经由对象检测或对象辨识算法识别场景中的对象来识别第一区域和/或第二区域。如果通过对象检测或对象辨识算法识别了对象,则图像处理设备105B可以识别区域以包括图像处理设备105B检测到的该对象。在一些情况下,对象可以是人类或动物(例如,宠物)的面部。在一些情况下,该对象可以是标志、文件、屏幕、投影表面或包括印刷、书写、显示或投影在其上的文本和/或数字的另一区。在一些情况下,该对象可以是车辆、计算机或其另一机械和/或电子设备。在一些情况下,对象可以是动物、植物或另一种自然对象。在一些情况下,对象可以是相对于场景的其余部分特别光线明亮的对象或区(例如,对象或区的平均亮度比场景的平均亮度高一个阈值,例如标准偏差或其倍数)。在这种情况下,可以选择对象,使得HDR图像最终最佳地表示该光线明亮的对象或区,这是由于对应于具有该对象的区域的图像帧是用该对象的最佳曝光设置捕获的。在一些情况下,对象可以是场景中特别光线昏暗的对象或区(例如,对象或区的平均亮度比场景的平均亮度低一个阈值,例如标准偏差或其倍数)。在这种情况下,可以选择对象,使得HDR图像最终最佳地表示该光线昏暗对象或区,这是由于对应于具有该对象的区域的图像帧是用该对象的最佳曝光设置捕获的。因此,对象可以包括地板、墙壁、天花板、屋顶、边缘、角落、家具、窗口、门、天空区域、自然区域或其某种组合的特定区域。可以将该区域的边界识别为对象的边界,或者具有包含该对象的特定预定形状(例如,正方形、长方形、圆形、椭圆形)的边界,包含该对象在所讨论的(多个)图像帧中可见的任何部分的边界,或者包含其中包括最高浓度(concentration)的边缘或其他特征的对象部分的边界。
图像处理设备105B应用的对象检测和/或辨识算法可以包括和/或结合图像检测和/或辨识算法、对象检测和/或辨识算法、面部检测和/或辨识算法、特征检测和/或辨识算法、边缘检测算法、边界追踪函数,或其某种组合。对象检测是一种用于从图像或视频帧中检测(或定位)对象的技术。检测到的对象可以使用界定区域来表示,该界定区域识别图像或视频帧中该对象(例如,面部)的位置和/或近似边界。检测到的对象的界定区域可以包括界定框、界定圆、界定椭圆、界定多边形或表示,和/或包括检测到的对象的任何其他合适形状的区域。对象检测和/或识别能够用于识别检测到的对象和/或辨识检测到的对象并将其分类到对象的类别或类型中。例如,特征辨识可以识别场景区域中的多个边缘和角落。对象检测可以检测到该区域中检测到的边缘和角落都属于单个对象。对象检测和/或对象辨识和/或面部检测可以识别该对象是人脸。对象辨识和/或面部辨识可以进一步识别对应于该面部的人的身份。
能够使用任何合适的对象辨识和/或检测技术来执行对象检测和/或辨识算法。在一些实施方式中,对象检测和/或辨识算法能够基于使用机器学习算法对相同类型的对象和/或特征的图像进行训练的机器学习模型,该机器学习算法可以提取图像的特征,并且基于算法对模型的训练来检测和/或分类包括那些特征的对象。例如,机器学习算法可以是神经网络(NN),诸如卷积神经网络(CNN)、时间延迟神经网络(TDNN)、深度前馈神经网络(DFFNN)、递归神经网络(RNN)、自动编码器(AE)、变化AE(VAE)、去噪AE(DAE)、稀疏AE(SAE)、马尔可夫链(MC)、感知器,或其某种组合。机器学习算法可以是监督学习算法、深度学习算法,或其某种组合。
在一些实施方式中,能够使用基于计算机视觉的对象检测和/或辨识技术。能够使用不同类型的基于计算机视觉的对象检测算法。在一个说明性示例中,能够使用基于模板匹配的技术来检测图像中的一只或多只手。能够使用各种类型的模板匹配算法。模板匹配算法的一个示例能够执行Haar或类Haar特征提取、积分图像生成、Adaboost训练和级联分类器。这种对象检测技术通过在图像上应用(例如,具有矩形、圆形、三角形或其他形状的)滑动窗口来执行检测。积分图像可以被计算为评估来自图像的特定区域特征(例如矩形或圆形特征)的图像表示。对于每个当前窗口,当前窗口的Haar特征能够从上面提到的积分图像中计算,其可以在计算Haar特征之前计算。
能够通过计算对象图像的特定特征区域内的图像像素的总和来计算Harr特征,诸如积分图像的那些。例如,在面部,有眼睛的区域通常比有鼻梁或脸颊的区域更暗。能够通过选择最好的特征和/或训练使用它们的分类器的学习算法(例如,Adaboost学习算法)来选择Haar特征,并且能够将其用于利用级联分类器将窗口有效地分类为面部(或其他对象)窗口或非面部窗口。级联分类器包括级联组合的多个分类器,这允许快速丢弃图像的背景区域,同时对类似对象的区域执行更多计算。使用面部作为外部观察者的身体部分的示例,级联分类器能够将当前窗口分类为面部类别或非面部类别。如果一个分类器将窗口分类为非面部类别,则该窗口被丢弃。否则,如果一个分类器将窗口分类为面部类别,级联布置中的下一个分类器将被用于再次测试。在所有分类器确定当前窗口是面部(或其他对象)之前,该窗口将被标记为作为手(或其他对象)的候选。在检测到所有窗口之后,能够使用非最大抑制算法来对每个面部周围的窗口进行分组,以生成一个或多个检测到的面部的最终结果。
在操作225,图像处理设备105B基于场景的第一区域确定第一曝光设置。在操作230,图像处理设备105B基于场景的第二区域确定第二曝光设置。在操作235,图像处理设备105B接收使用第一曝光设置捕获的场景的第一图像帧。在一些情况下,操作235还可以包括图像捕获设备105A使用第一曝光设置捕获场景的第一图像帧。在操作240,图像处理设备105B使用第二曝光设置捕获场景的第二图像帧。在一些情况下,操作240还可以包括图像捕获设备105A使用第二曝光设置捕获场景的第二图像帧。
在一些情况下,第一曝光设置对应于第一曝光时间,第二曝光设置对应于不同于第一曝光时间的第二曝光时间。在一些情况下,在第一图像帧中最佳地曝光第一区域,并且在第二图像帧中最佳地曝光第二区域。在一些情况下,场景中的第一区域的中间色调在第一阈值内匹配第一图像帧中的第一区域的表示的中间色调,并且场景中的第二区域的中间色调在第二阈值内匹配第二图像帧中的第一区域的表示的中间色调。
在一些情况下,第一区域在第二图像帧中以第二对比度级别再现,并且在第一图像帧中以超过第二对比度级别的第一对比度级别再现。在一些情况下,第二区域以第一对比度级别在第一图像帧中再现,并且以超过第一对比度级别的第二对比度级别在第二图像帧中再现。
在操作250,图像处理设备105B通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。在一些情况下,HDR图像的动态范围大于第一图像帧的第一动态范围和/或第二图像帧的第二动态范围。
如在操作200中基于所识别的区域生成HDR图像允许图像处理设备105B确保基于在最终被合并在一起以生成HDR图像的图像帧的至少一个中对这些区域中的每一个进行最佳地曝光而在HDR图像中最佳地且清晰地再现所识别的区域。另一方面,基于曝光包围生成的HDR图像的重要区域仍然会显得曝光过度、曝光不足或不清晰,在一些情况下,使得HDR图像中的面部不可辨识,而HDR图像中的文本不可读。例如,如果经由曝光包围(EV 0,EV-N,EV+N)选择的三个曝光中没有一个为特定区域提供最佳曝光,则该区域在使用曝光包围捕获的所有三个图像帧中可能显得曝光过度、曝光不足或不清晰,并且该区域在所得到的HDR图像中将保持不清晰(例如,仍然显得曝光过度或曝光不足)。如在操作中那样基于识别的区域生成HDR图像克服了曝光包围的这种技术限制,最终改进了产生如下HDR图像的图像捕获设备和图像处理设备,该HDR图像在具有面部或文本块或其他重要对象的重要区域没有出现曝光不足、曝光过度或其他不清晰的方面是优异的。
在一些情况下,在操作245,图像处理设备105B可以接收使用基于第三区域的第三曝光设置捕获的场景的第三图像帧,并且除了第一和第二图像帧之外,还可以基于第三图像帧生成HDR图像。在一些情况下,操作245还可以包括图像捕获设备105A使用第三曝光设置捕获场景的第三图像帧。在操作245,图像处理设备105B还可以接收第四图像帧、第五图像帧等等,其中每个相应的图像帧是使用基于相应区域的相应曝光设置而捕获的。可以识别任意数量的区域,基于这些区域,可以确定曝光设置,并将其用于捕获要与其他图像帧合并以生成HDR图像的附加图像帧。在一些情况下,第一区域、第二区域、第三区域或另一区域之一是包括整个场景的区域。
在一些情况下,操作250之后可以是操作255,其中图像处理设备105B将该设备存储在非暂时性计算机可读存储介质中,诸如硬盘驱动器、光盘、闪存、RAM 145/625、ROM140/620、可移动存储设备、安全数字(SD)卡、迷你安全数字(SD)卡、微型安全数字(SD)卡、另一种类型的存储器615或存储设备630,或其某种组合。
在一些情况下,操作250之后可以是操作260,其中图像处理设备105B使用发送器或收发器将HDR图像发送到第二设备。传输可以通过有线连接、无线连接或它们的某种组合来进行。在一些情况下,传输可以在网络上进行,诸如蜂窝网络、局域网(LAN)、无线局域网(WLAN)、互联网,或它们的某种组合。
在一些情况下,操作250之后可以是操作265,其中图像处理设备105B在屏幕或投影仪上显示HDR图像。屏幕或投影仪可以是图像处理设备105B的一部分,或者可以耦合到图像处理设备105B。屏幕或投影仪可以是图像处理设备105B经由操作260向其发送HDR图像的第二设备的一部分。
在一些情况下,图像处理设备105B基于第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置。举例来说,如果第一曝光设置被指示为EV0,那么第三曝光设置可低于第一曝光设置一偏移值N(EV-N),且第四曝光设置可高于第一曝光设置一偏移值N(EV+N)。图像处理设备105B可以使用第三曝光设置捕获场景的第三图像帧,并且使用第四曝光设置捕获场景的第四图像帧。在这种情况下,生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧和第四图像帧。实际上,该技术将基于曝光包围的HDR与操作200的基于区域的HDR相结合。在一个示例中,第一区域包括整个场景,因此第一曝光设置基于整个场景。
在一些情况下,图像处理设备105B确定从第一曝光设置(EV 0)偏移预定偏移值N的第三曝光设置。即,第三曝光设置比第一曝光设置低一偏移量N(EV-N)或比第一曝光设置高一偏移量N(EV+N)。图像处理设备105B使用第三曝光设置捕获场景的第三图像帧。在这种情况下,生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
在一些情况下,图2的操作200可以由装置或系统来执行。该装置或系统可以是或包括图像处理设备105B、图像捕获设备105A、图像捕获和处理设备100,或它们的某种组合。该装置或系统可以是或包括移动设备、移动电话、相机、摄像机、显示设备、投影仪或它们的某种组合。该装置或系统可以是或包括计算系统600。
图3A图示出了场景的预览帧。虽然关于图3A(和图3B)描述的操作是关于图像处理设备105B描述的,但是这些操作可以由图像捕获设备105A、图像捕获和处理设备100、计算系统600或它们的某种组合来执行。关于图3A和图3B的示例,图像处理设备105B可以包括触摸屏或其他类型的屏幕,其可以显示预览帧。例如,如果图像处理设备105B是相机设备或其他图像捕获和处理设备100的一部分,则在用户按下快门按钮之前,屏幕可以显示场景的一个或多个预览帧。
图3A所图示的特定预览帧300描绘了包括四个人形的场景,这四个人形的脸部在场景中是可见的。四个人形的面部被标记为面部310、面部320、面部330和面部340。该场景还图示出了膝上型计算机350。该场景图示在右手侧照亮场景的右手侧的窗口,而场景的左手侧相对光线昏暗并被阴影所笼罩。结果,面部310和320光线昏暗并笼罩在阴影中,并且没有被来自窗口的光很好地照亮,而面部330和340光线明亮且没有被阴影笼罩,并且被来自窗口的光很好地照亮。当处于阴影中时,膝上型计算机350还充当其自己的光源,因为膝上型计算机350的显示屏被照亮(例如,背光或前光)。在一些情况下,使用单次曝光或传统的HDR技术,光线昏暗区域和光线明亮区域之间的对比度再现得很差。
图3B图示出了识别了多个区域的图3A的预览帧。如图所示,图3B的预览帧360图示出了与图3A的预览帧300相同的场景,但是其中识别出了五个矩形区域。具体地,将第一区域315识别为围绕第一面部310的矩形。将第二区域325识别为围绕第二面部320的矩形。将第三区域335识别为围绕第三面部330的矩形。将第四区域345识别为围绕第四面部340的矩形。将第五区域355识别为围绕膝上型计算机350的矩形。
在一个示例性场景中,图3A的预览帧300可以显示在图像处理设备105B的触摸屏或其他屏幕上。用户可以观察并触摸或点击场景中的每个面部310、320、330和340,以及场景中的膝上型计算机350。结果,图像处理设备105B可以识别包括面部310的区域315、包括面部320的区域325、包括面部330的区域335、包括面部340的区域345以及包括膝上型计算机350的区域355。在一些情况下,图像处理设备105B可以使用对象辨识算法来基于用户的每次触摸或点击而确定触摸或点击了什么对象(例如,面部310/320/330/340或膝上型计算机350),该对象的边界是什么,以及什么区域形状和大小将最好地涵盖该对象。
区域315、325、335、345和355都被图示为矩形,但是可以是任何形状,包括正方形、长方形、圆形、长椭圆形、任何多边形或任何手绘形状,或者它们的某种组合。在一些情况下,区域的形状可以由用户使用对输入设备的用户输入来绘制,例如通过用户的手指或指示笔在触摸屏上的触摸或者通过使用鼠标或轨迹板的鼠标指针来绘制。在一些情况下,区域的形状可以通过触摸、拖动和释放动作,或者点击、拖动和释放动作来指示,其中触摸或点击指示矩形的一个角落,而释放指示矩形的对角。触摸/点击、拖动和释放动作可以交替地指示作为该区域的圆或椭圆的半径或直径的两个端点。
一旦识别出五个区域315、325、335、345和355,图像处理设备105B就识别出对应于五个区域中的每一个的不同曝光设置。图像处理设备105B可以通过执行特定于每个区域的自动曝光过程来这样做。图像处理设备105B因此可执行五个自动曝光过程;特定于第一区域315内的像素的一个自动曝光过程,特定于第二区域325内的像素的自动曝光过程,特定于第三区域335内的像素的一个自动曝光过程,特定于第四区域345内的像素的一个自动曝光过程,以及特定于第五区域355内的像素的一个自动曝光过程。所得的五个曝光设置中的每一个都被设计成最佳地曝光五个区域315、325、335、345和355中的一个。最佳地曝光区域增加了该区域内细节的可见度(例如,对比度),使得这种细节对于使用这种最佳曝光设置捕获的图像的观看者更清晰。
图4图示出了将多个图像帧合并成单个高动态范围(HDR)图像的操作。将图3A和图3B的场景的五个图像帧415、425、435、445和455图示已经在图4中进行了捕获。使用由图像处理设备105B分别为图3B的五个区域315、325、335、345和355生成的曝光设置来捕获图3A和图3B的场景的五个图像帧415、425、435、445和455。例如,图4的第一图像帧415是使用优化图3B的第一区域315的曝光的第一曝光设置捕获的,图4的第二图像帧425是使用优化图3B的第二区域325的曝光的第二曝光设置捕获的,图4的第三图像帧435是使用优化图3B的第三区域335的曝光的第三曝光设置捕获的,图4的第四图像帧445是使用优化图3B的第四区域345的曝光的第四曝光设置来捕获的,并且图4的第五图像帧455是使用优化图3B的第五区域355的曝光的第五曝光设置来捕获的。识别五个区域315、325、335、345和355的矩形也在图4的图像帧415、425、435、445和455中图示出,以清楚哪个图像帧对应于哪个区域。然而,应当理解,这些区域识别矩形在图4的图像帧内被图示出,以使这种对应关系更容易理解,并且其可能在捕获的实际图像帧415、425、435、445和455中缺失。
因为第一区域315和第二区域325都在出现在预览帧300中场景的左手侧的光线昏暗区域中,所以第一曝光设置和第二曝光设置都使用长曝光时间、大光圈尺寸、快ISO速度、高模拟和/或数字增益,或其某种组合。作为第一曝光设置和第二曝光设置的结果,在预览帧300中出现在场景左手侧的光线昏暗区域(包括第一区域315和第二区域325)在第一图像帧415和第二图像帧425中显得清晰明亮。作为第一曝光设置和第二曝光设置的结果,在预览帧300中出现在场景的右手侧的光线明亮区域(包括第三区域335和第四区域345)在第一图像帧415和第二图像帧425中出现过度曝光(例如,过于明亮且光线饱和)。同样,预览帧300中由膝上型计算机350的屏幕照亮的场景区域(例如,第五区域355周围)在第一图像帧415中也显得曝光过度。然而,因为第二区域325比第一区域315稍微更亮,例如因为第二区域325更靠近窗口和膝上型计算机350,所以第二曝光设置比第一曝光设置稍低,并且结果,在预览帧300中由膝上型计算机350的屏幕照亮的场景区域(例如,第五区域355周围)在第二图像帧425中比第一图像帧415稍微更清晰并且曝光过度更少。
因为第三区域335和第四区域345都在出现在预览帧300中的场景的右手侧的光线明亮区域中,所以第三曝光设置和第四曝光设置都使用短曝光时间、小光圈尺寸、慢ISO速度、低(或无)模拟和/或数字增益,或其某种组合。作为第三曝光设置和第四曝光设置的结果,在预览帧300中出现在场景右手侧的光线明亮区域(包括第三区域335和第四区域345)在第三图像帧435和第四图像帧445中显得清晰。作为第三曝光设置和第四曝光设置的结果,在预览帧300中出现在场景左手侧的光线昏暗区域(包括第一区域315和第二区域325)在第三图像帧435和第四图像帧445中显得非常暗和昏暗。因为第四区域345比第三区域335更靠近光源(窗口),所以第四曝光设置甚至低于第三曝光设置,使得在预览帧300中由膝上型计算机350的屏幕照亮的场景区域(包括第五区域355)在第四图像帧445中显得变暗,而在第三图像帧435中保持清晰。
因为第五区域355包括具有其中可以包括显示在屏幕上的文本或其他重要信息的照亮屏幕的膝上型计算机350,所以第五曝光设置使用短曝光时间、小光圈尺寸、慢ISO速度、低(或无)模拟和/或数字增益,或其某种组合。作为第五曝光设置的结果,表现为预览帧300中由膝上型计算机350的屏幕照亮的场景区域(包括第五区域355)在第五图像帧455中显得清晰。由于第五曝光设置,出现在预览帧300中场景的右手侧的光线明亮区域(包括第三区域335和第四区域345)在第五图像帧455中显得稍微暗和昏暗,而出现在预览帧300中场景的左手侧的光线昏暗的区域(包括第一区域315和第二区域325)在第五图像帧455中显得非常黑和昏暗。
第一图像帧415、第二图像帧425、第三图像帧435、第四图像帧445和第五图像帧455被合并在一起成为HDR图像460。虽然场景的一些区域在HDR图像460中仍然较亮或较暗,但是所有五个区域315、325、335、345和355看起来清晰、对比度高,并且所有细节(例如,边缘、角落和其他视觉特征)都是容易辨别的。
图5是图示出使用在此描述的技术处理图像数据的过程500的示例的流程图。在框502,过程500包括识别场景的第一区域。框502可以对应于操作200的操作215。在框504,过程500包括基于场景的第一区域确定第一曝光设置。框504可以对应于操作200的操作225。在框506,过程500包括识别场景的第二区域。框504可以对应于操作200的操作220。在框508,过程500包括基于场景的第二区域确定第二曝光设置。框504可以对应于操作200的操作230。
在一些情况下,基于从某些输入设备接收的输入,在框502和506识别第一和第二区域。在一个示例中,过程500可以包括当触摸屏显示场景的一个或多个预览帧时,通过触摸屏接收一个或多个基于触摸的输入。一个或多个触摸屏输入可以通过耦合到触摸屏和图像处理器150的触摸屏连接器来接收。在框502和506识别第一区域和第二区域是基于一个或多个基于触摸的输入。在另一示例中,过程500可以包括在屏幕显示场景的一个或多个预览帧时,通过控制屏幕上的指针的输入设备(例如,鼠标或轨迹板)接收一个或多个基于指针的输入。一个或多个基于指示器的输入可以通过耦合到输入设备和图像处理器150的输入设备连接器来接收。在框502和506识别第一区域和第二区域是基于一个或多个基于指针的输入。
在一些情况下,基于算法在框502和506识别第一和第二区域。在一个示例中,过程500包括使用对象检测算法来识别场景中的对象。在框502识别场景的第一区域是基于识别该对象在第一区域内。类似地,在框506识别场景的第二区域能够基于使用对象检测算法识别第二对象在第二区域内。在一些情况下,对象能够是人的脸。第二对象能够是第二个人的第二张脸,或者能够是不同的对象。
在一些情况下,第一曝光设置对应于第一曝光时间,且第二曝光设置对应于不同于第一曝光时间的第二曝光时间。在一些情况下,场景中的第一区域的中间色调在第一阈值内匹配第一图像帧中的第一区域的表示的中间色调,并且其中场景中的第二区域的中间色调在第二阈值内匹配第二图像帧中的第一区域的表示的中间色调。
在一些情况下,第一区域包括第一图像帧的所有像素。换句话说,第一区域包括图像传感器130可见的、由图像处理器150从图像传感器130接收的、或者由图像处理器150执行的一个或多个操作产生的场景的整个部分。
在框510,过程500包括接收使用第一曝光设置捕获的场景的第一图像帧。在一些情况下,框506还可以包括使用第一曝光设置捕获场景的第一图像帧。框506可以对应于操作200的操作235。
在框512,过程500包括接收使用第二曝光设置捕获的场景的第二图像帧。在一些情况下,框508还可以包括使用第二曝光设置捕获场景的第二图像帧。框508可以对应于操作200的操作240。
在一些情况下,第一区域以第二对比度级别在第二图像帧中再现,并且以超过第二对比度级别的第一对比度级别在第一图像帧中再现。在一些情况下,第二区域以第一对比度级别在第一图像帧中再现,并且以超过第一对比度级别的第二对比度级别在第二图像帧中再现。
在框514,过程500包括通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。框510可以对应于操作200的操作250。
在一些情况下,HDR图像的第三动态范围大于第一图像帧的第一动态范围和第二图像帧的第二动态范围中的至少一个。
在一些情况下,过程500还可以包括识别场景的第三区域,基于场景的第三区域确定第三曝光设置,以及接收使用第三曝光设置捕获的场景的第三图像帧。在这种情况下,在框514生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
在一些情况下,过程500还可包括基于第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置,接收使用第三曝光设置捕获的场景的第三图像帧,以及接收使用第四曝光设置捕获的场景的第四图像帧。在这种情况下,在框514生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧和第四图像帧。
在一些情况下,过程500还可包括确定从第一曝光设置偏移预定偏移量的第三曝光设置,并接收使用第三曝光设置捕获的场景的第三图像帧。在这种情况下,在框514生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
在一些示例中,在此描述的过程(例如,过程500和/或在此描述的其他过程)可以由计算设备或装置来执行。在一个示例中,过程500能够由图1的图像处理设备105B执行。在另一个示例中,过程500能够由图1的图像捕获和处理设备100执行。在另一个示例中,过程500能够由包括图6所示架构的计算系统600来执行。该计算设备能够包括任何合适的设备,诸如移动设备(例如,移动电话)、台式计算设备、平板计算设备、可穿戴设备(例如,VR头戴式耳机、AR头戴式耳机、AR眼镜、联网手表或智能手表、或其他可穿戴设备)、服务器计算机、自动车辆或自动车辆的计算设备、机器人设备、电视、和/或具有执行包括过程500在内的这里描述的过程的资源能力的任何其他计算设备。在一些情况下,计算设备或装置可以包括各种组件,诸如一个或多个输入设备、一个或多个输出设备、一个或多个处理器、一个或多个微处理器、一个或多个微型计算机、一个或多个相机、一个或多个传感器和/或被配置为执行这里描述的过程的步骤的(多个)其他组件。在一些示例中,计算设备可以包括显示器、被配置为传送和/或接收数据的网络接口、其任意组合和/或(多个)其他组件。网络接口可以被配置为传送和/或接收基于互联网协议(IP)的数据或其他类型的数据。
计算设备的组件能够在电路中实现。例如,组件能够包括和/或能够使用电子电路或其他电子硬件来实现,电子电路或其他电子硬件可以包括一个或多个可编程电子电路(例如,微处理器、图形处理单元(GPU)、数字信号处理器(DSP)、中央处理单元(CPU)和/或其他合适的电子电路),和/或能够包括和/或使用计算机软件、固件或其任意组合来实现,以执行这里描述的各种操作。
过程500被图示为逻辑流程图,其操作表示可以用硬件、计算机指令或其组合来实现的一系列操作。在计算机指令的上下文中,操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,当由一个或多个处理器执行时,执行所述操作。通常,计算机可执行指令包括执行特定功能或实现特定数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被解释为限制,并且任何数量的所描述的操作可以以任何顺序和/或并行组合来实现这些过程。
此外,过程500和/或在此描述的其他过程可以在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可以通过硬件或其组合实现为在一个或多个处理器上共同执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用程序)。如上所述,代码可以存储在计算机可读或机器可读存储介质上,例如,以包括可由一个或多个处理器执行的多个指令的计算机程序的形式。计算机可读或机器可读存储介质可以是非暂时性的。
图6是图示出用于实现本技术的某些方面的系统的示例的图。具体而言,图6图示出了计算系统600的示例,该计算系统能够是例如构成内部计算系统、远程计算系统、相机,或其任何组件的任何计算设备,其中该系统的组件使用连接605彼此通信。连接605能够是使用总线的物理连接,或者是到处理器610的直接连接,诸如在芯片组架构中。连接605也能够是虚拟连接、网络连接或逻辑连接。
在一些实施例中,计算系统600是分布式系统,其中本公开中描述的功能能够分布在数据中心、多个数据中心、对等网络等内。在一些实施例中,一个或多个所描述的系统组件代表许多这样的组件,每个组件执行描述该组件的一些或所有功能。在一些实施例中,组件可以是物理或虚拟设备。
示例系统600包括至少一个处理单元(CPU或处理器)610和连接605,该连接605将包括系统存储器615,诸如只读存储器(ROM)620和随机存取存储器(RAM)625,各种系统组件耦合到处理器610。计算系统600能够包括高速存储器的高速缓存612,该高速存储器直接与处理器610连接、紧邻处理器610或者集成为处理器610的一部分。
处理器610可以包括任何通用处理器和硬件服务或软件服务,诸如存储在存储设备630中的服务632、634和636,被配置为控制处理器610以及专用处理器,其中软件指令被结合到实际的处理器设计中。处理器610本质上可以是完全独立的计算系统,包含多个内核或处理器、总线、存储器控制器、高速缓存等。多核处理器可以是对称的或非对称的。
为了实现用户交互,计算系统600包括输入设备645,其可以表示任何数量的输入机构,诸如用于语音的麦克风、用于手势或图形输入的触敏屏幕、键盘、鼠标、运动输入、话语等。计算系统600还可以包括输出设备635,它可以是许多输出机构中的一个或多个。在一些情况下,多模式系统可以使用户能够提供多种类型的输入/输出来与计算系统600通信。计算系统600可以包括通信接口640,其通常可以支配和管理用户输入和系统输出。通信接口可以使用有线和/或无线收发器来执行或促进有线和/或无线通信的接收和/或传送,包括利用音频插孔/插头、麦克风插孔/插头、通用串行总线(USB)端口/插头、
Figure BDA0003924595080000231
端口/插头、以太网端口/插头、光纤端口/插头、专有有线端口/插头、
Figure BDA0003924595080000232
无线信号传输、
Figure BDA0003924595080000233
低能量(BLE)无线信号传输、
Figure BDA0003924595080000234
无线信号传输、射频识别(RFID)无线信号传输,近场通信(NFC)无线信号传输、专用短程通信(DSRC)无线信号传输、802.11Wi-Fi无线信号传输、无线局域网(WLAN)信号传输、可见光通信(VLC)、微波接入全球互通(WiMAX)、红外(IR)通信无线信号传输、公共交换电话网(PSTN)信号传输、综合业务数字网(ISDN)信号传输、3G/4G/5G/LTE蜂窝数据网无线信号传输、自组织网络信号传输、无线电波信号传输、微波信号传输、红外信号传输、可见光信号传输、紫外光信号传输、沿着电磁频谱的无线信号传输,或者其某些组合。通信接口640还可以包括一个或多个全球导航卫星系统(GNSS)接收器或收发器,用于基于从与一个或多个GNSS系统相关联的一个或多个卫星接收到的一个或多个信号来确定计算系统600的位置。GNSS系统包括但不限于基于美国的全球定位系统(GPS)、基于俄国的全球导航卫星系统(GLONASS)、基于中国的北斗导航卫星系统(BDS)和基于欧洲的伽利略GNSS。对于在任何特定硬件布置上的操作没有限制,因此这里的基本特征可以很容易地被开发的改进的硬件或固件布置所替代。
存储设备630可以是非易失性和/或非暂时性和/或计算机可读存储设备,并且可以是硬盘或能够存储计算机可访问的数据的其他类型的计算机可读介质,例如磁带盒、闪存卡、固态存储设备、数字多功能盘、盒式磁带、软盘、柔性盘、硬盘、磁带、磁条/带、任何其他磁存储介质、闪存、忆阻器存储器、任何其他固态存储器,压缩盘只读存储器(CD-ROM)光盘、可重写压缩盘(CD)光盘、数字视频盘(DVD)光盘、蓝光盘(BDD)光盘、全息光盘、另一种光学介质、安全数字(SD)卡、微型安全数字(microSD)卡、
Figure BDA0003924595080000241
卡、智能卡芯片、EMV芯片、用户身份模块(SIM)卡、迷你/微/纳米/微微SIM卡、另一种集成电路(IC)芯片/卡、随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存EPROM(FLASHEPROM)、高速缓冲存储器(L1/L2/L3/L4/L5/L#)、电阻式随机存取存储器(RRAM/ReRAM)、相变存储器(PCM)、自旋转移力矩RAM(STT-RAM)、另一个存储器芯片或盒、和/或其组合。
存储设备630可以包括软件服务、服务器、服务等,当处理器610执行定义这种软件的代码时,它使系统执行功能。在一些实施例中,执行特定功能的硬件服务可以包括存储在计算机可读介质中的软件组件以及必要的硬件组件,诸如处理器610、连接605、输出设备635等,以执行该功能。
如此处所使用的,术语“计算机可读介质”包括但不限于便携式或非便携式存储设备、光存储设备以及能够存储、包含或承载(多条)指令和/或数据的各种其他介质。计算机可读介质可以包括其中可以存储数据的非暂时性介质,并且不包括无线或有线连接传播的载波和/或暂时性电信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如压缩盘(CD)或数字多功能盘(DVD)的光存储介质、闪存、存储器或存储器设备。计算机可读介质可以在其上存储代码和/或机器可执行指令,这些代码和/或机器可执行指令可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类,或指令、数据结构或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数或存储器内容,代码段可以耦合到另一个代码段或硬件电路。信息、自变量、参数、数据等,可以使用包括存储器共享、消息传递、令牌传递、网络传输等任何合适的手段来传递、转发或传输。
在一些实施例中,计算机可读存储设备、介质和存储器可以包括其中包含比特流等的有线或无线信号。然而,当提及时,非暂时性计算机可读存储介质明确排除了诸如能量、载波信号、电磁波和信号本身之类的介质。
2在上面的描述中提供了具体的细节,以提供对这里提供的实施例和示例的全面理解。然而,本领域普通技术人员将理解,可以在没有这些具体细节的情况下实施这些实施例。为了解释清楚,在一些情况下,本技术可以被呈现为包括单独的功能块,这些功能块包括设备、设备组件、以软件体现的方法中的步骤或例程,或硬件和软件的组合。可以使用除了图中所示和/或在此所述之外的附加组件。例如,电路、系统、网络、过程和其他组件可以以框图形式显示为组件,以免不必要的细节模糊实施例。在其他情况下,为了避免模糊实施例,公知的电路、过程、算法、结构和技术可以在没有不必要的细节的情况下图示出。
各个实施例可以在上面被描述为过程或方法,其被描绘流程图、流程图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程,但是许多操作可以并行或同时执行。此外,可以重新布置操作的顺序。当过程的操作完成时,该过程被终止,但是可能有图中没有包括的附加步骤。过程可以对应于方法、函数、过程、子例程、子程序等。当程对应于函数时,它的终止可以对应于该函数返回到调用函数或主函数。
根据上述示例的过程和方法可以使用存储在计算机可读介质中或以其他方式从计算机可读介质中获得的计算机可执行指令来实现。这种指令可以包括例如指令和数据,这些指令和数据使得或以其他方式配置通用计算机、专用计算机或处理设备来执行某些功能或功能组。所使用的部分计算机资源可以通过网络访问。计算机可执行指令可以是例如二进制、中间格式指令,诸如汇编语言、固件、源代码等。可用于存储在根据所述示例的方法期间使用的指令、信息和/或创建的信息的计算机可读介质的示例包括磁盘或光盘、闪存、配备有非易失性存储器的USB设备、网络存储设备等。
实现根据这些公开的过程和方法的设备可以包括硬件、软件、固件、中间件、微码、硬件描述语言或其任意组合,并且可以采用各种外形中的任意一种。当在软件、固件、中间件或微码中实现时,执行必要任务的程序代码或代码段(例如,计算机程序产品)可以存储在计算机可读或机器可读介质中。(多个)处理器可以执行必要的任务。外形的典型示例包括膝上型电脑、智能手机、移动电话、平板设备或其他小外形个人计算机、个人数字助理、机架安装设备、独立设备等。这里描述的功能也可以在外围设备或附加卡中实现。作为进一步的示例,这种功能也可以在电路板上在单个设备中执行的不同芯片或不同过程中实现。
指令、用于传送这种指令的介质、用于执行它们的计算资源以及用于支持这种计算资源的其他结构是用于提供本公开中描述的功能的示例手段。
在前面的描述中,参考本申请的特定实施例描述了本申请的各方面,但是本领域技术人员将认识到本申请不限于此。因此,尽管这里已经详细描述了本申请的说明性实施例,但是应当理解,本发明构思可以以不同的方式体现和采用,并且所附权利要求旨在被解释为包括这些变化,除了被现有技术所限制。上述应用的各种特征和方面可以单独或联合使用。此外,在不脱离本说明书的更广泛的精神和范围的情况下,可以在此描述的环境和应用之外的任何数量的环境和应用中利用实施例。因此,说明书和附图应被视为说明性的而非限制性的。为了说明的目的,以特定的顺序描述了方法。应当理解,在替代实施例中,这些方法可以以不同于所描述的顺序来执行。
3普通技术人员将会理解,这里使用的小于(“<”)和大于(“>”)符号或术语可以分别用小于或等于(“≤”)且大于或等于(“≥”)代替,而不脱离本描述的范围。
在组件被描述为“被配置成”执行某些操作的情况下,这种配置可以例如通过设计电子电路或其他硬件来执行该操作、通过对可编程电子电路(例如,微处理器或其他合适的电子电路)进行编程来执行该操作或其任意组合来实现。
短语“耦合到”是指直接或间接物理连接到另一组件的任何组件,和/或直接或间接与另一组件通信(例如,通过有线或无线连接和/或其他合适的通信接口连接到另一组件)的任何组件。
叙述一组中“至少一个”和/或一组中“一个或多个”的权利要求语言或其他语言表示该组中的一个成员或该组中的多个成员(以任何组合)满足该权利要求。例如,叙述“A和B中的至少一个”的权利要求语言表示A、B或A和B。在另一个示例中,叙述“A、B和C中的至少一个”的权利要求语言表示A、B、C或A和B,或A和C,或B和C,或A和B和C。一组中“至少一个”和/或一组中“一个或多个”的语言不将该组限制为该组中所列出的条目。例如,叙述“A和B中的至少一个”的权利要求语言可以表示A、B或A和B,并且可以另外包括没有在A和B的组中列出的条目。
结合在此公开的实施例描述的各种说明性逻辑块、模块、电路和算法步骤可以实现为电子硬件、计算机软件、固件或其组合。为了清楚地说明硬件和软件的这种可互换性,各种说明性的组件、块、模块、电路和步骤已经在上面根据它们的功能进行了一般描述。这种功能实现为硬件还是软件取决于特定的应用和对整个系统的设计约束。熟练的技术人员可以针对每个特定的应用以不同的方式实现所描述的功能,但是这样的实现决策不应该被解释为导致脱离本申请的范围。
在此描述的技术也可以在电子硬件、计算机软件、固件或其任意组合中实现。这种技术可以在多种设备中的任何一种中实现,诸如通用计算机、无线通信设备手机或具有多种用途的集成电路设备,包括在无线通信设备手机和其他设备中的应用。被描述为模块或组件的任何特征可以在集成逻辑设备中一起实现,或者作为分立但可互操作的逻辑设备单独实现。如果在软件中实现,则该技术可以至少部分地由包括程序代码的计算机可读数据存储介质来实现,该程序代码包括当被执行时执行一个或多个上述方法的指令。计算机可读数据存储介质可以形成计算机程序产品的一部分,该计算机程序产品可以包括包装材料。计算机可读介质可以包括存储器或数据存储介质,诸如随机存取存储器(RAM),诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁或光数据存储介质等。附加地或替代地,这些技术可以至少部分地由计算机可读通信介质来实现,该计算机可读通信介质承载或传送指令或数据结构形式的程序代码,并且可以由计算机访问、读取和/或执行,诸如传播的信号或波。
程序代码可以由处理器执行,该处理器可以包括一个或多个处理器,诸如一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或分立逻辑电路。这种处理器可以被配置成执行本公开中描述的任何技术。通用处理器可以是微处理器;但是作为替代,处理器可以是任何传统的处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合,例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合,或者任何其他这样的配置。因此,这里使用的术语“处理器”可以指任何前述结构、前述结构的任何组合、或者适于实现这里描述的技术的任何其他结构或装置。此外,在一些方面,在此描述的功能可以在被配置用于编码和解码的专用软件模块或硬件模块中提供,或者被结合在组合的视频编码器-解码器(CODEC)中。
下面提供了该应用的说明性方面:
方面1.一种处理图像数据的方法,该方法包括:识别场景的第一区域;基于场景的第一区域确定第一曝光设置;识别场景的第二区域;基于场景的第二区域确定第二曝光设置;接收使用第一曝光设置捕获的场景的第一图像帧;接收使用第二曝光设置捕获的场景的第二图像帧;以及通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。
方面2.根据方面1的方法,还包括:当触摸屏显示场景的一个或多个预览帧时,通过触摸屏接收一个或多个基于触摸的输入,其中识别第一区域和第二区域是基于一个或多个基于触摸的输入。
方面3.根据方面1或2中任一方面的方法,还包括:当屏幕显示场景的一个或多个预览帧时,通过控制屏幕上指针的输入设备接收一个或多个基于指针的输入,其中识别第一区域和第二区域是基于一个或多个基于指针的输入。
方面4.根据方面1至3中任一方面的方法,还包括:使用对象检测算法识别场景中的对象,其中识别场景的第一区域是基于识别该对象在第一区域内。
方面5.根据方面4的方法,其中所述对象是面部。
方面6.根据方面1至5中任一方面的方法,还包括:识别场景的第三区域;基于场景的第三区域确定第三曝光设置;以及接收使用第三曝光设置捕获的场景的第三图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
方面7.根据方面1至6中任一方面的方法,其中第一曝光设置对应于第一曝光时间,第二曝光设置对应于不同于第一曝光时间的第二曝光时间。
方面8.根据方面1至7中任一方面的方法,其中场景中第一区域的中间色调在第一阈值内匹配第一图像帧中第一区域的表示的中间色调,并且其中场景中第二区域的中间色调在第二阈值内匹配第二图像帧中第一区域的表示的中间色调。
方面9.根据方面1至8中任一方面的方法,其中第一区域以第二对比度级别在第二图像帧中再现,并且以超过第二对比度级别的第一对比度级别在第一图像帧中再现。
方面10.根据方面1至9中任一方面的方法,其中第二区域以第一对比度级别在第一图像帧中再现,并且以超过第一对比度级别的第二对比度级别在第二图像帧中再现。
方面11.根据方面1至10中任一方面的方法,其中HDR图像的第三动态范围大于第一图像帧的第一动态范围和第二图像帧的第二动态范围中的至少一个。
方面12.根据方面1至11中任一方面的方法,其中第一区域包括第一图像帧的所有像素。
方面13.根据方面1至12中任一方面的方法,还包括:基于第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置;接收使用第三曝光设置捕获的场景的第三图像帧;以及接收使用第四曝光设置捕获的场景的第四图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧和第四图像帧。
方面14.根据方面1至13中任一方面的方法,还包括:确定从第一曝光设置偏移预定偏移量的第三曝光设置;以及接收使用第三曝光设置捕获的场景的第三图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
方面15.根据方面1至14中任一方面的方法,还包括:使用第一曝光设置捕获场景的第一图像帧;以及使用第二曝光设置捕获场景的第二图像帧。
方面16.一种用于处理图像数据的装置,该装置包括:耦合到图像传感器的连接器,其中该连接器接收使用第一曝光设置捕获的场景的第一图像帧,并接收使用第二曝光设置捕获的场景的第二图像帧;存储指令的一个或多个存储器单元;以及执行指令的一个或多个处理器,其中由一个或多个处理器执行指令使得所述一个或多个处理器:识别场景的第一区域,基于场景的第一区域确定第一曝光设置,识别场景的第二区域,基于场景的第二区域确定第二曝光设置,以及通过合并至少第一图像帧和第二图像帧来生成场景的高动态范围(HDR)图像。
方面17.根据方面16的装置,其中该装置是移动设备。
方面18.根据方面16或17中任一方面的装置,其中该装置包括被配置为显示HDR图像的显示器。
方面19.根据方面16至18中任一方面的装置,其中该装置是相机。
方面20.根据方面16至19中任一方面的装置,还包括耦合到触摸屏的触摸屏连接器,其中,当触摸屏显示场景的一个或多个预览帧时,触摸屏连接器从触摸屏接收一个或多个基于触摸的输入,其中,识别场景的第一区域和识别场景的第二区域基于一个或多个基于触摸的输入。
方面21.根据方面16至20中任一方面的装置,还包括耦合到控制屏幕上的指针的输入设备的输入设备连接器,其中当屏幕显示场景的一个或多个预览帧时,输入设备连接器从输入设备接收一个或多个基于指针的输入,其中识别场景的第一区域和识别场景的第二区域基于一个或多个基于指针的输入。
方面22.根据方面16至21中任一方面的装置,其中由一个或多个处理器执行指令使得所述一个或多个处理器使用对象检测算法进一步识别场景中的对象,其中识别场景的第一区域基于识别所述对象在第一区域内。
方面23.根据方面22的装置,其中由一个或多个处理器执行指令使得所述一个或多个处理器进一步:识别场景的第三区域,基于场景的第三区域确定第三曝光设置,以及接收使用第三曝光设置捕获的场景的第三图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
方面24.根据方面16至23中任一方面的装置,其中第一曝光设置对应于第一曝光时间,第二曝光设置对应于不同于第一曝光时间的第二曝光时间。
方面25.根据方面16至24中任一方面的装置,其中场景中第一区域的中间色调在第一阈值内匹配第一图像帧中第一区域的表示的中间色调,并且其中场景中第二区域的中间色调在第二阈值内匹配第二图像帧中第一区域的表示的中间色调。
方面26.根据方面16至25中任一方面的装置,其中第一区域包括第一图像帧的所有像素。
方面27.根据方面16至26中任一方面的装置,其中由一个或多个处理器执行指令使得所述一个或多个处理器进一步:基于第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置,接收使用第三曝光设置捕获的场景的第三图像帧,以及接收使用第四曝光设置捕获的场景的第四图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧和第四图像帧。
方面28.根据方面16至27中任一方面的装置,其中由一个或多个处理器执行指令使得所述一个或多个处理器进一步:确定从第一曝光设置偏移预定偏移量的第三曝光设置,并接收使用第三曝光设置捕获的场景的第三图像帧,其中生成场景的HDR图像包括合并至少第一图像帧和第二图像帧以及第三图像帧。
方面29.根据方面16至28中任一方面的装置,还包括图像传感器,其中图像传感器被配置成使用第一曝光设置来捕获场景的第一图像帧,并且被配置成使用第二曝光设置来捕获场景的第二图像帧。
方面30.一种其上体现有程序的非暂时性计算机可读存储介质,其中该程序可由处理器执行以执行方面1至29的任何操作。
方面31.一种装置,包括用于执行方面1至29的任何操作的部件。

Claims (30)

1.一种处理图像数据的方法,所述方法包括:
识别场景的第一区域;
基于所述场景的所述第一区域确定第一曝光设置;
识别所述场景的第二区域;
基于所述场景的所述第二区域确定第二曝光设置;
接收使用所述第一曝光设置捕获的所述场景的第一图像帧;
接收使用所述第二曝光设置捕获的所述场景的第二图像帧;以及
通过合并至少所述第一图像帧和所述第二图像帧来生成所述场景的高动态范围(HDR)图像。
2.根据权利要求1所述的方法,进一步包括:
当触摸屏显示所述场景的一个或多个预览帧时,通过所述触摸屏接收一个或多个基于触摸的输入,其中识别所述第一区域和所述第二区域是基于所述一个或多个基于触摸的输入的。
3.根据权利要求1所述的方法,进一步包括:
当屏幕显示所述场景的一个或多个预览帧时,通过控制所述屏幕上的指针的输入设备接收一个或多个基于指针的输入,其中识别所述第一区域和所述第二区域是基于所述一个或多个基于指针的输入的。
4.根据权利要求1所述的方法,进一步包括:
使用对象检测算法识别所述场景中的对象,其中识别所述场景的所述第一区域是基于识别出所述对象在所述第一区域内的。
5.根据权利要求4所述的方法,其中,所述对象是面部。
6.根据权利要求1所述的方法,进一步包括:
识别所述场景的第三区域;
基于所述场景的第三区域确定第三曝光设置;以及
接收使用所述第三曝光设置捕获的所述场景的第三图像帧,其中生成所述场景的所述HDR图像包括合并至少所述第一图像帧和所述第二图像帧以及所述第三图像帧。
7.根据权利要求1所述的方法,其中,所述第一曝光设置对应于第一曝光时间,而所述第二曝光设置对应于不同于所述第一曝光时间的第二曝光时间。
8.根据权利要求1所述的方法,其中,所述场景中的所述第一区域的中间色调在第一阈值内与所述第一图像帧中的所述第一区域的表示的中间色调相匹配,并且其中,所述场景中的所述第二区域的中间色调在第二阈值内与所述第二图像帧中的所述第一区域的表示的中间色调相匹配。
9.根据权利要求1所述的方法,其中,所述第一区域以第二对比度级别在所述第二图像帧中再现,并且以超过所述第二对比度级别的第一对比度级别在所述第一图像帧中再现。
10.根据权利要求1所述的方法,其中,所述第二区域以第一对比度级别在所述第一图像帧中再现,并且以超过所述第一对比度级别的第二对比度级别在所述第二图像帧中再现。
11.根据权利要求1所述的方法,其中,所述HDR图像的第三动态范围大于所述第一图像帧的第一动态范围和所述第二图像帧的第二动态范围中的至少一个。
12.根据权利要求1所述的方法,其中,所述第一区域包括所述第一图像帧的所有像素。
13.根据权利要求1所述的方法,进一步包括:
基于所述第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置;
接收使用所述第三曝光设置捕获的所述场景的第三图像帧;以及
接收使用所述第四曝光设置捕获的所述场景的第四图像帧,其中生成所述场景的所述HDR图像包括合并至少所述第一图像帧和所述第二图像帧以及所述第三图像帧和所述第四图像帧。
14.根据权利要求1所述的方法,进一步包括:
确定从所述第一曝光设置偏移预定偏移量的第三曝光设置;以及
接收使用所述第三曝光设置捕获的所述场景的第三图像帧,其中生成所述场景的所述HDR图像包括合并至少所述第一图像帧和所述第二图像帧以及所述第三图像帧。
15.根据权利要求1所述的方法,进一步包括:
使用所述第一曝光设置捕获所述场景的第一图像帧;以及
使用所述第二曝光设置捕获所述场景的第二图像帧。
16.一种用于处理图像数据的装置,该装置包括:
耦合到图像传感器的连接器,其中所述连接器接收使用第一曝光设置捕获的场景的第一图像帧,并且接收使用第二曝光设置捕获的所述场景的第二图像帧;
存储指令的一个或多个存储器单元;以及
执行所述指令的一个或多个处理器,其中由所述一个或多个处理器执行所述指令使得所述一个或多个处理器:
识别所述场景的第一区域;
基于所述场景的所述第一区域确定所述第一曝光设置;
识别所述场景的第二区域;
基于所述场景的所述第二区域确定所述第二曝光设置;以及
通过合并至少所述第一图像帧和所述第二图像帧来生成所述场景的高动态范围(HDR)图像。
17.根据权利要求16所述的装置,其中,所述装置是移动设备。
18.根据权利要求16所述的装置,其中,所述装置包括配置成显示所述HDR图像的显示器。
19.根据权利要求16所述的装置,其中,所述装置是相机。
20.根据权利要求16所述的装置,进一步包括耦合到触摸屏的触摸屏连接器,其中当所述触摸屏显示所述场景的一个或多个预览帧时,所述触摸屏连接器从所述触摸屏接收一个或多个基于触摸的输入,其中识别所述场景的所述第一区域和识别所述场景的所述第二区域是基于所述一个或多个基于触摸的输入的。
21.根据权利要求16所述的装置,进一步包括输入设备连接器,所述输入设备连接器耦合到控制屏幕上的指针的输入设备,其中当所述屏幕显示所述场景的一个或多个预览帧时,所述输入设备连接器从所述输入设备接收一个或多个基于指针的输入,其中识别所述场景的所述第一区域和识别所述场景的所述第二区域是基于所述一个或多个基于指针的输入的。
22.根据权利要求16所述的装置,其中由所述一个或多个处理器执行所述指令使得所述一个或多个处理器使用对象检测算法进一步识别所述场景中的对象,其中识别所述场景的所述第一区域是基于识别出所述对象在所述第一区域内的。
23.根据权利要求22所述的装置,其中由所述一个或多个处理器执行所述指令使得所述一个或多个处理器进一步:
识别所述场景的第三区域;
基于所述场景的第三区域确定第三曝光设置;以及
接收使用所述第三曝光设置捕获的所述场景的第三图像帧,其中,生成所述场景的所述HDR图像包括合并至少所述第一图像帧和所述第二图像帧以及所述第三图像帧。
24.根据权利要求16所述的装置,其中,所述第一曝光设置对应于第一曝光时间,而所述第二曝光设置对应于不同于所述第一曝光时间的第二曝光时间。
25.根据权利要求16所述的装置,其中,所述场景中的所述第一区域的中间色调在第一阈值内与所述第一图像帧中的所述第一区域的表示的中间色调相匹配,并且其中,所述场景中的所述第二区域的中间色调在第二阈值内与所述第二图像帧中的所述第一区域的表示的中间色调相匹配。
26.根据权利要求16所述的装置,其中,所述第一区域包括所述第一图像帧的所有像素。
27.根据权利要求16所述的装置,其中,由所述一个或多个处理器执行所述指令使得所述一个或多个处理器进一步:
基于所述第一曝光设置使用曝光包围来确定第三曝光设置和第四曝光设置;
接收使用所述第三曝光设置捕获的所述场景的第三图像帧;以及
接收使用所述第四曝光设置捕获的所述场景的第四图像帧,其中生成所述场景的所述HDR图像包括合并至少所述第一图像帧和所述第二图像帧以及所述第三图像帧和所述第四图像帧。
28.根据权利要求16所述的装置,其中,由所述一个或多个处理器执行所述指令使得所述一个或多个处理器进一步:
确定从所述第一曝光设置偏移预定偏移量的第三曝光设置;以及
接收使用所述第三曝光设置捕获的所述场景的第三图像帧,其中生成所述场景的所述HDR图像包括合并至少所述第一图像帧和所述第二图像帧以及所述第三图像帧。
29.根据权利要求16所述的装置,进一步包括所述图像传感器,其中所述图像传感器被配置为使用所述第一曝光设置来捕获所述场景的所述第一图像帧,且被配置为使用所述第二曝光设置来捕获所述场景的所述第二图像帧。
30.一种其上体现有程序的非暂时性计算机可读存储介质,其中,该程序可由处理器执行以执行处理图像数据的方法,所述方法包括:
识别场景的第一区域;
基于所述场景的所述第一区域确定第一曝光设置;
识别所述场景的第二区域;
基于所述场景的所述第二区域确定第二曝光设置;
接收使用所述第一曝光设置捕获的所述场景的第一图像帧;
接收使用所述第二曝光设置捕获的所述场景的第二图像帧;以及
通过合并至少所述第一图像帧和所述第二图像帧来生成所述场景的高动态范围(HDR)图像。
CN202080100500.6A 2020-05-11 2020-12-14 基于选择区域优化高动态范围(hdr)图像处理 Pending CN115516495A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN202041019746 2020-05-11
IN202041019746 2020-05-11
PCT/US2020/064957 WO2021230914A1 (en) 2020-05-11 2020-12-14 Optimizing high dynamic range (hdr) image processing based on selected regions

Publications (1)

Publication Number Publication Date
CN115516495A true CN115516495A (zh) 2022-12-23

Family

ID=74104235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080100500.6A Pending CN115516495A (zh) 2020-05-11 2020-12-14 基于选择区域优化高动态范围(hdr)图像处理

Country Status (4)

Country Link
US (1) US20230171509A1 (zh)
EP (1) EP4150557A1 (zh)
CN (1) CN115516495A (zh)
WO (1) WO2021230914A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319807B (zh) * 2023-11-30 2024-02-02 南昌菱形信息技术有限公司 一种岩洞穹顶的光影呈像方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102570305B1 (ko) * 2016-05-04 2023-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US10264193B2 (en) * 2016-12-06 2019-04-16 Polycom, Inc. System and method for providing images and video having high dynamic range
US10630903B2 (en) * 2018-01-12 2020-04-21 Qualcomm Incorporated Systems and methods for image exposure

Also Published As

Publication number Publication date
US20230171509A1 (en) 2023-06-01
WO2021230914A1 (en) 2021-11-18
EP4150557A1 (en) 2023-03-22

Similar Documents

Publication Publication Date Title
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
US11810256B2 (en) Image modification techniques
US11863729B2 (en) Systems and methods for generating synthetic depth of field effects
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
US20230171509A1 (en) Optimizing high dynamic range (hdr) image processing based on selected regions
US20220414847A1 (en) High dynamic range image processing
WO2022082554A1 (en) Mechanism for improving image capture operations
WO2023192706A1 (en) Image capture using dynamic lens positions
WO2023146698A1 (en) Multi-sensor imaging color correction
US11330204B1 (en) Exposure timing control for multiple image sensors
US20230021016A1 (en) Hybrid object detector and tracker
US11792505B2 (en) Enhanced object detection
US11871107B2 (en) Automatic camera selection
US11893720B1 (en) Automatic image processing based on caption
US20240054659A1 (en) Object detection in dynamic lighting conditions
US20240013351A1 (en) Removal of objects from images
US11363209B1 (en) Systems and methods for camera zoom
US20240144717A1 (en) Image enhancement for image regions of interest
US20230222757A1 (en) Systems and methods of media processing
US20230370727A1 (en) High dynamic range (hdr) image generation using a combined short exposure image
WO2023282963A1 (en) Enhanced object detection
WO2023140979A1 (en) Motion based exposure control for high dynamic range imaging
WO2023107832A1 (en) Systems and methods for determining image capture settings
WO2023163799A1 (en) Foveated sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination