CN110996015B - 空间多重曝光 - Google Patents

空间多重曝光 Download PDF

Info

Publication number
CN110996015B
CN110996015B CN201910904784.3A CN201910904784A CN110996015B CN 110996015 B CN110996015 B CN 110996015B CN 201910904784 A CN201910904784 A CN 201910904784A CN 110996015 B CN110996015 B CN 110996015B
Authority
CN
China
Prior art keywords
image data
input image
interpolated
pixel
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910904784.3A
Other languages
English (en)
Other versions
CN110996015A (zh
Inventor
戴维·汉韦尔
阿拉桑那·塞克
亚历克斯·科尔尼科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
ARM Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARM Ltd filed Critical ARM Ltd
Publication of CN110996015A publication Critical patent/CN110996015A/zh
Application granted granted Critical
Publication of CN110996015B publication Critical patent/CN110996015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开涉及空间多重曝光。用于从接收到的输入图像数据生成改进的图像数据的方法和装置，所述接收到的输入图像数据包括与第一曝光水平相关联的第一输入图像数据和与不同的第二曝光水平相关联的第二输入图像数据。通过应用噪声模型来从所述接收到的输入图像数据生成运动检测数据，并且通过按照所述运动检测数据组合来自所述第一输入数据和所述第二输入数据的数据，来生成改进的图像数据。

Description

空间多重曝光
技术领域
本公开涉及用于处理图像数据的方法和装置。
背景技术
用于捕获图像的图像传感器可以存在于诸如数码相机、移动电话相机和其他图像捕获设备这样的设备中。图像传感器可以能够捕获具有比人类视觉传感器可感知的动态范围更小的动态范围的图像。然而，为了提高高动态场景的图像质量，可使用一些图像传感器来捕获高动态范围(HDR)图像。可使用图像传感器来通过捕获具有不同曝光的多个图像并且组合这些图像以生成具有较高的动态范围的图像来捕获高动态范围图像。
使用短曝光时间或按低传感器灵敏度捕获的图像可以在场景的明亮部分中或在明亮光条件下包括细节，其中使用较长的曝光时间或较高的传感器灵敏度将导致饱和和细节丢失，但是由于传感器像素的曝光不足而可能在场景的黑暗部分中缺少细节。相应地使用长曝光时间或高传感器灵敏度捕获的图像可以在场景的黑暗部分中或在昏暗光条件下包括细节，其中使用较短的曝光时间或较低的传感器灵敏度将导致曝光不足但是由于传感器像素的饱和而可能在场景的明亮部分中缺少细节。通过组合使用不同的曝光时间或不同的灵敏度水平捕获的图像，可以在图像中包括当使用单个曝光时间或单个灵敏度时可能丢失的细节。
一些传感器使用一些传感器像素来捕获具有短曝光时间的图像并且使用其他传感器像素来捕获具有长曝光时间的图像。这两个图像被组合以生成具有比按单个曝光时间捕获的等效图像更高的动态范围的单个图像。由于每个图像使用传感器像素的一小部分来捕获相应的图像，所以使用内插来推理遗漏像素位置处的细节。
期望提供一种用于在组合使用图像传感器生成的图像数据时使用的方法和系统，所述图像传感器具有被配置为使用与其他像素不同的曝光时间来捕获图像的一些像素。
发明内容
依照一个方面提供了一种方法，所述方法包括：接收表示图像的至少一部分的输入图像数据，所述输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据；生成与所述第一曝光水平相关联的第一内插图像数据，所述第一内插图像数据包括所述第二组中的像素位置的像素强度值；应用噪声模型以基于所述第二输入图像数据与所述第一内插图像数据之间的差异来生成运动检测数据；以及通过按照所述运动检测数据组合来自所接收到的第一输入图像数据和第二输入图像数据的数据来生成改进的图像数据。
依照另一方面提供了一种装置，所述装置包括：至少一个处理器；至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使所述装置至少：接收表示图像的至少一部分的输入图像数据，所述输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据；生成与所述第一曝光水平相关联的第一内插图像数据，所述第一内插图像数据包括所述第二组中的像素位置的像素强度值；应用噪声模型以基于所述第二输入图像数据与所述第一内插图像数据之间的差异来生成运动检测数据；并且通过按照所述运动检测数据组合来自所接收到的第一输入图像数据和第二输入图像数据的数据来生成改进的图像数据。
附图说明
从结合附图进行的以下详细描述中，本公开的各种特征将是显而易见的，附图一起图示本公开的特征，并且其中：
图1是示例方法的流程图；
图2是根据示例的包括第一组像素位置和第二组像素位置的图像的至少一部分的示意图；
图3a是根据示例的拐角检测过程的一部分的示意图；
图3b是根据示例的拐角检测过程的不同部分的示意图；
图4是根据示例的组合过程的示意图；
图5是根据示例的装置的示意图；以及
图6是根据示例的计算机可读存储介质的示意图。
具体实施方式
参考附图，示例的细节将从以下描述中变得显而易见。在本说明书中，出于说明的目的，阐述了某些示例的许多具体细节。在本说明书中对“示例”或类似语言的引用意味着连同该示例一起描述的特定特征、结构或特性被包括在至少那一个示例中，但是不一定在其他示例中。应该进一步注意的是，某些示例被示意性地描述，同时为了易于说明和理解作为示例基础的构思，省略和/或必定简化某些特征。
图1示出根据示例的处理图像数据的方法的流程图100。输入图像数据表示图像的至少一部分。在块110处，方法包括接收输入图像数据。输入图像数据可以由远程图像传感器捕获并发送以被接收。例如，诸如相机或智能电话这样的远程成像设备可以使用图像传感器来捕获图像数据并且可以经由网络接口通过广域网(例如，互联网)发送图像数据。在一些示例中，可以从本地成像传感器接收图像数据。在其他示例中，从存储装置接收图像数据。用于捕获图像数据的图像传感器可以包括传感器像素的阵列，所述传感器像素可以是用于捕获图像的任何适合的光电传感器。例如，传感器像素可以包括光敏元件，诸如可将入射光转换成电子信号或数据的光电二极管。可以被用作传感器像素的组件的示例包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。曝光水平可以确定通过图像传感器的每个传感器像素来捕获光的时间段和/或由放大器应用于由每个传感器像素生成的电信号的增益。图像传感器在捕获图像时对入射光的灵敏度因此通常由曝光水平确定。在图1的示例中，输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据。这可以例如通过使用多重曝光图像传感器来实现。可以以许多方式布置第一组像素位置和第二组像素位置，将稍后参考其他图讨论第一组像素位置和第二组像素位置的布置的具体示例。在一些示例中，表示第一组像素位置和第二组像素位置的图像数据是通过使用不同的曝光时间来捕获光而生成的。例如，可以通过在第一时间段期间捕获光来生成表示第一组像素位置的图像数据，并且可以通过在不同的第二时间段期间捕获光来生成表示第二组像素位置的图像数据。生成表示第一组像素位置和第二组像素位置的图像数据可以同时开始，并且可以在生成表示第一组像素位置的图像数据之前生成表示第二组像素位置的图像数据。在另一示例中，生成表示第一组像素和第二组像素的图像数据可以在不同的时间开始，使得第一时间段和第二时间段的结束同时地发生。在一些示例中，输入图像数据可以包括第一输入图像数据、第二输入图像数据以及表示与第三不同的曝光水平相关联的第三组像素位置的第三输入图像数据。
如果图像传感器在图像的捕获期间移动，或者如果在图像中捕获的场景的一部分在图像的捕获期间移动，则在与第一曝光水平相关联的像素位置和与第二曝光水平相关联的像素位置处捕获的内容之间可能存在结果差异。例如，在曝光水平由曝光时间确定的情况下，场景可以在第二时间段的结束与第一时间段的结束之间改变。
输入图像数据可以表示例如由图像传感器捕获的光的至少一个特性。输入图像数据可以表示由每个传感器像素捕获的光的强度，光的强度可以与由该传感器像素捕获的光子的数量成比例。强度可以表示捕获的光的辉度，其例如是每单位面积的光的强度而不是绝对强度的量度。在其他示例中，输入图像数据可以表示捕获的光的亮度，其可以被认为对应于辉度的感知，其可以或者可以不与辉度成比例。输入图像数据可以表示可以用于表示通过数据表示的图像的视觉外观的任何光度量或特性。输入图像数据可以具有任何适合的格式，例如原始图像格式。
在一些示例中，图像的每个像素位置与颜色通道相关联。例如，用于捕获图像的图像传感器可以包括滤色器阵列，所述滤色器阵列包括滤色器元件的图案。滤色器元件对应于图像传感器的传感器像素的阵列的相应的传感器像素。可以认为滤色器阵列图案形成马赛克或重复图案。滤色器阵列中的元件可以允许特定颜色的光通过到所对应的传感器像素。颜色可以指代光的波长的任何范围，例如，基本上使所有接收到的光通过的清楚的、透明的或白色滤色器元件可以仍然被认为是滤色器元件。在其他示例中，颜色可以具有较窄的波长范围，并且可以包括例如绿色、蓝色和红色。以这种方式，滤色器阵列可以允许传感器像素的阵列的不同的传感器像素接收不同颜色的入射光。因此，图像的像素位置可以各自与单个颜色相关联。可以按照滤色器图案布置图像的像素位置。许多光电传感器对传入光的波长不敏感并且因此将不能在没有滤色器阵列的情况下从所检测到的光中提供颜色信息。通过使用滤色器阵列来使传入光分成与不同颜色相对应的不同波长，可探知这些不同的波长范围中的光的强度。滤色器图案的示例可以包括拜耳滤色器图案，使得可以按照拜耳滤色器图案布置图像中的像素。
如上面所讨论的，如果通过图像捕获的场景的一部分或用于捕获该图像的图像传感器在曝光期间移动，则通过与第一曝光水平相关联的第一组像素位置捕获的图像可以与通过与不同的第二曝光水平相关联的第二组像素位置捕获的图像不同。当生成HDR图像时，可以组合表示第一组像素位置和第二组像素位置的输入图像数据以生成具有比可以由被配置为使用仅单个曝光水平来捕获图像的图像传感器可实现的动态范围更高的动态范围的图像。然而，如果通过第一组像素位置捕获的图像与通过第二组像素位置捕获的图像不同，则试图组合表示两组像素位置的数据可以导致模糊和/或细节丢失。在图1的示例方法中，方法包括：确定图像的包括通过第一组像素位置和第二组像素位置捕获的图像之间的差异的区域；以及相应地生成改进的图像数据。方法通过以下步骤来实现这个：生成与第一曝光水平相对应的第一内插图像数据，以与第二输入图像数据相比较来确定场景或图像传感器是否在曝光期间移动了和/或是否可组合表示第一组像素位置和第二组像素位置的图像数据。在一些示例中，方法还包括生成第二内插图像，以与第一输入图像相比较。在块120处方法包括生成与第一曝光水平相关联的第一内插图像数据，所述第一内插图像数据包括第二组中的像素位置的像素强度值。在块130处方法包括应用噪声模型以基于第二输入图像数据与第一内插图像数据之间的差异来生成运动检测数据。例如，方法可以包括：使用定义第一曝光水平与第二曝光水平之间的比率的曝光比率来使第一内插图像数据与第二输入图像数据对准；确定经对准的第一内插图像数据的像素强度值与第二输入图像数据的相应的像素强度值之间的至少一个差异；以及根据噪声模型来修改该至少一个差异。
使用图像传感器捕获的图像常常包括图像噪声。图像噪声可以是图像中的像素处的亮度或颜色的随机变化。图像噪声可以取决于电子噪声并且可以由图像传感器和/或在从图像传感器转移图像数据时涉及的电路产生。不同类型的图像噪声可以包括高斯噪声，所述高斯噪声可以取决于照明水平以及图像传感器和连接到该图像传感器的电子电路的温度。图像中的实际噪声水平也可能受到传感器像素处的图像数据的放大影响。其他类型的图像噪声包括椒盐噪声、散粒噪声、量化噪声、各向异性噪声和周期性噪声。图像噪声也可能受到图像传感器的曝光时间和大小影响。在块130处说明由噪声产生的第一内插图像数据与第二输入图像数据之间的任何差异。
在此过程之后，方法包括在块140处通过按照运动检测数据组合来自所接收到的第一输入图像数据和第二输入图像数据的数据来生成改进的图像数据。例如，在图像的存在运动的区域中，表示第一组像素位置的第一输入图像数据可以不与表示第二组像素位置的第二输入图像数据组合，因为通过这两组像素位置捕获的场景可以在该区域之上不同。然而，在没有检测到运动的区域中，可以组合表示两组像素位置的图像数据从而产生较高的动态范围。将稍后参考其他图更详细地描述图1的方法的块120至140。
在一些示例中，方法可以包括生成与第二曝光水平相关联的第二内插图像数据，所述第二内插图像数据可以包括第二组中的像素位置的像素强度值。在这样的示例中，应用噪声模型以生成运动检测数据可以基于第二输入图像数据与第一内插图像数据之间的差异以及第一输入图像数据与第二内插图像数据之间的差异。
图2示意性地示出图像200的至少一部分的第一组像素位置和第二组像素位置的示例布置。在图2的示例中，属于第一组像素位置的像素位置通过白色块来表示并且属于第二组像素位置的像素位置通过用点图案填充的块来表示。在图2的示例中，第一组像素位置和第二组像素位置被按照交替Z字形图案布置，例如，其中属于第一组像素位置的像素位置的对角线Z字形行被属于第二组像素位置的像素位置的对角线Z字形行分隔。图2的示例中的每个像素位置被标记有与颜色通道相关联的字母，其中字母“r”表示红色颜色通道，字母“g”表示绿色颜色通道，并且字母“b”表示蓝色颜色通道。表示第一组像素位置的像素位置的块中的字母以大写字母书写，并且表示属于第二组像素位置的像素位置的块中的字母以小写字母书写。图2中的颜色通道的布置遵循拜耳滤色器图案。应确认的是，图2中的像素布置是非限制性示例。像素位置的其他布置也可以是可能的。例如，第一组像素位置和第二组像素位置可以按照棋盘图案、作为交替行、作为交替列、作为行的交替对、作为列的交替对被布置，并且可以是第一组像素位置和第二组像素位置的任何其它适合的布置。可以使用其他滤色器阵列图案，并且在一些示例中对滤色器阵列图案的选择可以取决于第一组像素位置和第二组像素位置的布置。
现在将更详细地说明图1的特征。
生成第一内插图像数据
如上面所讨论的，在图像的通过图像捕获的场景的一部分在第一组像素位置的曝光与第二组像素位置的曝光之间改变的区域中，可以不组合表示第一组像素位置和第二组像素位置的图像数据，因为两组像素位置可能已有效地捕获不同的图像，所以为了组合它们可以导致输出图像中的细节丢失和/或膺象，例如，同一对象的多个实例、分割对象或双边缘。为了检测场景是否已在第一组像素位置的曝光与第二组像素位置的曝光之间移动了，可以比较像素强度值。然而，观察图2清楚的是，第一组像素位置的像素位置和第二组像素位置的像素位置在空间上不重叠。因此，在第二组像素位置的像素位置处，生成与第一曝光水平相关联的像素强度值。在一个示例中，至少基于表示邻近像素位置的第一输入图像数据来生成像素位置处的第一内插图像数据。在一些示例中，可以使第一输入图像数据平滑。例如，可以至少基于表示邻近像素位置的第一输入图像数据和被平滑的表示像素位置的第一输入图像数据来生成像素位置处的平滑数据。
在如在图2中一样布置第一组像素和第二组像素的示例中，使绿色像素位置处的第一输入图像数据平滑可以包括应用内核K'G，其中：
Figure BDA0002212953810000081
生成属于第二组像素位置的绿色像素位置处的第一内插图像数据可以包括应用内核KG，其中：
Figure BDA0002212953810000082
由于在图2的示例中使用的拜耳滤色器图案以及绿色像素的布置与蓝色像素和红色像素的布置方面的结果差异，可以不将应用于绿色像素位置的内核应用于红色像素和蓝色像素。使红色像素或蓝色像素位置处的第一输入图像数据平滑可以包括应用以下内核K'RB：
Figure BDA0002212953810000083
生成属于第二组像素位置的红色或蓝色像素位置处的第一内插图像数据可以包括应用内核KRB，其中：
Figure BDA0002212953810000084
上面给出的内核是非限制性示例并且取决于图2的像素位置布置。在具有第一组像素位置和第二组像素位置及不同的滤色器阵列图案的不同布置的示例中，可以使用不同的内核。在一些示例中，可以在生成平滑和/或内插数据时考虑表示更多的邻近像素位置的数据。在其他示例中，可以在生成平滑和/或内插数据时考虑表示更少的邻近像素位置的数据。在一些示例中，在生成平滑和/或内插数据时考虑的邻近像素位置的数量可以取决于所接收到的图像数据的像素密度。例如，如果存在较高的像素密度，则可以使用更多的邻近像素位置来平滑和/或内插数据。
由在适当的像素位置处应用内核KG和KRB(即，在属于第二组像素位置的绿色像素位置处应用KG而在属于第二组像素位置的红色和蓝色像素位置处应用KRB)以生成第一内插图像数据并且应用内核K'G和K'RB(即，在属于第一组像素位置的绿色像素位置处应用K'G而在属于第一组像素位置的红色和蓝色像素位置处应用K'RB)以使第一输入图像数据平滑产生的数据可以被表达为平面
Figure BDA0002212953810000091
所述平面
Figure BDA0002212953810000092
可以被称作第一各向同性内插。
上述内核也可以被应用于第二输入图像数据，以便使第二输入图像数据平滑并且生成第二内插图像数据。例如，可以在属于第一组的像素位置处应用内核KG和KRB以生成第二内插图像数据，并且可以在属于第二组的像素位置处应用内核K'G和K'RB以使第二输入图像数据平滑。从应用上述内核以生成第二图像数据并且使第二输入图像数据平滑产生的数据可以被表达为平面
Figure BDA0002212953810000093
所述平面
Figure BDA0002212953810000094
可以被称作第二各向同性内插。在一些示例中，应用噪声模型以基于第二输入图像数据与第一内插图像数据之间的差异来生成运动检测数据可以包括：使用于第二组像素位置的第二输入平滑；以及应用噪声模型以基于经平滑的第二输入图像数据与第一内插图像数据之间的差异来生成运动检测数据。
确定像素强度中的至少一个差异
如上面所讨论的，基于第二输入图像数据与第一内插图像数据之间的差异来生成运动检测数据可以包括：根据曝光比率来对准图像数据；确定经对准的第一内插图像数据的像素强度值与第二输入图像数据的相应的像素强度值之间的差异。在一些示例中，第二输入图像数据可以是平滑的第二输入图像数据。对于第二组中的像素位置，第一内插图像数据可以包括与第一曝光水平相关联的像素强度值，而对于第二组像素位置中的像素位置，第二输入图像数据可以包括与第二曝光水平相关联的像素强度值。通过确定针对像素位置的通过第一内插图像数据表示的像素强度值与通过第二输入图像数据表示的相应的像素强度值之间的至少一个差异，可以能够确定图像的通过图像捕获的场景例如由于场景的一部分的移动或用于捕获场景的图像传感器的移动而对于第一组像素位置和第二组像素位置来说不同的区域。
在一些示例中，确定至少一个差异可以包括使用定义第一曝光水平与第二曝光水平之间的比率的曝光比率来对准第一内插图像数据和第二输入图像数据。对准第一内插图像数据和第二输入图像数据可以补偿由于第一曝光水平与第二曝光水平之间的曝光差异而导致的像素强度方面的任何差异。对准第一内插图像数据和第二输入图像数据可以包括按曝光比率适合地操作像素强度值。例如，对准可以包括将第一图像数据中的像素强度值除以曝光比率。
在一些示例中，还可以以与如上相同的方式比较第二内插图像数据和第一输入图像数据。可以将来自第一内插图像数据与第二输入图像数据之间的差异的确定的结果与第二内插图像数据与第一输入图像数据之间的差异的确定相比较以确定是否已在通过图像捕获的场景中检测到运动。
在一个示例中，确定至少一个差异可以包括计算来自平面
Figure BDA0002212953810000101
和平面
Figure BDA0002212953810000102
的均值的差异。可以使用3×3箱式滤波器来使长和短各向同性内插(
Figure BDA0002212953810000103
和
Figure BDA0002212953810000104
)平滑，然后可以基于平滑结果的绝对差异来计算均值的差异。这可以被表达为：
Figure BDA0002212953810000105
其中DoMi,j是每个像素位置(i,j)处的第一各向同性内插和第二各向同性内插的像素强度值之间的均值的差异。具有非零值DoM的像素位置可以指示通过第一组像素位置捕获的图像与通过第二组像素位置捕获的图像不同的像素位置。然而，其他因素(例如噪声)可以导致第一各向同性内插与第二各向同性内插之间的差异，并且可能期望区分由于这些其他因素而产生的差异和由于在图像的至少一部分中捕获的场景中的移动而导致的差异。
生成运动检测数据
如上面所讨论的，在使用图像传感器捕获的图像中可能存在预期程度的噪声。噪声可以取决于包括曝光水平和用于生成图像数据的图像传感器的许多变量。为了确保在先前过程中确定的第一内插图像数据与第二输入图像数据之间或第一各向同性内插与第二各向同性内插之间的任何差异是由于通过图像捕获的场景中的变化而导致的而不是由于噪声而导致的，方法可以包括根据噪声模型来修改至少一个差异，以生成运动检测数据。
在一个示例中，可以将像素位置处的至少一个差异减去噪声值。例如，可以将先前计算出的每个像素位置处的DoM减去噪声水平。噪声值可以在每个像素位置处不同。可以通过按参数根据噪声模型来缩放局部像素强度处的预期噪声水平来计算噪声值。通过将在像素位置处计算出的差异减去噪声值，可以忽略低于噪声水平的第一内插图像数据与第二输入图像数据之间的差异。可以将针对至少一个像素的此过程的结果输出为运动检测数据。
用于缩放预期噪声值的参数可以是常数或者可以针对图像的不同区域而变化。倍数可以是线性量或非线性量。在一些示例中，倍数包括可以取决于传感器增益的缩放因子。在一些示例中，可以在校准过程期间确定倍数，所述校准过程也可以被认为是调谐过程。校准过程可以包括对样本图像数据执行方法并且修改倍数以优化方法的结果。在一些示例中噪声模型被配置为减小时间噪声。表示噪声模型的数据可以被存储为查找表。
在一些示例中，生成运动检测数据包括生成运动检测掩码，所述运动检测掩码指示图像中图像在第一输入图像数据与第二输入图像数据之间不同的至少一个区域。在一些示例中，可以通过取DoMi,j计算的结果、将每个像素位置处的DoMi,j值减去噪声水平并且在2x2窗口内使结果数据扩大来生成运动检测掩码。在一些示例中生成运动检测掩码包括使根据噪声模型来修改至少一个差异的结果扩大并且将结果乘以运动响应参数。运动响应参数可以用于控制运动检测的强度，例如运动响应参数可以用于提高或者降低运动检测掩码的灵敏度。可以在将在下面进一步讨论的生成改进的图像数据时使用结果得到的运动检测掩码。
生成改进的图像数据
在一个示例中，从所接收到的输入图像数据生成改进的图像数据取决于运动检测数据，例如运动检测掩码。运动检测掩码可以指示图像的已经检测到运动的区域。在这些区域中，由于在两组像素位置之间捕获的内容方面的差异，可以不通过组合表示第一组像素位置的数据和表示第二组像素位置的数据来生成输出图像数据。在运动检测掩码指示在第一曝光与第二曝光之间没有运动的区域中，可以生成改进的图像数据作为第一输入图像数据和第二输入图像数据的组合。
i.组合曝光
在一个示例中，生成改进的图像数据包括：确定运动检测数据不指示针对给定像素位置检测到运动；以及响应于所述确定，组合所接收到的第一输入图像数据和第二输入图像数据。基于运动检测数据确定是否在像素位置处检测到运动可以包括使用如上生成的运动检测掩码来确定像素位置是否被定位在包括运动的图像的区域中。在生成改进的图像数据时考虑的邻近像素位置的数量可以取决于所接收到的输入图像数据的像素密度和被应用于图像数据中的像素位置的滤色器阵列图案。
在一个示例中组合所接收到的第一输入图像数据和第二输入图像数据以针对给定像素位置生成改进的图像数据可以包括至少：通过基于曝光比率将第一输入图像数据与第二输入图像数据对准来生成对准的图像数据。如上面所讨论的，由于曝光水平方面的差异第一组像素位置和第二组像素位置的强度值最初将彼此偏移。因此，生成对准的图像数据可以允许在不引入系统误差的情况下组合表示第一组像素位置和第二组像素位置的图像数据。在一个示例中，生成对准的图像数据可以包括减去黑色电平、将输入数据向上移位到最高有效位(MSB)使它与输出数据对准并且然后将第一输入图像数据除以曝光比率。
组合所接收到的第一输入图像数据和第二输入图像数据还可以包括：确定给定像素位置是否在表示图像中的拐角(corner)的区域中；以及响应于确定给定像素位置是否在表示图像中的拐角的区域中而执行预定动作。可以使用拐角检测或局部梯度变化的检测的任何适合的方法来确定像素位置是否在表示图像中的拐角的区域中。
图像中的在多于一个方向上高度各向异性的区域可以表示图像中的拐角。例如，在表示诸如天空这样的具有对比背景的建筑物的图像中，图像的表示建筑物的拐角、窗户/门的拐角等的区域可以是高度各向异性的。通常，在图像处理中期望沿着图像中的线和/或边缘内插，因为这可以帮助锐化图像中的不同对象之间的边界，从而增加细节。然而，跨拐角内插可产生不良影响。例如，跨拐角内插可以切断输出图像中的拐角的尖端，从而可以产生图像中的细节和/或准确度的丢失。通过检测图像中的拐角，可以避免通过跨拐角内插来生成输出。将在下面参考图3a和图3b描述检测拐角的示例方法。
检测给定像素位置是否在表示拐角的区域中的示例方法包括将以给定像素位置为中心的区域中的像素位置的像素强度值与周围区域中的相应的像素位置的像素强度值相比较。对于包括多个像素位置的多个像素区域中的每一个，所述像素区域围绕并与以给定像素位置为中心的中央像素区域部分地重叠，方法可以包括根据经对准的图像数据来确定所述多个像素区域中的每一个中的像素位置和中央像素区域中的相应的像素位置的像素强度值之间的绝对差异的和。在图3a和图3b的示例中示出了表示图像300的至少一部分的像素位置。当我们正在考虑对准的数据时表示图像的部分的所有像素位置都被示出为具有相同的曝光水平。作为示例，在图3a和图3b中我们正在考虑的像素位置是蓝色像素并且中央像素区域310是以蓝色像素位置为中心的3x3像素区域。
围绕并与中央像素区域重叠的所述多个像素区域是从中央像素区域偏移两个像素的3x3像素区域，使得所述多个像素区域中的每个像素位置具有与中央像素区域中的相应的像素位置相同的颜色。仅在属于相同的颜色通道的像素位置之间比较像素强度值。在一个示例中，考虑围绕中央像素区域的八个像素区域，图3a示出对角地偏移的周围区域320、330、340和350，并且图3b示出垂直地和水平地偏移的周围区域360、370、380和390。所述多个像素区域320至390被示出在单独的图上以便不混淆任何一个图。中央像素区域中的像素位置的数量等于所述多个像素区域中的每一个中的像素位置的数量。
对于每个像素区域，根据下式来计算该区域和中央像素区域中的像素强度值之间的绝对差异的和：
Figure BDA0002212953810000141
其中SADk表示像素区域k的绝对差异的和，Wk(i,j)表示像素区域k和所述像素区域内的坐标位置(i,j)中的像素强度值，并且Wc(i,j)表示中央像素区域内的坐标位置(i,j)处的中央像素区域k中的像素强度值。在图3a和图3b的示例中存在八个像素区域，所以k∈{1,2,3,4,5,6,7,8}。
为了确定是否可以由于噪声而说明周围像素区域中的差异，可以将绝对差异的至少一个和与噪声水平相比较。例如，方法可以包括基于噪声模型将来自具有绝对差异的最低和的像素区域的绝对差异的和与给定像素位置处的预期噪声水平相比较。在一些示例中，可以重复该过程以生成拐角检测掩码，所述拐角检测掩码识别图像的表示通过图像捕获的场景中的拐角的至少一个区域。
如上面所讨论的，如果区域不包括拐角则可能期望跨此区域内插像素强度值，然而如果该区域确实包括拐角则可能不期望跨此区域内插像素强度值。
在一个示例中，取决于确定给定像素位置在表示图像中的拐角的区域中，预定动作可以包括使用表示给定像素位置的经对准的图像数据的一部分作为经改进的图像数据。通过使用经对准的图像数据作为表示拐角的区域中的经改进的图像数据，可以维持在输出图像中示出拐角的细节。
在一个示例中，取决于确定给定像素位置不在表示图像中的拐角的区域中，预定动作可以包括通过使用经对准的图像数据进行内插来生成表示给定像素位置的改进的图像数据。像先前所讨论的那样对准图像数据可以导致第二组像素的像素位置与第一组像素的像素位置相比较具有较高的相对噪声水平。这里内插的目的是为了定向地使像素强度值平滑，从而根据其噪声水平对像素强度值进行加权。这可以平衡输出图像中细节和噪声之间的折衷。
使用经对准的图像数据来内插可以包括：生成第一多个梯度；生成第一多个内插值；以及根据梯度来组合所述第一多个内插值以生成改进的图像数据。可以使用根据梯度来组合内插值的任何适合的方法，使得内插方向是最小梯度方向或者在任何方向上梯度不足的情况下使用各向同性内插。当使用经对准的图像数据(即，使用表示第一组像素和第二组像素两者的图像数据)来内插时涉及的计算与当像将在下面所讨论的那样使用表示第一组像素位置或第二组像素位置的图像数据来内插时使用的计算不同，因此在本讨论中，梯度和内插值分别属于第一多个梯度和第一多个内插值。
所述第一多个梯度的梯度中的每一个均可以与来自多个方向的方向相关联。例如，所述第一多个梯度可以包括如下方向中的每一个的梯度值：水平(GH)、垂直(GV)、第一对角线(GD45)和第二对角线(GD135)。梯度值是通过计算表示属于与彼此相同的颜色通道的像素位置的适当地偏移的对的数据的绝对差异并且计算这些差异的加权和来获得的。在一些示例中，所述第一多个梯度的梯度可以取决于噪声模型，例如，从上面计算出的差异的加权和中，可以减去根据某个噪声模型的局部像素强度处的预期噪声水平的倍数。因此，可以忽略低于预期噪声水平的梯度。
所述第一多个内插值的内插值中的至少一些内插值可以与来自所述多个方向的方向相关联。例如，所述第一多个内插值可以包括如下方向中的每一个的内插值：垂直(IV)、水平(IH)、第一对角线(ID45)和第二对角线(ID135)。所述第一多个内插值还可以包括与各向同性内插(IISO)相关联的内插值。在一些示例中，所述第一多个内插值的内插值取决于曝光比率。当根据第一输入图像数据和第二输入图像数据两者计算所述第一多个内插值时，可以在计算内插值时考虑曝光比率。例如，可以基于曝光比率来确定用于对来自表示邻近像素位置的数据的贡献进行加权的系数。在一个示例中，所述第一多个内插值的内插值是通过从表示邻近像素位置的对准的图像数据内插来生成的，可以根据所述邻近像素位置的相应方差来对表示每个邻近像素位置的图像数据进行加权。
图4示出根据所述第一多个梯度来组合所述第一多个内插值以生成改进的图像数据的方法的图。在“混合1”处根据水平梯度和垂直梯度((GH和GV)混合水平内插值和垂直内插值((IH和IV)，在“混合2”处根据对角线梯度(ID45和ID135)混合两个对角线内插值(G45和G135)，在“混合3”处根据所述第一多个梯度(GH、GV、G45和G135)混合来自“混合1”和“混合2”的结果。最终混合“混合4”然后根据所述第一多个梯度(G、GV、G45和G135)来将“混合3”的结果与各向同性内插值IISO组合。此最终混合“混合4”的结果被用作像素位置处的改进的图像数据。
ii.独立曝光
在一个示例中，生成改进的图像数据包括：确定运动检测数据指示针对给定像素位置检测到运动；以及响应于所述确定，选择所接收到的第一输入图像数据和第二输入图像数据中的一者作为针对给定像素位置的改进的图像数据的主要来源。使用第一输入图像数据或第二输入图像数据的选择可以取决于如将在下面讨论的对限幅区域或阈值曝光的检测。在图像的运动检测掩码指示在通过图像捕获的场景中存在移动的区域中，通过表示第一组像素位置的数据捕获的图像可以与通过表示第二组像素位置的数据捕获的图像不同。因此，可以从表示第一组像素位置或第二组像素位置中的仅一个的图像数据生成经改进的图像数据。在确定了将从第一输入图像数据生成经改进的图像数据的示例中，在第一组像素位置处，经改进的图像数据可以包括第一输入图像数据，而在第二组像素位置处，经改进的图像数据可以包括通过从表示邻近像素位置的第一输入图像数据内插而生成的图像数据。在确定了将从第二输入图像数据生成经改进的图像数据的示例中，在通过第二组像素位置表示的像素位置处，经改进的图像数据可以包括第二输入图像数据，而在第一组像素位置处，经改进的图像数据可以包括通过从表示邻近像素位置的第二输入图像数据内插而生成的图像数据。在一个示例中，取决于属于通过用来生成输出数据的第一输入图像数据或第二输入图像数据中的一者表示的像素集的像素位置，从第一输入图像数据或第二输入图像数据中的一者生成输出数据可以包括选择表示像素位置的第一输入图像数据或第二输入图像数据中的一者的一部分。
在一个示例中，当不通过被选择为主要来源的第一输入图像数据或第二输入图像数据来表示给定像素位置时，基于所选择的第一输入图像数据或第二输入图像数据来针对给定像素位置生成改进的图像数据可以包括：生成第二多个梯度；生成第二多个内插值；以及根据所述第二多个梯度来组合所述第二多个内插值。可以使用所选择的第一输入图像数据或第二输入图像数据来生成所述第二多个梯度中的每一个，并且每个梯度可以与来自所述多个方向的方向相关联。例如，所述第二多个梯度可以包括如下方向中的每一个的梯度值：垂直
Figure BDA0002212953810000171
水平
Figure BDA0002212953810000172
第一对角线
Figure BDA0002212953810000173
和第二对角线
Figure BDA0002212953810000174
其中上标“-”指示梯度是从表示属于与正在生成改进的图像数据的给定像素位置不同的一组像素位置的邻近像素位置的数据计算出的。在一些示例中，所述第二多个梯度可以取决于噪声模型。例如，可以将所计算出的梯度值减去局部像素强度处的预期噪声水平的倍数，使得小于预期噪声的梯度被忽略。
可以使用所选择的第一输入图像数据或第二输入图像数据来生成所述第二多个内插值的内插值，所述第二多个内插值的内插值中的至少一些内插值可以与来自所述多个方向的方向相关联。例如，所述第二多个内插值可以包括如下方向中的每一个的内插值：垂直
Figure BDA0002212953810000175
水平
Figure BDA0002212953810000176
第一对角线
Figure BDA0002212953810000177
和第二对角线
Figure BDA0002212953810000178
所述第二多个内插值还可以包括与各向同性内插
Figure BDA0002212953810000179
相关联的内插值，其中，如以前一样，上标“-”指示内插值是从表示属于与正在生成改进图像数据的给定像素位置不同的一组像素位置的邻近像素位置的数据计算出的。在此示例中，因为内插值是从表示具有与彼此相同的曝光水平的像素位置的数据计算出的，所以用于内插的权重可能不取决于曝光水平而是可以替代地是恒定的。在一些示例中，可以组合所述第二多个内插值以根据所述第二多个梯度来生成改进的图像数据，例如，如先前参考图4所描述的。
当捕获图像时，和与较低的曝光水平相关联的像素位置相比较，与较高的曝光水平相关联的像素位置可能更可能饱和。饱和像素也可以被称为限幅像素。当像素位置处的像素强度值在曝光期间达到上限时可能发生饱和。在曝光期间落在已经饱和像素位置上的光可能不被记录。因此，随着像素位置变得饱和可能会丢失记录在图像中的信息。在处理图像数据时可能期望避免使用表示饱和像素位置的图像数据。在一个示例中，取决于确定给定像素位置被定位在包括至少一个饱和像素位置处的限幅区域中，饱和像素位置与第一曝光水平和第二曝光水平中的较高的曝光水平相关联，针对给定像素位置生成改进的图像数据可以包括选择所接收到的与第一曝光水平和第二曝光水平中的较低的曝光水平相关联的第一输入图像数据或第二输入图像数据。例如，在第二组像素位置与较低的曝光水平相关联的情况下，在第二组像素位置处可以选择第二输入图像数据，而在第一组像素位置处，可以如上所述处理表示属于第二组像素的邻近像素位置的图像数据，例如，第二输入图像数据。
以这种方式在表示第一组像素位置的图像数据包括限幅区域的确定之后，对于所述限幅区域可以从表示第二组像素位置的数据生成改进的图像数据，其中第二组像素位置与较低的曝光水平相关联并且因此与第一组像素位置相比较不太可能具有限幅像素位置和/或可以具有减少数量的限幅像素位置。在第一组像素位置与比第二组像素位置更高的曝光水平相关联的示例中，取决于与给定像素位置邻近的第一组像素位置的局部强度低于预定阈值的确定，方法可以包括，针对给定像素位置，在给定像素位置属于第二组像素位置的情况下使用平滑的第二输入图像数据来生成改进的图像数据，而在给定像素位置属于第一组像素位置的情况下使用第二内插图像数据来生成改进的图像数据。可以通过例如应用3x5箱式滤波器来确定局部像素强度。
图像处理系统
可以使用任何适合的装置(例如，图像处理系统)来实现本文描述的示例。图像处理系统可以包括适合于执行本文描述的方法的硬件和程序代码的任何组合。图5示出图像处理系统500的示例，图像处理系统500包括至少一个处理器510和至少一个存储介质520。至少一个存储介质520可以包括任何数量的易失性存储器或非易失性存储器。例如，至少一个存储介质520可以包括能够在上面存储适合于本文描述的功能的计算机可读代码的、在本地维护的或者远程地访问的硬盘驱动器、CD-ROM盘、USB驱动器、固态驱动器、RAM或任何其他形式的磁存储设备、光学存储设备或闪速存储器设备。至少一个处理器510可以是标准中央处理单元或图形处理单元(CPU或GPU)，或为本文描述的目的而设计的定制处理单元。至少一个处理器510可以包括任何数量的处理核心。在一些示例中，图像处理系统500可以是计算设备，在其他示例中图像处理系统500可以包括通过网络通信地耦合的多个计算设备，所述网络例如为诸如因特网这样的广域网、无线或硬连线局域网或任何其他类型的网络。图像处理系统500可以包括任何数量的接口，包括用于发送和/或接收数据的输入和/或输出设备。
在一个示例中，至少一个存储介质520可以存储指令，所述指令当由至少一个处理器510执行时使至少一个处理器510接收表示图像的至少一部分的输入图像数据530，所述输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据。在一些示例中从图像传感器接收输入图像数据530。图像传感器可以位于图像处理系统500本地，例如，图像处理系统500可以与诸如智能电话或相机这样的图像捕获设备中的图像传感器位于在一起。在其他示例中图像处理系统500可以包括用于通过网络接收输入图像数据530的网络接口。可以从一个或多个来源接收输入图像数据530。
至少一个存储介质520可以存储指令，所述指令当由至少一个处理器510执行时使至少一个处理器510：生成与第一曝光水平相关联的第一内插图像数据，所述第一内插图像数据包括第二组中的像素位置的像素强度值。在一些示例中，图像处理系统可以将第一内插图像数据的至少一部分存储在至少一个存储介质520中。至少一个存储介质520可以存储指令，所述指令当由至少一个处理器510执行时使至少一个处理器510：应用噪声模型以基于第二输入图像数据与第一内插图像数据之间的差异来生成运动检测数据，并且通过按照运动检测数据组合来自所接收到的第一输入图像数据和第二输入图像数据来生成改进的图像数据540。在一些示例中表示噪声模型的数据可以被例如以查找表的形式存储在图像处理系统处的存储器中并且在本文描述的涉及噪声模型的任何过程期间被访问。
图像处理系统500可以以任何适合的数据格式输出经改进的图像数据540。在一些示例中，所输出的改进的图像数据具有原始图像格式并且可以使用任何其他方法来进一步处理。在其他示例中，经改进的图像数据580可以由图像处理系统500进一步处理以以数字格式(例如，JPEG、PNG)或任何其他适合的数字图像格式生成输出图像。
图6示出包括计算机可执行指令的非暂态计算机可读存储介质600的示例，所述计算机可执行指令当由处理器610执行时使图像处理系统的操作：接收表示图像的至少一部分的输入图像数据620，所述输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据；生成与第一曝光水平相关联的第一内插图像数据630，所述第一内插图像数据630包括第二组中的像素位置的像素强度值；应用噪声模型640以基于第二输入图像数据与第一内插图像数据630之间的差异来生成运动检测数据；并且通过按照运动检测数据组合来自所接收到的第一输入图像数据和第二输入图像数据的数据来生成改进的图像数据。非暂态计算机可读存储介质可以是任何适合的存储介质，例如，关于图6描述的存储介质中的任一个。
上述示例将被理解为说明性示例。设想了另外的实施例。
应当理解的是，关于任何一个示例描述的任何特征可以被单独使用，或者与所描述的其他特征相结合地使用，并且还可以被与任何其他示例或任何其他示例的任何组合的一个或多个特征相结合地使用。此外，在不脱离所附权利要求的范围的情况下，也可以采用上面未描述的等同物和修改。

Claims (9)

1.一种用于处理图像数据的方法，所述方法包括：
接收表示图像的至少一部分的输入图像数据，所述输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据；
生成与所述第一曝光水平相关联的第一内插图像数据，所述第一内插图像数据包括所述第二组中的像素位置的像素强度值；
应用噪声模型以基于所述第二输入图像数据与所述第一内插图像数据之间的差异来生成运动检测数据；并且
通过以下步骤生成改进的图像数据：
确定所述运动检测数据不指示针对给定像素位置检测到运动；以及
响应于所述确定，针对所述给定像素位置组合来自所接收到的第一输入图像数据和第二输入图像数据的数据，
其中，针对所述给定像素位置组合来自所接收到的第一输入图像数据和第二输入图像数据的数据包括：
通过基于定义所述第一曝光水平与所述第二曝光水平之间的比率的曝光比率将所述第一输入图像数据与所述第二输入图像数据对准来生成经对准的图像数据；
确定所述给定像素位置是否在表示所述图像中的拐角的区域中；并且
响应于确定所述给定像素位置是否在表示所述图像中的拐角的区域中而执行预定动作。
2.根据权利要求1所述的方法，包括：生成与所述第二曝光水平相关联的第二内插图像数据，所述第二内插图像数据包括所述第二组中的像素位置的像素强度值，其中，应用噪声模型以生成运动检测数据基于：所述第二输入图像数据与所述第一内插图像数据之间的差异以及所述第一输入图像数据与所述第二内插图像数据之间的差异。
3.根据权利要求1所述的方法，其中，生成所述运动检测数据包括：生成运动检测掩码，所述运动检测掩码指示所述图像中所述图像在所述第一输入图像数据与所述第二输入图像数据之间不同的至少一个区域。
4.根据权利要求1所述的方法，其中，应用所述噪声模型以基于所述第二输入图像数据与所述第一内插图像数据之间的差异来生成运动检测数据包括：
使用定义所述第一曝光水平与所述第二曝光水平之间的比率的曝光比率来将所述第一内插图像数据与所述第二输入图像数据对准；
确定经对准的第一内插图像数据的像素强度值与所述第二输入图像数据的相应的像素强度值之间的至少一个差异；以及
根据所述噪声模型来修改所述至少一个差异。
5.根据权利要求1所述的方法，其中，如果所述确定是（i）所述给定像素位置在表示所述图像中的拐角的区域中，则所述预定动作包括：使用所述经对准的图像数据中表示所述给定像素位置的部分来作为所述改进的图像数据，或者
如果所述确定是（ii）所述给定像素位置不在表示所述图像中的拐角的区域中，则所述预定动作包括：通过使用所述经对准的图像数据来内插而生成表示所述给定像素位置的改进的图像数据。
6.根据权利要求5所述的方法，其中，使用所述经对准的图像数据来内插包括：
生成第一多个梯度，每个梯度与来自多个方向的方向相关联并且取决于所述噪声模型；
生成第一多个内插值，所述内插值中的至少一些内插值与来自所述多个方向的方向相关联；并且
根据所述第一多个梯度来组合所述第一多个内插值以生成改进的图像数据。
7.根据权利要求6所述的方法，其中，生成改进的图像数据包括：
确定所述运动检测数据指示针对给定像素位置检测到运动；并且
响应于所述确定，选择所接收到的第一输入图像数据和第二输入图像数据中的一者来作为针对所述给定像素位置的改进的图像数据的主要来源，
其中，当所述给定像素位置不通过被选择为主要来源的所述第一输入图像数据或所述第二输入图像数据来表示时，基于所选择的第一输入图像数据或第二输入图像数据来针对所述给定像素位置生成所述改进的输入数据包括：
使用所选择的第一输入图像数据或第二输入图像数据来生成第二多个梯度，所述第二多个梯度中的每个梯度与来自所述多个方向中的方向相关联；
使用所选择的第一输入图像数据或第二输入图像数据来生成第二多个内插值，所述内插值中的至少一些内插值与来自所述多个方向中的方向相关联；并且
根据所述第二多个梯度来组合所述第二多个内插值以生成改进的图像数据。
8.根据权利要求1所述的方法，其中，取决于确定所述给定像素位置被定位在包括至少一个饱和像素位置的限幅区域中，所述饱和像素位置与所述第一曝光水平和所述第二曝光水平中的较高的曝光水平相关联，针对所述给定像素位置生成改进的图像数据包括：
选择所接收到的与所述第一曝光水平和所述第二曝光水平中的较低的曝光水平相关联的第一输入图像数据或第二输入图像数据。
9.一种用于处理图像数据的装置，所述装置包括：
至少一个处理器；
至少一个存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程序代码被配置为与所述至少一个处理器一起使得所述装置至少用以：
接收表示图像的至少一部分的输入图像数据，所述输入图像数据包括表示与第一曝光水平相关联的第一组像素位置的第一输入图像数据和表示与不同的第二曝光水平相关联的第二组像素位置的第二输入图像数据；
生成与所述第一曝光水平相关联的第一内插图像数据，所述第一内插图像数据包括所述第二组中的像素位置的像素强度值；
应用噪声模型以基于所述第二输入图像数据与所述第一内插图像数据之间的差异来生成运动检测数据；并且
通过以下步骤生成改进的图像数据：
确定所述运动检测数据不指示针对给定像素位置检测到运动；以及
响应于所述确定，针对所述给定像素位置组合来自所接收到的第一输入图像数据和第二输入图像数据的数据，
其中，针对所述给定像素位置组合来自所接收到的第一输入图像数据和第二输入图像数据的数据包括：
通过基于定义所述第一曝光水平与所述第二曝光水平之间的比率的曝光比率将所述第一输入图像数据与所述第二输入图像数据对准来生成经对准的图像数据；
确定所述给定像素位置是否在表示所述图像中的拐角的区域中；并且
响应于确定所述给定像素位置是否在表示所述图像中的拐角的区域中而执行预定动作。
CN201910904784.3A 2018-10-03 2019-09-24 空间多重曝光 Active CN110996015B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/150,884 US10867392B2 (en) 2018-10-03 2018-10-03 Spatially multiplexed exposure
US16/150,884 2018-10-03

Publications (2)

Publication Number Publication Date
CN110996015A CN110996015A (zh) 2020-04-10
CN110996015B true CN110996015B (zh) 2023-02-03

Family

ID=68538794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910904784.3A Active CN110996015B (zh) 2018-10-03 2019-09-24 空间多重曝光

Country Status (5)

Country Link
US (1) US10867392B2 (zh)
JP (1) JP7463640B2 (zh)
KR (1) KR102644899B1 (zh)
CN (1) CN110996015B (zh)
GB (1) GB2579883B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797854B2 (en) * 2019-07-08 2023-10-24 Sony Semiconductor Solutions Corporation Image processing device, image processing method and object recognition system
KR20220131054A (ko) 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069454A (zh) * 2010-07-05 2013-04-24 苹果公司 高动态范围图像的捕捉和渲染
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4135737B2 (ja) * 2005-08-30 2008-08-20 ブラザー工業株式会社 画像処理プログラム
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
JP6227935B2 (ja) 2013-08-23 2017-11-08 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． 画像処理装置および画像処理方法
KR20140006751A (ko) * 2013-12-18 2014-01-16 삼성전자주식회사 이미지 처리 장치 및 방법
WO2015163145A1 (ja) 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
KR102570305B1 (ko) * 2016-05-04 2023-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108335279B (zh) 2017-01-20 2022-05-17 微软技术许可有限责任公司 图像融合和hdr成像

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103069454A (zh) * 2010-07-05 2013-04-24 苹果公司 高动态范围图像的捕捉和渲染
CN204720451U (zh) * 2014-06-03 2015-10-21 半导体元件工业有限责任公司 成像系统和处理器系统

Also Published As

Publication number Publication date
GB201914253D0 (en) 2019-11-13
JP7463640B2 (ja) 2024-04-09
GB2579883A (en) 2020-07-08
KR102644899B1 (ko) 2024-03-07
KR20200038422A (ko) 2020-04-13
CN110996015A (zh) 2020-04-10
JP2020058023A (ja) 2020-04-09
US20200111218A1 (en) 2020-04-09
US10867392B2 (en) 2020-12-15
GB2579883B (en) 2021-12-08

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
CN112219391B (zh) 生成hdr彩色图像的方法、hdr相机及蜂窝电话
US8687087B2 (en) Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US7940311B2 (en) Multi-exposure pattern for enhancing dynamic range of images
US7791652B2 (en) Image processing apparatus, image capture apparatus, image output apparatus, and method and program for these apparatus
US8965120B2 (en) Image processing apparatus and method of controlling the same
TWI550558B (zh) 用以產生高動態範圍影像之系統及其方法
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN101543056A (zh) 使用多曝光模式的图像稳定化
JP2008113222A (ja) 画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JPWO2006134923A1 (ja) 画像処理装置、コンピュータプログラム製品および画像処理方法
WO2019104047A1 (en) Global tone mapping
CN110996015B (zh) 空间多重曝光
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
JP4290965B2 (ja) デジタル画像の品質を改善する方法
US11640654B2 (en) Image processing method and apparatus
CN114697483B (zh) 基于压缩感知白平衡算法的屏下摄像装置及方法
US11153467B2 (en) Image processing
JP6786273B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
US20050140804A1 (en) Extended dynamic range image sensor capture using an array of fast and slow pixels
KR102265887B1 (ko) 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서
US8818094B2 (en) Image processing apparatus, image processing method and recording device recording image processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220725

Address after: Britain Camb

Applicant after: Arm Ltd.

Address before: Cambridge County, England

Applicant before: Apical Ltd.

GR01 Patent grant
GR01 Patent grant