CN113709381A - 制作hdr视频的单重曝光多帧图像捕获的方法 - Google Patents

制作hdr视频的单重曝光多帧图像捕获的方法 Download PDF

Info

Publication number
CN113709381A
CN113709381A CN202110893086.5A CN202110893086A CN113709381A CN 113709381 A CN113709381 A CN 113709381A CN 202110893086 A CN202110893086 A CN 202110893086A CN 113709381 A CN113709381 A CN 113709381A
Authority
CN
China
Prior art keywords
frames
series
frame
reference image
capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110893086.5A
Other languages
English (en)
Inventor
吴东晖
陈斌
岳家驹
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Chongqing Co Ltd
Original Assignee
Black Sesame Intelligent Technology Chongqing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Chongqing Co Ltd filed Critical Black Sesame Intelligent Technology Chongqing Co Ltd
Publication of CN113709381A publication Critical patent/CN113709381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

一种制作HDR视频的单重曝光多帧图像捕获的示例方法，包括：在曝光不足的设置下捕获一系列帧；从该系列帧选择参考图像；将该系列帧与参考图像对齐；基于参考图像将该系列帧合并成一个帧；将参考图像索引到该系列帧中的下一帧，从而产生索引的参考图像；将该系列帧与索引的参考图像重新对齐；以及基于索引的参考图像将该系列帧再合并成单个帧。还提供制作HDR视频的多重曝光多帧图像捕获的方法。

Description

制作HDR视频的单重曝光多帧图像捕获的方法
技术领域
本公开涉及生成视频，具体地涉及使用低动态范围图像传感器生成高动态范围视频。
背景技术
与当前的低动态范围(Low Dynamic Range,LDR)图像传感器能够捕获的相比，场景的动态范围可能大得多。当前低动态范围图像传感器用来捕获高动态范围(How DynamicRange,HDR)场景，将使明亮照明的区域饱和或者未能在不良照明区域中捕获足够数量的光子。当前，对高动态范围场景的捕获可利用专门设计的高动态范围传感器。
当前，对高动态范围传感器的使用由于在扩展传感器的容量方面的困难而很少被报道。通常而言，对高动态范围传感器的使用导致较高的固定模式噪声，并且实现方式昂贵且有限。
发明内容
一种制作HDR视频的单重曝光多帧图像捕获的示例方法，包括：在曝光不足的设置下捕获一系列帧；从该系列帧选择参考图像；将该系列帧与参考图像对齐；基于参考图像将该系列帧合并成一个帧；将参考图像索引到该系列帧中的下一帧，从而产生索引的参考图像；将该系列帧与索引的参考图像重新对齐；以及基于索引的参考图像将该系列帧再合并成单个帧。
另一制作HDR视频的多重曝光多帧图像捕获的示例方法，包括：在第一曝光不足的设置下捕获第一系列帧；从第一系列帧中选择第一参考图像；将第一系列帧与第一参考图像对齐；基于第一参考图像将第一系列帧合并成一个第一帧；在第二曝光不足的设置下捕获第二系列帧；从第二系列帧中选择第二参考图像；将第二系列帧与第二参考图像对齐；基于第二参考图像将第二系列帧合并成一个第二帧；以及融合该一个第一帧和一个第二帧。
另外的制作HDR视频的多重曝光多帧图像捕获的示例方法，包括：在第一曝光不足的设置下捕获第一系列帧；从第一系列帧中选择第一参考图像；将第一系列帧与第一参考图像对齐；基于第一参考图像将第一系列帧合并成一个第一帧；在第二曝光不足的设置下捕获第二系列帧；从第二系列帧中选择第二参考图像；将第二系列帧与第二参考图像对齐；基于第二参考图像将第二系列帧合并成一个第二帧；在第三曝光不足的设置下捕获第三系列帧；从第三系列帧中选择第三参考图像；将第三系列帧与第三参考图像对齐；以及基于第三参考图像将第三系列帧合并成一个第三帧，并且将一个第二帧和一个第三帧融合成第一融合帧；以及融合该一个第一帧和第一融合帧。
附图说明
在附图中：
图1描绘了根据本公开的一个实施例的第一示例系统图；
图2描绘了根据本公开的一个实施例的第二示例系统图；
图3描绘了根据本公开的一个实施例的通过滚动参考图像的单重曝光多帧融合的示例流视频模式；
图4描绘了根据本公开的一个实施例的单帧高动态范围与低动态范围数据的示例组合；
图5描绘了根据本公开的一个实施例的利用高曝光值与低曝光值融合的不同曝光值数据的示例组合；
图6描绘了根据本公开的一个实施例的用于多重曝光多帧视频的示例两次曝光流；
图7描绘了根据本公开的一个实施例的用于具有高动态范围和低动态范围融合的多重曝光多帧视频的示例三次曝光流程；
图8描绘了根据本公开的一个实施例的用于具有高曝光值和低曝光值融合的多重曝光多帧视频的示例三次曝光流程；
图9是根据本公开的一个实施例的第一示例方法；
图10是根据本公开的一个实施例的第二示例方法；
图11是根据本公开的一个实施例的第三示例方法；以及
图12是根据本公开的一个实施例的第四示例方法。
具体实施方式
下面列出的实施例仅被写成例示该设备和方法的应用，而不是限制范围。对该设备和方法的等同形式的修改应被归类为在权利要求的范围内。
在以下说明书和权利要求书中使用了某些术语来指代特定的系统部件。如本领域技术人员将理解的，不同的公司可以用不同的名称来指代部件和/或方法。本文献并不意图区分名称不同而功能相同的部件和/或方法。
在以下讨论中以及在权利要求中，术语“包括”和“包含”以开放式方式使用，因此可以解释为意指“包括但不限于...”。同样，术语“耦合”或“耦接”旨在意指间接或直接连接。因此，如果第一装置耦合到第二装置，则该连接可以是通过直接连接或通过经由其他装置和连接的间接连接。
图1描绘了可以用于实现与过程600的一个或多个部分或步骤的操作相关联的神经网络的示例混合计算系统100。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(Field Programmable Gate Array，FPGA)122、图形处理器单元(GraphicalProcessor Unit，GPU)120和中央处理单元(Central Processing Unit，CPU)118。
CPU 118、GPU 120和FPGA 122具有提供神经网络的能力。CPU是可以执行许多不同功能的通用处理器，它的一般性导致执行多个不同任务的能力，然而，CPU对多个数据流的处理是有限的，并且CPU关于神经网络的功能是有限的。GPU是具有能够顺序处理并行任务的许多小处理核的图形处理器。FPGA是现场可编程装置，它具有被重新配置并以硬连线电路方式执行可被编程到CPU或GPU中的任何功能的能力。由于FPGA的编程是电路形式，它的速度比CPU快许多倍，并且明显比GPU快。
存在可被系统包括的其它类型的处理器，例如包括芯片上CPU与GPU元件的加速处理单元(Accelerated Processing Unit，APU)和被设计用于执行高速数字数据处理的数字信号处理器(Digital Signal Processor，DSP)。专用集成电路(Application SpecificIntegrated Circuit，ASIC)也可以执行FPGA的硬连线功能；然而，设计和生产ASIC的交付周期大约是一年的几个季度，而不是在对FPGA编程中可用的快速周转实现。
图形处理器单元120、中央处理单元118和现场可编程门阵列122被连接并且被连接到存储器接口控制器112。FPGA通过可编程逻辑电路到存储器互连130连接到存储器接口。该附加装置由于FPGA以非常大的带宽运行的事实而被使用且被用于最小化从FPGA利用以执行存储任务的电子电路。存储器和接口控制器112另外连接到永久存储盘110、系统存储器114和只读存储器(Read Only Memory，ROM)116。
图1的系统可用于对FPGA进行编程和训练。GPU对非结构化数据运行良好，并且可以用于训练，一旦数据已经被训练，则可以找到确定性推断模型，并且CPU可以利用由GPU确定的模型数据来对FPGA编程。
存储器接口和控制器连接到中央互连124，中央互连另外连接到GPU 120、CPU 118和FPGA 122。中央互连124另外连接到输入和输出接口128以及网络接口126。
图2描绘了可以用于实现与过程1000的一个或多个部分或步骤的操作相关联的神经网络的第二示例混合计算系统200。在该示例中，与混合系统相关联的处理器包括现场可编程门阵列(FPGA)210和中央处理单元(CPU)220。
FPGA电连接到FPGA控制器212，该FPGA控制器212与直接存储器访问(DirectMemory Access，DMA)218对接。DMA连接到输入缓冲器214和输出缓冲器216，它们耦合到FPGA以分别缓冲进入和离开FPGA的数据。DMA218包括两个先进先出(First In First Out，FIFO)缓冲器，一个用于主机CPU而另一个用于FPGA，DMA允许数据被写入适当的缓冲器和从适当的缓冲器读取数据。
在DMA的CPU侧是主开关228，该主开关将数据和命令穿梭(shuttle)到DMA。DMA还连接到SDRAM控制器224，其允许数据穿梭到FPGA和从FPGA穿梭到CPU 220，SDRAM控制器还连接到外部SDRAM 226和CPU 220。主开关228连接到外围接口230。闪存控制器222控制永久存储器，并且连接到CPU 220。
在一些高级传感器中，传感器内的不同像素可以以不同的积分时间、增益和/或灵敏度曝光。然后，将各个像素的输出融合成单个输出帧。不同的像素作为一个像素工作，并且对用户是透明的，因此它像单个高动态范围传感器一样工作。由于复杂的像素设计和定时控制，这些传感器也是昂贵的。通常，不同的曝光覆盖像素阵列区域内的不同空间跨度，并且全尺寸的高动态范围输出牺牲了传感器对于增加的动态范围的原始分辨率。
已经提出了利用非高动态范围传感器捕获高动态范围图像的方法，其中传感器多重捕获场景，然后将信息合并成高动态范围输出。
当前使用的一种方法是以不同的曝光时间和/或ISO多重曝光(ME)多重捕获场景。较短的曝光时间和较低的ISO在良好照明的区域中捕获场景，并且允许在不良照明区域中以较长的曝光时间和较高的ISO捕获来实现较高的灵敏度。该方法允许从不同的曝光中选择最相关的信息，并将它们合并成单个帧。
当前，由于基于原始数据的线性特性和噪声模型的益处，利用原始数据处理摄影数据引起了人们的兴趣。这些方法以线性原始格式以多个短的相同曝光捕获场景，该方法被称为单重曝光多帧(SEMF)方法。模块可以对齐和累积这些短曝光图像。作为这种累积的结果，单个短曝光图像中的良好照明区域可以扩展到较高的动态范围值，而不良照明区域可以累积到较高的信号电平，就像以长曝光进行曝光一样。
与参考帧对齐的全局和局部对齐的帧本质上与局部变化的权重一起累积到中间图像中。方程(1)
Figure BDA0003196868540000051
其中，x表示图像平面上像素的坐标，F表示帧的数量，i是帧的索引，Wi(x)表示在x处的像素的第i个图像的加权，Im_i(x)表示在x处的像素的第i个图像值，以及CumImage(x)是在x处的像素的累计图像。
本质上，将累积的图像正规化(normalize)到局部变化的权重。此外，引入另一全局正规化子K以促进动态范围扩展与噪声减少之间的使用。合并的图像可以表示为方程(2)
Figure BDA0003196868540000061
其中，MergedImage(x)表示在x处的像素的合并图像。
为了简化对K的分析，对于x，Wi(x)＝1，并且1≤i≤F。因此，合并的图像变为方程(3)
Figure BDA0003196868540000062
其中，SimpleMergedImage(x)是在简化对K的分析后获得的在x处的像素的合并图像。
从方程(3)，关于正规化子K的若干项变得已知。
1、当K为1时，则合并的图像具有与每一个输入图像相同的信号电平，使得输出本质上是输入图像的去噪版本，因此输出的等效EV值与输入图像相同。这可以被称为单重曝光多帧去噪。
2、当K小于1时，合并图像的最大值是输入单个图像的最大值的大约1/K倍。作为简单的示例，当K＝0.25时，合并图像的动态范围大约是单个图像的4倍。K和F的乘积一般大于1，否则简单的合并图像变成具有数字增益1/(KF)的图像的和，这增加了信号电平，而没有实际益处。
3、当K等于1/F时，简单的合并图像是输入图像的和，其近似于保持有良好照明细节的、单独短曝光的F倍的较长曝光，即动态范围扩展F倍。与单独的输入图像相比，等效EV值增加了大约log2(F)。这被称为单重曝光多帧融合。
高动态范围加(HDR+)是一种单重曝光多帧方法。在噪声降低和/或动态范围扩展的情况下，在全分辨率对齐和合并中执行线性数据生成。后续图像信号处理，例如白平衡、去马赛克、色度去噪、色调映射、锐化等，是传统图像信号处理器或高动态范围数据色调映射中常用的流程。HDR+相对于参考帧的交替选择是鲁棒的，并且可以被转换为去噪视频。
参考曝光选择方法与单重曝光多帧去噪类似，因为传感器以曝光不足的设置捕获原始数据流。在一个示例中，单独曝光值(EV)可以是-T(T＞0)，即，数据值是共同曝光的约1/2T。如果单重曝光多帧融合流程对2T个帧起作用，那么在对齐这些帧并累积之后，方程(3)中的累积图像约为单个图像的2T倍。该输出类似于共同曝光的输出(EV＝0)，其中饱和电平增加到单独帧EV＝-T的2T倍。
在另一示例中，传感器可捕捉16个原始数据帧，其中曝光EV＝-4，10位帧。在对齐和累积之后，良好照明区域数据可以扩展到14位，并且在相同场景中在不良照明区域中具有近似于EV＝0的值。因此，所累积的数据是动态范围扩展版本。
将该概念扩展到视频模式，传感器可以以EV＝-T(具有T＝4的范例值)捕获10位原始帧。将输入帧N-1设置为参考，累积输入帧(N-2T)～(N-1)，单重曝光多帧融合可以输出EV＝0的(10+T)位高动态范围数据，与输入帧N-1对齐。当捕获下一原始帧(帧N)时，可以将其设置为新的参考帧，并且累积输入帧(N-2T+1)～(N)，单重曝光多帧融合可以输出与帧N对齐的(10+T)位高动态范围数据，等等。
将这些输出帧放在一起，形成(10+T)位高动态范围视频，其中使亮度水平类似于EV＝0。图3示出了该处理流程。
图3描绘了通过逐个滚动参考图像的单重曝光多帧融合的示例流视频模式。在第一迭代中，在单重曝光多帧模块320中，10位低动态范围328的帧310-316被融合，其中输入帧为10位低动态范围而输出322为14位高动态范围330。将帧逐一索引，使得在下一次迭代中，低动态范围328帧312-318以原始数据格式以10位输入，单重曝光多帧融合模块324被执行，并且输出帧326是以14位输出的高动态范围14位高动态范围330。
通过应用传统的图像信号处理器和高动态范围色调映射方法，可以在低动态范围显示器上预览该视频。
如上所述，在单重曝光多帧方法中的一个步骤是将多个低动态范围原始帧对齐并合并成一个。通过在方程(2)中选择不同的正规化子K≤1，可以实现去噪和/或动态范围扩展。
在单重曝光多帧方法中，曝光不足的EV可能由于在移动电话上捕获大量原始帧方面的限制而具有下限(lowerlimit)。另外，当EV值低时，所捕获的原始数据本身可能是有噪声的，这限制了单重曝光多帧融合的可能的动态范围扩展。
继续前面的示例，如果以EV＝-4捕获10位原始数据的16个帧，并且单重曝光多帧融合产生14位、等效EV＝0的单帧高动态范围数据。动态范围可以扩展到具有EV＝0的直接帧的大约16倍。然而，在夜晚的低光条件下，诸如由氖灯照亮的那些的良好照明区域与不良照明区域之间的动态范围可能远高于16倍，因此即使当EV＝-4时，良好照明区域也丢失细节/颜色。在这种情况下，需要进一步降低用于良好照明区域的曝光值。在这种情况下，可以以EV＝-8捕获一个额外的短曝光以覆盖良好照明的区域。然后，这在将具有EV＝-8的10位原始数据组合成具有EV＝0的14位单帧高动态范围数据时产生潜在问题。这种具有不同EV值的不同曝光数据的组合被称为高动态范围-低动态范围融合，并且可以适应不同的位深度。
在单帧的情况下，具有EV＝0的高动态范围数据作为H0、具有最大值的h位作为MaxH≈2h；并且具有EV＝-E的低动态范围数据作为L-E、具有最大值的l位作为MaxL≈2l。EV的定义是对数的，H0与L-E之间的曝光比可以由方程(4)给出。
Figure BDA0003196868540000081
对于H0中的不饱和像素X，由于原始数据的线性，H0(X)和RL-E(X)的值可以是可比较的，但是由于噪声的存在，可能不相同。通常，H0(X)的信噪比(SNR)可能高于RL-E(X)的信噪比。
对于H0中的饱和像素X，可将组合结果中的数据选择为RL-E(X)，这暗示对H0的最大值及L-E的最大值的另一约束，即，R·MaxL≥MaxH，换言之，l+E≥h。
这样，图4所示的高动态范围-低动态范围融合方框可以被描述为方程(5)
Figure BDA0003196868540000082
按照方程(5)，在H0(x)<MaxH的情况下，HDRout(x)＝H0(x)，反之，HDRout(x)＝RL-E(X)。
组合数据的最大值可扩展至R·MaxL，其中，位深度为(l+E)位，等效EV＝0。
图4描绘了单帧高动态范围与低动态范围数据的组合的示例。线性低动态范围、低带宽、低曝光值输入410融合到线性、高动态范围数据输入412。融合发生在HDR-LDR融合模块414处，并且输出高动态范围线性原始数据输出416。416处的输出具有较高带宽且具有与高动态范围数据输入412相同的曝光值。
高动态范围-低动态范围融合通过曝光比扩展低曝光值(LEV)的数据，并将其放入高曝光值(HEV)数据的良好照明的区域中，称为HEV-LEV融合。
EV＝evh的单帧HEV数据作为HEV，具有最大值的h位为MaxH≈2h；并且EV＝evl的LEV数据作为LEV(evh＝evl+E，E＞0)，具有最大值的l位为MaxL≈2l。EV的定义是对数的，HEV与LEV之间的曝光比由方程(6)给出。
Figure BDA0003196868540000091
对于HEV中的不饱和像素X，由于原始数据的线性，HEV(X)和R·LEV(X)的值可以是可比较的，但是由于噪声的存在，可能不相同。通常，HEV(X)的信噪比可能高于R·LEV(X)的信噪比。
对于HEV中的饱和像素X，可将组合结果中的数据选择为R·LEV(X)，这暗示对HEV的最大值及LEV的最大值的另一约束，即，R·MaxL≥MaxH，换言之，l+E≥h，具有与高动态范围-低动态范围融合相同的约束。
这样，图5所示的HEV-LEV融合方框可以被描述为方程(7)。
Figure BDA0003196868540000092
按照方程(7)，在HEV(x)<MaxH的情况下，HDRout(x)＝HEV(x)，反之，HDRout(x)＝R·LEV(X)。
组合数据的最大值可扩展至R·MaxL，位深度为(l+E)位，等效EV＝EVh。
图5描绘了利用高曝光值与低曝光值融合的不同曝光值数据的示例组合。在该示例中，线性低曝光值原始数据510和线性高曝光值输入数据512在HEV-LEV融合模块514中融合，以输出具有与高曝光值输入数据512相同的曝光值的高动态范围原始高位宽数据516。
利用高动态范围-低动态范围融合方法，可以进一步增加动态范围，并且将输出帧变为流畅的视频。
图6中示出了两次曝光模式的示例。照相机捕获两个不同曝光的10位原始数据。当第2N帧即将到来时，将EV＝-4的N帧输入到单重曝光多帧融合。单重曝光多帧融合输出EV＝0的14位高动态范围数据。10位的EV＝-8的N个帧用于实现时间三维(3D)去噪模块，并且输出EV＝-8的10位降噪的低动态范围原始数据。EV＝0的14位的高动态范围数据和EV＝-8的10位的去噪低动态范围数据被输入到高动态范围-低动态范围融合，并且输出EV＝0的18位的高动态范围数据。当传感器捕获EV＝-8和EV＝-4的另外两个帧时，相同的处理流程可以产生另一输出帧。这些输出帧可以创建帧速率降低了1/2的高动态范围视频。
与输入帧的定时相比，交织的输入帧结构(即EV＝-8、-4、-8、-4、-8、-4、-8、-4…)可以提供均匀分布的输出帧，即，对于每两个输入帧输出一个帧，这允许流畅的视频输出并且低动态范围图像输入到高动态范围-低动态范围融合允许去噪，并且因此良好照明的区域表现出良好的信噪比。
图6描绘了用于多重曝光多帧视频的示例两次曝光流程。较低曝光值(EV＝-8)的帧610、614、618以10位的低动态范围634输入，并且被路由到三维(3D)去燥(DNS)模块622，其以较低曝光值EV＝-8输出低动态范围10位输出。较高曝光值帧612、616、620是10位低动态范围634，并且被路由到单重曝光多帧(SEMF)融合模块624，其以EV＝0的等效值输出14位的高动态范围帧。来自输出EV＝-8的10位LDR帧的三维(3D)去燥(DNS)模块622和输出EV＝0的14位HDR帧的SEMF融合模块624的输出，在输出18位HDR EV＝0数据636的输出帧628的HDR-LDR融合模块626中被融合。
此外，单重曝光多帧(SEMF)是一种3D DNS，其中流可以共享与单重曝光多帧融合几乎相同的结构。
用于视频的多重曝光多帧方法流程可以扩展到多于两次曝光，以实现甚至更高的动态范围。对于如图7所示的示例，三次曝光输入帧序列可以产生甚至更高的动态范围输出数据，其中输出帧速率是输入帧速率的1/3。
图7描绘了用于具有高动态范围和低动态范围融合的多重曝光多帧视频的示例三次曝光流程。第一组非常低曝光值帧710、716、722具有EV＝-12，并且被输入到3D DNS模块728中，并且输出EV＝-12的LDR 10位输出。第二组低曝光值帧712、718、724具有EV＝-8，被输入到3D DNS模块730中，并且输出EV＝-8的10位LDR。第三组较高曝光值帧714、720、726具有EV＝-4，并且被输入到单重曝光多帧(SEMF)融合模块732中，并且输出EV＝0的14位的HDR。帧710-726是具有10位值的原始数据744。3D DNS模块730和SEMF融合模块732输入到输出EV＝0的18位HDR的HDR-LDR融合模块734。HDR-LDR融合模块734的输出和3D DNS模块728的输出被输入到HDR-LDR融合模块736内，HDR-LDR融合模块736输出(738)EV＝0的22位(746)。在输出EV＝0的22位(742)的HDR-LDR融合模块740中找到来自先前循环的先前输出。
用于视频的多重曝光多帧方法流程可以用HEV-LEV结构扩展到多于两次曝光，以实现甚至更高的动态范围。对于如图8所示的示例，三次曝光输入帧序列可以产生甚至更高的动态范围输出数据，其中输出帧速率是输入帧速率的1/3。功能和输出类似于所公开的具有高动态范围-低动态范围结构的多重曝光多帧方法。
图8描绘了用于具有高曝光值和低曝光值融合的多重曝光多帧视频的示例三次曝光流程。第一组非常低曝光值帧810、816、822具有EV＝-12，并且被输入到3D DNS模块828中，并且输出EV＝-12的LDR 10位输出。第二组低曝光值帧812、818、824具有EV＝-8，被输入到3D DNS模块830中，并且输出EV＝-8的10位LDR。第三组较高曝光值帧814、820、826具有EV＝-4，并且被输入到单重曝光多帧(SEMF)融合模块832中，并且输出EV＝0的14位的HDR。帧810、826是具有10位值的原始数据844。在该示例中，3D DNS模块828和3DDNS模块830输入到HEV-LEV融合模块834内，HEV-LEV融合模块834融合并输出EV＝-8的14位HDR原始数据。HEV-LEV融合模块834和SEMF融合模块832的输出被输入到HEV-LEV融合模块836中，HEV-LEV融合模块836输出EV＝0的22位(838)。原始帧的索引输出的输出是22位(846)。在输出EV＝0的22位(842)的HHEV-LEV融合模块840中找到来自先前循环的先前输出。
多重曝光多帧图像捕获的第一示例方法包括：在曝光不足的设置下捕获(910)一系列帧；从该系列帧中选择(912)参考图像；以及将该系列帧与参考图像对齐(914)。该方法还包括：基于参考图像将一系列帧合并(916)成一个帧；将参考图像索引(918)到该系列帧中的下一帧，从而产生索引的参考图像；将该系列帧与索引的参考图像重新对齐(920)；以及基于索引参考图像将该系列帧再合并(922)成单个帧。
多重曝光多帧图像捕获的第二方法包括：在第一曝光不足的设置下捕获(1010)第一系列帧；从第一系列帧中选择(1012)第一参考图像；将第一系列帧与第一参考图像对齐(1014)；以及基于第一参考图像将第一系列帧合并(1016)成一个第一帧。该方法包括：在第二曝光不足的设置下捕获(1018)第二系列帧；从第二系列帧中选择(1020)第二参考图像；将第二系列帧与第二参考图像对齐(1022)；基于第二参考图像将第二系列帧合并(1024)成一个第二帧；以及融合(1026)该一个第一帧和一个第二帧。
该方法可以另外包括：将在第一曝光不足设置下的另一个第一系列帧的捕获索引为N；以及将在第一曝光不足设置下的另一个第二系列帧的捕获索引为N。方法可以替代地包括：迭代地将在第一曝光不足设置下的另一个第一系列帧的捕获迭代地索引为N；以及将在第一曝光不足设置下的另一个第二系列帧的捕获迭代地索引为N。
多重曝光多帧图像捕获的第三方法包括：在第一曝光不足的设置下捕获(1110)第一系列帧；从第一系列帧中选择(1112)第一参考图像；将第一系列帧与第一参考图像对齐(1114)；以及基于第一参考图像将第一系列帧合并(1116)成一个第一帧。该方法还包括：在第二曝光不足的设置下捕获(1118)第二系列帧；从第二系列帧中选择(1120)第二参考图像；将第二系列帧与第二参考图像对齐(1122)；以及基于第二参考图像将第二系列帧合并(1124)成一个第二帧。该方法包括：在第三曝光不足的设置下捕获(1126)第三系列帧；从第三系列帧中选择(1128)第三参考图像；将第三系列帧与第三参考图像对齐(1130)；以及基于第三参考图像将第三系列帧合并(1132)成一个第三帧。该方法还包括：将一个第二帧和一个第三帧融合(1134)成第一融合帧；以及将一个第一帧和第一融合帧融合(1136)。
该方法可以另外包括：将在第一曝光不足设置下的另一个第一系列帧的捕获索引为N；将在第二曝光不足设置下的另一个第二系列帧的捕获索引为N；将在第三曝光不足设置下的另一个第三系列帧的捕获索引为N。
该方法可以替代地包括：迭代地将在第一曝光不足设置下的另一个第一系列帧的捕获迭代地索引为N；将在第二曝光不足设置下的另一个第二系列帧的捕获迭代地索引为N；以及将在第三曝光不足设置下的另一个第三系列帧的捕获迭代地索引为N。
多重曝光多帧图像捕获的第四方法包括：在第一曝光不足的设置下捕获(1210)第一系列帧；从第一系列帧中选择(1212)第一参考图像；将第一系列帧与第一参考图像对齐(1214)；以及基于第一参考图像将第一系列帧合并(1216)成一个第一帧。该方法还包括：在第二曝光不足的设置下捕获(1218)第二系列帧；从第二系列帧中选择(1220)第二参考图像；将第二系列帧与第二参考图像对齐(1222)；以及基于第二参考图像将第二系列帧合并(1224)成一个第二帧。该方法还包括：在第三曝光不足的设置下捕获(1226)第三系列帧；从第三系列帧中选择(1228)第三参考图像；将第三系列帧与第三参考图像对齐(1230)；以及基于第三参考图像将第三系列帧合并(1232)成一个第三帧。该方法还包括：将一个第一帧和一个第二帧融合(1234)成第一融合帧；以及将一个第三帧和第一融合帧融合(1236)。
该方法可以另外包括：将在第一曝光不足设置下的另一个第一系列帧的捕获索引为N；将在第二曝光不足设置下的另一个第二系列帧的捕获索引为N；将在第三曝光不足设置下的另一个第三系列帧的捕获索引为N。
该方法可以替代地包括：将在第一曝光不足设置下的另一个第一系列帧的捕获迭代地索引为N；将在第二曝光不足设置下的另一个第二系列帧的捕获迭代地索引为N；将在第三曝光不足设置下的另一个第三系列帧的捕获迭代地索引为N。
在所公开的多重曝光多帧方法中，输入图像是线性原始格式，并且对于任何不同的曝光存在若干帧。
本领域技术人员将理解，本文描述的各种例示性的块、模块、元件、部件、方法和算法可以被实现为电子硬件、计算机软件或两者的组合。为了例示硬件与软件的这种可互换性，上文已大体上在其功能方面描述了各种例示性块、模块、元件、部件、方法和算法。将这种功能实现为硬件还是软件取决于特定应用和强加于系统的设计约束。技术人员可针对各个特定应用以不同方式实现所述的功能。各种部件和块可以不同地布置(例如，以不同的顺序布置，或以不同的方式划分)，而不脱离本主题技术的范围。
应当理解，所公开的过程中的步骤的特定顺序或层次是示例方法的例示。基于设计偏好，应当理解，可以重新布置过程中的步骤的特定顺序或层次。一些步骤可以同时执行。所附方法权利要求以示例顺序呈现了各个步骤的元素，并不意味着限于所呈现的特定顺序或层次。
提供先前描述以使得本领域的技术人员能够实践本文描述的各个方面。先前的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对这些方面的各种修改对于本领域技术人员而言可以是显而易见的，并且本文所定义的一般原理可以应用于其它方面。因此，权利要求不旨在被限制于本文所示的方面，而是要被赋予与语言权利要求一致的全部范围，其中，除非特别声明，否则以单数形式对元件的引用不旨在意指“一个且仅一个”，而是意指“一个或多个”。除非另有具体说明，否则术语“一些”指代一个或多个。男性代词(例如，他的)包括女性和中性(例如，她的和它的)，反之亦然。标题和副标题(如果有的话)仅仅是为了方便而使用，并不限制本发明。谓词单词“被配置为”、“可操作为”和“被编程为”不暗示对主题的任何特定的有形或无形修改，而是旨在可互换地使用。例如，被配置为监测和控制操作或部件的处理器也可以意味着处理器被编程为监测和控制操作，或者处理器可操作为监测和控制操作。同样，被配置为执行代码的处理器可被解释为被编程为执行代码或可操作为执行代码的处理器。
例如“方面”的短语不暗示这样的方面对于主题技术是必要的，或者这样的方面适用于主题技术的配置。与一个方面有关的公开内容可以应用于配置、或者一个或多个配置。一个方面可以提供一个或多个示例。例如方面的短语可以指代一个或多个方面，反之亦然。例如“实施例”的短语不暗示这样的实施例对于主题技术是必要的，或者这样的实施例适用于主题技术的配置。与一个实施例有关的公开内容可以应用于实施例、或者一个或多个实施例。实施例可以提供一个或多个示例。例如“实施例”的短语可以指代一个或多个实施例，反之亦然。例如“配置”的短语不暗示这样的配置对于主题技术是必要的，或者这样的配置适用于主题技术的配置。与一个配置有关的公开内容可以应用于配置、或者一个或多个配置。配置可以提供一个或多个示例。例如“配置”的短语可以指代一个或多个配置，反之亦然。
词语“示例”在本文中用于意指“用作示例或例示”。在本文中描述为“示例”的任何方面或设计不必被解释为比其他方面或设计优选或有利。
本领域普通技术人员已知或以后将知道的贯穿本公开内容描述的各个方面的元素的结构和功能等同物以引证的方式明确并入本文，并且旨在被权利要求所涵盖。而且，本文所公开的内容都不旨在奉献给公众，无论这种公开是否在权利要求中明确地陈述。此外，就说明书或权利要求书中使用的术语“包括”、“具有”等而言，这种术语旨在以与术语“包括”类似的方式为包括性的，如同“包括”在权利要求书中用作过渡词时所解释的那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”等的引用指示特定元素或特性包括在本发明的至少一个实施例中。尽管这些短语可以出现在各个地方，但是这些短语不一定指代同一实施例。结合本公开，本领域技术人员能够设计和结合适于实现上述功能的各种机构中的任何一种。
应当理解，本公开仅示教了例示性实施例的一个示例，并且本领域技术人员在阅读本公开之后可以容易地设计出本发明的许多变型，并且本发明的范围由所附权利要求确定。

Claims (19)

1.一种制作HDR视频的单重曝光多帧图像捕获的方法，包括：
在曝光不足的设置下捕获一系列帧；
从所述系列帧选择参考图像；
将所述系列帧与所述参考图像对齐；
基于所述参考图像将所述系列帧合并成一个帧；
将所述参考图像索引到所述系列帧中的下一帧，从而产生索引的参考图像；
将所述系列帧与所述索引的参考图像重新对齐；以及
基于所述索引的参考图像将所述系列帧再合并成单个帧。
2.根据权利要求1所述的单重曝光多帧图像捕获的方法，其特征在于，所述系列帧是原始数据。
3.根据权利要求1所述的单重曝光多帧图像捕获的方法，其特征在于，所述系列帧是低动态范围。
4.一种制作HDR视频的多重曝光多帧图像捕获的方法，包括：
在第一曝光不足的设置下捕获第一系列帧；
从所述第一系列帧选择第一参考图像；
将所述第一系列帧与所述第一参考图像对齐；
基于所述第一参考图像将所述第一系列帧合并成一个第一帧；
在第二曝光不足的设置下捕获第二系列帧；
从所述第二系列帧选择第二参考图像；
将所述第二系列帧与所述第二参考图像对齐；
基于所述第二参考图像将所述第二系列帧合并成一个第二帧；以及
融合所述一个第一帧和所述一个第二帧。
5.根据权利要求4所述的多重曝光多帧图像捕获的方法，还包括：
将在所述第一曝光不足设置下的另一个第一系列帧的捕获索引为N；以及
将在所述第一曝光不足设置下的另一个第二系列帧的捕获索引为N。
6.根据权利要求4所述的多重曝光多帧图像捕获的方法，还包括：
将在所述第一曝光不足设置下的另一个第一系列帧的捕获迭代地索引为N；以及
将在所述第一曝光不足设置下的另一个第二系列帧的捕获迭代地索引为N。
7.根据权利要求4所述的多重曝光多帧图像捕获的方法，其特征在于，所述第一系列帧和所述第二系列帧是原始数据。
8.根据权利要求4所述的多重曝光多帧图像捕获的方法，其特征在于，所述第一系列帧和所述第二系列帧是低动态范围。
9.一种制作HDR视频的多重曝光多帧图像捕获的方法，包括：
在第一曝光不足的设置下捕获第一系列帧；
从所述第一系列帧选择第一参考图像；
将所述第一系列帧与所述第一参考图像对齐；
基于所述第一参考图像将所述第一系列帧合并成一个第一帧；
在第二曝光不足的设置下捕获第二系列帧；
从所述第二系列帧选择第二参考图像；
将所述第二系列帧与所述第二参考图像对齐；
基于所述第二参考图像将所述第二系列帧合并成一个第二帧；
在第三曝光不足的设置下捕获第三系列帧；
从所述第三系列帧选择第三参考图像；
将所述第三系列帧与所述第三参考图像对齐；以及
基于所述第三参考图像将所述第三系列帧合并成一个第三帧。
10.根据权利要求9所述的多重曝光多帧图像捕获的方法，还包括：
将所述一个第二帧和所述一个第三帧融合成第一融合帧；以及
融合所述一个第一帧和所述第一融合帧。
11.根据权利要求10所述的多重曝光多帧图像捕获的方法，还包括：
将在所述第一曝光不足设置下的另一个第一系列帧的捕获索引为N；
将在所述第二曝光不足设置下的另一个第二系列帧的捕获索引为N；以及
将在所述第三曝光不足设置下的另一个第三系列帧的捕获索引为N。
12.根据权利要求10所述的多重曝光多帧图像捕获的方法，还包括：
将在所述第一曝光不足设置下的另一个第一系列帧的捕获迭代地索引为N；
将在所述第二曝光不足设置下的另一个第二系列帧的捕获迭代地索引为N；以及
将在所述第三曝光不足设置下的另一个第三系列帧的捕获迭代地索引为N。
13.根据权利要求10所述的多重曝光多帧图像捕获的方法，其特征在于，所述第一系列帧、所述第二系列帧以及所述第三系列帧是原始数据。
14.根据权利要求10所述的多重曝光多帧图像捕获的方法，其特征在于，所述第一系列帧、所述第二系列帧以及所述第三系列帧是低动态范围。
15.根据权利要求9所述的多重曝光多帧图像捕获的方法，还包括：
将所述一个第一帧和所述一个第二帧融合成第一融合帧；以及
融合所述一个第三帧和所述第一融合帧。
16.根据权利要求15所述的多重曝光多帧图像捕获的方法，还包括：
将在所述第一曝光不足设置下的另一个第一系列帧的捕获索引为N；
将在所述第二曝光不足设置下的另一个第二系列帧的捕获索引为N；以及
将在所述第三曝光不足设置下的另一个第三系列帧的捕获索引为N。
17.根据权利要求15所述的多重曝光多帧图像捕获的方法，还包括：
将在所述第一曝光不足设置下的另一个第一系列帧的捕获迭代地索引为N；
将在所述第二曝光不足设置下的另一个第二系列帧的捕获迭代地索引为N；以及
将在所述第三曝光不足设置下的另一个第三系列帧的捕获迭代地索引为N。
18.根据权利要求15所述的多重曝光多帧图像捕获的方法，其特征在于，所述第一系列帧、所述第二系列帧以及所述第三系列帧是原始数据。
19.根据权利要求15所述的多重曝光多帧图像捕获的方法，其特征在于，所述第一系列帧、所述第二系列帧以及所述第三系列帧是低动态范围。
CN202110893086.5A 2020-10-23 2021-08-04 制作hdr视频的单重曝光多帧图像捕获的方法 Pending CN113709381A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/079,117 2020-10-23
US17/079,117 US11778335B2 (en) 2020-10-23 2020-10-23 Generating high dynamic range video using low dynamic range image sensor

Publications (1)

Publication Number Publication Date
CN113709381A true CN113709381A (zh) 2021-11-26

Family

ID=78651590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110893086.5A Pending CN113709381A (zh) 2020-10-23 2021-08-04 制作hdr视频的单重曝光多帧图像捕获的方法

Country Status (2)

Country Link
US (1) US11778335B2 (zh)
CN (1) CN113709381A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11587213B1 (en) 2021-11-05 2023-02-21 GM Cruise Holdings LLC. Preserving dynamic range in images
US11889197B1 (en) * 2022-09-09 2024-01-30 Samsung Electronics Co., Ltd. Reference frame selection for multi-frame image processing pipelines and other applications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
EP3494693A1 (en) * 2016-08-03 2019-06-12 Microsoft Technology Licensing, LLC Combining images aligned to reference frame

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US10007990B2 (en) * 2015-12-24 2018-06-26 Intel Corporation Generating composite images using estimated blur kernel size
WO2017215767A1 (en) * 2016-06-17 2017-12-21 Huawei Technologies Co., Ltd. Exposure-related intensity transformation
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3494693A1 (en) * 2016-08-03 2019-06-12 Microsoft Technology Licensing, LLC Combining images aligned to reference frame
CN107277387A (zh) * 2017-07-26 2017-10-20 维沃移动通信有限公司 高动态范围图像拍摄方法、终端及计算机可读存储介质
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备

Also Published As

Publication number Publication date
US20220132016A1 (en) 2022-04-28
US11778335B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
CN108702437B (zh) 计算深度图的方法、系统、设备和存储介质
US20210365716A1 (en) Method and system of deep supervision object detection for reducing resource usage
US7995115B2 (en) Image pickup device, image pickup system, image pickup method, and image processing device
CN106797437B (zh) 使用多个图像的高动态范围图像合成
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
EP3509034B1 (en) Image filtering based on image gradients
WO2020057198A1 (zh) 图像处理方法、装置、电子设备及存储介质
US20170337693A1 (en) Method and system of real-time image segmentation for image processing
US9883119B1 (en) Method and system for hardware-based motion sensitive HDR image processing
US20050265633A1 (en) Low latency pyramid processor for image processing systems
CN113709381A (zh) 制作hdr视频的单重曝光多帧图像捕获的方法
WO2017101451A1 (zh) 成像方法、成像装置及电子装置
WO2017101561A1 (zh) 高动态范围图像的生成方法、拍照装置和终端、成像方法
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN109194855A (zh) 成像方法、装置和电子设备
KR20190041586A (ko) 복수의 이미지들을 합성하는 전자장치 및 방법
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
CN114820405A (zh) 图像融合方法、装置、设备及计算机可读存储介质
CN110958363B (zh) 图像处理方法及装置、计算机可读介质和电子设备
Lapray et al. Hdr-artist: High dynamic range advanced real-time imaging system
CN107295261A (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN107454328A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
Lapray et al. Smart camera design for realtime high dynamic range imaging
CN108881731A (zh) 全景拍摄方法、装置和成像设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination