CN105812675A - 基于亮度分布和运动之间的折中生成场景的hdr图像的方法 - Google Patents

Abstract

当在当前曝光(E_i)下已经捕捉到对场景成像的当前帧(f_i)时，所述方法包括：-将针对下一帧(f_i+1)的曝光(E_i+1)设置为所述当前曝光(E_i)、所述当前帧(f_i)的像素的颜色的第一亮度分布(Hfull_i)、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布(Hmotion_i)的函数，其中，与先前帧(f_i)相比较来针对这些像素评估所述运动，-在所设置的曝光(E_i+1)下捕捉所述下一帧(f_i+1)，-将所述下一帧(f_i+1)与至少所述当前帧(f_i)合并为HDR图像。

Description

基于亮度分布和运动之间的折中生成场景的HDR图像的方法

技术领域

本发明大致涉及高动态范围(HDR)数字成像，且具体地涉及由成像设备(例如，数码相机)确定并设置图像数据检测的曝光参数以产生场景的高动态范围(HDR)图像。

背景技术

动态范围是传感器或致动器可生成的最大可能信号和最小可能信号之间的比率。本文中使用的术语“动态范围”指代图像捕捉设备(例如，数码相机)的动态范围。

为了捕捉场景的HDR图像，通常由HDR图像捕捉设备在变化的曝光下捕捉该场景的多个帧。在该设备的传统设置中，通常对曝光进行分隔，以使得可覆盖该场景的整个照明分布。这样的过程被称为“包围曝光(exposurebracketing)”。现代的相机允许捕捉3到9个包围曝光，该3到9个包围曝光可间隔1/3个光圈刻度(f-stop)到3个光圈刻度，其中，1个光圈刻度是一个对数单位。光圈刻度是相机镜头的焦距与该镜头的入射光瞳的直径的比率。为了根据这些具有不同曝光的帧创建HDR图像，通过以自身已知的方式将每个曝光的良好曝光部分进行组合来对曝光序列进行合并。一般而言，根据曝光的曝光时间来对曝光进行缩放(scale)，且每个帧的每个像素取决于其光强度接收加权因子：越靠近范围的中间的像素接收越高的加权，因为它们更可能描绘有用信息。例如参见：PradeepSen、NimaKhademiKalantari、MaziarYaesoubi、SoheilDarabi、DanB.Goldman以及EliShechtman的Robustpatch-basedHDRreconstructionofdynamicscenes(ACMTransactionsonGraphics，31(6)：203：1-203：11，2012)。

通常，用于构建HDR图像的不同帧的曝光是均匀分隔的。因为曝光的均匀分隔，这些解决方案具有多个缺点。首先，可能捕捉到过多的曝光，每个曝光复制了相邻曝光的很多内容。其次，如果曝光间隔得更远，所产生的HDR图像在暗区可能遭受到过多的噪声。

在题为“Meteringforexposurestacks”的文章(OrazioGallo等于2012年在ComputerGraphicsForum中发表，第31卷，479-488页(Wiley在线图书馆))中，在捕捉使用来构建HDR图像的该组曝光之前，算法使用低分辨率曝光来估计场景的HDR直方图。基于该直方图测试所有的曝光组合，以决定对于HDR捕捉而言哪个组合对场景是最优的。为了对曝光的选择和放置进行引导，还考虑噪声特性，以使得最终的选择最小化噪声。然后使用这些设置来捕捉该一系列的曝光。由于该方案是设计来捕捉单个HDR图像的，其具有以下缺点：

-没有考虑运动；

-对于视频而言不实际，因为视频要求构建全HDR直方图。这可能导致过多的丢失帧，且因此最终结果可能是低帧率。

相同的结论适用于文档US7382931和US8582001。

在将这样的HDR处理应用于视频捕捉时，使用不同曝光设置来连续地捕捉交替的帧：这样的处理被称为“时间包围(temporalbracketing)”。然而，因为场景中的一些对象可能在捕捉用来构建视频的每幅HDR图像的连续曝光期间移动(或相机可能移动)，且因为这些不同的曝光在不同时间捕捉场景，这些曝光的合并可能产生运动伪像。此外，因为HDR图像的频率是视频图像捕捉设备所允许的帧频率的划分，该HDR频率可能过低以至于不能避免运动模糊。

因此，存在对高动态范围与敏锐的运动捕捉之间的折中的需要。

发明内容

本发明的目标是这样的折中。

本发明的主旨是一种生成场景的HDR图像的方法，其中，已在当前曝光下捕捉到对所述场景成像的当前帧，以及已在所述当前帧之前捕捉到对所述场景成像的先前帧，所述方法包括：

-将针对下一帧的曝光设置为所述当前曝光、所述当前帧的像素的颜色的第一亮度分布、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布的函数，其中，与所述先前帧相比较来针对这些像素评估所述运动，

-在所设置的曝光下捕捉所述下一帧，

-将所述下一帧与至少所述当前帧合并为HDR图像。

所述帧(即，先前帧、当前帧和下一帧)中的每个帧在不同时刻对所述场景成像。这些先前帧、当前帧和下一帧可以是连续捕捉到的帧(即，在其之间没有其他帧)，或可以是非连续捕捉到的帧(即，在其之间存在其他帧)。

所述运动区域可涉及所述当前帧的没有结合在一起的不同部分。作为对与先前帧的比较的补充，针对这些像素对该运动的评估还可以考虑其他参数。

为了在进行中(onthefly)确定要被合并以得到场景的HDR图像的不同帧的最优曝光设置，所提议的图像/帧捕捉方法有利地考虑该场景的动态范围和该场景中的运动二者。该方法逐帧地动态改变曝光，不仅与现有技术中一样根据场景中的亮度值的分布，还根据在该场景中检测到的运动。该方法有利地利用了局部和全局运动数据以及亮度直方图信息来决定针对给定场景在不产生运动伪像的情况下可能有多少曝光。

与使用预定参数来定义用于生成HDR图像的连续帧的曝光不同，本发明定义在捕捉当前帧之后紧接着的针对下一帧的曝光。

作为第二优点，本发明不降低帧率，因为在序列中生成的HDR图像的数目将会与用于生成这些HDR图像的帧的数目几乎相同。例如，如果场景存在具有极其不同的亮度等级的两个截然不同的区域，该方法将会把曝光与这些等级中的每个等级对准，但将会把曝光进一步间隔开，使得最小化或消除它们之间的重叠，还取决于此，将合并算法应用于后期处理。同样地，如果将暗的对象移动到亮的背景前(或反之)，将会围绕移动对象的强度等级来间隔曝光，使得可充分捕捉到其运动。在亮背景区域(或反之)中，该方法将会依靠空间间隔更远的帧，其中，暗(亮)区域中的运动并不强，且允许捕捉全场景的动态范围。因此，虽然向具有运动的区域给予了优先级，如果运动在相邻帧之一中降低，本方法可有利地针对每幅生成的LDR图像重构全场景范围。如果没有降低，与单LDR图像相比，本发明仍然扩展了范围。

优选地，针对当前帧的至少一个像素，所述运动不存在。这意味着该帧实际包括不运动的区域。更一般地，这意味着与先前帧中对应像素相比较来评估当前帧的像素的运动将导致不同的运动值，特别是不同的运动幅度值，特别是包括零。

优选地，将所述针对下一帧的曝光被设置为还是针对所述当前帧的曝光改变优选方向的函数。

优选地，所述方法包括确定针对所述下一帧之后的帧的曝光改变优选方向。

优选地，针对下一帧的曝光的所述设置包括：基于所述第一亮度分布但不基于所述第二亮度分布来估计初始曝光，基于所述第二亮度分布来估计调整曝光，以及对所述针对下一帧的曝光进行最终估计，所述最终估计适于在所述初始曝光和所述调整曝光之间进行选择来作为所述针对下一帧的曝光的值。

本发明的主旨还是一种HDR图像捕捉设备，包括帧传感器和处理器，所述帧传感器被配置为捕捉对场景成像的连续帧，特别是捕捉先前帧和当前曝光下的当前帧，所述处理器被配置为：

-将针对下一帧的曝光设置为所述当前曝光、所述当前帧的像素的颜色的第一亮度分布、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布的函数，其中，与所述先前帧相比较来针对这些像素评估所述运动，

-触发由所述帧传感器在所设置的曝光下捕捉所述下一帧，

-将所述下一帧与至少所述当前帧合并为HDR图像。

附图说明

在阅读通过非限制示例的方式给出并参考附图的描述时，将会更容易理解本发明，在附图中：

图1是根据本发明的主要实施例的视频图像捕捉设备的简化框图；

图2是示出根据本发明的主要实施例的使用图1的视频图像捕捉设备生成场景的HDR图像的方法的图；

图3是当针对下一帧的曝光改变方向是“向上”时该主要实施例中使用的决策树，用于实现针对之后帧的曝光最终估计步骤和针对之后帧的曝光改变方向确定步骤；

图4是当针对下一帧的曝光改变方向是“向下”时该主要实施例中使用的决策树，用于实现针对之后帧的曝光最终估计步骤和针对之后帧的曝光改变方向确定步骤；

图5示出了根据主要实施例的图2上示出的方法的迭代的当前帧f_i中的亮度值Z的直方图；

图6示出了与图5相同的亮度值Z直方图，其中，虚线中是累积的直方图。

具体实施方式

本领域技术人员将会意识到，本文中呈现的任何流程图、图表等表示体现本发明的示意性电路的概念性视图。其可在计算机可读介质中实质性地表示并因此由计算机或处理器来执行，而不管这样的计算机或处理器是否被显式地示出。

根据本发明的主要实施例，图1描绘了视频图像捕捉设备(且更具体地，数字视频相机)的简化框图。数字视频相机100包括帧传感器110。帧传感器110可涉及被配置为捕捉场景的图像或帧的光学镜头和光检测电路(例如，CMOS集成电路等)的组合。该帧传感器110由相机响应函数(CRF)以自身已知的方式来表征，该CRF得到亮度值并返回亮度值。该CRF可被视为逆伽马(inversegamma)。其功能是将图像针对传感器的非线性进行线性化。

可经由总线向处理器120提供帧传感器110检测到的图像数据，以作为捕捉到的帧数据。捕捉到的帧数据包括与帧的不同像素有关的颜色数据。

可使用集成电路微处理器、微控制器、数字信号处理器和一般的处理器之一来实现处理器120。处理器120可被配置为基于例如存储器130中以处理器可执行指令的形式存储的特定图像处理算法来处理接收到的帧数据。处理器120还被配置为通过总线的方式向帧传感器110提供曝光值，以例如允许该帧传感器110在这样的曝光值之下捕捉帧。

可将已处理数据(例如，处理器120生成的HDR图像数据)存储在存储器130中或提供给显示器140以进行查看。应该理解的是，存储器可涉及不同存储器存储设备的任何组合，例如，硬盘驱动器、随机存取存储器(RAM)、只读存储器(ROM)、闪存、或任何其他类型的易失性和/或非易失性存储器。还应该理解的是，可将存储器130实现为多个或离散的存储器，该多个或离散的存储器用于存储已处理图像数据或用来处理捕捉到的图像数据的处理器可执行指令。此外，存储器130可包括用于存储图像数据的可移除存储器，例如，闪存。

显示器140可涉及并入数码相机100的液晶显示器(LCD)，用于显示HDR图像数据和捕捉到的图像数据。备选地，应该理解的是，可将外部显示设备耦接到数码相机100以显示和/或输出HDR图像数据。虽然以上已关于数码相机描述了图1，应该理解的是，设备可涉及其他设备，例如，一般的成像设备。

虽然已经将图1的视频图像捕捉设备描述为数字视频相机，还应该理解的是，该设备可涉及其他设备或包括在其他设备中，例如，一般的移动通信设备和便携式通信设备。

现在参考图2，方法的非限制实施例被描绘为在图1的视频图像捕捉设备所生成的视频序列中生成场景的至少一幅HDR图像。本文中使用的“场景”可涉及该设备的用户想要进行捕捉的区域，且可包括在各种照明等级下照亮的一个或多个对象，其中，这些对象中的一个或多个可在设备捕捉连续帧期间移动。如下面将要更详细地讨论的，对照明范围和这些对象的移动的确定可提供用于捕捉连续帧的一个或多个曝光参数。

在下面的描述中，术语“过曝像素”涉及捕捉到的帧的如下像素：针对这些像素，与这些像素相关联的颜色数据对应于超过预定过曝颜色数据阈值t_high的值。在该过曝阈值是颜色数据的最大值时，颜色被认为是饱和的。一般而言，该最大过曝颜色数据阈值低于该最大界限。可在使用来表示颜色的每个颜色通道R、G和B中定义这样的过曝阈值，且因此将R、G和B视为颜色数据。在另一示例中，该过曝颜色数据阈值被定义为过曝亮度阈值，且亮度L被计算为值R、G和B的加权和。仍在更加性能敏感(例如移动电话)的另一示例中，将使用绿色通道来作为亮度的“代理”。类似地，术语“欠曝像素”涉及捕捉到的帧的如下像素：针对这些像素，与这些像素相关联的颜色数据对应于低于预定欠曝颜色数据阈值t_low的值。一般而言，该欠曝颜色数据阈值大于零，虽然其可以等于零。

为了发起根据该非限制实施例的方法，使用帧传感器110，在曝光E₀下捕捉第一帧f₀，且在曝光E₁下捕捉第二帧f₁。使用适于根据该两个初始帧的合并生成场景的第一HDR图像的任何已知自动曝光算法，将曝光E₀和E₁设置为不同的值。因为过曝在视觉上比欠曝更差，优选地，将第二帧的曝光时间将要改变的方向dir_i+1＝1设置为“向下”(即，E₁＜E₀)，虽然其也可被设置为“向上”(即，E₁＞E₀)。该方向确定了与当前帧相比，是否以更长(“向上”)或更短(“向下”)的曝光来捕捉帧f_i+1＝1。特别使用图3和图4中示出的决策树，基于第一帧f₀和第二帧f₁的特性来计算第三帧f_i+2＝2的曝光时间优选将要改变的方向dir_i+2＝2。然后，将捕捉到的第一帧f₀和第二帧f₁以及它们的颜色数据和它们的曝光值E₁、E₂和针对第三帧f₂的曝光改变优选方向值dir_i+2传递给存储器130以进行存储或传递给处理器120以如下所述地处理。

针对下面两个帧的处理的第一迭代，其中，i＝1，第二帧f_i＝1被称为“当前帧”，第一帧f_i-1＝0被称为“先前帧”，第三帧f_i+1＝₂被称为“下一帧”，以及在“下一”帧之后的第四帧f_i+2＝₃被称为“之后帧”。由处理器120实现步骤1至6。然后，由传感器110实现步骤6，以在根据步骤1至6计算的曝光E_i+1下捕捉“下一帧”f_i+1。

在该第一迭代之后，以i＝2启动第二迭代。对于步骤1至6的另一迭代而言，帧f_i＝2变为“当前帧”，帧f_i-1＝₁变为“之前帧”，帧f_i+1＝3变为“下一帧”，以及帧f_i+2＝4变为“之后帧”，使得可在根据步骤1至6再次计算的曝光之下捕捉另一“下一帧”。随着i的值增加直至帧的序列捕捉结束，以此类推，根据该帧的序列，可在然后如下所述地生成场景的HDR图像。

现在将描述这些迭代中的每个迭代的不同步骤。呈现顺序不是一定表示执行这些步骤的顺序。

步骤1-针对当前帧f_i的亮度直方图计算，没有考虑运动：

根据当前帧f_i(即，捕捉到的最近的帧)的所有像素的颜色的亮度值来通过自身已知的方式计算亮度直方图Hfull_i。该计算不考虑像素的运动。

步骤2-计算当前帧f_i的运动区M_i，以及根据第一变型，确定当前帧f_i的运动区域MR_i：

根据运动区来提供与当前帧f_i具有相同尺寸的运动幅度图M_i，其中，该图M_i的每个像素具有运动幅度值，运动区是根据当前帧f_i与之前帧f_i-1之间的移动比较通过自身已知的方式计算的。像素的运动幅度表示从之前帧f_i-1到当前帧f_i，该像素行进的距离。优选地，将运动幅度值归一化到0(未运动)到1(当前帧的最大运动)之间。例如使用在题为“areal-timemulti-dspmotionestimatorformpeg-4h.264avchighdefinitionvideoencoding”的文章中公开的运动估计方法来计算该运动区，该文章由FabriceUrban等于2009年发表在JournalofReal-TimeImageProcessing(4(1)，第23-31页)中。

在将超过零的运动幅度阈值进行固定的第一变型中，该运动幅度图M_i的具有超过该阈值的运动幅度值的所有像素在当前帧f_i中形成运动区域MR_i。下面在步骤3中呈现不具有运动幅度阈值的第二变型。

步骤3-考虑到当前帧f_i的运动的亮度直方图计算：

优选地但不是必须地使用与上述步骤1相同的方法，计算属于步骤1中确定的运动区域MR_i的像素的颜色的亮度直方图，称为Hmotion_i。这意味着针对该亮度直方图Hmotion_i仅考虑属于运动区域MR_i的像素。

在步骤1中没有定义运动幅度阈值的第二变型中，由当前帧f_i的每个像素的运动幅度来对该像素的亮度值进行加权，该每个像素的运动幅度是根据上述步骤1中确定的运动幅度图M_i而获得的。在亮度值的该加权之后，针对该第二变型，执行对加权亮度直方图(也称为Hmotion_i)的计算。

在上述两种变型中，通过该计算获得的亮度分布Hmotion_i基于由对应像素的运动加权的颜色数据，其中，与先前帧f_i-1相比较来评估该运动。在第一变型中，在向其他像素给出权重值0时，向属于运动区域的像素给出权重值1。

在该阶段，具有两个亮度直方图：

-Hfull_i，针对图像中的所有像素。

-Hmotion_i，其仅考虑具有非零运动权重的像素，其在然后被视为是运动区域MR_i的一部分。

这意味着在Hmotion_i中计数的像素也在Hfull_i中计数。

在本实施例的另一变型中，可以通过计算图像中不是运动区域MR_i的一部分的所有像素的单独直方图来避免对像素的该双重计数。该直方图将会被称为Hglobal_i。

假设直方图Hfull_i由N_full个条(bin)组成，直方图Hmotion_i由N_motion个条组成，以及直方图Hglobal_i由N_global个条组成。

针对上述三个直方图Hfull_i、Hmotion_i和Hglobal_i中的每一个，还如下计算三个其他累积直方图：

${\mathrm{Cfull}}_i\left(m\right)=\underset{k=0}{\overset{m}{\Σ}}{\mathrm{Hfull}}_i\left(k\right)$

${\mathrm{Cmotion}}_i\left(m\right)=\underset{k=0}{\overset{m}{\Σ}}{\mathrm{Hmotion}}_i\left(k\right)$

${\mathrm{Cglobal}}_i\left(m\right)=\underset{k=0}{\overset{m}{\Σ}}{\mathrm{Hglobal}}_i\left(k\right)$

根据上述三个直方图Hfull_i、Hmotion_i和Hglobal_i中的每一个，还如下计算三个倒转(reverse)的累积直方图：

${\mathrm{Cfull}}_i^r\left(m\right)=\underset{k=N_{full}-1}{\overset{N_{full}-m-1}{\Σ}}{\mathrm{Hfull}}_i\left(k\right)$

${\mathrm{Cmotion}}_i^r\left(m\right)=\underset{k=N_{motion}-1}{\overset{N_{motion}-m-1}{\Σ}}{\mathrm{Hmotion}}_i\left(k\right)$

${\mathrm{Cglobal}}_i^r\left(m\right)=\underset{k=N_{global}-1}{\overset{N_{global}-m-1}{\Σ}}{\mathrm{Hglobal}}_i\left(k\right)$

将在下面的子步骤4.2和4.3中使用这些累积直方图。

步骤4-针对下一帧f_i+1的曝光E_i+1的估计：

为了估计针对下一帧f_i+1的曝光E_i+1，特别需要由先前的迭代(或由初始化步骤)提供的当前帧f_i的曝光值以及曝光改变优选方向dir_i+1的值。

总共存在三种可能情况：

a.当前帧f_i的曝光E_i已经捕捉到整个场景曝光范围，在该情况下，E_i+1←E_i且dir_i+2＝down(因为有效地恢复到初始化条件)。为了测试当前曝光E_i是否充分捕捉场景的动态范围，采用全图像直方图Hfull_i的该N_full个条中的第一个条和最后一个条。对于条的总数是N_full的直方图而言，针对条阈值h来测试条值Hfull_i(0)和Hfull_i(N_full-1)。该阈值的值(其通常对于所有帧是公共的)通常是帧中像素的总数的较小百分数(例如，1％)，然而也可以选择为零。如果满足以下条件，可认为当前帧捕捉场景的动态范围：

Hfull_i(0)＜hANDHfull_i(N_full-1)＜h

b.可找到满足两个条件的曝光设置E_i+1：

-f_i+1与f_i具有充分重叠

-f_i+1正捕捉足够的有用像素

c.不存在这样的曝光E_i+1，例如因为场景辐射分布是双模态的且曝光E_i在两个模态的中间，在该情况下，选择在给定的曝光改变方向上可以选择的最大曝光步长，同时在两个可能的曝光改变方向之一上保持足够的曝光重叠。

图3和图4上示出的决策树的导致估计针对下一帧f_i+1的曝光E_i+1的主要的框涉及两个先前的估计，即针对下一帧f_i+1的初始曝光Einit_i+1的估计，以及针对下一帧f_i+1的调整曝光Eadj_i+1的估计。在下面的子步骤中描述了这些估计。

子步骤4.1-针对下一帧f_i+1的初始曝光Einit_i+1的估计：

通过以下方式来计算针对下一帧的初始曝光设置Einit_i+1：仅使用步骤1中提供的Hfull_i，且在方向dir_i+1上改变曝光，其中，方向dir_i+1是已根据针对dir_i+2的计算在下面的步骤5中描述的相同过程来从先前的迭代(或初始化步骤)中计算的。

计算针对当前帧f_i与欠曝颜色数据阈值t_low相对应的缺省低阈值亮度值Z_low，i，且计算与过曝颜色数据阈值t_high相对应的缺省高阈值亮度值Z_high，i。阈值t_low和t_high定义在相对比例(scale)上哪个亮度范围在帧中是有用的。阈值t_low和t_high的值通常对于要捕捉的序列的所有帧而言是公共的。如果帧传感器110被配置为捕捉8比特帧，例如使t_low＝0.2和t_high＝0.9。因此，针对这样的计算，如果使t_low＝0.2，则Z_low，i＝t_lowx255＝51，且如果使t_high＝0.9，则Z_high，i＝t_highx255＝230。

如下所示，为了计算Einit_i+1，如果dir_i+1＝up，考虑欠曝颜色数据阈值t_low，且如果dir_i+1＝down，考虑过曝颜色数据阈值t_high。

知道帧传感器110的相机响应函数CRF(参见以上所述)和当前帧f_i的曝光时间E_i，现在如下计算与该帧的缺省阈值亮度值Z_low，i或Z_high，i相对应的该帧的场景辐射值：

$I\left(Z_{low,i}\right)=\frac{{\mathrm{CRF}}^{-1}\left(Z_{low,i}\right)}{E_i}---\left(3\right)$

$I\left(Z_{high,i}\right)=\frac{{\mathrm{CRF}}^{-1}\left(Z_{high,i}\right)}{E_i}---\left(3^{,}\right)$

其中，CRF^-1是相机响应函数CRF的反函数。

图5示出了当前帧f_i中亮度值Z的分布(例如，在8比特编码中，0至255)。该分布仅对应于Hfull_i。Y轴对应于像素计数，且X轴对应于像素值的颜色数据Z。I(Z)表示被捕捉为Z的场景辐射值。

为了计算dir_i+1＝up时的Einit_i+1，应该优选满足图5上示出的以下等式：

I(Z_low，i)＝I(Z_high，i+1)(4)

给定等式(3)和(4)，接着是

$I\left(Z_{high,i+1}\right)=\frac{{\mathrm{CRF}}^{-1}\left(Z_{low,i}\right)}{E_i}---\left(5\right)$

再次考虑相机响应函数CRF，可以基于与下一帧f_i+1对应的值来重新阐述等式(5)

$I\left(Z_{high,i+1}\right)=\frac{{\mathrm{CRF}}^{-1}\left(Z_{hihh,i+1}\right)}{{\mathrm{Einit}}_{i+1}}---\left(6\right)$

将(5)和(6)合并，给出

$\frac{{\mathrm{CRF}}^{-1}\left(Z_{low,i}\right)}{E_i}=\frac{{\mathrm{CRF}}^{-1}\left(Z_{high,i+1}\right)}{{\mathrm{Einit}}_{i+1}}---\left(7\right)$

等式(7)中唯一未知的是Einit_i+1，因此，可以对其求解，根据下式获得针对下一帧f_i+1的初始曝光设置：

${\mathrm{Einit}}_{i+1}=\frac{{\mathrm{CRF}}^{-1}\left(Z_{high,i+1}\right)}{{\mathrm{CRF}}^{-1}\left(Z_{low,i}\right)}{E}_i---\left(8\right)$

简言之，可以计算对下一帧f_i+1的曝光Einit_i+1的估计，使得针对当前帧f_i和下一帧f_i+1中的特定颜色值，捕捉到相同的场景辐射。对Einit_i+1的该选择确保了在当前帧f_i和下一帧f_i+1中的曝光范围之间存在足够的曝光重叠，且确保了下一帧捕捉到足够数目的在当前帧中欠曝或过曝的像素(即，上述情况4b)。

类似地，仍参考图5上示出的亮度值分布，为了计算dir_i+1＝down时的Einit_i+1，根据下面的等式8’来估计下一帧f_i+1的初始曝光Einit_i+1：

${\mathrm{Einit}}_{i+1}=\frac{{\mathrm{CRF}}^{-1}\left(Z_{low,i+1}\right)}{{\mathrm{CRF}}^{-1}\left(Z_{high,i}\right)}{E}_i---\left(8^{,}\right)$

本发明不限于如上所述地计算Einit_i+1。可使用在不考虑运动的情况下构建HDR图像的其他已知方法，特别是不仅如上所述使用位于亮度直方图上的阈值Z_low和Z_high的方法，而且使用该直方图的形状的方法。例如参见US7382931。

子步骤4.2-针对下一帧f_i+1的调整曝光Eadj_i+1的估计：

针对这样的估计，将优选考虑在不同情况下有多少当前帧f_i的像素具有过曝或欠曝的颜色，并相应地调整针对下一帧f_i+1的曝光。

为了确定下一帧f_i+1可接受的过曝/欠曝像素的数目，优选考虑有多少像素受到当前帧f_i中局部或全局运动的影响以及是否正在测量当前帧f_i中的过曝或欠曝曝光。这些情况中的每一情况导致针对以下阈值的不同值：运动区域MR_i内过曝/欠曝像素的百分数的阈值thr_motion，以及整个帧f_i中过曝/欠曝像素的百分数的阈值thr_full(或针对未在运动区域MR_i中的像素，过曝/欠曝像素的百分数的阈值thr_global)。下面将会使用这两个阈值thr_motion和thr_full(或thr_global)来确定下一帧f_i+1与当前帧f_i应该优选有多大的亮度重叠。

现在将详细描述针对当前帧f_i对像素thr_motion的估计。

根据上述步骤2中提供的运动幅度图M_i，针对每个像素位置x，如下设置局部运动指数LM_i：

然后，针对当前帧f_i获得局部运动图。

此外，如下计算在当前帧f_i中具有局部运动的像素的百分数：

$A_i=\frac{no.ofpixelsin{\mathrm{MR}}_i>0}{no.ofpixelsin{f}_i}---\left(2\right)$

经验性地将具有局部运动的像素的最小百分数的值A_min和具有局部运动的像素的最大百分数的值A_max设置为例如A_min＝0.1％且A_max＝1％。一般而言，这些值对于序列的所有帧而言是公共的。为了确定运动区域MR_i如何与A_min和A_max有关，如下简单地对具有运动的像素进行计数。

参考下面的图1，如果具有局部运动的像素的百分数A_i低于A_min，则

-针对dir_i+1＝up时的过曝，设置hr_motion＝thr_over，min且

-针对dir_i+1＝down时的欠曝，设置thr_motion＝thr_under，min。

在表1的第一行提出了针对thr_over，min和thr_under，min的值。

如果具有局部运动的像素的百分数A_i高于A_max，则：

-针对dir_i+1＝up时的过曝，设置thr_motion＝thr_over，max且，

-针对dir_i+1＝down时的欠曝，设置thr_motion＝thr_under，max。

在表1的最后一行提出了针对thr_over，max和thr_under，max的值。

在第三种可能情况A_min＜A_i＜A_max中，内插(参见表1的中部)过曝/欠曝像素的百分数的阈值thr_motion的值，如下所示：

$dA=\frac{A-A_{min}}{A_{max}-A_{min}}---\left(8\right)$

如果dir_i+1＝up

thr_motion＝(thr_under，max-thr_under，min)dA+thr_under，min(9)

如果dir_i+1＝down

thr_motion＝(thr_over，max-thr_over，min)dA+thr_over，min(10)

表1

现在，将详细描述针对当前帧f_i对像素thr_full的估计(或根据第二实施例，thr_global)。

如果方向dir_i+1＝up，将阈值thr_full(或thr_global)设置为表2中给出的阈值thr_under，或如果方向dir_i+1＝down.，将阈值thr_full(或thr_global)设置为表2中给出的阈值thr_over。

表2

针对两个累积直方图重复该过程。

运动区域MRi内过曝/欠曝像素的百分数的阈值thr_motion的值是逐帧可变的(特别是当其是根据等式10计算的时)，并因此具体针对每个帧进行评估。该值将取决于帧中存在多少运动而改变。

在如上所述地获得针对当前帧f_i的运动区域MR_i的过曝/欠曝像素的百分数的阈值thr_motion以及针当前帧f_i的所有像素的thr_full(或针对不属于运动区域的像素的thr_global)的值时，选择上述累积直方图中的两个累积直方图以用于后续计算。如果优选针对下一帧增加曝光时间(即，dir_i+1＝up)，则优选地选择和在备选实施例中，可以选择和以避免对像素进行双重计数(如上所述)。

如果优选减小曝光时间(即，dir_i+1＝down)，则优选选择Cfull_i和Cmotion_i。在备选实施例中，可以选择Cglobal_i和Cmotion_i，以避免对像素进行双重计数(如上所述)。

该过程优选地选择两个累积直方图，一个用于运动区域，且一个用于全图像或全图像减去运动区域MR_i。在上面也已确定两个对应阈值的值：以上根据等式9和10计算的thr_motion在下面对Cmotion_i(对应的)的计算中涉及，以及根据实施例的选择，取决于dir_i+1来根据表2设置的thr_full在下面对Cfull_i(对应的)或Cglobal_i(对应的)的计算中涉及。

图6示出了与图5相同的当前帧f_i中亮度/强度值Z的分布(例如，在8比特编码中，0至255)。在虚线形式的曲线上，图6还示出了对被捕捉为Z的场景辐射值进行表示的倒转累积分布.I(Z)。参考该图6，如下确定与上述阈值thr_full相对应的调整阈值亮度Z_{thr，full，i}：在虚线形式的累积直方图Cfull_i上(对应的)，找到y轴(即，像素计数)等于thr_full的点，且该点在x轴上的投影给出Z_{thr，full，i}的值。

在将该处理应用于累积直方图Cfull_i(对应的)或Cglobal_i(对应的)时，获得Z_{thr，full，i}的值。针对累积直方图Cmotion_i(对应的)重复该处理，以获得Z_{thr，motion，i}。

然后，仅在以下情况下将最终的调整阈值亮度值Z_thr，i设置为Z_{thr，motion，i}：

C_motion，i(Z_{thr，motion，i})≤thr_motion

C_full，i(Z_{thr，motion，i})≤thr_full

备选地，仅在以下情况下将最终的调整阈值亮度值Z_thr，i设置为Z_{thr，full，i}：

C_motion，i(Z_{thr，full，i})≤thr_motion

C_full，i(Z_{thr，full，i})≤thr_full

一旦有了该调整阈值亮度值Z_thr，i，，通过与在等式3至7中估计上述Einit_i+1的相同方式估计针对下一帧f_i+1的调整曝光Eadj_i+1，其中，将Z_low，i替换为Z_thr，i，且将Einit_i+1替换为Eadj_i+1。

子步骤4.3-针对下一帧f_i+1的曝光E_i+1的最终估计：

如果dir_i+1＝up，遵循图3上示出的决策树，以获得针对下一帧f_i+1的曝光E_i+1的最终估计。如果dir_i+1＝down，遵循图4上示出的决策树，以获得针对下一帧f_i+1的曝光E_i+1的最终估计。根据这些决策树，结论是E_i+1＝Einit_i+1或E_i+1＝Eadj_i+1。要注意到，这些决策树考虑到当前帧f_i的曝光Ei。

步骤5-确定针对之后帧f_i+2的曝光改变优选方向：

该方向dir_i+2确定是应该利用与针对“下一”帧f_i+1的曝光E_i+1相比更长(“向上”)还是更短(“向下”)的曝光时间来捕捉“之后”帧f_i+2。根据与针对子步骤4.3使用的决策树相同的决策树来确定在下一迭代时针对“之后”帧f_i+2的曝光应优选改变(向上或向下)的方向dir_i+2。再次参见图3和图4。

步骤6-捕捉下一帧f_i+1：

传感器110接收与处理器120在上述步骤4中调整的曝光E_i+1有关的数据。然后，传感器在该曝光E_i+1下捕捉下一帧f_i+1。然后，向存储器130传递与该捕捉到的帧f_i+1有关的图像数据，以进行存储。

步骤1至6的连续迭代

在上述步骤1至6的第一迭代之后，类似地执行步骤1至6的其他连续迭代，直至捕捉结束。

逐迭代地，将在相应曝光E₀、E₁、E₂、...，E_i-1、E_i、E_i+1、...、E_Q-1下对同一场景成像的连续帧f₀、f₁、f₂、...、f_i-1、f_i、f_i+1、...、f_Q-1存储在存储器130中，其中，Q是序列的总帧数。

后期处理：生成场景的HDR图像的序列

在如上所述捕捉到Q帧之后，由处理器120应用后期处理步骤，使得可将这些帧分组为具有不同曝光的连续帧的系列，并通过自身已知的方式将每个系列的帧合并为场景的HDR图像。优选地，每个系列包括两个连续帧，且每个帧属于两个系列，使得第一系列的第二帧是第一系列之后的第二系列的第一帧。

优选使用NimaKhademiKalantari等所著的题为“Patch-basedhighdynamicrangevideo”的文章中描述的方法来执行通过合并系列的帧对每幅HDR图像的生成，该文章于2013年发表在ACMTrans.Graph.上(32(6)，第202页)。

因而获得场景的HDR图像的视频序列。

在变型中，只要可从存储器130获得与这些帧有关的图像数据，就可执行如上所述的根据连续帧来生成HDR图像。

本发明的优点

根据本发明的方法具有以下优点：

-在所生成的HDR视频序列中最小化运动伪像，同时最大化这些序列的动态范围；

-在本发明的在线部分中(即，在上述步骤1至6的迭代中)捕捉到的几乎每个帧都在后期处理后产生HDR帧，消除了对生成HDR视频序列的其他方法中高帧速相机的需求；

-针对给定HDR图像捕捉最小必要数目的曝光，使得如果场景不需要很多曝光，将捕获捕捉这些曝光；

-针对具有有限处理能力的移动设备特别设计了该方法。

要理解的是，可通过各种硬件、软件、固件、专用处理器或其组合的形式来实现本发明。本发明可被特别实现为硬件和软件的组合。此外，可将软件实现为在程序存储单元上有形地体现的应用程序。可将应用程序上载到包括任何适合架构的机器，并由该机器执行。优选地，在具有硬件(例如，一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可包括操作系统和微指令代码。本文中描述的各种处理和功能可以是微指令代码的一部分，或者是应用程序的一部分，或者可以是其组合(可由CPU执行)。此外，可将各种其他外设单元连接到计算机平台，例如，附加数据存储单元和打印单元。

虽然关于具体示例和优选实施例描述了本发明，要理解的是，本发明不限于这些示例和实施例。对于本领域技术人员显而易见的是，要求保护的本发明因此包括本文中描述的具体示例和优选实施例的变型。虽然特定实施例中的一些可单独描述并要求保护，要理解的是，所描述和要求保护的实施例的各种特征可组合使用。权利要求中出现的附图标记仅是说明的方式，并且不应对权利要求的范围造成限制影响。

Claims (8)

1.一种生成场景的HDR图像的方法，其中，已在当前曝光(E_i)下捕捉到对所述场景成像的当前帧(f_i)，以及已在所述当前帧(f_i)之前捕捉到对所述场景成像的先前帧(f_i-1)，所述方法包括：

-将针对下一帧(f_i+1)的曝光(E_i+1)设置为所述当前曝光(E_i)、所述当前帧(f_i)的像素的颜色的第一亮度分布(Hfull_i)、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布(Hmotion_i)的函数，其中，与所述先前帧(f_i)相比较来针对这些像素评估所述运动，

-在所设置的曝光(E_i+1)下捕捉所述下一帧(f_i+1)，

-将所述下一帧(f_i+1)与至少所述当前帧(f_i)合并为HDR图像。

2.根据权利要求1所述的生成HDR图像的方法，其中，将所述针对下一帧(f_i+1)的曝光(E_i+1)设置为还是针对所述当前帧(f_i)的曝光改变优选方向(dir_i+1)的函数。

3.根据权利要求2所述的生成HDR图像的方法，包括：确定针对所述下一帧(f_i+1)之后的帧(f_i+2)的曝光改变优选方向(dir_i+2)。

4.根据权利要求1至3中任一项所述的生成HDR图像的方法，其中，针对下一帧(f_i+1)的曝光(E_i+1)的所述设置包括：基于所述第一亮度分布(Hfull_i)但不基于所述第二亮度分布(Hmotion_i)来估计初始曝光(Einit_i+1)，基于所述第二亮度分布(Hmotion_i)来估计调整曝光(Eadj_i+1)，以及对所述针对下一帧(f_i+1)的曝光(E_i+1)进行最终估计，所述最终估计适于在所述初始曝光(Einit_i+1)和所述调整曝光(Eadj_i+1)之间进行选择来作为所述针对下一帧(f_i+1)的曝光(E_i+1)的值。

5.一种HDR图像捕捉设备，包括帧传感器(110)和处理器，所述帧传感器(110)被配置为捕捉对场景成像的连续帧，特别是捕捉先前帧(f_i-1)和当前曝光(E_i)下的当前帧(f_i)，所述处理器被配置为：

-将针对下一帧(f_i+1)的曝光(E_i+1)设置为所述当前曝光(E_i)、所述当前帧(f_i)的像素的颜色的第一亮度分布(Hfull_i)、以及这些像素的颜色的由这些像素的运动加权的第二亮度分布(Hmotion_i)的函数，其中，与所述先前帧(f_i)相比较来针对这些像素评估所述运动，

-触发由所述帧传感器(110)在所设置的曝光(E_i+1)下捕捉所述下一帧(f_i+1)，

-将所述下一帧(f_i+1)与至少所述当前帧(f_i)合并为HDR图像。

6.根据权利要求5所述的HDR图像捕捉设备，其中，所述处理器还被配置为将所述针对下一帧(f_i+1)的曝光(E_i+1)设置为还是针对所述当前帧(f_i)的曝光改变优选方向(dir_i+1)的函数。

7.根据权利要求6所述的HDR图像捕捉设备，其中，所述处理器还被配置为确定针对所述下一帧(f_i+1)之后的帧(f_i+2)的曝光改变优选方向(dir_i+2)。

8.根据权利要求5至7中任一项所述的HDR图像捕捉设备，其中，所述处理器还被配置为使得针对下一帧(f_i+1)的曝光(E_i+1)的所述设置包括：基于所述第一亮度分布(Hfull_i)但不基于所述第二亮度分布(Hmotion_i)来估计初始曝光(Einit_i+1)，基于所述第二亮度分布(Hmotion_i)来估计调整曝光(Eadj_i+1)，以及对所述针对下一帧(d_i+1)的曝光(E_i+1)进行最终估计，所述最终估计适于在所述初始曝光(Einit_i+1)和所述调整曝光(Eadj_i+1)之间进行选择来作为所述针对下一帧(f_i+1)的曝光(E_i+1)的值。