CN117795970A - 用于处理像素数据的方法、相应的装置和程序 - Google Patents

Abstract

本发明涉及一种方法，所述方法用于从通过读取各自具有图像产生速率的至少两个图像传感器获得的多个标准动态范围图像生成称为HDR视频流的包括高动态范围图像的集合的视频流，每一传感器包括布置成矩阵的多个像素，且各自与光电转换元件相关联，所述光电转换元件用于将所接收光转换为电荷且在曝光时间内累积所述电荷，所述方法包括在涉及临时存储器区域管理的迭代操作模式中进行创建高动态范围图像的多次迭代，包括确定曝光时间、读取光学传感器，以及组合来自这些传感器的数据。

Description

用于处理像素数据的方法、相应的装置和程序

技术领域

本公开的领域是借助于例如移动通信终端、数码相机、相机、显微镜等捕获装置获取图像的领域。更具体来说，本公开涉及一种用于获取高动态范围(HDR)图像的方法。

其尤其(但不排除其它)在影院、视频监控、航空或陆路运输、非破坏性测试的领域，在医学领域，或者还在例如物理学、天文学等基础科学的领域适用。

背景技术

现有图像捕获装置的再现性能主要出于经济方面的原因受其窄动态范围的限制。因此，当呈静态图像或视频的形式的待捕获的场景具有强对比度时，由捕获装置再现的图像可能具有对应于场景的非常明亮的区域的其中图像的像素是饱和的曝光过度区域，以及黑暗区域，其具有极少或没有对应于场景的照明不足区域的可见细节。

为了解决此问题并从现有捕获装置生成称为HDR图像的高动态范围图像，常规技术在于，组合与不同曝光时间相关联的称为LDR(低动态范围)的多个传统图像。待再现的场景由同一捕获装置以不同曝光时间捕获多次：短曝光时间使得有可能不使图像的非常明亮的区域饱和，而长曝光时间使得有可能检测不太明亮的区域中的有用信号。所获得的各个LDR图像随后经处理以从其中的每一个提取图像的最佳表示部分，且这些各个部分组合以构建场景的HDR图像。公认的是，此用于生成HDR图像的方法在待执行的曝光的时间和数目方面代价高昂。因此，认为归因于其非“实时”性质，其也不适于生成HDR视频序列：处理时间将使得它们将无法实时再现HDR图像。

此外，还认为当待拍摄的场景包括移动元素时，移动元素可占据各个所捕获LDR图像中的不同位置，这可能导致在生成HDR图像期间出现假影。可在重建HDR图像之前校正这些重影效应，但以复杂且昂贵的电子处理为代价。例如Mustapha Bouderbane等在文章“用于实时HDR视频生成的重影假影移除(Ghost artifact removal for real-time HDRvideo generation)”(Compas'2016：并行性/架构/系统，法国洛里昂，2016年7月5-8日)中描述一种用于消除这些假影的算法。

然而，安装在图像捕获装置上的传感器的开发现使得它们有可能在“非破坏性读出(NDRO)”模式中操作。在此操作模式中，可读取由传感器的光电转换元件累积的电荷，而不必使其复位：因此在传感器的曝光时间期间有可能在传感器曝光的效应下通过允许电荷持续累积来实行像素的信号的多次读出。使得有可能在单个曝光时间期间实行与传感器的像素相关联的信号的多次读出的此非破坏性读出模式的使用提供一个在用于生成HDR图像的较早方法的时间开销问题和假影出现问题两个方面引起关注的解决方案。实际上，有可能从在同一曝光时间期间通过传感器的多次连续非破坏性读出获得的多个图像生成场景的高动态图像。

因此，专利文献US 7,868,938提出一种新的类型的图像捕获装置，其中第一读取器在破坏性读出模式中操作以在标准曝光时间结束时通过在每一读出之后使像素的信号复位来读取由传感器的光电转换元件累积的电荷，且第二读取器在非破坏性读出模式中操作以获得与各个短曝光时间(也就是说，短于标准曝光时间)相关联的多个NDRO图像。与短曝光时间相关联的各个NDRO图像用于预测由第一读取器获得的图像的某些像素是否将归因于在标准曝光时间期间待拍摄的场景的相应部分的曝光过度而饱和。如果情况如此，则生成HDR图像，其中由第一读取器在标准曝光时间内获得的图像的饱和像素被从与较短曝光时间相关联的NDRO图像提取的相应非饱和像素代替。此解决方案部分地解决了曝光问题，具体来说因为曝光过度像素可被较少曝光像素代替，且所获得的图像的动态范围略微扩展。但是，此方法需要过多的计算能力，不能校正曝光不足问题且特别是需要至少两次读出：一次为破坏性读出，其它为非破坏性读出。此外，假影存在的问题未得到解决。

为了具体地解决专利文献US 7,868,938的曝光不足问题，文献FR3062009A1提出一种技术，其将使得有可能生成在时间和计算能力两个方面成本较低且将具有自适应的优点的高动态范围图像。本文中，提出执行同一个传感器的多次非破坏性读出，且取决于质量准则采取用随后图像的像素替代当前图像的像素。此方法在动态范围宽度方面实际上更高效。另一方面，此方法不能实行流的实时再现，且尽管如此仍实施相对重要的资源，尤其是关于用于确定曝光时间的信噪比的计算。此外，此方法需要使用使得非破坏性读出成为可能的传感器，这是市场上未广泛可用且明显更昂贵的传感器。举例来说，实施于专利文献FR3062009A1中的方法需要使用依据新成像技术的NSC1201传感器，且因此经预留用于特定用途。

发明内容

本公开通过提出一种方法来满足此需求，所述方法用于从通过读取各自具有图像产生速率的至少两个图像传感器获得的多个标准动态范围图像生成包括高动态范围图像的集合的视频流(称为HDR视频流)，每一传感器包括布置成矩阵的多个像素，且各自与光电转换元件相关联，所述光电转换元件用于将所接收光转换为电荷且在曝光时间内累积所述电荷，所述方法包括在涉及临时存储器区域管理的迭代操作模式中进行创建高动态范围图像的多次迭代，包括确定曝光时间、读取光学传感器，以及组合来自这些传感器的数据。

更具体地说，提出一种方法，所述方法用于从通过读取各自具有图像产生速率的至少两个图像传感器获得的多个标准动态范围图像生成包括高动态范围图像的集合的视频流(称为HDR视频流)，每一传感器包括布置成矩阵的多个像素，且各自与光电转换元件相关联，所述光电转换元件用于将所接收光转换为电荷且在曝光时间内累积所述电荷。根据本公开，这类方法包括创建高动态范围图像的多次迭代，包括：

-确定至少三个传感器曝光时间，包括：短曝光时间TC、长曝光时间TL和中等曝光时间TI，使得TC<TI<TL；

-取决于所述至少三个传感器曝光时间，读取所述至少两个传感器中的传感器并递送至少三个连续图像的至少一次迭代；

-在至少三个专用存储器区域内保存所述至少三个连续图像，每一存储器区域专用于所述至少三个传感器曝光时间中的一个传感器曝光时间；

-依据从分别保存在所述至少三个专用存储器区域内的所述至少三个连续图像提取的信息生成高动态范围图像；

-将所述高动态范围图像添加到所述HDR视频流。

因此，使用减小数目的传感器，有可能有效地创建高质量HDR图像流，且这是通过保持用于产生所使用的传感器的图像的初始频率不变来实现的。

根据特定特征，所述确定所述至少三个传感器曝光时间包括取决于所述短曝光时间TC和所述长曝光时间TL确定中等曝光时间TI。

因此，对于每一图像，有可能快速分配令人满意的曝光时间来产生HDR流。

根据特定特征，计算短曝光时间，使得其在读取所述至少两个传感器中的传感器期间产生白色饱和像素的百分比小于预定阈值的标准动态范围图像。

根据特定特征，计算长曝光时间，使得其在读取所述至少两个传感器中的传感器期间产生黑色饱和像素的百分比小于预定阈值的标准动态范围图像。

根据特定特征，得到中等曝光时间为短曝光时间与长曝光时间的乘积的平方根。

根据特定特征，长曝光时间小于所述至少两个传感器中的至少一个所述传感器的图像产生速率。

因此，确保所产生的图像速率保持恒定，而与曝光时间无关。

根据特定特征，创建高动态范围图像的当前迭代的高动态范围图像的生成是依据从至少三个当前连续图像提取的信息实施的，与读取所述至少两个传感器中的传感器并递送创建高动态范围图像的随后迭代的至少三个连续图像的所述至少三次迭代同时实施。

根据特定特征，HDR流的图像速率至少等于所述至少两个图像传感器中的至少一个图像传感器的图像速率。

根据实施例的特定实例，本公开以一种装置或一种系统的形式呈现，所述装置或系统用于从通过读取各自具有图像产生速率的至少两个图像传感器获得的多个标准动态范围图像生成包括高动态范围图像的集合的视频流(称为HDR视频流)，每一传感器包括布置成矩阵的多个像素，且各自与光电转换元件相关联，所述光电转换元件用于将所接收光转换为电荷且在曝光时间内累积所述电荷，其特征在于，所述装置或系统包括计算单元，所述计算单元适于实施用于根据所描述的方法生成HDR视频流的方法的步骤。

根据优选实施方案，根据本公开的方法的各个步骤由一个或多个软件或计算机程序实施，所述软件或计算机程序包括软件指令，所述软件指令既定由根据本公开的执行装置的数据处理器执行，且被设计成在待由脚本型源代码和/或编译代码实行和确定的过程的分布范围内控制通信终端、电子执行装置和/或控制装置处实施的方法的各个步骤的执行。

因此，本公开的目标还为很可能由计算机或由数据处理器执行的程序，这些程序包含控制例如上文所提及的方法的步骤的执行的指令。

程序可以使用任何编程语言且可以呈源代码、目标代码或源代码与目标代码之间的字节代码的形式，例如部分编译形式或任何其它合乎需要的形式。

本公开的目标还为一种信息介质，其可由数据处理器读取，且包含例如上文所提及的程序的指令。

信息介质可以是任何能够存储程序的实体或装置。举例来说，所述介质可包含存储构件(例如ROM，比如CD ROM或微电子电路ROM)，或者还包含磁记录构件(例如移动介质(存储卡)或硬盘驱动器或SSD)。

另一方面，信息介质可以是例如电或光学信号等可传输介质，其可经由电缆或光缆通过无线电设备或通过其它构件路由。根据本公开的程序可具体地说下载于因特网型网络上。

或者，信息介质可以是其中并入程序的集成电路，所述电路适于执行或用于执行所讨论的方法。

根据一个实施例，本公开借助于软件和/或硬件组件实施。在此方面，术语“模块”在本文中可对应于软件组件以及对应于硬件组件或一组软件和硬件组件。

软件组件对应于一个或多个计算机程序、程序的一个或多个子程序，或更一般来说对应于程序或软件的能够根据下文针对所涉及模块描述的内容实施功能或一组功能的任何元素。此软件组件由物理实体的数据处理器(终端、服务器、网关、机顶盒、路由器等)执行，且可能访问此物理实体的硬件资源(存储器、记录介质、通信总线、输入/输出电子卡、用户接口等)。

以相同方式，硬件组件对应于硬件组合件的能够根据下文针对所关注的模块所描述的内容实施功能或一组功能的任何元素。此可涉及可经编程或具有用于执行软件的集成处理器的硬件组件，所述集成处理器例如集成电路、芯片卡、存储卡、用于执行固件的电子卡等。

上文描述的系统的每一组件当然都实施其自身的软件模块。

上文所提及的实施方案的各个实例可彼此组合以用于实施本公开。

附图说明

在阅读给定为仅说明性而非限制性实例的实施例的优选实例的以下描述后，且根据附图，将更清楚地呈现本公开的其它特征和优点，附图中：

-[图1]图1示意性地描述所实施的方法；

-[图2]图2描述用于处理来自传感器的像素数据以产生具有等效于SDR传感器的速率的速率的HDR流的两个情形；

-[图3]图3示出能够实施本公开的方法主题的装置的架构；

-[图4]图4示出与本公开的方法主题同时的实施方案。

具体实施方式

如上文所公开，本公开的用于产生HDR视频流的方法包括从至少三个SDR视频流组合构成这些SDR流的图像。实际上，因为SDR相机不能够捕获场景的整个动态范围，所以其不可避免地损失照明不足(黑色饱和像素)和高度照明(白色饱和像素)区域中的细节。如此获取的数据因而较难由人工视觉应用使用。因此，明显需要扩展动态范围相机，其可在各种应用领域(例如，视频监控、自主交通工具或工业视觉)中以比现有解决方案低的成本使用且可实时产生HDR流。

由发明人开发的方法旨在解决此问题。其更具体地说基于标准便宜的传感器的使用，且基于适于用于暂时存储来自这些传感器的像素数据的存储器的管理的实施，此存储器充当实时获取与产生(也是实时的)之间的同步枢纽。更具体地说，根据本公开，同时使用至少两个传感器，这两个传感器使得有可能同时生成两个图像，所述两个图像保存在包括至少三个存储位置的临时存储空间内。根据本公开，至少以用于生成来自传感器的图像的速度实行图像的生成及其在临时存储空间内的保存。但更具体来说，所述多个传感器安装在多个相机内(一个相机内一个传感器)。根据本公开，这些相机例如全部是相同类型。相机例如被配置成以60个图像/秒产生图像流。尽管如此，由相机产生的每一图像在读取传感器之前通过破坏性读出在最大时间(即，积分时间)内曝光。当相机被配置成以30个图像/秒产生图像流时，由相机产生的每一图像在读取传感器之前通过破坏性读出在最大时间(即，积分时间)内曝光。因此，周期T＝1/60秒包括加上传感器读出时间的积分时间，以及可能的等待时间。积分时间与场景的亮度直接相关，且可小于针对足够明亮场景的毫秒。读出时间与传感器的读出电路的技术相关。在周期T＝1/60秒内实行读出。当积分时间足够短时，则发生＜1/60秒的集成和读出时间与等待时间的相加(最大达到1/60秒)。如果积分时间太长，则需要将读出速度减小到例如1/30秒以便不会截断获取。因此，最后，传感器可具有1/60秒的速度，且因此，为了保持所述速率，积分时间在0到(1/60秒-read_out_time)之间。相同逻辑适用于处于1/30秒的传感器。

无关于图像产生速度，后者决定每一图像产生之前的最大曝光时间。因为所提议方法的一个目标是递送以与相机的速度相同的速度产生的HDR流，因此有必要以由相机产生图像的速度产生HDR图像：图像的最大曝光时间因此小于用于由传感器产生这些图像的速度。如下文所描述，每一图像的曝光时间贯穿方法的执行被配置成用于产生HDR流以确保后者符合与每一图像相关的所需的曝光时间。

所实施的方法如图1所示。所述方法包括创建高动态范围图像的多个总体迭代，包括：

-确定(D1)至少三个传感器曝光时间，包括：短曝光时间TC、长曝光时间TL和中等曝光时间TI，使得TC<TI<TL；

-取决于所述至少三个传感器曝光时间(TC、TI、TL)，读取(D2)所述至少两个传感器中的传感器并递送至少三个连续图像(IC、II、IL)的至少一次迭代；此步骤(D2)的迭代数目取决于可用传感器的数目：两个传感器用于三个图像意味着至少两次迭代，三个传感器用于三个图像意味着每一传感器一次迭代；下文阐释其它配置；

-在至少三个专用存储器区域(ZM#1、ZM#2、ZM#3)内保存(D3)所述至少三个连续图像(IC、II、IL)，每一存储器区域专用于所述至少三个传感器曝光时间中的一个传感器曝光时间；

-依据从分别保存在所述至少三个专用存储器区域(ZM#1、ZM#2、ZM#3)内的所述至少三个连续图像(IC、II、IL)提取的信息生成(D4)高动态范围图像；

-将所述高动态范围图像添加(D5)到所述HDR视频流。

可实施所述方法使得所述方法经实施使得在任何时刻，短时间获取的图像(IC)、中等时间获取的图像(II)和长时间获取的图像(IL)分别存在于所述至少三个专用存储器区域(ZM#1、ZM#2、ZM#3)内。所述方法可借助于同时操作的两个过程实施：产生过程，包括步骤D1到D3的迭代，其确保专用存储器区域中图像的连续产生；以及流生成过程，其无差别地且连续地使用专用于实施步骤D4和D5的迭代的存储器区域中存在的图像。还可例如通过在步骤D2中执行不同数目的迭代来设想其它可能的实施方案：可仅实行两次捕获(每一传感器一次捕获)，而不是三次迭代，从而使得有可能填充对应于所述两次捕获中的每一次的存储器区域(例如ZM#1、ZM#2)，接着对于随后的总体迭代，同样仅执行两次捕获，从而使得有可能填充对应于所述两次捕获中的每一次的存储器区域(例如ZM#2、ZM#3)。具体来说，还可取决于可用相机的数目设想其它的实施方案，如下文中所解释。

更具体地说，当产生图像时实时执行所获取图像的组合。用于实施此组合技术的系统包括至少两个相机，每一相机装备有能够以给定速度和分辨率捕获场景的传感器。所述系统包括处理单元，其被配置成从这至少两个相机提取所述至少三个SDR视频流。处理单元还包括既定接收至少三个不同图像的至少三个存储器区域，每一图像来自所述三个SDR视频流中的一个。处理单元实行所述三个不同存储器区域的三个图像的组合以从所述三个存储器区域的所述三个SDR图像产生HDR图像。所述三个不同存储器区域中保存的所述三个图像中的每一个来自相机传感器的不同曝光时间。举例来说，当使用两个相机时，获得第一图像I1持续曝光时间d1，获得第一图像I2持续曝光时间d2，且获得第三图像I3持续曝光时间d3，使得d1<d2<d3。根据本公开，确保d3小于相机的图像产生速率。举例来说，如果相机产生60个图像/秒，则确保：

此外，还确保，在两个相机及因此两个传感器的此使用案例中，此第二条件使得有可能确保有可能以至少两个相机产生三个图像，所述三个图像至多以相机的图像产生速度产生。

因此，使用两个(至少)标准相机(非HDR)，所提议的产生方法使得有可能从待捕获的同一场景获得至少三个图像且提供三个流，实时处理所述三个流以提供单个HDR视频流。当然，两个相机可能的情况对于三个或更多个相机也是可能的，如下文所描述。所提议方法的原理是，在每一时刻，在所述三个存储器区域内具有图像(每存储器区域一个图像)，这三个图像中的每一个已经以不同曝光时间捕获(“短”时间、“长”时间和“中等”时间，所述“中等”时间是从“短”时间以及从“长”时间确定的)。

根据本公开，存在至少两个确定曝光时间的方式：通过实行短时间和长时间的计算以使黑色和白色饱和最小化且随后通过确定中等时间(例如以sqrt(TC*TL)形式)；或通过以例如相机的“自动曝光”或待实施的另一自动曝光方法实行中等时间的计算且随后通过移除/添加一个或多个EV(曝光值)“凭经验”确定TC(短时间)和TL(长时间)。

根据本公开，至少部分在每一捕获迭代处确定图像中的每一个的曝光时间。换句话说，在第n捕获迭代处，配置“短”、“长”和“中等”曝光时间，由至少两个相机在这些时间(“短”、“长”和“中等”)中的每一个处获得图像，且将所述图像保存在所述三个存储器区域中：用于以“短”曝光时间捕获的图像的第一存储器区域、用于以“中等”曝光时间捕获的图像的第一存储器区域，和用于以“长”曝光时间捕获的图像的第三第一存储器区域。这三个图像经处理以提供HDR图像，且此HDR图像添加到HDR流。在处理这三个图像期间，取决于此第n迭代的所述三个图像的内容执行“短”、“长”和“中等”曝光时间的新的评估，且这些新的“短”、“长”和“中等”曝光时间用于配置随后迭代(n+1)的“短”、“长”和“中等”曝光时间，依此类推，贯穿用于捕获HDR流的整个处理。

因此，根据本公开，在每一新获取处依据先前获取时实行的统计分析估计获取时间的值。对于三个获取，执行估计：通过使白色饱和像素的数目降到最低(例如，＜10％)来估计短时间；通过使黑色饱和像素的数目降到最低(例如＜10％)来估计长时间。随后以计算方式估计中等曝光时间：其可例如涉及简单的计算：长时间与短时间的乘积的平方根。

根据本公开，取决于具体来说HDR流的图像频率的因素等多个因素估计短和长时间。实际上，不同于关于HDR图片的产生的技术(其中可取决于所要质量获得和选择多个图像)，HDR视频流的创建需要持续地适应需要快速评估和考虑的场景的亮度变化。因此，其中最佳图像选自多个可用图像的较早技术(如专利文献FR3062009中)不适用于创建HDR视频流，因为它们需要具有过剩数目的图像，待保持的图像的选择基于所述过剩数目的图像。因此，根据本公开，实行短和长曝光时间的快速评估。更具体地说，评估这些曝光时间(短和长)的步骤是基于先前获取的IC(短曝光时间)和IL(长曝光时间)图像的直方图。所述直方图使得有可能具有像素的分布的准确估计。如果IC图像的白色饱和像素(例如8位图像的值大于240的像素)的数目过高(超过例如10到15％)，则下一迭代处IC图像的曝光时间必须缩短以能够在高度照明区域中捕获更多信息。另一方面，如果白色饱和像素的数目极低(小于例如2％)，则曝光时间可增加以避免与中间图像的太大差异，太大差异将动态地产生信息“孔”。类似地，如果IL图像的黑色饱和像素的数目(例如8位图像的值小于16的像素)过高，则下一迭代处IL图像的曝光时间必须增加。最后，如果IL图像的黑色饱和像素的数目太低，则下一迭代处IL图像的曝光时间必须缩短。从一次迭代到另一迭代的曝光时间的变化可以曝光值(EV)的形式表达：一个曝光值单位(1EV)的增加(相应的减小)通过两个曝光时间的乘法(相应的除法)而转化。在其中饱和像素的数目极高的情况下，有可能增加或减小2EV(曝光时间内因数4)，且相反，在其中期望围绕选定阈值优化饱和像素的数目的情况下，有可能将变化限制到1/2EV(一半)，乃至1/3EV(三分之一)。

每一获取处进行的这些计算使得有可能非常快速地考虑场景的所有照明改变。根据本公开，取决于用于填充所述三个存储器区域的相机(及因此传感器)的数目调整长曝光时间。举例来说，如果存在获取随时间偏移的1/30秒处的六个传感器，则有可能增加输出速率。原理是，一旦存在三个图像，就可同时实行其它获取的处理。

相对于图2，描述用于处理SDR图像以产生HDR图像的两个情形，如图1中所公开。在此实例中，表示图像的条柱的宽度大致表示用于每一图像的曝光的短、中等和长时间。

在第一情形S#1中，描述用于从三个SDR流创建HDR流的方法的实施方案。假定在此第一情形中，分别通过三个不同传感器(三个相机)获得三个SDR流。图像I11、I21、I31和I41是在短积分时间获得的图像，图像I12、I22、I32和I42是在中等积分时间获得的图像，且图像I13、I23、I33和I43是在长积分时间获得的图像。在此第一情形中，在获取图像之后相继地实施用于从三个SDR图像(Trt1、Trt2、Trt3)创建HDR图像的处理。每一处理(Trt1、Trt2、Trt3)遵循相同实施方案(像素重影消除、SDR图像的组合)，且为了更简单而示出相同处理时间。时间t1、t2和t3表示SDR相机的最大帧率(例如，60个图像/秒、30个图像/秒等)。

在第二情形S#2中，仍假定分别通过三个不同传感器(三个相机)获得三个SDR流。在获取图像之后以及与获取图像同时实施用于从三个SDR图像(Trt1、Trt2、Trt3)创建HDR图像的处理。这是与情形#1的主要差异。处理与获取不同步。唯一的约束是，确保对t处获取的图像的处理在时间上短于t+1的获取。因此，通过使用与待获取图像一样多的传感器(通常三个)，循环时间的最小值等于用于以长积分时间获取图像的时间。通过使用更多传感器(例如四个，而不是三个)，可设想将这四个传感器中的两个专用于以长时间获取图像，其获取开始将偏移半个周期。举例来说，在1/30的周期的情况下，第一传感器将通过在t＝1/60处开始每隔1/30秒提供图像，而第二传感器可在t＝n*1/30+1/60处提供图像：因此有可能每隔六十分之一秒产生图像。操作实施条件决定待采用的策略，具体来说取决于高性能且具有较好获取速度(但较昂贵)的传感器相比于较高数目的传感器(四个、五个或六个)但分别较便宜这两种策略的成本。

每一处理(Trt1、Trt2、Trt3)遵循相同实施方案(像素重影消除、SDR图像的组合)，且为了更简单而示出相同处理时间。时间t1、t2和t3表示SDR相机的最大帧率(例如，60个图像/秒、30个图像/秒等)。

在第一情形S#1中，在0到t1的时间周期之后从第一迭代获得HDR图像，依此类推。在第二情形S#2中，仅从时间t'2获得HDR图像，接着是t'3，依此类推。因此，第一HDR图像的产生期间存在略微偏移。启动后的此偏移最后使得有可能利用较长时间来实行用于创建HDR图像的处理，而不会降低图像产生速率。实际上，t1与t'1之间的偏移对应于用于处理HDR图像的时间，其初始地超出相机的图像产生速率(即，“帧率”)。因此，在不改变图像产生频率的情况下，有可能具有等于相机的图像产生速率的处理时间作为输入：至多分隔t1和t'1的时间将等于一个循环。

相对于图3，根据实施例的一实例描述用于实施用于创建HDR流的方法的装置(DISP)的实施方案的实例。此HDR流获取装置(也称为HDR相机)包括获取子单元(SSACQ)，其首先包括N个传感器(C1、...CN)。传感器连接到包括两个子模块的获取模型(MACQ)：曝光时间编程子模块(CtrlEC)，其用于配置每一传感器的曝光时间；以及获取(AcQ)子模块，其严格来说负责针对每一传感器读取此传感器的像素的矩阵且将所获取的像素数据集传输到存储器管理单元(MMU)模块。如上文所指示，有必要在相机每次进行新的获取时改变曝光时间，且这是为了快速适应所拍摄场景的改变的曝光条件。通常，针对三个图像，存在具有短时间的图像1、具有中等时间的图像2、具有长时间的图像3，然后是具有短时间的图像4、具有中等时间的图像5、具有长时间的图像6，等等。在每次新的获取时从先前获取时实行的统计分析估计获取时间的值，如上文所阐释。每一获取处进行的这些计算使得有可能非常快速地考虑场景的所有照明改变。一旦已经确定曝光时间，获取(ACQ)子模块就可对传感器进行编程，启动获取且随后检索因此由相应传感器获取的图像。

存储器管理单元(MMU)模块就其本身而言从获取模块接收像素数据集。每一像素数据集涉及由传感器获取的图像。获取模块为像素数据提供识别符，从而使得有可能确定源传感器或还确定曝光时间或这两个数据。存储器管理单元(MMU)模块取决于曝光时间或源传感器或这两个组合信息项保存存储器区域(ZM1、...、ZMN)中获得的像素数据集。

更具体地说，无关于传感器的数目，发明人开发了用于管理存储器的特定装置，其使得有可能连续地将至少三个图像存储于存储器中，所述图像中的每一个具有短、中等或长曝光时间。在启动(初始迭代)后，实行存储器1中的图像1(短时间)的获取。存储器2中的图像2(中等时间)，接着是存储器3中的图像3(长时间)。在随后迭代处，为了存储图像4(短时间)，MMU模块覆写最老图像(图像1-短时间)。针对图像5(中等时间)，覆写图像2。利用此装置，在每次新的传感器获取(无关于用于获取的传感器)之后，以短、中等和长时间获取的最后三个图像位于存储器中。

与获取同时，MMU模块实行图像的读取以便填充处理子单元(SSTRT)(见下文中)。多个环形存储器中的此写入/读出方法的优点是能够以与传感器相同的速率生成HDR图像：在每次新的获取时，无关于源传感器，存在存储器中足够量的数据来生成HDR视频流中的新HDR图像。

在具有许多传感器的装置的情况下，实施MMU模块以使同时实行的各个获取同步。在每次新的获取时，三个存储器中的至少一个以新图像更新，使得正如先前情况，以获取速度实行HDR生成。

在任何情况下，发明人选择对由传感器获取的数据流进行实时操作。

也有可能通过使用两倍的存储器使两个流(获取流和处理流)不同步(情形#2，图2)。存储器的第一部分用于存储待获取的图像，且第二部分用于处理已经获取的图像。一旦对存储器的第二部分实行的处理已完成，就有可能切换存储器并开始对存储器的第一部分的处理(含有最近图像获取)，而存储器的第二部分用于实行随后的获取。实施方案的此实例中尚未保留此解决方案，因为所执行的处理临时对于获取来说是可能的(然而，在较大获取频率下，此解决方案可能受到关注)。实际上，在此实例中，所执行的处理可在获取流中执行，也就是说，与新图像的读出和已经保存的图像的读出同时。由传感器获取的新图像从传感器逐行传递到MMU。处理模块SSTRT能够同时处理随两个其它所存储图像中的相应行的像素读取的行的所有像素。用于处理每一像素的时间比用于提供完整像素行的速率小得多，这使得有可能针对每一新的所获取像素行产生新的HDR像素行。

如果设想执行更复杂的处理(以例如改进HDR图像的质量或对HDR流实行后处理，例如对象的检测/辨识)，则可设想双存储器系统。

HDR流获取装置还包括处理子单元(SSTRT)。此处理子单元以传感器捕获帧的理论速度(例如，60个图像/秒、30个图像/秒等)连续地实行保存在存储器区域中的图像的处理，以便产生具有与传感器的产生速率相同的速率的HDR流。

在实施例的此实例中，此处理子单元(SSTRT)包括重影消除模块(DEG)，其功能是当移动对象存在于待捕获场景中时执行对应于此些对象的像素的可能的重影消除。重影消除模块(DEG)使用N个(例如，三个)所获取图像来估计这N个图像内对象的移动。针对所有像素实行此估计。不可避免地，在以两个传感器获取的情况下存在较多移动，因为循序地实行获取(一般来说，当期望获得n个获取时，以及当仅存在至多n-1个传感器时，存在循序获取)。在多个传感器情况(两个以上)中，移动归因于同时获取而最小化(主要来自于模糊化，随曝光时间增加)。在任何情况下，当检测到移动时，对所涉及像素执行用于校正此移动的算法，然后将它们传输到HDR创建模块。发明人评估多个可能的算法。然而，为了实时地实现HDR产生(即，以用于捕获图像的N个传感器的帧率)，在装置上植入两个算法：像素次序方法和加权函数方法：这两个方法给出令人满意的结果，同时限制处理时间。选择这些方法与如下事实相关：它们与快速计算要求兼容以便能够以大于获取速率的速率检测和校正移动假影。

当未检测到移动时，原始像素的N个集合(对应于N个图像)直接传输到HDR创建(HDRC)模块。HDR创建(HDRC)模块同时使用N个流来评估像素中的每一个的HDR值。所使用的方法使用“Debevec和Malik”算法，其适于所述装置使得其在处理时间方面更高效。

Debevec方法是基于如下事实：视觉场景的像素具有恒定辐射值，且有可能从以不同获取时间获得的像素的值以及从所使用相机的传递曲线估计此辐射。Debevec方法的数学等式需要计算相机的传递函数的逆的对数。根据本公开，在实时情境中，出于效率的原因，此对数的所有值已经针对所有可能的像素值(对于8位传感器在0到255之间，对于10位传感器在0到1,023之间)预先计算且存储于系统的存储器中，所述计算随后限于存储器块组的单次读出。此实施方案使得有可能确保流的实时处理。

一旦已产生HDR图像，就可能使用所述HDR图像。这可按两种方式进行：

-在屏幕上显示(使用显示模块AFF)；

-原始输出(朝向通信网络，使用适当模块ETH)。

关于屏幕上显示，不可能在传统屏幕上显示HDR数据。实际上，传统屏幕接受通常针对每一RVB信道在8到10位上译码的整个像素值。在HDR产生的情况下，产生在32位上译码的真实视频流。因此，有必要“压缩”格式使得其可被屏幕接受。这就是显示模块AFF(色调映射)所进行的操作。发明人具体地选择植入的算法。存在两个大“色调映射”算法系列：第一，局部算法利用每一像素的局部邻近区来调适其处理并产生高质量“色调映射”。局部算法需要复杂的计算，从而产生显著硬件资源要求，且常常与实时约束不兼容。第二，总体算法使用所有像素共同的处理，这简化了其实时实施但损害了所获得的结果的总体质量。因此，相对于实时处理要求，发明人选择了Duan等(2010)描述的类型的算法，他们已经使其适应上文描述的实施条件。

关于网络输出(ETH)，实施用于以其产生速度输出非压缩HDR流的以太网网络控制器。此控制器具体来说使得有可能能够以度量来评估用于产生HDR流的算法的质量。

图4示出实施方案的另一实例，其中存储器区域的枢纽功能经分流以按大体上接近于SDR相机的传感器的速率的较高速率产生HDR流。换句话说，在实施例的此实例中，有可能以比用于拍摄场景的SDR相机的速率高的速率(以每秒图像数目计)产生HDR流。就此而言，存储各种图像的存储器区域以不同步方式使用，这取决于由上文已描述的曝光时间编程子模块(CtrlEC)对相机的曝光时间实行的编程。此技术还可与两个相机一起使用，如上文已公开。

借助于实例，针对相对于图4提供的阐释，考虑使用仅一个传感器(单个传感器)来产生三个SDR流，每一流具有每秒20个图像的速度(即，每秒60个图像除以三)。因此每一图像的每次曝光小于1/60秒。然而，在此实例中，产生包括最少每秒60个图像的HDR视频。就此而言，如一般情况中所解释，图像保存在存储器区域中，且当在存储器区域ZM#1到ZM#3中读取图像时，实时实行用于像素重影消除以及用于组合HDR图像的处理。应注意，使用存储器区域的枢纽功能的这种模式非常适于在其中存在唯一的SDR传感器来实行SDR流的捕获的使用案例中实施用于产生HDR流的处理。

在图4的此实例中，在第一捕获迭代处，具有短时间的图像I[1]由获取子单元SSACQ的传感器捕获。此图像由MMU模块存储于存储器区域ZM#1中。在第二捕获迭代处，处于中等时间的图像I[2]由传感器捕获。此图像存储于存储器区域ZM#2中。在第二捕获迭代处，处于长时间的图像I[3]由传感器捕获。此图像存储于存储器区域ZM#3中。因为三个存储器区域各自具有图像(短时间、中等时间和长时间)，所以处理子单元检索存储器中的这三个图像且实行到HDR图像(IHDR[123])的转换。因此已在的捕获中获得第一HDR图像，由处理子单元加上处理时间(<<1/60秒)以用于到HDR图像的转换。

同时，获取子单元SSACQ的传感器在短时间处实行新图像I[4]的捕获，所述新图像由MMU模块存储于存储器区域ZM#1中。因为所述三个存储器区域同样各自具有图像(短时间I[4]、中等时间I[2]和长时间I[3])，所以处理子单元检索存储器中的这三个图像，且同样实行到HDR图像(IHDR[423])的转换。因此已在<<1/60秒的捕获中获得第二HDR图像。

同时，获取子单元SSACQ的传感器在中等时间处实行新图像I[5]的捕获，所述新图像由MMU模块存储于存储器区域ZM#2中。因为所述三个存储器区域同样各自具有图像(短时间I[4]、中等时间I[5]和长时间I[3])，所以处理子单元检索存储器中的这三个图像，且同样实行到HDR图像(IHDR[453])的转换。因此，同样已在<<1/60秒的捕获中获得第三HDR图像。

同时，获取子单元SSACQ的传感器在长时间处实行新图像I[6]的捕获，所述新图像由MMU模块存储于存储器区域ZM#2中。因为所述三个存储器区域同样各自具有图像(短时间I[4]、中等时间I[5]和长时间I[6])，所以处理子单元检索存储器中的这三个图像，且同样实行到HDR图像(IHDR[456])的转换。因此，同样已在<<1/60秒的捕获中获得第三HDR图像。此过程在整个HDR流捕获和转换过程中继续，且其以每秒60个图像递送HDR流。在实施例的此实例中，可能产生的问题是假影的存在。因此，常常必须实行像素重影消除，当使用两个或两个以上传感器时，情况并非如此或这种情况较少。

在实施例的另一实例中，使用至少两个相同的传感器来实施所公开的技术。这至少两个传感器尽管相同，但各自经编程以按不同捕获速度操作。更具体地说，上文已公开，曝光时间编程子模块(CtrlEC)实行传感器的最大曝光时间的编程以便获得短时间、长时间和中等时间(取决于所述长时间)。这些曝光时间比相机的产生速率短(或短得多)。举例来说，在每秒120个图像的产生速率的情况下，短时间可以是1/500秒、中等时间是1/260秒且长时间是1/140秒。但是，上文已指示，短和长时间的目的是分别使白色或黑色饱和像素的存在最小化(对于图像的所有像素，像素数目小于给定百分比)。但是，在一些情况下可能发生这样的情形：1/120秒的最大曝光时间不足以使黑色饱和像素最小化。因此，在实施例的额外实例中，所述至少两个传感器配置成使得其以不同产生速率产生SDR图像。更具体地说，传感器中的一个被配置成以每秒120个图像的速率产生图像，而另一传感器被配置成以每秒60个图像的速率产生图像。第二传感器以较低速度产生图像，但从较长曝光时间受益。不利方面是，其可接着更高效地产生图像，其中黑色饱和像素的数量低于预定值(例如10％)。在此情形下，因而有可能取决于可用的计算资源产生两个类型的HDR流：基于被配置成最慢的传感器的产生速率将第一类型的HDR流设定在每秒60个图像的速率，也就是说“最低”可能值。这种解决方案的优点是，归因于假影的存在，像素重影消除处理较少。另一优点是能够使用仅两个传感器：传感器以每秒120个图像的速率操作使得有可能在长时间的捕获时间期间实行两次捕获；第一传感器在短时间获得图像以及在中等时间获得图像，而第二传感器在长时间获得图像。当所考虑的三个存储器区域中存在三个图像时，获得所述三个存储器区域且其由处理子单元处理以根据图4的一个或其它情形产生仅一个HDR图像。

基于被配置成最快的传感器的产生速率将第二类型的HDR流设定在每秒120个图像的速率，也就是说“最高”可能值。在此情况下，实施如图4中所描述的方法。立即使用由产生速率为每秒120个图像的速率的传感器获得的每一新图像，来实行新HDR图像的计算。在此情形下，设定在每秒60个图像的速率的传感器的当前图像将用于产生HDR传感器流的两个图像。

Claims (10)

1.一种方法，其用于从通过读取各自具有图像产生速率的至少两个图像传感器获得的多个标准动态范围图像生成称为HDR视频流的包括高动态范围图像的集合的视频流，每一传感器包括布置成矩阵的多个像素，且各自与光电转换元件相关联，所述光电转换元件用于将所接收光转换为电荷且在曝光时间内累积所述电荷，方法包括创建高动态范围图像的多次迭代，包括：

-确定(D1)至少三个传感器曝光时间，包括：短曝光时间TC、长曝光时间TL和中等曝光时间TI，使得TC<TI<TL；

-取决于所述至少三个传感器曝光时间(TC、TI、TL)，读取(D2)所述至少两个传感器中的传感器并递送至少三个连续图像(IC、II、IL)的至少一次迭代；

-在至少三个专用存储器区域(ZM#1、ZM#2、ZM#3)内保存(D3)所述至少三个连续图像(IC、II、IL)，每一存储器区域专用于所述至少三个传感器曝光时间中的一个传感器曝光时间；

-依据从分别保存在所述至少三个专用存储器区域(ZM#1、ZM#2、ZM#3)内的所述至少三个连续图像(IC、II、IL)提取的信息生成(D4)高动态范围图像；

-将所述高动态范围图像添加(D5)到所述HDR视频流，

所述方法经实施使得在任何时刻，短时间获取的图像(IC)、中等时间获取的图像(II)和长时间获取的图像(IL)分别存在于所述至少三个专用存储器区域(ZM#1、ZM#2、ZM#3)内。

2.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，所述确定所述至少三个传感器曝光时间(TC、TI、TL)包括取决于所述短曝光时间TC和所述长曝光时间TL确定所述中等曝光时间TI。

3.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，计算所述短曝光时间(TC)，使得其在读取所述至少两个传感器中的传感器期间产生白色饱和像素的百分比小于预定阈值的标准动态范围图像。

4.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，计算所述长曝光时间(TL)，使得其在读取所述至少两个传感器中的传感器期间产生黑色饱和像素的百分比小于预定阈值的标准动态范围图像。

5.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，得到所述中等曝光时间(TI)为所述短曝光时间(TC)与所述长曝光时间(TL)的乘积的平方根。

6.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，所述长曝光时间(TL)小于所述至少两个传感器中的至少一个所述传感器的所述图像产生速率。

7.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，创建高动态范围图像的当前迭代的高动态范围图像的生成是依据从至少三个当前连续图像(IC、II、IL)提取的信息实施的，并且与读取所述至少两个传感器中的传感器并递送创建高动态范围图像的随后迭代的至少三个连续图像(IC、II、IL)的所述迭代同时实施。

8.根据权利要求1所述的用于生成HDR视频流的方法，其特征在于，所述HDR流的图像速率至少等于所述至少两个图像传感器中的至少一个图像传感器的图像速率。

9.一种计算机程序产品，其包括程序代码指令，所述程序代码指令在由处理器执行时用于实施根据权利要求1至8中任一项所述的方法。

10.一种装置，其用于从通过读取各自具有图像产生速率的至少两个图像传感器获得的多个标准动态范围图像生成称为HDR视频流的包括高动态范围图像的集合的视频流，每一传感器包括布置成矩阵的多个像素，且各自与光电转换元件相关联，所述光电转换元件用于将所接收光转换为电荷且在曝光时间内累积所述电荷，其特征在于，所述装置包括适于实施根据权利要求1至8中任一项所述的用于生成HDR视频流的方法的步骤的计算单元。