CN108353133B - 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法 - Google Patents

用于缩减高动态范围视频/成像的曝光时间集合的设备和方法 Download PDF

Info

Publication number
CN108353133B
CN108353133B CN201580084389.5A CN201580084389A CN108353133B CN 108353133 B CN108353133 B CN 108353133B CN 201580084389 A CN201580084389 A CN 201580084389A CN 108353133 B CN108353133 B CN 108353133B
Authority
CN
China
Prior art keywords
block
image
color component
value
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580084389.5A
Other languages
English (en)
Other versions
CN108353133A (zh
Inventor
奥纳伊·优厄法利欧格路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN108353133A publication Critical patent/CN108353133A/zh
Application granted granted Critical
Publication of CN108353133B publication Critical patent/CN108353133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提出了一种用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像的方法。所述方法包括：存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合；在所述主集合的每个曝光时间控制捕获校准图像；针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值；基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合；在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。

Description

用于缩减高动态范围视频/成像的曝光时间集合的设备和 方法
技术领域
本发明通常涉及计算机视觉和计算摄影领域，尤其涉及高动态范围成像和视频任务。
背景技术
本发明旨在改善高动态范围成像(High Dynamic Range Imaging，简称HDRI)和视频。高动态范围(High Dynamic Range，简称HDR)是提高智能手机、相机等当前和未来图像和视频捕获设备的质量的重要方法。通常情况下，通过捕获不同曝光图像并将其合并为HDR图像来实现HDRI。曝光设置和捕获的相应图像越多，则最终得到的HDR图像的质量越好。
在本发明的上下文中，曝光时间为时间间隔，用来控制在捕获图像或视频帧期间捕获设备暴露在其中的光量。间隔越长，图像/帧越大越亮。2D图像或图片是用一个相机获取的正常二维图像，其中，所述图像可以通过例如RGB或色度-亮度值来定义。纹理是图像内的一个区域，其描绘的内容具有显著的颜色强度变化。过度曝光的图像区域是曝光过多的图像区域，使得该区域大部分变成白色。曝光不足的图像区域是曝光太少的图像区域，使得该区域大部分变成黑色。
现有技术中已知的是，HDR处理基于预定义集合的不同曝光时间，即，通过合并在预定义集合的曝光时间捕获的多个图像来获得HDR图像。然而，由于预定义的曝光时间的集合是预定义的，所以生成的HDR图像中的纹理信息可能会丢失。
一些应用对要使用的不同曝光时间的集合有限制。例如，在不同曝光时间捕获的图像集合受时间限制。这适用于图像HDR，尤其适用于视频HDR应用。
发明内容
认识到上述缺点和问题，本发明旨在改进现有技术。具体而言，本发明的目的是改善HDR成像性能，特别是改善在例如HDR视频应用中时间限制下的HDR成像性能。进一步的目标是为图像HDR和视频HDR应用的HDR成像提供有效的方案。
例如，在视频HDR中，在每个时间步骤中捕获并合并间隔曝光时间的图像。因此，不同曝光时间的集合需要尽可能小以防止发生重影效应。理想情况下，只使用两个不同的曝光时间。然而，由于该曝光时间集合中包括两个预定义的曝光时间，因此所生成的HDR图像或视频中可能会丢失纹理信息。
本发明尤其旨在在不过多损失最终的HDR图像的纹理或图像信息的前提下，从不同曝光时间的大集合中选择一个小集合来提高HDR成像性能。
本发明上述提及的目标通过所附独立权利要求提供的方案实现。本发明有利的实现方案在各自的从属权利要求中进一步定义。
本发明的第一方面提供了一种用于控制捕获多个图像以获得高动态范围(HighDynamic Range，简称HDR)图像的设备。所述设备包括存储单元，用于存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合。所述设备包括校准控制单元，用于在所述主集合的每个曝光时间控制捕获校准图像。所述设备包括计算单元，用于：针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值。所述设备包括选择单元，用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合。所述设备包括HDR控制单元，用于在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。从而，通过提供用于根据所述选择的校准图像的强度来计算得分值的所述计算单元和用于基于所述计算的得分值来选择候选缩减集合的所述选择单元，因此在可以保存图像和纹理细节的条件下有利于所述HDR控制单元控制捕获所述多个图像，。有利于所述选择单元选择所述选择的候选缩减集合的曝光时间，从而可以有利地保存所捕获图像的图像和纹理细节以用于HDR成像。
特别地，所述存储单元存储的所述主集合可以是不同的可选曝光时间的固定集合。或者，所述主集合可以是不同的可选曝光时间的固定集合的子部分。所述主集合可以是从所述固定集合中选出的子部分，换言之，可以从所述固定集合中排除一些曝光时间来获得所述主集合。例如，所述主集合可以是根据图像捕获条件例如亮度或用户做出的选择来选出的子部分。对于根据所述图像捕获条件进行的选择，例如，所述设备根据亮度自动选择一个主集合，使得所述主集合可以是例如针对夜间或黑暗情况的子集合，从中寻找最佳缩减集合。再例如，根据用户的场景模式选择选出主集合，此类选择模式为肖像、风景、日落、室内、夜间肖像、或运动等。
特别地，所述校准图像是用于校准的图像。这些图像可以是任何类型的图像，并且不需要具备特定的图案。具体而言，所述校准图像不需要具备预定义的图案或预定义的颜色。
特别地，所述HDR控制单元用于仅在所述选择的候选缩减集合的曝光时间控制捕获所述多个图像。然后仅在所述选择的候选缩减集合的曝光时间进行捕获，不在所述选择的候选缩减集合外的其余额外曝光时间进行捕获。换言之，所述HDR图像是通过合并仅在所述选择的候选缩减集合的曝光时间处捕获的图像得到的。
特别地，所述选择单元可以用于从所述多个候选缩减集合中选择具有最佳得分值的候选缩减集合，其中，所述最佳得分值是最高或最低得分值)。所述最佳得分值可以反映相应校准图像中的大量乱序。因此，所述最佳得分值是否对应最高或最低得分值取决于得分值的具体计算，即取决于所述最高或最低得分值能否反映大量乱序。
特别地，所述设备用于在HDR校准模式和HDR操作模式之间切换。在所述HDR校准模式中，所述存储单元用于存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合；所述校准控制单元用于在所述主集合的每个曝光时间控制捕获校准图像；所述计算单元用于：针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值；所述选择单元用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合。在所述HDR操作模式中，所述HDR控制单元用于在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。
在第一方面所述设备的第一种实现方式中，所述校准图像具有色彩分量。此外，所述计算单元用于：针对每个候选缩减集合，根据所述选择的校准图像的色彩分量的强度通过以下方式计算所述得分值：
-根据定义块位置的网格将每个选择的校准图像的色彩分量划分为像素块；
-针对每个选择的校准图像的所述色彩分量的每个像素块，计算与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；
-在每个块位置处为所述块位置定义块堆栈，其中，所述块堆栈包括每个选择的校准图像的所述色彩分量的像素块；
-针对每个块堆栈识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值；
-基于针对所述色彩分量的每个块堆栈识别的所述最佳值来计算所述候选缩减集合的色彩分量得分值；
其中，所述色彩分量得分值为所述得分值。
从而，所计算的得分值的优点在于其为反映所选校准图像的纹理细节的量的参数。此外，使用构成的像素块而非整个图像有助于分离图像的较小区域，从而可以保留小区域图像细节，且计算得到的得分值能够反映所选校准图像的纹理。
像素强度与像素块内的像素的强度有关。或者，像素强度可以与像素块内的一组像素的强度有关。该像素组可以与用于图像编码的宏块相比较，并且可以由包括例如8×8像素的一个矩形或正方形组构成。可以通过对一组像素的像素强度进行平均来获得该组像素的像素强度。所述色彩分量可以是RGB颜色空间中的红色、绿色和蓝色色彩分量之一。所述校准图像可以是灰度数字图像。在这种情况下，所述灰度图像只有一个色彩分量。可选的颜色空间也定义了一个或多个色彩分量。例如，在YUV或Y’UV颜色空间中，所述色彩分量可对应于亮度(Y)或亮度(Y’)。优选地，所述色彩分量可以是反映图像中的像素强度的色彩分量。
特别地，可以根据所述强度相关值的最大值或最小值是否分别反映了块堆栈中的最大量乱序来识别所述强度相关值的最大值或最小值，从而识别所述强度相关值的最佳值。优选地，可以识别所述强度相关值的最大值，从而识别所述强度相关值的最佳值。
在第一方面所述设备的第二种实现方式中，所述校准图像为具有单个色彩分量的单色彩分量图像，或者所述设备包括转换单元，用于将所述校准图像转换为具有单色彩分量的单色彩分量图像。
因此，由于图像和纹理细节将被保留用于HDR成像，单色彩分量校准图像反映了所述校准图像中的强度变化，因而单色彩分量校准图像足够用于选择所述候选缩减集合。使用单个色彩分量能在进行有效处理的同时仍然维持图像强度特性和变化。
例如，所述单个色彩分量可以是RGB颜色空间中的红色、绿色和蓝色色彩分量之一。所述校准图像可以是灰度数字图像。在可选的YUV或Y’UV颜色空间中，所述单个色彩分量可对应于亮度(Y)或亮度(Y’)。在所述校准图像无法作为单色彩分量图像的情况下，本发明有利地提出了将所述多色彩分量校准图像转换为单色彩分量校准图像。彩色图像可以由多个堆栈的颜色色彩分量构成，每个颜色色彩分量代表给定色彩分量的值级。例如，可以通过例如加权平均不同色彩分量的颜色分量将由用于红(R)、绿(G)和蓝(B)颜色分量的三个独立色彩分量组成的RGB图像转换为灰度图像。所述转换的单个色彩分量也可以是YUV或Y’UV颜色空间的亮度(Y)或亮度(Y’)。所述亮度可以是通过例如以下等式将三个RGB颜色分量进行线性组合来获得：Y＝0.2126R+0.7152G+0.0722 B。
在第一方面所述设备的第三种实现方式中，所述校准图像具有多个色彩分量；所述计算单元用于：针对每个候选缩减集合，根据所述选择的校准图像的色彩分量的强度通过以下方式计算所述得分值：
-根据定义块位置的网格将每个选择的校准图像的每个色彩分量划分为像素块；
-针对每个选择的校准图像的每个色彩分量的每个像素块，计算与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；
-在每个块位置处为每个色彩分量和所述块位置定义块堆栈，其中，所述块堆栈包括每个选择的校准图像的所述色彩分量的像素块；
-针对每个块堆栈识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值；
-基于针对所述色彩分量的每个块堆栈识别的所述最佳值，为每个色彩分量计算所述候选缩减集合的色彩分量得分值；
-根据每个色彩分量的各个色彩分量得分值来计算所述得分值。
因此，由于所述得分值考虑了校准图像中的更多强度特性和变化，使用具有多个色彩分量的校准图像来计算所述得分值可以改进所述候选缩减集合的选择。
第一方面所述设备的第一种实现方式的进一步的特征和效果也适用于第一方面所述设备的第三种实现方式。换言之，关于具有单个色彩分量的校准图像的特征和效果也适用于具有多个色彩分量的校准图像。
在第一方面所述设备的第四种实现方式中，所述校准图像为多色彩分量图像，通过组合每个色彩分量的各个色彩分量得分值或通过从每个色彩分量的色彩分量得分值中选择最佳色彩分量得分来计算所述得分值
所述多色彩分量图像例如可以为在RGB颜色空间中定义的图像，或者在可选颜色空间中定义的图像，该可选颜色空间包括优选地反映图像的像素强度的若干色彩分量。
从而，组合每个色彩分量的各个色彩分量得分值可以包括将各个色彩分量得分值相加或相乘，使得所述计算出的得分值能够考虑到每个色彩分量的强度特性。或者，组合每个色彩分量的各个色彩分量得分值可以包括在每个色彩分量的色彩分量得分值中选择最佳色彩分量得分，例如最大得分值，从而可以简化所述得分值的计算。
在第一方面所述设备的第五种实现方式中，所述计算单元用于通过以下方式计算与所述像素块的像素强度相关的强度相关值：
-计算所述像素块的像素强度的直方图；
-基于所述像素块的像素强度的所述直方图，计算所述像素块的熵值，其中，所述熵值对应于所述强度相关值。
由于所述熵值是乱序的量的一般量度，例如，反映图像中快速变化的内容，因此所述熵值是有利的。图像中的高纹理还包括快速变化的像素强度，其有利地保存在本发明的HDR内容中。在第一方面所述设备的第六种实现方式中，根据以下等式计算所述像素块的熵值：
Figure GDA0001651516230000041
其中，pi为在校准图像m的像素块b中出现像素强度i的概率，b是块索引，m是图像索引。在第一方面所述设备的第七种实现方式中，所述计算单元用于通过以下方式计算与所述像素块的像素强度相关的强度相关值：
-计算所述像素块的像素强度的方差值。
由于所述方差值也反映了乱序的量，例如图像中快速变化的内容，因此所述方差值能有利地用作基于熵的方法的替代方案。
所述像素强度可以与像素块的像素的强度或像素块的像素组的强度有关。
在第一方面所述设备的第八种实现方式中，根据以下等式计算所述像素块的像素强度的所述方差值：
Figure GDA0001651516230000051
其中，X和Y是所述像素块的大小；
i(x，y)是在所述像素块内的像素位置(x，y)处的像素强度；
a是所述像素块内的平均像素强度值。
由此，根据该等式进行的计算能有利地实现基于所述像素强度的方差值计算所述强度相关值。在第一方面所述设备的第九种实现方式中，所述计算单元用于通过以下方式识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值：
-识别与构成所述块堆栈的像素块相关的所述强度相关值的最大值，其中：
所述计算单元用于通过以下方式基于针对所述色彩分量的每个块堆栈识别的所述最佳值来计算所述候选缩减集合的色彩分量得分值；
-对针对所述色彩分量的每个块堆栈分别标识的最大值或从其中导出的值进行相加或相乘。
因此，可以通过使用所述最大值以及加法或乘法选出最优的候选缩减集合。
特别地，从所述最大值导出的值可以是所述最大值的对数值。那么，对于所述色彩分量的每个块堆栈，由于计算所识别的最大值的对数值并且相加所计算的对数值可以避免数值的不稳定性，因此进行这样的计算是有利的。
特别地，为所述色彩分量的每个块堆栈分别标识的最大值进行相乘可以作为包括相加对数值的方案的替代方案。
在第一方面所述设备的第十种实现方式中，由网格定义的块位置是相邻的或重叠的。
由此，所述像素块可以相邻且不重叠，从而覆盖整个校准图像。或者，所述像素块可以重叠以获得更准确的结果。
在第一方面所述设备的第十一种实现方式中，所述多个候选缩减集合的大小相同，其中，所述大小是由用户预定义或定义的。
本发明的第二方面提供了一种系统，包括本发明的第一方面提供的所述设备、HDR图像处理单元以及至少一个相机。所述校准控制单元用于通过所述至少一个相机控制捕获所述校准图像。所述HDR控制单元用于通过所述至少一个相机控制捕获所述多个图像。所述HDR图像处理单元用于合并所述多个图像以获得所述HDR图像。
由此，所述HDR控制单元有利地用于在可以保存图像和纹理细节的方式下控制捕获所述多个图像。所述选择单元有利地选择所述选择的候选缩减集合的曝光时间，从而可以有利地保存所捕获的图像的图像和纹理细节，因此可以改善所获得的HDR图像的质量。
具体地，所述HDR控制单元用于仅在所述选择的候选缩减集合的曝光时间下控制捕获所述多个图像，且所述HDR图像处理单元仅用于合并在所述选择的候选缩减集合的曝光时间下捕获的图像。
特别地，所述系统用于在HDR校准模式和HDR操作模式之间切换。在所述HDR校准模式下，所述校准控制单元用于通过所述至少一个相机(101)控制捕获所述校准图像。在所述HDR操作模式下，所述HDR控制单元用于通过所述至少一个相机控制捕获所述多个图像。在所述HDR操作模式，所述HDR图像处理单元用于合并所述多个图像以获得所述HDR图像。
本发明的第三方面提供了一种用于控制捕获多个图像以获得高动态范围(HighDynamic Range，简称HDR)图像的方法。所述方法包括：存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合。所述方法包括：在所述主集合的每个曝光时间控制捕获校准图像。所述方法包括：针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值。所述方法包括：基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合。所述方法包括：在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。
从而，通过根据所述选择的校准图像的强度计算得分值，并基于所述计算的得分值选择候选缩减集合，因此在可以保存图像和纹理细节的条件下有利于控制捕获所述多个图像。有利于选择所述选择的候选缩减集合的曝光时间，从而可以有利地保存所捕获图像的图像和纹理细节以用于HDR成像。
特别地，所述主集合可以是不同的可选曝光时间的固定集合。或者，所述主集合可以是不同的可选曝光时间的固定集合的子部分。所述主集合可以是从所述固定集合中选出的子部分，换言之，可以从所述固定集合中排除一些曝光时间来获得所述主集合。例如，所述主集合可以是根据图像捕获条件例如亮度或用户做出的选择来选出的子部分。对于根据所述图像捕获条件的进行的选择，例如，根据亮度自动选择一个主集合，使得所述主集合可以是例如针对夜间或黑暗情况的子集合，从中寻找最佳缩减集合。再例如，根据用户的场景模式选择选出主集合，此类选择模式为肖像、风景、日落、室内、夜间肖像、或运动等。
特别地，所述校准图像是用于校准的图像。这些图像可以是任何类型的图像，并且不需要具备特定的图案。具体而言，所述校准图像不需要具备预定义的图案或预定义的颜色。
特别地，仅在所述选择的候选缩减集合的曝光时间控制捕获所述多个图像是有利的。然后仅在所述选择的候选缩减集合的曝光时间进行捕获，不在所述选择的候选缩减集合外的其余额外曝光时间进行捕获。换言之，所述HDR图像是通过合并仅在所述选择的候选缩减集合的曝光时间处捕获的图像得到的。
特别地，从所述多个候选缩减集合中选择具有最佳得分值的候选缩减集合是有利的，其中，所述最佳得分值是最高或最低得分值。所述最佳得分值可以反映相应校准图像中的大量乱序。因此，所述最佳得分值是否对应最高或最低得分值取决于得分值的具体计算，即取决于所述最高或最低得分值能否反映大量乱序。
特别地，所述方法用于在HDR校准模式和HDR操作模式之间切换。所述HDR校准模式包括：存储可选曝光时间的主集合和作为所述主集合的各个子集合的多个候选缩减集合；在所述主集合的每个曝光时间控制捕获校准图像；针对每个候选缩减集合，选择在所述候选缩减集合的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值；以及基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合中选择候选缩减集合。所述HDR操作模式包括：在所述选择的候选缩减集合的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。
在第三方面所述方法的第一种实现方式中，所述校准图像具有色彩分量。此外，针对每个候选缩减集合，根据所述选择的校准图像的色彩分量的强度计算所述得分值包括：
-根据定义块位置的网格将每个选择的校准图像的色彩分量划分为像素块；
-针对每个选择的校准图像的所述色彩分量的每个像素块，计算与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；
-在每个块位置处为所述块位置定义块堆栈，其中，所述块堆栈包括每个选择的校准图像的所述色彩分量的像素块；
-针对每个块堆栈识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值；
-基于针对所述色彩分量的每个块堆栈识别的所述最佳值来计算所述候选缩减集合的色彩分量得分值；
其中，所述色彩分量得分值为所述得分值。
从而，所计算的得分值的优点在于其为反映所选校准图像的纹理细节的量的参数。此外，使用构成的像素块而非整个图像有助于分离图像的较小区域，从而可以保留小区域图像细节，且计算得到的得分值能够反映所选校准图像的纹理。
像素强度与像素块内的像素的强度有关。或者，像素强度可以与像素块内的一组像素的强度有关。该像素组可以与用于图像编码的宏块相比较，并且可以由包括例如8×8像素的一个矩形或正方形组构成。可以通过对一组像素的像素强度进行平均来获得该组像素的像素强度。所述色彩分量可以是RGB颜色空间中的红色、绿色和蓝色色彩分量之一。所述校准图像可以是灰度数字图像。在这种情况下，所述灰度图像只有一个色彩分量。可选的颜色空间也定义了一个或多个色彩分量。例如，在YUV或Y’UV颜色空间中，所述色彩分量可对应于亮度(Y)或亮度(Y’)。优选地，所述色彩分量可以是反映图像中的像素强度的色彩分量。
特别地，可以根据所述强度相关值的最大值或最小值是否分别反映了块堆栈中的最大量乱序来识别所述强度相关值的最大值或最小值，从而识别所述强度相关值的最佳值。优选地，可以识别所述强度相关值的最大值，从而识别所述强度相关值的最佳值。
在第三方面所述方法的第二种实现方式中，所述校准图像为具有单个色彩分量的单色彩分量图像，或者所述方法包括：将所述校准图像转换为具有单色彩分量的单色彩分量图像。
因此，由于图像和纹理细节将被保留用于HDR成像，单色彩分量校准图像反映了所述校准图像中的强度变化，因而单色彩分量校准图像足够用于选择所述候选缩减集合。使用单个色彩分量能在进行有效处理的同时仍然维持图像强度特性和变化。
例如，所述单个色彩分量可以是RGB颜色空间中的红色、绿色和蓝色色彩分量之一。所述校准图像可以是灰度数字图像。在可选的YUV或Y’UV颜色空间中，所述单个色彩分量可对应于亮度(Y)或亮度(Y’)。在所述校准图像无法作为单色彩分量图像的情况下，本发明有利地提出了将所述多色彩分量校准图像转换为单色彩分量校准图像。彩色图像可以由多个堆栈的颜色色彩分量构成，每个颜色色彩分量代表给定色彩分量的值级。例如，可以通过例如加权平均不同色彩分量的颜色分量将由用于红(R)、绿(G)和蓝(B)颜色分量的三个独立色彩分量组成的RGB图像转换为灰度图像。所述转换的单个色彩分量也可以是YUV或Y’UV颜色空间的亮度(Y)或亮度(Y’)。所述亮度可以是通过例如以下等式将三个RGB颜色分量进行线性组合来获得：Y＝0,2126R+0,7152G+0,0722 B。
在第三方面所述方法的第三种实现方式中，所述校准图像具有多个色彩分量。针对每个候选缩减集合，根据所述选择的校准图像的色彩分量的强度计算所述得分值包括：
根据定义块位置的网格将每个选择的校准图像的每个色彩分量划分为像素块；
-针对每个选择的校准图像的每个色彩分量的每个像素块，计算与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；
-在每个块位置处为每个色彩分量和所述块位置定义块堆栈，其中，所述块堆栈包括每个选择的校准图像的所述色彩分量的像素块；
-针对每个块堆栈识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值；
-基于针对所述色彩分量的每个块堆栈识别的所述最佳值，为每个色彩分量计算所述候选缩减集合的色彩分量得分值；
-根据每个色彩分量的各个色彩分量得分值来计算所述得分值。
因此，由于所述得分值考虑了校准图像中的更多强度特性和变化，使用具有多个色彩分量的校准图像来计算所述得分值可以改进所述候选缩减集合的选择。
第三方面所述方法的第一种实现方式的进一步的特征和效果也适用于第三方面所述方法的第三种实现方式。换言之，关于具有单个色彩分量的校准图像的特征和效果也适用于具有多个色彩分量的校准图像。
在第三方面所述方法的第四种实现方式中，所述校准图像为多色彩分量图像，通过组合每个色彩分量的各个色彩分量得分值或通过从每个色彩分量的色彩分量得分值中选择最佳色彩分量得分来计算所述得分值。
所述多色彩分量图像例如可以为在RGB颜色空间中定义的图像，或者在可选颜色空间中定义的图像，该可选颜色空间包括优选地反映图像的像素强度的若干色彩分量。
从而，组合每个色彩分量的各个色彩分量得分值可以包括将各个色彩分量得分值相加或相乘，使得所述计算出的得分值能够考虑到每个色彩分量的强度特性。或者，组合每个色彩分量的各个色彩分量得分值可以包括在每个色彩分量的色彩分量得分值中选择最佳色彩分量得分，例如最大得分值，从而可以简化所述得分值的计算。
在第三方面所述方法的第五种实现方式中，计算与所述像素块的像素强度相关的强度相关值包括：
-计算所述像素块的像素强度的直方图；
-基于所述像素块的像素强度的所述直方图，计算所述像素块的熵值，其中，所述熵值对应于所述强度相关值。
由于所述熵值是乱序的量的一般量度，例如，反映图像中快速变化的内容，因此所述熵值是有利的。图像中的高纹理还包括快速变化的像素强度，其有利地保存在本发明的HDR内容中。在第三方面所述方法的第六种实现方式中，根据以下等式计算所述像素块的熵值：
Figure GDA0001651516230000091
其中，pi为在校准图像m的像素块b中出现像素强度i的概率，b是块索引，m是图像索引。在第三方面所述方法的第七种实现方式中，计算与所述像素块的像素强度相关的强度相关值包括：
-计算所述像素块的像素强度的方差值。
由于所述方差值也反映了乱序的量，例如图像中快速变化的内容，因此所述方差值能有利地用作基于熵的方法的替代方案。
所述像素强度可以与像素块的像素的强度或像素块的像素组的强度有关。
在第三方面所述方法的第八种实现方式中，根据以下等式计算所述像素块的像素强度的所述方差值：
Figure GDA0001651516230000092
其中，X和Y是所述像素块的大小；
i(x，y)是在所述像素块内的像素位置(x，y)处的像素强度；
a是所述像素块内的平均像素强度值。
由此，根据该等式进行的计算能有利地实现基于所述像素强度的方差值计算所述强度相关值。在第三方面所述方法的第九种实现方式中，识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值包括：
-识别与构成所述块堆栈的像素块相关的所述强度相关值的最大值，其中：
基于针对所述色彩分量的每个块堆栈识别的所述最佳值来计算所述候选缩减集合的色彩分量得分值包括：
-对针对所述色彩分量的每个块堆栈分别标识的最大值或从其中导出的值进行相加或相乘。
因此，可以通过使用所述最大值以及加法或乘法选出最优的候选缩减集合。
特别地，从所述最大值导出的值可以是所述最大值的对数值。那么，对于所述色彩分量的每个块堆栈，由于计算所识别的最大值的对数值并且相加所计算的对数值可以避免数值的不稳定性，因此进行这样的计算是有利的。
特别地，为所述色彩分量的每个块堆栈分别标识的最大值进行相乘可以作为包括相加对数值的方案的替代方案。
在第三方面所述方法的第十种实现方式中，由网格定义的块位置是相邻的或重叠的。
由此，所述像素块可以相邻且不重叠，从而覆盖整个校准图像。或者，所述像素块可以重叠以获得更准确的结果。
在第三方面所述方法的第十一种实现方式中，所述多个候选缩减集合的大小相同，其中，所述大小是由用户预定义或定义的。
本发明的第四方面提供了一种包括程序代码的计算机程序，当所述计算机程序在计算机设备上运行时，用于执行本发明第三方面所述方法。
根据本发明，在HDR校准模式中，从可用曝光时间的主集合或基本集合中选择由N个曝光时间组成的候选缩减集合或子集合。所述主集合由M个可用曝光时间或候选曝光时间组成，其中M>N。然后，在例如HDR操作模式下，使用所选择的曝光时间的候选缩减集合进行实际的HDR处理。
为了缩减包括M个可用曝光时间的集合，由用户定义或由设备预定义用于实际HDR处理的曝光时间缩减集合的大小N。优选地，在所述HDR校准模式下对该大小N进行定义。
然后，在所述HDR校准模式中，针对每个包括N个不同曝光时间的可能的候选缩减集合计算得分值。在计算出每个可能的候选缩减集合的得分值之后，选择具有最佳得分值的候选缩减集合作为方案，即选择用于在HDR操作模式下执行HDR处理。
因此，本发明提出了一种HDR校准模式，用于选择曝光时间的候选缩减集合，同时保留最终HDR方案中的大部分细节。
需要注意的是，本申请所描述的所有设备、元件、单元和方式均可在软件或硬件元件或它们的任意组合中实现。本申请中描述的各种实体所执行的步骤以及所描述的各种实体要执行的功能均意在指各个实体用于执行各个步骤和功能。即使在具体实施例的下述描述中，完全由外部实体形成的具体功能或步骤未在执行该具体步骤或功能的该实体的具体细节元件的描述中反映，技术人员应清楚可以在各个软件或硬件元件或它们的任意组合中实现这些方法和功能。
附图说明
结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：
图1示出了本发明实施例提供的一种系统；
图2示出了本发明实施例提供的校准图像和块堆栈；
图3示出了本发明实施例提供的一种方法；
图4示出了本发明实施例提供的一种方法；
图5示出了本发明实施例提供的得分值计算。
具体实施方式
图1示出了本发明实施例提供的一种系统100。
所述系统100包括本发明实施例提供的一种设备102。
本发明实施例提供的所述设备102用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像。
所述设备102包括存储单元103，用于存储可选曝光时间的主集合104和作为所述主集合104的各个子集合的多个候选缩减集合105。
所述设备102包括校准控制单元106，用于在所述主集合104的每个曝光时间控制捕获校准图像。
所述设备102包括计算单元107，用于：针对每个候选缩减集合105，选择在所述候选缩减集合105的曝光时间捕获的校准图像，并且根据所述选择的校准图像的强度计算得分值。所述设备102包括选择单元108，用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合105中选择候选缩减集合110。
所述设备102包括HDR控制单元109，用于在所述选择的候选缩减集合110的每个曝光时间控制捕获所述多个图像以获得所述HDR图像。
除了所述设备102，本发明实施例提供的所述系统100还包括HDR图像处理单元111和至少一个相机101。
在所述系统100中，所述校准控制单元106用于通过所述至少一个相机101控制捕获所述校准图像。所述HDR控制单元109用于通过所述至少一个相机101控制捕获捕获多个图像。所述HDR图像处理单元111用于合并所述多个图像以获得所述HDR图像。
图1所示的所述系统100包括单个相机101，并且可以用于确定所述相机的两个或两个以上曝光时间，因此可以仅从由该单个相机101在所述选择的候选缩减集合110定义的曝光时间捕获的图像中获得所述HDR图像。或者，所述系统可以是包括一个以上相机的多相机系统，因此可以从由多个相机捕获的图像中获得所述HDR图像，其中，由所述选择的候选缩减集合110所定义的每个曝光时间可以仅分配给一个相机。本发明的单相机或多相机系统可以用于根据2D或3D成像获得HDR图像。
图2示出了本发明实施例提供的校准图像201、202和203。
由于校准图像是在所述主集合104的每个曝光时间分别捕获的，因此由所述校准控制单元106控制捕获所述校准图像。
对于每个候选缩减集合105，所述计算单元107选择在所述候选缩减集合105的曝光时间捕获的校准图像201、202和203。然后，所述计算单元107根据所述选择的校准图像201、202和203的强度计算所述得分值。
在图1的特定实施例中，所述可选曝光时间的主集合包括M(＝3)个可用曝光时间。所述三个可用的曝光时间为t1、t2、t3，且所述主集合104对应{t1，t2，t3}。在所示出的实施例中，HDR操作模式的曝光时间的数量N选为2。因此，所述存储单元103存储的多个候选缩减集合105对应集合{t1，t2}、{t1，t3}，和{t2，t3}。
如图1实施例的示例所示，所述候选缩减集合可以是从大小为M的所述主集合获得的所有可能的大小为N的候选缩减集合。或者，所述候选缩减集合可以是从所述主集合中获得的所有可能的候选缩减集合中的预减数目个集合。
图3示出了本发明实施例提供的一种方法，特别是用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像的方法300。
所述方法包括：存储301可选曝光时间的主集合104和作为所述主集合104的各个子集合的多个候选缩减集合105。
所述方法包括：在所述主集合104的每个曝光时间控制302捕获校准图像。
所述方法包括：针对每个候选缩减集合105，选择303在所述候选缩减集合105的曝光时间捕获的校准图像201、202和203，并且根据所述选择的校准图像201、202和203的强度计算304得分值。
所述方法包括：基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合105中选择305候选缩减集合110。
所述方法包括：在所述选择的候选缩减集合110的每个曝光时间控制306捕获所述多个图像以获得所述HDR图像。
在本发明的特定实施例中，所述校准图像201、202和203具有色彩分量。在本实施例中，所述计算单元107用于：针对每个候选缩减集合105，根据定义块位置的网格将每个选择的校准图像201、202和203的色彩分量划分为像素块1，1、……、1，6；2，1、……、2，6；N，1、……、N，6，从而根据所述选择的校准图像201、202和203的色彩分量的强度来计算所述得分值。在图2的实施例中，每个校准图像201、202和203被划分为定义6个块位置的网格。例如，在曝光时间t1捕获到的所述校准图像201包括网格定义的6个像素块1，1、1，2、1，3、1，4、1，5，和1，6。优选地，所述网格中的所有候选图像的大小相同。在图2的实施例中，网格大小是2×3个像素块。虽然图2所示的网格的形状为矩形，但也可以使用非矩形网格。
所述计算单元107用于针对每个选择的校准图像201、202和203的所述色彩分量的每个像素块，计算与所述像素块1，1、……、1，6；2，1、……、2，6；N，1、……、N，6中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块1，1、……、1，6；2，1、……、2，6；N，1、……、N，6关联。
所述计算单元107用于在每个块位置处为所述块位置定义块堆栈204、205，和206，其中，所述块堆栈包括每个选择的校准图像201、202和203的所述色彩分量的像素块。
例如，图2示出了与所述校准图像201的像素块1，1对应的网格的左上块位置。该块位置也对应于所述校准图像202的像素块2，1和所述校准图像203中的像素块N，1。这些像素块1，1、2，1、……、N，1一起构成所述块堆栈204，在图2中也称为“3D块堆栈1”。类似地，所述块堆栈205包括位于所有校准图像201、202和203的中上位置的像素块1，2、2，2、……、N，2。所示块堆栈206包括位于网格定义的右下块位置的像素块1，6、2，6、N，6。换言之，采集对应每个块位置的全部像素块并且捆绑为相应的3D块堆栈204、205，和206。
在图2中，每个像素块均由一对(m，b)表示，其中，b定义特定校准图像m的块位置。值m是校准图像索引，即，由于每个校准图像对应于其被捕获时的一个曝光时间，所以m也是曝光时间索引。值b为块位置索引，其中，图2中使用的网格定义了b＝6个块位置，其中b为1到6中的值。图2示出了一个N个图像的候选缩减集合以及对应每个块位置b的6个大小为N的块堆栈。
所述计算单元107用于针对每个块堆栈204、205，和206识别与构成所述块堆栈的像素块相关的所述强度相关值的最佳值尤其是最大值。
所述计算单元107用于基于针对所述色彩分量的每个块堆栈204、205和206识别的所述最佳值尤其是最大值来计算所述候选缩减集合105的色彩分量得分值。此处的色彩分量得分值对应所述得分值。
在本发明的可选实施例中，所述校准图像201、202和203具有多个色彩分量。在本实施例中，每个选择的校准图像201、202和203的每个色彩分量被划分为像素块1，1、……、1，6；2，1、……、2，6；N，1、……、N，6，并且针对每个色彩分量的每个像素块计算强度相关值，并将其与所述像素块相关联。然后，针对每个色彩分量的每个块位置定义块堆栈204、205，和206，并且针对每个块堆栈204、205，和206识别所述强度相关值的最佳值尤其是最大值。然后，针对每个色彩分量，基于为所述色彩分量的每个块堆栈标识的最佳值尤其是最大值，计算所述候选缩减集合的色彩分量得分值。最后，根据每个色彩分量的各个色彩分量得分值计算所述得分值，例如通过组合每个色彩分量的各个色彩分量得分值或通过从每个色彩分量的色彩分量得分值中选择最佳色彩分量得分。
图4示出本发明另一实施例提供的一种方法，尤其是用于选择在HDR操作模式中使用的候选缩减集合110的HDR校准模式的实施例。
首先，M个校准图像是在不同的曝光时间捕获401的，即所述主集合104中的M个不同的曝光时间。然后，将所有校准图像转换402为灰度图像，即，将所述校准图像转换成具有灰度色彩分量形式的单色彩分量的校准图像。选择403下一个曝光时间的候选缩减集合，计算404并缓存405所述选择的候选缩减集合的得分值。测试是否已选择/测试406所有候选缩减集合。若测试结果为否，选择该下一个候选缩减集合。若测试结果为是，则该过程执行最后的步骤，选择/生成407HDR操作模式中具有最佳得分的候选缩减集合。
图4示出候选缩减集合的串行或循环处理以获得其用于选择最佳缩减集合的得分值。在可选实施例中，计算404所述得分值的步骤可针对全部或一些候选缩减集合并行执行，其中，基于选择标准选择所述最佳候选缩减集合，例如，在基于熵确定得分的情况下选择的候选缩减集合具有最高得分，这将在图5的实施例中更详细地描述。
图5示出了本发明实施例提供的对得分值进行计算304和404。
图5示出计算候选缩减集合105，其中，计算的输入是所述候选缩减集合105中N(<M)个选择的校准图像。这些校准图像实际上对应于在所述候选缩减集合105的曝光时间捕获的图像。在图5的实施例中，所述校准图像的形式为灰度图像，即这些校准图像被转换成单色彩分量图像。
在第一步骤中，针对每个输入校准图像的每个像素块或网格块计算501直方图。该直方图为所述像素块的像素强度的直方图，并描述了所述像素块内强度为i的像素hi的数量。
在第二步骤中，基于所述像素块的像素强度的直方图来计算502每个像素块的熵值Em,b。该熵值对应于为每个像素块计算的强度相关值。
所述直方图可以用于根据以下等式计算每个校准图像m和像素块b的熵值：
Figure GDA0001651516230000141
其中：
b为块索引；
m为图像索引；
pi为像素强度i出现的概率，例如i＝0、……、255。
根据以下等式从图像强度的直方图中直接计算该概率pi：
Figure GDA0001651516230000142
在第三步骤中，计算503每个块堆栈204、205，和206的最大熵，例如通过计算块堆栈内的每个像素块的熵，并在这些计算出的每个像素块的熵值中选择最大熵。一个特定校准图像m的最大熵是给定的。由此，根据以下等式为每个像素块堆栈b分配一个最大熵：
Figure GDA0001651516230000143
在第四步骤中，根据以下等式计算504所有块堆栈的对数和，得到候选缩减集合的色彩分量得分值，其中所述候选缩减集合的色彩分量得分值对应于所述计算单元107计算304的得分值，且该等式为：
Figure GDA0001651516230000144
这个步骤的优点是当计算所述色彩分量得分值时可以避免数值的不稳定性。
第四步骤的替代方法可以包括：计算所有块堆栈204、205，和206的所有最大熵值的乘积。然后，选择307具有最佳即最大色彩分量得分值的候选缩减集合作为方案，即，作为用在HDR操作模式中的候选缩减集合。在所述HDR校准模式结束后，所选择的曝光时间的候选缩减集合被选为所述HDR操作模式中的N个曝光时间的固定集合，进行实际的HDR处理等。
可选地，在所述HDR校准模式中捕获的校准图像也可以在所述HDR操作模式中用于HDR处理。例如，可以在所述HDR操作模式中使用全部M个校准图像或者仅使用对应所选的曝光时间的候选缩减集合的N个校准图像。这种模式可以是组合的校准/操作模式。
在第二步骤中已经计算502熵值。在另一种方法中，不计算熵，而是根据以下等式计算方差v2：
Figure GDA0001651516230000151
其中：
X和Y是像素块的大小，例如，像素块的宽度和高度；
i(x，y)为在所述像素块内的像素位置(x，y)处的像素强度；
a为所述像素块内的平均像素强度值。
图5的实施例包括计算灰度图像形式的单色彩分量校准图像的色彩分量得分值。可选地，所述校准图像也可以是多色彩分量图像，如RGB图像等彩色图像。在这种情况下，分别针对每个色彩分量计算色彩分量得分值，并将所有色彩分量的色彩分量得分值相加以获得所述计算单元107计算(304)出的得分值。
已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其它变体。在权利要求以及描述中，术语“包括”不排除其他元件或步骤，且“一个”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的组合不能在有利的实现方式中使用。

Claims (12)

1.一种用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像的设备(102)，其特征在于，
所述设备包括：
存储单元(103)，用于存储多个可选曝光时间的主集合(104)和分别为所述主集合(104)的子集合的多个候选缩减集合(105)；
校准控制单元(106)，用于在所述主集合(104)的每个曝光时间控制捕获(401)校准图像；计算单元(107)，用于：针对每个候选缩减集合(105)，选择(403)具有所述候选缩减集合(105)中的曝光时间的校准图像(201、202和203)，并且根据所述选择的校准图像(201、202和203)的强度计算(404)得分值；
选择单元(108)，用于基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合(105)中选择(407)候选缩减集合(110)；
HDR控制单元(109)，用于在所述选择的候选缩减集合(110)的每个曝光时间控制捕获所述多个图像以获得所述HDR图像；
所述校准图像是用于校准的图像，所述校准图像不需要具备预定义的图案或预定义的颜色。
2.根据权利要求1所述的设备，其特征在于，
所述校准图像为具有单个色彩分量的单色彩分量图像，或者所述设备包括转换单元，用于将所述校准图像转换为具有单个色彩分量的单色彩分量图像；
所述计算单元(107)用于：针对每个候选缩减集合(105)，根据所述选择的校准图像(201、202和203)的色彩分量的强度通过以下方式计算(404)所述得分值：
根据定义块位置的网格将每个选择的校准图像(201、202和203)的色彩分量划分为像素块，每个像素块均由一对(m，b)表示，其中，m是校准图像索引，b是块位置索引；
针对每个选择的校准图像(201、202和203)的所述色彩分量的每个像素块，计算(502)与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；
在每个块位置处为所述块位置定义块堆栈(204、205和206)，其中，所述块堆栈包括每个选择的校准图像(201、202和203)上位于同一块位置的像素块；
针对每个块堆栈(204、205和206)识别(503)与构成所述块堆栈的各个像素块相关的所述强度相关值中的最佳值Eb max；
基于针对所述色彩分量的每个块堆栈(204、205和206)识别的所述最佳值来计算(504)所述候选缩减集合(105)的色彩分量得分值；
其中，所述色彩分量得分值为所述得分值。
3.根据权利要求1所述的设备，其特征在于，
所述校准图像具有多个色彩分量；
所述计算单元(107)用于：针对每个候选缩减集合(105)，根据所述选择的校准图像(201、202和203)的色彩分量的强度通过以下方式计算(404)所述得分值：
根据定义块位置的网格将每个选择的校准图像(201、202和203)的每个色彩分量划分为像素块，每个像素块均由一对(m，b)表示，其中，m是校准图像索引，b是块位置索引；
针对每个选择的校准图像(201、202和203)的每个色彩分量的每个像素块，计算(502)与所述像素块中的像素强度相关的强度相关值，并且将所述强度相关值与所述像素块关联；
在每个块位置处为每个色彩分量和所述块位置定义块堆栈(204、205和206)，其中，所述块堆栈包括每个选择的校准图像(201、202和203)上位于同一块位置的像素块；
针对每个块堆栈(204、205和206)识别(503)与构成所述块堆栈的各个像素块相关的所述强度相关值中的最佳值Eb max；
基于针对所述色彩分量的每个块堆栈(204、205和206)识别的所述最佳值，为每个色彩分量计算(504)所述候选缩减集合(105)的色彩分量得分值；
根据每个色彩分量的各个色彩分量得分值来计算所述得分值。
4.根据权利要求3所述的设备，其特征在于，
所述校准图像为多色彩分量图像；
通过组合每个色彩分量的各个色彩分量得分值或通过从每个色彩分量的色彩分量得分值中选择最佳色彩分量得分来计算所述得分值。
5.根据权利要求2至4中任一项所述的设备，其特征在于，
所述计算单元(107)用于通过以下方式计算(502)与所述像素块的像素强度相关的强度相关值；
计算(501)所述像素块的像素强度的直方图；
基于所述像素块的像素强度的所述直方图，计算(502)所述像素块的熵值Em,b，其中，所述熵值对应于所述强度相关值。
6.根据权利要求5所述的设备，其特征在于，
根据以下等式计算所述像素块的熵值：
Figure FDA0002980442360000021
其中，pi为在校准图像m的像素块b中出现像素强度i的概率，pi是从校准图像m的像素块b的直方图中计算得到的。
7.根据权利要求2至4中任一项所述的设备，其特征在于，
所述计算单元(107)用于通过以下方式计算(502)与所述像素块的像素强度相关的强度相关值：
计算所述像素块的像素强度的方差值v2，其中，所述方差值对应所述强度相关值。
8.根据权利要求7所述的设备，其特征在于，
根据以下等式计算所述像素块的像素强度的所述方差值：
Figure FDA0002980442360000031
其中，X和Y是所述像素块的大小；
i(x，y)是在所述像素块内的像素位置(x，y)处的像素强度；
a是所述像素块内的平均像素强度值。
9.根据权利要求2至4中任一项所述的设备，其特征在于，
所述计算单元(107)用于通过以下方式识别(503)与构成所述块堆栈的像素块相关的所述强度相关值的最佳值Eb max：
识别与构成所述块堆栈的像素块相关的所述强度相关值的最大值，所述最大值作为所述最佳值Eb max；
所述计算单元(107)用于通过以下方式基于针对所述色彩分量的每个块堆栈(204、205和206)识别的所述最佳值来计算(504)所述候选缩减集合(105)的色彩分量得分值；
对针对所述色彩分量的每个块堆栈(204、205和206)分别标识的最大值Eb max或从所述最大值中导出的值进行相加或相乘。
10.根据权利要求2至4中任一项所述的设备，其特征在于，
所述多个候选缩减集合(105)的大小相同。
11.一种系统(100)，其特征在于，包括根据前述权利要求1-10中任一项所述的设备(102)、HDR图像处理单元(111)以及至少一个相机(101)，其中：
所述校准控制单元(106)用于通过所述至少一个相机(101)控制捕获(401)所述校准图像；所述HDR控制单元(109)用于通过所述至少一个相机(101)控制捕获所述多个图像；
其中，所述HDR图像处理单元(111)用于合并所述多个图像以获得所述HDR图像。
12.一种用于控制捕获多个图像以获得高动态范围(High Dynamic Range，简称HDR)图像的方法(300)，其特征在于，
所述方法包括：
存储(301)可选曝光时间的主集合(104)和作为所述主集合(104)的各个子集合的多个候选缩减集合(105)；
在所述主集合(104)的每个曝光时间控制(302)捕获校准图像；
针对每个候选缩减集合(105)，选择(303)在所述候选缩减集合(105)的曝光时间捕获的校准图像(201、202和203)，并且根据所述选择的校准图像(201、202和203)的强度计算(304)得分值；
基于所述计算的所有候选缩减集合的得分值，从所述多个候选缩减集合(105)中选择(305)候选缩减集合(110)；
在所述选择的候选缩减集合(110)的每个曝光时间控制(306)捕获所述多个图像以获得所述HDR图像；
所述校准图像是用于校准的图像，所述校准图像不需要具备预定义的图案或预定义的颜色。
CN201580084389.5A 2015-11-11 2015-11-11 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法 Active CN108353133B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/076290 WO2017080592A1 (en) 2015-11-11 2015-11-11 Device and method for reducing the set of exposure times for high dynamic range video/imaging

Publications (2)

Publication Number Publication Date
CN108353133A CN108353133A (zh) 2018-07-31
CN108353133B true CN108353133B (zh) 2021-06-15

Family

ID=54697543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580084389.5A Active CN108353133B (zh) 2015-11-11 2015-11-11 用于缩减高动态范围视频/成像的曝光时间集合的设备和方法

Country Status (6)

Country Link
US (1) US10645304B2 (zh)
EP (1) EP3363193B1 (zh)
JP (1) JP6632724B2 (zh)
KR (1) KR102120269B1 (zh)
CN (1) CN108353133B (zh)
WO (1) WO2017080592A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
KR102680342B1 (ko) 2019-09-23 2024-07-03 삼성전자주식회사 복수의 이미지 센서들에 의해 획득되는 이미지 데이터에 기초하여 비디오 hdr 처리를 수행하기 위한 전자 장치
CN110636227B (zh) * 2019-09-24 2021-09-10 合肥富煌君达高科信息技术有限公司 高动态范围hdr图像合成方法及集成该方法的高速相机
CN112616013B (zh) * 2020-12-03 2022-03-04 上海龙旗科技股份有限公司 实现自动hdr的方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524347A (ja) * 2000-02-23 2003-08-12 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 高ダイナミックレンジ画像を獲得する方法及び装置
CN101166240A (zh) * 2006-10-19 2008-04-23 索尼株式会社 图像处理装置、成像装置、图像处理方法
CN101523897A (zh) * 2006-07-31 2009-09-02 惠普开发有限公司 具有降低噪声的电子图像捕获
WO2009108182A1 (en) * 2008-02-25 2009-09-03 Sorin Davidovici System and method for a high dynamic range image sensor sensitive array

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56121020A (en) 1980-02-26 1981-09-22 Minolta Camera Co Ltd Exposure controller of camera
KR20090127602A (ko) * 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
JP5468930B2 (ja) * 2009-02-18 2014-04-09 オリンパス株式会社 画像処理装置及び画像処理プログラム
US8743235B2 (en) * 2009-11-04 2014-06-03 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
US9706130B2 (en) * 2015-05-28 2017-07-11 Blackberry Limited Camera having HDR during pre-flash

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003524347A (ja) * 2000-02-23 2003-08-12 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 高ダイナミックレンジ画像を獲得する方法及び装置
CN101523897A (zh) * 2006-07-31 2009-09-02 惠普开发有限公司 具有降低噪声的电子图像捕获
CN101166240A (zh) * 2006-10-19 2008-04-23 索尼株式会社 图像处理装置、成像装置、图像处理方法
WO2009108182A1 (en) * 2008-02-25 2009-09-03 Sorin Davidovici System and method for a high dynamic range image sensor sensitive array

Also Published As

Publication number Publication date
EP3363193A1 (en) 2018-08-22
JP2019501567A (ja) 2019-01-17
US10645304B2 (en) 2020-05-05
JP6632724B2 (ja) 2020-01-22
KR20180084851A (ko) 2018-07-25
US20180262673A1 (en) 2018-09-13
WO2017080592A1 (en) 2017-05-18
KR102120269B1 (ko) 2020-06-08
CN108353133A (zh) 2018-07-31
EP3363193B1 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
US8072507B2 (en) Method and system of generating high dynamic range image corresponding to specific scene
CN108377343B (zh) 用于高动态范围成像的曝光选择器及其相关的方法
US10021313B1 (en) Image adjustment techniques for multiple-frame images
US20180332263A1 (en) Image processing apparatus and image processing method thereof
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
CN108335272B (zh) 一种拍摄图片的方法及设备
US10645304B2 (en) Device and method for reducing the set of exposure times for high dynamic range video/imaging
CN105120247A (zh) 一种白平衡调整方法及电子设备
US10943340B2 (en) Blending images
CN108322651A (zh) 拍摄方法和装置、电子设备、计算机可读存储介质
CN112351195A (zh) 图像处理方法、装置和电子系统
TWI694722B (zh) 用於高動態範圍成像的曝光位準控制、系統和方法
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
US11640654B2 (en) Image processing method and apparatus
EP4090006A2 (en) Image signal processing based on virtual superimposition
CN116055891A (zh) 图像处理方法及其装置
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质
CN115086566B (zh) 图片场景检测方法、装置
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
CN118574010A (zh) 拍照处理方法、装置、设备和存储介质
Chaurasiya et al. High dynamic range imaging for dynamic scenes
CN118505739A (zh) 图像处理方法、装置和图像处理设备
CN113837951A (zh) 图像亮度提高方法、装置、数据处理设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant