CN109997351B - 用于生成高动态范围图像的方法和装置 - Google Patents

用于生成高动态范围图像的方法和装置 Download PDF

Info

Publication number
CN109997351B
CN109997351B CN201680090727.0A CN201680090727A CN109997351B CN 109997351 B CN109997351 B CN 109997351B CN 201680090727 A CN201680090727 A CN 201680090727A CN 109997351 B CN109997351 B CN 109997351B
Authority
CN
China
Prior art keywords
image
invalid
generating
window
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090727.0A
Other languages
English (en)
Other versions
CN109997351A (zh
Inventor
法赫德·布扎拉
奥纳伊·优厄法利欧格路
伊布拉希姆·哈法奥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN109997351A publication Critical patent/CN109997351A/zh
Application granted granted Critical
Publication of CN109997351B publication Critical patent/CN109997351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种用于生成高动态范围(High Dynamic Range，简称HDR)图像的方法和装置。所述方法包括获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；通过融合所述参考图像和所述一个或多个非参考图像生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略所述相应非参考图像中的无效区域。

Description

用于生成高动态范围图像的方法和装置
技术领域
本申请涉及用于从至少两个输入图像生成高动态范围图像的装置和方法。
具体地，本申请涉及生成高动态范围图像的装置和方法，这涉及检测一个或多个输入图像中的动态像素。
背景技术
高动态范围成像(High Dynamic Range Imaging，简称HDRI)和曝光融合(Exposure Fusion，简称EF)是计算扩展描绘真实场景的图像动态范围的首选方法。令人遗憾的是，这些方法仍然易于产生某些伪影。其中，当涉及处理输入低动态范围(Low DynamicRange，简称LDR)图像中的运动(相机或场景运动)时，所谓的重影效应是最关键的高动态范围(High Dynamic Range，简称HDR)限制。
在曝光融合(Exposure Fusion，简称EF)的情况下，使用加权图合并输入图像，所述加权图会评估LDR的饱和度、曝光度和对比度。这一技术基于以下假设：输入LDR是对齐的(静态场景)。但是，真实场景大多是动态的，并且包含移动物体。这会产生重影效应，导致物体出现在最终图像中的多个位置。
当输入图像栈仅包含几个色差很大的图像时，这个问题变得更具挑战性，移动电话领域中就是这种情况。为了解决这一问题，需要执行去重影步骤以保证最终HDR图像的质量。
现存在基于运动图的去重影方法阵列，所述阵列可指示相应动态像素的位置。当输入栈提供大量不同曝光的LDR时，这些方法通常很有效。如果是两个光强差异很大的输入图像，则这些方法通常就没有用了。
发明内容
因此，本申请的目的在于提供一种稳健的去重影方法，所述方法可在许多情况下有效执行，尤其是在只有几个(例如，两个或三个)不同曝光的图像可用作输入，且这些图像的光照变化很大的情况下。
上述目的通过所附独立权利要求中提供的解决方案实现。有利的实现方式在相应的从属权利要求中定义。
本申请的第一方面提供了一种用于生成高动态范围(High Dynamic Range，简称HDR)图像的方法，包括：
获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；
针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；
通过融合所述参考图像和所述一个或多个非参考图像生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略所述相应非参考图像中的无效区域。
所述图像分析尤其包括：
通过从所述参考图像中减去所述非参考图像来生成所述非参考图像的差别图像，反之亦然(即，从所述非参考图像中减去所述参考图像)；
通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像；
其中，所述评估是在所述对比度增强的差别图像的基础上执行的。
本发明的第二方面提供了一种用于生成HDR图像的装置，包括处理器，其中，所述处理器用于：
获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；
针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；
通过融合所述参考图像和所述一个或多个非参考图像中的每一个来生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略所述相应非参考图像中的无效区域。
所述图像分析进一步包括：
通过从所述参考图像中减去所述非参考图像来生成所述非参考图像的差别图像，反之亦然；
通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像；
其中，所述处理器用于根据所述对比度增强的差别图像执行评估。
本发明的第三方面提供了一种计算机程序，所述计算机程序具有程序代码装置，用于在计算机上执行所述程序或提供数字信号处理器时，执行所述第一方面提供的方法。
本发明的第四方面提供了一种计算机程序产品，所述计算机程序产品具有计算机可读介质，所述计算机可读介质具有存储的程序代码装置，用于在计算机上执行所述程序或提供数字信号处理器时，执行所述第一方面提供的所述方法。
附图说明
图1是本申请实施例提供的一种用于生成HDR图像的方法的示意性流程图；
图2a是前述实施例的示例；
图2b是前述实施例的另一个示例；
图3是本申请实施例生成运动图的流程图；
图4a是最终运动图M的示例；
图4b是最终运动图M的另一个示例；
图5用示意图的方式示出了用于生成HDR图像的装置的示例；
图6用示意图的方式示出了用于生成HDR图像的另一装置的示例。
具体实施方式
参考附图描述用于生成HDR(高动态范围)图像的方法、装置和程序产品的说明性实施例。尽管该描述提供了可能实现方式的详细示例，但需要说明的是，这些详细信息旨在提供示例，绝不意在限制本申请的范围。
此外，实施例/示例可以参考其它实施例/示例。例如，任何描述，包括但不限于一个实施例/示例中提到的术语、元件、过程、解释和/或技术优点，都适用于其它实施例/示例。
为了便于说明，下方列出的缩写和术语可以在本发明的以下实施例中被用来作为示例，而不是用于进行限制。
HM-直方图匹配
HDR-高动态范围
HDRI-高动态范围成像
LDR-低动态范围
OF-光流
CRF-相机响应函数
EF-曝光融合
图像：数码相机对真实世界或合成场景的视觉再现；也被称为图片。
像素：最小的可寻址图片/图像元素。
窗口：从图像中提取的矩形像素块。
颜色映射：(也称为颜色校准、颜色匹配)是将一个图像(源图像)的颜色映射到另一个图像(参考图像)的颜色的操作。
图像直方图：图像的像素颜色强度分布的图形表示。
参考图像：属于输入图像栈的LDR图像。最终HDR图像是参考图像的修改版本，它具有更宽的动态范围。
曝光：描述了捕获设备(相机……)聚集的光量。低曝光图像看起来很暗，高曝光图像看起来很亮。
动态像素：与参考图像内具有相同像素坐标的像素相比，属于所捕获场景的不同部分的图像像素。动态像素通常属于运动物体。动态像素也可以称为运动像素。
运动图：与参考图像相比，指示动态像素在相应非参考图像中的位置的二值图。
重影效应：HDR图像中的图像噪声(伪影)的类型，其由合并多个未对齐的输入图像(由于相机或场景运动而造成未对齐)引起。在HDR中多次描绘运动相关的物体，这产生了重影效应。
图1中的流程图示意性地示出了实施例提供的用于生成HDR图像的方法。所述方法包括步骤102和103。
步骤101：获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像。
所述输入图像是某个场景的不同曝光的图像。
可以通过从执行此方法的装置可访问的设备或网络接收来获得所述输入图像。还可以通过由所述装置生成来获得所述输入图像。例如，所述装置可以使用其相机生成所述输入图像。
步骤102：针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效。
区域可以是一个像素，也可以是一组像素。
如果第一图像中的区域和第二图像中的区域相互对应，其中所述第二图像与所述第一图像在几何上相同，则两个图像的两个区域具有相同的图像内容。如果两个区域在形状、大小和相对于图像边角的位置上相同，则所述两个区域相互对应。
所述图像分析还可以包括以下子步骤：(102a)通过从所述参考图像中减去所述非参考图像或从所述非参考图像中减去所述参考图像来生成所述非参考图像的差别图像；(102b)通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像。在这种情况下，上述评估基于所述对比度增强的差别图像。
在子步骤102b中，应用所述对比度增强变换的过程包括：针对所述差别图像的多个区域中的每个区域，对所述区域的强度值应用S形函数。例如，所述S形函数可以是逻辑函数。
评估所述非参考图像的所述区域和所述参考图像的对应区域是否显示相同图像内容的示例包括：将所述差别图像的对应区域的强度值与阈值进行比较。
可选地，可以在执行所述图像分析之前执行以下步骤：
针对所述一个或多个非参考图像中的每一个，在执行所述图像分析之前执行所述非参考图像的曝光变换或所述参考图像的曝光变换，以减小所述非参考图像和所述参考图像之间的总体色差或亮度差。
可选地，可以根据控制参数调整所述对比度增强变换，例如所述参考图像和所述非参考图像的特征。所述特征可以是所述参考图像和所述非参考图像之间的色差。
步骤103：通过融合所述参考图像和所述一个或多个非参考图像中的每一个来生成HDR图像。所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略所述相应非参考图像中的无效区域。
例如，可以通过向每个无效区域分配权重零来执行所述忽略操作。
可以通过执行子步骤102i-102iv基于所述非参考图像确定步骤102中的所述阈值：
102i：生成所述非参考图像的直方图，其中所述直方图包括多个区间，所述多个区间中的每个区间覆盖相同的强度范围并且具有区间中心；
102ii：计算所述多个区间中每个区间的减少，其中所述减少是指所述多个区间中两个相邻区间的中心处的像素数量之间的差值；
102iii：从所述多个区间中识别区间，其中所识别区间的减少大于所述多个区间中任何未识别区间的减少；
102iv：根据所识别区间及其下一个区间这两个区间中心中间的点的强度来计算所述阈值。
可选地，步骤102中的所述图像分析还可以包括对所述相应非参考图像的无效区域执行形态运算。所述形态运算可以包括：
计算所述对比度增强的图像中第一窗口内的无效像素数，其中所述第一窗口以无效像素为中心；
根据所述第一窗口内计算得出的无效像素数，将所述第一窗口为中心的无效像素声明为有效或无效；
及/或
在所述对比度增强的图像中定义位于无效像素旁边的第二窗口；
如果所述第二窗口的中心像素是无效像素，将所述第二窗口内的每个像素声明为无效。
动态像素是无效像素。相应地，静态像素是有效像素。
该方法基于简单而有非常准确的图像分析算法提供HDR去重影。该方法允许更大的色差(不同的曝光度)以及小输入图像栈。
图2a示出了前述实施例的示例。在此示例中，处理的是一对输入图像。需要说明的是，此示例也适用于两个以上的输入图像。
步骤201：获取一对LDR图像b和d。
图像b是明亮LDR，即长时间曝光产生的LDR。图像d是昏暗LDR，即短时间曝光产生的LDR。
所述图像b和d表现出场景差异和/或内容差异。场景差异通常与相机运动或捕获设置的性质(立体/多相机设置)有关。内容差异是由移动物体造成的。
所述输入图像可以采用上述步骤101中描述的不同方式获得。在使用相机的情况下，所述输入图像可以通过使用立体/多相机设置同时捕获或通过具有额外时间维度的相同相机按顺序捕获。
步骤202：检测所述输入图像中的动态像素以生成运动图M。
所述输入图像中的动态像素与场景和/或相机运行有关。
所述运动图是二值掩码，由0和1组成。0表示动态像素，1表示非运动(静态)像素。动态像素无效，静态像素有效。
检测和生成所述运动图的过程是上述步骤102中的所述图像分析的示例。因此，步骤202中的所述运动图是执行上述步骤102的将所述非参考图像的相应区域声明为有效(非运动或静态)或无效(动态或运动)这一子步骤之后获得的结果的示例。
步骤203：将图像b和d中的一个指定为参考图像。
在两个以上输入图像的情况下，所述参考图像在步骤202之前指定。在这种情况下，步骤203可以省略，因为其已在步骤202之前执行。
步骤204：通过使用曝光融合的修改版本基于所述运动图和所述参考图像生成最终HDR图像。
所述最终HDR是具有扩展动态范围版本的所述参考LDR。
所述运动图M用于通过将曝光融合算法(或运动图，在2个以上LDR的情况下)包含在所述输入图像的加权图(下方的Wi(p))中来修改曝光融合算法：
Figure BDA0002054978480000061
其中，Ci(p)是像素p处的图像i的对比度图，Si(p)是饱和度图，Ei(p)是曝光度图。参数wc、ws和we代表相应的功率值。Mi(p)是先前计算的图像i的运动图。图像i可以是图像b或d。在两个输入图像的情况下，对应于指定参考图像的运动图由一(“1”)组成，因为所述参考图像的运动图指示所有像素均为有效像素。有效像素是静态像素(非运动像素)，使用“1”表示。否则，“0”表示动态像素(运动像素)。
计算得出的运动图M分配给所述非参考图像。在两个以上输入图像的情况下，根据所述等式针对运动相关的区域将所述非参考图像的加权图设置为零，以便从所述最终HDR图像中排除这些像素。
如上所述，如果存在两个以上输入图像，则可以在步骤202之前执行步骤203。选择了参考图像之后，将对每一对参考和非参考LDR应用步骤202和204中的算法。在N个输入图像的情况下，所述算法计算(N-1)运动图，同样如前面所述，所述运动图将在曝光融合阶段期间集成到最终加权图中。图2b汇总了这些步骤。
图3是本申请另一实施例提供的步骤202的示意性流程图。所提出的运动检测算法的基本理念是探索图像b和图像d之间的差别图像。图像b和图像d之间可能存在需要减小的较大色差。
步骤301：基于图像b和d生成转换图像h。
图像h与图像b具有相同的颜色属性，而与图像d具有相同的内容，减小了图像b和d之间的色差。
图像h可以使用颜色映射生成，例如直方图匹配(Histogram Matching，简称HM)。HM是低复杂度算法，它将源图像的累积分布函数(Cumulative Distribution Function，简称CDF)与具有预期颜色分布的目标图像的CDF相匹配。在此实施例中，图像d被认为是源图像，因为与图像b相比它通常包含更少的饱和区域。
在两个输入图像的情况下，步骤301不影响步骤203所述的参考图像选择，因为所述转换图像h可以分配给图像d或图像b。
步骤302：将图像b扭曲成图像h以获得扭曲图像w。
由此减小图像b和d之间的内容差异。
在此步骤中，如果所述输入图像包含与相机相关的运动(平移和旋转)，则可以应用可选的全局运动配准步骤。
此步骤基于单应矩阵H的计算。为此，可以使用加速稳健特征(SpeededUpRobustFeatures，简称SURF)来检测和提取图像b和图像h中的特征。此外，可以为匹配步骤使用随机抽样一致(Random Sample Consensus，简称RANSAC)。也可以采用替代特征检测、提取和匹配技术。最后，使用计算的矩阵H将图像b扭曲成图像h的视图，从而产生图像w。
如果未检测到相机运动，则图像w是图像b的副本。
步骤303：确定图像w和图像h的降采样版本的初始差别图像I1_diff。所述初始差别图像I1_diff是上述子步骤101a中的差别图像的示例。
降采样步骤可减少颜色映射噪声和伪影。在此步骤中，高斯金字塔可以用作低通滤波器。此外，降采样还可降低所述算法的计算成本。根据经验，降采样到1或2级就足够了。根据以下公式(1)计算所述差别图像：
I1diff(i，j)＝|D(Ih(i，j))-D(Iw(i，j))| (1)
在公式(1)中，D表示降采样运算符和(i，j)像素坐标。
I1_diff的差值可分为两类：
(i)源自运动相关物体的差值。这些值通常较大且较不频繁。
(ii)源自图像h和图像w之间的固有色差的差值。这些值通常更小且更频繁。
步骤304：通过对所述初始差别图像I1_diff应用对比度增强变换来确定最终差别图像I2_diff。所述最终差别图像I2_diff是上述子步骤101b中的所述对比度增强的差别图像的示例。
步骤304可以准确地区分前面提到的差值。为了确定所述最终差别图像，将对所述初始差别图像I1_diff应用对比度增强变换。所述对比度增强变换可以通过使用S形函数执行，例如以下逻辑函数(2)：
Figure BDA0002054978480000071
其中，k1和k2是控制参数，其可以根据场景的特征(例如，输入图像数和/或输入图像之间的色差)凭经验设置。例如，k1可以设置为0.09，k2可以设置为12。数字“0.5”是控制参数k3的示例，并且可以替换为其它值。所述控制参数k1、k2和k3可以手动或自动设置。
k1、k2和k3的值用于确保0被映射到0并且1被映射到1。因此，使用所述逻辑函数的操作是从[0,1]映射到[0,1]或至少近似0和1。
例如，如果所述输入图像之间的曝光比非常高，则可以增加k1的值。在高曝光比的情况下，在使用HM的颜色映射阶段期间会产生噪声像素，这意味着所述颜色映射阶段中使用的算法可能检测到误报。通过增加步骤304中的k1，可减少检测到的动态像素，从而去除噪声像素。因此，提高了整个过程的准确度。
所述逻辑函数允许操控/增强所述差别图像的对比度，以便相较于较小差值增强对应于运动像素的大差值。这允许通过准确估计分类阈值来更好地分类差值。图4a和图4b示出了此步骤的影响。
步骤305：根据所述最终差别图像I2_diff确定阈值T_c。
所述阈值是上述步骤102中的所述阈值的示例，并且可以通过执行子步骤305a-305d来确定：
305a：生成所述最终差别图像I2_diff的直方图，其中所述直方图包括多个区间，所述多个区间中的每个区间覆盖相同的强度范围并且具有区间中心。
305b：计算所述多个区间中每个区间的减少，其中所述减少是指所述多个区间中两个相邻区间的中心处的像素数量之间的差值。
305c：从所述多个区间中识别区间，其中所识别区间的减少大于所述多个区间中任何未识别区间的减少。此子步骤可以描述为以下公式(3)。
Figure BDA0002054978480000081
在公式(3)中，
Figure BDA0002054978480000082
是B个区间中第i个区间的区间中心
Figure BDA0002054978480000083
周围的像素数。B是总区间数。B的值可以是10，这样每个区间大致覆盖25个强度的范围。
305d：根据所识别区间及其下一个区间这两个区间中心中间的点的强度来计算所述阈值。因此，所述阈值T_c等于
Figure BDA0002054978480000084
可以为每个颜色通道确定所述阈值T_c。这些阈值使得能够区分与运动相关的差值及与HM相关的值。
步骤306：根据所述阈值和所述最终差别图像I2_diff生成初始二值运动图M1。
因此，如果颜色通道c的I2_diff中的至少一个差值大于所述对应的阈值T_c，则将所述最终差别图像I2_diff的像素标记为动态像素(运动像素)。这会产生初始二值运动图M1，其指示运动像素的位置。
步骤307：对所述初始二值运动图M1应用形态运算以生成最终运动图M。此处所述最终运动图M是上述步骤202中的所述运动图M的示例。
所述运算旨在去除可能的检测噪声(错误检测的像素)并增强所述最终运动图中运动物体的形状和填充。所述运算可以包括以下子步骤307a和307b中的任一者或两者：
307a：计算所述初始运动图M1中第一窗口内的无效像素数Nw，其中所述第一窗口以无效像素(运动像素)为中心，并根据所述第一窗口内计算得出的无效像素数，将所述第一窗口为中心的无效像素(运动像素)声明为有效或无效。
所述第一窗口的大小可以设置为3或5。所述声明的处理可以按如下方式执行：
如果
Figure BDA0002054978480000091
则运动像素将被丢弃，即不标记为运动像素。
如果
Figure BDA0002054978480000092
则运动像素被确认为运动像素。
307b：在所述初始运动图M1中定义与无效像素相邻的第二窗口，及
如果所述第二窗口的中心像素是无效像素，将所述第二窗口内的每个像素声明为无效。同样，所述第二窗口的大小也可以设置为3或5。
所述形态运算使得能够填充运动物体内可能缺失的运动像素，从而改进所述最终运动图M中这些物体的形状。
图4a和图4b示出了所述最终运动图M的示例。
图4a示出了基于逻辑函数对所述最终运动图操控所述差别图像的视觉影响。图(a)示出了地面实况运动图。图(b)示出了没有操控的运动图。图(c)示出了采用所提出操控的运动图。
在图4b中，图(c)示出了基于输入图像(a)和(b)获得的最终运动图。在图(c)中，黑色表示动态像素，白色表示静态像素。
图5示出了用于生成HDR图像的装置的实施例。所述装置通常包括处理器，所述处理器用于执行所述步骤101至103。在一示例中，所述处理器用于上述步骤201至204。特别地，所述处理器用于执行步骤301至307中所述的步骤202。
图6示出了用于生成HDR图像的装置的实施例。所述装置包括：
获取单元601，用于执行上述步骤101；
分析单元602，用于执行上述步骤102；
生成单元603，用于执行上述步骤103。
在一示例中，所述分析单元602用于执行上述步骤202和203。特别地，所述分析单元602用于执行步骤301至307中所述的步骤202。
此处描述的主题可以软件与硬件和/或固件的组合来实现。例如，此处描述的主题可在一个或多个处理器执行的软件中实现。在一个示例性实施方式中，此处描述的主题可使用非瞬时计算机可读介质实现，该非瞬时计算机可读介质存储有计算机可执行指令，当计算机的处理器执行该计算机可执行指令时，该指令控制计算机执行步骤。适用于实现此处描述的主题的示例性计算机可读介质包括非临时性计算机可读介质，例如磁盘存储设备、芯片存储设备、可编程逻辑器件，以及专用集成电路。另外，实现此处描述的主题的计算机可读介质可位于单个设备或计算平台上，或分布在多个设备或计算平台上。

Claims (13)

1.一种用于生成高动态范围HDR图像的方法，其特征在于，包括：
获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；
针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；
通过融合所述参考图像和所述一个或多个非参考图像生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略相应非参考图像中的无效区域；
其中，所述图像分析包括：
通过从所述参考图像中减去所述非参考图像来生成所述非参考图像的差别图像，反之亦然；
通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像；
其中，所述评估基于所述对比度增强的差别图像；
其中，所述评估所述非参考图像的所述区域和所述参考图像的对应区域是否显示相同图像内容包括：将所述差别图像的对应区域的强度值与阈值进行比较；
其中，所述方法还包括基于所述非参考图像确定所述阈值；
其中，所述确定所述阈值包括：
生成所述非参考图像的直方图，其中所述直方图包括多个区间，所述多个区间中的每个区间覆盖相同的强度范围并且具有区间中心；计算所述多个区间中每个区间的减少，其中所述减少是指所述多个区间中两个相邻区间的中心处的像素数量之间的差值；从所述多个区间中识别区间，其中所识别区间的减少大于所述多个区间中任何未识别区间的减少；根据所识别区间及其下一个区间这两个区间中心中间的点的强度来计算所述阈值。
2.根据权利要求1所述的方法，其特征在于，对所述差别图像应用所述对比度增强变换包括：针对所述差别图像的多个区域中的每个区域，对所述区域的强度值应用S形函数，所述S形函数为逻辑函数。
3.根据权利要求1所述的方法，其特征在于，还包括：根据所述参考图像和所述非参考图像的特征调整所述对比度增强变换。
4.根据权利要求2所述的方法，其特征在于，还包括：根据所述参考图像和所述非参考图像的特征调整所述对比度增强变换。
5.根据权利要求4所述的方法，其特征在于，所述特征包括所述参考图像和所述非参考图像之间的色差。
6.根据权利要求3所述的方法，其特征在于，所述特征包括所述参考图像和所述非参考图像之间的色差。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述图像分析还包括对所述相应非参考图像的无效区域执行形态运算。
8.根据权利要求7所述的方法，其特征在于，所述形态运算包括：
计算所述对比度增强的图像中第一窗口内的无效像素数，其中所述第一窗口以无效像素为中心；
根据所述第一窗口内计算得出的无效像素数，将所述第一窗口为中心的无效像素声明为有效或无效；
及/或
在所述对比度增强的图像中定义位于无效像素旁边的第二窗口；
如果所述第二窗口的中心像素是无效像素，将所述第二窗口内的每个像素声明为无效。
9.一种用于生成高动态范围HDR图像的方法，其特征在于，包括：
获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；
针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；
通过融合所述参考图像和所述一个或多个非参考图像生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略相应非参考图像中的无效区域；
其中，所述图像分析包括：
通过从所述参考图像中减去所述非参考图像来生成所述非参考图像的差别图像，反之亦然；
通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像；
其中，所述评估基于所述对比度增强的差别图像；
其中，所述图像分析还包括对所述相应非参考图像的无效区域执行形态运算；
其中，所述形态运算包括：
计算所述对比度增强的图像中第一窗口内的无效像素数，其中所述第一窗口以无效像素为中心；
根据所述第一窗口内计算得出的无效像素数，将所述第一窗口为中心的无效像素声明为有效或无效；
及/或
在所述对比度增强的图像中定义位于无效像素旁边的第二窗口；
如果所述第二窗口的中心像素是无效像素，将所述第二窗口内的每个像素声明为无效。
10.一种用于生成高动态范围HDR图像的装置，其特征在于，包括：处理器，所述处理器用于执行权利要求1至9中任一项所述的方法。
11.一种用于生成高动态范围HDR图像的装置，其特征在于，包括：
获取单元(601)，用于获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；
分析单元(602)，用于针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；
生成单元(603)，用于通过融合所述参考图像和所述一个或多个非参考图像生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略相应非参考图像中的无效区域；
其中，所述分析单元(602)用于通过以下操作执行所述图像分析：
通过从所述参考图像中减去所述非参考图像来生成所述非参考图像的差别图像，反之亦然；
通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像；
其中，所述评估基于所述对比度增强的差别图像；
其中，所述评估所述非参考图像的所述区域和所述参考图像的对应区域是否显示相同图像内容包括：将所述差别图像的对应区域的强度值与阈值进行比较；
其中，所述图像分析还包括基于所述非参考图像确定所述阈值；
其中，所述确定所述阈值包括：
生成所述非参考图像的直方图，其中所述直方图包括多个区间，所述多个区间中的每个区间覆盖相同的强度范围并且具有区间中心；计算所述多个区间中每个区间的减少，其中所述减少是指所述多个区间中两个相邻区间的中心处的像素数量之间的差值；从所述多个区间中识别区间，其中所识别区间的减少大于所述多个区间中任何未识别区间的减少；根据所识别区间及其下一个区间这两个区间中心中间的点的强度来计算所述阈值。
12.一种用于生成高动态范围HDR图像的装置，其特征在于，包括：
获取单元(601)，用于获取一组两个或多个输入图像，所述两个或多个输入图像包括参考图像和一个或多个非参考图像；
分析单元(602)，用于针对所述一个或多个非参考图像中的每一个执行图像分析，所述图像分析包括：针对所述非参考图像的多个区域中的每个区域，评估所述非参考图像的所述区域与所述参考图像的对应区域是否显示相同的图像内容，并根据所述评估将所述非参考图像的所述区域声明为有效或无效；
生成单元(603)，用于通过融合所述参考图像和所述一个或多个非参考图像生成HDR图像，其中所述融合包括：针对所述一个或多个非参考图像中的每一个，忽略相应非参考图像中的无效区域；
其中，所述分析单元(602)用于通过以下操作执行所述图像分析：
通过从所述参考图像中减去所述非参考图像来生成所述非参考图像的差别图像，反之亦然；
通过对所述差别图像应用对比度增强变换来生成对比度增强的差别图像；
其中，所述评估基于所述对比度增强的差别图像；
其中，所述图像分析还包括对所述相应非参考图像的无效区域执行形态运算；
其中，所述形态运算包括：
计算所述对比度增强的图像中第一窗口内的无效像素数，其中所述第一窗口以无效像素为中心；
根据所述第一窗口内计算得出的无效像素数，将所述第一窗口为中心的无效像素声明为有效或无效；
及/或
在所述对比度增强的图像中定义位于无效像素旁边的第二窗口；
如果所述第二窗口的中心像素是无效像素，将所述第二窗口内的每个像素声明为无效。
13.一种计算机可读介质，其特征在于，所述计算机可读介质存储有程序，在计算机上或由数字信号处理器执行所述程序时，能够实现权利要求1至9中任一项所述的方法。
CN201680090727.0A 2016-12-22 2016-12-22 用于生成高动态范围图像的方法和装置 Active CN109997351B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2016/082388 WO2018113975A1 (en) 2016-12-22 2016-12-22 Generation of ghost-free high dynamic range images

Publications (2)

Publication Number Publication Date
CN109997351A CN109997351A (zh) 2019-07-09
CN109997351B true CN109997351B (zh) 2021-02-23

Family

ID=57680271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090727.0A Active CN109997351B (zh) 2016-12-22 2016-12-22 用于生成高动态范围图像的方法和装置

Country Status (4)

Country Link
US (1) US11017509B2 (zh)
EP (1) EP3552384B1 (zh)
CN (1) CN109997351B (zh)
WO (1) WO2018113975A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833775B (zh) * 2018-05-22 2020-04-03 深圳岚锋创视网络科技有限公司 一种抗运动鬼影的hdr方法、装置及便携式终端
WO2021025375A1 (en) * 2019-08-06 2021-02-11 Samsung Electronics Co., Ltd. Apparatus and method for efficient regularized image alignment for multi-frame fusion
CN112449120B (zh) * 2019-08-30 2022-06-10 华为技术有限公司 高动态范围视频生成方法及装置
CN111127353B (zh) * 2019-12-16 2023-07-25 重庆邮电大学 一种基于块配准和匹配的高动态图像去鬼影方法
CN111429368B (zh) * 2020-03-16 2023-06-27 重庆邮电大学 一种自适应细节增强和鬼影消除的多曝光图像融合方法
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11373281B1 (en) * 2021-02-23 2022-06-28 Qualcomm Incorporated Techniques for anchor frame switching
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
KR20230032359A (ko) * 2021-08-30 2023-03-07 에스케이하이닉스 주식회사 전자 장치 및 그 동작 방법
CN113723539A (zh) * 2021-09-02 2021-11-30 北京云蝶智学科技有限公司 试题信息采集方法及装置
WO2023095417A1 (ja) * 2021-11-25 2023-06-01 株式会社ジャパンディスプレイ 画像のコントラスト強調方法及び情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN104702852A (zh) * 2013-12-09 2015-06-10 英特尔公司 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN106030653A (zh) * 2014-02-24 2016-10-12 华为技术有限公司 用于生成高动态范围图像的图像处理系统和图像处理方法
CN106161979A (zh) * 2016-07-29 2016-11-23 广东欧珀移动通信有限公司 高动态范围图像拍摄方法、装置和终端设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2012110894A1 (en) * 2011-02-18 2012-08-23 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
KR20130031574A (ko) * 2011-09-21 2013-03-29 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US10382674B2 (en) * 2013-04-15 2019-08-13 Qualcomm Incorporated Reference image selection for motion ghost filtering
US8957984B2 (en) * 2013-06-30 2015-02-17 Konica Minolta Laboratory U.S.A., Inc. Ghost artifact detection and removal in HDR image processsing using multi-scale normalized cross-correlation
US9275445B2 (en) * 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
CN102905058A (zh) * 2011-07-28 2013-01-30 三星电子株式会社 产生去除了重影模糊的高动态范围图像的设备和方法
CN104349066A (zh) * 2013-07-31 2015-02-11 华为终端有限公司 一种生成高动态范围图像的方法、装置
CN104702852A (zh) * 2013-12-09 2015-06-10 英特尔公司 用于高动态范围成像的使用照相机阵列的差异估计的技术
CN106030653A (zh) * 2014-02-24 2016-10-12 华为技术有限公司 用于生成高动态范围图像的图像处理系统和图像处理方法
CN106161979A (zh) * 2016-07-29 2016-11-23 广东欧珀移动通信有限公司 高动态范围图像拍摄方法、装置和终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《单幅图像的高动态范围图像生成方法》;朱恩弘等;《计算机辅助设计与图形学学报》;20161015;第28卷(第10期);全文 *

Also Published As

Publication number Publication date
US11017509B2 (en) 2021-05-25
WO2018113975A1 (en) 2018-06-28
US20190318460A1 (en) 2019-10-17
EP3552384A1 (en) 2019-10-16
EP3552384B1 (en) 2021-03-31
CN109997351A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
CN109997351B (zh) 用于生成高动态范围图像的方法和装置
Zhao et al. Multi-scale optimal fusion model for single image dehazing
US11055827B2 (en) Image processing apparatus and method
JP6159298B2 (ja) 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法
Al-Najdawi et al. A survey of cast shadow detection algorithms
US7639878B2 (en) Shadow detection in images
Gallo et al. Artifact-free high dynamic range imaging
EP2515273B1 (en) Multiple exposure high dynamic range image capture
CN107220931B (zh) 一种基于灰度级映射的高动态范围图像重建方法
KR101051459B1 (ko) 영상의 에지를 추출하는 장치 및 방법
US20160205291A1 (en) System and Method for Minimizing Motion Artifacts During the Fusion of an Image Bracket Based On Preview Frame Analysis
US10452922B2 (en) IR or thermal image enhancement method based on background information for video analysis
KR20110124965A (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
Park et al. Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images
JP2012048484A (ja) 画像処理装置、画像処理方法及びプログラム
CN110023957B (zh) 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备
WO2023019793A1 (zh) 一种确定方法、清洁机器人和计算机存储介质
US10319083B2 (en) Image artifact detection and correction in scenes obtained from multiple visual images
JP4869323B2 (ja) 画像処理装置及び画像処理方法
Nam et al. Flash shadow detection and removal in stereo photography
JP6565513B2 (ja) 色補正装置、色補正方法及び色補正用コンピュータプログラム
Afreen et al. A method of shadow detection and shadow removal for high resolution remote sensing images
Bouzaraa et al. Ghost-free dual-exposure hdr for dynamic scenes
Singh et al. Deep Image Contrast Enhancement Technique for Low-Light Images
CN117745552A (zh) 自适应图像增强方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant