CN112085673A - 一种强鬼影去除多曝光图像融合方法 - Google Patents

一种强鬼影去除多曝光图像融合方法 Download PDF

Info

Publication number
CN112085673A
CN112085673A CN202010874847.8A CN202010874847A CN112085673A CN 112085673 A CN112085673 A CN 112085673A CN 202010874847 A CN202010874847 A CN 202010874847A CN 112085673 A CN112085673 A CN 112085673A
Authority
CN
China
Prior art keywords
image
pixel point
pixel
value
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010874847.8A
Other languages
English (en)
Other versions
CN112085673B (zh
Inventor
邵华
郁梅
蒋刚毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202010874847.8A priority Critical patent/CN112085673B/zh
Publication of CN112085673A publication Critical patent/CN112085673A/zh
Application granted granted Critical
Publication of CN112085673B publication Critical patent/CN112085673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种强鬼影去除多曝光图像融合方法，其利用直方图匹配获取低、高曝光图像亮度图的映射图，进而获得每幅映射图与中曝光图像亮度图之间的亮度差图像的二值掩膜图像；计算中曝光图像的亮度图的曝光强度三值掩模图像；根据二值掩膜图像及曝光强度三值掩模图像得到强鬼影区域掩模图像；计算预融合图像中待修复像素点的置信度、数据项及曝光一致性因子，进而得到修复次序参考值；结合两幅强鬼影区域掩模图像的或图像，得到预融合图像中不同块间的色彩差异及中曝光图像亮度图中不同块间的亮度差异；按照修复次序参考值，根据色彩差异及亮度差异获取最优匹配块，进而实现强鬼影修复；优点是得到的融合图像含有丰富细节，又完全不存在强鬼影。

Description

一种强鬼影去除多曝光图像融合方法
技术领域
本发明涉及一种多曝光图像融合技术，尤其是涉及一种强鬼影去除多曝光图像融合方法。
背景技术
动态范围是指各类场景中的最大亮度与最小亮度的对数比值。现有的通用数码相机所能捕获的动态范围远小于真实世界的动态范围。因此，无法通过通用数码相机的单次拍摄直接获取真实自然场景中的全部纹理细节。
高动态范围(high dynamic range，HDR)成像技术提供了一种解决人眼所见真实世界与数码相机拍摄结果之间矛盾的方案。该技术通过数码相机获取一组同一场景不同曝光水平的低动态范围(low dynamic range，LDR)图像及其曝光时间，然后利用相机响应函数将LDR图像映射至辐射域并进行融合获得HDR图像。为了便于在通用显示设备上显示，还需要通过色调映射技术将融合获得的HDR图像转换至LDR。但是，相机响应函数的标定是一个计算量较大的病态问题，需要假设参与标定的多幅图像照度一致且精确配准。多曝光图像融合(multi-exposure fusion，MEF)技术提供了另一种高效的替代方案来弥补数码相机单次拍摄的遗憾。该技术通过直接融合多曝光LDR图像序列，获得可在通用显示设备上显示的融合结果。该融合结果涵盖了真实世界中丰富的纹理细节，能被人眼感知但又无法通过单次拍摄获取。MEF技术不需要准确的曝光参数、相机响应函数以及色调映射过程，因此具有更高的计算效率和更广泛的应用环境，特别是在移动设备计算成像中的应用。
根据对多曝光LDR图像序列拍摄场景的要求不同，可以将多曝光图像融合算法分为静态场景多曝光融合、简单动态场景多曝光融合和复杂动态场景多曝光融合三类。
静态场景多曝光融合算法要求参与融合的多曝光图像能完全匹配，即在多曝光图像拍摄过程中不存在任何运动对象，但是在实际拍摄过程中，很难确保自然场景中所有对象都处于静止状态。对于动态场景，该类算法易产生鬼影现象，从而将严重影响融合结果质量。
简单动态场景多曝光融合算法允许多曝光图像拍摄过程中存在运动对象，但是要求运动对象在多曝光图像中的位置不能重叠，或只在少数曝光图像中存在重叠；然后依据多数曝光图像的矢量特征检测运动对象并移除，获得无鬼影融合结果。该类算法通常需要拍摄较多的不同曝光水平的图像。
复杂动态场景多曝光融合算法不需要限制多曝光图像拍摄过程中运动对象的运动规律。该类算法先预设参考曝光图像，然后比较其他曝光图像与参考曝光图像的矢量特征方向来检测运动对象并移除，由此实现去鬼影目的。该类算法通过预设参考曝光图像检测运动对象并移除，对多曝光图像拍摄没有太多限制。但是，该类算法受参考曝光图像影响较大，当运动对象出现在参考曝光图像的完全过曝光区域或完全欠曝光区域时，采用该类算法依然会在融合结果中产生鬼影。
发明内容
本发明所要解决的技术问题是提供一种强鬼影去除多曝光图像融合方法，其使得多曝光图像融合后得到的融合图像含有丰富的细节，又完全不存在强鬼影问题。
本发明解决上述技术问题所采用的技术方案为：一种强鬼影去除多曝光图像融合方法，其特征在于包括以下步骤：
步骤1：选取动态场景的曝光程度不同的三幅低动态范围图像，并按曝光程度从低到高依次定义为低曝光图像、中曝光图像、高曝光图像；然后获取低曝光图像、中曝光图像、高曝光图像各自的亮度图；
步骤2：利用直方图匹配方法，以中曝光图像的亮度图为参考，对低曝光图像的亮度图进行映射处理，生成一幅低曝光图像的亮度图对应的映射图，记为
Figure BDA0002652311980000021
同样，利用直方图匹配方法，以中曝光图像的亮度图为参考，对高曝光图像的亮度图进行映射处理，生成一幅高曝光图像的亮度图对应的映射图，记为
Figure BDA0002652311980000022
步骤3：计算
Figure BDA0002652311980000023
与中曝光图像的亮度图之间的亮度差图像，记为YCLow-Mid，将YCLow-Mid中坐标位置为(x,y)的像素点的像素值记为YCLow-Mid(x,y)；同样，计算
Figure BDA0002652311980000031
与中曝光图像的亮度图之间的亮度差图像，记为YCHigh-Mid，将YCHigh-Mid中坐标位置为(x,y)的像素点的像素值记为YCHigh-Mid(x,y)；然后计算YCLow-Mid的二值掩膜图像，记为MLow-Mid，将MLow-Mid中坐标位置为(x,y)的像素点的像素值记为MLow-Mid(x,y)，
Figure BDA0002652311980000032
同样，计算YCHigh-Mid的二值掩膜图像，记为MHigh-Mid，将MHigh-Mid中坐标位置为(x,y)的像素点的像素值记为MHigh-Mid(x,y)，
Figure BDA0002652311980000033
其中，1≤x≤W，1≤y≤H，W表示选取的低动态范围图像的宽度，H表示选取的低动态范围图像的高度，α表示给定的曝光差异阈值；
步骤4：计算中曝光图像的亮度图的曝光强度三值掩模图像，记为Mf，将Mf中坐标位置为(x,y)的像素点的像素值记为Mf(x,y)，
Figure BDA0002652311980000034
其中，IMid(x,y)表示中曝光图像的亮度图IMid中坐标位置为(x,y)的像素点的像素值，β表示给定的中曝光图像的曝光阈值，Mf中像素值为1的所有像素点构成中曝光图像的亮度图的完全过曝光区域，Mf中像素值为0的所有像素点构成中曝光图像的亮度图的正常曝光区域，Mf中像素值为-1的所有像素点构成中曝光图像的亮度图的完全欠曝光区域；
步骤5：计算低曝光图像的强鬼影区域掩模图像，记为
Figure BDA0002652311980000035
将
Figure BDA0002652311980000036
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002652311980000037
Figure BDA0002652311980000038
同样，计算高曝光图像的强鬼影区域掩模图像，记为
Figure BDA0002652311980000039
将
Figure BDA00026523119800000310
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002652311980000041
然后计算
Figure BDA0002652311980000042
与
Figure BDA0002652311980000043
的或关系图像，记为
Figure BDA0002652311980000044
将
Figure BDA0002652311980000045
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002652311980000046
等于
Figure BDA0002652311980000047
与
Figure BDA0002652311980000048
进行或运算得到的值；其中，
Figure BDA0002652311980000049
和
Figure BDA00026523119800000410
各自中像素值为0的所有像素点构成无鬼影区域，
Figure BDA00026523119800000411
和
Figure BDA00026523119800000412
各自中像素值为1的所有像素点构成强鬼影区域；
步骤6：利用已有的复杂动态场景多曝光图像融合方法对低曝光图像、中曝光图像、高曝光图像进行融合，得到多曝光图像预融合图像；然后将多曝光图像预融合图像中与
Figure BDA00026523119800000413
中像素值为1的每个像素点对应的像素点定义为待修复像素点，将多曝光图像预融合图像中与
Figure BDA00026523119800000414
中像素值为0的每个像素点对应的像素点定义为非待修复像素点；
步骤7：计算多曝光图像预融合图像中的每个待修复像素点的置信度因子、数据项因子及曝光一致性因子，对于任一个待修复像素点，将其置信度因子、数据项因子及曝光一致性因子对应记为C、D及E，假设该待修复像素点在多曝光图像预融合图像中的坐标位置为(x,y)，则有：
Figure BDA00026523119800000415
其中，Numsg,0表示
Figure BDA00026523119800000416
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为0的像素点的总个数，Numsg表示
Figure BDA00026523119800000417
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内的像素点的总个数，即Numsg＝n×n，若
Figure BDA00026523119800000418
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口的部分超出
Figure BDA00026523119800000419
则超出部分由值0补充，n＝7,9,11；
Figure BDA00026523119800000420
其中，符号“||”为取绝对值符号，
Figure BDA00026523119800000421
表示
Figure BDA00026523119800000422
中坐标位置为(x,y)的像素点的像素值的水平梯度值，
Figure BDA00026523119800000423
表示
Figure BDA00026523119800000424
中坐标位置为(x,y)的像素点的像素值的垂直梯度值，
Figure BDA00026523119800000425
表示多曝光图像预融合图像中该待修复像素点的三个通道分量值的水平梯度值的平均值的旋转值，
Figure BDA00026523119800000426
表示多曝光图像预融合图像中该待修复像素点的三个通道分量值的垂直梯度值的平均值的旋转值，
Figure BDA0002652311980000051
和
Figure BDA0002652311980000052
的获取过程为：1)计算多曝光图像预融合图像中该待修复像素点的R通道分量值的水平梯度值和垂直梯度值；并计算多曝光图像预融合图像中该待修复像素点的G通道分量值的水平梯度值和垂直梯度值；计算多曝光图像预融合图像中该待修复像素点的B通道分量值的水平梯度值和垂直梯度值；2)计算多曝光图像预融合图像中该待修复像素点的R、G、B三个通道分量值的水平梯度值的平均值，记为
Figure BDA0002652311980000053
并计算多曝光图像预融合图像中该待修复像素点的R、G、B三个通道分量值的垂直梯度值的平均值，记为
Figure BDA0002652311980000054
3)令
Figure BDA0002652311980000055
和
Figure BDA0002652311980000056
中的“＝”为赋值符号；
Figure BDA0002652311980000057
其中，max()为取最大值函数，Numf,1表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为1的像素点的总个数，Numf,-1表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为-1的像素点的总个数，Numf表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内的像素点的总个数，即Numf＝n×n，若Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口的部分超出Mf，则超出部分由值0补充，n＝7,9,11；
步骤8：计算多曝光图像预融合图像中的每个待修复像素点的修复次序参考值，对于任一个待修复像素点，将其修复次序参考值记为P，P＝C+λ1×D+λ2×E；其中，λ1和λ2均为修复次序权重因子，1＜λ1＜λ2；
步骤9：采用尺寸为n×n的窗口在多曝光图像预融合图像中以1个像素点为滑动步长进行滑动，将多曝光图像预融合图像划分成(W-n+1)×(H-n+1)个重叠的第一图像块；同样，采用尺寸为n×n的窗口在中曝光图像的亮度图中以1个像素点为滑动步长进行滑动，将中曝光图像的亮度图划分成(W-n+1)×(H-n+1)个重叠的第二图像块；按大小顺序对多曝光图像预融合图像中的所有待修复像素点的修复次序参考值进行排序，对于相等的修复次序参考值随机排序；然后将最大修复次序参考值对应的待修复像素点定义为当前第一像素点，将多曝光图像预融合图像中以当前第一像素点为中心的尺寸为n×n的区域定义为当前第一区域，将中曝光图像的亮度图中与当前第一像素点对应的像素点定义为当前第二像素点，将中曝光图像的亮度图中以当前第二像素点为中心的尺寸为n×n的区域定义为当前第二区域，将
Figure BDA0002652311980000061
中与当前第一像素点对应的像素点定义为当前第三像素点，将
Figure BDA0002652311980000062
中以当前第三像素点为中心的尺寸为n×n的区域定义为当前第三区域；
步骤10：计算当前第一区域中的所有非待修复像素点的R通道分量值与每个第一图像块中对应的像素点的R通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的R通道分量值与第j个第一图像块中对应的像素点的R通道分量值之间的差异记为SR,j，
Figure BDA0002652311980000063
计算当前第一区域中的所有非待修复像素点的G通道分量值与每个第一图像块中对应的像素点的G通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的G通道分量值与第j个第一图像块中对应的像素点的G通道分量值之间的差异记为SG,j，
Figure BDA0002652311980000064
计算当前第一区域中的所有非待修复像素点的B通道分量值与每个第一图像块中对应的像素点的B通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的B通道分量值与第j个第一图像块中对应的像素点的B通道分量值之间的差异记为SB,j，
Figure BDA0002652311980000065
计算当前第二区域中的所有待修复像素点的像素值与每个第二图像块中对应的像素点的像素值之间的差异，将当前第二区域中的所有待修复像素点的像素值与第j个第二图像块中对应的像素点的像素值之间的差异记为SY,j，
Figure BDA0002652311980000066
其中，1≤j≤(W-n+1)×(H-n+1)，1≤i≤n×n，Rcur(i)表示当前第一区域中的第i个像素点的R通道分量值，Rj(i)表示第j个第一图像块中的第i个像素点的R通道分量值，Gcur(i)表示当前第一区域中的第i个像素点的G通道分量值，Gj(i)表示第j个第一图像块中的第i个像素点的G通道分量值，Bcur(i)表示当前第一区域中的第i个像素点的B通道分量值，Bj(i)表示第j个第一图像块中的第i个像素点的B通道分量值，Ycur(i)表示当前第二区域中的第i个像素点的像素值，Yj(i)表示第j个第二图像块中的第i个像素点的像素值，
Figure BDA0002652311980000071
表示当前第三区域中的第i个像素点的像素值；
步骤11：令
Figure BDA0002652311980000072
然后将多曝光图像预融合图像中Smin对应的一个第一图像块作为当前第一区域对应的最优匹配块；再计算当前第一区域中的每个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值，将当前第一区域中的第i个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值对应记为R'cur(i)、G'cur(i)和B'cur(i)，
Figure BDA0002652311980000073
Figure BDA0002652311980000074
Figure BDA0002652311980000075
最后用当前第一区域中的每个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值进行替代，实现了当前第一区域中的所有待修复像素点的修复；其中，Smin为引入的变量，min()为取最小值函数，η为最优匹配权重因子，Rbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的R通道分量值，Gbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的G通道分量值，Bbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的B通道分量值；
步骤12：在步骤11的基础上，重新按大小顺序对多曝光图像预融合图像中的所有还未修复的待修复像素点的修复次序参考值进行排序，对于相等的修复次序参考值随机排序；然后将最大修复次序参考值对应的待修复像素点作为当前第一像素点，将多曝光图像预融合图像中以当前第一像素点为中心的尺寸为n×n的区域作为当前第一区域，将中曝光图像的亮度图中与当前第一像素点对应的像素点作为当前第二像素点，将中曝光图像的亮度图中以当前第二像素点为中心的尺寸为n×n的区域作为当前第二区域，将
Figure BDA0002652311980000081
中与当前第一像素点对应的像素点定义为当前第三像素点，将
Figure BDA0002652311980000082
中以当前第三像素点为中心的尺寸为n×n的区域定义为当前第三区域；再返回步骤10继续执行，直至多曝光图像预融合图像中的所有待修复像素点全部修复完成为止，得到强鬼影去除后的融合图像。
所述的步骤3中，
Figure BDA0002652311980000083
Figure BDA0002652311980000084
其中，符号“||”为取绝对值符号，
Figure BDA0002652311980000085
表示
Figure BDA0002652311980000086
中坐标位置为(x,y)的像素点的像素值，IMid(x,y)表示中曝光图像的亮度图IMid中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002652311980000087
表示
Figure BDA0002652311980000088
中坐标位置为(x,y)的像素点的像素值。
所述的步骤5中，在
Figure BDA0002652311980000089
和
Figure BDA00026523119800000810
中分别增加形态学中的开运算算子，将
Figure BDA00026523119800000811
修改为
Figure BDA00026523119800000812
将
Figure BDA00026523119800000813
修改为
Figure BDA00026523119800000814
其中，符号
Figure BDA00026523119800000815
表示形态学中的开运算符号，s表示形态学中的开运算算子。
与现有技术相比，本发明的优点在于：
1)在动态场景多曝光图像融合过程中，为获得无鬼影融合结果，通常依据参考曝光图像的自身特征去识别并去除其他曝光图像中的运动对象，由于图像在完全过(欠)曝光区域无任何图像特性，当运动对象出现在参考曝光图像完全过(欠)曝光区域时，无法依据参考曝光图像的特征进行识别，因此，传统的动态场景多曝光图像融合算法无法有效去除这种在参考曝光图像中无参考矢量特征对比的强鬼影，而本发明方法提出将多曝光图像融合过程分解为多曝光图像预融合和预融合结果图像修复两个过程，这样可以有效去除传统的动态场景多曝光图像融合算法无法去除的强鬼影现象，获得最终无鬼影的融合结果。
2)本发明方法分析了融合结果中强鬼影产生的原因，即当运动对象出现在参考曝光图像无特征区域时，无法依据图像特征进行识别，并在此基础上，结合直方图匹配和曝光一致原则从多曝光图像中获得强鬼影区域掩模图像，该强鬼影区域掩模图像为将多曝光图像融合过程分解为多曝光图像预融合和预融合结果图像修复两个过程奠定了基础。
3)本发明方法根据强鬼影主要存在于预融合图像背景区域的特点，将曝光一致性原则引入空洞填补模型，根据置信度因子、数据项因子及曝光一致性因子来共同计算预融合图像中强鬼影区域中待修复像素点的修复次序参考值，根据预融合图像中不同块(第一图像块)间的色彩差异及参考曝光图像(即中曝光图像的亮度图)中不同块(第二图像块)间的亮度差异获取最优匹配块，进而实现强鬼影区域修复，本发明方法有效抑制了前景纹理的溢出，使得修复后的强鬼影区域的纹理细节更加丰富和符合自然场景特征，有效地提高了动态场景多曝光融合图像的质量。
附图说明
图1为本发明方法的总体实现框图；
图2a为选取的低曝光图像；
图2b为选取的中曝光图像；
图2c为选取的高曝光图像；
图3a为图2a的亮度图；
图3b为图2b的亮度图；
图3c为图2c的亮度图；
图4a为图3a对应的映射图；
图4b为中曝光图像的亮度图，与图3b一致；
图4c为图3c对应的映射图；
图5a为低曝光图像的亮度图对应的映射图与中曝光图像的亮度图之间的亮度差图像；
图5b为图4b的完全过曝光区域；
图5c为低曝光图像的强鬼影区域掩模图像；
图6a为利用本发明方法对图2a、图2b和图2c所示的三幅低动态范围图像进行融合得到的强鬼影去除后的融合图像；
图6b为利用已有的复杂动态场景多曝光图像融合方法即具有大前景运动的深度高动态范围成像对图2a、图2b和图2c所示的三幅低动态范围图像进行融合得到的多曝光图像预融合图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明针对传统的动态场景鬼影去除多曝光图像融合算法中未充分考虑到在动态场景多曝光图像中，当运动对象出现在参考曝光图像的完全过曝光区域或完全欠曝光区域时，存在无法完全消除鬼影问题的弊端，提出了一种强鬼影去除多曝光图像融合方法。
实施例一：
本实施例提出的一种强鬼影去除多曝光图像融合方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取动态场景的曝光程度不同的三幅低动态范围图像，并按曝光程度从低到高依次定义为低曝光图像、中曝光图像、高曝光图像；然后获取低曝光图像、中曝光图像、高曝光图像各自的亮度图。
在本实施例中，选取图2a、图2b和图2c所示的三幅不同曝光程度的低动态范围图像，肉眼能够方便地分辨出三幅低动态范围图像的曝光程度不同，图2a为低曝光图像，图2b为中曝光图像，图2c为高曝光图像。图3a给出了图2a的亮度图，图3b给出了图2b的亮度图，图3c给出了图2c的亮度图。
对于选取的每幅低动态范围图像，将该低动态范围图像的亮度图记为Y，将该低动态范围图像的亮度图中坐标位置为(x,y)的像素点的像素值记为Y(x,y)，Y(x,y)＝0.299R(x,y)+0.587G(x,y)+0.114B(x,y)，其中，1≤x≤W，1≤y≤H，W表示该低动态范围图像的宽度，H表示该低动态范围图像的高度，R(x,y)表示该低动态范围图像的R通道分量中坐标位置为(x,y)的像素点的像素值，G(x,y)表示该低动态范围图像的G通道分量中坐标位置为(x,y)的像素点的像素值，B(x,y)表示该低动态范围图像的B通道分量中坐标位置为(x,y)的像素点的像素值。
步骤2：利用现有的直方图匹配方法，以中曝光图像的亮度图为参考，对低曝光图像的亮度图进行映射处理，生成一幅低曝光图像的亮度图对应的映射图，记为
Figure BDA0002652311980000111
同样，利用现有的直方图匹配方法，以中曝光图像的亮度图为参考，对高曝光图像的亮度图进行映射处理，生成一幅高曝光图像的亮度图对应的映射图，记为
Figure BDA0002652311980000112
图4a给出了图3a对应的映射图，图4b为中曝光图像的亮度图，图4c给出了图3c对应的映射图。对比图4a、图4c和图4b，可以看出图4a和图4c的亮度更接近图4b。
步骤3：计算
Figure BDA0002652311980000113
与中曝光图像的亮度图之间的亮度差图像，记为YCLow-Mid，将YCLow-Mid中坐标位置为(x,y)的像素点的像素值记为YCLow-Mid(x,y)；同样，计算
Figure BDA0002652311980000114
与中曝光图像的亮度图之间的亮度差图像，记为YCHigh-Mid，将YCHigh-Mid中坐标位置为(x,y)的像素点的像素值记为YCHigh-Mid(x,y)；然后计算YCLow-Mid的二值掩膜图像，记为MLow-Mid，将MLow-Mid中坐标位置为(x,y)的像素点的像素值记为MLow-Mid(x,y)，
Figure BDA0002652311980000115
同样，计算YCHigh-Mid的二值掩膜图像，记为MHigh-Mid，将MHigh-Mid中坐标位置为(x,y)的像素点的像素值记为MHigh-Mid(x,y)，
Figure BDA0002652311980000116
其中，1≤x≤W，1≤y≤H，W表示选取的低动态范围图像的宽度，H表示选取的低动态范围图像的高度，α表示给定的曝光差异阈值，在本实施例中取α＝0.025。
在本实施例中，步骤3中，
Figure BDA0002652311980000117
Figure BDA0002652311980000121
其中，符号“||”为取绝对值符号，
Figure BDA0002652311980000122
表示
Figure BDA0002652311980000123
中坐标位置为(x,y)的像素点的像素值，IMid(x,y)表示中曝光图像的亮度图IMid中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002652311980000124
表示
Figure BDA0002652311980000125
中坐标位置为(x,y)的像素点的像素值。
图5a给出了低曝光图像的亮度图对应的映射图与中曝光图像的亮度图之间的亮度差图像的二值掩膜图像。
步骤4：计算中曝光图像的亮度图的曝光强度三值掩模图像，记为Mf，将Mf中坐标位置为(x,y)的像素点的像素值记为Mf(x,y)，
Figure BDA0002652311980000126
其中，IMid(x,y)表示中曝光图像的亮度图IMid中坐标位置为(x,y)的像素点的像素值，β表示给定的中曝光图像的曝光阈值，在本实施例中取β＝0.01，Mf中像素值为1的所有像素点构成中曝光图像的亮度图的完全过曝光区域，Mf中像素值为0的所有像素点构成中曝光图像的亮度图的正常曝光区域，Mf中像素值为-1的所有像素点构成中曝光图像的亮度图的完全欠曝光区域。
图5b给出了图4b的完全过曝光区域。
步骤5：计算低曝光图像的强鬼影区域掩模图像，记为
Figure BDA0002652311980000127
将
Figure BDA0002652311980000128
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002652311980000129
Figure BDA00026523119800001210
同样，计算高曝光图像的强鬼影区域掩模图像，记为
Figure BDA00026523119800001211
将
Figure BDA00026523119800001212
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA00026523119800001213
然后计算
Figure BDA00026523119800001214
与
Figure BDA00026523119800001215
的或关系图像，记为
Figure BDA00026523119800001216
将
Figure BDA00026523119800001217
中坐标位置为(x,y)的像素点的像素值记为
Figure BDA0002652311980000131
等于
Figure BDA0002652311980000132
与
Figure BDA0002652311980000133
进行或运算得到的值；其中，
Figure BDA0002652311980000134
和
Figure BDA0002652311980000135
各自中像素值为0的所有像素点构成无鬼影区域，
Figure BDA0002652311980000136
和
Figure BDA0002652311980000137
各自中像素值为1的所有像素点构成强鬼影区域。
图5c给出了低曝光图像的强鬼影区域掩模图像。
步骤6：利用已有的复杂动态场景多曝光图像融合方法对低曝光图像、中曝光图像、高曝光图像进行融合，得到多曝光图像预融合图像；然后将多曝光图像预融合图像中与
Figure BDA0002652311980000138
中像素值为1的每个像素点对应的像素点定义为待修复像素点，将多曝光图像预融合图像中与
Figure BDA0002652311980000139
中像素值为0的每个像素点对应的像素点定义为非待修复像素点。
在此，已有的复杂动态场景多曝光图像融合方法为现有的任何一种成熟的复杂动态场景多曝光图像融合方法，如：Wu,S.；Xu,J.；Tai,Y.W.；et al.Deep High DynamicRange Imaging with Large Foreground Motions.European Conference on ComputerVision(ECCV),2018,Munich,Germany,8-14 September,pp.117-132.(具有大前景运动的深度高动态范围成像)。图6b给出了一种利用已有的复杂动态场景多曝光图像融合方法即具有大前景运动的深度高动态范围成像对图2a、图2b和图2c所示的三幅低动态范围图像进行融合得到的多曝光图像预融合图像。
步骤7：计算多曝光图像预融合图像中的每个待修复像素点的置信度因子、数据项因子及曝光一致性因子，对于任一个待修复像素点，将其置信度因子、数据项因子及曝光一致性因子对应记为C、D及E，假设该待修复像素点在多曝光图像预融合图像中的坐标位置为(x,y)，则有：
Figure BDA00026523119800001310
其中，Numsg,0表示
Figure BDA00026523119800001311
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为0的像素点的总个数，Numsg表示
Figure BDA00026523119800001312
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内的像素点的总个数，即Numsg＝n×n，若
Figure BDA00026523119800001313
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口的部分超出
Figure BDA00026523119800001314
则超出部分由值0补充，n＝7,9,11，在本实施例中取n＝9。
Figure BDA0002652311980000141
其中，符号“||”为取绝对值符号，
Figure BDA0002652311980000142
表示
Figure BDA0002652311980000143
中坐标位置为(x,y)的像素点的像素值的水平梯度值，
Figure BDA0002652311980000144
表示
Figure BDA0002652311980000145
中坐标位置为(x,y)的像素点的像素值的垂直梯度值，
Figure BDA0002652311980000146
表示多曝光图像预融合图像中该待修复像素点的三个通道分量值的水平梯度值的平均值的旋转值，
Figure BDA0002652311980000147
表示多曝光图像预融合图像中该待修复像素点的三个通道分量值的垂直梯度值的平均值的旋转值，
Figure BDA0002652311980000148
和
Figure BDA0002652311980000149
的获取过程为：1)计算多曝光图像预融合图像中该待修复像素点的R通道分量值的水平梯度值和垂直梯度值；并计算多曝光图像预融合图像中该待修复像素点的G通道分量值的水平梯度值和垂直梯度值；计算多曝光图像预融合图像中该待修复像素点的B通道分量值的水平梯度值和垂直梯度值；2)计算多曝光图像预融合图像中该待修复像素点的R、G、B三个通道分量值的水平梯度值的平均值，记为
Figure BDA00026523119800001410
并计算多曝光图像预融合图像中该待修复像素点的R、G、B三个通道分量值的垂直梯度值的平均值，记为
Figure BDA00026523119800001411
3)令
Figure BDA00026523119800001412
和
Figure BDA00026523119800001413
中的“＝”为赋值符号。
Figure BDA00026523119800001414
其中，max()为取最大值函数，Numf,1表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为1的像素点的总个数，Numf,-1表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为-1的像素点的总个数，Numf表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内的像素点的总个数，即Numf＝n×n，若Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口的部分超出Mf，则超出部分由值0补充，n＝7,9,11，在本实施例中取n＝9。
待修复像素点的置信度因子越大则表示待修复像素点的修复顺序越靠前，待修复像素点的数据项因子越大则表示待修复像素点的修复顺序越靠前，待修复像素点的曝光一致性因子越大则表示待修复像素点的修复顺序越靠前。
步骤8：计算多曝光图像预融合图像中的每个待修复像素点的修复次序参考值，对于任一个待修复像素点，将其修复次序参考值记为P，P＝C+λ1×D+λ2×E；其中，λ1和λ2均为修复次序权重因子，1＜λ1＜λ2，在本实施例中取λ1＝3、λ2＝15。
步骤9：采用尺寸为n×n的窗口在多曝光图像预融合图像中以1个像素点为滑动步长进行滑动，将多曝光图像预融合图像划分成(W-n+1)×(H-n+1)个重叠的第一图像块；同样，采用尺寸为n×n的窗口在中曝光图像的亮度图中以1个像素点为滑动步长进行滑动，将中曝光图像的亮度图划分成(W-n+1)×(H-n+1)个重叠的第二图像块；按大小顺序对多曝光图像预融合图像中的所有待修复像素点的修复次序参考值进行排序，对于相等的修复次序参考值随机排序；然后将最大修复次序参考值对应的待修复像素点定义为当前第一像素点，将多曝光图像预融合图像中以当前第一像素点为中心的尺寸为n×n的区域定义为当前第一区域，将中曝光图像的亮度图中与当前第一像素点对应的像素点定义为当前第二像素点，将中曝光图像的亮度图中以当前第二像素点为中心的尺寸为n×n的区域定义为当前第二区域，将
Figure BDA0002652311980000151
中与当前第一像素点对应的像素点定义为当前第三像素点，将
Figure BDA0002652311980000152
中以当前第三像素点为中心的尺寸为n×n的区域定义为当前第三区域。
步骤10：计算当前第一区域中的所有非待修复像素点的R通道分量值与每个第一图像块中对应的像素点的R通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的R通道分量值与第j个第一图像块中对应的像素点的R通道分量值之间的差异记为SR,j，
Figure BDA0002652311980000153
计算当前第一区域中的所有非待修复像素点的G通道分量值与每个第一图像块中对应的像素点的G通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的G通道分量值与第j个第一图像块中对应的像素点的G通道分量值之间的差异记为SG,j，
Figure BDA0002652311980000154
计算当前第一区域中的所有非待修复像素点的B通道分量值与每个第一图像块中对应的像素点的B通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的B通道分量值与第j个第一图像块中对应的像素点的B通道分量值之间的差异记为SB,j，
Figure BDA0002652311980000161
计算当前第二区域中的所有待修复像素点的像素值与每个第二图像块中对应的像素点的像素值之间的差异，将当前第二区域中的所有待修复像素点的像素值与第j个第二图像块中对应的像素点的像素值之间的差异记为SY,j，
Figure BDA0002652311980000162
其中，1≤j≤(W-n+1)×(H-n+1)，1≤i≤n×n，Rcur(i)表示当前第一区域中的第i个像素点的R通道分量值，Rj(i)表示第j个第一图像块中的第i个像素点的R通道分量值，Gcur(i)表示当前第一区域中的第i个像素点的G通道分量值，Gj(i)表示第j个第一图像块中的第i个像素点的G通道分量值，Bcur(i)表示当前第一区域中的第i个像素点的B通道分量值，Bj(i)表示第j个第一图像块中的第i个像素点的B通道分量值，Ycur(i)表示当前第二区域中的第i个像素点的像素值，Yj(i)表示第j个第二图像块中的第i个像素点的像素值，
Figure BDA0002652311980000163
表示当前第三区域中的第i个像素点的像素值。
步骤11：令
Figure BDA0002652311980000164
然后将多曝光图像预融合图像中Smin对应的一个第一图像块作为当前第一区域对应的最优匹配块；再计算当前第一区域中的每个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值，将当前第一区域中的第i个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值对应记为R'cur(i)、G'cur(i)和B'cur(i)，
Figure BDA0002652311980000165
Figure BDA0002652311980000166
Figure BDA0002652311980000167
最后用当前第一区域中的每个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值进行替代，实现了当前第一区域中的所有待修复像素点的修复；其中，Smin为引入的变量，min()为取最小值函数，η为最优匹配权重因子，在本实施例中取η＝35，Rbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的R通道分量值，Gbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的G通道分量值，Bbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的B通道分量值。
步骤12：在步骤11的基础上，重新按大小顺序对多曝光图像预融合图像中的所有还未修复的待修复像素点的修复次序参考值进行排序，对于相等的修复次序参考值随机排序；然后将最大修复次序参考值对应的待修复像素点作为当前第一像素点，将多曝光图像预融合图像中以当前第一像素点为中心的尺寸为n×n的区域作为当前第一区域，将中曝光图像的亮度图中与当前第一像素点对应的像素点作为当前第二像素点，将中曝光图像的亮度图中以当前第二像素点为中心的尺寸为n×n的区域作为当前第二区域，将
Figure BDA0002652311980000171
中与当前第一像素点对应的像素点定义为当前第三像素点，将
Figure BDA0002652311980000172
中以当前第三像素点为中心的尺寸为n×n的区域定义为当前第三区域；再返回步骤10继续执行，直至多曝光图像预融合图像中的所有待修复像素点全部修复完成为止，得到强鬼影去除后的融合图像。
图6a给出了利用本发明方法对图2a、图2b和图2c所示的三幅低动态范围图像进行融合得到的强鬼影去除后的融合图像。比较图6a和图6b，可以看出利用本发明方法得到的融合图像明显地消除了强鬼影现象。
实施例二：
本实施例提出的一种强鬼影去除多曝光图像融合方法，其具体步骤与实施例一的具体步骤基本相同，不同之处仅在于步骤5，本实施例在实施例一的步骤5中的
Figure BDA0002652311980000173
和
Figure BDA0002652311980000174
中分别增加了形态学中的开运算算子，将
Figure BDA0002652311980000175
修改为
Figure BDA0002652311980000181
将
Figure BDA0002652311980000182
修改为
Figure BDA0002652311980000183
其中，符号
Figure BDA0002652311980000184
表示形态学中的开运算符号，s表示形态学中的开运算算子。
为进一步说明本发明方法的可行性和有效性，对本发明方法进行实验验证。
实验结果测试利用传统的图像质量评价指标：动态场景多曝光融合结构相似指数(MEF-SSIMg)、峰值信噪比(PSNR)和全参考结构相似指数(SSIM)。
动态场景多曝光融合结构相似指数(MEF-SSIMg)主要用于评价融合图像与原动态场景多曝光图像之间的结构相似性。根据原动态场景多曝光图像之间的结构一致性，MEF-SSIMg将融合图像划分为静态区域与动态区域分别计算融合质量，然后以两者均值作为融合图像的整体评价结果。MEF-SSIMg值越大，表示融合图像与原动态场景多曝光图像之间结构相关性越强，融合质量越好。
峰值信噪比指数(PSNR)基于被评价图像和标准图像对应像素点间绝对误差来评价图像质量，是使用非常广泛的全参考图像评价指标。PNSR值越大，表示被评价图像(即融合图像)与标准图像之间的误差越小，融合质量越好。
全参考结构相似指数(SSIM)是衡量两幅图像相似度的指标，它分别从亮度、对比度、结构三方面度量图像相似情况。SSIM值越大，表示被评价图像(即融合图像)与标准图像之间的结构相似性越好，融合质量越好。
表1给出了分别利用本发明实施例二和现有的六种融合方法对Kalantari等提供的测试图像序列进行融合得到的融合图像的MEF-SSIMg、PSNR和SSIM的值。现有的六种融合方法分别为：Mertens,T.；Kautz,J.；Van Reeth,F.Exposure Fusion:A Simple andPractical Alternative to High Dynamic Range Photography.Comput.Graph.Forum,2009,28(1),161–171.(一种简单实用的高动态范围摄影方法(在此简称为Mertens09算法))、Sen,P.；Kalantari,N.K.；Yaesoubi,M.；et al.Robust Patch-based HDRReconstruction of Dynamic Scenes.ACM Trans.Graph.,2012,31(6),203:1-12.(动态场景中基于块的鲁棒HDR重建(在此简称为Sen12算法))、Liu,Y.；Wang,Z.Dense SIFT forGhost-free Multi-exposure Fusion.J.Vis.Commun.Image Represent.,2015,31,208-224.(密集SIFT无鬼影多曝光融合(在此简称为Liu15算法))、Qin,X.；Shen,J.；Mao,X.；etal.Robust Match Fusion using Optimization.IEEE Trans.Cybern.,2015,45(8),1549-1560.(使用优化的鲁棒匹配融合(在此简称为Qin15算法))、Wu,S.；Xu,J.；Tai,Y.W.；etal.Deep High Dynamic Range Imaging with Large Foreground Motions.EuropeanConference on Computer Vision(ECCV),2018,Munich,Germany,8-14September,pp.117-132.(具有大前景运动的深度高动态范围成像(在此简称为Wu18算法))、Yan,Q.；Gong,D.；Shi,Q.；et al.Attention-Guided Network for Ghost-Free High Dynamic RangeImaging.IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2019,Los Angeles CA,United States,16-20June,pp.1751-1760.(基于注意力引导网络的无鬼影高动态范围成像(在此简称为Yan19算法))。Kalantari等提供的测试图像序列参见Kalantari,N.K.；Ramamoorthi,R.Deep High Dynamic Range Imaging of DynamicScenes.ACM Trans.Graph.,2017,36(4),144:1-12.(动态场景的高动态范围成像)。
表1动态场景多曝光融合图像的客观指标评价情况
算法 MEF-SSIMd PSNR SSIM
Mertens09算法 0.8294 19.69 0.8285
Sen12算法 0.8650 24.16 0.9565
Liu15算法 0.8210 17.93 0.8037
Qin15算法 0.8966 20.17 0.8834
Wu18算法 0.8836 24.79 0.9670
Yan19算法 0.8830 24.55 0.9652
本发明实施例二 0.9033 25.08 0.9662
从表1中可以看出，除了在SSIM评价指标中本发明实施例二略低于Wu18算法外，本发明实施例二的融合结果的客观评价指标均高于其他算法，这说明本发明实施例二获得的多曝光融合图像具有较好的视觉质量和更好的鬼影去除效果。

Claims (3)

1.一种强鬼影去除多曝光图像融合方法，其特征在于包括以下步骤：
步骤1：选取动态场景的曝光程度不同的三幅低动态范围图像，并按曝光程度从低到高依次定义为低曝光图像、中曝光图像、高曝光图像；然后获取低曝光图像、中曝光图像、高曝光图像各自的亮度图；
步骤2：利用直方图匹配方法，以中曝光图像的亮度图为参考，对低曝光图像的亮度图进行映射处理，生成一幅低曝光图像的亮度图对应的映射图，记为
Figure FDA0002652311970000011
同样，利用直方图匹配方法，以中曝光图像的亮度图为参考，对高曝光图像的亮度图进行映射处理，生成一幅高曝光图像的亮度图对应的映射图，记为
Figure FDA0002652311970000012
步骤3：计算
Figure FDA0002652311970000013
与中曝光图像的亮度图之间的亮度差图像，记为YCLow-Mid，将YCLow-Mid中坐标位置为(x,y)的像素点的像素值记为YCLow-Mid(x,y)；同样，计算
Figure FDA0002652311970000014
与中曝光图像的亮度图之间的亮度差图像，记为YCHigh-Mid，将YCHigh-Mid中坐标位置为(x,y)的像素点的像素值记为YCHigh-Mid(x,y)；然后计算YCLow-Mid的二值掩膜图像，记为MLow-Mid，将MLow-Mid中坐标位置为(x,y)的像素点的像素值记为MLow-Mid(x,y)，
Figure FDA0002652311970000015
同样，计算YCHigh-Mid的二值掩膜图像，记为MHigh-Mid，将MHigh-Mid中坐标位置为(x,y)的像素点的像素值记为MHigh-Mid(x,y)，
Figure FDA0002652311970000016
其中，1≤x≤W，1≤y≤H，W表示选取的低动态范围图像的宽度，H表示选取的低动态范围图像的高度，α表示给定的曝光差异阈值；
步骤4：计算中曝光图像的亮度图的曝光强度三值掩模图像，记为Mf，将Mf中坐标位置为(x,y)的像素点的像素值记为Mf(x,y)，
Figure FDA0002652311970000021
其中，IMid(x,y)表示中曝光图像的亮度图IMid中坐标位置为(x,y)的像素点的像素值，β表示给定的中曝光图像的曝光阈值，Mf中像素值为1的所有像素点构成中曝光图像的亮度图的完全过曝光区域，Mf中像素值为0的所有像素点构成中曝光图像的亮度图的正常曝光区域，Mf中像素值为-1的所有像素点构成中曝光图像的亮度图的完全欠曝光区域；
步骤5：计算低曝光图像的强鬼影区域掩模图像，记为
Figure FDA0002652311970000022
将
Figure FDA0002652311970000023
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002652311970000024
Figure FDA0002652311970000025
同样，计算高曝光图像的强鬼影区域掩模图像，记为
Figure FDA0002652311970000026
将
Figure FDA0002652311970000027
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA0002652311970000028
Figure FDA0002652311970000029
然后计算
Figure FDA00026523119700000210
与
Figure FDA00026523119700000211
的或关系图像，记为
Figure FDA00026523119700000212
将
Figure FDA00026523119700000213
中坐标位置为(x,y)的像素点的像素值记为
Figure FDA00026523119700000214
Figure FDA00026523119700000215
等于
Figure FDA00026523119700000216
与
Figure FDA00026523119700000217
进行或运算得到的值；其中，
Figure FDA00026523119700000218
和
Figure FDA00026523119700000219
各自中像素值为0的所有像素点构成无鬼影区域，
Figure FDA00026523119700000220
和
Figure FDA00026523119700000221
各自中像素值为1的所有像素点构成强鬼影区域；
步骤6：利用已有的复杂动态场景多曝光图像融合方法对低曝光图像、中曝光图像、高曝光图像进行融合，得到多曝光图像预融合图像；然后将多曝光图像预融合图像中与
Figure FDA00026523119700000222
中像素值为1的每个像素点对应的像素点定义为待修复像素点，将多曝光图像预融合图像中与
Figure FDA00026523119700000223
中像素值为0的每个像素点对应的像素点定义为非待修复像素点；
步骤7：计算多曝光图像预融合图像中的每个待修复像素点的置信度因子、数据项因子及曝光一致性因子，对于任一个待修复像素点，将其置信度因子、数据项因子及曝光一致性因子对应记为C、D及E，假设该待修复像素点在多曝光图像预融合图像中的坐标位置为(x,y)，则有：
Figure FDA0002652311970000031
其中，Numsg,0表示
Figure FDA0002652311970000032
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为0的像素点的总个数，Numsg表示
Figure FDA0002652311970000033
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内的像素点的总个数，即Numsg＝n×n，若
Figure FDA0002652311970000034
中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口的部分超出
Figure FDA0002652311970000035
则超出部分由值0补充，n＝7,9,11；
Figure FDA0002652311970000036
其中，符号“||”为取绝对值符号，
Figure FDA0002652311970000037
表示
Figure FDA0002652311970000038
中坐标位置为(x,y)的像素点的像素值的水平梯度值，
Figure FDA0002652311970000039
表示
Figure FDA00026523119700000310
中坐标位置为(x,y)的像素点的像素值的垂直梯度值，
Figure FDA00026523119700000311
表示多曝光图像预融合图像中该待修复像素点的三个通道分量值的水平梯度值的平均值的旋转值，
Figure FDA00026523119700000312
表示多曝光图像预融合图像中该待修复像素点的三个通道分量值的垂直梯度值的平均值的旋转值，
Figure FDA00026523119700000313
和
Figure FDA00026523119700000314
的获取过程为：1)计算多曝光图像预融合图像中该待修复像素点的R通道分量值的水平梯度值和垂直梯度值；并计算多曝光图像预融合图像中该待修复像素点的G通道分量值的水平梯度值和垂直梯度值；计算多曝光图像预融合图像中该待修复像素点的B通道分量值的水平梯度值和垂直梯度值；2)计算多曝光图像预融合图像中该待修复像素点的R、G、B三个通道分量值的水平梯度值的平均值，记为
Figure FDA00026523119700000315
并计算多曝光图像预融合图像中该待修复像素点的R、G、B三个通道分量值的垂直梯度值的平均值，记为
Figure FDA00026523119700000316
3)令
Figure FDA00026523119700000317
和
Figure FDA00026523119700000318
中的“＝”为赋值符号；
Figure FDA00026523119700000319
其中，max()为取最大值函数，Numf,1表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为1的像素点的总个数，Numf,-1表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内像素值为-1的像素点的总个数，Numf表示Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口内的像素点的总个数，即Numf＝n×n，若Mf中以坐标位置为(x,y)的像素点为中心的尺寸为n×n的窗口的部分超出Mf，则超出部分由值0补充，n＝7,9,11；
步骤8：计算多曝光图像预融合图像中的每个待修复像素点的修复次序参考值，对于任一个待修复像素点，将其修复次序参考值记为P，P＝C+λ1×D+λ2×E；其中，λ1和λ2均为修复次序权重因子，1＜λ1＜λ2；
步骤9：采用尺寸为n×n的窗口在多曝光图像预融合图像中以1个像素点为滑动步长进行滑动，将多曝光图像预融合图像划分成(W-n+1)×(H-n+1)个重叠的第一图像块；同样，采用尺寸为n×n的窗口在中曝光图像的亮度图中以1个像素点为滑动步长进行滑动，将中曝光图像的亮度图划分成(W-n+1)×(H-n+1)个重叠的第二图像块；按大小顺序对多曝光图像预融合图像中的所有待修复像素点的修复次序参考值进行排序，对于相等的修复次序参考值随机排序；然后将最大修复次序参考值对应的待修复像素点定义为当前第一像素点，将多曝光图像预融合图像中以当前第一像素点为中心的尺寸为n×n的区域定义为当前第一区域，将中曝光图像的亮度图中与当前第一像素点对应的像素点定义为当前第二像素点，将中曝光图像的亮度图中以当前第二像素点为中心的尺寸为n×n的区域定义为当前第二区域，将
Figure FDA0002652311970000041
中与当前第一像素点对应的像素点定义为当前第三像素点，将
Figure FDA0002652311970000042
中以当前第三像素点为中心的尺寸为n×n的区域定义为当前第三区域；
步骤10：计算当前第一区域中的所有非待修复像素点的R通道分量值与每个第一图像块中对应的像素点的R通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的R通道分量值与第j个第一图像块中对应的像素点的R通道分量值之间的差异记为SR,j，
Figure FDA0002652311970000043
计算当前第一区域中的所有非待修复像素点的G通道分量值与每个第一图像块中对应的像素点的G通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的G通道分量值与第j个第一图像块中对应的像素点的G通道分量值之间的差异记为SG,j，
Figure FDA0002652311970000051
计算当前第一区域中的所有非待修复像素点的B通道分量值与每个第一图像块中对应的像素点的B通道分量值之间的差异，将当前第一区域中的所有非待修复像素点的B通道分量值与第j个第一图像块中对应的像素点的B通道分量值之间的差异记为SB,j，
Figure FDA0002652311970000052
计算当前第二区域中的所有待修复像素点的像素值与每个第二图像块中对应的像素点的像素值之间的差异，将当前第二区域中的所有待修复像素点的像素值与第j个第二图像块中对应的像素点的像素值之间的差异记为SY,j，
Figure FDA0002652311970000053
其中，1≤j≤(W-n+1)×(H-n+1)，1≤i≤n×n，Rcur(i)表示当前第一区域中的第i个像素点的R通道分量值，Rj(i)表示第j个第一图像块中的第i个像素点的R通道分量值，Gcur(i)表示当前第一区域中的第i个像素点的G通道分量值，Gj(i)表示第j个第一图像块中的第i个像素点的G通道分量值，Bcur(i)表示当前第一区域中的第i个像素点的B通道分量值，Bj(i)表示第j个第一图像块中的第i个像素点的B通道分量值，Ycur(i)表示当前第二区域中的第i个像素点的像素值，Yj(i)表示第j个第二图像块中的第i个像素点的像素值，
Figure FDA0002652311970000054
表示当前第三区域中的第i个像素点的像素值；
步骤11：令
Figure FDA0002652311970000055
然后将多曝光图像预融合图像中Smin对应的一个第一图像块作为当前第一区域对应的最优匹配块；再计算当前第一区域中的每个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值，将当前第一区域中的第i个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值对应记为R'cur(i)、G'cur(i)和B'cur(i)，
Figure FDA0002652311970000056
Figure FDA0002652311970000061
Figure FDA0002652311970000062
最后用当前第一区域中的每个像素点的R通道分量值、G通道分量值和B通道分量值各自的替代值进行替代，实现了当前第一区域中的所有待修复像素点的修复；其中，Smin为引入的变量，min()为取最小值函数，η为最优匹配权重因子，Rbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的R通道分量值，Gbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的G通道分量值，Bbest(i)表示当前第一区域对应的最优匹配块中的第i个像素点的B通道分量值；
步骤12：在步骤11的基础上，重新按大小顺序对多曝光图像预融合图像中的所有还未修复的待修复像素点的修复次序参考值进行排序，对于相等的修复次序参考值随机排序；然后将最大修复次序参考值对应的待修复像素点作为当前第一像素点，将多曝光图像预融合图像中以当前第一像素点为中心的尺寸为n×n的区域作为当前第一区域，将中曝光图像的亮度图中与当前第一像素点对应的像素点作为当前第二像素点，将中曝光图像的亮度图中以当前第二像素点为中心的尺寸为n×n的区域作为当前第二区域，将
Figure FDA0002652311970000063
中与当前第一像素点对应的像素点定义为当前第三像素点，将
Figure FDA0002652311970000064
中以当前第三像素点为中心的尺寸为n×n的区域定义为当前第三区域；再返回步骤10继续执行，直至多曝光图像预融合图像中的所有待修复像素点全部修复完成为止，得到强鬼影去除后的融合图像。
2.根据权利要求1所述的一种强鬼影去除多曝光图像融合方法，其特征在于所述的步骤3中，
Figure FDA0002652311970000065
Figure FDA0002652311970000066
其中，符号“||”为取绝对值符号，
Figure FDA0002652311970000067
表示
Figure FDA0002652311970000068
中坐标位置为(x,y)的像素点的像素值，IMid(x,y)表示中曝光图像的亮度图IMid中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002652311970000069
表示
Figure FDA00026523119700000610
中坐标位置为(x,y)的像素点的像素值。
3.根据权利要求1或2所述的一种强鬼影去除多曝光图像融合方法，其特征在于所述的步骤5中，在
Figure FDA0002652311970000071
和
Figure FDA0002652311970000072
中分别增加形态学中的开运算算子，将
Figure FDA0002652311970000073
修改为
Figure FDA0002652311970000074
将
Figure FDA0002652311970000075
修改为
Figure FDA0002652311970000076
其中，符号
Figure FDA0002652311970000077
表示形态学中的开运算符号，s表示形态学中的开运算算子。
CN202010874847.8A 2020-08-27 2020-08-27 一种强鬼影去除多曝光图像融合方法 Active CN112085673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010874847.8A CN112085673B (zh) 2020-08-27 2020-08-27 一种强鬼影去除多曝光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010874847.8A CN112085673B (zh) 2020-08-27 2020-08-27 一种强鬼影去除多曝光图像融合方法

Publications (2)

Publication Number Publication Date
CN112085673A true CN112085673A (zh) 2020-12-15
CN112085673B CN112085673B (zh) 2023-06-02

Family

ID=73728724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010874847.8A Active CN112085673B (zh) 2020-08-27 2020-08-27 一种强鬼影去除多曝光图像融合方法

Country Status (1)

Country Link
CN (1) CN112085673B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质
CN112767281A (zh) * 2021-02-02 2021-05-07 北京小米松果电子有限公司 图像鬼影消除方法、装置、电子设备及存储介质
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN113888429A (zh) * 2021-09-29 2022-01-04 Oppo广东移动通信有限公司 图像提亮方法和装置、电子设备
CN115103118A (zh) * 2022-06-20 2022-09-23 北京航空航天大学 高动态范围图像生成方法、装置、设备及可读存储介质
CN115439384A (zh) * 2022-09-05 2022-12-06 中国科学院长春光学精密机械与物理研究所 一种无鬼影多曝光图像融合方法、装置
CN116740182A (zh) * 2023-08-11 2023-09-12 摩尔线程智能科技(北京)有限责任公司 一种鬼影区域确定方法、装置、存储介质及电子设备
CN117014729A (zh) * 2023-09-27 2023-11-07 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211732A1 (en) * 2009-04-23 2011-09-01 Guy Rapaport Multiple exposure high dynamic range image capture
CN109035155A (zh) * 2018-06-15 2018-12-18 宁波大学 一种光晕去除的多曝光图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211732A1 (en) * 2009-04-23 2011-09-01 Guy Rapaport Multiple exposure high dynamic range image capture
CN109035155A (zh) * 2018-06-15 2018-12-18 宁波大学 一种光晕去除的多曝光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李卫中;易本顺;邱康;彭红: "细节保留的多曝光图像融合" *
谢登梅;郁梅;彭宗举;陈芬;蒋刚毅;: "基于图像内容自适应矩阵完成的高动态范围成像方法" *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528944A (zh) * 2020-12-23 2021-03-19 杭州海康汽车软件有限公司 一种图像识别方法、装置、电子设备及存储介质
CN112767281A (zh) * 2021-02-02 2021-05-07 北京小米松果电子有限公司 图像鬼影消除方法、装置、电子设备及存储介质
CN112767281B (zh) * 2021-02-02 2024-04-30 北京小米松果电子有限公司 图像鬼影消除方法、装置、电子设备及存储介质
CN113592726A (zh) * 2021-06-29 2021-11-02 北京旷视科技有限公司 高动态范围成像方法、装置、电子设备和存储介质
CN113888429A (zh) * 2021-09-29 2022-01-04 Oppo广东移动通信有限公司 图像提亮方法和装置、电子设备
CN115103118A (zh) * 2022-06-20 2022-09-23 北京航空航天大学 高动态范围图像生成方法、装置、设备及可读存储介质
CN115103118B (zh) * 2022-06-20 2023-04-07 北京航空航天大学 高动态范围图像生成方法、装置、设备及可读存储介质
CN115439384A (zh) * 2022-09-05 2022-12-06 中国科学院长春光学精密机械与物理研究所 一种无鬼影多曝光图像融合方法、装置
CN116740182A (zh) * 2023-08-11 2023-09-12 摩尔线程智能科技(北京)有限责任公司 一种鬼影区域确定方法、装置、存储介质及电子设备
CN116740182B (zh) * 2023-08-11 2023-11-21 摩尔线程智能科技(北京)有限责任公司 一种鬼影区域确定方法、装置、存储介质及电子设备
CN117014729A (zh) * 2023-09-27 2023-11-07 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Also Published As

Publication number Publication date
CN112085673B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
CN112085673B (zh) 一种强鬼影去除多曝光图像融合方法
US10666873B2 (en) Exposure-related intensity transformation
Ram Prabhakar et al. Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs
Lee et al. Deep recursive hdri: Inverse tone mapping using generative adversarial networks
CN108492262B (zh) 一种基于梯度结构相似性的无鬼影高动态范围成像方法
CN105894484B (zh) 一种基于直方图归一化与超像素分割的hdr重建算法
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
CN112465727A (zh) 基于HSV色彩空间和Retinex理论的无正常光照参考的低照度图像增强方法
CN112419210B (zh) 基于颜色校正和三区间直方图拉伸的水下图像增强方法
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
CN113096057B (zh) 一种基于四光源光度立体法的高光消除方法
CN111612725A (zh) 一种基于可见光图像对比度增强的图像融合方法
CN113039576A (zh) 图像增强系统和方法
Steffens et al. Deep learning based exposure correction for image exposure correction with application in computer vision for robotics
KR20230146974A (ko) 영상의 밝기 개선 방법 및 장치
Zhou et al. Improving lens flare removal with general-purpose pipeline and multiple light sources recovery
CN112927160B (zh) 一种基于深度Retinex的单张低光图像增强方法
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
Wang et al. An exposure fusion approach without ghost for dynamic scenes
Gaikwad A Review on Self Learning based Methods for Real World Single Image Super Resolution
Vavilin et al. Fast HDR image generation from multi-exposed multiple-view LDR images
Srigowri Enhancing unpaired underwater images with cycle consistent network
Wang et al. Three-channel cascade network for underwater image enhancement
CN112258434A (zh) 一种静态场景下细节保持多曝光图像融合算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant