CN105894484B - 一种基于直方图归一化与超像素分割的hdr重建算法 - Google Patents
一种基于直方图归一化与超像素分割的hdr重建算法 Download PDFInfo
- Publication number
- CN105894484B CN105894484B CN201610191289.9A CN201610191289A CN105894484B CN 105894484 B CN105894484 B CN 105894484B CN 201610191289 A CN201610191289 A CN 201610191289A CN 105894484 B CN105894484 B CN 105894484B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- images
- super
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 52
- 230000011218 segmentation Effects 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 230000003068 static effect Effects 0.000 claims abstract description 22
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000013441 quality evaluation Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 230000013011 mating Effects 0.000 abstract 1
- 230000000717 retained effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于直方图归一化与超像素分割的HDR重建算法,利用直方图匹配算法将选中的参考图像Ir的直方图映射到图像序列的其他图像Ii上,并分别生成相应的匹配图像通过比较每个像素点和其临近像素的一致性,将图像的像素组合成超像素,并采用切割算法来获取图像中运动物体的轮廓,对匹配图像与其他图像Ii作差取绝对值,然后进行超像素分割;将分割得到的超像素分为两类:静态部分和动态部分,并将Ii和合成中间图像基于梯度的图像质量评价系统,计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。将参考图像和输入序列中其他图像进行直方图匹配,而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种基于直方图归一化与超像素分割的HDR重建算法。
背景技术
尽管图像技术近年来发展迅速,但是普通的数码相机依然无法拍摄出与人类肉眼所见的真实场景相一致的图像。为了解决这种局限性,很多研究者致力于获取现实世界中全动态的图片,也即高动态范围(high dynamic range HDR)图片。其中,通过多次曝光,每次捕捉一定的动态范围,将这些相同场景的不同动态范围进行融合,得到HDR图片。然而,由于实际中场景存在动态信息以及运动的物体,使得直接图片融合图片会产生鬼影或模糊现象。因此,如何消除序列HDR图像中的鬼影是比较重要的研究主题。通常,生成静态场景HDR图像的方法包括两个步骤:首先估计相机响应函数,结合不同曝光下的辐射图生成中间图像,来保存覆盖了真实场景整个色调范围的像素值;然后利用色调映射将获得的中间HDR图像重新映射成低动态范围(low dynamic range LDR)图像,在普通的LDR设备上显示。有些方法跳过一般的HDR过程,直接在图像域进行曝光融合,生成类似色调映射的HDR图像。因此,这些方法更加有效,且不需要进行色调映射。然而,由于上面所提到的所有方法都只适用于静态图片,曝光序列中任何的运动都会造成鬼影现象。
很多工作都尝试移除动态场景中的鬼影现象。一般来说,已有的方法分为两类。第一类假设图片中大部分场景是静态,只有少部分存在运动。这类方法通常先利用输入序列进行图像对齐,来确定哪些像素是静态场景或运动物体,然后将静态场景的像素融合起来生成无鬼影的动态图片。例如,Kang等提出的算法计算连续帧之间的光流,将像素融合生成HDR结果。Reinhard等提出基于辐射图计算方差图,并在不同的曝光图像上进行阈值化以检测运动区域。Jacobs等认为,对于曝光时间,局部熵信息一般变化不显著,基于这个特性提出来阈值化的熵信息图。Grosch则通过输入序列估计误差图并进行阈值处理。Min等提出从图像中计算多级别的阈值图,并比较它们检测运动。此外,Pece和Kautz提出利用中值阈值比特图(median threshold bitmap MTB)算法,将不同颜色值的像素标记为运动区域。Khan等和Pedone等采用核密度估计来计算像素属于运动物体的概率。Sidibe基于静态区域的像素值通常随着曝光时间的增加而增大这一事实,来识别鬼影。Gallo等通过两次曝光内的期望曝光率计算像素值偏差来检测运动信息。Zhang和Cham提出衡量曝光序列的局部梯度的一致性,来计算像素在融合时的权重。由于这些方法假设运动物体仅出现在场景的少部分区域或在某位置出现的概率小,因此,它们最根本的难题是,无法处理存在大量运动或部分区域变更频繁的场景。
为了解决对于大区域运动或较频繁变更的局限,第二类方法尝试在融合生成HDR图像前,先对图像序列按照参考图像进行对齐。Zimmer等考虑到变化的曝光情况,提出了基于能量的光流方法。HaCohen等利用由粗到精的策略,用广义路径匹配计算最近邻域场,与全局非线性参数颜色模型拟合相结合,并利用局部自适应约束来进行一致性匹配区域聚合。Hu等利用HaCohen提出的算法,找参考图像和序列中其他图像的密集相关性,并利用局部单应性校正错误的相关性。Sen等提出了基于子块的优化方法,同时解决了HDR图像和对齐的图像问题。此外,Hu提出基于子块匹配的方法,来处理图像饱和的部分,而Li等提出计算上更高效的基于双向正则化的方法。Zhang等提出了类似衡量曝光序列的局部梯度的一致性的参考指导的方法,将梯度方向的变化作为运动检测的一个线索。
然而,这些方法有两个共有的限制。首先,由于它们都通过在像素级最大化与所选的参考图片的相似度来重构HDR图像,因此性能极大的依赖所选参考图像的曝光质量。一般的,参考图像中过曝或欠曝的像素难以匹配,这就导致了在融合过程中,这些位置的像素权重计算不正确。其次,由于不同的曝光时间,在参考图像和序列其他图像之间可能存在很大的像素强度变化,因此难以在输入的图像中检测运动区域。为了克服这两个限制,本发明提出了基于直方图归一化与超像素分割的HDR重建方法。
发明内容
为解决现有技术存在的不足,本发明公开了一种基于直方图归一化与超像素分割的HDR重建算法,本发明首先在鬼影检测步骤之前,将参考图像和输入序列中其他图像进行直方图归一化,而不是直接计算输入图像的梯度信息。这使得图像的更多细节能够被保留,尤其是参考图像中过曝和欠曝的区域。此外,过欠曝光带来运动检测的困难也大大的降低。其次,考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性,本发明在超像素级进行鬼影检测建模。本发明所提出的方法在移除HDR图像鬼影的前提下,有效的解决了LDR图像对齐和最大化图像细节保留的问题。
为实现上述目的,本发明的具体方案如下:
一种基于直方图归一化与超像素分割的HDR重建算法,包括以下步骤:
步骤一:利用直方图归一化算法将选中的参考图像Ir的直方图映射到图像序列的除参考图像之外的其他输入图像Ii上,并分别生成相应的匹配图像
步骤二:将匹配图像分别与相对应的输入图像Ii的像素值相减并取绝对值,得到代表运动信息的图像Di;
通过比较运动信息的图像Di中每个像素点和其临近像素的一致性,将运动信息的图像Di的像素组合成超像素,并采用切割算法来获取图像中运动物体的轮廓,以保证图像融合过程中运动物体的完整性;
步骤三:将切割得到的超像素分为两类:静态超像素和动态超像素,并将输入图像Ii和匹配图像在运动信息图像Di的指导下合成中间图像
步骤四:基于梯度的图像质量评价系统,计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。
进一步的,在静态超像素的区域,中间图像选取输入图像Ii中的像素,动态超像素的区域,选取匹配图像中的像素。
进一步的,在步骤一中,将参考图像的直方图映射到图像序列的其他输入图像上时,采用幂函数模型:
其中,Ipow为归一化拟合后的图像,α、β、γ为常数项。
进一步的,在步骤一中,在归一化匹配时,匹配的对象设为图像像素的强度值。
进一步的,在步骤二中,对匹配图像与其他输入图像Ii作差取绝对值,得到:由于匹配图像曝光程度与输入图像Ii一致,同时匹配图像像素与参考图像Ir一致,因此Di可用来表示两幅图像间的运动信息。
进一步的,在步骤二中,超像素分割时,将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位,首先对运动信息的图像Di进行切割得到碎片,然后通过这些碎片的一系列特征,包括轮廓、形状、阴影和焦点,对这些碎片进行分类和组合,最后切割为多个超像素。
进一步的,在步骤三中,只要超像素中有5%的像素点的值超过设定的阈值,就认为整个超像素属于动态超像素,否则属于静态超像素,动态超像素的超像素值为1,静态超像素的超像素值为0,得到一幅以超像素为基本单位的二值图。
进一步的,为了保留输入图像Ii中曝光较好的区域同时去除与参考图像Ir不一致的动动态超像素,对二值图中值为1的区域,即动态区域,中间图像选取匹配图像中的像素;二值图中值为0的区域即静态区域,则选取输入图像Ii中的像素。
进一步的,为了使匹配图像与输入图像Ii两幅图像的超像素的边界融合地更加平滑,对二值图进行了高斯模糊处理,将二值图变成了介于0-1之间的权值图并对输入图像Ii和匹配图像进行加权融合。
进一步的,在步骤四中,图像的融合具体包括:
对高斯滤波函数在中间图像像素点x和y方向上分别求取一阶偏导数,得到该像素的梯度信息;
根据一阶偏导数求取代表着像素值的最大改变量梯度幅值;
通过梯度幅值信息,得到图像的可见性评价;
将中间图像看作是一系列静态图像,从而设权值,在权值地图的指导下,将所有中间图像无缝融合,得到一幅类似于色调映射的HDR图像。
本发明的有益效果:
本发明提出了一种新的普遍有效的模型,以解决动态图像序列融合中的鬼影检测和移除的问题。通过基于直方图的图像匹配和超像素分割,许多图像序列融合都得到了令人满意的结果。本文的方法受基于梯度的曝光融合的部分启发,但有两个显著且新颖的改进。首先,在鬼影检测步骤之前,我们没有直接计算输入图像的梯度信息,而是将参考图像和输入序列中其他图像进行直方图匹配。这样使得图像中部分区域,尤其是参考图像过曝欠曝的区域,细节信息保留更完整。此外,过欠曝光带来运动检测的困难也大幅降低。其次,考虑到序列中不同图像相同像素的内部一致性和相同图像邻域像素的外部一致性,我们在超像素级进行鬼影检测建模。所提出的方法在移除HDR图像鬼影的前提下,有效的解决了LDR图像对齐和最大化图像细节保留的问题。
附图说明
图1本申请的算法框图;
图2本申请的算法图像处理流程图;
图3(a)为曝光的图像,图3(b)为标准化的图像,图3(c)为将图3(a)及图3(b)进行超像素的运动检测生成的中间图像,
图3(d)为另一曝光的图像,图3(e)为另一标准化的图像,图3(f)为将图3(d)及图3(e)进行超像素的运动检测生成的中间图像;
图4(a)为输入的图像,图4(b)为利用Kang文献里的方法处理后的图像,图4(c)为利用Zhang文献里的方法处理后的图像,图4(d)为在欠曝光的情况下的匹配图像,图4(e)为本申请中的改进算法处理后的图像;
图5(a)输入的曝光的图像,图5(b)上面的为没有采用基于超像素的运动检测的融合图像,图5(b)下方的为本申请中的算法采用基于超像素的运动检测的融合图像;
图6(a)输入的五种不同曝光程度的图像,图6(b)从左至右依次是Mertens文献、Gallo文献、Sen文献及本申请中的算法处理后的图像;
图7(a)为输入的欠曝光的一组图像,图7(b)从上至下,从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像;
图8(a)为输入的欠曝光的一组图像,图8(b)从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像;
图9(a)为输入的欠曝光的一组图像,图9(b)从左至右依次为采用Zhang文献、Sen文献、Hu文献及本申请中的算法处理后的图像。
具体实施方式:
下面结合附图对本发明进行详细说明:
如图1所示,本申请提出的算法主要包括以下三个部分。首先,利用直方图匹配算法将选中的参考图像Ir的直方图映射到图像序列的其他图像Ii上,并分别生成相应的匹配图像这样得到的曝光程度和Ii一致,同时图像的内容与Ir保持一致。第二步,我们采纳了文献(X.Ren and J.Malik,“Learning a classification model forsegmentation,”in Computer Vision,2003.Proceedings.Ninth IEEEInternationalConference on.IEEE,2003,pp.10–17.)中的思想,通过比较每个像素点和其临近像素的一致性,将图像的像素组合成超像素,并采用文献(G.Mori,X.Ren,A.Efros,J.Malik et al.,“Recovering human body configurations:Combining segmentationand recognition,”in Computer Vision and Pattern Recognition,2004.CVPR2004.Proceedings of the 2004IEEE Computer Society Conference on,vol.2.IEEE,2004,pp.II–326.)中提出的切割算法来获取图像中运动物体的轮廓。考虑到相机运动以及输入图像之间的重合部分,我们对图像与Ii作差取绝对值,然后进行超像素分割。接着我们将分割得到的超像素通过特定的阈值分为两类:静态部分和动态部分,并通过对这两部分的组合生成中间图像具体来讲,在静态部分的区域,选取Ii中的内容,动态部分的区域选取中的内容。最后,利用基于梯度的图像质量评价系统,我们计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。
本申请的算法图像处理流程如图2所示,最左侧的三幅图像为输入图像,选取中间的输入图像为参考图像,对除参考图像之外的两个输入图像进行归一化处理,得到相应的中间图像,最后将中间图像进行融合,得到处理后的最终图像。
如图3(a)为曝光的图像,图3(b)为标准化的图像,图3(c)为将图3(a)及图3(b)进行超像素的运动检测生成的中间图像。
图3(d)为另一曝光的图像,图3(e)为另一标准化的图像,图3(f)为将图3(d)及图3(e)进行超像素的运动检测生成的中间图像。
直方图归一化算法:由于输入图像之间有时存在较大的强度差异,尤其是过曝光和欠曝光区域,直接对图像序列进行操作的运动检测方法效果并不好。因此本文提出在进行运动检测前,首先将参考图像的直方图映射到图像序列的其他图像上,实现全局校准。显然,任何两幅图像间的强度偏差都可以通过建立模型对图像强度进行加减或缩放来获取。通过大量实验,我们发现幂函数模型的曲线拟合效果最好,作为参考图像像素值到其他图像像素值的归一化拟合函数最为合适。
基于超像素的运动检测:用来详细阐述了本申请的运动检测算法以及生成中间图像的方法。为了找到Ii和之间的运动区域,本申请让两者的像素值相减然后取绝对值,得到:由于曝光程度与Ii一致,同时图像内容与Ir一致,因此Di可用来表示两幅图像间的运动信息。
为了更准确的找到运动区域,本申请将Di进行超像素分割。在大部分情况下,图像处理的基本单位都是单个的像素,包括传统的HDR算法。本申请将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位,这样既改善了运动检测的准确性,同时减轻了后续算法的复杂度。首先对图像进行常规切割,然后通过这些碎片的一系列特征,包括轮廓、形状、阴影和焦点,对这些碎片进行分类和组合,最后将Di切割为200个超像素。
接着我们将这些超像素分为静态和动态两类。由于Di代表着Ii和之间的运动信息,因此,Di中的像素值越大,就表示该点属于运动区域的可能性就越大。我们想要尽可能地将鬼影全部去除,因此只要超像素中有像素点的值超过的设定的阈值,我们就认为整个超像素属于运动区域。实验中的阈值设为50。
运动检测完成后,得到一幅以超像素为基本单位的二值图。其中运动区域的超像素值为1,静态区域的超像素值为0。在这幅二值图的指导下,我们将Ii和合成中间图像为了保留Ii中曝光较好的区域同时去除与参考图像Ir不一致的运动区域,对二值图中值为1的区域,选取中的部分,其余则选取Ii中的部分。此外,为了使两幅图像超像素的边界融合地更加平滑,我们对二值图进行了高斯模糊处理,将二值图变成了介于0-1之间的权值图并对Ii和进行加权融合:
其中,Ii(x,y)分别为第i幅中间图像、匹配图像、输入图像在(x,y)坐标上的像素值,wi(x,y)为第i幅匹配图像在(x,y)坐标上的像素值在融合过程中分配的权重。
图像融合:本申请对进行了基于梯度的图像质量评定。如文献(W.Zhang andW.-K.Cham,“Gradient-directed composition of multiexposure images,”in ComputerVision and Pattern Recognition(CVPR),2010IEEE Conference on.IEEE,2010,pp.530–536.)中所提到的,图像梯度和图像的特征有很大关联,其中梯度的幅值大小可用来表示图像的曝光质量好坏,像素的曝光质量越好,梯度幅值就越大。相反的,对于过曝光和欠曝光的像素点,该点的梯度幅值会相应减小。用这种方法,我们首先对高斯滤波函数在像素点x和y方向上分别求取一阶偏导数,得到该像素的梯度信息:
和分别是在x和y方向上的偏导数。梯度幅值代表着像素值的最大改变量,可由下式计算得到:
通过梯度幅值信息mi(x,y),可以得到图像的可见性评价,用Vi(x,y)来进行量化表示:
由于中间图像已经在前两步计算中得到校准,因此我们将其看作是一系列静态图像,从而设权值Wi=Vi。在权值地图的指导下,我们采用算法将所有中间图像无缝融合,得到一幅类似于色调映射的HDR图像H(x,y):
实验结果
本申请在室内室外包括了不同类型物体运动等场景下,测试所提出的算法,并与当前HDR图像去鬼影的方法进行结果比较。由于很难覆盖全部的公开算法,我们这里主要集中和这四种最新水平的方法进行比较:Mertens等的图像融合方法,Zhang和Cham的基于梯度曝光融合,Hu等的HDR合成方法,以及Sen等的基于子块的HDR重建方法。
首先,在去鬼影的过程中,我们分两步验证所提出的直方图匹配和超像素运动检测的有效性:直方图匹配。由前面所述,由于不同曝光下像素强度变化显著,没法直接进行运动区域检测。然而,直方图匹配能解决这一现状。图4(a)为输入的图像,图4(b)为利用Kang文献里的方法处理后的图像,图4(c)为利用Zhang文献里的方法处理后的图像,图4(d)为在欠曝光的情况下的匹配图像,图4(e)为本申请中的改进算法处理后的图像。
我们的方法和文献(S.B.Kang,M.Uyttendaele,S.Winder,and R.Szeliski,“Highdynamicrange video,”ACM Transactions on Graphics(TOG),vol.22,no.3,pp.319–325,2003.)以及文献(W.Zhang and W.-K.Cham,“Reference-guided exposure fusion indynamic scenes,”Journal of Visual Communication and Image Representation,vol.23,no.3,pp.467–475,2012.)的结果对比。可以看出,他们的算法在欠曝光情况下,不能有效的进行输入图像和参考图像的对齐,而我们所提出的方法在融合前通过将二者进行直方图匹配,因而在消除鬼影方面体现出了优异的性能。
基于超像素的运动检测。图5(a)输入的曝光的图像,图5(b)上面的为没有采用基于超像素的运动检测的融合图像,图5(b)下方的为本申请中的算法采用基于超像素的运动检测的融合图像。
显示了我们的算法采用及不采用基于超像素的运动检测的融合结果。由图可见场景中存在许多跳舞的人,图片的运动信息也非常复杂。过曝或欠曝区域内单个像素的运动信息容易被错误判断,因此在图像融合过程中留下了小黑孔。考虑到像素间的内部一致性,尤其是场景中同一运动物体的像素之间,我们应该赋予他们相近似的权重。可以看出,我们基于超像素运动检测的融合结果,能够很理想的重建过欠曝光区域内的图像细节,例如场景中女舞者的腿。
为了验证所提出的算法在动态场景中的有效性,我们复制了一些以前发表的结果,并与现有的工作进行比较。图6(a)输入的五种不同曝光程度的图像,图6(b)从左至右依次是Mertens文献、Gallo文献、Sen文献及本申请中的算法处理后的图像。
显示了五种不同曝光程度的图像,其中存在着动态的行人。我们选择第三张图作为实验的参考图像。显然,文献(T.Mertens,J.Kautz,and F.Van Reeth,“Exposurefusion:A simple and practical alternative to high dynamic range photography,”in Computer Graphics Forum,vol.28,no.1.Wiley Online Library,2009,pp.161–171.)生成的结果存在几处鬼影现象。文献(O.Gallo,N.Gelfand,W.-C.Chen,M.Tico,andK.Pulli,“Artifact-free high dynamic range imaging,”in ComputationalPhotography(ICCP),2009IEEE International Conference on.IEEE,2009,pp.1–7.)的融合结果有所改善,但依然存在一定的噪声,部分区域的图像细节也有丢失。文献(P.Sen,N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,and E.Shechtman,“Robust patch-based hdr reconstruction of dynamic scenes.”ACM Trans.Graph.,vol.31,no.6,p.203,2012.)所得到的结果整体看起来欠曝,虽然保存了输入曝光图像的全部内容,但部分细节太黑以至于无法显示。相反,我们的方法生成的结果包含的信息最丰富,而且彻底消除了鬼影现象。
图7(a)为输入的欠曝光的一组图像,图7(b)从上至下,从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像。
显示了一个含有复杂运动信息以及过曝光和欠曝光的室外场景,我们选择输入序列的第三幅图作为实验参考图像。
图8(a)为输入的欠曝光的一组图像,图8(b)从左至右依次为采用Mertens文献、Zhang文献、Sen文献及本申请中的算法处理后的图像。
显示了一个人弹钢琴的场景,这个场景包含了大量欠曝区域,而且演奏家手部区域变化频繁。如这两幅图所示,同样的,文献(T.Mertens,J.Kautz,and F.Van Reeth,“Exposure fusion:A simple and practical alternative to high dynamic rangephotography,”in Computer Graphics Forum,vol.28,no.1.Wiley Online Library,2009,pp.161–171.)和文献(W.Zhang and W.-K.Cham,“Reference-guided exposurefusion in dynamic scenes,”Journal of Visual Communication and ImageRepresentation,vol.23,no.3,pp.467–475,2012.)的融合结果产生了明显的鬼影现象。
图9(a)为输入的欠曝光的一组图像,图9(b)从左至右依次为采用Zhang文献、Sen文献、Hu文献及本申请中的算法处理后的图像。
文献(P.Sen,N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,andE.Shechtman,“Robust patch-based hdr reconstruction of dynamic scenes.”ACMTrans.Graph.,vol.31,no.6,p.203,2012.)的结果依然比较昏暗,而且欠曝光区域没能重建出来。他们在图9的结果有所改善,信息也比较丰富,但作为一个普通的场景,看起来依然不够真实。相比他们的融合结果,我们所提出的方法在这两个场景中生成的HDR图像都非常自然,而且没有鬼影现象。
最后,我们利用所提出的算法在另外两个场景中进行测试,这个场景包含大量过曝光和欠曝光的区域,我们就对饱和图像的处理与前面的算法进行比较。如之前所提到的,不理想的曝光总是会给鬼影的移除带来巨大的困难。文献(P.Sen,N.K.Kalantari,M.Yaesoubi,S.Darabi,D.B.Goldman,and E.Shechtman,“Robust patch-based hdrreconstruction of dynamic scenes.”ACM Trans.Graph.,vol.31,no.6,p.203,2012.)的算法基于能量最小化公式,尽可能的保留全部的曝光信息,这让他们的结果看起来或多或少的不自然。更严重的是,他们没办法处理曝光序列中饱和的区域。文献(J.Hu,O.Gallo,K.Pulli,and X.Sun,“Hdr deghosting:How to deal with saturation?”in 2013 IEEEConference on Computer Vision and Pattern Recognition.IEEE,2013,pp.1163–1170.)的结果在饱和区域的处理比前者好,然而我们的方法在处理好饱和区域的同时,也保留了更多的图像细节。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,包括以下步骤:
步骤一:利用直方图归一化算法将选中的参考图像Ir的直方图映射到图像序列的除参考图像之外的其他输入图像Ii上,并分别生成相应的匹配图像
步骤二:将匹配图像分别与相对应的输入图像Ii的像素值相减并取绝对值,得到代表运动信息的图像Di;
通过比较运动信息的图像Di中每个像素点和其临近像素的一致性,将运动信息的图像Di的像素组合成超像素,并采用切割算法来获取图像中运动物体的轮廓,以保证图像融合过程中运动物体的完整性;
步骤三:将切割得到的超像素分为两类:静态超像素和动态超像素,并将输入图像Ii和匹配图像在运动信息图像Di的指导下合成中间图像
在静态超像素的区域,中间图像选取输入图像Ii中的像素,动态超像素的区域,选取匹配图像中的像素;
只要超像素中有5%的像素点的值超过设定的阈值,就认为整个超像素属于动态超像素,否则属于静态超像素,动态超像素的超像素值为1,静态超像素的超像素值为0,得到一幅以超像素为基本单位的二值图;
步骤四:基于梯度的图像质量评价系统,计算得到每一幅中间图像的权值地图并将其进行加权融合得到最终图像融合结果。
2.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,在步骤一中,将参考图像的直方图映射到图像序列的其他输入图像上时,采用幂函数模型:其中,Ipow为归一化拟合后的图像,α、β、γ为常数项。
3.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,在步骤一中,在归一化匹配时,匹配的对象设为图像像素的强度值。
4.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,在步骤二中,超像素分割时,将相同特征的像素点组合为超像素并将超像素作为运动检测的基本单位,首先对运动信息的图像Di进行切割得到碎片,然后通过这些碎片的一系列特征,包括轮廓、形状、阴影和焦点,对这些碎片进行分类和组合,最后切割为多个超像素。
5.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,为了保留输入图像Ii中曝光较好的区域同时去除与参考图像Ir不一致的动动态超像素,对二值图中值为1的区域,即动态区域,中间图像选取匹配图像中的像素;二值图中值为0的区域即静态区域,则选取输入图像Ii中的像素。
6.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,为了使匹配图像与输入图像Ii两幅图像的超像素的边界融合地更加平滑,对二值图进行了高斯模糊处理,将二值图变成了介于0-1之间的权值图并对输入图像Ii和匹配图像进行加权融合。
7.如权利要求1所述的一种基于直方图归一化与超像素分割的HDR重建算法,其特征是,在步骤四中,图像的融合具体包括:
对高斯滤波函数在中间图像像素点x和y方向上分别求取一阶偏导数,得到该像素的梯度信息;
根据一阶偏导数求取代表着像素值的最大改变量梯度幅值;
通过梯度幅值信息,得到图像的可见性评价;
将中间图像看作是一系列静态图像,从而设权值,在权值地图的指导下,将所有中间图像无缝融合,得到一幅类似于色调映射的HDR图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610191289.9A CN105894484B (zh) | 2016-03-30 | 2016-03-30 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610191289.9A CN105894484B (zh) | 2016-03-30 | 2016-03-30 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105894484A CN105894484A (zh) | 2016-08-24 |
CN105894484B true CN105894484B (zh) | 2017-03-08 |
Family
ID=57014198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610191289.9A Active CN105894484B (zh) | 2016-03-30 | 2016-03-30 | 一种基于直方图归一化与超像素分割的hdr重建算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105894484B (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108022215B (zh) * | 2016-11-02 | 2020-05-15 | 奥泰医疗系统有限责任公司 | 基于数据一致性和图像伪影分解技术的运动伪影消除方法 |
CN106991162B (zh) * | 2017-03-22 | 2020-07-28 | 未来电视有限公司 | 一种网页上的节省网络资源的动画效果的实现方法 |
CN108668093B (zh) * | 2017-03-31 | 2020-08-14 | 华为技术有限公司 | Hdr图像的生成方法及装置 |
CN107464222B (zh) * | 2017-07-07 | 2019-08-20 | 宁波大学 | 基于张量空间的无参考高动态范围图像客观质量评价方法 |
CN107454330B (zh) * | 2017-08-24 | 2019-01-22 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
CN108985351B (zh) * | 2018-06-27 | 2021-11-26 | 北京中安未来科技有限公司 | 一种基于梯度方向稀疏特征信息识别模糊图像的方法和装置、计算设备及存储介质 |
CN109360163A (zh) * | 2018-09-26 | 2019-02-19 | 深圳积木易搭科技技术有限公司 | 一种高动态范围图像的融合方法及融合系统 |
CN109345525B (zh) * | 2018-09-27 | 2022-03-29 | 方玉明 | 一种去鬼影高动态范围图像质量评价方法 |
CN109754377B (zh) * | 2018-12-29 | 2021-03-19 | 重庆邮电大学 | 一种多曝光图像融合方法 |
CN110211090B (zh) * | 2019-04-24 | 2021-06-29 | 西安电子科技大学 | 一种用于评价视角合成图像质量的方法 |
CN110400269B (zh) * | 2019-07-04 | 2021-08-06 | 汕头大学 | 一种快速的hdr图像色调映射方法 |
CN111372006B (zh) * | 2020-03-03 | 2021-05-07 | 山东大学 | 一种面向移动端的高动态范围成像方法及系统 |
CN113052923B (zh) * | 2021-03-31 | 2023-02-28 | 维沃移动通信(深圳)有限公司 | 色调映射方法、装置、电子设备和存储介质 |
CN114037643A (zh) * | 2021-11-12 | 2022-02-11 | 成都微光集电科技有限公司 | 图像处理方法、装置、介质和设备 |
CN114463318B (zh) * | 2022-02-14 | 2022-10-14 | 宁波大学科学技术学院 | 一种多曝光融合图像的视觉质量评估方法 |
CN115439384A (zh) * | 2022-09-05 | 2022-12-06 | 中国科学院长春光学精密机械与物理研究所 | 一种无鬼影多曝光图像融合方法、装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103002225B (zh) * | 2011-04-20 | 2017-04-12 | 高通科技公司 | 多曝光高动态范围图像捕捉 |
WO2014025588A1 (en) * | 2012-08-08 | 2014-02-13 | Dolby Laboratories Licensing Corporation | Image processing for hdr images |
CN105072341A (zh) * | 2015-08-12 | 2015-11-18 | 旗瀚科技股份有限公司 | 一种可用于机器视觉的高动态范围现实场景信息重构方法 |
-
2016
- 2016-03-30 CN CN201610191289.9A patent/CN105894484B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105894484A (zh) | 2016-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105894484B (zh) | 一种基于直方图归一化与超像素分割的hdr重建算法 | |
Song et al. | Enhancement of underwater images with statistical model of background light and optimization of transmission map | |
Fan et al. | Integrating semantic segmentation and retinex model for low-light image enhancement | |
Jiang et al. | Image dehazing using adaptive bi-channel priors on superpixels | |
CN109754377B (zh) | 一种多曝光图像融合方法 | |
Gallo et al. | Artifact-free high dynamic range imaging | |
Kim et al. | Single image dehazing based on contrast enhancement | |
Li et al. | Detail-preserving multi-exposure fusion with edge-preserving structural patch decomposition | |
WO2018171008A1 (zh) | 一种基于光场图像的高光区域修复方法 | |
TW200834459A (en) | Video object segmentation method applied for rainy situations | |
Agrawal et al. | A comprehensive review on analysis and implementation of recent image dehazing methods | |
Moriwaki et al. | Hybrid loss for learning single-image-based HDR reconstruction | |
Zhang et al. | Motion-free exposure fusion based on inter-consistency and intra-consistency | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
Zheng et al. | T-net: Deep stacked scale-iteration network for image dehazing | |
Im et al. | Dark channel prior-based spatially adaptive contrast enhancement for back lighting compensation | |
Tan et al. | Image haze removal based on superpixels and Markov random field | |
Chen et al. | End-to-end single image enhancement based on a dual network cascade model | |
Othman et al. | Enhanced single image dehazing technique based on hsv color space | |
Zhao et al. | Multi-scene image enhancement based on multi-channel illumination estimation | |
Ouattara et al. | A new image inpainting approach based on Criminisi algorithm | |
Wang et al. | An exposure fusion approach without ghost for dynamic scenes | |
Lee et al. | Improved histogram based ghost removal in exposure fusion for high dynamic range images | |
Shao et al. | Strong ghost removal in multi-exposure image fusion using hole-filling with exposure congruency | |
Fan et al. | Multi-scale dynamic fusion for correcting uneven illumination images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |