CN107220931B - 一种基于灰度级映射的高动态范围图像重建方法 - Google Patents
一种基于灰度级映射的高动态范围图像重建方法 Download PDFInfo
- Publication number
- CN107220931B CN107220931B CN201710651717.6A CN201710651717A CN107220931B CN 107220931 B CN107220931 B CN 107220931B CN 201710651717 A CN201710651717 A CN 201710651717A CN 107220931 B CN107220931 B CN 107220931B
- Authority
- CN
- China
- Prior art keywords
- image
- gray
- ldr
- value
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013507 mapping Methods 0.000 title claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 230000003628 erosive effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 59
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 230000008030 elimination Effects 0.000 abstract description 3
- 238000003379 elimination reaction Methods 0.000 abstract description 3
- 241001270131 Agaricus moelleri Species 0.000 abstract description 2
- 238000012850 discrimination method Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 230000003068 static effect Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000000717 retained effect Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明公开了一种基于灰度级映射的高动态范围图像重建方法，涉及图像处理技术领域，对任意大小的低动态范围图像序列，仅需拟合与灰阶数目相同个数而不是与相机分辨率个数相同的视觉适应的S形曲线，利用最佳成像值判别方法直接融合，极大地提高了算法的融合效率，能够达到实时性图像融合要求。对动态场景的融合，设计的灰度级映射关系恢复理想状态的多曝光图像，利用差分法检测运动目标区域，做鬼影消除处理，融合得到一幅能够反映真实场景信息且不受鬼影影响的高动态范围图像。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于灰度级映射的高动态范围图像重建方法。
背景技术
视觉信息具有其他信号无可替代的直观性优点，因而在工业自动化检测，以及安防监控，以及民用日用等诸多领域快速渗透。但是，由于在现实场景中，光照环境通常表现的较为复杂，光照变化范围较为宽广，可达到100,000,000:1的范围，人眼在固定场合中的适应光照变化范围为10,000:1，目前大部分的相机传感器能够适应的范围为100:1，为了便于解释，将其称为低动态范围成像相机。为此，为提升相机的表现力，诸多的研究机构在高动态范围图像传感器的研制方面做了大量的工作。访问相关网站，可以看到，日本公司在高动态范围图像传感器及编码器方面做了许多的工作，如日本松下开发出超宽动态范围图像传感器，日本的Inrevium给出了宽动态范围的压缩芯片等等。高动态范围图像传感器的出现，使相机对图像信息的描述能力大大提升。
目前的实际情况是，高动态范围相机价格昂贵，低动态范围成像相机被各个领域普及使用，因此，采用软硬件相结合的方法实现对高动态范围场景的有效描述，是一个研究热点。同时，根据视觉特性展开的信息估计以及信号增强等方面科学问题的研究，也有助于推动相关领域研究的深入。
针对高动态范围图像重建方法，主要体现在以下两个方面：基于辐射域的HDR图像重建和基于多曝光图像加权融合的HDR图像重建。前者相机响应函数的估计和色调映射函数的设计是两个非常重要和时间开销非常大的过程，因此在实时应用方面缺乏竞争力。后者的多曝光图像融合算法有效地解决了静态场景和动态场景的图像融合，对相机的微小移动和含有运动目标的动态场景给出了较好的解决方案，但是算法仍然存在以下两个有待优化的方面。
现有多曝光图像融合方法针对多曝光图像序列每个像素位置拟合曲线，通过曲线的拐点求该像素的最佳成像点，能够恢复出实际场景中亮暗区域的细节信息，最后通过金字塔算法对融合后的图像进行平滑处理，得到一幅清晰、逼真的且能反映真实场景的高动态范围图像。但对于具有千万级像素的图像序列，则需要拟合千万条曲线，获得最佳曝光点，虽然可通过并行计算的方法解决，仍存在计算效率低，空间复杂度高等缺点，很难达到实时应用的目的。现有多曝光图像融合方法在检测运动目标时，给出了一个曝光量递增关系的假设，即图像像素随着曝光时间的增大其像素亮度值也随着增大原理。然而在真实场景中，运动目标符合随曝光时间增加其亮度值也随之增加，于是融合后仍存在鬼影现象。
发明内容
本发明实施例提供了一种基于灰度级映射的高动态范围图像重建方法，可以解决现有技术中存在的问题。
一种基于灰度级映射的高动态范围图像重建方法，所述方法包括：
步骤100，对LDR图像序列配准和去噪；
步骤110，计算配准和去噪后的LDR图像序列的灰度均值图像，然后计算和其对应的配准和去噪后的LDR图像序列的信息熵，熵值最大的作为基准图像；
步骤120，对于每个灰度级0-255，在基准图像中查找其像素的位置，计算不同LDR图像对应位置的灰度均值，以其灰度均值作为亮度序列；
步骤130，根据亮度序列采用最小二乘法拟合鲁棒性曲线；
步骤140，重复步骤120和130，获得256条曲线，计算每条曲线最佳曝光成像点；
步骤150，根据最佳曝光成像点获得dirichlet权值矩阵；
步骤160，进行多分辨率融合，最终获得HDR图像；
步骤170，对于动态场景，从LDR图像序列中选择场景一致的两幅图像作为指导图像，根据指导图像恢复理想图像；然后利用实际拍摄的LDR图像和恢复出的理想图像做差分，得到运动区域；对于得到的运动区域二值图像，使用形态学图像处理方法的腐蚀操作来消除噪声和孤立点，然后使用膨胀运算将孔洞填充，获得经过形态学处理后的运动区域二值图像。
本发明实施例中的一种基于灰度级映射的高动态范围图像重建方法，对任意大小的低动态范围图像序列，仅需拟合与灰阶数目相同个数而不是与相机分辨率个数相同的视觉适应的S形曲线，利用最佳成像值判别方法直接融合，极大地提高了算法的融合效率，能够达到实时性图像融合要求。对动态场景的融合，设计的灰度级映射关系恢复理想状态的多曝光图像，利用差分法检测运动目标区域，做鬼影消除处理，融合得到一幅能够反映真实场景信息且不受鬼影影响的高动态范围图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中一种基于灰度级映射的高动态范围图像重建方法的流程图；
图2为静态场景的多曝光图像融合效果图；
图3为相机微小移动的灰度级多曝光图像融合图；
图4为动态场景的LDR图像融合图(运动目标)；
图5含有运动目标的灰度级LDR图像融合效果图；
图6为多曝光序列图(a)的运动目标检测示意图；
图7为LDR图像序列图5-1的融合效果(1，7为参考图像，保留5中的运动目标)；
图8为含有运动目标的LDR图像融合效果对比图(1，5为参考图像，保留3中运动目标)；
图9为几组含有运动目标的LDR图像融合效果图(左图以1和7作为参考图像，保留3运动目标，右图以6和5作为参考图像，保留4的运动目标)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，本发明实施例提供了一种基于灰度级映射的高动态范围图像重建方法，所述方法包括：
步骤100，LDR(低动态范围)图像序列配准和去噪；
步骤110，计算配准和去噪后的LDR图像序列的灰度均值图像，然后计算和其对应的配准和去噪后的LDR图像序列的信息熵，熵值最大的作为基准图像；
所述灰度均值图像根据公式(1)计算：
其中，N表示LDR图像序列的数量，Ik是第k幅LDR图像对应的灰度图像，uI表示LDR图像序列的灰度均值图像。
步骤120，对于每个灰度级(0-255)，在基准图像中查找其像素的位置，计算不同LDR图像对应位置的灰度均值，以其灰度均值作为亮度序列；
[nx,ny]＝find(gray＝＝uI)，gray＝0,1,K,255 (2)
其中，[nx,ny]为基准图像uI中灰度值等于灰度级gray的像素点坐标，Ik(x,y)为第k幅LDR图像在基准图像uI对应位置的像素点灰度值，pgrayk为第k幅LDR图像对应位置的像素灰度均值。
步骤130，根据亮度序列pgrayk采用最小二乘法拟合鲁棒性曲线；
u(x)＝a4x4+a3x3+a2x2+a1x+a0 (5)
其中，x为LDR图像对应位置的像素灰度均值，即pgrayk，f(.)为sigmoid复合函数，其值对应LDR图像像素亮度值pgrayk，a4、a3、a2、a1、a0均为系数。
步骤140，重复步骤120和130，获得256条曲线，计算每条曲线最佳曝光成像点；
对于LDR图像序列中某一像素点从曝光不足到曝光过度过程中，其亮度序列中必然存在一个发生质变的点，该点为场景最佳曝光成像点，利用LDR图像像素亮度值序列拟合的曲线，其拐点作为最佳曝光成像点。
对公式(4)分别求一阶和二阶导数：
根据拐点定义，从式(7)可以看出，曲线的拐点不止一处，本实施例从多个拐点中选择其拐点处曲线函数值靠近0.5作为最佳拐点，即：
其中，xk为曲线的拐点，考虑到拍摄LDR图像序列时，总是尽量反应场景中某一部分的最佳信息，因此最佳曝光成像点的亮度值被确定为距离f(u(x*))最近的LDR图像序列像素灰度值，即：
其中，k*表示在像素(x,y)处为场景的最佳成像曝光点的图像序号。
步骤150，根据最佳曝光成像点获得dirichlet权值矩阵；
通过拟合LDR图像序列中每个像素位置灰度值曲线和确定最佳曝光成像点之后，计算狄利克雷函数取值：
步骤160，进行多分辨率融合，最终获得HDR(高动态范围)图像：
其中，G(x,y)是融合后的HDR图像。
步骤170，对于动态场景，从LDR图像序列中选择场景一致的Iq和Ip两幅图像作为指导图像，根据公式(12)可知：
变形得：
其中，Iq(x,y)、Ip(x,y)分别代表指导图像Iq和Ip在像素(x,y)处的灰度值，
是Iq、Ip和Ik的灰度均值，Ik'(x,y)是恢复出第k幅的理想图像在像素(x,y)处的灰度值。
然后利用实际拍摄的LDR图像和恢复出的理想图像做差分，得到运动区域，如下所示：
其中，g(x,y)为运动区域，1代表鬼影像素，0代表非鬼影像素，TH取值为0.05。
对于得到的运动区域二值图像，有很多的噪声、孤立点和孔洞，使用形态学图像处理方法的腐蚀操作来消除噪声和孤立点，然后使用膨胀运算将孔洞填充：
其中，B为腐蚀和膨胀操作ones(3×3)结构元素，m和n分别是腐蚀和膨胀操作次数，g’表示经过形态学处理后的运动区域二值图像。
本实施例对静态场景、相机微小移动和含有运动目标的动态场景分别采用了灰度级融合方法进行了测试，所有试验在Intel内核CPU 3.4G，内存8G，MATLAB2010的PC机上进行，测试图像来源于互联网上常见的LDR图像序列。静态场景和包含相机微小移动与目前流行的Mertens EF算法、S_sigmoid算法及本文算法进行比较，如图2和3；动态场景与2014年Chul Lee算法、2013年T.-H.Oh算法和J.Hu算法，2012年W.Zhang算法，以及其他等经典算法进行了比较，如图4和5。
1.静态场景LDR图像序列融合
目前针对静态场景主要的Mertans EF算法采用对比度、饱和度和适度曝光量融合效果良好。a为LDR图像序列，b为融合效果对比图，其中b(1)为Mertens EF算法，b(2)为Ssigmoid算法，b(3)为本发明的方法。本文算法对如图2a所示的5幅不同曝光的LDR图像序列进行了融合，如图2b所示。从融合结果来看，本文算法融合细节更清楚，具有较强的对比度融合效果。Mertans EF算法具有较好的曝光量，形成的图像明亮度较好，其缺点是会在高亮区域(教堂场景中顶部区域和左边壁画)部分细节丢失，且颜色和对比度较差；基于sigmoid函数的单像素融合算法(S_sigmoid)相对于Mertans EF算法，由于直接提取了原LDR图像序列中像素亮度值信息，与原图像的成像风格保持一致，在高亮区保留更多的细节信息，获得更加自然的融合图像，但该算法由于是单点像素序列进行曲线拟合，容易受到噪声点影响；本文方法克服了S_sigmoid算法的缺点，融合效果中细节更丰富，图像对比度强，视觉效果更加自然。为了更好地对比，图2c给出了细节比较结果，其中，c(1-1)和c(1-2)为MertansEF算法效果图中两处细节的放大图，c(2-1)和c(2-2)为S_sigmoid算法效果图中两处细节的放大图，c(3-1)和c(3-2)为本发明方法效果图中两处细节的放大图。
2.相机微小移动的LDR图像序列融合
在相机进行实际拍摄时，即使使用三角架，也会由于手颤抖或按快门引起相机的微小移动，使得最终的融合效果出现虚边、重影等现象。本文算法通过检测未配准区域，对其给定曝光较好的像素值，其余像素按照静态场景处理，获得清晰的图像。图3a一组LDR图像序列，其在拍摄过程中相机出现了微小移动，致使图像没有完全配准。分别采用MertansEF算法、S_sigmoid算法和本文算法进行融合，融合效果分别如图3b中的b(1)、b(2)、b(3)所示，细节放大如图3c所示，其中c(1-1)、c(1-2)和c(1-3)为Mertens EF算法效果图中三处细节的放大图，c(2-1)、c(2-2)和c(2-3)为S sigmoid算法效果图中三处细节的放大图，c(3-1)、c(3-2)和c(3-3)为本发明算法效果图中三处细节的放大图。从图3来看，b(1)整幅图像模糊不清，出现鬼影现象；而b(2)和b(3)具有相同的效果，图像清晰、逼真。图3c对其局部融合效果进行放大，可清楚看到Mertans EF算法由于受到相机微小移动出现虚边重影现象，本文算法和S_sigmoid算法并未受相机微小移动影响，融合效果依然清晰、逼真。
3.含有运动目标的LDR图像序列融合
由于拍摄场景大多处于公共场所，必然会存在运动目标。本文算法对于含有运动目标的LDR图像序列，首先利用公式(13)恢复其不同曝光场景，采用差分方法计算其运动区域，对于运动区域，赋予LDR序列中曝光较好的像素值，其余区域采用静态场景的灰度级融合算法进行融合，融合效果如图4所示。图4a给出了5幅不同曝光的LDR图像序列，图4b利用公式(13)(1和5为指导图像)恢复不同曝光场景，利用差分法获得运动区域如图4c，4d为形态学处理后的运动区域，4e为保留单一运动目标的融合效果，4f为消除所有运动目标的融合效果。
图4e为保留单一运动目标(4a中第4幅图的运动目标)的融合效果，本文方法e(4)与Zhang等人方法e(1)、Sen等人方法e(2)和Hu等人方法e(3)进行了比较。从图可明显看出，Zhang等人方法保留的运动目标效果最差，运动目标部分区域没有完全保留；Sen等人方法和Hu等人方法较好的保留了运动目标，但其地面出现了块效应和颜色迁移问题；本文方法不但完整地保留了运动目标，而且其他部分也恢复了很好的细节信息。
图4f为消除所有运动目标的融合效果，本文方法f(10)与Debevec and Malik算法f(1)、Gallo et al算法f(2)、Heo et al算法f(3)、Hu et al算法f(4)、Oh et al算法f(5)、Zheng et al算法f(6)、Zhang et al算法f(7)、Mertens et al算法f(8)、Chul et al算法f(9)进行了比较。可以清楚的看到，f(1)、f(7)和f(8)没有完全消除运动目标，仍然存在鬼影现象；f(2)、f(4)、f(5)消除了鬼影，但其地面颜色出现了偏色现象(泛绿)；从视觉效果来看，f(3)和f(6)融合效果最好，完全消除了鬼影，并对场景细节恢复良好，但其融合结果并没有保留场景原有的亮度和颜色信息；f(9)算法没有完全去除运动目标，f(11)分别给出了f(9)和f(10)的细节放大图，并且其顶部亮度是多曝光图像中未出现的光线强度，不符合光照原理，引入了虚假信息，对后续的决策判断带来影响，本实施例方法f(10)不但完全消除了场景中运动目标，而且保留了场景原有的亮度和颜色信息，融合效果良好。
图5给出了LDR图像序列中每幅图像均含有运动目标的多曝光图像，a为LDR图像序列，b为融合效果图，其中，b(1)、b(2)、b(3)、b(4)、b(5)、b(6)、b(7)、b(8)、b(9)和b(10)分别为Debevec and Malik算法、Gallo et al算法、Heo et al算法、Hu et al算法、Oh et al算法、Zheng et al算法、Zhang et al算法、Mertens et al算法、Chul et al算法和本发明方法的融合效果图。从融合效果来看，b(9)之前的算法均不程度含有少量鬼影现象，b(9)融合效果良好，视觉效果好，并很好的去除了鬼影，但融合图像中存在块效应，如b(9)框中所示。5c给出了其块效应细节放大图，并且草地信息恢复较差。本文算法同样去除了融合结果中鬼影现象(保留了单一场景的运动目标)，而且保留了场景原有的亮度和颜色信息，场景细节恢复清晰。
4.不符合像素值顺序的多曝光融合
图6a运动区域检测可以清楚地看到，对于框中的运动目标出现漏检或部分检测等现象，其原因是这部分运动目标像素符合随着曝光时间的增大运动目标像素的亮度值也随之增大，因此基于像素值顺序的检测方法不适应此类图。本文算法根据任意两幅曝光图像亮度值的变化与它们整幅图像平均亮度的变化之间的比值是恒定的原理，对于图6a多曝光序列，选择第一幅和第七幅作为参考图像，然后恢复出其它曝光时间理想状态下的图像，利用差分法求出每幅图的运动像素，然后将这些运动像素组合成一幅二值图像，对其做形态运算，如图6c所示，图6b为使用像素值顺序运动检测的目标。融合时将运动区域像素利用第五幅图中对应像素替换，最后通过金字塔融合平滑得到融合图像，如图7c所示。图7a和b分别为使用Zhang等人算法和Ssigmoid算法得到的融合效果图。
图8以1和5作为参考图像，保留3的运动目标，融合效果如图8c所示。从图7和8的融合效果来看，Zhang等人(8a)和S_sigmoid方法(8b)均没有完全去除鬼影区域，而本文算法有效的去除了鬼影，并得到一幅能够完全反应真实场景细节的高动态范围图像。图9给出了几组实验效果，左图以1和7作为参考图像，保留3运动目标，右图以6和5作为参考图像，保留4的运动目标。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于灰度级映射的高动态范围图像重建方法，其特征在于，所述方法包括：
步骤100，对LDR图像序列配准和去噪；
步骤110，计算配准和去噪后的LDR图像序列的灰度均值图像，然后计算和其对应的配准和去噪后的LDR图像序列的信息熵，熵值最大的作为基准图像；
步骤120，对于每个灰度级0-255，在基准图像中查找其像素的位置，计算不同LDR图像对应位置的灰度均值，以其灰度均值作为亮度序列；
步骤130，根据亮度序列采用最小二乘法拟合鲁棒性曲线；
步骤140，重复步骤120和130，获得256条曲线，计算每条曲线最佳曝光成像点；
步骤150，根据最佳曝光成像点获得dirichlet权值矩阵；
步骤160，进行多分辨率融合，最终获得HDR图像；
步骤170，对于动态场景，从LDR图像序列中选择场景一致的两幅图像作为指导图像，根据指导图像恢复理想图像；然后利用实际拍摄的LDR图像和恢复出的理想图像做差分，得到运动区域；对于得到的运动区域二值图像，使用形态学图像处理方法的腐蚀操作来消除噪声和孤立点，然后使用膨胀运算将孔洞填充，获得经过形态学处理后的运动区域二值图像。
2.如权利要求1所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，所述灰度均值图像根据公式(1)计算：
其中，N表示LDR图像序列的数量，Ik是第k幅LDR图像对应的灰度图像，uI表示LDR图像序列的灰度均值图像。
3.如权利要求2所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，LDR图像的灰度均值按照公式(2)和(3)计算：
[nx,ny]＝find(gray＝＝uI)，gray＝0，1，...，255 (2)
其中，[nx,ny]为基准图像uI中灰度值等于灰度级gray的像素点坐标，Ik(x,y)为第k幅LDR图像在基准图像uI对应位置的像素点灰度值，pgrayk为第k幅LDR图像对应位置的像素灰度均值。
4.如权利要求3所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，所述鲁棒性曲线通过式(4)和(5)计算：
u(x)＝a4x4+a3x3+a2x2+a1x+a0 (5)
其中，x为LDR图像对应位置的像素灰度均值，即pgrayk，f(.)为sigmoid复合函数，其值对应LDR图像像素亮度值pgrayk，a4、a3、a2、a1、a0均为系数。
5.如权利要求4所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，利用LDR图像像素亮度值序列拟合的曲线，其拐点作为最佳曝光成像点：
对公式(4)分别求一阶和二阶导数：
从式(7)可以看出，曲线的拐点不止一处，从多个拐点中选择其拐点处曲线函数值靠近0.5作为最佳拐点，即：
其中，xk为曲线的拐点，最佳曝光成像点的亮度值被确定为距离f(u(x*))最近的LDR图像序列像素灰度值，即：
其中，k*表示在像素(x,y)处为场景的最佳成像曝光点的图像序号。
6.如权利要求5所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，根据最佳曝光成像点获得dirichlet权值矩阵具体包括：
通过拟合LDR图像序列中每个像素位置灰度值曲线和确定最佳曝光成像点之后，计算狄利克雷函数取值：
7.如权利要求6所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，最终获得的HDR图像为：
其中，G(x,y)是融合后的HDR图像。
8.如权利要求1所述的基于灰度级映射的高动态范围图像重建方法，其特征在于，步骤170具体包括：
从LDR图像序列中选择场景一致的Iq和Ip两幅图像作为指导图像，根据公式(12)可知：
变形得：
其中，Iq(x,y)、Ip(x,y)分别代表指导图像Iq和Ip在像素(x,y)处的灰度值，
是Iq、Ip和Ik的灰度均值，Ik'(x,y)是恢复出第k幅的理想图像在像素(x,y)处的灰度值；
利用实际拍摄的LDR图像和恢复出的理想图像做差分，得到的运动区域为：
其中，g(x,y)为运动区域，1代表鬼影像素，0代表非鬼影像素，TH取值为0.05；
使用形态学图像处理方法的腐蚀和膨胀操作得到的图像为：
其中，B为腐蚀和膨胀操作ones(3×3)结构元素，m和n分别是腐蚀和膨胀操作次数，g’表示经过形态学处理后的运动区域二值图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710651717.6A CN107220931B (zh) | 2017-08-02 | 2017-08-02 | 一种基于灰度级映射的高动态范围图像重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710651717.6A CN107220931B (zh) | 2017-08-02 | 2017-08-02 | 一种基于灰度级映射的高动态范围图像重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107220931A CN107220931A (zh) | 2017-09-29 |
| CN107220931B true CN107220931B (zh) | 2020-08-18 |
Family
ID=59954751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710651717.6A Expired - Fee Related CN107220931B (zh) | 2017-08-02 | 2017-08-02 | 一种基于灰度级映射的高动态范围图像重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107220931B (zh) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107734271B (zh) * | 2017-10-16 | 2019-09-06 | 深圳市未来媒体技术研究院 | 高动态范围十亿像素视频生成方法 |
| CN107845128B (zh) * | 2017-11-03 | 2021-09-03 | 安康学院 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
| CN108933897B (zh) * | 2018-07-27 | 2020-10-16 | 南昌黑鲨科技有限公司 | 基于图像序列的运动检测方法及装置 |
| CN109493283A (zh) * | 2018-08-23 | 2019-03-19 | 金陵科技学院 | 一种高动态范围图像鬼影消除的方法 |
| CN109767413B (zh) * | 2019-01-11 | 2022-11-29 | 影石创新科技股份有限公司 | 一种抗运动伪影的hdr方法、装置及便携式终端 |
| CN110149484B (zh) | 2019-04-15 | 2020-07-10 | 浙江大华技术股份有限公司 | 图像合成方法、装置及存储装置 |
| CN110111241B (zh) * | 2019-04-30 | 2023-10-03 | 北京字节跳动网络技术有限公司 | 用于生成动态图像的方法和装置 |
| CN110381276B (zh) * | 2019-05-06 | 2021-08-13 | 华为技术有限公司 | 一种视频拍摄方法及电子设备 |
| CN110599433B (zh) * | 2019-07-30 | 2023-06-06 | 西安电子科技大学 | 一种基于动态场景的双曝光图像融合方法 |
| JP7342616B2 (ja) * | 2019-10-29 | 2023-09-12 | オムロン株式会社 | 画像処理システム、設定方法およびプログラム |
| CN111429368B (zh) * | 2020-03-16 | 2023-06-27 | 重庆邮电大学 | 一种自适应细节增强和鬼影消除的多曝光图像融合方法 |
| CN112019758B (zh) * | 2020-10-16 | 2021-01-08 | 湖南航天捷诚电子装备有限责任公司 | 一种机载双目头戴夜视装置使用方法与夜视装置 |
| CN112950517B (zh) * | 2021-02-25 | 2023-11-03 | 浙江光珀智能科技有限公司 | 深度相机高动态范围深度图与灰度图的融合方法及装置 |
| CN113012070B (zh) * | 2021-03-25 | 2023-09-26 | 常州工学院 | 一种基于模糊控制的高动态场景图像序列获取方法 |
| CN114947951B (zh) * | 2022-08-01 | 2022-10-25 | 深圳华声医疗技术股份有限公司 | 超声成像控制方法、装置、超声设备及存储介质 |
| CN115684272B (zh) * | 2023-01-03 | 2023-03-21 | 广州市市政工程试验检测有限公司 | 一种基于红外摄像机的钢结构裂纹检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551061A (zh) * | 2015-12-09 | 2016-05-04 | 天津大学 | 高动态范围图像融合中保留无鬼影运动物体处理方法 |
| CN105678750A (zh) * | 2015-12-31 | 2016-06-15 | 上海联影医疗科技有限公司 | 医学图像的灰度映射曲线生成方法及装置 |
| CN106097279A (zh) * | 2016-06-24 | 2016-11-09 | 电子科技大学 | 一种高动态图像增强方法 |
-
2017
- 2017-08-02 CN CN201710651717.6A patent/CN107220931B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105551061A (zh) * | 2015-12-09 | 2016-05-04 | 天津大学 | 高动态范围图像融合中保留无鬼影运动物体处理方法 |
| CN105678750A (zh) * | 2015-12-31 | 2016-06-15 | 上海联影医疗科技有限公司 | 医学图像的灰度映射曲线生成方法及装置 |
| CN106097279A (zh) * | 2016-06-24 | 2016-11-09 | 电子科技大学 | 一种高动态图像增强方法 |
Non-Patent Citations (3)
| Title |
|---|
| Cluster Head Election with a Fuzzy Algorithm for Wireless Sensor Networks;Zhengfang FU;《2013 6th International Congress on Image and Signal Processing》;20131231;1427-1434 * |
| 基于Sigmoid函数拟合的多曝光图像直接融合算法;付争方 等;《仪器仪表学报》;20151031;第36卷(第10期);2321-2329 * |
| 基于多幅不同曝光照片的场景高动态范围图像合成;华顺刚 等;《大连理工大学学报》;20070930;第47卷(第5期);678-682 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107220931A (zh) | 2017-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107220931B (zh) | 一种基于灰度级映射的高动态范围图像重建方法 | |
| US11055827B2 (en) | Image processing apparatus and method | |
| CN110121882B (zh) | 一种图像处理方法及装置 | |
| Gallo et al. | Artifact-free high dynamic range imaging | |
| JP6159298B2 (ja) | 複数スケールの規格化された相互相関を用いた、ｈｄｒ画像処理におけるゴーストアーティファクトの検出および除去方法 | |
| CN113992861B (zh) | 一种图像处理方法及图像处理装置 | |
| KR101643607B1 (ko) | 영상 데이터 생성 방법 및 장치 | |
| CN109997351B (zh) | 用于生成高动态范围图像的方法和装置 | |
| CN110675336A (zh) | 一种低照度图像增强方法及装置 | |
| Hajisharif et al. | Adaptive dualISO HDR reconstruction | |
| CN105931213B (zh) | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 | |
| Zhang et al. | Motion-free exposure fusion based on inter-consistency and intra-consistency | |
| Park et al. | Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images | |
| CN115883755A (zh) | 一种多类型场景下多曝光图像融合方法 | |
| Jinno et al. | Motion blur free HDR image acquisition using multiple exposures | |
| Saha et al. | Combining highlight removal and low‐light image enhancement technique for HDR‐like image generation | |
| Chen et al. | Improving dynamic hdr imaging with fusion transformer | |
| Agrawal et al. | A joint cumulative distribution function and gradient fusion based method for dehazing of long shot hazy images | |
| WO2013109192A1 (en) | Method and device for image processing | |
| CN109360176A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN111179245B (zh) | 图像质量检测方法、装置、电子设备和存储介质 | |
| Wang et al. | An exposure fusion approach without ghost for dynamic scenes | |
| CN115719314A (zh) | 一种去拖影方法、去拖影装置及电子设备 | |
| Hu et al. | Exploiting patch-based correlation for ghost removal in exposure fusion | |
| Tomaszewska et al. | Dynamic scenes HDRI acquisition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200818 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |