CN106506981B - 生成高动态范围图像的设备和方法 - Google Patents
生成高动态范围图像的设备和方法 Download PDFInfo
- Publication number
- CN106506981B CN106506981B CN201611055328.9A CN201611055328A CN106506981B CN 106506981 B CN106506981 B CN 106506981B CN 201611055328 A CN201611055328 A CN 201611055328A CN 106506981 B CN106506981 B CN 106506981B
- Authority
- CN
- China
- Prior art keywords
- image
- weight
- pixel
- alignment
- multiple image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 239000013598 vector Substances 0.000 claims description 44
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 230000007717 exclusion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了生成高动态范围图像的设备和方法。生成高动态范围图像的设备包括像素点权重确定单元,所述像素点权重确定单元确定对齐后的多帧图像中每一个像素点的权重了;相对权值确定单元,所述相对权值确定单元计算多帧图像中的每一帧的像素对参考帧像素的相对权值;鬼影去除单元,所述鬼影去除单元将所述相对权值施加到所述多帧图像中每一个像素点的权重上,以形成去鬼影后的权重;以及高动态范围图像(HDR)合成单元,所述高动态范围图像合成单元利用去鬼影后的权重和所述齐后的多帧图像生成高动态范围图像。
Description
技术领域
本发明涉及图像处理领域,尤其涉及生成高动态范围图像的设备和方法。
背景技术
与普通图像相比,高动态范围HDR(High-Dynamic Range)图像可以提供更多的动态范围和图像细节。根据不同的曝光时间的低动态范围LDR(Low-Dynamic Range)图像,利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像,能够更好的反映出真实环境中的视觉效果。
现有的高动态范围HDR图像的生成过程包括利用图像获取装置以不同曝光度连续捕捉多帧图像,然后利用图像处理装置合成这些图像以产生HDR图像。
然而,当拍摄对象中存在物体移动时,由于每帧图像的获取时间之间存在特定时间差,导致在合成这些图像时,运动物体在合成图像中产生鬼影。
因此,需要能够防止这种鬼影产生的处理方法和装置。
发明内容
本发明的目的是提供一种生成高动态范围图像的设备和方法,借此显著缩短HDR图像的生成时间,从而实现简单、高效的鬼影去除方案。
根据本发明的一个方面,提供一种生成高动态范围图像的设备,包括:像素点权重确定单元,所述像素点权重确定单元确定对齐后的多帧图像中每一个像素点的权重;相对权值确定单元,所述相对权值确定单元计算多帧图像中的每一帧的像素对参考帧像素的相对权值;鬼影去除单元,所述鬼影去除单元将所述相对权值施加到所述多帧图像中每一个像素点的权重上,以形成去鬼影后的权重;以及高动态范围图像(HDR)合成单元,所述高动态范围图像合成单元利用去鬼影后的权重和所述齐后的多帧图像生成高动态范围图像。
进一步,该设备还包括图像对齐单元,所述图像对齐单元接收以不同曝光度连续拍摄的多帧图像,并通过计算不同帧间的运动向量将所述多帧图像进行对齐,从而向所述像素点权重确定单元和所述相对权值确定单元提供对齐后的多帧图像。
进一步,图像对齐单元对要进行对齐的图像在灰度图上取高斯金字塔以获取要进行对齐图像的多个层,计算每一层的中间门限位图和排除位图,利用块匹配计算要进行对齐图像的运动向量。
进一步,图像对齐单元利用以下公式排除曝光不好的点:
其中分别表示进行图像对齐的第一帧图像和第二帧图像的中间门限位图,分别表示进行图像对齐的第一帧图像和第二帧图像的排除位图,分别表示进行对齐图像的运动向量dk+1在不同方向的分量,t1、t2为候选的在不同方向上的偏移补偿量。
进一步,该相对权值确定单元将所述多帧图像中的一帧设定为参考帧,当所述多帧图像中存在运动对象时,所述多帧图像中的其它帧中运动对象所在区域的相对权值约为零,而对于基本上没有位移的区域或所述多帧图像中不存在运动对象情况,相对权值约为1。
进一步,对于所述多帧图像中的其它帧中运动对象所在区域,去鬼影后的权重为零。
进一步,根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl(i,j):
其中,v是预先设定的常数,I2g(i,j)表示参考帧图像的每一个像素的值,Ilg(i,j)表示所述多帧图像中图像Il的每一个像素的值。
进一步,鬼影去除单元对去鬼影后的权重进行归一化。
根据本发明的一个方面,提供一种生成高动态范围图像的方法,包括:确定单元确定对齐后的多帧图像中每一个像素点的权重;确定单元计算多帧图像中的每一帧的像素对参考帧像素的相对权值;将所述相对权值施加到所述多帧图像中每一个像素点的权重上,以形成去鬼影后的权重;以及利用去鬼影后的权重和所述对齐后的多帧图像生成高动态范围图像。
进一步,该方法还包括接收以不同曝光度连续拍摄的多帧图像,并通过计算不同帧间的运动向量将所述多帧图像进行对齐,从而提供对齐后的多帧图像。
进一步,将所述多帧图像中的一帧设定为参考帧,当所述多帧图像中存在运动对象时,所述多帧图像中的其它帧中运动对象所在区域的相对权值约为零,而对于基本上没有位移的区域或所述多帧图像中不存在运动对象情况,相对权值约为1。
进一步,对于所述多帧图像中的其它帧中运动对象所在区域,去鬼影后的权重为零。
进一步,根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl(i,j):
其中,v是预先设定的常数,I2g(i,j)表示参考帧图像的每一个像素的值,Ilg(i,j)表示所述多帧图像中图像Il的每一个像素的值。
进一步,对去鬼影后的权重进行归一化。
与现有技术相比,本发明的优点包括:
通过本发明提供的方案,可以在检测到运动区域后,直接使该区域中其它帧相对参考帧的相对权值降为零。对于运动区域,参考帧中的像素被直接复制到HDR图像的相应区域,因此无需计算运动对象的位置和速度,因此大大简化了计算量,显著缩短HDR图像的生成时间,从而实现简单、高效的鬼影去除方案。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点和特征,将参考附图来呈现本发明的各实施例的更具体的描述。可以理解,这些附图只描绘本发明的典型实施例,因此将不被认为是对其范围的限制。在附图中,相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的实施例的生成高动态范围HDR图像的设备100。
图2示出根据本发明的实施例的相对权值确定单元的框图。
图3示出根据本发明的实施例的生成高动态范围HDR图像的方法300。
图4示出根据本发明的实施例相对权值的确定过程的方法。
图5示出根据本发明的实施例产生的HDR图像的效果图。
具体实施方式
在以下的描述中,参考各实施例对本发明进行描述。然而,本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中,未示出或未详细描述公知的方法或操作以免造成本发明的各实施例的诸方面晦涩。类似地,为了解释的目的,阐述了特定数量和配置,以便提供对本发明的实施例的全面理解。然而,本发明可在没有特定细节的情况下实施。
图1示出根据本发明的实施例的生成高动态范围HDR图像的设备100。如图1所示,设备100可包括图像对齐单元110、像素点权重确定单元120、相对权值确定单元130、鬼影去除单元140以及HDR图像合成单元150。
图1所示的设备100可被包含在移动设备中,作为移动设备的一部分。该移动设备可以是相机、移动电话、智能电话、个人数字助理(PDA)、平板个人计算机、膝上型计算机、或任意其他类型的移动计算设备。
首先,图像对齐单元110接收以不同曝光度连续拍摄的多帧图像,并对这些图像进行对齐。例如,可从诸如相机之类的图像捕捉单元获取连续拍摄的多帧图像。图像捕捉单元以不同的图像曝光时间快速捕捉连续的图像。虽然图像捕捉单元所捕捉的每帧图像之间间隔的时间很短,但是在图像捕捉期间图像捕捉单元可能会有稍微的移动,导致原始图像不能直接彼此对齐。因此,在合成HDR图像之间,需要利用图像对齐单元110使多帧图像彼此对齐。在本发明的实施例中,可以使用以三个不同曝光时间捕捉的图像,即曝光过度图像、正常曝光图像、曝光不足图像。然而,本领域的技术人员应该意识到还可以使用其它数量的图像,例如,五帧不同曝光程度的图像、七帧不同曝光程度的图像等。
以下针对三帧连续捕捉的不同曝光图像,介绍图像对齐单元110如何进行图像对齐。然而,应该理解本文公开的图像对齐单元110也可用于对齐其它数量的连续图像。
图像对齐单元110通过计算不同帧间的运动向量d来实现三帧不同曝光图像的对齐。在本实施例中,可将前后两帧向中间帧对齐,然而,应该理解图像对齐单元110同样适用于其它帧之间的对齐。
可以通过直接比较两帧图像来确定潜在的帧间运动向量d。然而,即使对于图像捕捉单元在图像捕捉期间被保持得相对稳定的情况,潜在的偏移范围被限制在较小的范围内,例如,如果潜在偏移范围是从1000个像素平方的图像的宽度和高度的0%至6.4%,则潜在运动向量在任意方向(上、下、左或右)上将会介于0与64个像素之间。利用该范围的可能运动向量,可能运动向量的总数为大约16,000(大约128个竖直像素乘以大约128个水平像素)。当存在待测试的数千潜在运动向量时,通过在每个可能运动向量下直接比较较大的图像来测试潜在运动向量需要非常大的计算量。
为了减小确定实际偏移的计算数量,一些实施例执行分层对齐处理。首先,针对要对齐的两帧图像,在灰度图上取高斯金字塔。即,第一层为原始图像的灰度图;对原始图像的灰度图进行高斯模糊,然后进行缩小比率1/2的下采样,形成第二层图像;重复若干次上述操作,形成N层图像,其N为大于1的整数。
针对要进行对齐操作的两帧图像的每一层,分别计算中间门限位图MTB(MedianThreshold Bitmap):记l(l=1,2)帧第k层的MTB为:计算每一层像素平均值为则:
其中表示l帧第k层像素位置(i,j)的灰度值。
利用块匹配,计算相邻两帧的运动向量d。
其中分别表示dk+1在不同方向的分量,t1、t2为候选的在不同方向上的偏移补偿量。
从公式[2]中计算得出的I=ΣI(i,j)共有9个,从中选出像素值的和最小的I对应的(t1,t2),则
dk=2dk+1+(t1,t2) [3]
然后,依次序向上一层计算,最终d1为最后所求的运动向量。
以下简要描述利用公式[2]计算运动向量d的原理和过程。
由于第1层中间门限位图直接从初始的两帧图像生成,因此中间门限位图与初始的两帧图像偏移相同的量。初始的两帧图像的偏移可以通过找出的偏移而得出。
然而,仅仅通过尝试每个可能偏移以查看其是否使中间门限位图对齐来找出中间门限位图的偏移会由于使两帧高分辨率中间门限位图对齐的较大数量的待检验的可能偏移而导致代价高昂的计算。因此,在本实施例中,经由连续近似的分层处理而非尝试高分辨率中间门限位图的所有可能的运动向量来查找正确的对齐。通过使用低分辨率中间门限位图找出用于偏移的总体近似来找出两帧图像之间的偏移,并在随后通过使用逐渐变大的分辨率中间门限位图依次找出与实际运动向量更接近的近似而收窄至实际偏移值。
第k层中间门限位图的分辨率降低为原来的1/2k-1,在进行中间门限位图对齐时,更少的待检验的可能偏移。但是,更低数量的待检验的可能偏移也意味着在该分辨率下找出的偏移精度较低。将用于对齐第k层中间门限位图的偏移作为找出对齐第k-1层中间门限位图的偏移的分层处理的起点。
图像对齐单元110使最低分辨率的中间门限位图(即,第N层图像的中间门限位图)对齐,从而确定最低分辨率中间门限位图下的运动向量。当前得到的运动向量在上一级分辨率中间门限位图(即,第N-1层图像的中间门限位图)中加倍,作为起始运动向量。例如,如果在第N层中间门限位图中所确定的运动向量为(1,1),则第N-1层中的起始运动向量为(2,2)。
当确定了第N层运动向量后,图像对齐单元110对第N-1层中间门限位图进行操作以确定该分辨率中间门限位图下的运动向量。第N-1层中间门限位图代表与第N层中间门限位图相同但具有更细化标度的图像。给定分辨率下的对齐精度仅为下一最高分辨率下的对齐精度的一半。在第N层中间门限位图中所确定的运动向量在第N层的精确度小于一个像素。因此,当第N-1层中间门限位图分辨率为第N层中间门限位图分辨率的两倍时,实际运动向量与起始运动向量的距离小于两个像素(沿每个方向)。即,实际运动向量的候选是从起始运动向量垂直偏移零或加减一像素且水平偏移零或加减一像素,这对应于以上的公式[2]中的(t1,t2)。因此,(t1,t2)共有九种可能的取值:(-1,-1)、(-1,0)、(-1,1)、(0,-1)、(0,0)、(0,1)、(1,-1)、(1,0)和(1,1)。第N-1层的实际运动向量为起始运动向量与(t1,t2)之和,即dN-1=2dN+(t1,t2)。
从公式[2]中,XOR操作用来比较两帧中间门限位图中的像素值以找出它们是否彼此不同。如果所比较的像素不同,则XOR操作产生输出1,如果像素相同,则XOR操作产生输出0。测试的运动向量越接近在两帧中间门限位图之间的实际偏移,所计算的I值越小,从而获得对应的(t1,t2)。
接下来,图像对齐单元110依次序向上一层中间门限位图计算,直到获得最高分辨率图像的运动向量d1,作为最后所求的运动向量。
通过记录下相邻两帧的运动向量,可以计算出每幅图片到参考帧的运动向量,然后将三帧图像对齐。
在图像分层对齐过程中,还引入了排除位图
根据公式[4]可知,像素位置(i,j)的灰度值在均值附近时为0,在均值附近外则为1。由于均值附近曝光最佳,为中性灰度。通过逻辑组合:
排除了曝光不好的点。当X1(i,j)=0时,是曝光可以接受的点;当X1(i,j)=1时,两帧图像偏离都偏离了理想曝光,曝光倾向相反,代表不好的曝光结果。这样利用排除位图可排除曝光不好的点。
本领域的技术人员应该理解,在对齐不同曝光图像的过程中,还可使用不同缩小比率1/M的下采样。例如,如果采用缩小比率1/4的下采样,则dk-1=4dk+(t1,t2),而(t1,t2)共有49种可能的取值。
在计算出两帧图像之间的运动向量d1之后,将前后图像对齐到中间图像,得到对齐后的图像。
像素点权重确定单元120确定对齐后三帧图像中每一个像素点的权重:
在一个实施例中,设对齐后的图像Il(l=1,2,3)序列为I1、I2和I3,首先对每一帧图像Il计算三个权重。
对比度:对三帧图像中的第l帧图像的灰度图进行拉普拉斯滤波,取绝对值后记为Cl,Cl为矩阵形式,对应于像素点;
饱和度:设第l帧图像的颜色分量矩阵为Rl、Gl和Bl,在每一点处计算三个颜色分量的平均数m,然后计算标准偏差记为Sl;
合适曝光度:为了保证像素值非零,对每个分量利用高斯函数求一个权值,然后将这三个权值相乘记为El。
则每一个像素点的权重Wl(i,j)为:
其中指数wC、wS和wE是预先设定的正常量,通常可将它们设为1。
相对权值确定单元130通过计算每一帧对参考帧的相对权值来去鬼影。假设对齐后的图像Il(l=1,2,3)序列为I1、I2和I3,图像Il上每一个像素点的权重为Wl(i,j)。
为图像Il(l=1,2,3)中的每一帧定义矩阵RM1、RM2和RM3。在计算矩阵RM1、RM2和RM3之前,首先将图像Il(l=1,2,3)中的一帧设定为参考帧。在一个实施例中,可由相对权值确定单元130确定参考帧。而在其他实施例中,参考帧可由外部图像处理单元确定,相对权值确定单元130在接收齐后的图像Il(l=1,2,3)时能够获悉哪帧图像为参考帧。
因此,在一个实施例中,相对权值确定单元130可任选地包括参考帧确定单元131。图2示出根据本发明的一个实施例的相对权值确定单元130的详细框图。参考帧确定单元131可从接收到的多帧不同曝光图像中选择正常曝光图像作为参考帧。在参考帧确定单元131接收到多帧正常曝光图像的情况下,参考帧确定单元131可从中选取最清晰的和/或与所捕捉的曝光过度和曝光不足图像最佳匹配的正常曝光图像作为参考帧。例如,参考帧确定单元131可使用数字处理技术确定每帧图像的频率内容来确定多帧图像中的哪一帧为最清晰的。所选的参考帧用于后续的HDR图像合成。
在一个实施例中,相对权值确定单元130还包括相对权值计算单元132。设图像I2为参考帧,则相对权值计算单元132根据以下公式[7]计算每个像素的相对权值RMl(i,j):
在公式[7]中,v是预先设定的常数,I2g(i,j)表示参考帧图像I2的每一个像素的值,Ilg(i,j)表示图像Il的每一个像素的值。在一个实施例中,可将v设定为v=0.05。根据公式[7]可知,参考帧图像I2的相对权值RM2(i,j)=e0=1。当对齐后的图像Il(l=1,3)中存在运动对象时,其它帧中运动对象所在区域相对于参考帧图像位移大,I2g(i,j)与Ilg(i,j)之间存在显著差异,因此(I2g(i,j)-Ilg(i,j))2值较大,导致相对权值RMl(i,j)约为零。而对于基本上没有位移的区域或对齐后的图像Il(l=1,3)中不存在运动对象的情况,I2g(i,j)与Ilg(i,j)基本相同,其相对权值RMl(i,j)约为1。
还可引入排除位图E1、E2和E3来简化关于相对权值RM的计算量。首先,基于图像I1和I3生成灰度图I1g和I3g,然后在灰度图I1g和I3g上生成金字塔图像序列G1和G3。接下来,生成中间门限位图序列M1、M3以及排除位图序列E1、E3。
计算X1=xor(M1,M2)&E1&E2和X3=xor(M3,M2)&E3&E2。
接下来,对X1和X3进行腐蚀操作。设B=[1,1,1,1,1;1,1,1,1,1;1,1,1,1,1;1,1,1,1,1;1,1,1,1,1;],对X中所有点,如果其周围5*5领域的值与B完全相等,则此点值为1,否则为0。
将图像分块,X1,X3中某一块中非零个数大于等于100,则RM1,RM3中对应的块中的值变为0。
在确定相对权值RMl(i,j)之后,鬼影去除单元140将相对权值RMl(i,j)施加到图像Il上每一个像素点权重Wl(i,j)上,以形成去鬼影后的权重Wl’(i,j),即为:
Wl’(i,j)=Wl(i,j)RMl(i,j) [8]
根据公式[8],对于参考帧图像I2,由于其相对权值RM2(i,j)=1,因此去鬼影后的权重不改变。对于图像Il(l=1,3)与参考帧图像I2之间位移大的区域,由于相对权值RMl(i,j)约为零,因此该区域的去鬼影后的权重Wl’(i,j)降为零。对于基本上没有位移的区域或对齐后的图像Il(l=1,3)与参考帧图像I2之间不存在运动对象情况,其对应的相对权值RMl(i,j)约为1,因此去鬼影后的权重基本不改变。
在获得鬼影后的权重Wl’(i,j)之后,鬼影去除单元140对去鬼影后的权重Wl’(i,j)进行归一化操作:
鬼影去除单元140可以在检测到运动区域后,直接使其它帧相对参考帧的相对权值降为零。因此,对于运动区域,参考帧中的像素被直接复制到HDR图像的相应区域。鬼影去除单元140并不计算运动对象的位置和速度,因此大大简化了计算量,从而实现简单、高效的鬼影去除方案。
HDR图像合成单元150通过将归一化施加到对齐后的图像Il(l=1,2,3)来产生HDR图像。具体而言,HDR图像合成单元150对接收到的取高斯金字塔,假设共有p层,得到其中n=1,…,p,l=1,2,3;对图像Il(l=1,2,3)取拉普拉斯金字塔,得到L(Il)n,其中n=1,…,p,l=1,2,3。
HDR图像合成单元150根据以下的公式[10]计算最终合成的图像I的拉普拉斯金字塔L(I)n:
其中n=1,…,p,c=r,g,b表示颜色分量。
利用L(I)n可获得最终的图像I。
图3示出根据本发明的实施例的生成高动态范围HDR图像的方法300。
参考图3,在步骤310,接收以不同曝光度连续拍摄的多帧图像,并对这些图像进行对齐。通过计算不同帧间的运动向量d来实现多帧不同曝光图像的对齐。在一个实施例中,可通过分层匹配操作计算运动向量d。
在步骤320,确定对齐后多帧图像中每一个像素点的权重。在一个实施例中,可通过计算对比度、饱和度和合适曝光度来计算每个像素点的权重。
在步骤330,计算每一帧对参考帧的相对权值。在一个实施例中,步骤330可任选地包括子步骤331,如图4所示。在步骤331,从多帧不同曝光图像中选择正常曝光图像作为参考帧。具体而言,可使用数字处理技术确定每帧图像的频率内容来确定多帧图像中的哪一帧为最清晰的图像,从而将其作为参考帧。步骤330还可包括步骤332,在步骤332,计算每个像素的相对权值RMl(i,j)。
现在返回图3,在步骤340,将相对权值RMl(i,j)施加到每一个像素点权重上,以形成去鬼影后的权重。
在步骤350,利用去鬼影后的权重和对齐后的图像产生HDR图像。在一个实施例中,可通过使用高斯金字塔和拉普拉斯金字塔融合去鬼影后的权重和对齐后的图像,从而产生HDR图像。
图5示出根据本发明的实施例产生的HDR图像的效果图。图5左侧为以不同曝光度连续拍摄的三帧图像,其中从上到下依次是曝光不足图像、正常曝光图像和曝光过度图像;图5右侧分别是根据现有技术生成的高动态范围图像以及根据本发明的方案生成的高动态范围图像。由于在连续拍摄过程中,出租车在运动,因此在根据现有技术生成的高动态范围图像中,运动的出租车周围存在鬼影。而通过本发明公开的运动检测和补偿设备和方法,消除了这种鬼影,运动的出租车同样清晰。
可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品,这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时,可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。
此外,可以作为计算机程序产品下载各实施例,其中,可以经由通信链路(例如,调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如,服务器)传输给请求计算机(例如,客户机)。因此,在此所使用的机器可读介质可以包括这样的载波,但对此不作要求。
附图和前面的描述给出了各实施例的示例。本领域中的技术人员将明白,所描述的元素中的一种或多个可以很好地组合成单个功能元素。备选地,可以把些元素拆分成多个功能元素。可以把来自一种实施例的元素添加到另一实施例。例如,可以改变在此描述的处理的顺序,且不限于在此描述的方式。此外,不必按所显示的次序实现任何流程图的动作;也不必然需要执行所有动作。而且,不依赖于其他动作的那些动作可以与其他动作并行执行。各实施例的范围决不限于这些特定的示例。无论是否在说明书中明确地给出,诸如材料的结构、尺寸和使用的差异等的众多变更都是可能的。各实施例的范围至少是下列的权利要求所指定的那样宽广。
Claims (10)
1.一种生成高动态范围图像的设备,包括:
像素点权重确定单元,所述像素点权重确定单元确定对齐后的多帧图像中每一个像素点的权重;
相对权值确定单元,所述相对权值确定单元计算多帧图像中的每一帧的像素对参考帧像素的相对权值;
鬼影去除单元,所述鬼影去除单元将所述相对权值施加到所述多帧图像中每一个像素点的权重上,以形成去鬼影后的权重;
高动态范围图像HDR合成单元,所述高动态范围图像合成单元利用去鬼影后的权重和所述对齐后的多帧图像生成高动态范围图像;以及
图像对齐单元,所述图像对齐单元接收以不同曝光度连续拍摄的多帧图像,并通过计算不同帧间的运动向量将所述多帧图像进行对齐,从而向所述像素点权重确定单元和所述相对权值确定单元提供对齐后的多帧图像,
所述图像对齐单元对要进行对齐的图像在灰度图上取高斯金字塔以获取要进行对齐图像的多个层,计算每一层的中间门限位图,利用块匹配计算要进行对齐图像的运动向量,
所述图像对齐单元利用以下公式排除曝光不好的点:
其中分别表示进行图像对齐的第一帧图像和第二帧图像的中间门限位图,
分别表示进行图像对齐的第一帧图像和第二帧图像的排除位图,
分别表示进行对齐图像的运动向量dk+1在不同方向的分量,
t1、t2为候选的在不同方向上的偏移补偿量。
2.如权利要求1所述的设备,其特征在于,所述相对权值确定单元将所述多帧图像中的一帧设定为参考帧,当所述多帧图像中存在运动对象时,所述多帧图像中的其它帧中运动对象所在区域的相对权值约为零,而对于基本上没有位移的区域或所述多帧图像中不存在运动对象情况,相对权值约为1。
3.如权利要求2所述的设备,其特征在于,对于所述多帧图像中的其它帧中运动对象所在区域,去鬼影后的权重为零。
4.如权利要求1所述的设备,其特征在于,根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl(i,j):
其中,v是预先设定的常数,I2g(i,j)表示参考帧图像的每一个像素的值,Ilg(i,j)表示所述多帧图像中图像Il的每一个像素的值。
5.如权利要求1所述的设备,其特征在于,所述鬼影去除单元对去鬼影后的权重进行归一化。
6.一种生成高动态范围图像的方法,包括:
接收以不同曝光度连续拍摄的多帧图像,并通过计算不同帧间的运动向量将所述多帧图像进行对齐,从而提供对齐后的多帧图像;
利用以下公式排除曝光不好的点:
其中分别表示进行图像对齐的第一帧图像和第二帧图像的中间门限位图,
分别表示进行图像对齐的第一帧图像和第二帧图像的排除位图,
分别表示进行对齐图像的运动向量dk+1在不同方向的分量,
t1、t2为候选的在不同方向上的偏移补偿量;
确定单元确定对齐后的多帧图像中每一个像素点的权重;
确定单元计算多帧图像中的每一帧的像素对参考帧像素的相对权值;
将所述相对权值施加到所述多帧图像中每一个像素点的权重上,以形成去鬼影后的权重;以及
利用去鬼影后的权重和所述对齐后的多帧图像生成高动态范围图像。
7.如权利要求6所述的方法,其特征在于,将所述多帧图像中的一帧设定为参考帧,当所述多帧图像中存在运动对象时,所述多帧图像中的其它帧中运动对象所在区域的相对权值约为零,而对于基本上没有位移的区域或所述多帧图像中不存在运动对象情况,相对权值约为1。
8.如权利要求7所述的方法,其特征在于,对于所述多帧图像中的其它帧中运动对象所在区域,去鬼影后的权重为零。
9.如权利要求7所述的方法,其特征在于,根据以下公式计算所述多帧图像中的每一帧的每个像素的相对权值RMl(i,j):
其中,v是预先设定的常数,I2g(i,j)表示参考帧图像的每一个像素的值,Ilg(i,j)表示所述多帧图像中图像Il的每一个像素的值。
10.如权利要求7所述的方法,其特征在于,对去鬼影后的权重进行归一化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611055328.9A CN106506981B (zh) | 2016-11-25 | 2016-11-25 | 生成高动态范围图像的设备和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611055328.9A CN106506981B (zh) | 2016-11-25 | 2016-11-25 | 生成高动态范围图像的设备和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106506981A CN106506981A (zh) | 2017-03-15 |
CN106506981B true CN106506981B (zh) | 2019-04-19 |
Family
ID=58328894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611055328.9A Active CN106506981B (zh) | 2016-11-25 | 2016-11-25 | 生成高动态范围图像的设备和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106506981B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107454330B (zh) * | 2017-08-24 | 2019-01-22 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端及计算机可读存储介质 |
CN109671106B (zh) | 2017-10-13 | 2023-09-05 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
WO2019072222A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
CN108063920A (zh) * | 2017-12-26 | 2018-05-22 | 深圳开立生物医疗科技股份有限公司 | 一种图像冻结方法、装置、设备及计算机可读存储介质 |
CN108259774B (zh) * | 2018-01-31 | 2021-04-16 | 珠海市杰理科技股份有限公司 | 图像合成方法、系统和设备 |
CN108492262B (zh) * | 2018-03-06 | 2020-05-08 | 电子科技大学 | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 |
CN110428391B (zh) * | 2019-08-02 | 2022-05-03 | 格兰菲智能科技有限公司 | 用以去除鬼影假象的图像融合方法及装置 |
CN111127353B (zh) * | 2019-12-16 | 2023-07-25 | 重庆邮电大学 | 一种基于块配准和匹配的高动态图像去鬼影方法 |
CN111182230B (zh) * | 2019-12-31 | 2021-08-06 | 维沃移动通信有限公司 | 图像处理方法和装置 |
CN111193865B (zh) * | 2019-12-31 | 2021-08-03 | 维沃移动通信有限公司 | 图像处理方法和装置 |
TWI730746B (zh) | 2020-04-30 | 2021-06-11 | 群邁通訊股份有限公司 | 高動態範圍圖像生成方法、裝置及可讀存儲介質 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905058A (zh) * | 2011-07-28 | 2013-01-30 | 三星电子株式会社 | 产生去除了重影模糊的高动态范围图像的设备和方法 |
CN103973958A (zh) * | 2013-01-30 | 2014-08-06 | 阿里巴巴集团控股有限公司 | 图像处理方法及设备 |
CN104144298A (zh) * | 2014-07-16 | 2014-11-12 | 浙江宇视科技有限公司 | 一种宽动态图像合成方法 |
CN105122302A (zh) * | 2013-04-15 | 2015-12-02 | 高通股份有限公司 | 无重影高动态范围图像的产生 |
CN105931213A (zh) * | 2016-05-31 | 2016-09-07 | 南京大学 | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 |
CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
-
2016
- 2016-11-25 CN CN201611055328.9A patent/CN106506981B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102905058A (zh) * | 2011-07-28 | 2013-01-30 | 三星电子株式会社 | 产生去除了重影模糊的高动态范围图像的设备和方法 |
CN103973958A (zh) * | 2013-01-30 | 2014-08-06 | 阿里巴巴集团控股有限公司 | 图像处理方法及设备 |
CN105122302A (zh) * | 2013-04-15 | 2015-12-02 | 高通股份有限公司 | 无重影高动态范围图像的产生 |
CN104144298A (zh) * | 2014-07-16 | 2014-11-12 | 浙江宇视科技有限公司 | 一种宽动态图像合成方法 |
CN106131443A (zh) * | 2016-05-30 | 2016-11-16 | 南京大学 | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 |
CN105931213A (zh) * | 2016-05-31 | 2016-09-07 | 南京大学 | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106506981A (zh) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106506981B (zh) | 生成高动态范围图像的设备和方法 | |
Park et al. | Bmbc: Bilateral motion estimation with bilateral cost volume for video interpolation | |
Lim et al. | DSLR: Deep stacked Laplacian restorer for low-light image enhancement | |
CN108335322B (zh) | 深度估计方法和装置、电子设备、程序和介质 | |
Li et al. | Mucan: Multi-correspondence aggregation network for video super-resolution | |
Li et al. | Fusing images with different focuses using support vector machines | |
CN106131443A (zh) | 一种基于块匹配动态估计去鬼影的高动态范围视频合成方法 | |
CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN105931213B (zh) | 基于边缘检测和帧差法的高动态范围视频去鬼影的方法 | |
Yan et al. | Towards high-quality hdr deghosting with conditional diffusion models | |
Liu et al. | Crowd counting with fully convolutional neural network | |
CN112669293A (zh) | 图像检测方法和检测模型的训练方法及相关装置、设备 | |
Zhang et al. | Multi-frame pyramid refinement network for video frame interpolation | |
CN115578262A (zh) | 基于afan模型的偏振图像超分辨率重建方法 | |
Jiang et al. | Erdn: Equivalent receptive field deformable network for video deblurring | |
Tan et al. | High dynamic range imaging for dynamic scenes with large-scale motions and severe saturation | |
Peng et al. | PDRF: progressively deblurring radiance field for fast scene reconstruction from blurry images | |
Tang et al. | Structure-embedded ghosting artifact suppression network for high dynamic range image reconstruction | |
Zou et al. | DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal From Optical Satellite Images | |
Bull et al. | Perceptual improvements for super-resolution of satellite imagery | |
CN106488150B (zh) | 基于异构计算生成高动态范围图像的系统 | |
CN114119428B (zh) | 一种图像去模糊方法和装置 | |
Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
Jee et al. | Hologram super-resolution using dual-generator gan | |
CN114648757A (zh) | 三维目标的检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |