CN108629739A - Hdr图像的生成方法、装置及移动终端 - Google Patents
Hdr图像的生成方法、装置及移动终端 Download PDFInfo
- Publication number
- CN108629739A CN108629739A CN201710180266.2A CN201710180266A CN108629739A CN 108629739 A CN108629739 A CN 108629739A CN 201710180266 A CN201710180266 A CN 201710180266A CN 108629739 A CN108629739 A CN 108629739A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- hdr
- frames
- weight coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
一种HDR图像的生成方法、装置及移动终端。所述方法包括:获取N帧曝光时间不同的原始图像;对所述N帧原始图像执行N‑1次图像融合操作,其中,第m次图像融合操作选取两帧图像分别作为第一图像和第二图像进行如下图像融合:基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数;使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果;输出所述第N‑1次图像融合操作的结果作为HDR图像。采用上述方案,可以提高HDR图像的效果。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种HDR图像的生成方法、装置及移动终端。
背景技术
由于传统图像传感器覆盖的动态范围有限,因此采集的得到的图像大都是低动态范围(Low Dynamic Range,LDR)图像。为了满足亮度和细节信息的图像需求,出现了高动态范围(High Dynamic Range,HDR)图像。
现有的HDR图像通常采用以下方法生成:首先,根据预设的权重曲线计算权重系数,进而利用计算得到的权重系数,对原始输入的多帧LDR图像相同坐标位置的像素值进行加权平均处理,得到HDR图像。
在上述HDR图像的生成方法中,采用预设的权重曲线计算权重系数,通常仅适用于部分场景,在其它场景中,所生成的HDR图像效果较差。
发明内容
本发明要解决的问题是如何提高HDR图像的效果。
为解决上述问题,本发明实施例提供了一种HDR图像的生成方法,所述方法包括:获取N帧曝光时间不同的原始图像,N≥2且N为正整数;对所述N帧原始图像执行N-1次图像融合操作,其中,第m次图像融合操作选取两帧图像分别作为第一图像和第二图像进行如下图像融合:基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数;使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果;其中,m为自然数,1≤m≤N-1;且m=1时,第m次图像融合操作所选取的两帧图像为所述N帧图像中任意两帧;m>1时,第m次图像融合操作所选取的图像为所述N帧原始图像中未被执行图像融合操作的任一帧图像及第m-1次图像融合操作结果;输出所述第N-1次图像融合操作的结果作为HDR图像。
可选地,对所述第一图像及第二图像执行金字塔分解、加权平均及重建操作,得到所述第一图像及第二图像的拉普拉斯金字塔融合结果。
可选地,所述基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数,包括:采用以下方法计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y):K(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y));其中,K(x,y)为第一图像及第二图像中坐标位置为(x,y)的像素点的拉普拉斯金字塔融合结果,I(x,y)为所述第一图像中坐标位置为(x,y)的像素点的像素值,J(x,y)为第二图像中坐标位置为(x,y)的像素点的像素值。
可选地,所述获取N帧原始图像后,还包括:对所述N帧原始图像分别进行降采样处理,得到N帧降采样图像,以基于所述N帧降采样图像执行图像融合操作;对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均前,还包括:对所述第m次图像融合操作的权重系数进行放大操作。
可选地,所述N帧原始图像的尺寸相同。
可选地,所述对所述N帧原始图像分别进行降采样处理,包括:按照相同比例,对所述N帧原始图像分别进行降采样处理。
可选地,按照曝光时间由短至长对所述N帧原始图像执行图像融合操作。
可选地,N=3。
本发明实施例还提供了一种HDR图像的生成装置,所述装置包括:获取单元,适于获取N帧曝光时间不同的原始图像,N≥2且N为正整数;图像融合单元,适于将所述N帧原始图像执行N-1次图像融合操作;所述图像融合单元包括:权重系数计算子单元及图像融合子单元,其中:所述权重系数计算子单元,适于选取两帧图像分别作为第一图像和第二图像,基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数,其中,m为自然数,1≤m≤N-1;且m=1时,第m次图像融合操作所选取的两帧图像为所述N帧图像中任意两帧;m>1时,第m次图像融合操作所选取的图像为所述N帧原始图像中未被执行图像融合操作的任一帧图像及第m-1次图像融合操作结果;所述图像融合子单元,适于使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果;输出单元,适于输出所述第N-1次图像融合操作的结果作为HDR图像。
可选地,所述图像融合单元还包括:金字塔融合子单元,适于通过对所述第一图像及第二图像执行金字塔分解、加权平均及重建操作得到所述第一图像及第二图像的拉普拉斯金字塔融合结果。
可选地,所述权重系数计算子单元,适于采用以下方法计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y):K(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y));其中,K(x,y)为第一图像及第二图像中坐标位置为(x,y)的像素点的拉普拉斯金字塔融合结果,I(x,y)为所述第一图像中坐标位置为(x,y)的像素点的像素值,J(x,y)为第二图像中坐标位置为(x,y)的像素点的像素值。
可选地,所述装置还包括:降采样处理单元,适于在所述获取单元获取N帧原始图像后,对所述N帧原始图像分别进行降采样处理,得到N帧降采样图像,由所述图像融合单元基于所述N帧降采样图像执行图像融合操作;所述图像融合单元还包括:权重系数放大子单元,适于在所述图像融合子单元对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均前,对所述权重系数计算子单元计算得到的权重系数进行放大操作。
可选地,所述N帧原始图像的尺寸相同。
可选地,所述降采样处理单元适于按照相同比例,对所述N帧原始图像分别进行降采样处理。
可选地,所述图像融合单元适于按照曝光时间由短至长对所述N帧原始图像执行图像融合操作。
可选地,N=3。
本发明实施例还提供了一种移动终端,所述移动终端包括上述任一种的HDR图像的生成装置。
相对于现有技术,本发明实施例的优点在于:
采用上述方案,基于第一图像和第二图像进行拉普拉斯金字塔融合结果计算每次图像融合操作的权重系数,可以使得每次融合操作的权重系数能够根据第一图像和第二图像的不同而适应性变化,故可以更好地适应图像场景的变化,而不会出现光晕现象或者画面整体亮度不自然等问题,因此生成的HDR图像效果更好。
进一步地,在获取N帧原始图像后,先对N帧原始图像分别进行降采样处理,再基于N帧降采样图像执行后续图像融合操作,可以减少对所述第一图像及第二图像进行拉普拉斯金字塔融合过程中的计算量,提升HDR图像的生成速度。
附图说明
图1是本发明实施例中一种HDR图像的生成方法的流程图;
图2是本发明实施例中另一种HDR图像的生成方法的流程图;
图3是本发明实施例中一种HDR图像的生成装置的结构示意图;
图4是本发明实施例中另一种HDR图像的生成装置的结构示意图。
具体实施方式
现有的HDR图像生成方法中,加权系数一般是根据预设的权重曲线计算得到的。该方法通常仅适用于某些场景,应用在其它场景中时,容易出现光晕现象或者画面整体亮度不自然等问题,所生成的HDR图像效果较差。
针对上述问题,本发明的实施例提供了一种HDR图像的生成方法,在所述方法中,基于第一图像和第二图像进行拉普拉斯金字塔融合结果计算每次图像融合操作的权重系数,可以使得每次融合操作的权重系数能够根据第一图像和第二图像的不同而适应性变化,故可以更好地适应图像场景的变化,而不会出现光晕现象或者画面整体亮度不自然等问题,因此生成的HDR图像效果更好。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例作详细地说明。
参照图1,本发明实施例提供了一种HDR图像的生成方法,所述方法可以包括如下步骤:
步骤11,获取N帧曝光时间不同的原始图像,N≥2且N为正整数。
在具体实施中,所述N的值不受限制,只要N≥2即可,具体可以根据所要生成的HDR图像的效果及计算量等因素进行选择。比如,每次HDR图像生成过程中,可以仅获取2帧原始图像,也可以获取3帧或3帧以上的原始图像。
在具体实施中,所述N帧原始图像的尺寸可以完全相同,也可以部分相同或者完全不同,具体不受限制。
在具体实施中,所述原始图像通常为LDR图像。所获取的N帧原始图像的曝光时间各不相同,每帧原始图像的曝光时间不受限制。比如,可以获取3帧原始图像,依次为短曝光图像、正常曝光图像及长曝光图像。
在具体实施中,可以采用所在方式获取所述N帧曝光时间不同的原始图像,比如,可以在接收到生成HDR图像的控制指令后,利用所在移动终端的摄像头在预设时间内拍摄N帧曝光时间不同的原始图像;也可以在接收到生成HDR图像的控制指令后,从预设的原始图像库中,选取N帧曝光时间不同的原始图像。具体采用何种方式获取N帧原始图像,均不构成对本发明的限制,且均在本发明的保护范围之内。
步骤12,对所述N帧原始图像执行N-1次图像融合操作。
其中,第m次图像融合操作选取两帧图像分别作为第一图像和第二图像进行如下图像融合:基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数;使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第i次图像融合操作结果。
m为自然数,1≤m≤N-1。并且,当m=1时,第m次图像融合操作所选取的两帧图像为所述N帧图像中任意两帧;当m>1时,第m次图像融合操作所选取的图像为所述N帧原始图像中未被执行图像融合操作的任一帧图像及第m-1次图像融合操作结果。
下面对N-1次图像融合操作进行详细描述:
当m=1时,执行第1次图像融合操作。此时所选取的两帧图像为所述N帧图像中任意两帧。基于所选取的两帧图像的拉普拉斯金字塔融合结果,计算第1次图像融合操作的权重系数,再使用所述第1次图像融合操作的权重系数,对所选取的两帧图像中相同位置的像素点的像素值进行加权平均,得到所述第1次图像融合操作结果。
当m=2时,执行第2次图像融合操作。此时所选取的两帧图像为第1次图像融合操作结果及未被执行图像融合操作的任一帧图像。基于所选取的两帧图像的拉普拉斯金字塔融合结果,计算第2次图像融合操作的权重系数,再使用所述第2次图像融合操作的权重系数,对所选取的两帧图像中相同位置的像素点的像素值进行加权平均,得到所述第2次图像融合操作结果。
……
当m=N-1时,执行第N-1次图像融合操作。此时所选取的两帧图像为第N-2次图像融合操作结果及未被执行图像融合操作的任一帧图像。基于所选取的两帧图像的拉普拉斯金字塔融合结果,计算第N-1次图像融合操作的权重系数,再使用所述第N-1次图像融合操作的权重系数,对所选取的两帧图像中相同位置的像素点的像素值进行加权平均,得到所述第N-1次图像融合操作结果。
在具体实施中,所述第一图像及第二图像的拉普拉斯金字塔融合结果可以采用多种方式得到。在本发明一实施例中,采用如下方法获得:
首先,分别对所述第一图像及第二图像执行金字塔分解操作,得到所述第一图像的金字塔构架的分解处理结果,作为第一金字塔图像,以及得到第二图像的金字塔构架的分解处理结果,作为第二金字塔图像;
接着,分别从第一金字塔图像及第二金字塔图像的最顶层开始,逐层进行加权平均,得到该层的拉普拉斯金字塔融合结果。其中,第一金字塔图像及第二金字塔图像的最顶层使用像素值进行计算权重系数,并基于计算得到的权重系数,对像素值进行加权平均。第一金字塔图像及第二金字塔图像的其它层使用像素值进行计算权重系数,基于计算得到的权重系数,对拉普拉斯值(图像高频信息)进行加权平均。
最后,对各层的拉普拉斯金字塔融合结果执行重建操作,得到所述第一图像及第二图像的拉普拉斯金字塔融合结果。
在具体实施中,基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,可以采用如下方法计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y):
K(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y)) (1)
其中,K(x,y)为第一图像及第二图像中坐标位置为(x,y)的像素点的拉普拉斯金字塔融合结果,I(x,y)为所述第一图像中坐标位置为(x,y)的像素点的像素值,J(x,y)为第二图像中坐标位置为(x,y)的像素点的像素值。
根据公式(1),可以计算得到m次图像融合操作结果的第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y)。逐点计算权重系数,可以获得第m次图像融合操作中第一图像各点对应的权重系数。
基于第m次图像融合操作的一组权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果。
例如,第m次图像融合操作结果中坐标位置为(x,y)的像素点的像素值P(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y))。
在具体实施中,可以按照一定的顺序对N帧原始图像执行图像融合操作,比如,可以按照曝光时间由短至长对所述N帧原始图像执行图像融合操作,以获得更好的图像效果。当然,每次图像融合操作所选取的图像也可以不存在相应的顺序,具体可以随意选择。
步骤13,输出所述第N-1次图像融合操作的结果作为HDR图像。
在具体实施中,可以采用多种方式输出HDR图像。比如,可以在执行第N-1次图像融合操作后,可以直接将第N-1次图像融合操作的结果通过移动终端的显示界面输出,当然也可以将所述第N-1次图像融合操作的结果通过远程发送的方式传输至其它移动终端中,具体不作限制。
图2是本发明实施例提供的另一种HDR图像的生成方法。在所述方法中,以所述N帧原始图像的尺寸均相同为例进行说明:
步骤201,获取N帧原始图像{L0,L1,……,LN-1}。
在本实施例中,所述N帧原始图像{L0,L1,……,LN-1}的尺寸相同,且为LDR图像。
步骤202,对所述N帧原始图像进行降采样处理。
对所述N帧原始图像进行降采样处理,再基于N帧降采样图像执行后续图像融合操作,可以减少对所述第一图像及第二图像进行拉普拉斯金字塔融合过程中的计算量,提升HDR图像的生成速度。
在具体实施中,可以按照不同的比例,对所述N帧原始图像进行降采样处理,也可以按照相同的比例,对所述N帧原始图像进行降采样处理。其中,降采样处理所选择的比例,具体可以根据生成HDR图像的计算量及图像效果进行选择。可以理解的是,降采样后所得到的图像尺寸越小,生成HDR图像的计算量越小,但所生成的HDR图像局部对比度也会下降。降采样后所得到的图像尺寸越大,生成HDR图像的计算量越大,但所生成的HDR图像局部对比度也会提升。
降采样处理后,可以获得N帧小尺寸图像(简称:N帧小图){S0,S1,……,SN-1}。
步骤203,令m=1。
换言之,对所述N帧原始图像执行N-1次图像融合操作时,从第一次图像融合操作开始执行。
步骤204,对第一图像及第二图像进行拉普拉斯金字塔融合,得到第一图像及第二图像的拉普拉斯金字塔融合结果Fm。
在具体实施中,可以对所述第一图像及第二图像依次执行金字塔分解、加权平均及重建操作,获得第一图像及第二图像的拉普拉斯金字塔融合结果Fm。
在具体实施中,当m=1时,所选取的两帧图像可以为N帧小图{S0,S1,……,SN-1}中的任意两帧,比如,可以为第1帧小图S0及第2帧小图S1,融合结果为F1。
当m=2时,所选取的两帧图像可以为F1以及N帧小图{S0,S1,……,SN-1}中除S0及S1外的任意一帧,比如,S2,融合结果为F2。
当m=3时,所选取的两帧图像可以为F2以及N帧小图{S0,S1,……,SN-1}中除S0~S2外的任意一帧,比如,S3,融合结果为F3。
……
当m=N-1时,所选取的两帧图像可以为FN-2以及N帧小图{S0,S1,……,SN-1}中的SN-1,融合结果为FN-1。
步骤205,基于第一图像及第二图像的拉普拉斯金字塔融合结果Fm计算第m次图像融合操作的权重系数。
在具体实施中,可以参照公式(1)计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y),此处不再赘述。
步骤206,对计算得到的权重系数进行放大操作。
在具体实施中,由于步骤204中计算得到的权重系数,是基于降采样后的小尺寸图像计算得到的,故为得到与原始图像相同尺寸的HDR图像,可以将步骤204中计算得到的权重系数进行放大操作。具体可以参照对原始图像进行降采样处理时所采用的比例进行放大。
步骤207,使用所述第m次图像融合操作放大后的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果Hm。
此时,所述第m次图像融合操作结果Hm的尺寸与原始尺寸相同。
步骤208,判断m是否小于N-1。
也就是说,判断当前图像融合操作是否为最后一次图像融合操作。
当m<N-1时,执行步骤209,否则执行步骤210。
步骤209,执行下一次图像融合操作。
在具体实施中,当m<N-1时,当前图像融合操作非最后一次图像融合操作,此时,可以重新选取第一图像及第二图像,执行下一次图像融合操作。
步骤210,输出第m次图像融合操作结果Hm作为所生成的HDR图像。
输出第m次图像融合操作结果Hm,也就是输出第N-1次图像融合操作结果HN-1,作为所生成的HDR图像。
采用上述方案生成HDR图像,不仅可以自适应场景变化,而且通过对原始图像进行降采样处理,并基于降采样处理后的图像进行图像融合操作,还可以节省HDR图像生成过程中的计算量,提高HDR图像生成速度。
为了使本领域技术人员更好地理解和实现本发明,以下对上述数据业务的处理方法对应的移动终端进行详细描述。
参照图3,本发明实施例提供了一种HDR图像的生成装置30,所述装置30可以包括:获取单元31,图像融合单元32及输出单元33,其中:
所述获取单元31,适于获取N帧曝光时间不同的原始图像,N≥2且N为正整数;
所述图像融合单元32,适于将所述N帧原始图像执行N-1次图像融合操作;
所述输出单元33,适于输出所述第N-1次图像融合操作的结果作为HDR图像。
具体地,所述图像融合单元32可以包括:权重系数计算子单元321及图像融合子单元322,其中:
所述权重系数计算子单元321,适于选取两帧图像分别作为第一图像和第二图像,基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数,其中,m为自然数,1≤m≤N-1;且m=1时,第m次图像融合操作所选取的两帧图像为所述N帧图像中任意两帧;m>1时,第m次图像融合操作所选取的图像为所述N帧原始图像中未被执行图像融合操作的任一帧图像及第m-1次图像融合操作结果;
所述图像融合子单元322,适于使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果。
每次图像融合操作中,权重系数计算子单元321及图像融合子单元322分别执行一次相应操作,直至获得第N-1次图像融合操作的结果。
在具体实施中,所述图像融合单元32还可以包括:金字塔融合子单元(未示出),所述金字塔融合子单元适于通过对所述第一图像及第二图像执行金字塔分解、加权平均及重建操作得到所述第一图像及第二图像的拉普拉斯金字塔融合结果。
在具体实施中,所述权重系数计算子单元321,适于采用以下方法计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y):
K(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y))
其中,K(x,y)为第一图像及第二图像中坐标位置为(x,y)的像素点的拉普拉斯金字塔融合结果,I(x,y)为所述第一图像中坐标位置为(x,y)的像素点的像素值,J(x,y)为第二图像中坐标位置为(x,y)的像素点的像素值。
在本发明的一实施例中,参照图4,所述装置30还可以包括:降采样处理单元34。所述降采样处理单元34,适于在所述获取单元获取N帧原始图像后,对所述N帧原始图像分别进行降采样处理,得到N帧降采样图像,由所述图像融合单元基于所述N帧降采样图像执行图像融合操作。
相应地,所述图像融合单元32还包括:权重系数放大子单元323,适于在所述图像融合子单元对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均前,对所述权重系数计算子单元321计算得到的权重系数进行放大操作。
在本发明的一实施例中,所述N帧原始图像的尺寸相同。
在本发明的一实施例中,所述降采样处理单元323适于按照相同比例,对所述N帧原始图像分别进行降采样处理。
在本发明的一实施例中,所述图像融合单元32适于按照曝光时间由短至长对所述N帧原始图像执行图像融合操作。
在本发明的一实施例中,N=3。
应用上述装置30生成HDR图像,不仅可以自适应场景变化,所生成的HDR图像效果更好,而且通过对原始图像进行降采样处理,并基于降采样处理后的图像进行图像融合操作,还可以节省HDR图像生成过程中的计算量,提高HDR图像生成速度。
本发明实施例还提供了一种移动终端,所述移动终端可以包括上述实施例中的HDR图像的生成装置30,不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (17)
1.一种HDR图像的生成方法,其特征在于,包括:
获取N帧曝光时间不同的原始图像,N≥2且N为正整数;
对所述N帧原始图像执行N-1次图像融合操作,其中,第m次图像融合操作选取两帧图像分别作为第一图像和第二图像进行如下图像融合:基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数;使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果;其中,m为自然数,1≤m≤N-1;且m=1时,第m次图像融合操作所选取的两帧图像为所述N帧图像中任意两帧;m>1时,第m次图像融合操作所选取的图像为所述N帧原始图像中未被执行图像融合操作的任一帧图像及第m-1次图像融合操作结果;
输出所述第N-1次图像融合操作的结果作为HDR图像。
2.如权利要求1所述的HDR图像的生成方法,其特征在于,对所述第一图像及第二图像执行金字塔分解、加权平均及重建操作,得到所述第一图像及第二图像的拉普拉斯金字塔融合结果。
3.如权利要求1所述的HDR图像的生成方法,其特征在于,所述基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数,包括:
采用以下方法计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y):
K(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y));
其中,K(x,y)为第一图像及第二图像中坐标位置为(x,y)的像素点的拉普拉斯金字塔融合结果,I(x,y)为所述第一图像中坐标位置为(x,y)的像素点的像素值,J(x,y)为第二图像中坐标位置为(x,y)的像素点的像素值。
4.如权利要求1所述的HDR图像的生成方法,其特征在于,所述获取N帧原始图像后,还包括:
对所述N帧原始图像分别进行降采样处理,得到N帧降采样图像,以基于所述N帧降采样图像执行图像融合操作;
对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均前,还包括:
对所述第m次图像融合操作的权重系数进行放大操作。
5.如权利要求4所述的HDR图像的生成方法,其特征在于,所述N帧原始图像的尺寸相同。
6.如权利要求5所述的HDR图像的生成方法,其特征在于,所述对所述N帧原始图像分别进行降采样处理,包括:
按照相同比例,对所述N帧原始图像分别进行降采样处理。
7.如权利要求1所述的HDR图像的生成方法,其特征在于,按照曝光时间由短至长对所述N帧原始图像执行图像融合操作。
8.如权利要求1所述的HDR图像的生成方法,其特征在于,N=3。
9.一种HDR图像的生成装置,其特征在于,包括:
获取单元,适于获取N帧曝光时间不同的原始图像,N≥2且N为正整数;
图像融合单元,适于将所述N帧原始图像执行N-1次图像融合操作;
所述图像融合单元包括:权重系数计算子单元及图像融合子单元,其中:
所述权重系数计算子单元,适于选取两帧图像分别作为第一图像和第二图像,基于所述第一图像及第二图像的拉普拉斯金字塔融合结果,计算第m次图像融合操作的权重系数,其中,m为自然数,1≤m≤N-1;且m=1时,第m次图像融合操作所选取的两帧图像为所述N帧图像中任意两帧;m>1时,第m次图像融合操作所选取的图像为所述N帧原始图像中未被执行图像融合操作的任一帧图像及第m-1次图像融合操作结果;
所述图像融合子单元,适于使用所述第m次图像融合操作的权重系数,对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均,得到所述第m次图像融合操作结果;
输出单元,适于输出所述第N-1次图像融合操作的结果作为HDR图像。
10.如权利要求9所述的HDR图像的生成装置,其特征在于,所述图像融合单元还包括:金字塔融合子单元,适于通过对所述第一图像及第二图像执行金字塔分解、加权平均及重建操作得到所述第一图像及第二图像的拉普拉斯金字塔融合结果。
11.如权利要求9所述的HDR图像的生成装置,其特征在于,所述权重系数计算子单元,适于采用以下方法计算所述第一图像中坐标位置为(x,y)的像素点的权重系数w(x,y):
K(x,y)=I(x,y)*w(x,y)+J(x,y)*(1-w(x,y));
其中,K(x,y)为第一图像及第二图像中坐标位置为(x,y)的像素点的拉普拉斯金字塔融合结果,I(x,y)为所述第一图像中坐标位置为(x,y)的像素点的像素值,J(x,y)为第二图像中坐标位置为(x,y)的像素点的像素值。
12.如权利要求9所述的HDR图像的生成装置,其特征在于,还包括:
降采样处理单元,适于在所述获取单元获取N帧原始图像后,对所述N帧原始图像分别进行降采样处理,得到N帧降采样图像,由所述图像融合单元基于所述N帧降采样图像执行图像融合操作;
所述图像融合单元还包括:权重系数放大子单元,适于在所述图像融合子单元对所述第一图像及第二图像中相同位置的像素点的像素值进行加权平均前,对所述权重系数计算子单元计算得到的权重系数进行放大操作。
13.如权利要求12所述的HDR图像的生成装置,其特征在于,所述N帧原始图像的尺寸相同。
14.如权利要求13所述的HDR图像的生成装置,其特征在于,所述降采样处理单元适于按照相同比例,对所述N帧原始图像分别进行降采样处理。
15.如权利要求9所述的HDR图像的生成装置,其特征在于,所述图像融合单元适于按照曝光时间由短至长对所述N帧原始图像执行图像融合操作。
16.如权利要求9所述的HDR图像的生成装置,其特征在于,N=3。
17.一种移动终端,其特征在于,包括:权利要求9~16任一项所述的HDR图像的生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710180266.2A CN108629739B (zh) | 2017-03-23 | 2017-03-23 | Hdr图像的生成方法、装置及移动终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710180266.2A CN108629739B (zh) | 2017-03-23 | 2017-03-23 | Hdr图像的生成方法、装置及移动终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108629739A true CN108629739A (zh) | 2018-10-09 |
CN108629739B CN108629739B (zh) | 2020-08-11 |
Family
ID=63707399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710180266.2A Active CN108629739B (zh) | 2017-03-23 | 2017-03-23 | Hdr图像的生成方法、装置及移动终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108629739B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738410A (zh) * | 2020-12-24 | 2021-04-30 | 重庆金山医疗器械有限公司 | 一种成像方法及装置、内窥镜设备 |
CN113240614A (zh) * | 2021-04-07 | 2021-08-10 | 华南理工大学 | 一种适用于k-tig焊超强弧光场景的高动态图像融合方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
CN106506983A (zh) * | 2016-12-12 | 2017-03-15 | 天津大学 | 一种适用于ldr视频的hdr视频生成方法 |
-
2017
- 2017-03-23 CN CN201710180266.2A patent/CN108629739B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616273A (zh) * | 2015-01-26 | 2015-05-13 | 电子科技大学 | 一种基于拉普拉斯金字塔分解的多曝光图像融合方法 |
CN106506983A (zh) * | 2016-12-12 | 2017-03-15 | 天津大学 | 一种适用于ldr视频的hdr视频生成方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738410A (zh) * | 2020-12-24 | 2021-04-30 | 重庆金山医疗器械有限公司 | 一种成像方法及装置、内窥镜设备 |
CN113240614A (zh) * | 2021-04-07 | 2021-08-10 | 华南理工大学 | 一种适用于k-tig焊超强弧光场景的高动态图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108629739B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109671023B (zh) | 一种人脸图像超分辨率二次重建方法 | |
CN110969589B (zh) | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 | |
CN110728633B (zh) | 多曝光度高动态范围反色调映射模型构建方法及装置 | |
WO2022267641A1 (zh) | 一种基于循环生成对抗网络的图像去雾方法及系统 | |
CN109525859B (zh) | 模型训练、图像发送、图像处理方法及相关装置设备 | |
US20150350513A1 (en) | Constant Bracket High Dynamic Range (cHDR) Operations | |
CN111835983B (zh) | 一种基于生成对抗网络的多曝光图高动态范围成像方法及系统 | |
CN112507617B (zh) | 一种SRFlow超分辨率模型的训练方法及人脸识别方法 | |
RU2697928C1 (ru) | Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее | |
CN113822830B (zh) | 基于深度感知增强的多曝光图像融合方法 | |
CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
CN113052764B (zh) | 一种基于残差连接的视频序列超分重建方法 | |
CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN111612722A (zh) | 基于简化Unet全卷积神经网络的低照度图像处理方法 | |
WO2023202200A1 (zh) | 一种重建hdr图像的方法、终端及电子设备 | |
CN112907448A (zh) | 一种任意比率图像超分辨率方法、系统、设备及存储介质 | |
CN109685750A (zh) | 图像增强方法及计算设备 | |
CN108629739A (zh) | Hdr图像的生成方法、装置及移动终端 | |
CN112017116A (zh) | 基于非对称卷积的图像超分辨率重建网络及其构建方法 | |
CN110536087A (zh) | 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置 | |
CN112396674A (zh) | 一种基于轻量生成对抗网络的快速事件图像填补方法及系统 | |
CN107564084A (zh) | 一种动图合成方法、装置及存储设备 | |
CN107979729A (zh) | 一种显示预览图像的方法及设备 | |
CN110351489B (zh) | 生成hdr图像的方法、装置和移动终端 | |
CN116471486A (zh) | 一种从单曝光电缆隧道图像生成高动态范围图像的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |