CN116051436A - Hdr图像融合方法、系统、存储介质及终端 - Google Patents
Hdr图像融合方法、系统、存储介质及终端 Download PDFInfo
- Publication number
- CN116051436A CN116051436A CN202211482850.0A CN202211482850A CN116051436A CN 116051436 A CN116051436 A CN 116051436A CN 202211482850 A CN202211482850 A CN 202211482850A CN 116051436 A CN116051436 A CN 116051436A
- Authority
- CN
- China
- Prior art keywords
- fusion
- image
- weight
- ldr
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 201
- 238000009499 grossing Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种HDR图像融合方法、系统、存储介质及终端,所述HDR图像融合方法,包括:获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数;通过所述基础融合函数对所述LDR图像中相邻帧图像计算第一融合权重;根据所述第一融合权重计算所述全体LDR图像的第二融合权重;对所述第二融合权重进行平滑处理;根据平滑处理后的所述第二融合权重确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。本发明提高了图像融合之后的图像质量。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种HDR图像融合方法、系统、存储介质及终端。
背景技术
连续包围曝光中,传感器所能捕捉的图像动态范围通常是有限的,在计算摄影中,通常使用不同的曝光信息采集多帧低动态范围(Low-Dynamic Range,LDR)图像,将每个曝光时间的LDR图像按照一定比例,将相对应最佳细节的区域融合成高动态范围(High-Dynamic Range,HDR)图像,更好地反映出真实环境中的视觉效果。
传感器采集的LDR图像,曝光时间越长,图像亮度越高,暗处区域可见但亮处过曝;曝光时间越短,图像亮度越低,暗处区域不可见但亮处细节可见。为获取HDR图像,一般通过HDR融合算法,将传感器采集的不同曝光时间的LDR原始bayer格式数据,按适当的比例融合,得到高动态范围的HDR图像。这个过程根据LDR图像的原始bayer格式像素值,评估图像亮度,通过融合权重计算公式,计算不同曝光原始bayer格式图像的融合权重,再按照对应的权重对原始bayer格式像素值加权融合,生成高动态范围图像。
在目前的LDR图像的融合过程中,常设计一个融合权重计算公式,利用图像信息计算融合权重,再将不同曝光时间的LDR图像融合为HDR图像。但是由于原始bayer格式图像之间的像素关系与真实曝光参数有一定差异;且不同曝光时间的图像噪声水平不同;图像本身边缘影响或融合过程中亮度差过大,这些区域的融合图像效果的质量可能欠佳,从而在HDR融合过程中可能导致信噪比断裂、边缘异常、融合过渡不自然等现象,影响成像质量。
因此,有必要提供一种新型的HDR图像融合方法、系统、存储介质及终端以解决现有技术中存在的上述问题。
发明内容
本发明的目的在于提供一种HDR图像融合方法、系统、存储介质及终端,提高了图像融合之后的图像质量。
为实现上述目的,本发明的所述一种HDR图像融合方法,包括:
获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数;
通过所述基础融合函数计算所述LDR图像中相邻帧图像的第一融合权重;
根据所述第一融合权重计算所述LDR图像的第二融合权重;
对所述第二融合权重进行平滑处理,并计算所述LDR图像的导向系数;
根据平滑处理后的所述第二融合权重和所述导向系数确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。
本发明所述HDR图像融合方法的有益效果在于:采用相邻帧图像融合的方式计算第一融合权重,可以有效降低模型复杂度和异常风险,而且采用导向滤波的方式计算导向系数,在保留图像边缘细节的同时,能够有效去除图像中的部分噪声信息,最终图像融合之后在保证图像有效信息的同时,使图像过渡平滑、边缘表现良好,提高HDR融合图像质量。
可选的,所述通过所述基础融合函数对所述LDR图像中相邻帧图像的第一融合权重,包括:
将第一帧所述LDR图像和第二帧所述LDR图像作为第一个相邻帧对,根据所述基础融合函数分别得到第一个所述相邻帧对中两帧图像的第一融合权重;
根据第一个所述相邻帧对中两帧图像的第一融合权重对第一个所述相邻帧组的两帧图像进行加权融合以得到第二帧中间图像;将所述第二帧中间图像和第三帧所述LDR图像作为第二个相邻帧对,根据所述基础融合函数分别得到第二个所述相邻帧对中两帧图像的第一融合权重;
根据第二个所述相邻帧对中两帧图像的第一融合权重对第二个所述相邻帧对中的两帧图像进行加权融合以得到第三帧中间图像;
将所述第三帧中间图像和第四帧所述LDR图像作为第三个相邻帧对,根据所述基础融合函数分别得到所述第三帧中间图像和第四帧所述LDR图像的第一融合权重;
对后续的所述LDR图像循环执行上述过程,直至得到每一帧所述LDR图像的第一融合权重;
其中,每一个所述相邻帧对中两帧图像的所述第一融合权重之和为1。
可选的,第k帧所述LDR图像的所述第一融合权重weightk满足如下公式:
weightk=f(LDRk,Noise(LDRk-1),awbGain)
第k帧所述中间图像LDR′k满足如下公式:
LDR′k=(1-weightk)·LDRk-1+weightk·LDRk
其中,LDR′k为第k帧中间图像,weightk为第k帧LDR图像的第一融合权重,LDRk表示第k帧LDR图像,f表示所述基础融合函数,Noise(LDRk-1)表示第k-1帧LDR图像的噪声系数,awbGain表示所述LDR图像的白平衡系数,k为大于1的整数。
可选的,所述对所述第二融合权重信息进行平滑处理,并计算所述LDR图像的导向系数,包括:
对N帧所述LDR图像的所述第二融合权重进行下采样处理并做高斯滤波处理以得到每一帧所述LDR图像的低分辨率权重,N为正整数;
根据所述低分辨率权重分别计算得到滤波窗口内的像素点均值、相关系数和方差;
根据所述滤波窗口内的像素点均值、所述相关系数和所述方差计算得到N组低分辨率权重图的第一导向系数和第二导向系数。其有益效果在于:通过导向滤波的方式计算得到N组低分辨率的第一导向系数和第二导向系数,能够提高图像的平滑性,实现细节增强。
可选的,所述第一导向系数和所述第二导向系数的计算过程满足如下公式:
vark=corrk-meank·meank
ak=vark/(vark+ε)
bk=meank-ak·meank
其中,meank为滤波窗口内的像素点均值,corrk为相关系数,vark为方差,ak为所述第一导向系数,bk为所述第二导向系数,fmean为计算mean的均值滤波函数,ε为常数,k为1至N的整数。
可选的,所述根据平滑处理后的所述第二融合权重确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像,包括:
对将N组低分辨率权重图的所述第一导向系数和所述第二导向系数上采样至所述LDR图像的原分辨率,以分别得到N组原分辨率的第三导向系数和第四导向系数;
根据所述第三导向系数和所述第四导向系数对所述第二融合权重做映射以得到第三融合权重;
对N帧LDR图像的所述第三融合权重进行归一化处理以得到目标融合权重;
根据所述目标融合权重对N帧所述LDR图像进行加权融合以得到HDR图像。
可选的,所述第三融合权重的计算过程满足如下公式:
其中,k为1至N的整数,为第k帧LDR图像的第三融合权重,weight′k为第k帧LDR图像的第二融合权重,a′k为所述第三导向系数,b′k为所述第四导向系数;
所述目标融合权重的计算过程满足如下公式:
其中,k为1至N的整数,sum为N帧LDR图像的第三融合权重之和。
本发明还提供了一种HDR图像融合装置,包括:
函数生成模块,用于获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数;
第一权重计算模块,用于通过所述基础融合函数对所述LDR图像中相邻帧图像的第一融合权重;
第二权重计算模块,用于根据所述第一融合权重计算所述LDR图像中各个帧图像之间的第二融合权重;
系数计算模块,用于对所述第二融合权重进行平滑处理,并计算所述LDR图像的导向系数;
融合处理模块,用于根据平滑处理后的所述第二融合权重和所述导向系数确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。
本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的HDR图像融合方法。
本发明还提供了一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上所述的HDR图像融合方法。
附图说明
图1为本发明实施例的所述HDR图像融合方法的流程图。
图2为本发明实施例的所述HDR图像融合方法中函数f1的曲线图。
图3为本发明实施例的所述HDR图像融合方法中步骤S103的流程图。
图4为本发明实施例的所述HDR图像融合方法中步骤S104的流程图。
图5为本发明实施例的所述HDR图像融合装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另外定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。
针对现有技术存在的问题,本发明的实施例提供了一种HDR图像融合方法,参考图1,包括如下步骤:
S101、获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数。
为了提高LDR图像的融合效果,根据设备和应用场景相关信息,标定生成HDR图像的基础融合函数。首先确定基础函数f的模型,包括其输入输出、函数类型、调整参数和固定参数等等。函数的模型可以是一条折线、曲线或者一个多维折面、曲面,折线、折面通过提取的设备相关信息和场景相关信息控制拐点,标定得到最佳函数;曲线、曲面通过设定某个光滑曲线或曲面,调整其极值点和斜率两个方面标定得到最佳函数。
示例性的,以一种多维的计算方式为例,通过考虑所述场景信息中包括像素值、噪声模型、白平衡参数的影响构建基础融合函数,以更好的利用图像的信息及设备特性,使后续融合权重的计算更加合理,在保证动态范围的同时,也考虑到噪声、颜色的影响。
具体的,标定LDR图像的拍照设备的噪声模型和白平衡系数,将所述基础融合函数设计为:
weight=f(l,Noise(s),awbGain)=f2(f1(Y),noise)
noise=Noise(s)
其中,weight∈[0,1],表示LDR图像的第一融合权重,LDR图像中包括长曝光帧图像和短曝光帧图像,l为长曝光帧图像的当前点像素值,s为短曝光帧图像的当前点像素值,awbGain是白平衡系数;是当前点的图像信息,是关于像素值x和awbGain白平衡系数的函数;f1(Y)是一条于图像信息Y单调递减的融合权重曲线;noise=Noise(s)为所述LDR图像拍摄设备的噪声模型,是关于短曝光帧像素值s单调非减的函数,f2(f1(Y),noise)为关于短曝光帧的noise的单调递增的函数。其中,函数根据应用场景、设备特性、应用需求有不同的计算方法,例如提取不同方向的梯度结合当前点像素值对各方向的梯度进行复合计算,可以得到强化边界的函数而获得对应Y值。
例如,在一些设备中,噪声模型为
其中a和b是常数,s为短曝光帧图像的当前点像素值。
函数f1最简单的可以使用折线,也可使用平滑的曲线,如近似有限区间上关于y=0.5的对称的sigmod函数,如图2所示,公式如下
函数f2根据不同的噪声模型和场景进行设计,例如
f2(x,y)=1-y+xy,
其中,x,y∈[0,1],x,y分别表示函数f2的两个输入。
S102、通过所述基础融合函数计算所述LDR图像中相邻帧图像的第一融合权重。
在一些实施例中,参考图3,所述步骤S102的过程包括:
S301、将第一帧所述LDR图像和第二帧所述LDR图像作为第一个相邻帧对,根据所述基础融合函数分别得到第一个所述相邻帧对中两帧图像的第一融合权重;
S302、根据第一个所述相邻帧对中两帧图像的第一融合权重对第一个所述相邻帧组的两帧图像进行加权融合以得到第二帧中间图像;将所述第二帧中间图像和第三帧所述LDR图像作为第二个相邻帧对,根据所述基础融合函数分别得到第二个所述相邻帧对中两帧图像的第一融合权重;
S303、根据第二个所述相邻帧对中两帧图像的第一融合权重对第二个所述相邻帧对中的两帧图像进行加权融合以得到第三帧中间图像;
S304、将所述第三帧中间图像和第四帧所述LDR图像作为第三个相邻帧对,根据所述基础融合函数分别得到所述第三帧中间图像和第四帧所述LDR图像的第一融合权重;
S305、对后续的所述LDR图像循环执行上述过程,直至得到每一帧所述LDR图像的第一融合权重;
其中,每一个所述相邻帧对中两帧图像的所述第一融合权重之和为1。
示例性的,首先使用第二帧LDR图像LDR2和第一帧LDR图像LDR1计算LDR2的第一融合权重weight2和LDR1的第一融合权重(1-weight2),即
weight2=f(LDR2,Noise(LDR1),awbGain)
并根据第一融合权重将第一帧LDR图像和第二帧LDR图像加权融合得到融合后的第二帧LDR图像的中间图像LDR′2,之后根据中间图像与第三帧LDR图像LDR3计算LDR3的第一融合权重weight3,后续的LDR图像均按此方法两两融合,得到weight3和LDR′3,……,累计N-3次后,得到第3帧LDR图像到第N帧LDR图像的N-1幅权重图weight2,weight3,……,weightN,每幅权重图weightk∈[0,1],k为2至N的整数,通过采用两帧逐帧融合的方式可降低模型复杂度和异常风险。
在一些实施例中,第k帧所述LDR图像的所述第一融合权重weightk满足如下公式:
weightk=f(LDRk,Noise(LDR′k-1),awbGain)
第k帧所述中间图像LDR′k满足如下公式:
LDR′k=(1-weightk)·LDRk-1+weightk·LDRk
其中,LDR′k为第k帧中间图像,weightk为第k帧LDR图像的第一融合权重,LDRk表示第k帧LDR图像,f表示所述基础融合函数,Noise(LDRk-1)表示第k-1帧LDR图像的噪声系数,awbGain表示所述LDR图像的白平衡系数,k为大于1的整数。
S103、根据所述第一融合权重计算所述LDR图像的第二融合权重。
使用N-1组第一融合权重,重建所有LDR图像所对应的第二融合权重weight′k。由于每个权重weightk仅体现两两帧之间的融合关系,不能表示N帧原始图像在最终融合图像中各自的占比weight′k,但weight′k可由weightk反推,因此可以据此重建weight′k,k=1,2……N。
重建方式如下:
HDR=weight′1·LDR1+weight′2·LDR2+…+weight′N·LDRN
其中:
weight′1=(1-weight2)(1-weight3)……(1-weightN)
weight′2=weight2(1-weight3)……(1-weightN)
weight′2=weight3(1-weight4)……(1-weightN)
……
weight′N-1=weightN-1(1-weightN)
weight′N=weightN
以此类推,易知第k帧LDR图像的第二融合权重weight′k,其中,k为1至N的整数。
S104、对所述第二融合权重进行平滑处理,并计算所述LDR图像的导向系数。
在得到N帧LDR图像的第二融合权重之后,通过将N-N融合权重平滑化处理,同时对细节、边缘区域做增强,使得图像融合更加平滑的同时保留和增强细节。
在本实施例中,提取多层次信息、平滑化和细节增强的方法有拉普拉斯金字塔;使用傅里叶变换图像转换至频域,将图像的高低频分离;分辨率采样,结合导向滤波的计算方法同时实现多图像的平滑化和细节增强。
示例性的,以导向滤波的分辨率采样方法为例,其能够有效保护图像细节部分,其过程如下:
对N帧所述LDR图像的所述第二融合权重进行下采样处理并做高斯滤波处理以得到每一帧所述LDR图像的低分辨率权重,N为正整数;
根据所述低分辨率权重分别计算得到滤波窗口内的像素点均值、相关系数和方差;
根据所述滤波窗口内的像素点均值、所述相关系数和所述方差计算得到N组低分辨率权重图的第一导向系数和第二导向系数。
具体的,通过将N个第二融合权重weight′1,weight′2,……,weight′N下采样并做高斯滤波,得到低分辨率权重再以它们自身同时为输入图像和导向图像以分别得到第一导向系数ak和第二导向系数bk,采用导向滤波的方式可以在保留图像边缘细节的同时,去掉部分噪声信息等。在本实施例中的滤波窗口为3×3的窗口,本方案对此不作特别限定。
在一些实施例中,所述第一导向系数ak和所述第二导向系数bk的计算过程满足如下公式:
vark=corrk-meank·meank
ak=vark/(vark+ε)
bk=meank-ak·meank
其中,meank为滤波窗口内的像素点均值,corrk为相关系数,vark为方差,ak为所述第一导向系数,bk为所述第二导向系数,fmean为计算mean的均值滤波函数,ε为常数,k为1至N的整数。
S105、根据平滑处理后的所述第二融合权重和所述导向系数确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。
在一些实施例中,参考图4,所述步骤S105的过程包括:
S401、对将N组低分辨率权重图的所述第一导向系数和所述第二导向系数上采样至所述LDR图像的原分辨率,以分别得到N组原分辨率的第三导向系数和第四导向系数;
S402、根据所述第三导向系数和所述第四导向系数对所述第二融合权重做映射以得到第三融合权重;
S403、对N帧LDR图像的所述第三融合权重进行归一化处理以得到目标融合权重;
S404、根据所述目标融合权重对N帧所述LDR图像进行加权融合以得到HDR图像。
在一些实施例中,所述第三融合权重的计算过程满足如下公式:
其中,k为1至N的整数,为第k帧LDR图像的第三融合权重,weight′k为第k帧LDR图像的第二融合权重,a′k为所述第三导向系数,b′k为所述第四导向系数。
具体的,结合导向滤波的分辨率采样方法进行说明,首先将N组导向系数ak和bk上采样至原分辨率得到第三导向系数a′k和第四导向系数b′k(k=1,2……N),对weight′1,weight′2,……,weight′N做关于a′k和b′k的映射函数,即:
其中,k为1至N的整数。
之后再归一化得到每一帧LDR图像的第三融合权重即
其中,k为1至N的整数,sum为N帧LDR图像的第三融合权重之和。
最后使用上述权重加权融合原始图像得到HDR图像,即
其中,LDRN表示第N帧LDR图像,表示第N帧LDR图像的第三融合权重。
本方案实现了HDR融合算法,生成了高动态范围图像,在保证图像有效信息的同时,使图像过渡平滑、边缘表现良好,提高HDR融合图像质量。本方案首先是使用多维度设计基础融合函数,包括像素值、噪声模型、白平衡参数等,可以更好的利用图像的信息及设备特性,使融合权重的计算更加合理,在保证动态范围的同时,也考虑到噪声、颜色的影响,可以适用于更广泛、复杂的场景;其次是逐帧计算融合权重并融合,而后与下一帧重复该操作,并存储每次计算的权重,并对这些权重做一系列处理,通过两两帧合成的融合权重反推得到所有帧一起融合的权重并归一化,而后将所有新的权重下采样得到低分辨率小图,计算小图的导向系数,并上采样用其对原分辨率图像做滤波,得到平滑且保护有效细节的新融合权重,最后加权融合得到目标图像,不同于传统的导向滤波,而是使用导向滤波的思想,在不同分辨率的图像上计算不同信息,从而可以改善图像过渡不平滑、融合边缘异常、信噪比断裂等问题。
本发明还公开了一种HDR图像融合装置,参考图5,包括:
函数生成模块501,用于获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数;
第一权重计算模块502,用于通过所述基础融合函数计算所述LDR图像中相邻帧图像的第一融合权重;
第二权重计算模块503,用于根据所述第一融合权重计算所述LDR图像的第二融合权重;
系数计算模块504,用于对所述第二融合权重进行平滑处理,并计算所述LDR图像的导向系数;
融合处理模块505,用于根据平滑处理后的所述第二融合权重和所述导向系数确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。
需要说明的是,上述HDR图像融合装置的结构及原理与上述HDR图像融合方法中的步骤一一对应,故在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,选择模块可以为单独设立的处理元件,也可以集成在上述系统的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述系统的存储器中,由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个数字信号处理器(Digital Signal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable GateArray,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(System-On-a-Chip,简称SOC)的形式实现。
本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的HDR图像融合方法。
本发明的存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的方法。所述存储介质包括:只读存储器(Read-Only Memory,ROM)、随机访问存储器(Random Access Memory,RAM)、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
本发明还公开了一种终端,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行上述的HDR图像融合方法。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
虽然在上文中详细说明了本发明的实施方式,但是对于本领域的技术人员来说显而易见的是,能够对这些实施方式进行各种修改和变化。但是,应理解,这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且,在此说明的本发明可有其它的实施方式,并且可通过多种方式实施或实现。
Claims (10)
1.一种HDR图像融合方法,其特征在于,包括:
获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数;
通过所述基础融合函数计算所述LDR图像中相邻帧图像的第一融合权重;
根据所述第一融合权重计算所述LDR图像的第二融合权重;
对所述第二融合权重进行平滑处理;
根据平滑处理后的所述第二融合权重确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。
2.根据权利要求1所述的HDR图像融合方法,其特征在于,所述通过所述基础融合函数计算所述LDR图像中相邻帧图像的第一融合权重,包括:
将第一帧所述LDR图像和第二帧所述LDR图像作为第一个相邻帧对,根据所述基础融合函数分别得到第一个所述相邻帧对中两帧图像的第一融合权重;
根据第一个所述相邻帧对中两帧图像的第一融合权重对第一个所述相邻帧组的两帧图像进行加权融合以得到第二帧中间图像;将所述第二帧中间图像和第三帧所述LDR图像作为第二个相邻帧对,根据所述基础融合函数分别得到第二个所述相邻帧对中两帧图像的第一融合权重;
根据第二个所述相邻帧对中两帧图像的第一融合权重对第二个所述相邻帧对中的两帧图像进行加权融合以得到第三帧中间图像;
将所述第三帧中间图像和第四帧所述LDR图像作为第三个相邻帧对,根据所述基础融合函数分别得到所述第三帧中间图像和第四帧所述LDR图像的第一融合权重;
对后续的所述LDR图像循环执行上述过程,直至得到每一帧所述LDR图像的第一融合权重;
其中,每一个所述相邻帧对中两帧图像的所述第一融合权重之和为1。
3.根据权利要求2所述的HDR图像融合方法,其特征在于,第k帧所述LDR图像的所述第一融合权重weightk满足如下公式:
weightk=f(LDRk,Noise(LDRk-1),awbGain)
第k帧所述中间图像LDR'k满足如下公式:
LDR’k=(1-weightk)·LDRk-1+weightk·LDRk
其中,LDR'k为第k帧中间图像,weightk为第k帧LDR图像的第一融合权重,LDRk表示第k帧LDR图像,f表示所述基础融合函数,Noise(LDRk-1)表示第k-1帧LDR图像的噪声系数,awbGain表示所述LDR图像的白平衡系数,k为大于1的整数。
4.根据权利要求2所述的HDR图像融合方法,其特征在于,所述对所述第二融合权重信息进行平滑处理,包括:
对N帧所述LDR图像的所述第二融合权重进行下采样处理并做高斯滤波处理以得到每一帧所述LDR图像的低分辨率权重,N为正整数;
根据所述低分辨率权重分别计算得到滤波窗口内的像素点均值、相关系数和方差;
根据所述滤波窗口内的像素点均值、所述相关系数和所述方差计算得到N组低分辨率权重图的第一导向系数和第二导向系数。
6.根据权利要求4所述的HDR图像融合方法,其特征在于,所述根据平滑处理后的所述第二融合权重确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像,包括:
对将N组低分辨率权重图的所述第一导向系数和所述第二导向系数上采样至所述LDR图像的原分辨率,以分别得到N组原分辨率的第三导向系数和第四导向系数;
根据所述第三导向系数和所述第四导向系数对所述第二融合权重做映射以得到第三融合权重;
对N帧LDR图像的所述第三融合权重进行归一化处理以得到目标融合权重;
根据所述目标融合权重对N帧所述LDR图像进行加权融合以得到HDR图像。
8.一种HDR图像融合装置,其特征在于,包括:
函数生成模块,用于获取LDR图像的设备相关信息和场景相关信息,根据所述设备相关信息和所述场景相关信息生成基础融合函数;
第一权重计算模块,用于通过所述基础融合函数计算所述LDR图像中相邻帧图像的第一融合权重;
第二权重计算模块,用于根据所述第一融合权重计算所述LDR图像的第二融合权重;
系数计算模块,用于对所述第二融合权重进行平滑处理,并计算所述LDR图像的导向系数;
融合处理模块,用于根据平滑处理后的所述第二融合权重和所述导向系数确定每一帧所述LDR图像的最终融合权重,根据所述最终融合权重对所述LDR图像进行融合以得到HDR图像。
9.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的HDR图像融合方法。
10.一种终端,其特征在于,包括:处理器及存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行权利要求1至7中任一项所述的HDR图像融合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211482850.0A CN116051436A (zh) | 2022-11-24 | 2022-11-24 | Hdr图像融合方法、系统、存储介质及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211482850.0A CN116051436A (zh) | 2022-11-24 | 2022-11-24 | Hdr图像融合方法、系统、存储介质及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116051436A true CN116051436A (zh) | 2023-05-02 |
Family
ID=86112282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211482850.0A Pending CN116051436A (zh) | 2022-11-24 | 2022-11-24 | Hdr图像融合方法、系统、存储介质及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116051436A (zh) |
-
2022
- 2022-11-24 CN CN202211482850.0A patent/CN116051436A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103854259B (zh) | 图像处理设备以及处理图像的方法 | |
US10339643B2 (en) | Algorithm and device for image processing | |
JP5543605B2 (ja) | 空間画像事前確率を用いたぼけ画像修正 | |
CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
US9432589B2 (en) | Systems and methods for generating high dynamic range images | |
CN109767413B (zh) | 一种抗运动伪影的hdr方法、装置及便携式终端 | |
CN102970464A (zh) | 图像处理装置及图像处理方法 | |
CN112529854B (zh) | 一种噪声估计方法、装置、存储介质及设备 | |
US20240046439A1 (en) | Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium | |
CN110717864B (zh) | 一种图像增强方法、装置、终端设备及计算机可读介质 | |
CN113793272B (zh) | 图像降噪方法及装置、存储介质、终端 | |
CN113744294B (zh) | 图像处理方法及相关装置 | |
CN114299358A (zh) | 图像质量评估方法、装置、电子设备及机器可读存储介质 | |
CN111507912B (zh) | 乳腺图像增强方法、装置及计算机可读存储介质 | |
KR20100097858A (ko) | 예제 기반 신경회로망을 이용한 고해상도 영상 확대 | |
CN116051436A (zh) | Hdr图像融合方法、系统、存储介质及终端 | |
De Neve et al. | An improved HDR image synthesis algorithm | |
CN113658075A (zh) | 模型训练方法、图像边缘增强方法、装置、介质和终端 | |
Wang et al. | A novel deghosting method for exposure fusion | |
CN117058062B (zh) | 一种基于逐层训练金字塔型网络的图像质量改善方法 | |
KR20130138435A (ko) | 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치 | |
US20240144432A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN114862698B (zh) | 一种基于通道引导的真实过曝光图像校正方法与装置 | |
CN115760626A (zh) | 图像色调映射的调整方法、系统、存储介质及终端 | |
Kondo et al. | Edge preserving super-resolution with details based on similar texture synthesis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |