CN110796629B - 一种图像融合方法及系统 - Google Patents

一种图像融合方法及系统 Download PDF

Info

Publication number
CN110796629B
CN110796629B CN201911029659.9A CN201911029659A CN110796629B CN 110796629 B CN110796629 B CN 110796629B CN 201911029659 A CN201911029659 A CN 201911029659A CN 110796629 B CN110796629 B CN 110796629B
Authority
CN
China
Prior art keywords
image
component
fusion weight
value
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911029659.9A
Other languages
English (en)
Other versions
CN110796629A (zh
Inventor
廉政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Tuya Information Technology Co Ltd
Original Assignee
Hangzhou Tuya Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Tuya Information Technology Co Ltd filed Critical Hangzhou Tuya Information Technology Co Ltd
Priority to CN201911029659.9A priority Critical patent/CN110796629B/zh
Publication of CN110796629A publication Critical patent/CN110796629A/zh
Application granted granted Critical
Publication of CN110796629B publication Critical patent/CN110796629B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像融合方法,包括以下步骤:获取多幅不同曝光度的图像;将每幅所述图像转化为YUV色彩空间,并提取Y分量;根据所述Y分量计算每幅所述图像的边缘特征;对所述边缘特征进行量化评价,得到初始融合权值;根据每幅所述图像的Y分量生成灰度共生矩阵,并计算所述灰度共生矩阵中每个所述Y分量的概率密度函数;根据所述概率密度函数计算得到每幅所述图像的显著性因子;根据所述显著性因子对所述初始融合权值进行优化,得到最优融合权值;根据所述最优融合权值融合多幅所述图像,得到目标图像。在本发明的技术方案中,利用显著性因子对初始融合权值进行优化,可以使图像保留更多的纹理细节,且对噪声的控制更好。

Description

一种图像融合方法及系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于宽动态算法的图像融合方法和一种图像融合系统。
背景技术
目前的宽动态算法主要分为两个方向,一个是单幅图像的帧内宽动态,另一个是采用图像融合的宽动态。帧内宽动态算法主要是利用对比度增强或直方图拉伸等方法达到宽动态的目的,这种方法简便易实现,但效果较差,且对比度增强可能会另外引入噪声等其他问题;而图像融合可以提取不同曝光图像中的有效信息区域,得到宽动态图像,实际效果会更好。
多曝光图像融合算法是利用多幅不同曝光的图像,将其各自的有效信息融合得到一幅正常曝光的图像。该算法关键在于如何为每幅图像分配不同的融合权重,由于不同曝光量的图像明暗差异较大,图像内容有可能过曝或者欠曝,所得到的细节内容也不相同,所以要依据图像对比度、饱和度等来评估图像信息、内容的丰富性,根据这些计算得到的特征来为每幅图像的每个区域或每个像素点分配权重值,最后按照权重融合。
现有技术主要针对如何得到更优的权值这一问题,提出了不同的解决方案,易实现的方法效果一般,或图像纹理细节保留的不多,或噪声较重;而效果好的方法实现较复杂,资源占用较多。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此,本发明的一个目的在于提供一种图像融合方法,其能够使图像保留更多的纹理细节,且对噪声的控制更好。
本发明的另一个目的在于提供一种图像融合系统,其能够提高图像动态范围,增强图像效果。
为实现上述目的,本发明第一方面的技术方案提供了一种图像融合方法,包括以下步骤:获取多幅不同曝光度的图像;将每幅图像转化为YUV色彩空间,并提取Y分量;根据Y分量计算每幅图像的边缘特征;边缘特征的计算公式为En=|In*L|,In表示为Y分量,L表示采用预设公式对Y分量进行计算;对边缘特征进行量化评价,得到初始融合权值;根据每幅图像的Y分量生成灰度共生矩阵,并计算灰度共生矩阵中每个Y分量的概率密度函数;根据概率密度函数计算得到每幅图像的显著性因子;根据显著性因子对初始融合权值进行优化,得到最优融合权值;最优融合权值的计算公式为:
Figure GDA0003543527820000021
Figure GDA0003543527820000022
表示为最优融合权值,Ω表示Y分量所在区域,a和b表示常数因子;常数因子a和b的计算公式为:
Figure GDA0003543527820000023
T表示为显著性因子,
Figure GDA0003543527820000024
表示初始融合权值,ε取值为0.01;根据最优融合权值融合多幅图像,得到目标图像。
在上述技术方案中,优选地,边缘特征采用拉普拉斯滤波器对Y分量进行计算,即预设公式为拉普拉斯公式,具体为
Figure GDA0003543527820000025
在上述任一技术方案中,优选地,对边缘特征进行量化评价,得到初始融合权值,包括以下步骤:根据每幅图像的边缘特征进行比较,取对应Y分量的最大值,得到最大边缘特征值,即Emax=max(E1,E2,...EN);根据高斯模型对最大边缘特征值进行评价,得到融合权重评价值,即
Figure GDA0003543527820000031
根据每幅图像的融合权重评价值进行归一化处理,得到初始融合权值,即
Figure GDA0003543527820000032
其中eps表示预先设置的可调降噪强度,eps≥0。
在上述任一技术方案中,优选地,概率密度函数的表达式为:
Figure GDA0003543527820000033
其中,h(m,n)表示为灰度共生矩阵中的一个像素点,当Y分量为m的像素点周围每有一个像素值为n时,则h(m,n)加1,遍历每幅图像后得到灰度共生矩阵H。
在上述任一技术方案中,优选地,显著性因子的表达式为:
Figure GDA0003543527820000034
Figure GDA0003543527820000035
其中,ψ表示为高斯平滑函数,T为显著性因子,meanV表示平均值。
本发明第二方面的技术方案提供了一种图像融合系统,包括:摄像模块,被设置为用于获取多幅不同曝光度的图像;YUV转换模块,被设置为用于将每幅图像转化为YUV色彩空间,并提取Y分量;边缘特征计算模块,被设置为用于根据Y分量计算每幅图像的边缘特征;边缘特征的计算公式为En=|In*L|,In表示为Y分量,L表示采用预设公式对Y分量进行计算;量化评价模块,被设置为用于对边缘特征进行量化评价,得到初始融合权值;概率密度计算模块,被设置为用于根据每幅图像的Y分量生成灰度共生矩阵,并计算灰度共生矩阵中每个Y分量的概率密度函数;显著因子计算模块,被设置为用于根据概率密度函数计算得到每幅图像的显著性因子;权值优化模块,被设置为用于根据显著性因子对初始融合权值进行优化,得到最优融合权值;最优融合权值的计算公式为:
Figure GDA0003543527820000041
Figure GDA0003543527820000042
表示为最优融合权值,Ω表示Y分量所在区域,a和b表示常数因子;常数因子a和b的计算公式为:
Figure GDA0003543527820000043
T表示为显著性因子,
Figure GDA0003543527820000044
表示初始融合权值,ε取值为0.01;图像融合模块,被设置为用于根据最优融合权值融合多幅图像,得到目标图像。
在上述技术方案中,优选地,边缘特征采用拉普拉斯滤波器对Y分量进行计算,即预设公式为拉普拉斯公式,具体为
Figure GDA0003543527820000045
在上述任一技术方案中,优选地,量化评价模块包括:比较单元,被设置为用于根据每幅图像的边缘特征进行比较,取对应Y分量的最大值,得到最大边缘特征值,即Emax=max(E1,E2,...EN);高斯评价单元,被设置为用于根据高斯模型对最大边缘特征值进行评价,得到融合权重评价值,即
Figure GDA0003543527820000051
归一化计算单元,被设置为用于根据每幅图像的融合权重评价值进行归一化处理,得到初始融合权值,即
Figure GDA0003543527820000052
其中eps表示预先设置的可调降噪强度,eps≥0。
在上述任一技术方案中,优选地,概率密度函数的表达式为:
Figure GDA0003543527820000053
其中,h(m,n)表示为灰度共生矩阵中的一个像素点,当Y分量为m的像素点周围每有一个像素值为n时,则h(m,n)加1,遍历每幅图像后得到灰度共生矩阵H。
在上述任一技术方案中,优选地,显著性因子的表达式为:
Figure GDA0003543527820000054
Figure GDA0003543527820000055
其中,ψ表示为高斯平滑函数,T为显著性因子,meanV表示平均值。
按照本发明提供的图像融合方法及系统与现有技术相比具有如下优点:本发明采用YUV色彩空间,主要对Y分量的做计算,节省了运算时间;并采用laplacian算子提取图像边缘特征,再依据该特征量化评价图像细节信息的丰富程度,以获得初步的融合权值;然后利用灰度共生矩阵获取图像信息之间的关联性,进一步得到图像各像素点灰度值的概率密度,以此表示图像各点的显著性,最后使用显著性结合导向滤波算法以改善其保边滤波的性能,来优化初始权值,最终根据优化权值融合图像从而使图像保留更多的纹理细节,且对噪声的控制更好。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1示出了本发明一个实施例所涉及图像融合方法的流程框图;
图2示出了本发明另一个实施例所涉及量化评价步骤的流程框图;
图3示出了本发明第三个实施例所涉及图像融合系统的结构框图;
图4示出了本发明一个实施例所涉及量化评价模块的结构框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不限于下面公开的具体实施例的限制。
下面参照图1至图4描述根据本发明一些实施例的图像融合方法及系统。
如图1所示,按照本发明一个实施例的图像融合方法,包括以下步骤:
S100,获取多幅不同曝光度的图像;
本方法中图像的获取包括但不限于使用终端设备上的相机进行拍摄或者用户可以通过应用程序上传已保存在终端设备内存或云端服务器上的多幅图片。
S200,将每幅图像转化为YUV色彩空间,并提取Y分量;
本方法将现有的图像融合方法中大部分采用将图像转换为RGB彩色空间图像,并分别对R、G、B通道进行运算,替换为利用YUV色彩空间对图像进行转换,并只对Y分量(即灰度值)做计算,节省了运算时间。
S300,根据Y分量计算每幅图像的边缘特征;
边缘信息作为本方法的一个重要特征,边缘信息多的区域纹理细节也更多,相对也会给予更大的权重;边缘信息少的区域相对更平滑,细节更少,给予的权重也更小。一般对于图像边缘特征的提取主要是采用sobel、Robert、Kirsch等一阶算子和拉普拉斯、canny等二阶算子。
边缘特征的计算公式为En=|In*L|,In表示为Y分量,L表示采用预设公式对Y分量进行计算;
本方法首先提取图像的Y分量(灰度值),记作In,n表示第n幅图像,对In使用预设公式L对Y分量进行计算,并对结果取绝对值,得到边缘信息En
S400,对边缘特征进行量化评价,得到初始融合权值;
S500,根据每幅图像的Y分量生成灰度共生矩阵,并计算灰度共生矩阵中每个Y分量的概率密度函数;
在得到初始融合权重后,如果直接使用,融合的效果会比较差,噪声会很多。因此,我们采用改进的导向滤波算法来处理。导向滤波算法(Guided Filter)是何恺明提出的一种保边滤波器,可以应用于各种图像算法中。其具体就是通过输入一幅图像作为导向图,告诉滤波器哪里是边缘,哪里是平坦区域,这样滤波器可以更好的保护边缘信息,但在融合暗亮交汇区域时容易造成细节纹理的缺失。所以我们加入了显著性检测来获得显著性因子改进导向滤波。
S600,根据概率密度函数计算得到每幅图像的显著性因子;
S700,根据显著性因子对初始融合权值进行优化,得到最优融合权值;
最优融合权值的计算公式为:
Figure GDA0003543527820000081
Figure GDA0003543527820000082
表示为最优融合权值,Ω表示Y分量所在区域,a和b表示常数因子;
常数因子a和b的计算公式为:
Figure GDA0003543527820000083
T表示为显著性因子,
Figure GDA0003543527820000084
表示初始融合权值,ε取值为0.01;
根据何恺明的导向滤波理论,In作为引导图,在多曝光图像融合时,需要用到一系列不同曝光量的图像,用In表示,n表示第n幅图像,并且融合时主要采用YUV色彩空间的Y分量来操作,也就是灰度图,通过这些灰度图求出
Figure GDA0003543527820000085
作为将多幅图像融合形成目标图像的最优融合权值,也就是修正后的权重,Ω表示一块区域,在该区内,可以认为优化后的权重
Figure GDA0003543527820000086
和原图In是线性关系,所以初始融合权值Wn与最优融合权值
Figure GDA0003543527820000087
的差值就是我们想要抹去的噪声,使噪声最小化,也就是让权重在局部更接近引导图。这里使用最小二乘法来求最小化目标函数,求出满足最小化的常数因子a和b,本发明在原导向滤波公式中加入了显著性因子T,引导图在纹理细节更丰富的区域,有更高的权值,当位于纹理或边缘信息比较多的区域时,显著性因子较大,反之在平坦区域更小,那么此时导向滤波对边缘和纹理新的保真性会更好,对平坦区域的去噪也会更平滑。再这里取值0.01,该值为经验值。
S800,根据最优融合权值融合多幅图像,得到目标图像。
需要说明的是,在本发明的前述步骤中,导向滤波算法的推导过程为:初始融合权值实际上是跟原图尺寸大小一样的矩阵,输入图像用式子
Figure GDA0003543527820000091
表示,因为导向滤波认为在局部导向图跟输入图像以及输出图像呈线性关系,所以用这个线性的公式表示导向滤波后的输出图像,求这两个的最小二乘,加入
Figure GDA0003543527820000092
为正则项(实际是用到了领回归的方法)来修正结果。最终求使这个公式满足最小条件的a,b作为第n幅图像的导向滤波参数,E(a,b)表示损失函数,即相当于求E在a,b两个方向上的偏导为0。
如图2所示,按照本发明另一个实施例的图像融合方法,S400,对边缘特征进行量化评价,得到初始融合权值,包括以下步骤:
S401,根据每幅图像的边缘特征进行比较,取对应Y分量的最大值,得到最大边缘特征值,即Emax=max(E1,E2,...EN);
S402,根据高斯模型对最大边缘特征值进行评价,得到融合权重评价值,即
Figure GDA0003543527820000093
S403,根据每幅图像的融合权重评价值进行归一化处理,得到初始融合权值,即
Figure GDA0003543527820000094
其中eps表示预先设置的可调降噪强度,eps≥0。
在该实施例中,对n幅不同曝光度的图像的边缘特征En作比较取对应像素点的最大值,得到Emax,最后利用高斯模型对每幅图像的边缘特征做一个评价,得到各个图像的初步融合权重;该评价模型认为当En与Emax的比值接近1时,该幅图像此处的边缘信息最大,纹理最多,所以赋予更高的权值。最后,对n幅图像的权重归一化,得到Wn
如图3所示,按照本发明第三个实施例的图像融合系统1000,包括:
摄像模块100,被设置为用于获取多幅不同曝光度的图像;
YUV转换模块200,被设置为用于将每幅图像转化为YUV色彩空间,并提取Y分量;
边缘特征计算模块300,被设置为用于根据Y分量计算每幅图像的边缘特征;
边缘特征的计算公式为En=|In*L|,In表示为Y分量,L表示采用预设公式对Y分量进行计算;
量化评价模块400,被设置为用于对边缘特征进行量化评价,得到初始融合权值;
概率密度计算模块500,被设置为用于根据每幅图像的Y分量生成灰度共生矩阵,并计算灰度共生矩阵中每个Y分量的概率密度函数;
显著因子计算模块600,被设置为用于根据概率密度函数计算得到每幅图像的显著性因子;
权值优化模块700,被设置为用于根据显著性因子对初始融合权值进行优化,得到最优融合权值;
最优融合权值的计算公式为:
Figure GDA0003543527820000101
Figure GDA0003543527820000102
表示为最优融合权值,Ω表示Y分量所在区域,a和b表示常数因子;
常数因子a和b的计算公式为:
Figure GDA0003543527820000103
T表示为显著性因子,
Figure GDA0003543527820000114
表示初始融合权值,ε取值为0.01;
图像融合模块800,被设置为用于根据最优融合权值融合多幅图像,得到目标图像。
如图4所示,按照本发明第四个实施例的图像融合系统,量化评价模块400包括:
比较单元401,被设置为用于根据每幅图像的边缘特征进行比较,取对应Y分量的最大值,得到最大边缘特征值,即Emax=max(E1,E2,...EN);
高斯评价单元402,被设置为用于根据高斯模型对最大边缘特征值进行评价,得到融合权重评价值,即
Figure GDA0003543527820000111
归一化计算单元403,被设置为用于根据每幅图像的融合权重评价值进行归一化处理,得到初始融合权值,即
Figure GDA0003543527820000112
其中eps表示预先设置的可调降噪强度,eps≥0。
在上述任一实施例中,优选地,边缘特征采用拉普拉斯滤波器对Y分量进行计算,即预设公式为拉普拉斯公式,具体为
Figure GDA0003543527820000113
在该实施例中,采用拉普拉斯滤波器,利用其各向同性,对于水平和垂直方向都是采用二阶差分,更能反映出每个像素点与周围像素点的亮度差异,在得到初始融合权重后,如果直接使用,融合的效果会比较差,噪声会很多。这是由于使用拉普拉斯算子提取边缘特征时,对于图像中平坦区域的处理得到的值会非常小,这部分区域的权值理论上对于高曝光和低曝光分配会比较相近,但拉普拉斯滤波对平坦区域中人眼不太敏感的一些差异会有放大作用,并且在利用高斯模型计算权重时,这些差异会被进一步放大,从对融合的结果造成影响,导致噪声的出现。所以针对这一问题,我们采用改进的导向滤波算法来处理。
在上述任一实施例中,优选地,概率密度函数的表达式为:
Figure GDA0003543527820000121
其中,h(m,n)表示为灰度共生矩阵中的一个像素点,当Y分量为m的像素点周围每有一个像素值为n时,则h(m,n)加1,遍历每幅图像后得到灰度共生矩阵H。
在该实施例中,对于一幅图像,我们首先计算其灰度共生矩阵,量化范围为0~255,所以灰度共生矩阵H大小为256*256,h(m,n)为共生矩阵的一点,他表示在图像中对于灰度值为m的像素点,当其周围每有一个像素值为n时则h(m,n)加1。对整幅图像遍历计算后,得到最终的共生矩阵H。灰度共生矩阵代表了图像内容之间的相互关联性,可以反映图像的纹理边缘特征。通过对H矩阵归一化计算中各点的概率密度函数,可以间接检测图像的显著性。
在上述任一实施例中,优选地,显著性因子的表达式为:
Figure GDA0003543527820000122
Figure GDA0003543527820000123
Figure GDA0003543527820000124
其中,ψ表示为高斯平滑函数,T为显著性因子,meanV表示平均值。
在该实施例中,如果概率密度大于其平均值,说明代表了图像中的背景或平坦的部分,显著性不高;当概率小于平均值时,显著性和概率值成反比关系,值越小,说明该灰度值与其他点的关联越少,显著性会更高。
按照本发明提供的图像融合方法及系统与现有技术相比具有如下优点:本发明采用YUV色彩空间,主要对Y分量的做计算,节省了运算时间;并采用laplacian算子提取图像边缘特征,再依据该特征量化评价图像细节信息的丰富程度,以获得初步的融合权值;然后利用灰度共生矩阵获取图像信息之间的关联性,进一步得到图像各像素点灰度值的概率密度,以此表示图像各点的显著性,最后使用显著性结合导向滤波算法以改善其保边滤波的性能,来优化初始权值,最终根据优化权值融合图像从而使图像保留更多的纹理细节,且对噪声的控制更好。
基于上述如图1至图2所示方法,相应的,本申请实施例还提供了一种可读存储介质,其上存储有计算机程序,该程序被处理器执行的图像融合方法的步骤。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1至图2所示的方法,以及图3至图4所示的虚拟装置实施例,为了实现上述目的,本申请实施例还提供了一种计算机设备,其特征在于,包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现的图像融合方法的步骤。
可选地,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与该实体设备中其它硬件和软件之间通信。
在本发明中,术语“第一”、“第二”、“第三”仅用于描述的目的,而不能理解为指示或暗示相对重要性;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中,需要理解的是,术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本发明的限制。
在本说明书的描述中,术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或实例。而且,描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种多幅不同曝光度的图像融合方法,其特征在于,包括以下步骤:
获取多幅不同曝光度的图像;
将每幅所述图像转化为YUV色彩空间,并提取Y分量;
根据所述Y分量计算每幅所述图像的边缘特征;
所述边缘特征的计算公式为En=|In*L|,In表示为所述Y分量,n表示第n幅图像,L表示采用预设公式对所述Y分量进行计算;
对所述边缘特征进行量化评价,得到初始融合权值;
根据每幅所述图像的Y分量生成灰度共生矩阵,并计算所述灰度共生矩阵中每个所述Y分量的概率密度函数;
根据所述概率密度函数计算得到每幅所述图像的显著性因子;
根据所述显著性因子对所述初始融合权值进行优化,得到最优融合权值;
所述最优融合权值的计算公式为:
Figure FDA0003543527810000011
Figure FDA0003543527810000012
表示为最优融合权值,Ω表示所述Y分量所在区域,a和b表示常数因子;
所述常数因子a和b的计算公式为:
Figure FDA0003543527810000013
T表示为显著性因子,
Figure FDA0003543527810000015
表示所述初始融合权值,ε取值为0.01;
根据所述最优融合权值融合多幅所述图像,得到目标图像。
2.根据权利要求1所述的图像融合方法,其特征在于:所述边缘特征采用拉普拉斯滤波器对所述Y分量进行计算,即所述预设公式为拉普拉斯公式,具体为
Figure FDA0003543527810000014
3.根据权利要求1或2所述的图像融合方法,其特征在于,对所述边缘特征进行量化评价,得到初始融合权值,包括以下步骤:
根据每幅所述图像的边缘特征进行比较,取对应所述Y分量的最大值,得到最大边缘特征值,即Emax=max(E1,E2,…EN);
根据高斯模型对所述最大边缘特征值进行评价,得到融合权重评价值,即
Figure FDA0003543527810000021
根据每幅所述图像的所述融合权重评价值进行归一化处理,得到所述初始融合权值,即
Figure FDA0003543527810000022
其中eps表示预先设置的可调降噪强度,eps≥0。
4.根据权利要求1或2所述的图像融合方法,其特征在于:所述概率密度函数的表达式为:
Figure FDA0003543527810000023
其中,h(m,n)表示为灰度共生矩阵中的一个像素点,当Y分量为m的像素点周围每有一个像素值为n时,则h(m,n)加1,遍历每幅所述图像后得到所述灰度共生矩阵H。
5.根据权利要求1或2所述的图像融合方法,其特征在于,所述显著性因子的表达式为:
Figure FDA0003543527810000024
Figure FDA0003543527810000025
Figure FDA0003543527810000026
其中,ψ表示为高斯平滑函数,T为显著性因子,meanV表示平均值。
6.一种多幅不同曝光度的图像融合系统,其特征在于,包括:
摄像模块,被设置为用于获取多幅不同曝光度的图像;
YUV转换模块,被设置为用于将每幅所述图像转化为YUV色彩空间,并提取Y分量;
边缘特征计算模块,被设置为用于根据所述Y分量计算每幅所述图像的边缘特征;
所述边缘特征的计算公式为En=|In*L|,In表示为所述Y分量,n表示第n幅图像,L表示采用预设公式对所述Y分量进行计算;
量化评价模块,被设置为用于对所述边缘特征进行量化评价,得到初始融合权值;
概率密度计算模块,被设置为用于根据每幅所述图像的Y分量生成灰度共生矩阵,并计算所述灰度共生矩阵中每个所述Y分量的概率密度函数;
显著因子计算模块,被设置为用于根据所述概率密度函数计算得到每幅所述图像的显著性因子;
权值优化模块,被设置为用于根据所述显著性因子对所述初始融合权值进行优化,得到最优融合权值;
所述最优融合权值的计算公式为:
Figure FDA0003543527810000031
Figure FDA0003543527810000032
表示为最优融合权值,Ω表示所述Y分量所在区域,a和b表示常数因子;
所述常数因子a和b的计算公式为:
Figure FDA0003543527810000033
T表示为显著性因子,
Figure FDA0003543527810000034
表示所述初始融合权值,ε取值为0.01;
图像融合模块,被设置为用于根据所述最优融合权值融合多幅所述图像,得到目标图像。
7.根据权利要求6所述的图像融合系统,其特征在于:所述边缘特征采用拉普拉斯滤波器对所述Y分量进行计算,即所述预设公式为拉普拉斯公式,具体为
Figure FDA0003543527810000041
8.根据权利要求6或7所述的图像融合系统,其特征在于,所述量化评价模块包括:
比较单元,被设置为用于根据每幅所述图像的边缘特征进行比较,取对应所述Y分量的最大值,得到最大边缘特征值,即Emax=max(E1,E2,...EN);
高斯评价单元,被设置为用于根据高斯模型对所述最大边缘特征值进行评价,得到融合权重评价值,即
Figure FDA0003543527810000042
归一化计算单元,被设置为用于根据每幅所述图像的所述融合权重评价值进行归一化处理,得到所述初始融合权值,即
Figure FDA0003543527810000043
其中eps表示预先设置的可调降噪强度,eps≥0。
9.根据权利要求6或7所述的图像融合系统,其特征在于:所述概率密度函数的表达式为:
Figure FDA0003543527810000044
其中,h(m,n)表示为灰度共生矩阵中的一个像素点,当Y分量为m的像素点周围每有一个像素值为n时,则h(m,n)加1,遍历每幅所述图像后得到所述灰度共生矩阵H。
10.根据权利要求6或7所述的图像融合系统,其特征在于,所述显著性因子的表达式为:
Figure FDA0003543527810000045
Figure FDA0003543527810000046
Figure FDA0003543527810000051
其中,ψ表示为高斯平滑函数,T为显著性因子,meanV表示平均值。
CN201911029659.9A 2019-10-28 2019-10-28 一种图像融合方法及系统 Active CN110796629B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911029659.9A CN110796629B (zh) 2019-10-28 2019-10-28 一种图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911029659.9A CN110796629B (zh) 2019-10-28 2019-10-28 一种图像融合方法及系统

Publications (2)

Publication Number Publication Date
CN110796629A CN110796629A (zh) 2020-02-14
CN110796629B true CN110796629B (zh) 2022-05-17

Family

ID=69441428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911029659.9A Active CN110796629B (zh) 2019-10-28 2019-10-28 一种图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN110796629B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269704B (zh) * 2021-06-29 2022-07-29 南昌航空大学 一种红外与可见光图像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488777A (zh) * 2015-04-22 2016-04-13 兰雨晴 一种基于移动前景下全景图实时生成系统及其方法
CN108122218A (zh) * 2016-11-29 2018-06-05 联芯科技有限公司 基于颜色空间的图像融合方法与装置
CN108537756A (zh) * 2018-04-12 2018-09-14 大连理工大学 基于图像融合的单幅图像去雾方法
CN108846329A (zh) * 2018-05-23 2018-11-20 江南大学 一种基于波段选择和特征融合的高光谱人脸识别方法
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488777A (zh) * 2015-04-22 2016-04-13 兰雨晴 一种基于移动前景下全景图实时生成系统及其方法
CN108122218A (zh) * 2016-11-29 2018-06-05 联芯科技有限公司 基于颜色空间的图像融合方法与装置
CN108537756A (zh) * 2018-04-12 2018-09-14 大连理工大学 基于图像融合的单幅图像去雾方法
CN108846329A (zh) * 2018-05-23 2018-11-20 江南大学 一种基于波段选择和特征融合的高光谱人脸识别方法
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
The Color Fusion of Infrared and Visual Images Based on NSCT;Yajie Wang et al.;《2013 Seventh International Conference on Image and Graphics》;20131024;第597-602页 *
基于显著性分析的自适应遥感图像融合;张立保 章珏;《中国激光》;20150131;第1-8页 *

Also Published As

Publication number Publication date
CN110796629A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
WO2020125631A1 (zh) 视频压缩方法、装置和计算机可读存储介质
Lin et al. Intensity and edge based adaptive unsharp masking filter for color image enhancement
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
US8908989B2 (en) Recursive conditional means image denoising
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
KR102045538B1 (ko) 패치 기반 다중 노출 영상 융합 방법 및 장치
US9113089B2 (en) Noise-constrained tone curve generation
US20140079319A1 (en) Methods for enhancing images and apparatuses using the same
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
US8594446B2 (en) Method for enhancing a digitized document
WO2023030139A1 (zh) 图像融合方法、电子设备和存储介质
Maurya et al. Contrast and brightness balance in image enhancement using Cuckoo Search-optimized image fusion
JP2012022652A (ja) 画像処理装置、画像処理方法、およびプログラム
Hasikin et al. Adaptive fuzzy intensity measure enhancement technique for non-uniform illumination and low-contrast images
CN110796629B (zh) 一种图像融合方法及系统
JP6909979B2 (ja) 画像処理システム、画像処理方法、および画像処理プログラム
WO2020107308A1 (zh) 一种基于Retinex的微光图像快速增强方法及其装置
JP5203159B2 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
WO2019047664A1 (zh) 码率控制方法、装置、图像采集设备及可读存储介质
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2019045981A (ja) 画像処理装置、画像処理方法及びプログラム
CN112839174B (zh) 用于云手机的人物图像的预览图生成方法和系统
JP5355292B2 (ja) 画像処理装置、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant