CN104732507A - 基于纹理信息重构的不同光照两帧图像融合方法 - Google Patents
基于纹理信息重构的不同光照两帧图像融合方法 Download PDFInfo
- Publication number
- CN104732507A CN104732507A CN201510155621.1A CN201510155621A CN104732507A CN 104732507 A CN104732507 A CN 104732507A CN 201510155621 A CN201510155621 A CN 201510155621A CN 104732507 A CN104732507 A CN 104732507A
- Authority
- CN
- China
- Prior art keywords
- image
- matrix
- fused
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 238000005286 illumination Methods 0.000 title abstract description 3
- 239000011159 matrix material Substances 0.000 claims abstract description 149
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 235000013350 formula milk Nutrition 0.000 claims 9
- 238000000034 method Methods 0.000 abstract description 18
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract 1
- 230000007812 deficiency Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于纹理信息重构的不同光照两帧图像融合方法,其实现步骤为:(1)输入待融合图像。(2)变换待融合图像通道。(3)重构亮度矩阵(4)采用加权最小二乘自适应滤波器对待融合图像滤波。(5)获得待融合图像纹理信息矩阵。(6)重构纹理信息矩阵。(7)对待融合图像进行融合。(8)矩阵变换。(9)输出融合后图像。本发明利用了两帧不同亮度图像的纹理信息和亮度信息对融合后图像进行自适应增强,提高了融合图像的清晰度并降低了融合图像的噪声,克服了现有图像融合技术亮度场景单一的缺点。
Description
技术领域
本发明属于图像处理技术领域,更进一步涉及图像清晰度增强技术领域中的一种基于纹理信息重构的不同光照两帧图像融合方法。本发明可用于夜间拍照获得的一帧高亮度的闪光灯条件下拍摄图像和一帧低亮度的无闪光灯条件下拍摄图像融合中,在提取亮度较高图像纹理信息的同时,保留光照较低图像色彩信息,提升最终融合图像的清晰度。
背景技术
目前,现有的图像融合方法主要有空间域图像融合方法与频域图像融合方法,最具代表性的融合方法有空间域的梯度融合方法和频域的小波融合方法。这两种方法都是根据一定的转换函数直接对两帧图像的像素值进行运算处理。梯度融合方法和小波融合方法的优点在于实现简单、速度快。但是这两种方法存在的缺点是应用场景单一,只能用于相同亮度场景下的图像融合,对亮度相差较大的图像会产生较大的噪声和色偏。
Ali Aghagolzadeh和Hadi Seyedarabi在其发表的论文“Multi-focus image fusion forvisualsensor networks in DCT domain”(《Special Issue on Image Processing》vol.37,Issue5,Sep.2011)中提出了一种基于小波变换的图像融合方法。该方法首先将图像从空间域变换到小波域,再根据高频成分均值大小选取均值较大的一帧图像作为基准图像,最后提取两帧图像中较大的高频成分到基准图像中,得到最终融合图像。该方法虽然对图像的清晰度有一定程度的提高。但是,该方法仍然存在的不足是,该方法不适用于两帧图像亮度差异较大时的融合,也没有考虑两帧图像的噪声大小,导致最终的融合图像中存在较大的噪声。
微软公司申请的专利“Digital photography with flash/no flash extension”(申请日:2005年07月15日,申请号:CN 200510092389,公开号:CN100431339C)中公开了一种基于不同亮度的图像融合方法。该方法首先提取闪光灯条件下拍摄图像的纹理信息到融合后图像中,有效的提高了融合图像的清晰度,其次对融合后图像进行滤波,在降低最终融合图像噪声的同时,保留了低光照图像的色调与色温。该方法存在的不足是,直接在红绿蓝rgb三个颜色通道中做融合,导致最终的融合图像有色偏;其次,该方法没有考虑低光照图像中的纹理信息成分,导致最终的融合图像中部分区域发生模糊。
发明内容
本发明的目的是针对上述现有技术的不足,提出一种基于纹理信息重构的不同光照两帧图像融合方法。本发明根据在闪光灯条件下拍摄的一帧图像的亮度矩阵和在无闪光条件下拍摄的一帧图像的亮度矩阵,对待融合图像亮度矩阵进行重构,利用重构亮度矩阵后的无闪光条件下拍摄的一帧图像亮度通道纹理信息矩阵和闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵,对待融合图像亮度通道纹理信息矩阵进行重构,对待融合图像每一个像素点进行自适应的纹理增强,显著的提高融合图像的清晰度。
为实现上述目的,本发明包括如下主要步骤:
(1)输入待融合图像:
分别输入待融合的一幅在有闪光灯和一幅在无闪光灯条件下拍摄的图像;
(2)变换待融合图像通道:
(2a)将闪光灯图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵;
(2b)将无闪光灯图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵;
(3)重构亮度矩阵:
按照下式,重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值:
Yi=max(YNFi,YFi)
其中,Yi表示构建后亮度矩阵中第i个像素的亮度值,i表示待融合图像中像素点的序号,max(·)表示取较大值操作,YNFi表示在无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值,YFi表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值;
(4)采用加权最小二乘自适应滤波器,分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波;
(5)分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值;
(6)重构纹理信息矩阵:
按照下式,重新构建待融合图像纹理信息矩阵中第i个像素的纹理值:
Di=max(DAi,DFi)
其中,Di表示构建后纹理信息矩阵中第i个像素的纹理值,i表示待融合图像中像素的序号,max(·)表示取较大值操作,DAi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值,DFi表示闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值;
(7)按照下式,对待融合图像进行融合:
Ei=Di×Yi;
Fi=Mi×Zi;
Gi=Ni×Wi;
其中,Ei表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值,i表示待融合图像中像素的序号,Di表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值,Yi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值,Fi表示融合后的图像红色差通道红色差矩阵中第i个像素的色差值,Mi表示闪光灯条件下拍摄的一帧图像红色差通道纹理信息矩阵中第i个像素的纹理值,Zi表示无闪光灯条件下拍摄的一帧图像红色差通道红色差矩阵中第i个像素的色差值,Gi表示融合后的图像蓝色差通道蓝色差矩阵中第i个像素的色差值,Ni表示闪光灯条件下拍摄的一帧图像蓝色差通道纹理信息矩阵中第i个像素的纹理值,Wi表示无闪光灯条件下拍摄的一帧图像蓝色差通道蓝色差矩阵中第i个像素的色差值;
(8)矩阵变换:
将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵;
(9)输出融合后图像:
(9a)按照下式,计算融合后图像第i个像素的像素值:
Ii=[Ri,Gi,Bi]
其中,Ii表示融合后图像第i个像素的像素值,i表示待融合图像中像素的序号,[·]表示矩阵元素做合并操作,Ri、Gi、Bi分别表示融合后图像红绿蓝三个矩阵中第i个像素的元素值;
(9b)输出融合后图像。
与现有的技术相比,本发明具有以下优点:
第一,本发明能够根据闪光灯图像亮度矩阵和不闪光图像亮度矩阵,对待融合图像亮度矩阵进行重构,克服了现有技术存在的不适用于两帧待融合图像亮度差异较大进行的图像融合,只对某一部分图像适用的不足,使得本发明具有较好的亮度场景适应性。
第二,本发明依据无闪光灯图像亮度通道纹理信息矩阵和闪光灯图像亮度通道纹理信息矩阵,对待融合图像亮度通道纹理信息矩阵进行重构,克服了现有技术在融合后图像中部分区域模糊的不足,使得本发明能够显著的提高融合图像的清晰度。
附图说明
图1为本发明的流程图;
图2为本发明的仿真图。
具体实施方式
下面结合附图对本发明作进一步的描述。
参考附图1,对本发明实现的步骤作进一步的详细描述。
步骤1,输入待融合图像。
分别输入待融合的一帧在闪光灯和一帧在无闪光灯条件下拍摄的图像。
步骤2,变换待融合图像通道。
利用下式,将闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵:
YF=0.2990×Rf+0.5870×Gf+0.1140×Bf
CbF=-0.1687×Rf-0.3313×Gf+0.5000×Bf+128
CrF=-0.5000×Rf-0.4187×Gf-0.0813×Bf+128
其中,YF、CbF、CrF表示变换后闪光灯条件下拍摄的一帧图像的亮度、红色差、蓝色差矩阵,Rf、Gf、Bf分别表示闪光灯条件下拍摄的一帧图像的红绿蓝矩阵,f表示闪光灯条件下拍摄的一帧图像。
利用下式,将无闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵:
YNF=0.2990×Rnf+0.5870×Gnf+0.1140×Bnf
CbNF=-0.1687×Rnf-0.3313×Gnf+0.5000×Bnf+128
CrNF=-0.5000×Rnf-0.4187×Gnf-0.0813×Bnf+128
其中,YNF、CbNF、CrNF分别表示变换后无闪光灯条件下拍摄的一帧图像的亮度、红色差、蓝色差矩阵,Rnf、Gnf、Bnf分别表示无闪光灯条件下拍摄的一帧图像的红绿蓝矩阵,nf表示无闪光灯条件下拍摄的一帧图像。
直接在三个颜色通道来做图像融合会造成融合图像的色偏,所以本发明的图像融合操作都是在亮度与色差通道来进行,使得图像在颜色上更加适合真实的自然场景。
步骤3,重构亮度矩阵。
按照下式,重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值:
Yi=max(YNFi,YFi)
其中,Yi表示构建后亮度矩阵中第i个像素的亮度值,i表示待融合图像中像素点的序号,max(·)表示取较大值操作,YNFi表示在无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值,YFi表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值。
重构后的亮度矩阵,不仅具有闪光灯条件下拍摄图像的亮度信息,还具有无闪光条件下拍摄图像的亮度信息,使得融合后图像亮度较大的区域不会过亮,并且提高了融合后图像亮度较低区域的亮度,使融合后的图像的亮度协调,适合人眼观看。
步骤4,按照下式,采用加权最小二乘自适应滤波器,分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波:
其中,A表示待融合图像的滤波结果,I表示单位对角矩阵,λ表示滤波器的平滑参数,λ的取值范围为[0,1.0],Dx表示单位矩阵x方向的后向差分矩阵,(·)T表示矩阵取转置操作,表示待融合图像x方向的后向差分矩阵,|·|表示取绝对值操作,α表示待融合图像的梯度敏感因子,α的取值范围为[1.2,2.0],Dy表示单位矩阵y方向的后向差分矩阵,表示待融合图像y方向的后向差分矩阵,G表示待融合图像。
滤波器的平滑参数λ越大,则滤波器滤波的强度越高。图像的梯度信息反映出图像的轮廓,滤波器的梯度敏感因子α越大,则滤波结果的轮廓越明显。滤波公式中的0.001起到避免分母为0的作用。
步骤5,按照下式,分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值:
其中,Li表示待融合图像亮度通道纹理信息矩阵中第i个像素的纹理值,i表示待融合图像中像素的序号,Yi表示待融合图像亮度矩阵中第i个像素的亮度值,Ai表示滤波后的图像亮度矩阵中第i个像素的亮度值,Mi表示待融合图像红色差通道纹理信息矩阵中第i个像素的纹理值,Zi表示待融合图像红色差矩阵中第i个像素的色差值,Bi表示滤波后的图像红色差矩阵中第i个像素的色差值,Ni表示待融合图像蓝色差通道纹理信息矩阵中第i个像素的纹理值,Wi表示待融合图像蓝色差矩阵中第i个像素的色差值,Ci表示滤波后的图像蓝色差矩阵中第i个像素的色差值。
图像通过滤波器后会变得模糊,丢失了纹理信息,所以利用滤波前图像各个通道第i个像素的像素值与滤波后图像各个通道第i个像素的像素值做减法或者除法就可以得到纹理信息矩阵中i个像素的纹理值,通过大量实验与资料证明,采用除法获得的纹理信息更多,所以在此选用除法获得纹理信息矩阵。上式中选用的0.001起到避免分母为0的作用,为了使得纹理信息矩阵更加准确,分子也做了加0.001的操作。
步骤6,重构纹理信息矩阵。
按照下式,重新构建待融合图像纹理信息矩阵中第i个像素的纹理值:
Di=max(DAi,DFi)
其中,Di表示构建后纹理信息矩阵中第i个像素的纹理值,i表示待融合图像中像素的序号,max(·)表示取较大值操作,DAi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值,DFi表示闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值。
重构后的纹理信息矩阵,不仅具有闪光灯条件下拍摄图像的纹理信息,还具有无闪光条件下拍摄图像的纹理信息,纹理信息矩阵表征图像的清晰度,所以此步骤中的纹理信息矩阵的重构有效的提高了融合图像的清晰度。
步骤7,按照下式,对待融合图像进行融合:
Ei=Di×Yi;
Fi=Mi×Zi;
Gi=Ni×Wi;
其中,Ei表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值,i表示待融合图像中像素的序号,Di表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值,Yi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值,Fi表示融合后的图像红色差通道红色差矩阵中第i个像素的色差值,Mi表示闪光灯条件下拍摄的一帧图像红色差通道纹理信息矩阵中第i个像素的纹理值,Zi表示无闪光灯条件下拍摄的一帧图像红色差通道红色差矩阵中第i个像素的色差值,Gi表示融合后的图像蓝色差通道蓝色差矩阵中第i个像素的色差值,Ni表示闪光灯条件下拍摄的一帧图像蓝色差通道纹理信息矩阵中第i个像素的纹理值,Wi表示无闪光灯条件下拍摄的一帧图像蓝色差通道蓝色差矩阵中第i个像素的色差值。
滤波后的图像丢失了纹理信息,步骤5中采用了除法运算,所以此步骤采用乘法运算,将纹理信息融合到融合图像中。步骤6中对纹理信息矩阵进行的重构操作,可以更加显著地提高融合图像的清晰度。
步骤8,矩阵变换。
按照下式,将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵:
R=1.164×(Y-16)+1.596×(Cr-128);
G=1.164×(Y-16)-0.392×(Cb-128)-0.813×(Cr-128);
B=1.164×(Y-16)+2.017×(Cb-128);
其中,R、G、B分别表示融合后图像红绿蓝矩阵,Y、Cr、Cb分别表示融合后图像亮度、红色差、蓝色差矩阵。
一帧彩色图像可以分为三个通道进行表征,一帧图像既可以通过三个颜色通道来表征,也可以通过亮度与色差通道来表征,不同的表征通道之间可以相互进行转换,上述公式采用国际标准的通道转换公式进行通道转换。
步骤9,按照下式,输出融合后图像:
Ii=[Ri,Gi,Bi]
其中,Ii表示融合后图像第i个像素的像素值,i表示待融合图像中像素的序号,[·]表示矩阵元素做合并操作,Ri、Gi、Bi分别表示融合后图像红绿蓝三个矩阵中第i个像素的元素值。
本发明的图像融合是针对三通道的彩色图像进行的,所以要将最终的颜色矩阵合并为一个三维矩阵,图像的每一个像素值由三个颜色通道矩阵的像素值来表征。
下面结合附图2对本发明的仿真效果做进一步说明。
1.仿真条件:
本发明的仿真所使用待融合的图像分别在闪光灯和无闪光灯条件下拍摄,图像大小为2448×3264,待融合图像为三通道彩色图像。
2.仿真结果与分析:
附图2是本发明的仿真结果图,其中,附图2(a)为在无闪光灯条件下拍摄的原图;附图2(b)为在闪光灯条件下拍摄的原图;附图2(c)为本发明基于纹理信息重构的不同光照两帧图像融合方法的效果图;附图2(d)为没有进行亮度矩阵和纹理信息矩阵重构的效果图。
对比附图2(c)和附图2(d),附图2(d)没有区分两帧待融合图像亮度之间的差异,也没有考虑附图2(a)的纹理信息,使得整幅图出现了色偏的情况,并且图像发白,清晰度不高,与人眼看到的场景情况不符。本发明则很好地利用了附图2(a)和附图2(b)自身的纹理信息和亮度信息,对融合后图像进行自适应增强,尤其在附图2(c)中头像的发丝部分,纹理增强效果表现明显。此外,附图2(c)在图像去噪方面也有很好的效果。
综上所述,可以看出本发明能够很好的提升待融合图像的清晰度,克服了现有图像融合技术亮度场景单一的缺点。
Claims (6)
1.一种基于纹理信息重构的不同光照两帧图像融合方法,包括如下步骤:
(1)输入待融合图像:
分别输入待融合的一帧在闪光灯和一帧在无闪光灯条件下拍摄的图像;
(2)变换待融合图像通道:
(2a)将闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵;
(2b)将无闪光灯条件下拍摄的一帧图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵;
(3)重构亮度矩阵:
按照下式,重新构建无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值:
Yi=max(YNFi,YFi)
其中,Yi表示构建后亮度矩阵中第i个像素的亮度值,i表示待融合图像中像素点的序号,max(·)表示取较大值操作,YNFi表示在无闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值,YFi表示在闪光灯条件下拍摄的一帧图像亮度矩阵中第i个像素的亮度值;
(4)采用加权最小二乘自适应滤波器,分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波;
(5)分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值;
(6)重构纹理信息矩阵:
按照下式,重新构建待融合图像纹理信息矩阵中第i个像素的纹理值:
Di=max(DAi,DFi)
其中,Di表示构建后纹理信息矩阵中第i个像素的纹理值,i表示待融合图像中像素的序号,max(·)表示取较大值操作,DAi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值,DFi表示闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值;
(7)按照下式,对待融合图像进行融合:
Ei=Di×Yi;
Fi=Mi×Zi;
Gi=Ni×Wi;
其中,Ei表示融合后的图像亮度通道亮度矩阵中第i个像素的亮度值,i表示待融合图像中像素的序号,Di表示重构纹理信息矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道纹理信息矩阵中第i个像素的纹理值,Yi表示重构亮度矩阵后的无闪光灯条件下拍摄的一帧图像亮度通道亮度矩阵中第i个像素的亮度值,Fi表示融合后的图像红色差通道红色差矩阵中第i个像素的色差值,Mi表示闪光灯条件下拍摄的一帧图像红色差通道纹理信息矩阵中第i个像素的纹理值,Zi表示无闪光灯条件下拍摄的一帧图像红色差通道红色差矩阵中第i个像素的色差值,Gi表示融合后的图像蓝色差通道蓝色差矩阵中第i个像素的色差值,Ni表示闪光灯条件下拍摄的一帧图像蓝色差通道纹理信息矩阵中第i个像素的纹理值,Wi表示无闪光灯条件下拍摄的一帧图像蓝色差通道蓝色差矩阵中第i个像素的色差值;
(8)矩阵变换:
将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵;
(9)输出融合后图像:
(9a)按照下式,计算融合后图像第i个像素的像素值:
Ii=[Ri,Gi,Bi]
其中,Ii表示融合后图像第i个像素的像素值,i表示待融合图像中像素的序号,[·]表示矩阵元素做合并操作,Ri、Gi、Bi分别表示融合后图像红绿蓝三个矩阵中第i个像素的元素值;
(9b)输出融合后图像。
2.根据权利要求1所述的基于纹理信息重构的不同光照两帧图像融合方法,其特征在于:步骤(2a)中所述将闪光灯条件下拍摄的图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵的变换公式如下:
YF=0.2990×Rf+0.5870×Gf+0.1140×Bf
CbF=-0.1687×Rf-0.3313×Gf+0.5000×Bf+128
CrF=-0.5000×Rf-0.4187×Gf-0.0813×Bf+128
其中,YF、CbF、CrF表示变换后闪光灯条件下拍摄的一帧图像的亮度、红色差、蓝色差矩阵,Rf、Gf、Bf分别表示闪光灯条件下拍摄的一帧图像的红绿蓝矩阵,f表示闪光灯条件下拍摄的一帧图像。
3.根据权利要求1所述的基于纹理信息重构的不同光照两帧图像融合方法,其特征在于:步骤(2b)中所述将无闪光灯条件下拍摄的图像从红绿蓝矩阵变换为亮度、红色差、蓝色差三个矩阵的变换公式如下:
YNF=0.2990×Rnf+0.5870×Gnf+0.1140×Bnf
CbNF=-0.1687×Rnf-0.3313×Gnf+0.5000×Bnf+128
CrNF=-0.5000×Rnf-0.4187×Gnf-0.0813×Bnf+128
其中,YNF、CbNF、CrNF分别表示变换后无闪光灯条件下拍摄的一帧图像的亮度、红色差、蓝色差矩阵,Rnf、Gnf、Bnf分别表示无闪光灯条件下拍摄的一帧图像的红绿蓝矩阵,nf表示无闪光灯条件下拍摄的一帧图像。
4.根据权利要求1所述的基于纹理信息重构的不同光照两帧图像融合方法,其特征在于:步骤(4)中所述采用加权最小二乘自适应滤波器,分别对待融合图像的亮度、红色差、蓝色差三个通道进行滤波的公式如下:
其中,A表示待融合图像的滤波结果,I表示单位对角矩阵,λ表示滤波器的平滑参数,λ取值范围为[0,1.0],Dx表示单位矩阵x方向的后向差分矩阵,(·)T表示矩阵取转置操作,表示待融合图像x方向的后向差分矩阵,|·|表示取绝对值操作,α表示待融合图像的梯度敏感因子,α取值范围为[1.2,2.0],Dy表示单位矩阵y方向的后向差分矩阵,表示待融合图像y方向的后向差分矩阵,G表示待融合图像。
5.根据权利要求1所述的基于纹理信息重构的不同光照两帧图像融合方法,其特征在于:步骤(5)中所述分别获得待融合图像亮度、红色差、蓝色差三个通道纹理信息矩阵第i个像素的纹理值的公式如下:
其中,Li表示待融合图像亮度通道纹理信息矩阵中第i个像素的纹理值,i表示待融合图像中像素的序号,Yi表示待融合图像亮度矩阵中第i个像素的亮度值,Ai表示滤波后的图像亮度矩阵中第i个像素的亮度值,Mi表示待融合图像红色差通道纹理信息矩阵中第i个像素的纹理值,Zi表示待融合图像红色差矩阵中第i个像素的色差值,Bi表示滤波后的图像红色差矩阵中第i个像素的色差值,Ni表示待融合图像蓝色差通道纹理信息矩阵中第i个像素的纹理值,Wi表示待融合图像蓝色差矩阵中第i个像素的色差值,Ci表示滤波后的图像蓝色差矩阵中第i个像素的色差值。
6.根据权利要求1所述的基于纹理信息重构的不同光照两帧图像融合方法,其特征在于:步骤(8)中所述将融合后图像的亮度、蓝色差、红色差矩阵变换为红绿蓝三个矩阵的变换公式如下:
R=1.164×(Y-16)+1.596×(Cr-128);
G=1.164×(Y-16)-0.392×(Cb-128)-0.813×(Cr-128);
B=1.164×(Y-16)+2.017×(Cb-128);
其中,R、G、B分别表示融合后图像红绿蓝矩阵,Y、Cr、Cb分别表示融合后图像亮度、红色差、蓝色差矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510155621.1A CN104732507B (zh) | 2015-04-02 | 2015-04-02 | 基于纹理信息重构的不同光照两帧图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510155621.1A CN104732507B (zh) | 2015-04-02 | 2015-04-02 | 基于纹理信息重构的不同光照两帧图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104732507A true CN104732507A (zh) | 2015-06-24 |
CN104732507B CN104732507B (zh) | 2017-06-13 |
Family
ID=53456378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510155621.1A Expired - Fee Related CN104732507B (zh) | 2015-04-02 | 2015-04-02 | 基于纹理信息重构的不同光照两帧图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104732507B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844630A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 一种双目视觉的图像超分辨率融合去噪方法 |
CN106780420A (zh) * | 2016-12-08 | 2017-05-31 | 无锡赛默斐视科技有限公司 | 基于图像引导滤波器的彩色图像融合算法 |
CN109658360A (zh) * | 2018-12-25 | 2019-04-19 | 北京旷视科技有限公司 | 图像处理的方法、装置、电子设备和计算机存储介质 |
WO2019153920A1 (zh) * | 2018-02-09 | 2019-08-15 | 华为技术有限公司 | 一种图像处理的方法以及相关设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1728778A (zh) * | 2004-07-06 | 2006-02-01 | 微软公司 | 有闪光扩展/无闪光扩展的数字摄影术 |
CN103093426A (zh) * | 2012-12-14 | 2013-05-08 | 西安电子科技大学 | 恢复定标板遮挡区域的纹理和光照的方法 |
-
2015
- 2015-04-02 CN CN201510155621.1A patent/CN104732507B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1728778A (zh) * | 2004-07-06 | 2006-02-01 | 微软公司 | 有闪光扩展/无闪光扩展的数字摄影术 |
CN103093426A (zh) * | 2012-12-14 | 2013-05-08 | 西安电子科技大学 | 恢复定标板遮挡区域的纹理和光照的方法 |
Non-Patent Citations (3)
Title |
---|
ATHANASSIOS SKODRAS ET AL: "The JPEG 2000 Still Image Compression Standard", 《IEEE SIGNAL PROCESSING MAGAZINE》 * |
RICARDO DE QUEIROZ ET AL: "JPEG compression history estimation for color images", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
李光鑫: "红外和可见光图像融合技术的研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844630A (zh) * | 2016-03-21 | 2016-08-10 | 西安电子科技大学 | 一种双目视觉的图像超分辨率融合去噪方法 |
CN105844630B (zh) * | 2016-03-21 | 2018-11-16 | 西安电子科技大学 | 一种双目视觉的图像超分辨率融合去噪方法 |
CN106780420A (zh) * | 2016-12-08 | 2017-05-31 | 无锡赛默斐视科技有限公司 | 基于图像引导滤波器的彩色图像融合算法 |
CN106780420B (zh) * | 2016-12-08 | 2019-05-24 | 无锡赛默斐视科技有限公司 | 基于图像引导滤波器的彩色图像融合算法 |
WO2019153920A1 (zh) * | 2018-02-09 | 2019-08-15 | 华为技术有限公司 | 一种图像处理的方法以及相关设备 |
CN110136183A (zh) * | 2018-02-09 | 2019-08-16 | 华为技术有限公司 | 一种图像处理的方法以及相关设备 |
CN110136183B (zh) * | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
US11250550B2 (en) | 2018-02-09 | 2022-02-15 | Huawei Technologies Co., Ltd. | Image processing method and related device |
CN109658360A (zh) * | 2018-12-25 | 2019-04-19 | 北京旷视科技有限公司 | 图像处理的方法、装置、电子设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104732507B (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103593830B (zh) | 一种低照度视频图像增强方法 | |
CN106897981A (zh) | 一种基于引导滤波的低照度图像增强方法 | |
CN105915909B (zh) | 一种高动态范围图像分层压缩方法 | |
CN105282529B (zh) | 一种基于raw空间的数字宽动态方法及装置 | |
CN106504212A (zh) | 一种改进的hsi空间信息低照度彩色图像增强算法 | |
CN103886565B (zh) | 基于目的性优化及直方图均衡化的夜间彩色图像增强方法 | |
CN107203985A (zh) | 一种端到端深度学习框架下的多曝光图像融合方法 | |
CN113454680A (zh) | 图像处理器 | |
CN104618700B (zh) | 一种彩色高动态范围图像增强显示的方法 | |
CN103034986A (zh) | 一种基于曝光融合的夜视图像增强方法 | |
CN104732507A (zh) | 基于纹理信息重构的不同光照两帧图像融合方法 | |
CN105550989B (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
CN105225213B (zh) | 一种基于s‑pcnn与拉普拉斯金字塔的彩色图像融合方法 | |
CN106303483A (zh) | 一种图像处理方法及装置 | |
CN104809700B (zh) | 一种基于亮通道的低照度视频实时增强方法 | |
CN107027031A (zh) | 一种用于视频图像的编码方法和装置 | |
CN110264413B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
JP2016535485A (ja) | デュアルバンドセンサからの画像の可視カラー画像への変換 | |
CN110211077A (zh) | 一种基于高阶奇异值分解的多曝光图像融合方法 | |
CN107392879A (zh) | 一种基于参考帧的低照度监控图像增强方法 | |
CN109035175A (zh) | 基于色彩纠正与脉冲耦合神经网络的人脸图像增强方法 | |
CN106709888B (zh) | 一种基于人眼视觉模型的高动态范围图像产生方法 | |
CN109636739B (zh) | 图像饱和度增强的细节处理方法及装置 | |
Bao et al. | A novel remote sensing image fusion approach research based on HSV space and bi-orthogonal wavelet packet transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170613 |