CN109671044B - 一种基于可变图像分解的多曝光图像融合方法 - Google Patents
一种基于可变图像分解的多曝光图像融合方法 Download PDFInfo
- Publication number
- CN109671044B CN109671044B CN201811475134.3A CN201811475134A CN109671044B CN 109671044 B CN109671044 B CN 109671044B CN 201811475134 A CN201811475134 A CN 201811475134A CN 109671044 B CN109671044 B CN 109671044B
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- texture
- decomposition
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 55
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims description 23
- 238000007619 statistical method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000004321 preservation Methods 0.000 abstract description 2
- 238000002156 mixing Methods 0.000 abstract 4
- 239000012634 fragment Substances 0.000 abstract 2
- 238000003384 imaging method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000005215 recombination Methods 0.000 description 6
- 230000006798 recombination Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于可变图像分解的多曝光图像融合方法,该方法围绕多曝光融合图像的细节保存和高动态图像的视觉质量需求,利用纹理‑卡通分解得到图像纹理分量,并通过计算图像纹理熵来实现图像块尺寸参数的动态选择;使用动态步长的移动窗口从源序列中提取图像块,并利用结构图像块分解方法实现图像块融合;通过整合融合图像块获得融合图像。将可变图像分解算法与图像块结构分解算法结合,实现图像块尺寸大小的自动选取和图像块融合,不仅利于图像纹理、结构细节信息的保存,同时融合图像获得更真实的色彩外观,提高HDR的视觉质量。
Description
技术领域
本发明属于图像融合领域,尤其涉及一种基于可变图像分解的多曝光图像融合方法。
背景技术
在人民群众对日常影像记录需求的驱动下,具有数字成像与图像处理功能消费电子产品已成为国民生活、工作中必不可少的“日用品”。但是,现有成像设备拍摄数字图像时,受成像设备“动态范围”的限制,成像设备无法通过一次曝光成像采集到场景中所有的细节信息,其严重影响图像的视觉效果与关键信息的记录。而且,由于人眼视觉系统的动态范围与电子成像设备不匹配,会丢失暗部\亮部信息,图像呈现曝光过度\曝光不足。针对现有成像、显示设备与人眼视觉系统之间动态范围不匹配问题,引入多曝光融合技术,克服高动态范围成像与低动态范围显示之间的差距。多曝光图像融合以不同曝光量级的源图像序列作为输入,通过综合其中的光照强度较符合人眼观察习惯的信息,生成一幅更具信息性和感知性的高动态范围图。融合后的图像能够捕获更丰富的场景光照、颜色与细节信息,使照片效果更加接近人眼所观察到的真实场景,为后续图像处理提供更丰富的信息。本专利通过图像纹理卡通分解方法,并结合图像块结构分解算法提出基于参数动态选择的多曝光图像融合技术,利用纹理熵值实现参数的动态选择,解决高动态图像获取中由图像块尺寸固定引起的细节丢失问题。
发明内容
发明目的:针对以上现有技术存在的问题,本发明提出一种基于可变图像分解的多曝光图像融合方法,该方法采用纹理熵值实现图像块尺寸参数的自动化选择,并采用结构分解算法实现图像块的融合,保留更多的场景细节信息以获得高质量的HDR图像,以获得细节信息丰富的HDR图像。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于可变图像分解的多曝光图像融合方法,该方法包括以下步骤:
(1)采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解;
(2)将由步骤(1)求出的图像纹理分量v转换成灰度图像,并利用灰度差分统计方法获得图像纹理特征的熵值;
(3)根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列xk,i,其中,xk,i表示第k张图像的第i个图像块,1≤k≤K,1≤i≤n,K是不同曝光级源图像的张数,n是每一张图像分割得到的图像块数量;
(4)每一个xk,i采用图像块结构分解算法将其分解为三个独立组件:信号强度ck,i、信号结构sk,i和平均亮度lk,i,对上述三个组件进行处理获得融合图像块的期望组件
(5)根据和计算对应的融合图像块
(6)对所有图像块xk,i执行步骤(4)-(5)得到新的融合图像块然后依据图像块的空间结构信息对融合图像块进行重组以融合图像。
进一步的,步骤(1)中,采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解方法如下:
(1.1)对于一组不同曝光级源图像,采用变分图像分解模型VO对图像进行纹理-卡通分解,VO模型的定义如下:
其中,TV表示全变分,表示g的LP范数,其中,P=1,g=(g1,g2)是在G空间中由g1,g2确定的输入图像f的数字向量,其中 和分别表示u在x方向和y方向上的变化率,ux表示u在x方向上的偏导,uy表示u在y方向上的偏导,u是图像f的卡通分量,▽u是图像卡通分量的变化量,λ和μ是正则化参数;
(1.2)通过对公式(1)所示的VO模型中的图像的卡通分量u正则最小化获得欧拉-拉格朗日方程,如公式(2)所示:
其中,表示u的水平线的曲率,使用半隐式有限差分迭代算法将公式(2)中的u离散化,得到图像卡通分量u;
(1.3)计算出图像卡通分量u后,利用公式(1)所表示的VO模型,图像的纹理分量v则可以通过v=f-u求出。
进一步的,步骤(2)中,将由步骤(1)求出的图像纹理分量v转换成灰度图像,并利用灰度差分统计方法获得图像纹理特征的熵值,方法如下:
(2.1)设(x,y)是图像中的任意一点,该点与其距离σ=(Δx,Δy)的相邻像素点(x+Δx,y+Δy)的灰度差值可以表示为:gΔ(x,y)=g(x,y)-g(x+Δx,y+Δy),其中g(x,y)表示点(x,y)的灰度值,gΔ是灰度差分,Δx和Δy有3种取值,分别为Δx=-1,0,1和Δy=-1,0,1,除去(Δx,Δy)=(0,0)的像素点,σ=(Δx,Δy)有八种取值,即每一个(x,y)的像素点相邻像素点最多有8个,分别为(x,y)上下左右的四个相邻像素点(x+1,y)、(x-1,y)、(x,y+1)和(x,y-1),以及(x,y)对角上的四个相邻像素点(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1);
(2.2)设灰度差分值的所有可能取值共有m种,其中m≤511,遍历像素点(x,y),统计出gΔ取m种取值中取各个数值的次数,由此获得gΔ的直方图,由直方图统计得到的每一个灰度差分值的概率为p(i),图像纹理的熵值表示;
(2.3)对于一组不同曝光级源图像纹理分量重复以上步骤,获得每组图像中所有图像纹理特征熵值{ent1,ent2,...,entK};
(2.4)计算每一组源图像纹理分量的平均纹理熵值采用下面的公式实现图像块尺寸大小的动态选取:
其中,wSize作为预先设置的图像块尺寸大小,并且wSize可以根据实际需要设定初始值。
进一步的,步骤(3)中,根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列xk,i的方法如下:利用公式(3)得到的图像块尺寸,将每一组源图像序列分成n个wSize×wSize大小的图像块,以获得每一组彩色图像块序列{xk,i}={xk,i|1≤k≤K,1≤i≤n},n是每一张图像的图像块数量,xk,i表示第k张图像的第i个图像块。
进一步的,步骤(4)中,每一个图像块xk,i采用图像块结构分解算法将其分解为三个独立组件:信号强度ck,i、信号结构sk,i和平均亮度lk,i,对上述三个组件进行处理获得融合图像块的期望组件方法如下:
(4.1)利用计算图像块的平均亮度其中wSize表示图像块xk,i的尺寸,C表示图像颜色(R,G,B)通道数,1表示一个所有元素都等于1的CwSize2维向量;去除平均亮度的图像块的2范数获得图像块信号强度ck,i;利用获得的具有特定方向的单位向量即为图像块信号结构sk,i;
(4.2)将每一组源图像中同一空间位置上的所有源图像块的最高信号强度作为融合图像的信号强度如公式(5)所示:
(4.3)采用将图像块对比度作为权值对输入的结构向量进行加权平均处理,则融合图像块期望信号结构可以表示为其中,权值函数将图像块对比度作为权值输入度量每个同一空间位置上的源图像块在融合图像块结构向量中的贡献度;
(4.3)对于平均亮度组件,将当前源图像Xk的平均亮度和当前图像块xk,i的平均亮度lk,i作为输入,构建二维高斯函数度量图像块在源图像中的曝光质量,其中C是图像颜色(R,G,B)通道数,H×W表示图像Xk的尺寸,σg和σl是构建的二维高斯函数中的高斯标准差,分别控制μk轮廓沿和lk,i尺寸的扩展,则融合图像块的期望平均亮度表示为:
有益效果:与现有技术相比,本发明的技术方案具有以下有益技术效果:
本发明公开了一种基于可变图像分解的多曝光图像融合方法,在多曝光图像融合的图像块分解,融合图像的结构保存、颜色外观、视觉质量等方面,与其他方法相比,本专利结合可变图像分解算法与图像块结构分解算法,解决现有成像、显示设备与人眼视觉系统之间动态范围不匹配的问题,并保留源场景更多的结构和纹理细节信息,此外本专利联合处理源图像的三个颜色通道的结构、对比度和曝光度信息,能获得颜色外观更加真实生动的高动态范围图像。
附图说明
图1为:本发明采用的基于可变图像分解的多曝光图像融合流程图;
图2为:本发明采用的基于可变图像分解的多曝光图像融合技术路线图;
图3为:本发明采用的融合图像块重组示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
图1为本发明采用基于参数动态选择的多曝光图像融合流程图。以多曝光源图像序列作为输入,通过计算纹理熵值特征对图像块尺寸参数进行自动选取。应用图像块结构分解算法实现图像块的融合获得HDR图像。下面结合附图1给出一个基于参数动态选择的多曝光图像融合的实施例以对本发明作进一步的阐述。如图1所示,本发明各部分具体实施细节如下:
(1)输入一组不同曝光级源图像,然后采用变分图像分解模型VO对图像进行纹理-卡通分解。VO模型的定义如下:
其中,TV表示全变分,表示g的LP范数,在发明中P=1,g=(g1,g2)是在G空间中由g1,g2确定的输入图像f的数字向量,其中 和分别表示u在x方向和y方向上的变化率,ux表示u在x方向上的偏导,uy表示u在y方向上的偏导,u是图像f的卡通分量,▽u是图像卡通分量的变化量。λ和μ是正则化参数,在公式(1)中,第一项|u|TV是正则化项,确保图像的卡通部分u是有界变分;公式(1)的第二项和第三项一起确保f-u≈div(g),div(g)表示图像去除卡通的剩余部分,当λ→∞和P→∞时,对于g几乎处处存在极限f-u=div(g),使得公式(1)的中间项不存在,第三项将变成||f-u||,表示图像的纹理分量。
通过对公式(1)所示的VO模型中的图像的卡通分量u正则最小化可获得欧拉-拉格朗日方程,如公式(2)所示:
其中,表示u的水平线的曲率。使用半隐式有限差分迭代算法将公式(2)中的u离散化,得到图像卡通分量u。计算出图像卡通分量u后,利用公式(1)所表示的VO模型,图像的纹理分量v则可以通过v=f-u求出。
(2)将由步骤(1)求出的图像纹理分量v转换成灰度图像,并利用灰度差分统计方法获得图像纹理特征的熵值,以实现图像块尺寸参数的动态选择。
(2.1)设(x,y)是图像中的任意一点,该点与其距离σ=(Δx,Δy)的相邻像素点(x+Δx,y+Δy)的灰度差值可以表示为:gΔ(x,y)=g(x,y)-g(x+Δx,y+Δy)。其中,g(x,y)表示点(x,y)的灰度值,gΔ是灰度差分,Δx和Δy都有3种取值,分别为Δx=-1,0,1和Δy=-1,0,1,除去(Δx,Δy)=(0,0)的像素点,σ=(Δx,Δy)有八种取值,即每一个(x,y)的像素点相邻像素点最多有8个,分别为(x,y)上下左右的四个相邻像素点(x+1,y)、(x-1,y)、(x,y+1)和(x,y-1),以及(x,y)对角上的四个相邻像素点(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1)。
(2.2)设灰度差分值的所有可能取值共有m种,其中m≤511。令像素点(x,y)遍历整个图像,统计出gΔ取m种取值中取各个数值的次数,由此获得gΔ的直方图,由直方图统计得到的每一个灰度差分值的概率为p(i)。图像纹理的熵值可以用表示。
(2.3)对输入的每一组图像纹理分量重复以上步骤,获得每组图像中所有图像纹理特征熵值{ent1,ent2,...,entK}。
(2.4)计算每一组源图像纹理分量的平均纹理熵值然后采用下面的公式实现图像块尺寸大小的动态选取:
其中,为保持融合图像性能和计算复杂度平衡,本发明中初始值wSize=21作为预先设置的图像块尺寸大小,并且wSize可以根据实际需要设定初始值。
(3)利用公式(3)得到的图像块尺寸,将每一组源图像序列分成n个wSize×wSize大小的图像块,以获得每一组彩色图像块序列{xk,i}={xk,i|1≤k≤K,1≤i≤n},n是每一张图像的图像块数量,xk,i表示第k张图像的第i个图像块。
(4)每一个xk,i都采用图像块结构分解算法将其分解为三个独立组件:信号强度ck,i、信号结构sk,i和平均亮度lk,i。图像块结构分解算法是首先通过滑动窗口取出图像块,利用计算图像块的平均亮度其中wSize表示图像块xk,i的尺寸,C表示图像颜色(R,G,B)通道数,1表示一个所有元素都等于1的CwSize2维向量;然后利用去除平均亮度的图像块的2范数获得图像块信号强度ck,i;去除平均亮度的图像块包含图像块结构和对比度信息,利用获得的具有特定方向的单位向量即为图像块信号结构sk,i,每一个图像块结构分解形式如公式(4)所示。
对于每一个图像块,通过结构分解算法都只会获得一个信号强度、一个信号结构和一个平均亮度组件,并且图像块结构分解是可逆的,任意三个信号强度、信号结构和平均亮度都可以通过重组获得一个新的图像块,所以在图像块融合中,一旦通过计算获得期望信号强度、信号结构和平均亮度组件,则融合图像块就可以通过重组获得,图像块分解和重组形式如公式(4)所示。
在通过图像块结构分解算法获得信号强度、信号结构和平均亮度三个组件后,分别对三个组件进行处理获得融合图像块的期望组件,其中三个组件的处理方法如步骤(4.1),(4.2)和(4.3)所示,最后通过对三个组件重组获得融合图像块,如步骤(5)所示。图像块结构分解形式如公式(4)所示:
此处||·||表示向量的l2范数,表示图像块的平均亮度;表示去除平均亮度的图像块,其包含图像块的结构和对比度信息。表示信号强度,单位长度向量表示信号结构,表示图像块平均亮度。
(4.1)对于信号强度分量,将每一组源图像中同一空间位置上的所有源图像块的最高信号强度作为融合图像的信号强度如公式(5)所示:
(4.2)在信号结构处理中,为了让融合后的图像块的期望信号结构能够更好地代表所有源图像块的结构,因此采用将图像块对比度作为权值对输入的结构向量进行加权平均处理,则融合图像块期望信号结构可以表示为
其中,权值函数将图像块对比度作为权值输入度量每个同一空间位置上的源图像块在融合图像块结构向量中的贡献度。
(4.3)对于平均亮度组件,将当前源图像Xk的平均亮度和当前图像块xk,i的平均亮度lk,i作为输入,构建二维高斯函数度量图像块在源图像中的曝光质量,其中C是图像颜色(R,G,B)通道数,H×W表示图像Xk的尺寸,σg和σl是构建的二维高斯函数中的高斯标准差,分别控制μk轮廓沿和lk,i尺寸的扩展,考虑融合图像与源图像的结构一致性,在本发明中将两个高斯标准差σg和σl分别设置为0.2和0.5,可以按照实际需要设置不同标准差的值。则融合图像块的期望平均亮度可以表示为:
(5)当计算获得图像块的三个分量和一个全新的向量将通过被定义,表示融合图像块。
(6)使用具有固定步长的移动窗口从每一组多曝光源图像序列的同一空间位置上提取图像块,对重叠的图像块中的像素进行平均处理,重复以上图像块结构分解、三个期望组件计算和融合图像块期望组件重组三个步骤,获得融合图像块。在对每组源图像序列的所有源图像块序列进行结构分解和重构后,获得所有的融合图像块,然后依据图像块的空间结构信息对融合图像块进行重组以融合图像,如图3所示。
图2为本发明采用的基于可变图像分解的多曝光图像融合技术路线图。该基于可变图像分解的多曝光图像融合技术路线图由图像块尺寸大小自动选择、图像块分解、图像块结构分解三个模块组成,主要实现下面六个目标:
(1)图像纹理卡通分解;
(2)图像纹理分量熵值求取;
(3)图像块尺寸参数自适应选择;
(4)图像块结构分解,分别处理信号强度、信号结构和平均亮度组件;
(5)图像块融合;
(6)整合融合图像块获得融合图像。
图3为本发明采用的融合图像块重组示意图。该融合图像块重组示意图利用图像块空间结构信息将融合图像块序列进行重组获得融合图像,对于重叠的图像块中的像素进行平均处理。
Claims (5)
1.一种基于可变图像分解的多曝光图像融合方法,其特征在于,该方法包括以下步骤:
(1)采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解;
(2)将由步骤(1)求出的图像纹理分量v转换成灰度图像,并利用灰度差分统计方法获得图像纹理特征的熵值;
(3)根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列xk,i,其中,xk,i表示第k张图像的第i个图像块,1≤k≤K,1≤i≤n,K是不同曝光级源图像的张数,n是每一张图像分割得到的图像块数量;
(4)每一个xk,i采用图像块结构分解算法将其分解为三个独立组件:信号强度ck,i、信号结构sk,i和平均亮度lk,i,对上述三个组件进行处理获得融合图像块的期望组件
(5)根据和计算对应的融合图像块
(6)对所有图像块xk,i执行步骤(4)-(5)得到新的融合图像块然后依据图像块的空间结构信息对融合图像块进行重组以获得融合图像。
2.根据权利要求1所述的一种基于可变图像分解的多曝光图像融合方法,其特征在于,步骤(1)中,采用变分图像分解模型对不同曝光级源图像进行纹理-卡通分解方法如下:
(1.1)对于一组不同曝光级源图像,采用变分图像分解模型VO对图像进行纹理-卡通分解,VO模型的定义如下:
其中,TV表示全变分,表示g的LP范数,其中,P=1,g=(g1,g2)是在G空间中由g1,g2确定的输入图像f的数字向量,其中 和分别表示u在x方向和y方向上的变化率,ux表示u在x方向上的偏导,uy表示u在y方向上的偏导,u是图像f的卡通分量,是图像卡通分量的变化量,λ和μ是正则化参数;
(1.2)通过对公式(1)所示的VO模型中的图像的卡通分量u正则最小化获得欧拉-拉格朗日方程,如公式(2)所示:
其中,表示u的水平线的曲率,使用半隐式有限差分迭代算法将公式(2)中的u离散化,得到图像卡通分量u;
(1.3)计算出图像卡通分量u后,利用公式(1)所表示的VO模型,图像的纹理分量v则可以通过v=f-u求出。
3.根据权利要求1或2所述的一种基于可变图像分解的多曝光图像融合方法,其特征在于,步骤(2)中,将由步骤(1)求出的图像纹理分量v转换成灰度图像,并利用灰度差分统计方法获得图像纹理特征的熵值,方法如下:
(2.1)设(x,y)是图像中的任意一点,该点与其距离σ=(Δx,Δy)的相邻像素点(x+Δx,y+Δy)的灰度差值可以表示为:gΔ(x,y)=g(x,y)-g(x+Δx,y+Δy),其中g(x,y)表示点(x,y)的灰度值,gΔ是灰度差分,Δx和Δy有3种取值,分别为Δx=-1,0,1和Δy=-1,0,1,除去(Δx,Δy)=(0,0)的像素点,σ=(Δx,Δy)有八种取值,即每一个(x,y)的像素点相邻像素点最多有8个,分别为(x,y)上下左右的四个相邻像素点(x+1,y)、(x-1,y)、(x,y+1)和(x,y-1),以及(x,y)对角上的四个相邻像素点(x+1,y+1)、(x+1,y-1)、(x-1,y+1)、(x-1,y-1);
(2.2)设灰度差分值的所有可能取值共有m种,其中m≤511,遍历像素点(x,y),统计出gΔ取m种取值中取各个数值的次数,由此获得gΔ的直方图,由直方图统计得到的每一个灰度差分值的概率为p(i),图像纹理的熵值表示;
(2.3)对于一组不同曝光级源图像纹理分量重复以上步骤,获得每组图像中所有图像纹理特征熵值{ent1,ent2,...,entK};
(2.4)计算每一组源图像纹理分量的平均纹理熵值采用下面的公式实现图像块尺寸大小的动态选取:
其中,wSize作为预先设置的图像块尺寸大小,并且wSize可以根据实际需要设定初始值。
4.根据权利要求3所述的一种基于可变图像分解的多曝光图像融合方法,其特征在于,步骤(3)中,根据步骤(2)确定的熵值对不同曝光级源图像进行分割序列xk,i的方法如下:利用公式(3)得到的图像块尺寸,将每一组源图像序列分成n个wSize×wSize大小的图像块,以获得每一组彩色图像块序列{xk,i}={xk,i|1≤k≤K,1≤i≤n},n是每一张图像的图像块数量,xk,i表示第k张图像的第i个图像块。
5.根据权利要求3所述的一种基于可变图像分解的多曝光图像融合方法,其特征在于,步骤(4)中,每一个图像块xk,i采用图像块结构分解算法将其分解为三个独立组件:信号强度ck,i、信号结构sk,i和平均亮度lk,i,对上述三个组件进行处理获得融合图像块的期望组件方法如下:
(4.1)利用计算图像块的平均亮度其中wSize表示图像块xk,i的尺寸,C表示图像颜色(R,G,B)通道数,1表示一个所有元素都等于1的CwSize2维向量;去除平均亮度的图像块的2范数获得图像块信号强度ck,i;利用获得的具有特定方向的单位向量即为图像块信号结构sk,i;
(4.2)将每一组源图像中同一空间位置上的所有源图像块的最高信号强度作为融合图像的信号强度如公式(5)所示:
(4.3)采用将图像块对比度作为权值对输入的结构向量进行加权平均处理,则融合图像块期望信号结构可以表示为其中,权值函数将图像块对比度作为权值输入度量每个同一空间位置上的源图像块在融合图像块结构向量中的贡献度;
(4.4 )对于平均亮度组件,将当前源图像Xk的平均亮度和当前图像块xk,i的平均亮度lk,i作为输入,构建二维高斯函数度量图像块在源图像中的曝光质量,其中C是图像颜色(R,G,B)通道数,H×W表示图像Xk的尺寸,σg和σl是构建的二维高斯函数中的高斯标准差,分别控制μk轮廓沿和lk,i尺寸的扩展,则融合图像块的期望平均亮度表示为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811475134.3A CN109671044B (zh) | 2018-12-04 | 2018-12-04 | 一种基于可变图像分解的多曝光图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811475134.3A CN109671044B (zh) | 2018-12-04 | 2018-12-04 | 一种基于可变图像分解的多曝光图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109671044A CN109671044A (zh) | 2019-04-23 |
CN109671044B true CN109671044B (zh) | 2019-10-08 |
Family
ID=66144668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811475134.3A Active CN109671044B (zh) | 2018-12-04 | 2018-12-04 | 一种基于可变图像分解的多曝光图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109671044B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127375B (zh) * | 2019-12-03 | 2023-04-07 | 重庆邮电大学 | 一种结合dsift和自适应图像分块的多聚焦图像融合方法 |
CN111225162B (zh) * | 2020-01-21 | 2021-08-03 | 厦门亿联网络技术股份有限公司 | 图像曝光的控制方法、系统、可读存储介质及摄像设备 |
CN112529824A (zh) * | 2020-11-19 | 2021-03-19 | 重庆兆光科技股份有限公司 | 一种基于自适应结构分解的图像融合方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006017233A1 (en) * | 2004-07-12 | 2006-02-16 | Lehigh University | Image fusion methods and apparatus |
US7620265B1 (en) * | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
CN102509280A (zh) * | 2011-11-10 | 2012-06-20 | 重庆大学 | 多聚焦图像融合方法 |
CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
CN103533344A (zh) * | 2013-10-09 | 2014-01-22 | 上海大学 | 基于多尺度分解的压缩图像质量无参评估方法 |
CN103729836A (zh) * | 2014-01-27 | 2014-04-16 | 中北大学 | 基于多尺度变换和可能性理论的多波段图像融合方法 |
CN104463822A (zh) * | 2014-12-11 | 2015-03-25 | 西安电子科技大学 | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 |
CN105635743A (zh) * | 2015-12-30 | 2016-06-01 | 福建师范大学 | 基于显著性检测和全变分的最小可察觉失真方法及系统 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982532B (zh) * | 2012-10-31 | 2015-06-17 | 宁波大学 | 一种基于矩阵分解的立体图像客观质量评价方法 |
CN103903238B (zh) * | 2014-03-21 | 2017-06-20 | 西安理工大学 | 图像特征的显著结构和相关结构融合方法 |
CN104299216B (zh) * | 2014-10-22 | 2017-09-01 | 北京航空航天大学 | 基于多尺度各向异性分解和低秩分析的多模态医学图像融合方法 |
CN106023122A (zh) * | 2016-05-05 | 2016-10-12 | 江南大学 | 基于多通道分解的图像融合方法 |
CN106339998B (zh) * | 2016-08-18 | 2019-11-15 | 南京理工大学 | 基于对比度金字塔变换的多聚焦图像融合方法 |
CN106097253B (zh) * | 2016-08-24 | 2019-04-09 | 北京印刷学院 | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 |
CN107967676B (zh) * | 2017-11-10 | 2022-01-11 | 安徽大学 | 一种平稳Tetrolet变换算法 |
-
2018
- 2018-12-04 CN CN201811475134.3A patent/CN109671044B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7620265B1 (en) * | 2004-04-12 | 2009-11-17 | Equinox Corporation | Color invariant image fusion of visible and thermal infrared video |
WO2006017233A1 (en) * | 2004-07-12 | 2006-02-16 | Lehigh University | Image fusion methods and apparatus |
CN102509280A (zh) * | 2011-11-10 | 2012-06-20 | 重庆大学 | 多聚焦图像融合方法 |
CN102722865A (zh) * | 2012-05-22 | 2012-10-10 | 北京工业大学 | 一种超分辨率稀疏重建方法 |
CN103533344A (zh) * | 2013-10-09 | 2014-01-22 | 上海大学 | 基于多尺度分解的压缩图像质量无参评估方法 |
CN103729836A (zh) * | 2014-01-27 | 2014-04-16 | 中北大学 | 基于多尺度变换和可能性理论的多波段图像融合方法 |
CN104463822A (zh) * | 2014-12-11 | 2015-03-25 | 西安电子科技大学 | 基于多尺度全局滤波的多聚焦图像融合方法及其装置 |
CN105635743A (zh) * | 2015-12-30 | 2016-06-01 | 福建师范大学 | 基于显著性检测和全变分的最小可察觉失真方法及系统 |
Non-Patent Citations (2)
Title |
---|
图像多尺度邻域距离分解及其应用;赵恒军;《中国博士学位论文全文数据库》;20140228;全文 * |
基于稀疏表示的像素级图像融合方法研究;朱智勤;《中国博士学位论文全文数据库》;20170930;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN109671044A (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Low-light image enhancement via progressive-recursive network | |
Wang et al. | An experiment-based review of low-light image enhancement methods | |
Ram Prabhakar et al. | Deepfuse: A deep unsupervised approach for exposure fusion with extreme exposure image pairs | |
CN108492262B (zh) | 一种基于梯度结构相似性的无鬼影高动态范围成像方法 | |
CN104899845B (zh) | 一种基于lαβ空间场景迁移的多曝光图像融合方法 | |
CN107292804B (zh) | 基于OpenCL的直接多曝光融合并行加速方法 | |
CN110046673A (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
CN109671044B (zh) | 一种基于可变图像分解的多曝光图像融合方法 | |
CN109685072A (zh) | 一种基于生成对抗网络的复合降质图像高质量重建方法 | |
CN112785534A (zh) | 一种动态场景下去鬼影多曝光图像融合方法 | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
CN112561813B (zh) | 人脸图像增强方法、装置、电子设备及存储介质 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN111724317A (zh) | Raw域视频去噪监督数据集构造方法 | |
Lv et al. | Low-light image enhancement via deep Retinex decomposition and bilateral learning | |
CN116188339A (zh) | 一种基于Retinex及图像融合的暗视觉图像增强方法 | |
Khan et al. | A deep hybrid few shot divide and glow method for ill-light image enhancement | |
CN117974459A (zh) | 一种融合物理模型和先验的低照度图像增强方法 | |
CN117391987A (zh) | 基于多阶段联合增强机制的暗光图像处理方法 | |
CN116433822B (zh) | 一种神经辐射场训练方法、装置、设备及介质 | |
Li et al. | Low-illumination image enhancement for foreign object detection in confined spaces | |
CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
CN115760640A (zh) | 基于含噪Retinex模型的煤矿低光照图像增强方法 | |
Shen et al. | Over-exposure image correction with automatic texture synthesis | |
CN111091522B (zh) | 终端及其多曝光图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |