CN107730479A - 基于压缩感知的高动态范围图像去伪影融合方法 - Google Patents
基于压缩感知的高动态范围图像去伪影融合方法 Download PDFInfo
- Publication number
- CN107730479A CN107730479A CN201710766426.1A CN201710766426A CN107730479A CN 107730479 A CN107730479 A CN 107730479A CN 201710766426 A CN201710766426 A CN 201710766426A CN 107730479 A CN107730479 A CN 107730479A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- image
- msub
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 230000013016 learning Effects 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 113
- 230000006870 function Effects 0.000 claims description 48
- 238000013507 mapping Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 15
- 230000006835 compression Effects 0.000 claims description 7
- 238000007906 compression Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 238000012887 quadratic function Methods 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- XCWPUUGSGHNIDZ-UHFFFAOYSA-N Oxypertine Chemical compound C1=2C=C(OC)C(OC)=CC=2NC(C)=C1CCN(CC1)CCN1C1=CC=CC=C1 XCWPUUGSGHNIDZ-UHFFFAOYSA-N 0.000 claims description 3
- 230000003190 augmentative effect Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000011423 initialization method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000013461 design Methods 0.000 claims 1
- 230000000149 penetrating effect Effects 0.000 claims 1
- 238000003786 synthesis reaction Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 abstract 1
- 239000000047 product Substances 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于压缩感知的高动态范围图像去伪影融合方法。首先,对输入的多曝光图像序列进行压缩采样;接着,使用重构方法进行重构得到压缩感知后的多曝光图像序列;然后归一化经过压缩感知的图像集,对图像集使用基于PatchMatch和秩最小化算法进行多曝光图像去伪影融合得到目标的高动态(high dynamic range,HDR)图像。本发明利用K‑SVD字典学习、压缩感知和去伪影融合的最新研究成果,能够有效降低采样率、存储空间和计算复杂度,得到去除伪影和模糊的HDR图像。
Description
技术领域
本发明涉及一种将低动态范围图像合成高动态范围图像的方法,具体来说,它涉及一种利用K-SVD字典学习、压缩感知和去伪影融合算法完成对多曝光的低动态范围图像序列的压缩感知和融合,最后生成没有伪影的高动态范围图像的方法。
背景技术
高动态范围成像已经开始成为一种商业产品,比如HDR相机、HDR电视机等。在相同真实的场景中,大多数成像传感器的有限动态范围,往往无法捕捉到场景完整动态范围的亮度,然而使用一种相对简单廉价的方式可以解决这个限制,就是捕获若干对同一场景不同曝光时间的图像然后把它们融合成一张记录场景亮度的高动态范围图像,因此有效的扩展图像动态范围。然而传统的图像获取方法需先采集含冗余的大量数据,再进行压缩处理以提取有用信息,效率低并且需要较大存储空间。而压缩感知可避免对冗余数据的采样,在远低于奈奎斯特采样率的条件下,随机采样获取离散信号,并通过重构方法高概率的重建原信号。此外由于相机的抖动或者场景中物体的移动,往往会导致融合后的图像出现伪影或者模糊的现象。
发明内容
针对以上的不足,本发明提供了一种基于压缩感知的高动态范围图像去伪影融合方法。本发明有效降低图像获取端的采样率和计算复杂度,节约存储空间,并解决现有融合后的图像出现伪影或者模糊的现象。
为了解决上述技术问题,本发明的技术方案为:
本发明基于压缩感知的高动态范围图像去伪影融合方法,包括有如下步骤:
1)对输入多曝光图像序列进行分块压缩采样;
2)对压缩采样后的图像块进行LDR图像序列的重构;
3)对经过压缩感知后的多曝光图像序列进行高动态范围图像的去伪影融合。
所述步骤1)的具体实现过程为:
11)以当前输入的LDR图像为参考,进行K-SVD字典学习,得到用于稀疏表示的超完备字典ψ;
12)对分块后的图像信号矩阵F进行稀疏表示,得到F=ψθ,设计观测矩阵Φ,则压缩采样的过程重写为:
y=ΦF=Φψθ=Θθ\*MERGEFORMAT (1)。
所述步骤11)还包括如下内容:
111)判断当前的LDR图像是否为灰度图像,若不是,则转换为灰度图像,并进一步转换为double类型的图像;
112)选择所需的图像分块大小,将111)中获取的灰度图像进行分块,并重排图像块为矩阵列,形成字典学习的数据集矩阵,也即待稀疏表示的信号矩阵Y,进一步将矩阵Y表示为其中N为矩阵Y的列数;
113)K-SVD算法参数初始化,包括:
numAtom:需要训练的字典元素个数;
numIteration:迭代次数
errorFlag:等于0则表示每个信号的稀疏系数个数固定,需要配置参数L;否则表示信号的稀疏系数不固定,需要配置参数errorGoal;
errorGoal:最大允许表示误差
preserveDCAtom:等于1则表示字典的第一个原子为常量;
InitializationMethod:若为“DataElements”则用信号本身作为初始字典,若为“GivenMatrix”则用给定的矩阵作为初始字典,并对初始字典进行归一化处理,初始字典表示为ψ(0)∈RN×K;
初始化算法迭代次数J=1;
114)稀疏编码阶段:使用正交匹配追踪算法OMP来计算Y中每一个列向量在当前字典上的稀疏表示所对应的系数向量xi,通过求解下式中的目标函数:
其中为由系数向量所构成的矩阵,i表示列向量的索引,|| ||F为Frobenius范数,|| ||0为l0范数,T0为稀疏表示稀疏中非零分量的数目的上限,即系数向量中的最大差异度;
115)字典更新阶段:初始字典往往不是最优的,满足稀疏性的稀疏矩阵表示的数据和原数据可能会有比较大的误差,因此需在满足稀疏的条件下逐行逐列进行字典的更新优化,减小整体误差,逼近最优字典,对于ψ(J-1)中的每一列k=1,2,...K,定义使用到字典中第k个原子ψk的所有信号集合{yi}的索引所构成的集合为:
其中为系数矩阵X中原子ψk所对应的第k行,不同于X的第k列xk的转置,则目标函数式(2)重写为:
上式中,字典与系数矩阵的乘积ψX被分解为K个秩为1的矩阵的和的形式,当前更新的矩阵列为第k列,则其余K-1个项固定,剥离第k个原子的贡献,得到的矩阵Ek为去除原子ψk的成分其余原子所造成的误差;
116)由于中0的存在,用SVD得到的更新向量中的非零元素的数量和位置和原中的都不相同,即产生了“发散”,因此需要去除中所有0元素,定义矩阵Ωk为N×ωk的矩阵,它在(ωk(i),i)处的值为1,其他位置上的值都为0,则我们定义Y、Ek去除零项后的收缩结果为 的长度为|ωk|,是用到原子ψk的信号的集合,为剥离原子ψk的误差,两者都为n×|ωk|大小的矩阵,则式(4)进一步转换为:
117)对进行SVD分解,即矩阵U的第一列表示为即为列ψk的更新项,更新的为矩阵V的第一列乘上Δ(1,1),J=J+1进入下一次迭代直至满足迭代条件为止,迭代条件根据设定,选择为选定的迭代次数或者是误差值,迭代完成后,即得到最优的超完备字典ψ。
所述步骤12)还包括:
121)观测矩阵Φ的行数为选择的图像块大小的平方乘上采样率,用M表示,列数定义为图像块的大小的平方,用N表示,此外传感矩阵Θ=Φψ应满足RIP性质(有限等距性质):保证观测矩阵不会把两个不同的稀疏信号映射到同一个集合中,保证原空间到稀疏空间的一一映射关系,定义观测矩阵Φ的RIP常数δf为满足下式的最小值:
其中F即为分块后的图像信号矩阵,也即稀疏表示后的信号,假设为f稀疏的,即含有f个非零元素,若δf≤1,测成矩阵满则f阶RIP条件。
所述步骤2)的具体实现过程为:
21)初始化:令标签索引集残差向量r0=y,y即为步骤12)中所获得的观测向量,迭代次数t=1;
22)辨识:在传感矩阵Θ中求出与残差向量rt-1最相关的所对应的列向量λt,即内积值最大时所对应的索引(列序号):
其中N为传感矩阵的列数,Θj表示传感矩阵的第j列;
23)更新:更新标签索引集Λt=Λt-1∪{λt},将找到的原子所对应的列向量添加到集合其中,t>0,Λt表示t次迭代的索引,Θt表示按索引Λt选出的矩阵Θ的列集合(大小为M×t的矩阵);
24)估计:求y=Θθ的最小二乘解:
25)更新残差向量
26)令t=t+1;并不断重复步骤22)至步骤26),若满足某个迭代停止条件,则停止迭代并进入第b7)步;
27)求得输出系数向量
所述步骤26)还包括:
在上述算法的步骤26)中,其迭代停止条件有以下常见的3种情况:
261)当运行到t>s时,迭代停止,其中,s表示固定的迭代步数,如M/4;
262)残差向量的能量值小于某个预先给定的常数ε,例如取1e-6;
||rt||2≤ε\*MERGEFORMAT (11)
263)当传感矩阵Θ的任何一列都没有残差向量rt的明显能量时:
||ΘTrt||∞≤ε\*MERGEFORMAT (12)。
所述步骤3)的具体实现过程为:
31)定义输入的经过压缩感知后的图像中任意一点处的像素值为B,对灰度值B归一化处理之后该点的灰度值为I:
I=B/255\*MERGEFORMAT (13)
32)现假设源图像为S,参考图像R,源图像和参考图像合成的图像为L,PatchMatch算法就是一个以参考图像为模板,配准源图像生成图像L的过程;由于PatchMatch算法是处理一对图像,现假设输入图像为I1...IN,以N=5为例,首先令I3为参考图像R,则I3和I4作为其源图像S,然后令I2和I4作为参考图像R,I1和I5分别作为I2和I4对应的源图像S;
33)现定义PatchMatch算法合成图像L的二次函数:
其中τ为灰度映射函数,Ω为图像R和图像S的图像域,i为图像域上的任意一个像素点,n(i)为以i中心p×p的邻域,其中p为邻域的大小,故j是邻域n(i)上的像素点,R(i)是图像R上的第i个像素点,S(i+u(j))是图像S上的第(i+u(j))个像素点,其中u(j)表示从图像L上的像素点j映射到图像S的偏移量,α为一个归一化的因子其中wτ和wu为一对权重函数,wτ(i)表示图像R中像素点i映射到图像L的比重,wu(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重;
34)灰度映射函数τ定义如下:
其中灰度映射函数的导数τ′≥0,τ()∈[0,1],i为图像域Ω上的像素点,故L(i)表示为图像L上的第i个像素点,使用迭代重加权最小二乘法算法求解灰度映射函数,则将灰度映射函数τ的目标函数重写为:
其中求解目标函数τ过程中,τ和权重因子ω更新为:
其中n表示迭代次数,δ为一个很小的正常数,令δ=10-10;
35)权重函数wτ定义如下:
当图像R中图像域上亮度太暗或太亮(即图像域的像素点的灰度值小于3/255,或者大于252/255)时,像素点将会被clipped,否则,就不clipped;
36)权重函数wμ定义如下:
其中d(·,·)表示输入参数之间的空间距离;υ1,υ2为两个归一化参数,分别取对应空间距离的75百分位数;
37)对于参数x和y,d(x,y)=||x-y||2,而对于表示为:在图像R和图像S的图像域上的任意一个像素点i,取以i为中心,大小为p×p的邻域,得到图像块和然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离;同理得其中τ-1()灰度映射函数的逆函数;
38)通过上面定义的函数知,PatchMatch算法实际上就是求解二次函数的过程,输入图像R和图像S,并分别对两幅图像进行向下采样,分别得到图像R和图像S的金字塔图像集,从金字塔顶端向下迭代,求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ,将此结果作为下一次的迭代的初始值,当迭代完成后即得到最终的配准图像L,依照此方法,即得到输入图像I1 IN配准后的图像L1 LN;
39)利用伽马曲线对已经配准好的图像集进行辐射校准,消除潜在的相机的移动而产生的噪音.定义伽马(gamma)函数为:
gamma=crγ\*MERGEFORMAT (21)
其中c和γ为常数,c取为1,γ取为2.2;这里将经PatchMatch配准过的图像集用gamma曲线进行辐射校准;
310)对配准后的图像集使用秩最小化算法得到批量的对齐图像,首先列向量化所有输入的矩阵得到矩阵D,并初始化低秩矩阵A和噪声矩阵E,根据增广拉格朗日乘子法经过内迭代和外迭代得到最佳低秩矩阵A,则噪声矩阵E=D-A,最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像,即得到输入图像L对应的低秩图像和噪声图像;
311)输入对齐后的图像集A,将图像A合成目标HDR图像:
其中nImg表示为输入图像的数量,x∈{r,g,b},r,g,b为彩色图像的三个通道;A(x)和H(x)分别输入图像和HDR图像的x通道图像,最后融合H(x)即得到HDR图像H。
本发明的有益成果
本发明提出基于K-SVD字典学习和压缩感知的高动态范围图像去伪影融合的方法。K-SVD字典学习生成压缩感知中第一步信号稀疏表示所需要的字典,通常情况下采用的固定字典,如DCT字典、Haar字典、小波字典等等,虽然使用简单计算量低,但是不能保证表达的稀疏程度,只适用于部分类型的图像。而通过K-SVD字典学习生成的字典是全局最优的,因此压缩感知中的信号稀疏表示也是最优的,为后续重构提高了精确度。压缩感知突破了奈奎斯特采样率的限制,边采样变压缩,实现的不再是模拟数字转换(ADC),而是模拟信息转换(AIC),对信号进行高度不完备线性测量高精确的重建,极大的减少了采样率,降低了数据存储和传输的代价。基于PatchMatch和秩最小算法对压缩感知后的多曝光图像序列进行去伪影融合,能够很好的去除因相机的抖动和图像中物体的运动造成融合后图像伪影和模糊的现象。本发明能在极大降低采样率,同时,能很好去除融合动态场景时伪影和模糊的问题。
附图说明
图1为本发明基于K-SVD字典学习和压缩感知的高动态范围图像去伪影融合方法的原理框图;
图2为K-SVD字典学习流程图;
图3为压缩感知重构方法流程图;
图4为HDR图像去伪影融合流程图;
图5为本发明待处理的动态场景的多曝光图像序列;
图6为经过压缩感知重构后的多曝光图像序列
图7为融合后去伪影的HDR图像。
具体实施方式
下面结合附图对本发明进行进一步阐述。
如图1所示,本发明基于K-SVD字典学习和压缩感知的高动态范围图像去伪影融合方法:1)对输入多曝光图像序列进行分块压缩采样;2)对压缩采样后的图像块使用正交匹配追踪方法(Orthogonal Matching Pursuit,OMP)实现LDR图像序列的重构;3)对经过压缩感知后的多曝光图像序列使用基于PatchMatch和秩最小化算法进行高动态范围图像的去伪影融合。
下面对各步骤进行详细阐述:
1)如图5所示为动态场景的多曝光图像序列,对输入多曝光图像序列进行压缩采样和重构。
11)以当前输入的LDR图像为参考,进行K-SVD字典学习,得到用于稀疏表示的超完备字典ψ,如图2所示;
12)对分块后的图像信号矩阵F进行稀疏表示,得到F=ψθ,设计观测矩阵Φ,则压缩采样的过程可重写为:
y=ΦF=Φψθ=Θθ\*MERGEFORMAT (1)
所述步骤11)还包括:
111)判断当前的LDR图像是否为灰度图像,若不是,则转换为灰度图像,并进一步转换为double类型的图像;
112)选择所需的图像分块大小,图像块大小通常可选为8×8,16×16,32×32等,将111)中获取的灰度图像进行分块,并重排图像块为矩阵列,形成字典学习的数据集矩阵,也即待稀疏表示的信号矩阵Y,可进一步将矩阵Y表示为其中N为矩阵Y的列数;
113)K-SVD算法参数初始化,包括:
numAtom:需要训练的字典元素个数;
numIteration:迭代次数
errorFlag:等于0则表示每个信号的稀疏系数个数固定,需要配置参数L;
否则表示信号的稀疏系数不固定,需要配置参数errorGoal;
errorGoal:最大允许表示误差
preserveDCAtom:等于1则表示字典的第一个原子为常量;
InitializationMethod:若为“DataElements”则用信号本身作为初始字典,若为“GivenMatrix”则用给定的矩阵作为初始字典,并对初始字典进行归一化处理,初始字典表示为ψ(0)∈RN×K;
初始化算法迭代次数J=1;
114)稀疏编码阶段:使用正交匹配追踪算法OMP来计算Y中每一个列向量在当前字典上的稀疏表示所对应的系数向量xi,通过求解下式中的目标函数:
其中为由系数向量所构成的矩阵,i表示列向量的索引,|| ||F为Frobenius范数,|| ||0为l0范数,T0为稀疏表示稀疏中非零分量的数目的上限,即系数向量中的最大差异度;
115)字典更新阶段:初始字典往往不是最优的,满足稀疏性的稀疏矩阵表示的数据和原数据可能会有比较大的误差,因此需在满足稀疏的条件下逐行逐列进行字典的更新优化,减小整体误差,逼近最优字典。对于ψ(J-1)中的每一列k=1,2,...K,定义使用到字典中第k个原子ψk的所有信号集合{yi}的索引所构成的集合为:
其中为系数矩阵X中原子ψk所对应的第k行,不同于X的第k列xk的转置,则目标函数式(2)可重写为:
上式中,字典与系数矩阵的乘积ψX被分解为K个秩为1的矩阵的和的形式。当前更新的矩阵列为第k列,则其余K-1个项固定,剥离第k个原子的贡献,得到的矩阵Ek为去除原子ψk的成分其余原子所造成的误差;
116)由于中0的存在,用SVD得到的更新向量中的非零元素的数量和位置和原中的都不相同,即产生了“发散”,因此需要去除中所有0元素,定义矩阵Ωk为N×ωk的矩阵,它在(ωk(i),i)处的值为1,其他位置上的值都为0,则我们定义Y、Ek去除零项后的收缩结果为 的长度为|ωk|,是用到原子ψk的信号的集合,为剥离原子ψk的误差,两者都为n×|ωk|大小的矩阵。则式(4)可进一步转换为:
117)对进行SVD分解,即矩阵U的第一列表示为即为列ψk的更新项,更新的为矩阵V的第一列乘上Δ(1,1)。J=J+1进入下一次迭代直至满足迭代条件为止,迭代条件根据设定,可选择为选定的迭代次数或者是误差值,迭代完成后,即得到最优的超完备字典ψ。
所述步骤12)还包括:
121)观测矩阵Φ的行数为选择的图像块大小的平方乘上采样率,用M表示,列数定义为图像块的大小的平方,用N表示。此外传感矩阵Θ=Φψ应满足RIP性质(有限等距性质):保证观测矩阵不会把两个不同的稀疏信号映射到同一个集合中(保证原空间到稀疏空间的一一映射关系)。定义观测矩阵Φ的RIP常数δf为满足下式的最小值:
其中F即为分块后的图像信号矩阵,也即稀疏表示后的信号,假设为f稀疏的,即含有f个非零元素,若δf≤1,测成矩阵满则f阶RIP条件。
2)对压缩采样后的图像块进行LDR图像序列的重构,重构流程如图3所示,压缩感知重构后的多曝光图像序列如图6所示。
21)初始化:令标签索引集残差向量r0=y,y即为步骤a2)中所获得的观测向量,迭代次数t=1;
22)辨识:在传感矩阵Θ中求出与残差向量rt-1最相关的所对应的列向量λt,即内积值最大时所对应的索引(列序号):
其中N为传感矩阵的列数,Θj表示传感矩阵的第j列;
23)更新:更新标签索引集Λt=Λt-1∪{λt},将找到的原子所对应的列向量添加到集合其中,t>0,Λt表示t次迭代的索引,Θt表示按索引Λt选出的矩阵Θ的列集合(大小为M×t的矩阵);
24)估计:求y=Θθ的最小二乘解:
25)更新残差向量
26)令t=t+1;并不断重复步骤22)至步骤26)。若满足某个迭代停止条件,则停止迭代并进入第27)步;
27)求得输出系数向量
所述步骤26)还包括:
在上述算法的步骤26)中,其迭代停止条件有以下常见的3种情况:
261)当运行到t>s时,迭代停止,其中,s表示固定的迭代步数,如M/4;
262)残差向量的能量值小于某个预先给定的常数ε,例如取1e-6;
||rt||2≤ε\*MERGEFORMAT (11)
263)当传感矩阵Θ的任何一列都没有残差向量rt的明显能量时:
||ΘTrt||∞≤ε\*MERGEFORMAT (12)
3)对经过压缩感知后的多曝光图像序列进行高动态范围图像的去伪影融合,如图4所示。
31)定义输入的经过压缩感知后的图像中任意一点处的像素值为B,对灰度值B归一化处理之后该点的灰度值为I:
I=B/255\*MERGEFORMAT (13)
32)现假设源图像为S,参考图像R,源图像和参考图像合成的图像为L,PatchMatch算法就是一个以参考图像为模板,配准源图像生成图像L的过程;由于PatchMatch算法是处理一对图像,现假设输入图像为I1...IN,以N=5为例,首先令I3为参考图像R,则I3和I4作为其源图像S,然后令I2和I4作为参考图像R,I1和I5分别作为I2和I4对应的源图像S;
33)现定义PatchMatch算法合成图像L的二次函数:
其中τ为灰度映射函数。Ω为图像R和图像S的图像域,i为图像域上的任意一个像素点,n(i)为以i中心p×p的邻域,其中p为邻域的大小,取p=7,故j是邻域n(i)上的像素点,R(i)是图像R上的第i个像素点,S(i+u(j))是图像S上的第(i+u(j))个像素点,其中u(j)表示从图像L上的像素点j映射到图像S的偏移量。α为一个归一化的因子其中wτ和wu为一对权重函数,wτ(i)表示图像R中像素点i映射到图像L的比重,wu(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重;
34)灰度映射函数τ定义如下:
其中灰度映射函数的导数τ′≥0,τ()∈[0,1],i为图像域Ω上的像素点,故L(i)表示为图像L上的第i个像素点。使用迭代重加权最小二乘法算法求解灰度映射函数,则可将灰度映射函数τ的目标函数重写为:
其中求解目标函数τ过程中,τ和权重因子ω更新为:
其中n表示迭代次数,δ为一个很小的正常数,令δ=10-10;
35)权重函数wτ定义如下:
当图像R中图像域上亮度太暗或太亮(即图像域的像素点的灰度值小于3/255,或者大于252/255)时,像素点将会被clipped,否则,就不clipped;
36)权重函数wμ定义如下:
其中d(·,·)表示输入参数之间的空间距离;υ1,υ2为两个归一化参数,分别取对应空间距离的75百分位数;
37)对于参数x和y,d(x,y)=||x-y||2,而对于表示为:在图像R和图像S的图像域上的任意一个像素点i,取以i为中心,大小为p×p的邻域,得到图像块和然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离;同理可得其中τ-1()灰度映射函数的逆函数;
38)通过上面定义的函数可知,PatchMatch算法实际上就是求解二次函数的过程。输入图像R和图像S,并分别对两幅图像进行向下采样,分别得到图像R和图像S的金字塔图像集,从金字塔顶端向下迭代,求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ,将此结果作为下一次的迭代的初始值,当迭代完成后即可得到最终的配准图像L,依照此方法,即可以得到输入图像I1 IN配准后的图像L1 LN;
39)利用伽马曲线对已经配准好的图像集进行辐射校准,消除潜在的相机的移动而产生的噪音.定义伽马(gamma)函数为:
gamma=crγ\*MERGEFORMAT (21)
其中c和γ为常数,c取为1,γ取为2.2;这里将经PatchMatch配准过的图像集用gamma曲线进行辐射校准;
310)对配准后的图像集使用秩最小化算法得到批量的对齐图像。首先列向量化所有输入的矩阵得到矩阵D,并初始化低秩矩阵A和噪声矩阵E,根据增广拉格朗日乘子法经过内迭代和外迭代得到最佳低秩矩阵A,则噪声矩阵E=D-A。最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像,即可得到输入图像L对应的低秩图像和噪声图像;
311)输入对齐后的图像集A,将图像A合成目标HDR图像:
其中nImg表示为输入图像的数量,x∈{r,g,b},r,g,b为彩色图像的三个通道;A(x)和H(x)分别输入图像和HDR图像的x通道图像,最后融合H(x)即可得到HDR图像H,如图7所示。
以上所述仅为本发明的较佳实施方式,本发明并不局限于上述实施方式,在实施过程中可能存在局部微小的结构改动,如果对本发明的各种改动或变型不脱离本发明的精神和范围,且属于本发明的权利要求和等同技术范围之内,则本发明也意图包含这些改动和变型。
Claims (9)
1.一种基于压缩感知的高动态范围图像去伪影融合方法,其特征在于包括有如下步骤:
1)对输入多曝光图像序列进行分块压缩采样;
2)对压缩采样后的图像块进行LDR图像序列的重构;
3)对经过压缩感知后的多曝光图像序列进行高动态范围图像的去伪影融合。
2.根据权利要求1所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述步骤1)的具体实现过程为:
11)以当前输入的LDR图像为参考,进行K-SVD字典学习,得到用于稀疏表示的超完备字典ψ;
12)对分块后的图像信号矩阵F进行稀疏表示,得到F=ψθ,设计观测矩阵Φ,则压缩采样的过程重写为:
y=ΦF=Φψθ=Θθ\*MERGEFORMAT(1)。
3.根据权利要求1所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述步骤11)还包括如下内容:
111)判断当前的LDR图像是否为灰度图像,若不是,则转换为灰度图像,并进一步转换为double类型的图像;
112)选择所需的图像分块大小,将111)中获取的灰度图像进行分块,并重排图像块为矩阵列,形成字典学习的数据集矩阵,也即待稀疏表示的信号矩阵Y,进一步将矩阵Y表示为其中N为矩阵Y的列数;
113)K-SVD算法参数初始化,包括:
numAtom:需要训练的字典元素个数;
numIteration:迭代次数
errorFlag:等于0则表示每个信号的稀疏系数个数固定,需要配置参数L;否则表示信号的稀疏系数不固定,需要配置参数errorGoal;
errorGoal:最大允许表示误差
preserveDCAtom:等于1则表示字典的第一个原子为常量;
InitializationMethod:若为“DataElements”则用信号本身作为初始字典,若为“GivenMatrix”则用给定的矩阵作为初始字典,并对初始字典进行归一化处理,初始字典表示为ψ(0)∈RN×K;
初始化算法迭代次数J=1;
114)稀疏编码阶段:使用正交匹配追踪算法OMP来计算Y中每一个列向量在当前字典上的稀疏表示所对应的系数向量xi,通过求解下式中的目标函数:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mi>&psi;</mi>
<mo>,</mo>
<mi>X</mi>
</mrow>
</munder>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mo>-</mo>
<mi>&psi;</mi>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>,</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<msub>
<mi>T</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为由系数向量所构成的矩阵,i表示列向量的索引,|| ||F为Frobenius范数,|| ||0为l0范数,T0为稀疏表示稀疏中非零分量的数目的上限,即系数向量中的最大差异度;
115)字典更新阶段:初始字典往往不是最优的,满足稀疏性的稀疏矩阵表示的数据和原数据可能会有比较大的误差,因此需在满足稀疏的条件下逐行逐列进行字典的更新优化,减小整体误差,逼近最优字典,对于ψ(J-1)中的每一列k=1,2,...K,定义使用到字典中第k个原子ψk的所有信号集合{yi}的索引所构成的集合为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&omega;</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<mo>{</mo>
<mi>i</mi>
<mo>|</mo>
<mn>1</mn>
<mo>&le;</mo>
<mi>i</mi>
<mo>&le;</mo>
<mi>N</mi>
<mo>,</mo>
<msubsup>
<mi>x</mi>
<mi>T</mi>
<mi>k</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>&NotEqual;</mo>
<mn>0</mn>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中为系数矩阵X中原子ψk所对应的第k行,不同于X的第k列xk的转置,则目标函数式(2)重写为:
<mrow>
<mtable>
<mtr>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mo>-</mo>
<mi>&psi;</mi>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>Y</mi>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>K</mi>
</munderover>
<msub>
<mi>&psi;</mi>
<mi>j</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>T</mi>
<mi>j</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mrow>
<mo>(</mo>
<mi>Y</mi>
<mo>-</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&NotEqual;</mo>
<mi>k</mi>
</mrow>
</munder>
<msub>
<mi>&psi;</mi>
<mi>j</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>T</mi>
<mi>j</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msub>
<mi>&psi;</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>T</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>E</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&psi;</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>T</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mrow>
<mi>F</mi>
<mn>2</mn>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>N</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
上式中,字典与系数矩阵的乘积ψX被分解为K个秩为1的矩阵的和的形式,当前更新的矩阵列为第k列,则其余K-1个项固定,剥离第k个原子的贡献,得到的矩阵Ek为去除原子ψk的成分其余原子所造成的误差;
116)由于中0的存在,用SVD得到的更新向量中的非零元素的数量和位置和原中的都不相同,即产生了“发散”,因此需要去除中所有0元素,定义矩阵Ωk为N×ωk的矩阵,它在(ωk(i),i)处的值为1,其他位置上的值都为0,则我们定义Y、Ek去除零项后的收缩结果为 的长度为|ωk|,是用到原子ψk的信号的集合,为剥离原子ψk的误差,两者都为n×|ωk|大小的矩阵,则式(4)进一步转换为:
<mrow>
<mo>|</mo>
<mtable>
<mtr>
<mtd>
<mrow>
<mo>|</mo>
<msub>
<mi>E</mi>
<mi>k</mi>
</msub>
<msub>
<mi>&Omega;</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&psi;</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>T</mi>
<mi>k</mi>
</msubsup>
<msub>
<mi>&Omega;</mi>
<mi>k</mi>
</msub>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<msubsup>
<mi>E</mi>
<mi>k</mi>
<mi>R</mi>
</msubsup>
<mo>-</mo>
<msub>
<mi>&psi;</mi>
<mi>k</mi>
</msub>
<msubsup>
<mi>x</mi>
<mi>R</mi>
<mi>k</mi>
</msubsup>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mi>F</mi>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
117)对进行SVD分解,即矩阵U的第一列表示为即为列ψk的更新项,更新的为矩阵V的第一列乘上Δ(1,1),J=J+1进入下一次迭代直至满足迭代条件为止,迭代条件根据设定,选择为选定的迭代次数或者是误差值,迭代完成后,即得到最优的超完备字典ψ。
4.根据权利要求3所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述112)图像块大小选为8×8,16×16,32×32。
5.根据权利要求1所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述步骤12)还包括:
121)观测矩阵Φ的行数为选择的图像块大小的平方乘上采样率,用M表示,列数定义为图像块的大小的平方,用N表示,此外传感矩阵Θ=Φψ应满足RIP性质(有限等距性质):保证观测矩阵不会把两个不同的稀疏信号映射到同一个集合中,保证原空间到稀疏空间的一一映射关系,定义观测矩阵Φ的RIP常数δf为满足下式的最小值:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mi>&delta;</mi>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mi>F</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>&le;</mo>
<mo>|</mo>
<mo>|</mo>
<mi>&Phi;</mi>
<mi>F</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>&le;</mo>
<mo>(</mo>
<mn>1</mn>
<mo>+</mo>
<mi>&delta;</mi>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mi>F</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中F即为分块后的图像信号矩阵,也即稀疏表示后的信号,假设为f稀疏的,即含有f个非零元素,若δf≤1,测成矩阵满则f阶RIP条件。
6.根据权利要求5所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述步骤2)的具体实现过程为:
21)初始化:令标签索引集残差向量r0=y,y即为步骤12)中所获得的观测向量,迭代次数t=1;
22)辨识:在传感矩阵Θ中求出与残差向量rt-1最相关的所对应的列向量λt,即内积值最大时所对应的索引(列序号):
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>&lambda;</mi>
<mi>t</mi>
</msub>
<mo>&Element;</mo>
<mi>arg</mi>
<munder>
<mi>max</mi>
<mi>j</mi>
</munder>
<mo>|</mo>
<mo><</mo>
<msub>
<mi>r</mi>
<mrow>
<mi>t</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>,</mo>
<msub>
<mi>&Theta;</mi>
<mi>j</mi>
</msub>
<mo>></mo>
<mo>|</mo>
<mo>,</mo>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>...</mn>
<mi>N</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中N为传感矩阵的列数,Θj表示传感矩阵的第j列;
23)更新:更新标签索引集Λt=Λt-1∪{λt},将找到的原子所对应的列向量添加到集合其中,t>0,Λt表示t次迭代的索引,Θt表示按索引Λt选出的矩阵Θ的列集合(大小为M×t的矩阵);
24)估计:求y=Θθ的最小二乘解:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mover>
<mi>&theta;</mi>
<mo>~</mo>
</mover>
<mi>t</mi>
</msub>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mi>&theta;</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>&Theta;</mi>
<mi>t</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>t</mi>
</msub>
<mo>|</mo>
<mo>|</mo>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&Theta;</mi>
<mi>t</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>&Theta;</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>&Theta;</mi>
<mi>t</mi>
<mi>T</mi>
</msubsup>
<mi>y</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
25)更新残差向量
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>r</mi>
<mi>t</mi>
</msub>
<mo>=</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>&Theta;</mi>
<mi>t</mi>
</msub>
<msub>
<mover>
<mi>&theta;</mi>
<mo>~</mo>
</mover>
<mi>t</mi>
</msub>
<mo>=</mo>
<mi>y</mi>
<mo>-</mo>
<msub>
<mi>&Theta;</mi>
<mi>t</mi>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>&Theta;</mi>
<mi>t</mi>
<mi>T</mi>
</msubsup>
<msub>
<mi>&Theta;</mi>
<mi>t</mi>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>&Theta;</mi>
<mi>t</mi>
<mi>T</mi>
</msubsup>
<mi>y</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
26)令t=t+1;并不断重复步骤22)至步骤26),若满足某个迭代停止条件,则停止迭代并进入第b7)步;
27)求得输出系数向量
7.根据权利要求6所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述步骤26)还包括:
在上述算法的步骤26)中,其迭代停止条件有以下常见的3种情况:
261)当运行到t>s时,迭代停止,其中,s表示固定的迭代步数,如M/4;
262)残差向量的能量值小于某个预先给定的常数ε,例如取1e-6;
||rt||2≤ε\*MERGEFORMAT(11)
263)当传感矩阵Θ的任何一列都没有残差向量rt的明显能量时:
||ΘTrt||∞≤ε\*MERGEFORMAT(12)。
8.根据权利要求1至7任一项所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于,所述步骤3)的具体实现过程为:
31)定义输入的经过压缩感知后的图像中任意一点处的像素值为B,对灰度值B归一化处理之后该点的灰度值为I:
I=B/255\*MERGEFORMAT(13)
32)现假设源图像为S,参考图像R,源图像和参考图像合成的图像为L,PatchMatch算法就是一个以参考图像为模板,配准源图像生成图像L的过程;由于PatchMatch算法是处理一对图像,现假设输入图像为I1...IN,以N=5为例,首先令I3为参考图像R,则I3和I4作为其源图像S,然后令I2和I4作为参考图像R,I1和I5分别作为I2和I4对应的源图像S;
33)现定义PatchMatch算法合成图像L的二次函数:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>L</mi>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<mo>{</mo>
<mfrac>
<mn>1</mn>
<mi>&alpha;</mi>
</mfrac>
<mo>&lsqb;</mo>
<msub>
<mi>w</mi>
<mi>&tau;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mi>&tau;</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<msup>
<mi>p</mi>
<mn>2</mn>
</msup>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>&Element;</mo>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
</munder>
<msub>
<mi>w</mi>
<mi>u</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
<mi>S</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mi>u</mi>
<mrow>
<mo>(</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>}</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>14</mn>
<mo>)</mo>
</mrow>
</mrow>
其中τ为灰度映射函数,Ω为图像R和图像S的图像域,i为图像域上的任意一个像素点,n(i)为以i中心p×p的邻域,其中p为邻域的大小,故j是邻域n(i)上的像素点,R(i)是图像R上的第i个像素点,S(i+u(j))是图像S上的第(i+u(j))个像素点,其中u(j)表示从图像L上的像素点j映射到图像S的偏移量,α为一个归一化的因子其中wτ和wu为一对权重函数,wτ(i)表示图像R中像素点i映射到图像L的比重,wu(j)表示图像S中像素点j加上偏移量u(j)映射到图像L的比重;
34)灰度映射函数τ定义如下:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>&tau;</mi>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mi>&tau;</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>&tau;</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>15</mn>
<mo>)</mo>
</mrow>
</mrow>
其中灰度映射函数的导数τ′≥0,τ()∈[0,1],i为图像域Ω上的像素点,故L(i)表示为图像L上的第i个像素点,使用迭代重加权最小二乘法算法求解灰度映射函数,则将灰度映射函数τ的目标函数重写为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>&tau;</mi>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mi>&tau;</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msub>
<mi>&omega;</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&tau;</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mi>&tau;</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>16</mn>
<mo>)</mo>
</mrow>
</mrow>
其中求解目标函数τ过程中,τ和权重因子ω更新为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>&tau;</mi>
<mrow>
<mi>n</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi>min</mi>
</mrow>
<mi>&tau;</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msubsup>
<mi>w</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>|</mo>
<mi>&tau;</mi>
<mrow>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>17</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>&omega;</mi>
<mi>i</mi>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>&delta;</mi>
<mo>,</mo>
<mo>|</mo>
<mi>&tau;</mi>
<mo>(</mo>
<mi>R</mi>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>18</mn>
<mo>)</mo>
</mrow>
</mrow>
其中n表示迭代次数,δ为一个很小的正常数,令δ=10-10;
35)权重函数wτ定义如下:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mi>&tau;</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mi>&delta;</mi>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>R</mi>
<mi> </mi>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>c</mi>
<mi>l</mi>
<mi>i</mi>
<mi>p</mi>
<mi>p</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>R</mi>
<mi> </mi>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>n</mi>
<mi>o</mi>
<mi>t</mi>
<mi> </mi>
<mi>c</mi>
<mi>l</mi>
<mi>i</mi>
<mi>p</mi>
<mi>p</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>19</mn>
<mo>)</mo>
</mrow>
</mrow>
当图像R中图像域上亮度太暗或太亮(即图像域的像素点的灰度值小于3/255,或者大于252/255)时,像素点将会被clipped,否则,就不clipped;
36)权重函数wμ定义如下:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>w</mi>
<mi>u</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>&tau;</mi>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>i</mi>
<mi>R</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>,</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mi>u</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>S</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&upsi;</mi>
<mn>1</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>R</mi>
<mi> </mi>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>n</mi>
<mi>o</mi>
<mi>t</mi>
<mi> </mi>
<mi>c</mi>
<mi>l</mi>
<mi>i</mi>
<mi>p</mi>
<mi>p</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>i</mi>
<mi>R</mi>
</msubsup>
<mo>,</mo>
<msup>
<mi>&tau;</mi>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mrow>
<mi>i</mi>
<mo>+</mo>
<mi>u</mi>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>S</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mo>)</mo>
</mrow>
<mrow>
<mn>2</mn>
<msubsup>
<mi>&upsi;</mi>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi> </mi>
<mi>R</mi>
<mi> </mi>
<mi>i</mi>
<mi>s</mi>
<mi> </mi>
<mi>c</mi>
<mi>l</mi>
<mi>i</mi>
<mi>p</mi>
<mi>p</mi>
<mi>e</mi>
<mi>d</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mo>(</mo>
<mn>2</mn>
</mrow>
其中d(·,·)表示输入参数之间的空间距离;υ1,υ2为两个归一化参数,分别取对应空间距离的75百分位数;
37)对于参数x和y,d(x,y)=||x-y||2,而对于表示为:在图像R和图像S的图像域上的任意一个像素点i,取以i为中心,大小为p×p的邻域,得到图像块和然后图像块经过灰度映射函数得到而图像块相对于i平移了u(i)得到最后求两者的空间距离;同理得其中τ-1()灰度映射函数的逆函数;
38)通过上面定义的函数知,PatchMatch算法实际上就是求解二次函数的过程,输入图像R和图像S,并分别对两幅图像进行向下采样,分别得到图像R和图像S的金字塔图像集,从金字塔顶端向下迭代,求得在对应每层金字塔图像下合成的图像L和灰度映射函数τ,将此结果作为下一次的迭代的初始值,当迭代完成后即得到最终的配准图像L,依照此方法,即得到输入图像I1 IN配准后的图像L1 LN;
39)利用伽马曲线对已经配准好的图像集进行辐射校准,消除潜在的相机的移动而产生的噪音.定义伽马(gamma)函数为:
gamma=crγ\*MERGEFORMAT(21)
其中c和γ为常数,c取为1,γ取为2.2;这里将经PatchMatch配准过的图像集用gamma曲线进行辐射校准;
310)对配准后的图像集使用秩最小化算法得到批量的对齐图像,首先列向量化所有输入的矩阵得到矩阵D,并初始化低秩矩阵A和噪声矩阵E,根据增广拉格朗日乘子法经过内迭代和外迭代得到最佳低秩矩阵A,则噪声矩阵E=D-A,最后对得到的低秩矩阵和噪声矩阵进行调整m×n大小的图像,即得到输入图像L对应的低秩图像和噪声图像;
311)输入对齐后的图像集A,将图像A合成目标HDR图像:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>H</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>n</mi>
<mi>Im</mi>
<mi>g</mi>
</mrow>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mi>Im</mi>
<mi>g</mi>
</mrow>
</munderover>
<msub>
<mi>A</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>\</mo>
<mo>*</mo>
<mi>M</mi>
<mi>E</mi>
<mi>R</mi>
<mi>G</mi>
<mi>E</mi>
<mi>F</mi>
<mi>O</mi>
<mi>R</mi>
<mi>M</mi>
<mi>A</mi>
<mi>T</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>22</mn>
<mo>)</mo>
</mrow>
</mrow>
其中nImg表示为输入图像的数量,x∈{r,g,b},r,g,b为彩色图像的三个通道;A(x)和H(x)分别输入图像和HDR图像的x通道图像,最后融合H(x)即得到HDR图像H。
9.根据权利要求8所述的基于压缩感知的高动态范围图像去伪影融合方法,其特征在于p=7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710766426.1A CN107730479B (zh) | 2017-08-30 | 2017-08-30 | 基于压缩感知的高动态范围图像去伪影融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710766426.1A CN107730479B (zh) | 2017-08-30 | 2017-08-30 | 基于压缩感知的高动态范围图像去伪影融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107730479A true CN107730479A (zh) | 2018-02-23 |
CN107730479B CN107730479B (zh) | 2021-04-20 |
Family
ID=61205580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710766426.1A Active CN107730479B (zh) | 2017-08-30 | 2017-08-30 | 基于压缩感知的高动态范围图像去伪影融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107730479B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596866A (zh) * | 2018-03-21 | 2018-09-28 | 昆明理工大学 | 一种基于稀疏低秩分解和视觉显著性结合的医学图像融合方法 |
CN108717690A (zh) * | 2018-05-21 | 2018-10-30 | 电子科技大学 | 一种高动态范围图片的合成方法 |
CN109285134A (zh) * | 2018-10-10 | 2019-01-29 | 泉州市敏匠智能科技有限公司 | 一种无人机影像智能采集系统和方法 |
CN109919841A (zh) * | 2019-01-24 | 2019-06-21 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
CN110517210A (zh) * | 2019-07-08 | 2019-11-29 | 河北工业大学 | 基于Haar小波梯度重建的多曝光焊区图像融合方法 |
CN111192214A (zh) * | 2019-12-27 | 2020-05-22 | 上海商汤智能科技有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN111325675A (zh) * | 2018-12-17 | 2020-06-23 | 中国科学院深圳先进技术研究院 | 图像处理方法、装置、设备和存储介质 |
CN111964876A (zh) * | 2020-07-29 | 2020-11-20 | 南京理工大学 | 基于lrte-nufft的平行平板光学均匀性的测量方法 |
CN113269748A (zh) * | 2021-05-25 | 2021-08-17 | 中国矿业大学 | 一种红外可见光图像融合的电缆接头故障预警系统及方法 |
CN114428873A (zh) * | 2022-04-07 | 2022-05-03 | 源利腾达(西安)科技有限公司 | 一种胸外科检查数据整理方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1577396A (zh) * | 2003-07-18 | 2005-02-09 | 微软公司 | 用于从移动场景的多个曝光中生成高动态范围图像的系统和过程 |
CN106303274A (zh) * | 2016-08-01 | 2017-01-04 | 凌云光技术集团有限责任公司 | 一种高动态范围图像合成方法及装置 |
CN106373105A (zh) * | 2016-09-12 | 2017-02-01 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于低秩矩阵恢复的多曝光图像去伪影融合方法 |
CN106780367A (zh) * | 2016-11-28 | 2017-05-31 | 上海大学 | 基于字典学习的hdr照片风格转移方法 |
CN106886386A (zh) * | 2017-01-23 | 2017-06-23 | 苏州科达科技股份有限公司 | 从低动态图像生成高动态图像的方法 |
US20170237951A1 (en) * | 2015-08-20 | 2017-08-17 | Qualcomm Incorporated | Systems and methods for configurable demodulation |
-
2017
- 2017-08-30 CN CN201710766426.1A patent/CN107730479B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1577396A (zh) * | 2003-07-18 | 2005-02-09 | 微软公司 | 用于从移动场景的多个曝光中生成高动态范围图像的系统和过程 |
US20170237951A1 (en) * | 2015-08-20 | 2017-08-17 | Qualcomm Incorporated | Systems and methods for configurable demodulation |
CN106303274A (zh) * | 2016-08-01 | 2017-01-04 | 凌云光技术集团有限责任公司 | 一种高动态范围图像合成方法及装置 |
CN106373105A (zh) * | 2016-09-12 | 2017-02-01 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 基于低秩矩阵恢复的多曝光图像去伪影融合方法 |
CN106780367A (zh) * | 2016-11-28 | 2017-05-31 | 上海大学 | 基于字典学习的hdr照片风格转移方法 |
CN106886386A (zh) * | 2017-01-23 | 2017-06-23 | 苏州科达科技股份有限公司 | 从低动态图像生成高动态图像的方法 |
Non-Patent Citations (2)
Title |
---|
JINHUA WANG等: "Exposure fusion based on sparse representation using approximate K-SVD", 《NEUROCOMPUTING》 * |
崔佳鹏: "基于压缩感知的图像压缩技术研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108596866A (zh) * | 2018-03-21 | 2018-09-28 | 昆明理工大学 | 一种基于稀疏低秩分解和视觉显著性结合的医学图像融合方法 |
CN108596866B (zh) * | 2018-03-21 | 2021-09-14 | 昆明理工大学 | 一种基于稀疏低秩分解和视觉显著性结合的医学图像融合方法 |
CN108717690A (zh) * | 2018-05-21 | 2018-10-30 | 电子科技大学 | 一种高动态范围图片的合成方法 |
CN108717690B (zh) * | 2018-05-21 | 2022-03-04 | 电子科技大学 | 一种高动态范围图片的合成方法 |
CN109285134A (zh) * | 2018-10-10 | 2019-01-29 | 泉州市敏匠智能科技有限公司 | 一种无人机影像智能采集系统和方法 |
CN111325675A (zh) * | 2018-12-17 | 2020-06-23 | 中国科学院深圳先进技术研究院 | 图像处理方法、装置、设备和存储介质 |
CN111325675B (zh) * | 2018-12-17 | 2023-12-26 | 中国科学院深圳先进技术研究院 | 图像处理方法、装置、设备和存储介质 |
CN109919841B (zh) * | 2019-01-24 | 2022-12-27 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
CN109919841A (zh) * | 2019-01-24 | 2019-06-21 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
CN110517210A (zh) * | 2019-07-08 | 2019-11-29 | 河北工业大学 | 基于Haar小波梯度重建的多曝光焊区图像融合方法 |
CN111192214A (zh) * | 2019-12-27 | 2020-05-22 | 上海商汤智能科技有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN111192214B (zh) * | 2019-12-27 | 2024-03-26 | 上海商汤智能科技有限公司 | 图像处理的方法、装置、电子设备及存储介质 |
CN111964876A (zh) * | 2020-07-29 | 2020-11-20 | 南京理工大学 | 基于lrte-nufft的平行平板光学均匀性的测量方法 |
CN111964876B (zh) * | 2020-07-29 | 2021-11-23 | 南京理工大学 | 基于lrte-nufft的平行平板光学均匀性的测量方法 |
CN113269748A (zh) * | 2021-05-25 | 2021-08-17 | 中国矿业大学 | 一种红外可见光图像融合的电缆接头故障预警系统及方法 |
CN114428873B (zh) * | 2022-04-07 | 2022-06-28 | 源利腾达(西安)科技有限公司 | 一种胸外科检查数据整理方法 |
CN114428873A (zh) * | 2022-04-07 | 2022-05-03 | 源利腾达(西安)科技有限公司 | 一种胸外科检查数据整理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107730479B (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107730479A (zh) | 基于压缩感知的高动态范围图像去伪影融合方法 | |
CN112308200B (zh) | 神经网络的搜索方法及装置 | |
CN109727207B (zh) | 基于光谱预测残差卷积神经网络的高光谱图像锐化方法 | |
CN110501072B (zh) | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 | |
CN109697697B (zh) | 基于优化启发的神经网络的光谱成像系统的重构方法 | |
US8706668B2 (en) | Feature set embedding for incomplete data | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN115496928B (zh) | 基于多重特征匹配的多模态图像特征匹配方法 | |
CN110245683B (zh) | 一种少样本目标识别的残差关系网络构建方法及应用 | |
CN115240072B (zh) | 一种基于多方向多尺度光谱-空间残差卷积神经网络的高光谱多类变化检测方法 | |
CN104408697B (zh) | 基于遗传算法和正则先验模型的图像超分辨重建方法 | |
CN109636722B (zh) | 一种基于稀疏表示的在线字典学习超分辨率重建的方法 | |
CN109978802B (zh) | 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法 | |
CN116416375A (zh) | 一种基于深度学习的三维重建方法和系统 | |
CN113569632A (zh) | 一种基于wgan的小样本地面慢速运动目标分类方法 | |
CN114049314A (zh) | 一种基于特征重排和门控轴向注意力的医学图像分割方法 | |
CN110717947B (zh) | 一种基于外部和内部训练的高质量光谱重构方法 | |
CN109146785A (zh) | 一种基于改进稀疏自动编码器的图像超分辨率方法 | |
CN107103592B (zh) | 一种基于双核范数正则的多姿态人脸图像质量增强方法 | |
CN117197008A (zh) | 一种基于融合校正的遥感图像融合方法和系统 | |
Abas et al. | Multi-focus image fusion with multi-scale transform optimized by metaheuristic algorithms | |
CN114782763A (zh) | 多视角高分遥感图像稀疏主成分对齐方法 | |
CN111080566A (zh) | 一种基于结构组双稀疏学习的可见光与红外图像融合方法 | |
CN112686830A (zh) | 基于图像分解的单一深度图的超分辨率方法 | |
CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |