CN111986136B - 一种基于泊松概率模型的模糊图像序列融合复原方法 - Google Patents

一种基于泊松概率模型的模糊图像序列融合复原方法 Download PDF

Info

Publication number
CN111986136B
CN111986136B CN202011016945.4A CN202011016945A CN111986136B CN 111986136 B CN111986136 B CN 111986136B CN 202011016945 A CN202011016945 A CN 202011016945A CN 111986136 B CN111986136 B CN 111986136B
Authority
CN
China
Prior art keywords
image
sequence
blurred
restoration
point spread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011016945.4A
Other languages
English (en)
Other versions
CN111986136A (zh
Inventor
董文德
徐剑
徐贵力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202011016945.4A priority Critical patent/CN111986136B/zh
Publication of CN111986136A publication Critical patent/CN111986136A/zh
Application granted granted Critical
Publication of CN111986136B publication Critical patent/CN111986136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于泊松概率模型的模糊图像序列融合复原方法,包括:分别采用泊松概率分布模型、梯度lp范数和l1范数分别对模糊图像序列噪声、清晰图像和点扩散函数进行建模,并构建模糊图像复原问题模型;之后将问题模型分解为关于辅助变量和基于残差l2范数的模糊图像序列复原两个最优估计子问题,并采用迭代优化算法对上述两个子问题进行求解,最终得到复原图像和模糊图像序列对应的点扩散函数的估计值。上述技术方案中提供的基于泊松概率模型的模糊图像序列融合复原方法,能有效解决采用高斯概率模型建模的模糊图像复原方法得到的清晰图像不符合实际情况的问题。

Description

一种基于泊松概率模型的模糊图像序列融合复原方法
技术领域
本发明涉及计算机数字图像处理技术领域,具体涉及一种基于泊松概率模型的模糊图像序列融合复原方法。
背景技术
在日常摄影、空间遥感观测、医学影像检测等应用领域中,经常会由于目标物体与成像系统之间的相对运动而造成图像模糊,影响到图像的细节分辨能力,降低其使用价值。因此,设计相应的模糊图像复原算法,提升图像的分辨率显得尤为重要。
模糊图像复原问题具有显著的病态性,即模糊图像中能量较弱的噪声也会被放大并反向传播到复原图像中,影响复原图像的质量。因此,必须在复原问题模型中引入正则化约束提交,以提升复原图像的质量。传统的模糊图像复原算法通常假设噪声的概率分布符合高斯概率模型,然而在空间成像、医学成像等特殊的应用场景中,噪声的概率分布情况符合泊松噪声模型。因此,如果采用高斯概率模型对其进行建模,无论在理论层面还是实际应用层面,都不符合实际情况。此外,在通常情况下无法提前准确获知造成图像模糊的点扩散函数矩阵,均需要同时对清晰图像和点扩散函数进行最优估计。因此,亟需设计一种新的技术方案,以综合解决现有技术中存在的问题。
发明内容
本发明的目的是提供一种基于泊松概率模型的模糊图像序列融合复原方法,能有效解决采用高斯概率模型建模的模糊图像复原方法得到的清晰图像不符合实际情况的问题。
为解决上述技术问题,本发明采用了以下技术方案:
一种基于泊松概率模型的模糊图像序列融合复原方法,该复原方法针对于序列模糊图像,且该复原方法包括以下步骤:
1)采用泊松概率分布模型对模糊图像序列的噪声进行建模,采用梯度lp范数对清晰图像进行建模,采用l1范数对序列模糊图像中每幅图像对应的点扩散函数进行建模;
2)对步骤1)中的三个模型进行加权求和,构建模糊图像复原问题模型;
3)将模糊图像复原问题分解成关于辅助变量的最优估计问题以及基于残差l2范数的模糊图像序列复原问题;
4)用序列模糊图像中的任一幅模糊图像对清晰图像的估计值进行初始化,得到清晰图像的估计值,并对所有点扩散函数的估计值进行初始化;
5)固定清晰图像和点扩散函数的估计值,对关于辅助变量的最优估计问题进行求解,得到辅助变量的估计值;
6)固定辅助变量的估计值,对基于残差l2范数的模糊图像序列复原问题进行求解,得到新的点扩散函数和清晰图像的估计值;
7)循环执行步骤5)和6)直至收敛,即得清晰图像的估计值,即复原图像。
步骤1)是在贝叶斯最大后验估计框架下进行的,其中用泊松概率模型对模糊图像序列的噪声进行建模的表达式为
用梯度lp范数对清晰图像进行建模的表达式为
用l1范数对序列模糊图像中每幅图像对应的点扩散函数进行建模的表达式为
上述式中,m表示模糊图像序列中包含的图像总数,i表示模糊图像索引;n表示每幅模糊图像中的像素总数,j表示像素索引;gi表示序列中的第i幅模糊图像,o表示清晰图像,hi表示第i幅模糊图像对应的点扩散函数;P(g1,g2,…,gm|h1o,h2o,…,hmo)为噪声发生的概率,P(o)为图像发生的概率,P(h1,h1,…,hm)为点扩散函数发生的概率,dx和dy表示分别表示水平方向和垂直方向梯度算子。
步骤2)的模糊图像第原问题模型为
式中,λ和μ为加权求和时引入的两个正则化约束系数。
步骤3)采用拉格朗日乘子法对模糊图像复原问题进行分解,
其中关于辅助变量的最优估计问题表达式为
式中,(u1,u2,…,um)为引入的辅助变量;
基于残差l2范数的模糊图像序列复原问题表达式为
式中,β为引入的惩罚系数。
步骤4)是采用二维高斯函数对所有的点扩散函数的估计值进行初始化。
步骤5)中对关于辅助变量的最优估计问题进行求解的表达式为
步骤6)中采用迭代优化方法对基于残差l2范数的模糊图像序列复原问题进行求解的步骤为:
61)固定(h1,h1,…,hm),采用二次惩罚函数法解算下式:
62)固定o,采用重加权最小二乘法解算下式:
63)循环迭代执行61)和62)不小于10次,达到收敛。
步骤7)中循环执行步骤5)和步骤6)直至收敛的判定标准为迭代次数不小于20次。
上述技术方案中提供的基于泊松概率模型的模糊图像序列融合复原方法,针对连续曝光方式获取同一场景的多幅模糊图像构成的模糊图像序列,在贝叶斯最大后验估计框架下,通过引入图像梯度的lp范数和l1范数分别对清晰图像和点扩散函数进行建模,形成正则化约束条件,能够有效解决模糊图像复原的病态性问题;
其次,引入辅助变量和约束系数,并采用拉格朗日乘子法,将问题模型分解为关于辅助变量和基于残差l2范数的模糊图像序列复原两个最优估计子问题,采用迭代优化算法对上述两个子问题进行求解,最终得到复原图像和模糊图像序列对应的点扩散函数的估计值;与传统模糊图像复原方法相比,本发明能够基于模糊图像序列进行融合,能够得到序列图像对应的点扩散函数的准确估计值和高质量的复原图像,有效提高图像的细节分辨能力,提升图像的使用价值。
附图说明
图1为本发明模糊图像序列融合复原方法的流程图;
图2为本发明实施例中的模糊图像序列;
图3为本发明实施例中模糊图像序列对应的真实的点扩散函数;
图4为本发明实施例中清晰图像;
图5为本发明实施例利用模糊图像序列和本发明中的方法所得的复原图像;
图6为本发明实施例估计所得的模糊图像序列对应的点扩散函数。
具体实施方式
为了使本发明的目的及优点更加清楚明白,以下结合实施例对本发明进行具体说明。应当理解,以下文字仅仅用以描述本发明的一种或几种具体的实施方式,并不对本发明具体请求的保护范围进行严格限定。
本实施例以如图2所示的模糊图像序列为例,对本发明的复原方法加以说明,其中图3为图2模糊图像序列对应的真实的点扩散函数。
基于泊松概率模型和梯度lp范数的模糊图像序列融合复原方法,包括步骤(参考图1):
步骤1)在贝叶斯最大后验估计框架下,用泊松概率分布模型对模糊图像序列的噪声进行建模,用梯度lp范数对清晰图像进行建模,用l1范数对序列图像中每幅图像对应的点扩散函数进行建模:
用泊松概率模型对模糊图像序列的噪声进行建模的表达式为
用梯度lp范数对清晰图像进行建模的表达式为
其中p=0.8;
用l1范数对序列图像中每幅图像对应的点扩散函数进行建模的表达式
其中,m表示模糊图像序列中包含的图像总数,i表示模糊图像索引;n表示每幅模糊图像中的像素总数,j表示像素索引;gi表示序列中的第i幅模糊图像,o表示清晰图像,hi表示第i幅模糊图像对应的点扩散函数;P(g1,g2,…,gm|h1o,h2o,…,hm0)为噪声发生的概率,P(o)为图像发生的概率,P(h1,h1,…,hm)为点扩散函数发生的概率,dx和dy表示分别表示水平方向和垂直方向梯度算子。
步骤2)引入两个正则化约束系数λ和μ,将步骤1)中的三个模型加权求和,构建模糊图像复原问题模型,表达式为:
其中,1000≤λ≤5000,1≤μ≤100。
步骤3)引入辅助变量(u1,u2,…,um)和惩罚系数β,采用拉格朗日乘子法将步骤2)中的问题分解为两个子问题:其中一个是关于辅助变量的最优估计问题,其表达式如下:
另一个是基于残差l2范数的模糊图像序列复原问题,其表达式如下:
其中,800≤β≤2000。
步骤4)用序列图像中的某一幅模糊图像对清晰图像的估计值进行初始化,用二维高斯函数对所有的点扩散函数的估计值进行初始化,二维高斯函数为35*35的矩阵,均值为0,方差为5,二维高斯函数的上述参数可根据图像的模糊程度进行调整。
步骤5)固定点扩散函数和清晰图像的估计值,对关于辅助变量的最优估计问题进行求解,得到辅助变量的估计值,其表达式为:
步骤6)固定辅助变量的估计值,采用迭代优化方法对基于残差l2范数的模糊图像序列复原问题进行求解,得到新的点扩散函数和清晰图像的估计值,迭代算法的步骤为:
61)固定(h1,h1,…,hm),采用二次惩罚函数法解算下式:
62)固定o,采用重加权最小二乘法解算下式:
63)循环迭代执行61)和62)不小于10次,达到收敛。
步骤7),循环执行步骤5)和步骤6)直至收敛,得到清晰图像的估计值,即复原图像,循环次数不低于20次。
图4为清晰图像,图5为利用模糊图像序列和本发明中的方法所得的复原图像,将其与图2中的三幅模糊图像相比,可见图5已对图像细节进行了有效复原,基本达到了图4中清晰图像的细节分辨能力。
本发明提出了一种基于泊松概率模型和梯度lp范数的模糊图像序列融合复原方法,利用它能够利用同一场景的模糊图像序列对应的点扩散函数进行准确估计,并对模糊图像进行高质量复原,显著改善图像质量,提升图像细节的分辨能力。将图5与图2比较,可见图像的模糊效应被有效去除,图像细节得到有效恢复;将图6与图3比较,可见本发明方法可对点扩散函数进行准确估计。
上面结合实施例对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,对于本技术领域的普通技术人员来说,在获知本发明中记载内容后,在不脱离本发明原理的前提下,还可以对其作出若干同等变换和替代,这些同等变换和替代也应视为属于本发明的保护范围。

Claims (7)

1.一种基于泊松概率模型的模糊图像序列融合复原方法,其特征在于,该复原方法针对于序列模糊图像,且该复原方法包括以下步骤:
1)采用泊松概率分布模型对模糊图像序列的噪声进行建模,采用梯度lp范数对清晰图像进行建模,采用l1范数对序列模糊图像中每幅图像对应的点扩散函数进行建模;
2)对步骤1)中的三个模型进行加权求和,构建模糊图像复原问题模型;
3)将模糊图像复原问题分解成关于辅助变量的最优估计问题以及基于残差l2范数的模糊图像序列复原问题;
采用拉格朗日乘子法对模糊图像复原问题进行分解,
其中关于辅助变量的最优估计问题表达式为
基于残差l2范数的模糊图像序列复原问题表达式为
式中,(u1,u2,…,um)为引入的辅助变量;m表示模糊图像序列中包含的图像总数,i表示模糊图像索引;n表示每幅模糊图像中的像素总数,j表示像素索引;gi表示序列中的第i幅模糊图像,o表示清晰图像,hi表示第i幅模糊图像对应的点扩散函数;β为引入的惩罚系数;dx和dy表示分别表示水平方向和垂直方向梯度算子;λ和μ为加权求和时引入的两个正则化约束系数;
4)用序列模糊图像中的任一幅模糊图像对清晰图像的估计值进行初始化,得到清晰图像的估计值,并对所有点扩散函数的估计值进行初始化;
5)固定清晰图像和点扩散函数的估计值,对关于辅助变量的最优估计问题进行求解,得到辅助变量的估计值;
6)固定辅助变量的估计值,对基于残差l2范数的模糊图像序列复原问题进行求解,得到新的点扩散函数和清晰图像的估计值;
7)循环执行步骤5)和6)直至收敛,即得清晰图像的估计值,即复原图像。
2.根据权利要求1所述的基于泊松概率模型的模糊图像序列融合复原方法,其特征在于:步骤1)是在贝叶斯最大后验估计框架下进行的,其中用泊松概率模型对模糊图像序列的噪声进行建模的表达式为
用梯度lp范数对清晰图像进行建模的表达式为
用l1范数对序列模糊图像中每幅图像对应的点扩散函数进行建模的表达式为
上述式中,P(g1,g2,…,gm|h1o,h2o,…,hmo)为噪声发生的概率,P(o)为图像发生的概率,P(h1,h1,…,hm)为点扩散函数发生的概率。
3.根据权利要求2所述的基于泊松概率模型的模糊图像序列融合复原方法,其特征在于:步骤2)的模糊图像复原问题模型为
4.根据权利要求3所述的基于泊松概率模型的模糊图像序列融合复原方法,其特征在于:步骤4)是采用二维高斯函数对所有的点扩散函数的估计值进行初始化。
5.根据权利要求4所述的基于泊松概率模型的模糊图像序列融合复原方法,其特征在于:步骤5)中对关于辅助变量的最优估计问题进行求解的表达式为
6.根据权利要求5所述的基于泊松概率模型的模糊图像序列融合复原方法,其特征在于,步骤6)中采用迭代优化方法对基于残差l2范数的模糊图像序列复原问题进行求解的步骤为:
61)固定(h1,h1,…,hm),采用二次惩罚函数法解算下式:
62)固定o,采用重加权最小二乘法解算下式:
63)循环迭代执行61)和62)不小于10次,达到收敛。
7.根据权利要求6所述的基于泊松概率模型的模糊图像序列融合复原方法,其特征在于,步骤7)中循环执行步骤5)和步骤6)直至收敛的判定标准为迭代次数不小于20次。
CN202011016945.4A 2020-09-24 2020-09-24 一种基于泊松概率模型的模糊图像序列融合复原方法 Active CN111986136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011016945.4A CN111986136B (zh) 2020-09-24 2020-09-24 一种基于泊松概率模型的模糊图像序列融合复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011016945.4A CN111986136B (zh) 2020-09-24 2020-09-24 一种基于泊松概率模型的模糊图像序列融合复原方法

Publications (2)

Publication Number Publication Date
CN111986136A CN111986136A (zh) 2020-11-24
CN111986136B true CN111986136B (zh) 2024-01-30

Family

ID=73450159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011016945.4A Active CN111986136B (zh) 2020-09-24 2020-09-24 一种基于泊松概率模型的模糊图像序列融合复原方法

Country Status (1)

Country Link
CN (1) CN111986136B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298884B (zh) * 2021-06-18 2023-09-19 常州千明智能照明科技有限公司 一种基于光谱可调led光源的rgb相机光谱敏感度标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019264A (ko) * 2009-08-19 2011-02-25 (주)바텍이우홀딩스 압축 센싱 이론을 이용한 x-선 전산 단층 촬영 영상의 금속성 음영 제거 방법
CN104021529A (zh) * 2014-06-17 2014-09-03 中国电子科技集团公司第二十八研究所 一种模糊图像非盲复原方法
CN108734674A (zh) * 2018-05-17 2018-11-02 北京化工大学 一种改进nas-rif的oct图像盲复原方法
CN110458767A (zh) * 2019-07-15 2019-11-15 循声科技(重庆)有限公司 一种泊松噪声下的模糊图像恢复方法
CN111626948A (zh) * 2020-04-30 2020-09-04 南京理工大学 一种基于图像补的低光子泊松图像复原方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437012B2 (en) * 2004-05-27 2008-10-14 United States Of America As Represented By The Secretary Of Commerce, The National Institute Of Standards & Technology Singular integral image deblurring method
US7529422B2 (en) * 2004-09-22 2009-05-05 Siemens Medical Solutions Usa, Inc. Gradient-based image restoration and enhancement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110019264A (ko) * 2009-08-19 2011-02-25 (주)바텍이우홀딩스 압축 센싱 이론을 이용한 x-선 전산 단층 촬영 영상의 금속성 음영 제거 방법
CN104021529A (zh) * 2014-06-17 2014-09-03 中国电子科技集团公司第二十八研究所 一种模糊图像非盲复原方法
CN108734674A (zh) * 2018-05-17 2018-11-02 北京化工大学 一种改进nas-rif的oct图像盲复原方法
CN110458767A (zh) * 2019-07-15 2019-11-15 循声科技(重庆)有限公司 一种泊松噪声下的模糊图像恢复方法
CN111626948A (zh) * 2020-04-30 2020-09-04 南京理工大学 一种基于图像补的低光子泊松图像复原方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A REWEIGHTED L2 METHOD FOR IMAGE RESTORATION WITH POISSON AND MIXED POISSON-GAUSSIAN NOISE;Li, J 等;《INVERSE PROBLEMS AND IMAGING》;第09卷(第03期);875-894 *
Blind Deconvolution for Poissonian Blurred Image With Total Variation and L0-Norm Gradient Regularizations;Dong, WD等;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;第30卷;1030-1043 *
Inexact alternating direction method based on Newton descent algorithm with application to Poisson image deblurring;Chen, DQ;《SIGNAL IMAGE AND VIDEO PROCESSING》;第11卷(第01期);89-96 *
基于光照模糊相似融合不变矩的航天器目标识别;徐贵力 等;《航空学报》;第35卷(第03期);857-867 *
基于光纤陀螺颤振探测的图像复原技术研究;董文德;《中国博士学位论文全文数据库信息科技辑》(第08期);I138-184 *
面向序列图像的去雾增强方法研究;王梦迪;《中国优秀硕士学位论文全文数据库信息科技辑》(第06期);I138-996 *

Also Published As

Publication number Publication date
CN111986136A (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110287819B (zh) 动态背景下基于低秩及稀疏分解的动目标检测方法
CN106920220B (zh) 基于暗原色和交替方向乘子法优化的湍流图像盲复原方法
CN107025632B (zh) 一种图像超分辨率重建方法及系统
CN110675347B (zh) 一种基于组稀疏表示的图像盲复原方法
JP2978406B2 (ja) 局所異常の排除による動きベクトルフィールド生成装置およびその方法
US20060193535A1 (en) Image matching method and image interpolation method using the same
CN107133923B (zh) 一种基于自适应梯度稀疏模型的模糊图像非盲去模糊方法
JP4643741B2 (ja) 画像処理方法及び画像処理装置
CN111028166B (zh) 一种基于迭代神经网络的视频去模糊方法
JP2010511241A5 (zh)
CN112116541B (zh) 基于梯度l0范数和总变分正则化约束的模糊图像复原方法
CN111798370A (zh) 基于流形约束的事件相机图像重建方法及系统
CN111986136B (zh) 一种基于泊松概率模型的模糊图像序列融合复原方法
CN108171124B (zh) 一种相似样本特征拟合的人脸图像清晰化方法
CN117523100A (zh) 基于神经网络与多视图一致性的三维场景重建方法和装置
Lee et al. Enhanced computational integral imaging system for partially occluded 3D objects using occlusion removal technique and recursive PCA reconstruction
CN111986121A (zh) 基于Framelet l0范数约束的模糊图像非盲复原方法
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
CN107093169A (zh) 基于无参数低秩矩阵恢复的高动态范围成像去鬼影的方法
CN111986123B (zh) 基于kl散度和l0范数约束的模糊图像复原方法
Bercea et al. Confidence-aware levenberg-marquardt optimization for joint motion estimation and super-resolution
Mandal et al. Super-resolving a single intensity/range image via non-local means and sparse representation
Rezayi et al. Huber Markov random field for joint super resolution
Lee et al. High dynamic range imaging via truncated nuclear norm minimization of low-rank matrix
JP4637275B2 (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant