CN106530259B - 一种基于多尺度散焦信息的全聚焦图像重建方法 - Google Patents
一种基于多尺度散焦信息的全聚焦图像重建方法 Download PDFInfo
- Publication number
- CN106530259B CN106530259B CN201611050117.6A CN201611050117A CN106530259B CN 106530259 B CN106530259 B CN 106530259B CN 201611050117 A CN201611050117 A CN 201611050117A CN 106530259 B CN106530259 B CN 106530259B
- Authority
- CN
- China
- Prior art keywords
- image
- focus image
- pixel
- defocus
- multiple dimensioned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度散焦信息的全聚焦图像的重建方法,所述图像重建方法包括以下步骤:通过将吉洪诺夫正则项与Huber函数进行结合,构建并求解多参数的正则优化模型;利用多尺度选择策略,重建出原始散焦图像对应的全聚焦图像。本发明提出的全聚焦图像的重建方法可以有效抑制图像的模糊纹理,恢复的图像包含更加丰富的细节纹理,更少的失真,没有伪影现象,更加清晰自然。
Description
技术领域
本发明涉及图像重建领域,尤其涉及一种基于多尺度散焦信息的图像重建方法,该方法提出一个多尺度散焦模型,该模型能够用来重建全聚焦图像。
背景技术
图像重建是计算机视觉领域中的一个重要的研究课题。图像的散焦模糊往往在整个图像平面中变化,而这种空间变化的散焦模糊可以对全聚焦图像的重建进行指导。将散焦模糊估计与图像重建技术进行有效结合,从单幅模糊图像中重建出潜在的清晰图像。
对于图像散焦模糊问题,最近几年相继提出了很多图像散焦估计的方法,这些算法可以被分为两大类:基于多幅图像的方法和基于单幅图像的方法。在实际应用中,通常只能获得一幅模糊图像,因此对单幅图像进行模糊处理更加具有实用性。Elder等人[1]提出一种早期的模糊估计算法,采用输入图像的第一、二阶导数来估计边缘位置的散焦模糊量,发现模糊量等于二阶导数极值点间的距离减去高斯滤波器的宽度。Bae和Durand[2]继续这项工作,使用阶跃函数模拟边缘结构,然后使用函数拟合来估计模糊内核。接下来他们使用非齐次优化算法传播模糊测度,获得一幅全散焦地图。Tai和Brown[3]研究发现可以利用图像局部区域的图像梯度和对比度之间的关系,来测量每一个像素点的模糊量,并将这种关系定义为局部对比度先验。Liang等人[4]通过研究参考图像与待测散焦图像频谱的最大相似性,构建出散焦参数的计算公式。Zhuo等人[5]提出一种基于高斯梯度比值的方法来估计散焦模糊。虽然以上方法能够从单幅图像中估计出散焦地图,但是这些方法均没有给出相应的全聚焦图像。
针对现有散焦估计方法不能获得全聚焦图像的问题,本方法通过将散焦模糊估计与图像去模糊进行结合,提出一种针对单幅图像的去模糊框架,能够从原始模糊图像中重建出潜在的全聚焦图像。
发明内容
本发明提供了一种基于多尺度散焦信息的全聚焦图像重建方法,本发明利用多尺度选择策略求解所提出的全聚焦图像重建模型,能够重建出原始散焦图像对应的全聚焦图像,详见下文描述:
一种基于多尺度散焦信息的全聚焦图像重建方法,所述图像重建方法包括以下步骤:
通过将吉洪诺夫正则项与Huber函数进行结合,构建并求解多参数的正则优化模型,;
利用多尺度选择策略,重建原始散焦图像对应的全聚焦图像。
所述多参数的正则优化模型具体为:
其中,α是保真项的权值参数,是保真项,Ik是k阶单位矩阵,表示在全部k个图像通道中,像素点j在水平和垂直方向的一阶有限差分,φ(·)是二维Huber函数,是吉洪诺夫正则项的离散形式,μ1和μ2是正则项的权值参数。
通过交替方向最小化算法求解上述正则优化模型。当模型收敛时,可以获得潜在的聚焦图像集
利用尺度选择策略,重建出原始散焦图像对应的全聚焦图像的步骤具体为:
根据尺度选择策略,使用聚焦图像重建全聚焦图像的模型为:
其中,f(x,y)是全聚焦图像,m是聚焦图像的数目,是聚焦图像位置(x,y)处的像素点,1{·}是示性函数,m*(x,y)是量化之后的散焦地图,σi是离散模糊尺度。
首先,给定一幅输入的散焦图像d(x,y)和对应的散焦地图m(x,y),该地图能够表示出图像中每一个像素点的散焦值;
然后,使用离散模糊尺度集{σ1,σ2,...,σm}量化散焦地图m(x,y);
最后,取量化散焦地图m*(x,y)中的任意像素点(x,y),如果它的散焦值为σi,从聚焦图像的像素点(x,y)处提取出去模糊像素并将该像素放置在全聚焦图像f(x,y)的对应位置。基于尺度选择策略和散焦地图的指导,依次对图像中的每一个像素点执行上述步骤,直至从聚焦图像集中提取出最合适的去模糊像素,最终重建出一幅全聚焦图像。
本发明提供的技术方案的有益效果是:本发明提出的图像重建方法可以有效消除图像的散焦模糊,从单幅图像中重建出潜在的全聚焦图像。本方法恢复的图像包含更加丰富的细节纹理,更少的失真,没有伪影现象,更加清晰自然,图像质量的客观评价指标优于所比较方法。
附图说明
图1为一种基于多尺度散焦信息的全聚焦图像重建方法的流程图;
图2为多尺度选择策略的示意图;
图3为重建的全聚焦图像的实验结果的示意图;
图4为全聚焦图像重建的实验结果的定量比较
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面对本发明实施方式作进一步地详细描述。
为了获得高质量的全聚焦图像,本发明实施例提出一个基于多尺度散焦信息的图像重建方法,该方法创新性地将图像散焦模糊估计与图像去模糊进行结合,从单幅模糊图像中重建出潜在的全聚焦图像。
实施例1
本发明实施例提供了一种基于多尺度散焦信息的全聚焦图像重建方法,参见图1,该方法包括以下步骤:
101:通过将吉洪诺夫正则项与Huber函数进行结合,构建并求解多参数的正则优化模型;
102:利用多尺度选择策略,重建原始散焦图像对应的全聚焦图像;
综上所述,本发明实施例提出的全聚焦图像重建方法恢复的图像包含更加丰富的细节纹理,更少的失真,没有伪影现象,更加清晰自然。
实施例2
下面结合具体的附图对实施例1中的方法进行可行性验证,详见下文描述:
本发明实施例通过主观实验结果对比和客观LR准则的评价分数来证实算法的有效性。本发明实施例提出的多尺度散焦估计方法的参数设置为:α=22,μ1=0.9,μ2=0.1,模糊尺度{σ1,σ2,...,σm}从0.4像素开始,以0.3像素为步长增加至4.6像素。
1、主观实验
本发明实施例所提方法分别与运动模糊的核估计算法[6],基于灰度和梯度先验知识的的图像恢复算法[7]进行比较,实验结果对比如图3所示。
从图3中可以看出,本方法能够比运动模糊的核估计算法[6]恢复出更多的纹理细节信息,比基于灰度和梯度先验知识的的图像恢复算法[7]包含更多的结构信息。通过对比,本方法的实验结果含有较少的图像失真,看起来更加清晰自然。
2、图像重建实验结果的定量比较
Logistic回归准则(LR准则)通过对大量主观评价得分和模糊特征度量指标进行深度融合,能够自动地对图像重建的质量进行评价。LR准则的输出是一个评价分数,越小的分数表示越好的重建质量。
本发明实施例采用该准则对本方法和运动模糊的核估计算法[6],基于灰度和梯度先验知识的图像恢复算法[7]的结果进行定量比较,比较结果如图4所示。对比发现,本方法的重建结果优于其余两种算法的结果。
综上所述,本发明实施例提出的全聚焦图像重建方法可以有效消除图像的散焦模糊,从单幅图像中重建出潜在的全聚焦图像。恢复的图像包含更加丰富的细节纹理,更少的失真,没有伪影现象,更加清晰自然,图像质量的LR准则评价指标优于所比较的方法。
参考文献
[1]J.H.Elder,S.W.Zucker.Local scale control for edge detection andblur estimation[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,1998,20(7):699–716.
[2]S.Bae,F.Durand.Defocus magnification[J].Computer Graphics Forum,2007,26:571–579.
[3]Y.W.Tai,M.S.Brown.Single image defocus map estimation using localcontrast prior[C].IEEE International Conference on Image Processing(ICIP),Cairo,Egypt,2009:1797–1800.
[4]Liang Min,Zhu Hong.Defocus blur parameter estimation method basedon blur spectrum characteristic of image edge[J].Journal of ComputerApplications,2014,34(4):1177–1181(in Chinese).
[5]S.Zhuo,T.Sim.Defocus map estimation from a single image[J].PatternRecognition,Sep.2011,44(9):1852–1858.
[6]L.Xu,J.Jia.Two-phase kernel estimation for robust motiondeblurring[C].European conference on computer vision(ECCV),2010:157–170.
[7]J.Pan,Z.Hu,C.Liu,Z.Su,and M.Yang.Deblurring Text Images via L0-Regularized Intensity and Gradient Prior[C].IEEE Conference on ComputerVision and Pattern Recognition
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于多尺度散焦信息的全聚焦图像重建方法,其特征在于,所述图像重建方法包括以下步骤:
通过将吉洪诺夫正则项与Huber函数进行结合,构建并求解多参数的正则优化模型;
利用多尺度选择策略,重建原始散焦图像对应的全聚焦图像,该步骤具体为:
给定一幅输入的散焦图像d(x,y)和对应的散焦地图m(x,y),该地图能够表示出图像中每一个像素点的散焦值;
然后,使用离散模糊尺度集{σ1,σ2,...,σm}量化散焦地图m(x,y);
最后,取量化后的散焦地图m*(x,y)中的任意像素点(x,y),如果它的散焦值为σi,从聚焦图像的像素点(x,y)处提取出去模糊像素并将该像素放置在全聚焦图像f(x,y)的对应位置;基于多尺度选择策略和散焦地图的指导,依次对图像中的每一个像素点执行上述步骤,直至从聚焦图像集中提取出最合适的去模糊像素,最终重建出一幅全聚焦图像。
2.根据权利要求1所述的一种基于多尺度散焦信息的全聚焦图像重建方法,其特征在于,所述正则优化模型具体为:
其中,α是保真项的权值参数,是保真项,Ik是k阶单位矩阵,表示在全部k个图像通道中,像素点j在水平和垂直方向的一阶有限差分,φ(·)是二维Huber函数,是吉洪诺夫正则项的离散形式,μ1和μ2是正则项的权值参数。
3.根据权利要求1所述的一种基于多尺度散焦信息的全聚焦图像重建方法,其特征在于,所述多尺度选择策略具体为:
其中,f(x,y)是全聚焦图像,m是聚焦图像的数目,是聚焦图像位置(x,y)处的像素点,1{·}是示性函数,m*(x,y)是量化之后的散焦地图,σi是离散模糊尺度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611050117.6A CN106530259B (zh) | 2016-11-24 | 2016-11-24 | 一种基于多尺度散焦信息的全聚焦图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611050117.6A CN106530259B (zh) | 2016-11-24 | 2016-11-24 | 一种基于多尺度散焦信息的全聚焦图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106530259A CN106530259A (zh) | 2017-03-22 |
CN106530259B true CN106530259B (zh) | 2019-10-18 |
Family
ID=58357875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611050117.6A Active CN106530259B (zh) | 2016-11-24 | 2016-11-24 | 一种基于多尺度散焦信息的全聚焦图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106530259B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109903237B (zh) * | 2019-01-23 | 2023-04-07 | 复旦大学 | 一种基于分离低高频的多尺度人脸图像去模糊方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004111609A2 (en) * | 2003-06-12 | 2004-12-23 | Predicant Biosciences, Inc. | Methods for accurate component intensity extraction from separations-mass spectrometry data |
CN102663721A (zh) * | 2012-04-01 | 2012-09-12 | 清华大学 | 动态场景的散焦深度估计和全聚焦图像获取方法 |
-
2016
- 2016-11-24 CN CN201611050117.6A patent/CN106530259B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004111609A2 (en) * | 2003-06-12 | 2004-12-23 | Predicant Biosciences, Inc. | Methods for accurate component intensity extraction from separations-mass spectrometry data |
CN102663721A (zh) * | 2012-04-01 | 2012-09-12 | 清华大学 | 动态场景的散焦深度估计和全聚焦图像获取方法 |
Non-Patent Citations (2)
Title |
---|
All-in-focus Image Reconstruction with Depth Sensing;ZHong-shan SUI等;《2016 9th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics(CISP-BMEI 2016)》;20161017;178-183 * |
Antigoni Panagiotopoulou等.Super-resolution image reconstruction techniques: Trade-offs between the data-fidelity and regularization terms.《Information Fusion》.2012,第13卷(第3期),185-195. * |
Also Published As
Publication number | Publication date |
---|---|
CN106530259A (zh) | 2017-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
Liang et al. | Details or artifacts: A locally discriminative learning approach to realistic image super-resolution | |
CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
Aslantas et al. | A comparison of criterion functions for fusion of multi-focus noisy images | |
CN106709877B (zh) | 一种基于多参数正则优化模型的图像去模糊方法 | |
Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
Na et al. | Deep learning-based discriminative refocusing of scanning electron microscopy images for materials science | |
Kato et al. | Multi-frame image super resolution based on sparse coding | |
Shen et al. | Convolutional neural pyramid for image processing | |
Harb et al. | Improved image magnification algorithm based on Otsu thresholding | |
Ding et al. | U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement | |
Yao et al. | Improving long range and high magnification face recognition: Database acquisition, evaluation, and enhancement | |
Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
CN104021523A (zh) | 一种基于边缘分类的图像超分辨率放大的新方法 | |
Zhao et al. | Restoration of motion blurred images based on rich edge region extraction using a gray-level co-occurrence matrix | |
Wang et al. | First image then video: a two-stage network for spatiotemporal video denoising | |
CN111062895A (zh) | 一种基于多视场分割的显微图像复原方法 | |
CN104766287A (zh) | 一种基于显著性检测的模糊图像盲复原方法 | |
Shen et al. | RSHAN: Image super-resolution network based on residual separation hybrid attention module | |
CN108171124B (zh) | 一种相似样本特征拟合的人脸图像清晰化方法 | |
CN113763300A (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
CN106530259B (zh) | 一种基于多尺度散焦信息的全聚焦图像重建方法 | |
Ollion et al. | Joint self-supervised blind denoising and noise estimation | |
Banerjee et al. | Bacterial foraging-fuzzy synergism based image Dehazing | |
CN112508828A (zh) | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |