CN106056556B - 一种块效应抑制的降质模糊图像非盲复原方法 - Google Patents

一种块效应抑制的降质模糊图像非盲复原方法 Download PDF

Info

Publication number
CN106056556B
CN106056556B CN201610403162.9A CN201610403162A CN106056556B CN 106056556 B CN106056556 B CN 106056556B CN 201610403162 A CN201610403162 A CN 201610403162A CN 106056556 B CN106056556 B CN 106056556B
Authority
CN
China
Prior art keywords
image
blurred
blocking artifact
blurred image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610403162.9A
Other languages
English (en)
Other versions
CN106056556A (zh
Inventor
冯华君
叶鹏钊
徐之海
李奇
陈跃庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201610403162.9A priority Critical patent/CN106056556B/zh
Publication of CN106056556A publication Critical patent/CN106056556A/zh
Application granted granted Critical
Publication of CN106056556B publication Critical patent/CN106056556B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公布了一种块效应抑制的降质模糊图像非盲复原方法。经过低比特率块编码压缩重构后的降质图像边界会出现明显的块效应,常规的图像复原方法往往难以得到理想的复原结果。本发明提出了一种可以实现JPEG高压缩率下的模糊图像复原方法。在全变分(total variation TV)正则化约束的基础上,增加新的抑制块效应的正则化L2范数约束,保证了在复原图像的过程中逐步抑制块效应带来的负面影响。本发明能够得到兼顾消除块效应与保留图像细节的复原效果。

Description

一种块效应抑制的降质模糊图像非盲复原方法
技术领域
本发明涉及计算机成像技术领域,主要涉及模糊图像经过图像压缩后的图像复原问题。
背景技术
在成像过程中,由于各种因素,比如光学器件缺陷,人为的抖动,大气非均匀性等会造成图像有某些程度的失真和不同程度的降质。相机的成像过程可以描述为理想清晰图像与其他外部影响而造成的模糊核的卷积。人们根据不同的图像退化成因研究了相应的图像复原方法。也相应取得了较为显著的图像质量提升结果。图像复原是二维卷积运算的逆过程,是一个病态问题。从复原方法上,分为已知模糊核的非盲复原算法和未知模糊核的盲复原算法。本发明主要针对已知模糊核的的非盲复原问题。
同时,在很多情况下,受限于存储空间或者实时性等的要求,拍摄后的图像在保存时会为了节省空间而采用有损压缩技术。其中,被最为广泛使用的是JPEG保存格式,这种压缩格式经过低比特率块编码压缩重构后的图像8*8小块边界往往会出现明显的块状效应。这相当于在由于运动等造成的图像模糊退化基础上又进行了进一步的退化,由于块效应破坏了图像的先验信息,直接采用常规的图像复原方法往往难以得到理想的复原结果。对于这一类有块效应存在的模糊图像,无论是在复原前或复原后使用去块效应方法,获得的复原图像结果均有提升空间。
针对这一问题尚未有人进行研究,本发明首次提出了将去块效应算法融合在图像复原的正则化优化框架中,得到了较为明显的复原效果提升。
发明内容
本发明公布了一种基于块效应抑制的压缩降质模糊图像非盲复原方法,其特征在于:在正则化约束的图像复原框架基础上,引入逐点形状自适应的DCT(离散余弦变换)去块效应滤波器。在复原迭代的过程中,增加新的抑制块效应的正则化L2范数约束,保证了在复原图像的过程中逐步抑制块效应带来的负面影响。具体采用以下步骤对具有压缩块的模糊图像进行图像复原:
(1)输入一幅待复原的有压缩块效应的模糊图像b,并且输入该模糊图像对应的模糊核h。
(2)获取压缩图像b的量化表Q。
(3)对待求解的复原图f进行初次迭代求解。
其中,Dx,Dy分别为水平方向与竖直方向的梯度算子,作用在f后求解出图像梯度。μ,ξ为正则化系数,f0表示迭代过程中的去块效应图像。分别表示图像的L1与L2范数。
为了求解此问题,采用变量分离技术,将式(1)引入两个辅助变量,转化为可以方便求解的形式,如下式所示
其中,w1,w2为引入的辅助变量。β为迭代过程中的正则化系数,根据本领域的公知常识可知,当β趋向于很大时,式(2)收敛于式(1)。因此,上述问题可以转化为轮转迭代求解,具体的求解过程为:
(3.1)用步骤1输入的模糊图像b作为初始的清晰图像f输入。求解如下问题
该问题的解为
(3.2)用步骤1输入的模糊图像b作为初始的去块效应图像f0输入,并用式(4)得到的wi(i=1,2),求解如下问题
该问题的解为
其中,分别表示图像的傅里叶变换和傅里叶逆变换,“*”表示共轭运算,算符“ο”表示两个矩阵的点乘积。得到的f为下次迭代时(3.1)的输入。
(3.3)利用(3.2)计算得到的f,结合步骤2得到的量化表Q,采用逐点形状自适应DCT滤波器(具体参见Pointwise shape-adaptive DCT for high-quality denoising anddeblocking of grayscale and color images),对其进行块效应消除,得到的图像为下次迭代时式(6)的f0
(4)利用得到的f,f0,w1,w2,并更新β值为其原值的2倍,重复步骤(3.1)~(3.3),不断得到优化的清晰图像f,经过6~10次的轮转迭代后,得到最终的复原结果。
本发明的有益效果:本发明首次将去块效应与图像去模糊结合考虑,在原变分(TV)正则化复原框架的基础上加入了块效应抑制约束。本发明既能抑制复原过程中的块效应被放大,又能防止为了抑制快效应而丢失掉相当的复原图像细节。提升了模糊图像在有较高压缩比的情况下的复原效果。
附图说明
图1为本发明的算法流程示意图。
图2为仿真实验中所用具有压缩块效应的模糊退化图像。
图3为仿真实验中对图2中部分区域进行放大。
图4为仿真实验中不考虑块效应抑制的复原结果图。
图5为仿真实验中采用本发明算法得到的复原结果图。
具体实施方式
以下结合附图并以一个具体实例对本发明做进一步说明。
参照图1,本发明的算法流程步骤如下:
步骤1:输入模糊图像,并且输入该模糊图像对应的模糊核h。
选定清晰的lena图像,仿真模糊核为45度方向的15像素线性运动,两者卷积得到仿真模糊图像。然后,仿真块压缩效应。在保存模糊图像时,选择jpeg图像保存品质值为40(100为无损压缩)。得到的仿真有压缩块效应的模糊图像如图2所示,放大后的部分图像如图3所示,可以看出明显的块状效应。
步骤2:获取压缩图像b的量化表Q。
步骤3:求解优化问题,对当前待求解复原图f进行初次迭代求解。
其中,Dx,Dy分别为水平方向与竖直方向的梯度算子,作用在f后表示图像两个方向的梯度。μ,ξ为正则化系数,f0表示迭代过程中的去块效应图像。分别表示图像的L1与L2范数。在本仿真算例中,μ取2000,ξ取100。
为了求解此问题,采用变量分离技术,将式(1)引入两个辅助变量,转化为可以方便求解的形式,如下式所示
其中,w1,w2为引入的辅助变量。β为迭代过程中的正则化系数。该问题可以转化为轮转迭代求解,具体的求解过程为:
首先令β=1,用输入的模糊图像b作为初始的清晰图像f输入,利用如下公式求解两个辅助变量的值。
用仿真的模糊图像b作为初始的去块效应图像f0,并用求出的辅助变量值wi(i=1,2),利用如下公式求出本次迭代估计出的清晰图像。
再结合量化表Q,采用采用逐点形状自适应DCT滤波器,对其进行块效应消除,得到的图像为下次迭代时式(10)的f0
步骤4:循环迭代
令β→2β,用上次迭代得到的清晰图像作为清晰图像f,以及块效应抑制后的f0,继续重复求解上面的问题。在本仿真算例中,迭代次数选择6次,得到复原结果,如图5所示。
为了说明加入块效应抑制正则化项的作用,采用相同的迭代次数与正则化系数,但是去掉块效应约束项后得到的复原结果如图4所示。可以看到,复原图像中的块效应被一定程度放大,导致复原图像的分辨率下降,目视效果不佳。
对比没有加入块效应抑制的图4,图5复原结果的图像模糊程度有了明显的改善,原仿真模糊图中存在的块效应也得到了较好的抑制。

Claims (1)

1.一种块效应抑制的降质模糊图像非盲复原方法,其特征在于,采用以下步骤对存在较高压缩比的降质模糊图像进行复原:
(1)输入一幅待复原的有压缩块效应的模糊图像b,并且输入该模糊图像对应的模糊核h;
(2)获取模糊图像b的量化表Q;
(3)对待求解的清晰图像f进行初次迭代求解:
其中,Dx,Dy分别为水平方向与竖直方向的梯度算子,作用在清晰图像f后表示图像两个方向的梯度;μ,ξ为正则化系数,f0表示迭代过程中的去块效应图像;分别表示图像的L1与L2范数;
为了求解此问题,采用变量分离技术,将式(1)引入两个辅助变量,转化为方便求解的形式,如下式所示:
其中,w1,w2为引入的两个辅助变量;β为迭代过程中的正则化系数,求解过程如下:
(3.1)用步骤(1)输入的模糊图像b作为初始的清晰图像f输入;求解如下问题
该问题的解为:
(3.2)用步骤(1)输入的模糊图像b作为初始的去块效应图像f0输入,并用式(4)得到的wi(i=1,2),求解如下问题:
该问题的解为:
其中,分别表示图像的傅里叶变换和傅里叶逆变换,“*”表示共轭运算,算符表示两个矩阵的点乘积;得到的f为下次迭代时步骤(3.1)的输入;
(3.3)利用步骤(3.2)计算得到的f,结合步骤(2)得到的量化表Q,采用逐点形状自适应DCT滤波器,对其进行块效应消除,得到的图像为下次迭代时式(6)的f0
(4)利用得到的f,f0,w1,w2,并更新β值为其原值的2倍,重复步骤(3.1)~(3.3),不断得到优化的清晰图像f,经过6~10次的轮转迭代后,得到最终的复原结果。
CN201610403162.9A 2016-06-07 2016-06-07 一种块效应抑制的降质模糊图像非盲复原方法 Expired - Fee Related CN106056556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610403162.9A CN106056556B (zh) 2016-06-07 2016-06-07 一种块效应抑制的降质模糊图像非盲复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610403162.9A CN106056556B (zh) 2016-06-07 2016-06-07 一种块效应抑制的降质模糊图像非盲复原方法

Publications (2)

Publication Number Publication Date
CN106056556A CN106056556A (zh) 2016-10-26
CN106056556B true CN106056556B (zh) 2018-12-07

Family

ID=57171137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610403162.9A Expired - Fee Related CN106056556B (zh) 2016-06-07 2016-06-07 一种块效应抑制的降质模糊图像非盲复原方法

Country Status (1)

Country Link
CN (1) CN106056556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504213A (zh) * 2016-11-03 2017-03-15 北京航星机器制造有限公司 一种非盲卷积运动模糊图像复原方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521796A (zh) * 2011-10-31 2012-06-27 南京大学 一种基于曲波变换的图像去块效应方法
CN105493140A (zh) * 2015-05-15 2016-04-13 北京大学深圳研究生院 图像去模糊方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101265956B1 (ko) * 2007-11-02 2013-05-22 삼성전자주식회사 블록 기반의 영상 복원 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102521796A (zh) * 2011-10-31 2012-06-27 南京大学 一种基于曲波变换的图像去块效应方法
CN105493140A (zh) * 2015-05-15 2016-04-13 北京大学深圳研究生院 图像去模糊方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Alessandro Foi等.Pointwise Shape-Adaptive DCT for High-Quality Denoising and Deblocking of Grayscale and Color Images.《 IEEE Transactions on Image Processing》.2007,第16卷(第5期),第1-17页. *
Giacomo Boracchi等.Deblurring noisy radial-blurred images:spatially adaptive filtering approach.《 Image Processing: Algorithms and Systems》.2008,第1-12页. *
自适应阈值的超变分正则化图像盲复原;周箩鱼等;《光学精密工程》;20121231;第20卷(第12期);第2759-2767页 *

Also Published As

Publication number Publication date
CN106056556A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
Cai et al. Linearized Bregman iterations for frame-based image deblurring
CN105096280B (zh) 处理图像噪声的方法及装置
CN104992415B (zh) 一种基于全变差和小波变换的图像去噪方法及系统
Zhai et al. Efficient deblocking with coefficient regularization, shape-adaptive filtering, and quantization constraint
WO2002102086A2 (en) Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal
CN109360157B (zh) 基于tv和小波正则化的空间变化模糊图像复原方法
CN108765330B (zh) 基于全局和局部先验联合约束的图像去噪方法和装置
KR101362011B1 (ko) 링잉 아티펙트없는 블러 제거 방법
CN111105357B (zh) 一种失真图像的去失真方法、装置及电子设备
CN108648162A (zh) 一种基于噪声水平的梯度相关tv因子图像去噪去模糊方法
Quijas et al. Removing JPEG blocking artifacts using machine learning
CN114173130A (zh) 一种适用于低码率条件的深度神经网络的环路滤波方法
CN106056556B (zh) 一种块效应抑制的降质模糊图像非盲复原方法
CN102682437A (zh) 一种基于总变分正则约束的图像解卷积方法
Sadreazami et al. Data-adaptive color image denoising and enhancement using graph-based filtering
Ono et al. Optimized JPEG image decompression with super-resolution interpolation using multi-order total variation
Muthukumar et al. An efficient color image denoising method for Gaussian and impulsive noises with blur removal
Najgebauer et al. Fully convolutional network for removing dct artefacts from images
Jiang et al. Oriented total variation l1/2 regularization
Erfanian Ebadi et al. Uhd video super-resolution using low-rank and sparse decomposition
CN106846286A (zh) 基于多种互补先验的视频超分辨率重建算法
CN108989812B (zh) 一种基于图像压缩的去块效应方法
Oberlin et al. Loss functions for denoising compressed images: a comparative study
Dolar et al. Total variation regularization filtering for video signal processing
Jang et al. Iterative blocking artifact reduction using a minimum mean square error filter in wavelet domain

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181207

Termination date: 20210607