CN105741243B - 一种模糊图像复原方法 - Google Patents
一种模糊图像复原方法 Download PDFInfo
- Publication number
- CN105741243B CN105741243B CN201610056841.3A CN201610056841A CN105741243B CN 105741243 B CN105741243 B CN 105741243B CN 201610056841 A CN201610056841 A CN 201610056841A CN 105741243 B CN105741243 B CN 105741243B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- fuzzy core
- smooth region
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000009499 grossing Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 102000008297 Nuclear Matrix-Associated Proteins Human genes 0.000 description 1
- 108010035916 Nuclear Matrix-Associated Proteins Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000000299 nuclear matrix Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种模糊图像复原方法，应用于由相机和被拍摄目标相对运动形成的模糊图像，所述方法包括：通过所述图像得到所述图像的平滑区域；通过所述图像的平滑区域计算平滑区域标记矩阵；根据所述图像生成初始模糊核；通过对所述初始模糊核优化得到模糊核的估计值；通过所述模糊核的估计值对模糊图像进行复原。本发明对图像的平滑区域进行标记，充分利用图像中的平滑区域信息对模糊核估计过程施加约束，保证模糊核估计的准确性，利用估计的模糊核的对模糊图像进行复原，对于运动图像模糊复原有重要意义。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种模糊图像复原方法。
背景技术
在获取目标的图像时，如果在相机曝光期间目标和摄像机之间有相对运动，那么往往会使得到的照片变得模糊，这种图像的模糊称为运动模糊。因此，为了更多地得到图像中的有效信息，对图像进行分析和处理，需要对图像进行清晰化处理，也就是图像复原。图像复原也被称为图像恢复，是指去除或减轻在获取数字图像过程中发生的图像退化现象。图像复原的目的是使降质图像尽可能恢复到原来的真实面貌，其方法是首先从分析图像降质的机理入手，即用数学模型来描述图像的降质过程，然后在已知降质模型的基础上，通过对该模型求逆运算，从降质图像中求出未降质的清晰图像，恢复图像的原始信息。
解决运动模糊的方法一般有两种，一是减少曝光时间，这样可以减少模糊的程度。但是相机的曝光时间不可能无限制地减小，而且随着曝光时间减小，图像的质量也就随之降低，所以这种方法存在一定的局限；另外一种方法就是建立运动图像的复原模型，通过数学模型来解决图像的复原问题，这种方法具有普遍性，因而也是解决运动模糊的主要手段。该类方法主要包括：基于最大后验估计的模糊图像复原方法、基于图像梯度信息的模糊图像复原方法和基于归一化一范数先验的模糊图像复原方法。在现有的这些算法中基于归一化一范数先验的模糊图像复原方法被公认为是通用性最好的一种算法。该算法是根据图像矩阵的一范数构建图像的先验模型，通过对先验模型的归一化处理可以有效的进行模糊图像复原。现有方法在对模糊尺度较大的图像进行处理时，复原后的图像存在明显的振铃效应，复原后的图像质量较差，无法满足模糊图像复原的需求。
总体来看，现有的模糊图像复原算法都存在一定问题，故研究一种有效、通用、快速的模糊图像复原方法具有重要的现实意义。
发明内容
(一)要解决的技术问题
有鉴于此，本发明实施例期望提供一种模糊图像复原方法，至少能解决现有模糊图像复原方法存在的振铃效应等技术问题。
(二)技术方案
本发明实施例提供了一种模糊图像复原方法，应用于由于相机和被拍摄目标相对运动而产生的模糊图像，所述方法包括以下步骤：
步骤一、通过所述图像得到所述图像的平滑区域；
步骤二、通过所述图像的平滑区域计算平滑区域标记矩阵；
步骤三、根据所述图像生成初始模糊核；
步骤四、通过对所述初始模糊核优化得到模糊核的估计值；
步骤五、通过所述模糊核的估计值对模糊图像进行复原。
(三)有益效果
本发明实施例所提供的模糊图像复原方法，充分利用图像中的平滑区域信息对模糊核估计过程施加约束，能根据图像自身的特点较为精确地估计图像的模糊核，对模糊图像进行有效的复原，消除了振铃效应等问题。算法可用于对数码相机、手机摄像头等数字成像设备所拍摄到的图像进行处理，具有广阔的应用价值和市场前景。
附图说明
图1：实施例的模糊图像复原方法的流程图；
图2：实施例的模糊图像复原效果对比图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。
在以下的描述中，将描述本发明的多个不同的方面，然而，对于本领域内的普通技术人员而言，可以仅仅利用本发明的一些或者全部结构或者流程来实施本发明。为了解释的明确性而言，阐述了特定的数目、配置和顺序，但是很明显，在没有这些特定细节的情况下也可以实施本发明。在其他情况下，为了不混淆本发明，对于一些众所周知的特征将不再进行详细阐述。
实施例
为了解决现有模糊复原方法存在的振铃效应等技术问题，本发明实施例提供了一种模糊图像的复原方法，应用于由于相机和被拍摄目标相对运动而产生的模糊图像，所述方法包括以下步骤：
通过所述图像得到所述图像的平滑区域；
通过所述图像的平滑区域计算平滑区域标记矩阵；
根据所述图像生成初始模糊核；
通过对所述初始模糊核优化得到模糊核的估计值；
通过所述模糊核的估计值对模糊图像进行复原。
本发明的具体实现流程如图1所示，各部分具体实施细节如下：
1.通过所述图像得到所述图像的平滑区域
本实施例所述的图像是指通过数字成像设备(如手机、摄像机、数码相机等)得到的模糊的图像。模糊图像的对比度底、细节损失严重，为后续的图像处理和分析工作带来了极大的困难。
本实施例将图像用矩阵的形式表示，根据图像矩阵计算图像的平滑区域，分为以下几个步骤实现：
(1)分别以每个像素为中心，在3×3的局部区域内计算局部区域平滑度，用到了如下公式
d＝u+5δ (1)
其中d表示像素的局部平滑度，u表示局部区域的均值，δ表示局部区域的方差，T表示归属性判别阈值，||x||1表示图像矩阵的一范数，||x||2表示图像矩阵的二范数。
(2)像素归属性判断：
如果d≤T则判定像素i属于平滑区域；如果d＞T则判定像素i属于非平滑区域。
(3)划分图像的平滑区域
根据步骤(2)判别得到的归属性，将属性相同的像素归为同一区域，划分图像的平滑区域。
2.通过所述图像的平滑区域得到平滑区域标记矩阵，具体公式如下
其中M是平滑区域标记矩阵。
3.根据所述图像生成初始模糊核
根据所述的图像对模糊核进行初略估计，生成初始模糊核，分为以下几个步骤实现：
(1)计算所述图像的梯度从而得到图像的边缘，用到了如下公式
其中E表示图像的边缘，表示对图像进行微分运算。
(2)利用图像的边缘对模糊核进行粗略估计，用到了如下公式
其中k0表示初始模糊核，E表示图像的边缘，w表示图像矩阵的列数，h表示图像矩阵的行数。
4.通过对所述初始模糊核优化得到模糊核的估计值
对步骤3生成的初始模糊核进行优化，得到模糊核的精确估计值，分为以下几个步骤实现：
(1)构建模糊核的平滑性约束，用到公式为
其中P表示平滑性约束模型，x为所述图像，为所述图像的微分运算，M是平滑区域标记矩阵，·表示点乘运算，表示二范数的平方运算。
(2)构建模糊核的一致性约束，用到的公式为
其中G表示一致性约束模型，k0为初始模糊核，为初始模糊核的微分运算，表示二范数的平方运算。
(3)利用步骤(1)、(2)构建的约束模型，对步骤3产生的初始模糊核进行优化，用到如下公式
k＝arg min{P+G} (8)
其中k为模糊核的估计值，arg min表示极大释然估计。
5.通过所述模糊核的估计值对模糊图像进行复原
利用步骤4得到的模糊核的估计值，将其作为已知量，通过对模糊图像矩阵和模糊核矩阵进行反卷积运算，对模糊图像进行复原，用到的公式如下
其中I为复原后的图像，k为模糊核的估计值，x为模糊图像矩阵，x'表示转置后的模糊图像矩阵，表示卷积运算符。
通过现有方法和本实施例方法对一幅图像进行处理的效果图如图2所示。其中，图2a为原始模糊，2b为现有方法处理后的复原图像，图2c为本实施例方法处理后的复原图像。从图2中可以明显看出，本实施例方法复原后的图像在清晰度等方面比现有方法高。
本发明采用基于局部约束的方法进行模糊图像复原处理，在归一化一范数先验的基础上，充分利用图像中的局部区域信息对模糊核估计过程施加约束，保证模糊核估计的准确性。经过本方法复原后的图像，更加符合人眼视觉感受，具有较好的复原效果；采用相对简单的计算公式和算法流程，时间复杂度较小，执行速度较快，具有较高的效率，能够满足实时性要求。本发明方法可用于对数码相机、手机摄像头等数字成像设备所拍摄到的图像进行准确、高效的复原处理，具有广阔的应用价值和市场前景。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (1)
1.一种模糊图像复原方法，其特征在于包括以下步骤：
(1)通过所述图像得到所述图像的平滑区域；其方法是采用公式
d＝u+5δ (1)
<mrow>
<mi>T</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中d表示像素的局部平滑度，u表示局部区域的均值，δ表示局部区域的方差，T表示归属性判别阈值，||x||1表示图像矩阵的一范数，||x||2表示图像矩阵的二范数；
如果d≤T则判定像素i属于平滑区域；如果d＞T则判定像素i属于非平滑区域；并将属性相同的像素归为同一区域，划分图像的平滑区域；
(2)通过所述图像的平滑区域计算平滑区域标记矩阵；其方法是采用公式
其中M是平滑区域标记矩阵；
(3)根据所述图像生成初始模糊核；其方法是采用公式
<mrow>
<msub>
<mi>k</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<mfrac>
<mi>E</mi>
<mrow>
<mi>w</mi>
<mo>&times;</mo>
<mi>h</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中k0表示初始模糊核，E表示图像的边缘，w表示图像矩阵的列数，h表示图像矩阵的行数；(4)通过对所述初始模糊核优化得到模糊核的估计值；其方法是采用公式
<mrow>
<mi>P</mi>
<mo>=</mo>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>-</mo>
<mo>&dtri;</mo>
<mi>x</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>&CenterDot;</mo>
<mi>M</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中P表示平滑性约束模型，x为所述图像，▽x为所述图像的微分运算，M是平滑区域标记矩阵，·表示点乘运算，表示二范数的平方运算；
G＝||(k0-▽k0)||2 (6)
其中G表示一致性约束模型，k0为初始模糊核，▽k0为初始模糊核的微分运算，表示二范数的平方运算；
k＝arg min{P+G} (7)
其中k为模糊核的估计值，argmin表示极大释然估计，G表示一致性约束模型，P表示平滑性约束模型；
(5)通过所述模糊核的估计值对模糊图像进行复原；其方法是采用公式
<mrow>
<mi>I</mi>
<mo>=</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>&CircleTimes;</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mi>k</mi>
<mi>x</mi>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中I为复原后的图像，k为模糊核的估计值，x为模糊图像矩阵，x'表示转置后的模糊图像矩阵，表示卷积运算符。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610056841.3A CN105741243B (zh) | 2016-01-27 | 2016-01-27 | 一种模糊图像复原方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610056841.3A CN105741243B (zh) | 2016-01-27 | 2016-01-27 | 一种模糊图像复原方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105741243A CN105741243A (zh) | 2016-07-06 |
| CN105741243B true CN105741243B (zh) | 2018-05-11 |
Family
ID=56247734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610056841.3A Active CN105741243B (zh) | 2016-01-27 | 2016-01-27 | 一种模糊图像复原方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105741243B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106204502B (zh) * | 2016-08-17 | 2019-07-05 | 重庆大学 | 基于混合阶l0正则化模糊核估计方法 |
| CN106651790B (zh) * | 2016-11-22 | 2020-01-31 | 杭州华为数字技术有限公司 | 图像去模糊的方法、装置和设备 |
| CN107451973B (zh) * | 2017-07-31 | 2020-05-22 | 西安理工大学 | 基于丰富边缘区域提取的运动模糊图像复原方法 |
| CN109727201A (zh) * | 2017-10-30 | 2019-05-07 | 富士通株式会社 | 信息处理设备、图像处理方法以及存储介质 |
| CN109919871A (zh) * | 2019-03-05 | 2019-06-21 | 重庆大学 | 基于图像和模糊核混合约束的模糊核估计方法 |
| CN112529816B (zh) * | 2020-12-22 | 2024-06-07 | 西安诺瓦星云科技股份有限公司 | 数据处理方法、装置、存储介质及计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867289A (zh) * | 2012-08-20 | 2013-01-09 | 清华大学 | 互补模糊图像采集系统及利用该系统的模糊图像恢复方法 |
| CN105184744A (zh) * | 2015-08-24 | 2015-12-23 | 西安电子科技大学 | 基于标准化稀疏度量图像块先验的模糊核估计方法 |
| WO2016183716A1 (zh) * | 2015-05-15 | 2016-11-24 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
-
2016
- 2016-01-27 CN CN201610056841.3A patent/CN105741243B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102867289A (zh) * | 2012-08-20 | 2013-01-09 | 清华大学 | 互补模糊图像采集系统及利用该系统的模糊图像恢复方法 |
| WO2016183716A1 (zh) * | 2015-05-15 | 2016-11-24 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
| CN105184744A (zh) * | 2015-08-24 | 2015-12-23 | 西安电子科技大学 | 基于标准化稀疏度量图像块先验的模糊核估计方法 |
Non-Patent Citations (2)
| Title |
|---|
| Blind Deconvolution Using a Normalized Sparsity Measure;Dilip Krishnan et al.;《IEEE Conf. on Computer Vision and Pattern Recognition》;20111231;第233-240页 * |
| High-quality Motion Deblurring from a Single Image;Qi Shan et al.;《ACM Transactions on Graphics》;20080831;第27卷(第3期);第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105741243A (zh) | 2016-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105741243B (zh) | 一种模糊图像复原方法 | |
| Casser et al. | Depth prediction without the sensors: Leveraging structure for unsupervised learning from monocular videos | |
| Wang et al. | Vcnet: A robust approach to blind image inpainting | |
| Han et al. | Reflection removal using low-rank matrix completion | |
| Pu et al. | A fractional-order variational framework for retinex: fractional-order partial differential equation-based formulation for multi-scale nonlocal contrast enhancement with texture preserving | |
| Chan et al. | An augmented Lagrangian method for total variation video restoration | |
| Liu et al. | Automatic estimation and removal of noise from a single image | |
| CN101587586B (zh) | 一种图像处理装置及图像处理方法 | |
| CN109087261B (zh) | 基于非受限采集场景的人脸矫正方法 | |
| CN104809461B (zh) | 结合序列图像超分辨率重建的车牌识别方法及系统 | |
| CN104794479B (zh) | 基于局部笔画宽度变换的自然场景图片中文本检测方法 | |
| CN105493140A (zh) | 图像去模糊方法及系统 | |
| CN107862698A (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
| CN101996406A (zh) | 无参考结构清晰度图像质量评价方法 | |
| CN104867111A (zh) | 一种基于分块模糊核集的非均匀视频盲去模糊方法 | |
| CN106127696A (zh) | 一种基于bp神经网络拟合运动场的图像去除反射方法 | |
| CN108109121A (zh) | 一种基于卷积神经网络的人脸模糊快速消除方法 | |
| CN106204502B (zh) | 基于混合阶l0正则化模糊核估计方法 | |
| CN109118434A (zh) | 一种图像预处理方法 | |
| CN107784631A (zh) | 图像去模糊方法及装置 | |
| CN106156691A (zh) | 复杂背景图像的处理方法及其装置 | |
| CN105323420A (zh) | 视频图像处理方法及装置 | |
| CN105719251A (zh) | 一种用于大像移线性模糊的压缩降质图像复原方法 | |
| CN107945151A (zh) | 一种基于相似性变换的重定位图像质量评价方法 | |
| CN102917217A (zh) | 基于五边形搜索及三帧背景对齐的动背景视频对象提取 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |