CN105574823B - 一种失焦模糊图像的去模糊方法和装置 - Google Patents

一种失焦模糊图像的去模糊方法和装置 Download PDF

Info

Publication number
CN105574823B
CN105574823B CN201510926438.7A CN201510926438A CN105574823B CN 105574823 B CN105574823 B CN 105574823B CN 201510926438 A CN201510926438 A CN 201510926438A CN 105574823 B CN105574823 B CN 105574823B
Authority
CN
China
Prior art keywords
fuzzy
pixel
image
super
spirogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510926438.7A
Other languages
English (en)
Other versions
CN105574823A (zh
Inventor
王荣刚
张欣欣
王振宇
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201510926438.7A priority Critical patent/CN105574823B/zh
Publication of CN105574823A publication Critical patent/CN105574823A/zh
Application granted granted Critical
Publication of CN105574823B publication Critical patent/CN105574823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种失焦模糊图像的去模糊方法和装置，先采用预设模糊核对输入的原始图像进行模糊处理，得到再模糊图像；根据模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；根据所述完整模糊量图进行去模糊处理，得到去模糊图像。本申请提供的方法和装置中，由于使用了图像模糊后的边缘信息的变化来得到模糊量图，可以使得到的模糊量图更加准确，从而提高去模糊图像的质量。

Description

一种失焦模糊图像的去模糊方法和装置
技术领域
本申请涉及图像处理领域，具体涉及一种失焦模糊图像的去模糊方法和装置。
背景技术
用普通的相机拍照的时候，如果焦点聚在一个物体上，那么与这个物体不在同一个深度的区域会出现不同程度的失焦现象。根据薄透镜成像系统模型，失焦的程度与场景的深度成正比，离焦平面越远的物体模糊程度越大。摄影师会故意拍摄失焦模糊的照片以达到艺术效果，但是模糊图像丢失了大量的细节，有时我们需要避免失焦模糊，所以对单张图像的去模糊工作是非常重要的。
失焦图像的退化(图像退化是指图像质量的下降)模型可以表示为如下卷积过程：
其中，I和L分别表示失焦模糊图像和清晰图像，是卷积符号，N是随机噪声，k是模糊核。失焦模糊中，模糊核常被看作一个高斯模型：
(x,y)是图像中的像素点的坐标，σ是标准差，σ可以衡量图像的模糊程度，也被称为模糊量。
模糊核的估计是去模糊过程中的一个关键步骤。对于空间一致的图像，由于图像上各个位置的模糊核是相同的，这种情况下对图像进行去模糊处理较为简单。对于空间可变的模糊图像，图像中的每个像素对应的模糊核都是不同的，这种情况比较复杂，去模糊的难度比较大。目前，对单张空间可变模糊图像的模糊核估计主要有两种方法：一种是根据模糊核的相似性将图像划分为相等大小的矩形区域，在每个区域中用空间稀疏约束项对模糊核进行约束，得到图像的局部模糊核k；另一种方法是把模糊核看作圆盘模型或者高斯模型，估计出每个像素对应的圆盘半径或者高斯模型的标准差，进而得到模糊核。由于图像的局部区域的模糊程度是和深度有关的，所以把图像分为等大的矩形区域容易造成同一个矩形区域内不同像素之间的实际模糊程度相差过大，所以第一种方法会出现局部模糊核估计不准确的现象。第二种方法对每个像素都得到了一个对应的模糊核，但是在图像复原过程中对每个像素分别用不同的模糊核进行反卷积计算开销太大，所以如何用这些模糊核进行图像复原是一个关键问题。
目前，有人提出将模糊量σ划分成不同的量级，取每个量级的最小值作为此范围内模糊量的值。这种方法可以避免振铃效应(Ringing artifacts)(振铃效应是影响复原图像质量的众多因素之一，是由于在图像复原中选取了不适当的图像模型造成的，振铃效应产生的直接原因是图像退化过程中信息量的丢失，尤其是高频信息的丢失，其严重降低了复原图像的质量，并且使得难于对复原图像进行后续处理。)，但是由于最终估计的模糊量比实际的模糊量小，恢复出的图像还是比较模糊。
综上所述，单张空间可变失焦图像去模糊作为图像处理中的重要环节，已受到广泛关注，并有大量的去模糊算法涌现。然而，模糊核估计以及最终的图像复原部分尚存在很多问题，需要进一步的提高性能。
发明内容
本申请提供一种失焦模糊图像的去模糊方法和装置，解决了现有技术中对失焦图像的去模糊处理效果差的问题。
根据本申请的第一方面，本申请提供了一种失焦模糊图像的去模糊方法，包括：
输入原始图像；
采用预设模糊核对原始图像进行模糊处理，得到再模糊图像；
根据所述模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；
根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；
根据所述完整模糊量图进行去模糊处理，得到去模糊图像。
在一实施例中，先对所述稀疏模糊量图进行校正，根据校正后的稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
在一实施例中，采用引导滤波方法对所述稀疏模糊量图进行校正。
在一实施例中，采用k最邻近插值法根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
在一实施例中，根据所述模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计的步骤中，边缘区域像素的模糊量σ通过下面公式得出，
其中，S为边缘锐利度，σ0为所述预设模糊核的模糊量；并且，
其中，和分别为原始图像和再模糊图像的梯度值，ε为一预设的正值。
在一实施例中，根据所述完整模糊量图进行去模糊处理，得到去模糊图像，包括：
基于超像素的方法将完整模糊量图分割成多个超像素，对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量；
根据每个超像素的模糊量得到每个超像素的模糊核；
根据每个超像素的模糊核对每个超像素进行去模糊处理，并将每个去模糊处理后的超像素进行合成，得到去模糊图像。
在一实施例中，对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量，包括：将当前超像素中所有像素的模糊量的平均值作为当前超像素的模糊量。
在一实施例中，根据每个超像素的模糊核对每个超像素进行去模糊处理，包括：根据每个超像素的模糊核，分别对每个超像素进行反卷积计算。
在一实施例中，根据每个超像素的模糊核，采用基于三维块匹配的非盲反卷积方法对每个超像素进行去模糊处理。
在一实施例中，还包括对所述去模糊图像进行后处理，以得到最终的清晰图像。
在一实施例中，对所述去模糊图像进行后处理，以得到最终的清晰图像，包括：
根据得到的每个超像素的模糊核对所述去模糊图像进行模糊处理，得到第二模糊图像；
计算第二模糊图像与原始图像对应的区域的差值；
当所述差值大于预设阈值时，判断对应的像素为异常像素；
将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像；
将所述复原图像中异常像素的复原结果替换所述去模糊图像中对应的像素，以得到最终的清晰图像。
根据本申请的第二方面，本申请还提供了一种失焦模糊图像的去模糊装置，包括：
输入模块，用于输入原始图像；
稀疏模糊量图估计模块，用于采用预设模糊核对原始图像进行模糊处理，得到再模糊图像；并根据所述模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；
完整模糊量图映射模块，用于根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；
去模糊处理模块，用于根据所述完整模糊量图进行去模糊处理，得到去模糊图像。
在一实施例中，失焦模糊图像的去模糊装置还包括稀疏模糊量图校正模块，用于对所述稀疏模糊量图进行校正；
完整模糊量图映射模块用于根据校正后的稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
在一实施例中，稀疏模糊量图校正模块用于采用引导滤波方法对所述稀疏模糊量图进行校正。
在一实施例中，完整模糊量图映射模块用于采用k最邻近插值法根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
在一实施例中，稀疏模糊量图估计模块用于根据所述模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图时，边缘区域像素的模糊量σ通过下面公式得出，
其中，S为边缘锐利度，σ0为所述预设模糊核的模糊量；并且，
其中，和分别为原始图像和再模糊图像的梯度值，ε为一预设的正值。
在一实施例中，去模糊处理模块包括：
图像分割单元，用于基于超像素的方法将完整模糊量图分割成多个超像素；
图像复原单元，用于对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量；并根据每个超像素的模糊量得到每个超像素的模糊核；之后，根据每个超像素的模糊核对每个超像素进行去模糊处理，将每个去模糊处理后的超像素进行合成，得到去模糊图像。
在一实施例中，图像复原单元用于将当前超像素中所有像素的模糊量的平均值作为当前超像素的模糊量。
在一实施例中，图像复原单元用于根据每个超像素的模糊核，分别对每个超像素进行反卷积计算。
在一实施例中，图像复原单元用于根据每个超像素的模糊核，采用基于三维块匹配的非盲反卷积方法对每个超像素进行去模糊处理。
在一实施例中，失焦模糊图像的去模糊装置还包括后处理模块，用于对所述去模糊图像进行后处理，以得到最终的清晰图像。
在一实施例中，后处理模块用于：
根据得到的每个超像素的模糊核对所述去模糊图像进行模糊处理，得到第二模糊图像；
计算第二模糊图像与原始图像对应的区域的差值；
当所述差值大于预设阈值时，判断对应的像素为异常像素；
将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像；
将所述复原图像中异常像素的复原结果替换所述去模糊图像中对应的像素，以得到最终的清晰图像。
本申请提供的失焦模糊图像的去模糊方法和装置，先采用预设模糊核对输入的原始图像进行模糊处理，得到再模糊图像；根据模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；根据所述完整模糊量图进行去模糊处理，得到去模糊图像。本申请提供的方法和装置中，由于使用了图像模糊后的边缘信息的变化来得到模糊量图，可以使得到的模糊量图更加准确，从而提高去模糊图像的质量。
附图说明
图1为本申请一种实施例中失焦模糊图像的去模糊方法的流程示意图；
图2为本申请另一种实施例中失焦模糊图像的去模糊方法的流程示意图；
图3为本申请另一种实施例中失焦模糊图像的去模糊方法的流程示意图；
图4为本申请一种实施例中失焦模糊图像的去模糊方法中后处理的流程示意图；
图5为本申请一种实施例中失焦模糊图像的去模糊装置的模块示意图；
图6为本申请一种实施例失焦模糊图像的去模糊装置中去模糊处理模块的单元示意图。
具体实施方式
下面通过具体实施方式结合附图对本申请作进一步详细说明。
实施例一
请参考图1，本实施例提供了一种失焦模糊图像的去模糊方法，包括下面步骤：
步骤1.1：输入原始图像。该原始图像为基于深度的单张空间可变的失焦模糊图像。
步骤1.2：采用预设模糊核对原始图像进行模糊处理，得到再模糊图像。
本实施例中，把输入的原始图像用标准差为σ0(模糊量)的高斯核(预设模糊核)进行再模糊。
需要说明的是，本申请实施例中，将失焦模糊的模糊核看作一个高斯模型来对本申请进行说明，在其他实施例中，如果将失焦模糊的模糊核看作其他模型(例如圆盘模型)，本申请提供的去模糊方法也同样适用。
步骤1.3：根据步骤1.2模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图。
原始图像的边缘可以表示为：
f(x，y)＝Au（x，y)+B (3)
其中，u(x,y)是阶跃函数，A和B分别表示振幅和偏移量，在图像边缘处的坐标为(x,y)＝(0,0)。
本实施例中，定义边缘锐利度为：
和是原始图像和再模糊图像的梯度值(图像梯度是指把图像看成二维离散函数，对二维离散函数进行求导)，ε是一个非常小的正数，用于防止分母为零。
并且，
S越大，边缘的锐利程度越大。通过S可以推导出σ。
再模糊图像的梯度可以通过下面卷积过程表示：
由于ε远小于所以在推导σ的过程中可以忽略，所以公式(4)可以写为：
本实施例中，用Canny算子进行边缘检测，在边缘处(x,y)＝(0,0)，所以
由公式(7)可以得到模糊量σ为：
每个像素对应的σ组成了一个稀疏模糊量图。
由于在小的边缘处的噪声的影响，σ估计的会不准确。优选的，先对稀疏模糊量图进行校正。本实施例中，采用引导滤波(Guided filter)方法来对稀疏模糊量图进行校正。将边缘图像作为引导图像，校正图像r为：
ri＝ΣjWij(E)σj (9)
其中，i和j是像素索引，E是边缘图像，W是核函数，并且：
wz是以像素z为中心的窗口，μz、和|w|分别是窗口wz中像素灰度的平均值、方差和E中窗口wz内的像素总数，ζ是一个正则化参数。本实施例中将窗口wz和ζ分别设置为5x5和10-9。
并且，如果ri＜10-8，则令ri＝0。
步骤1.4：根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
稀疏模糊量图只包括了边缘区域像素的模糊量，因此，需要得到包括边缘区域像素和非边缘区域像素的模糊量。
本实施例中，采用K最邻近插值法(KNN matting interpolation)根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
具体的，可以通过下面方程得到完整模糊量图：
其中，和分别表示完整模糊量图和稀疏模糊量图的向量。λ是正则化参数，L是稀疏关联矩阵A的拉普拉斯矩阵，T为求转置矩阵。对于像素i，在特征空间中找到它周围的k个最相邻像素j，将A(i,j)设置为g(i,j)，其他值设为0。核函数g(i,j)定义为：
其中，X(i)是用i周围像素计算得到的特征向量；C是||X(i)-X(j)||的最小上界，使得g(i,j)∈[0,1]。可以通过以下方程得到最优解：
具体的，可以将λ设为0.8，被约束。通过预条件共轭梯度(PCG)方法求解公式(13)中的
步骤1.5：根据获得的完整模糊量图进行去模糊处理，得到去模糊图像。步骤1.5可以采用现有技术中任意一种去模糊处理方法，例如采用本申请背景技术中提及的两种去模糊处理方法。
本实施例中，考虑到失焦降低了边缘的锐利程度和对比度，高频处的模糊量会产生比较大的变化，因此，采用预设模糊核对原始图像进行模糊处理，图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计。这样可以得到更加准确的模糊量图，使得去模糊处理后得到的图像更加清晰。
实施例二
通过以上分析可知，图像的模糊程度和深度有关，深度越大模糊程度越大，对于大多数深度可变的场景，同一个物体的像素的深度可被看作是局部相似的，即模糊程度也具有局部一致性。但是，采用现有技术或者实施一提供的方法得到的完整模糊量图中，每个像素的模糊量是不同的，为了保证模糊核的局部一致性并且减小异常值的影响，本实施例中采用基于超像素的方法将图像分割成多个超像素，根据每个超像素中所有的像素的模糊量来得到超像素的模糊量。
请参考图2，本实施例提供了另外一种失焦模糊图像的去模糊方法，其与实施例一的区别在于，步骤1.5包括下面子步骤：
子步骤2.1：基于超像素的方法将完整模糊量图分割成多个超像素。
子步骤2.2：对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量。
本实施例中，以每个超像素中所有的像素的模糊量σ的平均值作为这个超像素的模糊量，即：
其中，n是超像素的标签，σn和mj分别是第n个超像素的模糊量和像素j的模糊量。Mn表示第n个超像素区域，t是Mn中像素的数量。超像素的总数l为预先设置的一个参数。
当然，在其他实施例中，超像素的模糊量也可以根据实际情况采用其他方式确定。
子步骤2.3：根据每个超像素的模糊量得到每个超像素的模糊核。
具体的，第n个超像素的模糊核为：
子步骤2.4：根据每个超像素的模糊核对每个超像素进行去模糊处理。
具体的，根据每个超像素的模糊核对每个超像素进行去模糊处理，包括：根据每个超像素的模糊核，分别对每个超像素进行反卷积计算。本实施例中，优选的，根据每个超像素的模糊核，采用基于三维块匹配(BM3D)的非盲反卷积方法对每个超像素分别进行去模糊处理。基于BM3D的反卷积方法复原出的图像有助于去除部分噪声，并保留微小细节。
子步骤2.5：将每个去模糊处理后的超像素进行合成，得到去模糊图像。
具体的，最终得到的去模糊图像为：
其中，
为用模糊核kn复原出的图像(第n个超像素)。
本实施例中，采用超像素分割的方法，先分别对每个超像素进行去模糊处理，然后将所有的超像素合成一幅清晰图像。可以将空间可变去模糊转变成局部空间不变去模糊问题。基于超像素的图像分割方法能够更好地适用场景深度变化以及图像的边缘区域，可以将前景和背景区分的更加准确，更符合深度一致性。与将图像分为等大的矩形区域分别进行模糊核估计，以及按将模糊量进行尺度划分等方法相比，本实施例提供的方法基于局部深度一致性的模糊量图精化能够得到更加准确的模糊核。
实施例三
多数情况下，通过上述实施例二提供的方法得到的去模糊图像，会存在振铃和噪声，尤其是在图像的边缘区域。出现这种情况主要有两个原因，第一是对参数l设置的太小，导致分割后的超像素区域过大，包含了深度变化较大的区域。第二是较小的边缘处的模糊量σ小于当前超像素的模糊量σn。
请参考图3，为了解决这个问题，本实施例提供了另一种失焦模糊图像的去模糊方法，其与实施例一和二的区别在于，在步骤1.5之后，还包括步骤1.6：对去模糊图像进行后处理，以得到最终的清晰图像。
请参考图4，本实施例中，后处理步骤包括如下子步骤：
子步骤3.1：根据得到的每个超像素的模糊核对去模糊图像进行模糊处理，得到第二模糊图像。
子步骤3.2：计算第二模糊图像与原始图像对应的区域的差值e(x,y)，具体的：
子步骤3.3：当得到的差值大于预设阈值τ时，判断对应的像素为异常像素。
子步骤3.4：将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像。
子步骤3.5：将复原图像中异常像素的复原结果替换去模糊图像中对应的像素，以得到最终的清晰图像。
本实施例中，如果e(x,y)大于预设阈值τ，则认为像素(x,y)是异常像素。当σn大于像素j的模糊量mj时，可能会出现振铃或噪声。因此，用m中每个超像素中的模糊量的最小值作为该超像素的模糊量进行图像复原(即对第二模糊图像进行去模糊处理)，得到复原图像用中的像素代替中的异常像素(振铃和噪声像素)，最终得到的清晰图像为：
具体的，本实施例中，所采用的各个参数可以如下表所示。在其他实施例中，这些参数可以采用相应的经验值，或者根据实际需求进行选择。
本实施例提供的失焦模糊图像的去模糊方法，得到的清晰图像的质量更高，并且可以有效地除振铃和噪声。
实施例四
请参考图5，基于上述实施例三提供的失焦模糊图像的去模糊方法，本实施例相应提供了一种失焦模糊图像的去模糊装置，包括输入模块101、稀疏模糊量图估计模块102、稀疏模糊量图校正模块103、完整模糊量图映射模块104、去模糊处理模块105和后处理模块106。
输入模块101用于输入原始图像。
稀疏模糊量图估计模块102用于采用预设模糊核对原始图像进行模糊处理，得到再模糊图像；并根据该模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图。
完整模糊量图映射模块104用于根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
去模糊处理模块105用于根据该完整模糊量图进行去模糊处理，得到去模糊图像。
优选的，失焦模糊图像的去模糊装置还包括稀疏模糊量图校正模块103，用于对稀疏模糊量图进行校正。完整模糊量图映射模块104用于根据校正后的稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
具体的，稀疏模糊量图校正模块103用于采用引导滤波方法对稀疏模糊量图进行校正。完整模糊量图映射模块104用于采用插值法根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
本实施例中，稀疏模糊量图估计模块102用于根据模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图时，边缘区域像素的模糊量σ通过下面公式得出，
其中，S为边缘锐利度，σ0为所述预设模糊核的模糊量；并且，
其中，和分别为原始图像和再模糊图像的梯度值，ε为一预设的正值。
进一步，请参考图6，去模糊处理模块包括图像分割单元201和图像复原单元202。
图像分割单元201用于基于超像素的方法将完整模糊量图分割成多个超像素。
图像复原单元202用于对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量；并根据每个超像素的模糊量得到每个超像素的模糊核；之后，根据每个超像素的模糊核对每个超像素进行去模糊处理，将每个去模糊处理后的超像素进行合成，得到去模糊图像。
具体的，图像复原单元202用于将当前超像素中所有像素的模糊量的平均值作为当前超像素的模糊量。
图像复原单元202用于根据每个超像素的模糊核，分别对每个超像素进行反卷积计算。本实施例中，图像复原单元202用于根据每个超像素的模糊核，采用基于三维块匹配的非盲反卷积方法对每个超像素进行去模糊处理。
优选的，失焦模糊图像的去模糊装置还包括后处理模块106，用于对去模糊图像进行后处理，以得到最终的清晰图像。
本实施例中，后处理模块106用于根据得到的每个超像素的模糊核对去模糊图像进行模糊处理，得到第二模糊图像；计算第二模糊图像与原始图像对应的区域的差值；当该差值大于预设阈值时，判断对应的像素为异常像素；将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像；将该复原图像中异常像素的复原结果替换去模糊图像中对应的像素，以得到最终的清晰图像。
本实施例提供的失焦模糊图像的去模糊装置与实施例三提供的失焦模糊图像的去模糊方法对应，其具体实现方式可参考实施例三，本实施例不再对其进行赘述。
本实施例提供的失焦模糊图像的去模糊装置，可以得到更加准确的模糊量图，其基于局部深度一致性的模糊量图精化能够得到更加准确的模糊核，并且可以有效地除振铃和噪声，以得到更加清晰的图像。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过程序来控制相关硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存取存储器、磁盘或光盘等。
以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (6)

1.一种失焦模糊图像的去模糊方法，其特征在于，包括：
输入原始图像；
采用预设模糊核对原始图像进行模糊处理，得到再模糊图像；
根据所述模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；
根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；
根据所述完整模糊量图进行去模糊处理，得到去模糊图像，具体为：基于超像素的方法将所述完整模糊量图分割成多个超像素，对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量；根据每个超像素的模糊量得到每个超像素的模糊核；根据每个超像素的模糊核对每个超像素进行去模糊处理，并将每个去模糊处理后的超像素进行合成，得到去模糊图像；
对所述去模糊图像进行后处理，以得到最终的清晰图像，具体为：根据得到的每个超像素的模糊核对所述去模糊图像进行模糊处理，得到第二模糊图像；计算第二模糊图像与原始图像对应的区域的差值；当所述差值大于预设阈值时，判断对应的像素为异常像素；将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像；将所述复原图像中异常像素的复原结果替换所述去模糊图像中对应的像素，以得到最终的清晰图像。
2.如权利要求1所述的方法，其特征在于，先对所述稀疏模糊量图进行校正，采用k最邻近插值法根据校正后的稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
3.如权利要求1所述的方法，其特征在于，根据每个超像素的模糊核对每个超像素进行去模糊处理，包括：根据每个超像素的模糊核，采用基于三维块匹配的非盲反卷积方法对每个超像素进行去模糊处理。
4.一种失焦模糊图像的去模糊装置，其特征在于，包括：
输入模块，用于输入原始图像；
稀疏模糊量图估计模块，用于采用预设模糊核对原始图像进行模糊处理，得到再模糊图像；并根据所述模糊处理过程中图像边缘信息的变化对原始图像的边缘区域像素的模糊量进行估计，得到稀疏模糊量图；
完整模糊量图映射模块，用于根据稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图；
去模糊处理模块，用于根据所述完整模糊量图进行去模糊处理，得到去模糊图像，所述去模糊处理模块包括：图像分割单元，用于基于超像素的方法将完整模糊量图分割成多个超像素；图像复原单元，用于对当前超像素中所有像素的模糊量进行处理，得到当前超像素的模糊量；并根据每个超像素的模糊量得到每个超像素的模糊核；之后，根据每个超像素的模糊核对每个超像素进行去模糊处理，将每个去模糊处理后的超像素进行合成，得到去模糊图像；
后处理模块，用于对所述去模糊图像进行后处理，以得到最终的清晰图像，具体为：所述后处理模块用于根据得到的每个超像素的模糊核对所述去模糊图像进行模糊处理，得到第二模糊图像；所述后处理模块用于计算第二模糊图像与原始图像对应的区域的差值；所述后处理模块用于当所述差值大于预设阈值时，判断对应的像素为异常像素；所述后处理模块用于将异常像素所在超像素中各个像素的模糊量的最小值作为该超像素的模糊量，并根据该模糊量对第二模糊图像进行去模糊处理，得到复原图像；所述后处理模块用于将所述复原图像中异常像素的复原结果替换所述去模糊图像中对应的像素，以得到最终的清晰图像。
5.如权利要求4所述的装置，其特征在于，还包括稀疏模糊量图校正模块，用于对所述稀疏模糊量图进行校正；
完整模糊量图映射模块用于采用k最邻近插值法根据校正后的稀疏模糊量图对原始图像的非边缘区域像素的模糊量进行估计，得到完整模糊量图。
6.如权利要求4所述的装置，其特征在于，图像复原单元用于根据每个超像素的模糊核，采用基于三维块匹配的非盲反卷积方法对每个超像素进行去模糊处理。
CN201510926438.7A 2015-12-14 2015-12-14 一种失焦模糊图像的去模糊方法和装置 Active CN105574823B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510926438.7A CN105574823B (zh) 2015-12-14 2015-12-14 一种失焦模糊图像的去模糊方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510926438.7A CN105574823B (zh) 2015-12-14 2015-12-14 一种失焦模糊图像的去模糊方法和装置

Publications (2)

Publication Number Publication Date
CN105574823A CN105574823A (zh) 2016-05-11
CN105574823B true CN105574823B (zh) 2018-10-09

Family

ID=55884918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510926438.7A Active CN105574823B (zh) 2015-12-14 2015-12-14 一种失焦模糊图像的去模糊方法和装置

Country Status (1)

Country Link
CN (1) CN105574823B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920229B (zh) * 2017-01-22 2021-01-05 北京奇艺世纪科技有限公司 图像模糊区域自动检测方法及系统
CN107330891B (zh) * 2017-07-17 2021-02-19 浙报融媒体科技(浙江)有限责任公司 一种有效的图像质量评价系统
CN110889410B (zh) * 2018-09-11 2023-10-03 苹果公司 浅景深渲染中语义分割的稳健用途
CN110807745B (zh) * 2019-10-25 2022-09-16 北京小米智能科技有限公司 图像处理方法及装置、电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101917550A (zh) * 2010-07-01 2010-12-15 清华大学 高时空分辨率视频去模糊方法及系统
CN102132319A (zh) * 2008-06-26 2011-07-20 微软公司 使用色彩先验的图像解卷积
US8249377B1 (en) * 2008-06-08 2012-08-21 Hewlett-Packard Development Company, L.P. Blurred digital image deblurring
CN103049906A (zh) * 2012-12-07 2013-04-17 清华大学深圳研究生院 一种图像深度提取方法
CN103514582A (zh) * 2012-06-27 2014-01-15 郑州大学 基于视觉显著的图像去模糊方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254309B (zh) * 2011-07-27 2016-03-23 清华大学 一种基于近红外图像的运动模糊图像去模糊方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249377B1 (en) * 2008-06-08 2012-08-21 Hewlett-Packard Development Company, L.P. Blurred digital image deblurring
CN102132319A (zh) * 2008-06-26 2011-07-20 微软公司 使用色彩先验的图像解卷积
CN101917550A (zh) * 2010-07-01 2010-12-15 清华大学 高时空分辨率视频去模糊方法及系统
CN103514582A (zh) * 2012-06-27 2014-01-15 郑州大学 基于视觉显著的图像去模糊方法
CN103049906A (zh) * 2012-12-07 2013-04-17 清华大学深圳研究生院 一种图像深度提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Defocus map estimation from a single image;Shaojie Zhou 等;《Pattern Recognition》;20110930;第44卷(第9期);第1852-1856页 *

Also Published As

Publication number Publication date
CN105574823A (zh) 2016-05-11

Similar Documents

Publication Publication Date Title
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
Hyun Kim et al. Dynamic scene deblurring
WO2017100971A1 (zh) 一种失焦模糊图像的去模糊方法和装置
Yang et al. Real-time O (1) bilateral filtering
Ji et al. Robust image deblurring with an inaccurate blur kernel
JP6314654B2 (ja) グレースケール画像処理方法及び装置
CN105574823B (zh) 一种失焦模糊图像的去模糊方法和装置
JP2011028588A (ja) 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
Trentacoste et al. Blur‐aware image downsampling
CN110503704B (zh) 三分图的构造方法、装置和电子设备
CN110874827A (zh) 湍流图像复原方法、装置、终端设备及计算机可读介质
CN108234826B (zh) 图像处理方法及装置
CN107424121B (zh) 一种基于分数阶微分的模糊图像超分辨率重构方法
Oh et al. Robust estimation of motion blur kernel using a piecewise-linear model
Sadek et al. A variational model for gradient-based video editing
Facciolo et al. Temporally consistent gradient domain video editing
CN110503611A (zh) 图像处理的方法和装置
Liu et al. Robust guided image filtering
Junjie et al. An image defocus deblurring method based on gradient difference of boundary neighborhood
CN112365431A (zh) 基于金字塔分解的图像增强方法、装置、设备和存储介质
Hung et al. Real-time interpolation using bilateral filter for image zoom or video up-scaling/transcoding
Zhen et al. Inertial sensor aided multi-image nonuniform motion blur removal based on motion decomposition
Kollem A fast computational technique based on a novel tangent sigmoid anisotropic diffusion function for image-denoising
JP5855210B2 (ja) 情報処理装置、ライン状ノイズ低減処理方法、及びプログラム
Gastal Efficient high-dimensional, edge-aware filtering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant