CN108154488B - 一种基于显著图像块分析的图像运动模糊去除方法 - Google Patents
一种基于显著图像块分析的图像运动模糊去除方法 Download PDFInfo
- Publication number
- CN108154488B CN108154488B CN201711438764.9A CN201711438764A CN108154488B CN 108154488 B CN108154488 B CN 108154488B CN 201711438764 A CN201711438764 A CN 201711438764A CN 108154488 B CN108154488 B CN 108154488B
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- image
- interest
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 title claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000007637 random forest analysis Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 8
- 239000000853 adhesive Substances 0.000 claims description 3
- 230000001070 adhesive effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 238000002203 pretreatment Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 6
- 238000011084 recovery Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 235000013399 edible fruits Nutrition 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Abstract
本发明提供了一种基于显著图像块分析的图像运动模糊去除方法，涉及图像处理领域，本发明生成超像素，利用基于密度的聚类算法融合成一个超像素，以超像素为单位进行兴趣图计算；获得所有图层的兴趣图后，将兴趣图按权重进行线性叠加，本发明将选取显著图像块的方法应用于去模糊算法的输入，与去模糊算法相结合，实现最终的图像恢复过程，最终得到图像前景区域更加自然的模糊去除结果。本发明有效恢复模糊图像中人眼感兴趣的前景部分，核估计速度大幅提高。
Description
技术领域
本发明涉及图像处理领域，尤其是一种图像运动模糊去除方法。
背景技术
图像运动模糊通常发生在相机曝光时间内，由相机拍摄点和拍摄场景之间的相对运动引起，导致图像质量的极大退化。如何仅从单张模糊图像中准确估计模糊核并恢复出清晰图像，近几年逐渐成为计算机领域中一项热门话题。
文献“Pan J,Sun D,Pfister H,et al.Blind Image Deblurring Using DarkChannel Prior[C].IEEE Conference on Computer Vision and PatternRecognition.IEEE Computer Society,2016:1628-1636.”公开了一种基于暗通道的模糊核估计方法。该方法将整张模糊图像作为初始输入，在迭代过程中对图像暗通道的零范数进行约束，利用半二次分解算法计算中间图像并估计模糊核。文献所述方法基于全图计算，由于零范数优化问题高度非凸，处理结果虽然精度高但非常耗时，尤其针对大尺寸图像，速度过慢。
文献“Bae H,Fowlkes C C,Chou P H.Patch Mosaic for Fast MotionDeblurring[C].Asian Conference on Computer Vision.Springer Berlin Heidelberg,2012:322-335.”公开了一种基于图像块拼接的图像模糊核快速估计方法。该方法筛选并拼接模糊图像中适合核估计的区域，根据拼接结果实现模糊核的快速估计。文献所述方法针对图像块的选择策略过于简单，且没有考虑图像块的空间连续性，模糊核估计的速度虽然大幅提高，但结果的精度过低。
文献“Hu Z,Yang M H.Learning Good Regions to Deblur Images[J].International Journal of Computer Vision,2015,115(3):345-362.”公开了一种基于条件随机场框架的图像模糊核估计方法。该方法利用大量模糊图像区域的特征向量和对应的模糊核估计准确度，训练条件随机场模型，并根据模型选出模糊图像中适合核估计的区域。文献所述方法预先准备大量模糊数据，模型训练过程复杂且耗时，不适用于一般情况。
发明内容
为了克服现有技术的不足，克服现有的模糊图像核估计方法速度与精度无法平衡的不足，本发明提出一种基于显著图像块分析的图像运动模糊去除方法，关键在于模糊核的估计。对于模糊核估计，并非模糊图像中的所有像素都是有益的，例如平滑和含有琐碎边缘的图像背景区域会损伤对模糊核估计结果，将整张模糊图像作为算法输入这一做法存在缺陷。此外，由于相机成像时焦距的原理，无论图像多么清晰，人们感兴趣的背景区域往往都要比目标前景更加模糊，因此只要能够准确估计图像前景区域对应的模糊核，就可以满足图像去模糊的需要。本发明整合三个相关线索：目标概率、结构丰富度和区域对比度，提出显著图像块的概念。将模糊核估计的范围约束在显著图像块中，可以保证基于全图方法结果的精度，同时大幅提高处理速度。针对大尺寸的模糊图像，本发明的改进效果尤为明显。
本发明解决其技术问题所采用的技术方案包括下述步骤：
步骤一、生成超像素
输入图像为模糊图像，将模糊图像采用边缘附着超像素检测器(Sticky EdgeAdhesive Superpixels Detector)，基于训练好的随机森林框架(random forestframework)，在快速提取出图像显著边缘的同时，生成贴合图像显著边缘的超像素，并保证过分割结果不会破坏图像的边缘性质，即使得分割后图像中显著的边缘会被包含在单个超像素中，而不会横跨多个超像素；
步骤二、利用基于密度的聚类算法DBSCAN(Density-Based Spatial Clusteringof Applications with Noise)将位置相邻且颜色直方图距离小于用户给定阈值的若干超像素融合成一个超像素，即将相邻的像素进行区域合并，生成超像素尺寸不同的聚类结果，融合后超像素的位置不变，总体个数减少，本发明设定三个递增的阈值分别为2、4、5，先后对分割结果通过聚类算法进行超像素融合，每次聚类的输入都是上一次的输出，最终生成三个超像素尺度递增的过分割图层；
步骤三、针对步骤二中生成的三个过分割图层结果，以超像素为单位进行兴趣图计算；兴趣图(interest map)是与模糊图像尺寸相同的灰度图像，兴趣图的值域在0到1之间，每个超像素区域获得同一个兴趣得分，本发明中，在每个分割图层下，计算所有超像素目标概率、结构丰富度和区域对比度三个线索的得分，并对得分进行整合，获得兴趣图：
S＝exp(SRs+LCs)×OPs (1)
式(1)中，OPs、SRs、LCs分别表示超像素级别的目标概率、结构丰富度和区域对比度得分，S表示最终兴趣图结果；
其中目标概率OPs衡量每个超像素包含目标前景的几率，先在像素级别上计算获得OPp(p)，再计算超像素级别的OPs(x)，具体地，在计算像素级别目标概率OPp(p)时，先在输入图像中选取N个随机尺寸和随机位置的矩形候选框，本发明N设为50，并根据Objectnessmeasure方法，计算所有候选框包含目标前景的概率得分，随后对包含当前像素的候选框的得分求和，作为该像素的目标概率，OPp(p)的计算公式为：
式(2)中，p为当前像素，OPp(p)表示当前像素p的目标概率，B(p)表示包含像素p的所有候选框构成的集合，P(b)表示集合B(p)中的一个候选框b对应的概率得分；
在获得所有像素级别的目标概率OPp(p)后，超像素x的目标概率得分OPs(x)为超像素x所包含的像素级别目标概率的均值：
其中，x表示一个超像素的区域，numel(x)表示当前超像素x包含的像素个数，y依次表示超像素内所有像素；
结构丰富度SRs计算公式为：
式中，x表示当前超像素，Is是图像的显著边缘图，已由步骤一的随机森林框架快速提取出，||▽Is(y)||2是Is在像素y处横纵两个方向的梯度的平方和；
区域对比度LCs的计算公式为：
其中，ci为当前超像素，Nj为图像中所有超像素的总个数，ωij是超像素cj占所有相邻的面积比重，d(ci,cj)为超像素ci和cj之间的直方图欧氏距离距离，为非负函数，g(x,y)为当前超像素中心(x,y)到图像中心(x0,y0)的空间距离，q(u)是关于当前超像素中落在图像边界上的像素个数u的函数，g(x,y)和q(u)的具体形式为：
δx，δy分别为图像宽和高尺寸的三分之一，exp表示指数函数，η和λ为给定的常数，η和λ均在0.05到0.1范围内取值，E是整张图像的边界像素的总个数；
将公式(3)，(4)，(5)代入公式(1)计算每个分割图层下的兴趣图，对公式(1)的结果进行归一化，使值域在0到1范围内；
步骤四、获得所有图层的兴趣图后，将兴趣图按权重进行线性叠加，超像素最精细的图层即步骤2中的第一次聚类后生成的过分割图层采取权重0.4，中间图层即步骤2中的第二次聚类后生成的过分割图层的权重为0.3，最粗糙的图层即步骤2中的第三次聚类后生成的过分割图层权重取0.3，对各个兴趣图带入公式(1)加权之后，采用中值滤波进行优化，即利用大津法二值分割获得前景区域和背景区域的划分，并求得前景部分的质心，即把前景区域内所有像素的横纵坐标加和求平均值得到质心的横纵坐标，并以此质心点为中心选定尺寸在150*150～400*400像素大小之间的图像块作为显著图像块，将显著图像块作为不同模糊核估计算法的输入；
步骤五、本发明将选取显著图像块的方法应用于去模糊算法的输入，作为预处理步骤，与三个去模糊算法相结合，所述三个去模糊算法包括基于正则化稀疏先验的模糊核估计算法、基于重尾分布先验的模糊核估计算法以及基于暗通道先验的模糊核估计算法，随后将模糊原图和模糊核估计结果作为非盲算法的输入，利用非盲去模糊算法，实现最终的图像恢复过程，最终得到图像前景区域更加自然的模糊去除结果。
本发明的有益效果在于将显著图像块作为模糊核估计的输入，保存对模糊核估计精度有益的图像信息，剔除包含平滑和琐碎边缘的背景区域对模糊核估计的不利影响，有效恢复模糊图像中人眼感兴趣的前景部分；此外由于处理数据量的减少，核估计速度大幅提高。本发明相当于去模糊算法的预处理算法，在实验部分选择以上三种经典的去模糊算法作为例子。实验结果证明，基于显著图像块的模糊核估计方法可以保证基于全图方法结果的精度，同时最高将处理速度提高9至10倍。
附图说明
图1是本发明方法的总体流程图。
图2是本发明方法结果的示意图，其中，图2(a)是输入的模糊图像；图2(b)是模糊核相似度热度图，图2(c)是最终的兴趣图与显著图像块选取结果；图2(d)是根据显著图像块得出的图像恢复结果。
图3是本发明方法的对比效果示意图，其中，图3(a)是输入的模糊图像，方形框分别表示背景图像块和显著图像块；图3(b)是真实清晰图像；图3(c)是基于全图的图像恢复结果；图3(d)是基于背景图像块的图像恢复结果；图3(e)是基于显著图像块的图像恢复结果。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明是一种基于显著图像块的模糊图像核估计方法，图1是本发明方法的总体流程图。该方法通过计算输入图像的显著图，选取适合于模糊核估计的显著图像块，主要实施方法如下：
步骤一、生成超像素
本发明采用文献“Dollár P,Zitnick C L.Structured Forests for Fast EdgeDetection[C]//IEEE International Conference on Computer Vision.IEEE ComputerSociety,2013:1841-1848.”提出的边缘附着超像素检测器(Sticky Edge AdhesiveSuperpixels Detector)，基于训练好的随机森林框架(random forest framework)，该模型在数据集Berkeley Segmentation Dataset and Benchmark(BSDS500)上训练得到，在快速提取出图像显著边缘的同时，生成贴合图像显著边缘的超像素，并保证过分割结果不会破坏图像的边缘性质，即使得分割后图像中显著的边缘会被包含在单个超像素中，而不会横跨多个超像素。
步骤二、利用基于密度的聚类算法DBSCAN(Density-Based Spatial Clusteringof Applications with Noise)将位置相邻且颜色直方图距离小于用户给定阈值的若干超像素融合成一个超像素，即将相邻的像素进行区域合并，生成超像素尺寸不同的聚类结果，融合后超像素的位置不变，只是总体个数减少，本发明设定三个递增的阈值为2、4、5，先后对分割结果通过聚类算法进行超像素融合，每次聚类的输入都是上一次的输出，最终生成三个超像素尺度递增的过分割图层；即第一次合并超像素时，阈值设置为2，所有直方图距离都和2进行比较；第二次设置为4，所有直方图距离都和4比较；第三次设为5，和5比较，不断减少超像素个数，一共三轮。
聚类后的结果可以粗略地将背景部分聚成同一超像素，而前景部分依然保持密集的超像素分布，这样为后续的兴趣图计算提供便利，获得更准确的得分。
步骤三、针对步骤二中生成的三个过分割图层结果，以超像素为单位进行兴趣图计算；兴趣图(interest map)是与模糊图像(即输入图像)尺寸相同的灰度图像，兴趣图的值域在0到1之间，每个超像素区域获得同一个兴趣得分，得分高代表该区域更吸引人眼注意，同时更适合模糊核估计。与清晰图像的显著性检测不同，模糊图像由于质量大幅下降，颜色对比、线条变化等信息不够明显，传统的兴趣图计算方法将不再适用。为解决这一问题，本发明专门为模糊图像考虑三个相互辅助的线索：目标概率、结构丰富度和区域对比度，更加准确地计算模糊图像的兴趣图，兴趣得分计算方法如下所述。
在每个分割图层下，计算所有超像素目标概率、结构丰富度和区域对比度三个线索的得分，并对得分进行整合，获得兴趣图：
S＝exp(SRs+LCs)×OPs (1)
式(1)中，OPs、SRs、LCs分别表示超像素级别的目标概率、结构丰富度和区域对比度得分，S表示最终兴趣图结果，值域在0到1范围内；
其中目标概率OPs衡量每个超像素包含目标前景的几率，先在像素级别上计算获得OPp(p)，再计算超像素级别的OPs(x)，具体地，在计算像素级别目标概率OPp(p)时，先在输入图像中选取N个随机尺寸和随机位置的矩形候选框，本发明N设为50，并根据文献“AlexeB,Deselaers T,Ferrari V.Measuring the Objectness of Image Windows[J].IEEETransactions on Pattern Analysis&Machine Intelligence,2012,34(11):2189.”提出的方法提出的“Objectness measure”方法，计算所有候选框包含目标前景的概率得分，随后对包含当前像素的候选框的得分求和，作为该像素的目标概率，OPp(p)的计算公式为：
式(2)中，p为当前像素，OPp(p)表示当前像素p的目标概率，B(p)表示包含像素p的所有候选框构成的集合，P(b)表示集合B(p)中的一个候选框b对应的概率得分；
在获得所有像素级别的目标概率OPp(p)后，超像素x的目标概率得分OPs(x)为x所包含的像素级别目标概率的均值：
其中，x表示一个超像素的区域，numel表示当前超像素x包含的像素个数，y依次表示超像素内所有像素；
结构丰富度SRs衡量每个超像素内含有图像边缘的数量和显著程度，显著边缘是模糊核估计过程的关键，相反，平滑图像区域在模糊前后性质不发生变化，损害核估计精度，因此结构丰富度越高越适合模糊核估计。我们用超像素内显著边缘像素的梯度值衡量结构丰富度，梯度越大代表当前超像素越有可能成为显著目标。由于之前生成的超像素贴合图像显著边缘，因此在计算超像素结构丰富度时，应当同时将超像素内部和边缘的像素点统计在内，具体计算公式为：
式中，x表示当前超像素，Is是图像的显著边缘图，已由步骤一的随机森林框架快速提取出，||▽Is(y)||2是Is在像素y处横纵两个方向的梯度的平方和；
区域对比度LCs衡量每个超像素与相邻超像素之间的对比强度，当前超像素内颜色越特别，与周边超像素的直方图距离越大，它所得的区域对比度应该越高，越可能是前景目标的一部分，相反，背景区域的超像素之间对比变化不明显，对核估计的作用不大：
其中，ci为当前超像素，Nj为图像中所有超像素的总个数，ωij是超像素cj占所有相邻的面积比重，d(ci,cj)为超像素ci和cj之间的直方图欧氏距离距离，为非负函数，g(x,y)为当前超像素中心(x,y)到图像中心(x0,y0)的空间距离，距离越大，超像素越靠近图像边界，成为前景目标的概率越低，q(u)是关于当前超像素中落在图像边界上的像素个数u的函数，u越大表示超像素是前景目标的一部分的概率越低，g(x,y)和q(u)的具体形式为：
δx，δy分别为图像宽和高尺寸的三分之一；具体地，exp表示指数函数，η和λ是给定的常数，η和λ在0.05到0.1范围内取值，本发明取η为0.07，λ为0.05，E是整张图像的边界像素的总个数。
整合三个线索，按公式(1)计算每个分割图层下的兴趣图。
具体地，目标概率OPs衡量每个超像素包含目标前景的几率；结构丰富度SRs衡量每个超像素内含有图像边缘的数量，相比于平滑区域，图像边缘部分在模糊核估计中起到重要作用，因此结构丰富度越大表示越适合模糊核估计；区域对比度LCs衡量每个超像素与相邻超像素之间的对比强度，当前超像素内颜色越特别，与周边超像素的直方图距离越大，越有可能成为前景的一部分。
将公式(3)，(4)，(5)代入公式(1)计算每个分割图层下的兴趣图，对公式(1)的结果进行归一化，使值域在0到1范围内，每个兴趣图都与模糊图像尺寸相同，其中每个超像素拥有同样的兴趣得分，得分越高代表越适合进行模糊核估计；
图2表明模糊图像中并非所有区域都适合核估计，平滑且不受人眼关注的背景区域会损害前景区域对应的结果精度，将整张图像作为模糊核估计算法的输入存在缺陷。图中，子图(b)是模糊核相似度热度图，每个像素的亮度值是包含它的所有滑窗算出的模糊核与真实模糊核之间相似度的平均值结果，亮度高的区域代表估计出的模糊核与真实模糊核的相似度高，亮度低的区域代表相似度低。可以看出图像不同区域估计出的模糊核与真实模糊核之间的相似度差异很大；图2(a)是本发明输入的模糊图像；图2(b)是模糊核相似度热度图，每个像素的亮度值是包含它的所有滑窗算出的模糊核与真实模糊核之间相似度的平均值结果，亮度高的区域代表估计出的模糊核与真实模糊核的相似度高，亮度低的区域代表相似度低；图2(c)是最终的兴趣图与显著图像块选取结果；图2(d)是根据显著图像块得出的图像恢复结果。
步骤四、获得所有图层的兴趣图后，将兴趣图按权重进行线性叠加，由于不同图层中超像素的尺度不同，简单地对所有图层求平均值显得不够合理，受文献“Yan Q,Xu L,ShiJ,et al.Hierarchical Saliency Detection[C]//Computer Vision and PatternRecognition.IEEE,2013:1155-1162.”的启发，超像素最精细的图层包含更复杂的前景和背景信息，因而应当占据更高的权重。在本发明中，超像素最精细的图层采取权重0.4，中间图层采取0.3，最粗糙的图层采取0.3，实验环节证明可以生成很好的兴趣图整合结果。考虑到各个兴趣图的生成过程中可能引入不自然的噪声，因此对各个兴趣图进一步采用中值滤波进行优化。大津法Otsu作为灰度图像二值化的经典方法，可以很好地应用于本发明的兴趣图整合结果，辨别前景和背景。进行大津法二值分割获得前景区域和背景区域的划分，接着确定前景部分的质心即把前景区域内所有像素的横纵坐标加和求平均值得到质心的横纵坐标，并以该点为中心选定合适尺寸的图像块作为显著图像块，将显著图像块作为不同模糊核估计算法的输入。
本发明中将尺寸大于600*800的图像定为较大的图像，尺寸小于600*800的定为一般的图像。对于较大的图像，取400×400的图像块作为显著图像块，对于一般的图像，尺寸取150*150～400*400之间的图像块作为显著图像块，实际应用中，用户可根据需要自行界定图像是否足够大，但显著图像块的尺寸依然要按照上述标准确定。文献“Hu Z,Yang MH.Learning Good Regions to Deblur Images[J].International Journal of ComputerVision,2015,115(3):345-362.”中提到，图像块尺寸对模糊核估计精度的影响不大，本发明设定尺寸为400×400；
在获得三个分割图层对应的兴趣图后，本发明按0.4、0.3、0.3的权重线性叠加结果，采用中值滤波去除其中噪声并进行大津法二值分割。接着选择面积最大的连通的前景区域，确定该区域的质心，并以该点为中心选定尺寸为400×400的图像块作为显著图像块，将显著图像块作为不同模糊核估计算法的输入。
步骤五、本发明将选取显著图像块的方法应用于去模糊算法的输入，作为预处理步骤，与三个去模糊算法相结合。本发明在实验环节分别结合了三种经典的模糊核估计算法，依次为：文献“Krishnan D,Tay T,Fergus R.Blind deconvolution using anormalized sparsity measure[C]//Computer Vision and Pattern Recognition(CVPR),2011IEEE Conference on.IEEE,2011:233-240.”提出的基于正则化稀疏先验的模糊核估计算法，文献“Kotera J,F,Milanfar P.Blind deconvolution usingalternating maximum a posteriori estimation with heavy-tailed priors[C]//International Conference on Computer Analysis of Images andPatterns.Springer,Berlin,Heidelberg,2013:59-66.”提出的基于重尾分布先验的模糊核估计算法，以及文献“Pan J,Sun D,Pfister H,et al.Blind image deblurring usingdark channel prior[C]//Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition.2016:1628-1636.”提出的基于暗通道先验的模糊核估计算法。通过与以上算法相结合，实验证明都可以获得准确的模糊核结果，随后将模糊原图和模糊核估计结果作为非盲算法的输入。本发明采用文献“Pan J,Hu Z,Su Z,et al.Deblurringtext images via L0-regularized intensity and gradient prior[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition.2014:2901-2908.”提出的非盲去模糊算法，实现最终的图像恢复过程，最终得到图像前景区域更加自然的模糊去除结果。
图3是本发明的对比结果。图中，图3(a)是输入的模糊图像，方形框分别表示背景图像块和显著图像块；图3(b)是真实清晰图像；图3(c)是基于全图的图像恢复结果；图3(d)是基于背景图像块的图像恢复结果；图3(e)是基于显著图像块的图像恢复结果。对比实验中采用相同的模糊核估计和去模糊算法。图3(c)表明基于全图的恢复结果出现失真现象，图3(d)基于背景图像块的恢复结果明显错误，而图3(e)基于显著图像块的结果最接近真实清晰图像，对比实验中采用相同的模糊核估计和去模糊算法。
Claims (1)
1.一种基于显著图像块分析的图像运动模糊去除方法，其特征在于包括下述步骤：
步骤一、生成超像素；
输入图像为模糊图像，将模糊图像采用边缘附着超像素检测器(Sticky EdgeAdhesive Superpixels Detector)，基于训练好的随机森林框架(random forestframework)，在提取出图像显著边缘的同时，生成贴合图像显著边缘的超像素，并保证过分割结果不会破坏图像的边缘性质，即使得分割后图像中显著的边缘会被包含在单个超像素中，而不会横跨多个超像素；
步骤二、利用基于密度的聚类算法DBSCAN(Density-Based Spatial Clustering ofApplications with Noise)将位置相邻且颜色直方图距离小于用户给定阈值的若干超像素融合成一个超像素，即将相邻的超像素进行区域合并，生成超像素尺寸不同的聚类结果，融合后超像素的位置不变，总体个数减少，设定三个递增的阈值分别为2、4、5，先后对分割结果通过聚类算法进行超像素融合，每次聚类的输入都是上一次的输出，最终生成三个超像素尺度递增的过分割图层；
步骤三、针对步骤二中生成的三个过分割图层结果，以超像素为单位进行兴趣图计算；兴趣图(interest map)是与模糊图像尺寸相同的灰度图像，兴趣图的值域在0到1之间，每个超像素区域获得同一个兴趣得分，在每个分割图层下，计算所有超像素目标概率、结构丰富度和区域对比度三个线索的得分，并对得分进行整合，获得兴趣图：
S＝exp(SRs+LCs)×OPs (1)
式(1)中，OPs、SRs、LCs分别表示超像素级别的目标概率、结构丰富度和区域对比度得分，S表示最终兴趣图结果；
其中目标概率OPs衡量每个超像素包含目标前景的几率，先在像素级别上计算获得OPp(p)，再计算超像素级别的OPs(x)，具体地，在计算像素级别目标概率OPp(p)时，先在输入图像中选取N个随机尺寸和随机位置的矩形候选框，N设为50，并根据Objectness measure方法，计算所有候选框包含目标前景的概率得分，随后对包含当前像素的候选框的得分求和，作为该像素的目标概率，OPp(p)的计算公式为：
式(2)中，p为当前像素，OPp(p)表示当前像素p的目标概率，B(p)表示包含像素p的所有候选框构成的集合，P(b)表示集合B(p)中的一个候选框b对应的概率得分；
在获得所有像素级别的目标概率OPp(p)后，超像素x的目标概率得分OPs(x)为超像素x所包含的像素级别目标概率的均值：
其中，x表示一个超像素的区域，numel(x)表示当前超像素x包含的像素个数，y依次表示超像素内所有像素；
结构丰富度SRs计算公式为：
式中，x表示当前超像素，Is是图像的显著边缘图，已由步骤一的随机森林框架提取出，是Is在像素y处横纵两个方向的梯度的平方和；
区域对比度LCs的计算公式为：
其中，ci为当前超像素，Nj为与ci相邻的超像素的数量，ωij是基于超像素cj的面积与所有相邻超像素的面积的比值，d(ci,cj)为超像素ci和cj之间的直方图欧氏距离，为非负函数，g(x,y)为当前超像素中心(x,y)到图像中心(x0,y0)的空间距离，q(u)是关于当前超像素中落在图像边界上的像素个数u的函数，g(x,y)和q(u)的具体形式为：
δx，δy分别为图像宽和高尺寸的三分之一，exp表示指数函数，η和λ为给定的常数，η和λ均在0.05到0.1范围内取值，E是整张图像的边界像素的总个数；
将公式(3)，(4)，(5)代入公式(1)计算每个分割图层下的兴趣图，对公式(1)的结果进行归一化，使值域在0到1范围内；
步骤四、获得所有图层的兴趣图后，将兴趣图按权重进行线性叠加，超像素最精细的图层即步骤二中的第一次聚类后生成的过分割图层，采取权重0.4，中间图层即步骤二中的第二次聚类后生成的过分割图层，权重为0.3，最粗糙的图层即步骤二中的第三次聚类后生成的过分割图层，权重为0.3，将各个兴趣图带入公式(1)加权之后，采用中值滤波进行优化，即利用大津法二值分割获得前景区域和背景区域的划分，并求得前景部分的质心，即把前景区域内所有像素的横纵坐标加和求平均值得到质心的横纵坐标，并以此质心点为中心选定尺寸在150*150～400*400像素大小之间的图像块作为显著图像块，将显著图像块作为不同模糊核估计算法的输入；
步骤五、将选取显著图像块的方法应用于去模糊算法的输入，作为预处理步骤，与三个去模糊算法相结合，所述三个去模糊算法包括基于正则化稀疏先验的模糊核估计算法、基于重尾分布先验的模糊核估计算法以及基于暗通道先验的模糊核估计算法，随后将模糊原图和模糊核估计结果作为非盲算法的输入，利用非盲去模糊算法，实现最终的图像恢复过程，最终得到图像前景区域的模糊去除结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711438764.9A CN108154488B (zh) | 2017-12-27 | 2017-12-27 | 一种基于显著图像块分析的图像运动模糊去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711438764.9A CN108154488B (zh) | 2017-12-27 | 2017-12-27 | 一种基于显著图像块分析的图像运动模糊去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108154488A CN108154488A (zh) | 2018-06-12 |
| CN108154488B true CN108154488B (zh) | 2019-10-22 |
Family
ID=62463037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711438764.9A Active CN108154488B (zh) | 2017-12-27 | 2017-12-27 | 一种基于显著图像块分析的图像运动模糊去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108154488B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934778B (zh) * | 2019-01-30 | 2024-02-23 | 长视科技股份有限公司 | 一种家用监控视频截图的盲去模糊方法 |
| CN112215773B (zh) * | 2020-10-12 | 2023-02-17 | 新疆大学 | 基于视觉显著性的局部运动去模糊方法、装置及存储介质 |
| CN115147415B (zh) * | 2022-09-02 | 2022-12-02 | 山东微山湖酒业有限公司 | 基于图像处理的酒盒缺陷检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513070A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 一种基于前景背景优化的rgb-d显著物体检测方法 |
| CN106097256A (zh) * | 2016-05-31 | 2016-11-09 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
| CN107274419A (zh) * | 2017-07-10 | 2017-10-20 | 北京工业大学 | 一种基于全局先验和局部上下文的深度学习显著性检测方法 |
| CN107452013A (zh) * | 2017-05-27 | 2017-12-08 | 深圳市美好幸福生活安全系统有限公司 | 基于Harris角点检测和Sugeno模糊积分的显著性检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106780376A (zh) * | 2016-12-07 | 2017-05-31 | 中国农业科学院农业信息研究所 | 基于显著性检测和联合分割算法的背景图像分割方法 |
| CN106683049A (zh) * | 2016-12-21 | 2017-05-17 | 华南理工大学 | 一种基于显著图和稀疏表示的图像超分辨率重构方法 |
-
2017
- 2017-12-27 CN CN201711438764.9A patent/CN108154488B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513070A (zh) * | 2015-12-07 | 2016-04-20 | 天津大学 | 一种基于前景背景优化的rgb-d显著物体检测方法 |
| CN106097256A (zh) * | 2016-05-31 | 2016-11-09 | 南京邮电大学 | 一种基于图像盲去模糊的视频图像模糊度检测方法 |
| CN107452013A (zh) * | 2017-05-27 | 2017-12-08 | 深圳市美好幸福生活安全系统有限公司 | 基于Harris角点检测和Sugeno模糊积分的显著性检测方法 |
| CN107274419A (zh) * | 2017-07-10 | 2017-10-20 | 北京工业大学 | 一种基于全局先验和局部上下文的深度学习显著性检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Building Extraction from Remotely Sensed Images by Integrating Saliency Cue;Er Li等;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20170331;第10卷(第3期);第906-919页 * |
| Detecting aircrafts from satellite images using saliency and conical pyramid based template representation;Samik Banerjee等;《Sadhana-academy Proceedings in Engineering Sciences》;20161004;第1155-1171页 * |
| The image segmentation based on optimized spatial feature of superpixel;Xiaolin Tian等;《Journal of Visual Communication and Image Representation》;20150131;第146-160页 * |
| 基于视觉显著性和图割优化的图像自动分割;能纪涛等;《中国体视学与图像分析》;20161231;第21卷(第4期);第367-373页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108154488A (zh) | 2018-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Engin et al. | Cycle-dehaze: Enhanced cyclegan for single image dehazing | |
| Zheng et al. | Semantic-guided zero-shot learning for low-light image/video enhancement | |
| CN108921799B (zh) | 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法 | |
| Zou et al. | Deep adversarial decomposition: A unified framework for separating superimposed images | |
| CN109685045B (zh) | 一种运动目标视频跟踪方法及系统 | |
| Le et al. | Deeply Supervised 3D Recurrent FCN for Salient Object Detection in Videos. | |
| CN108154488B (zh) | 一种基于显著图像块分析的图像运动模糊去除方法 | |
| Li et al. | A maximum a posteriori estimation framework for robust high dynamic range video synthesis | |
| Chen et al. | Single depth image super-resolution using convolutional neural networks | |
| Li | A survey on image deblurring | |
| CN105719251A (zh) | 一种用于大像移线性模糊的压缩降质图像复原方法 | |
| Hua et al. | Background extraction using random walk image fusion | |
| Xu et al. | Extended non-local feature for visual saliency detection in low contrast images | |
| Zheng et al. | Depth image super-resolution using multi-dictionary sparse representation | |
| CN116596792B (zh) | 一种面向智能船舶的内河雾天场景恢复方法、系统及设备 | |
| CN106485734B (zh) | 一种基于非局部自相似性的视频运动物体检测方法 | |
| Chen et al. | A deep motion deblurring network using channel adaptive residual module | |
| Gasparyan et al. | Iterative Retinex-Based Decomposition Framework for Low Light Visibility Restoration | |
| Guo et al. | MDSFE: Multiscale deep stacking fusion enhancer network for visual data enhancement | |
| Zeng et al. | Single image motion deblurring based on modified denseNet | |
| CN111539396A (zh) | 一种基于yolov3的行人检测及步态识别的方法 | |
| Sun et al. | Fractal pyramid low-light image enhancement network with illumination information | |
| Wen et al. | Patch-wise blind image deblurring via Michelson channel prior | |
| Kumari et al. | A new fast and efficient dehazing and defogging algorithm for single remote sensing images | |
| CN109685825A (zh) | 用于热红外目标跟踪的局部自适应特征提取方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |