CN106920229A - 图像模糊区域自动检测方法及系统 - Google Patents

Abstract

本发明公开一种图像模糊区域自动检测方法及系统，所述方法包括以下步骤：从预置的图像数据库中提取清晰图像样本和模糊图像样本，利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型；将每个图像小块输入到训练好的模型中，按照相同的模型结构以及训练好的参数，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度分数。本发明可以减少人工标注所带来的时间成本和经济成本，提高自动化程度，保证网络的性能。

Description

图像模糊区域自动检测方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像模糊区域自动检测方法及系统。

背景技术

清晰度是衡量图像质量至关重要的一项评价指标，对于图像使用者或者制作者来说，都期望使用或者制作主体清晰的图像，来表达其所要传递的意思。例如，对于图像制作者，当用户拍摄相片或者视频时，虽然当前的对焦技术和防抖技术能够在一定程度上协助用户提升图像的质量，但这些技术并不能保证所有拍摄的图像和视频都是清晰的。由于在拍摄过程中存在对焦失败、被拍摄物体强烈运动或者拍摄者手抖的情况，用户可能会在不知情的情况下，获得了模糊的照片或者视频，失去了重新拍摄的机会。如果存在一种自动检测图像模糊区域的技术，就可以自动的分析图像中模糊区域的面积，当发现图像或者视频中出现大面积模糊时，提醒用户进行重新拍摄，可以减少用户的损失。

另一方面,对于互联网公司而言，每天需要处理大量的图像、视频数据，并会挑选其中有价值的数据进行利用。例如，对于视频网站而言，需要从用户上传的视频中，挑选最具代表性的视频帧，作为视频的宣传海报图，放置于页面或者APP中供用户预览，如果选择的视频帧是模糊的，会大大影响所要表现的内容以及用户体验。如果利用图像模糊区域自动检测算法对于选择的视频帧进行自动的过滤，仅选择清晰的视频帧使用，可以提升整体海报图的清晰度，同时减少人工审核的成本。可见图像模糊区域自动检测算法不论对于图像、视频制作还是使用者来说，都是重要的图像处理技术。

目前，现有的图像模糊区域自动检测算法，一般可以分为两大类，第一类基于人工设计的特征，根据人工设定的规则对于模糊区域和清晰区域进行区分，这类方法过多依赖于人工设定的规则以及特征，算法不具有通用性，属于早期的研究结果。第二大类同样基于多种人工设计的特征，描述清晰和模糊区域的差别，利用传统的机器学习方法对于众多特性进行统计学习，获得检测模型，对于图像区域进行分类。此类方法优于第一类方法，但仍然受限于人工设计特征和模型的通用性，不能很好地解决问题。

发明内容

本发明的主要目的在于提供一种图像模糊区域自动检测方法，旨在自动将图像中的清晰区域同模糊区域进行区分，使得算法更具有通用性。同时，能够在少量人工标注的情况下获得大量数据，对于深度学习模型进行训练，解决深度学习过程中对于人工标注数据依赖的问题，大大削减人工成本。

为实现上述目的，本发明提供一种图像模糊区域自动检测方法，所述图像模糊区域自动检测方法包括以下步骤：

从预置的图像数据库中提取清晰图像样本和模糊图像样本；

利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型；

利用滑动窗口以预设尺寸及步长遍历待检测的图像，将图像分割为多个图像小块；

将每个图像小块输入到所述网络模型中，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；

对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度。

优选地，所述从预置的图像数据库中提取清晰图像样本和模糊图像样本的步骤包括：

根据图像数据库中的每一张图的大小，生成若干矩形框，根据矩形框的位置信息，截取图像小块；

计算每个图像小块的平均边缘强度，当某图像小块的平均边缘强度大于预设阈值时，标注该小块为清晰图像样本。

优选地，所述从预置的图像数据库中提取清晰图像样本和模糊图像样本的步骤包括：

对图像数据库中的每一张图像，分别卷积下述三种模糊核：

高斯模糊核：

脱焦模糊核：

运动模糊核：

根据卷积后的每一张图像的大小，生成若干矩形框，根据矩形框的位置信息截取图像小块，作为模糊图像样本。

优选地，所述对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度包括：

依次进行图像小块的卷积、合并、激活操作，直至最终获得该图像小块的清晰置信度Pclear和模糊置信度Pclur，并比较两者大小；如果Pclear>Pblur，则小块判定为清晰，否则为模糊；

累计所有图像小块的清晰置信度，并除以全部图像小块的个数，得到整张图像的清晰度。

本发明还提供一种图像模糊区域自动检测系统，所述图像模糊区域自动检测系统包括：

训练子系统，用于从预置的图像数据库中提取清晰图像样本和模糊图像样本；利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型；

模糊区域检测子系统，所述模糊区域子系统包括：

图像分割模块，用于利用滑动窗口以预设尺寸及步长遍历待检测的图像，将图像分割为多个图像小块；

自动分类模块，用于将每个图像小块输入到所述网络模型中，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；

图像打分模块，用于对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度。

优选地，所述训练子系统包括：

图像小块截取模块，用于根据图像数据库中的每一张图的大小，生成若干矩形框，根据矩形框的位置信息，截取图像小块；

清晰样本获取模块，计算每个图像小块的平均边缘强度，当某图像小块的平均边缘强度大于预设阈值时，标注该小块为清晰图像样本。

优选地，所述训练子系统包括：

模糊图像生成模块，用于对图像库中的每一张图像，分别卷积下述三种模糊核：

高斯模糊核：

脱焦模糊核：

运动模糊核：

模糊图像样本生成模块，用于根据卷积后的每一张图像的大小，生成若干矩形框，根据矩形框的位置信息截取图像小块，作为模糊图像样本。

优选地，所述图像打分模块具体用于：

依次进行图像小块的卷积、合并、激活操作，直至最终获得该图像小块的清晰置信度Pclear和模糊置信度Pclur，并比较两者大小；

如果Pclear>Pblur，则小块判定为清晰，否则为模糊；累计所有图像小块的清晰置信度，并除以全部图像小块的个数，得到整张图像的清晰度。

本发明提出基于深度学习网络的图像模糊区域自动检测方法，相比于以前的传统方法，无需人工设计特征，完全基于统计学习以及客观标准进行特征设计和分类，算法性能优于传统方法，通用性强；并且可以在较少人工数据标注的前提下，训练符合性能需求的深度学习模型，可以大大减少人工标注所带来的时间成本和经济成本，提高自动化程度，同时保证训练的深度网络的性能。

附图说明

图1为本发明图像模糊区域自动检测方法第一实施例的流程示意图；

图2为本发明图像模糊区域自动检测方法第二实施例的流程示意图；

图3为本发明中图像的分类效果示意图；

图4为本发明中图像的训练过程示意图；

图5为本发明图像模糊区域自动检测系统第一实施例的功能模块结构示意图；

图6为本发明图像模糊区域自动检测系统第二实施例的功能模块结构示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种图像模糊区域自动检测方法，参照图1，在第一实施例中，该图像模糊区域自动检测方法包括：

步骤S10，从预置的图像数据库中提取清晰图像样本和模糊图像样本；

步骤S20，利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型；

本发明中，可预先准备一定数量图像，图像中至少含有部分清晰区域，这些图像可以从很多开源的图像数据库中获得。对于图像库中的每一张图像，随机生成一定数量的矩形框信息，根据矩形框的位置信息，截取图像小块区域。计算每个图像小块的平均边缘强度，当平均边缘强度大于一定阈值时，标注这个小块为清晰类别样本，否则放弃这个小块。而对于模糊图像样本，可先进行卷积运算，得到图像的高斯模糊核、脱焦模糊核和运动模糊核，再对于三种模糊效果后的每一张图像，随机生成一定数量的矩形框信息，根据矩形框的位置信息，截取图像小块区域，作为模糊图像样本。本发明中，可以利用caffe(卷积神经网络框架)开源的深度学习框架进行模型重训(也可使用其他开源深度学习框架进行训练)。具体训练过程为BP神经算法：即前向传递时，一层一层输出，若输出层得到的结果与期望值有差别则进行反向传递，根据其误差运用梯度下降法来更新其权重及阀值，重复若干次，直到误差函数到达全局最小值。通过上述训练过程，可获得用于分类的深度神经网络模型。

步骤S30，利用滑动窗口以预设尺寸及步长遍历待检测的图像，将图像分割为多个图像小块；

在具体实现中，滑动窗口的尺寸可预先设定，例如可以为方形，尺寸为W*W。具体的，可以以图像的起始点为开始点，以w*w尺寸的滑动窗口获取图像小块，并以一定的步长比如(w/2或者w)水平方向优先扫描图像，直至图像全部遍历完毕，从而获得一系列的图像小块。

步骤S40，将每个图像小块输入到所述网络模型中，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；

在具体实现中，可以将每个图像小块输入到经步骤S20训练好的网络模型中，按照模型中所设置的模型结构以及训练好的深度卷积神经网络模型的参数，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度。

步骤S50，对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度。

例如，累计所有清晰模块置信度的输出，并除以全部图像小块的个数，即为这张图像的清晰度。累计过程，可以是简单的直接累加，也可以根据图像小块位置设定一定的权重相乘后进行累加，模糊小块的清晰置信度设置为0。

本发明提出基于深度学习网络的图像模糊区域自动检测方法，可以应用于海报图生产系统以及图像质量评价系统中，可以对生产出来的视频海报图进行自动检测，评价图像的质量，滤除由于各种原因产生的模糊图像，提升图像的质量；也可以与其他图像处理技术结合，对于图像的美感进行评价，对于同一视频获得的海报图，进行美感的评价，自动推荐符合人类美感的图像作为海报图；还可以对拍摄的视频进行监控，如果出现模糊视频进行报警。

参照图2所示，在一较佳实施例中，前述步骤S10可包括：

步骤S11，根据图像数据库中的每一张图的大小，生成若干的矩形框，根据矩形框的位置信息，截取图像小块；

步骤S12，计算每个图像小块的平均边缘强度，当某图像小块的平均边缘强度大于预设阈值时，标注该小块为清晰图像样本。

前述步骤S10还可以包括如下子步骤，具体包括：

对图像库中的每一张图像，分别卷积下述三种模糊核：

高斯模糊核：

脱焦模糊核：

运动模糊核：

根据卷积后的每一张图像的大小，生成若干矩形框，根据矩形框的位置信息截取图像小块，作为模糊图像样本。

参照图3，本发明一较佳实施例中，前述步骤S30包括：

利用预设尺寸的滑动窗口获取图像小块，并以预设步长扫描图像，直至图像全部遍历完毕，以获得多个图像小块。具体的，可以以图像的起始点为开始点，以w*w尺寸的滑动窗口获取图像小块，并以一定的步长比如(w/2或者w)水平方向优先扫描图像，直至图像全部遍历完毕，从而获得一系列的图像小块。

本发明实施例中，前述步骤S20可包括：

采用BP神经算法、利用卷积神经网络框架开源的深度学习框架进行模型重训；该步骤具体包括：

前向传递训练集中的模型时，一层一层输出，若输出层得到的结果与期望值有差别则进行反向传递，根据其误差运用梯度下降法来更新其权重及阀值，重复若干次，直到误差函数到达全局最小值。训练过程，利用caffe(卷积神经网络框架)开源的深度学习框架进行模型重训(也可使用其他开源深度学习框架进行训练)具体训练过程为BP神经算法，即前向传递时，一层一层输出，若输出层得到的结果与期望值有差别则进行反向传递，根据其误差运用梯度下降法来更新其权重及阀值，重复若干次，直到误差函数到达全局最小值，具体可结合图4所示，训练模型选择为cifar10模型。通过上述训练过程，可获得用于分类的网络模型。

本发明实施例中，前述步骤S50可包括：

依次进行图像小块的卷积、合并、激活操作，直至最终获得该图像小块的清晰置信度Pclear和模糊置信度Pclur，并比较两者大小；如果Pclear>Pblur，则小块判定为清晰，否则为模糊；

累计所有图像小块的清晰置信度，并除以全部图像小块的个数，得到整张图像的清晰度。

本发明还提供一种图像模糊区域自动检测系统，用于实现上述方法。参照图5所示，所述图像模糊区域自动检测系统包括：

训练子系统10，用于从预置的图像数据库中提取清晰图像样本和模糊图像样本；利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型。

本发明中，可预先准备一定数量图像，图像中至少含有部分清晰区域，这些图像可以从很多开源的图像数据库中获得。训练子系统10对于图像库中的每一张图像，随机生成一定数量的矩形框信息，根据矩形框的位置信息，截取图像小块区域。计算每个图像小块的平均边缘强度，当平均边缘强度大于一定阈值时，标注这个小块为清晰类别样本，否则放弃这个小块。而对于模糊图像样本，可先进行卷积运算，得到图像的高斯模糊核、脱焦模糊核和运动模糊核，再对于三种模糊效果后的每一张图像，随机生成一定数量的矩形框信息，根据矩形框的位置信息，截取图像小块区域，作为模糊图像样本。本发明中，可以利用caffe(卷积神经网络框架)开源的深度学习框架进行模型重训(也可使用其他开源深度学习框架进行训练)。具体训练过程为BP神经算法：即前向传递时，一层一层输出，若输出层得到的结果与期望值有差别则进行反向传递，根据其误差运用梯度下降法来更新其权重及阀值，重复若干次，直到误差函数到达全局最小值。通过上述训练过程，可获得用于分类的深度神经网络模型。

模糊区域检测子系统20，所述模糊区域子系统20包括：

图像分割模块21，用于利用滑动窗口以预设尺寸及步长遍历待检测的图像，将图像分割为多个图像小块；滑动窗口的尺寸可预先设定，例如可以为方形，尺寸为W*W。图像分割模块21可以以图像的起始点为开始点，以w*w尺寸的滑动窗口获取图像小块，并以一定的步长比如(w/2或者w)水平方向优先扫描图像，直至图像全部遍历完毕，从而获得一系列的图像小块。

自动分类模块22，用于将每个图像小块输入到所述网络模型中，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；

图像打分模块23，用于对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度。例如，图像打分模块23累计所有清晰模块置信度的输出，并除以全部图像小块的个数，即为这张图像的清晰度。累计过程，可以是简单的直接累加，也可以根据图像小块位置设定一定的权重相乘后进行累加，模糊小块的清晰置信度设置为0。

参照图6，在一实施例中，训练子系统10包括：

图像小块截取模块11，用于根据图像数据库中的每一张图的大小，生成若干矩形框，根据矩形框的位置信息，截取图像小块；

清晰样本获取模块12，用于计算每个图像小块的平均边缘强度，当某图像小块的平均边缘强度大于预设阈值时，标注该小块为清晰图像样本。

前述实施例中，训练子系统10还包括：

模糊图像生成模块13，用于对图像数据库中的每一张图像，分别卷积下述三种模糊核，生成模糊图像数据：

高斯模糊核：

脱焦模糊核：

运动模糊核：

模糊图像样本生成模块14，用于根据卷积后的每一张图像的大小，生成若干矩形框，根据矩形框的位置信息截取图像小块，作为模糊图像样本。

本发明实施例中，所述训练子系统10包括：

训练模块15，用于采用BP神经算法、利用卷积神经网络深度学习算法进行模型重训；该训练模块15具体用于：

在前向传递训练集中的模型时，一层一层输出，若输出层得到的结果与期望值有差别则进行反向传递，根据其误差运用梯度下降法来更新其权重及阀值，重复若干次，直到误差函数到达全局最小值。

在一较佳实施例中，图像分割模块21具体用于：

利用预设尺寸的滑动窗口获取图像小块，并以预设步长扫描图像，直至图像全部遍历完毕，以获得多个图像小块。

在一较佳实施例中，图像打分模块23具体用于：

依次进行图像小块的卷积、合并、激活操作，直至最终获得该图像小块的清晰置信度Pclear和模糊置信度Pclur，并比较两者大小；

如果Pclear>Pblur，则小块判定为清晰，否则为模糊；

累计所有图像小块的清晰置信度，并除以全部图像小块的个数，得到整张图像的清晰度。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种图像模糊区域自动检测方法，其特征在于，所述图像模糊区域自动检测方法包括以下步骤：

从预置的图像数据库中提取清晰图像样本和模糊图像样本；

利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型；

利用滑动窗口以预设尺寸及步长遍历待检测的图像，将图像分割为多个图像小块；

将每个图像小块输入到所述网络模型中，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；

对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度。

2.如权利要求1所述的图像模糊区域自动检测方法，其特征在于，所述从预置的图像数据库中提取清晰图像样本和模糊图像样本的步骤包括：

根据图像数据库中的每一张图的大小，生成若干矩形框，根据矩形框的位置信息，截取图像小块；

计算每个图像小块的平均边缘强度，当某图像小块的平均边缘强度大于预设阈值时，标注该小块为清晰图像样本。

3.如权利要求1所述的图像模糊区域自动检测方法，其特征在于，所述从预置的图像数据库中提取清晰图像样本和模糊图像样本的步骤包括：

对图像数据库中的每一张图像，分别卷积下述三种模糊核：

高斯模糊核：

脱焦模糊核：

运动模糊核：

根据卷积后的每一张图像的大小，生成若干矩形框，根据矩形框的位置信息截取图像小块，作为模糊图像样本。

4.如权利要求1至3中任一项所述的图像模糊区域自动检测方法，其特征在于，所述对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度包括：

依次进行图像小块的卷积、合并、激活操作，直至最终获得该图像小块的清晰置信度Pclear和模糊置信度Pclur，并比较两者大小；如果Pclear>Pblur，则小块判定为清晰，否则为模糊；

累计所有图像小块的清晰置信度，并除以全部图像小块的个数，得到整张图像的清晰度。

5.一种图像模糊区域自动检测系统，其特征在于，所述图像模糊区域自动检测系统包括：

训练子系统，用于从预置的图像数据库中提取清晰图像样本和模糊图像样本；利用所述清晰图像样本、模糊图像样本和预设的网络结构训练深度卷积神经网络模型的参数，获取清晰图像样本和模糊图像样本的网络模型；

模糊区域检测子系统，所述模糊区域子系统包括：

图像分割模块，用于利用滑动窗口以预设尺寸及步长遍历待检测的图像，将图像分割为多个图像小块；

自动分类模块，用于将每个图像小块输入到所述网络模型中，依次进行图像小块的深度卷积神经网络模型的预测，直至最终获得所有图像小块的清晰置信度和模糊置信度；

图像打分模块，用于对所有图像小块的清晰置信度和模糊置信度进行运算，得到整张图像的清晰度。

6.如权利要求5所述的图像模糊区域自动检测系统，其特征在于，所述训练子系统包括：

图像小块截取模块，用于根据图像数据库中的每一张图的大小，生成若干矩形框，根据矩形框的位置信息，截取图像小块；

清晰样本获取模块，用于计算每个图像小块的平均边缘强度，当某图像小块的平均边缘强度大于预设阈值时，标注该小块为清晰图像样本。

7.如权利要求5所述的图像模糊区域自动检测系统，其特征在于，所述训练子系统包括：

模糊图像生成模块，用于对图像数据库中的每一张图像，分别卷积下述三种模糊核：

高斯模糊核：

脱焦模糊核：

运动模糊核：

模糊图像样本生成模块，用于根据卷积后的每一张图像的大小，生成若干矩形框，根据矩形框的位置信息截取图像小块，作为模糊图像样本。

8.如权利要求5至7中任一项所述的图像模糊区域自动检测系统，其特征在于，所述图像打分模块具体用于：

依次进行图像小块的卷积、合并、激活操作，直至最终获得该图像小块的清晰置信度Pclear和模糊置信度Pclur，并比较两者大小；

如果Pclear>Pblur，则小块判定为清晰，否则为模糊；累计所有图像小块的清晰置信度，并除以全部图像小块的个数，得到整张图像的清晰度。