CN108241821A - 图像处理设备和方法 - Google Patents

Abstract

提供一种图像处理设备和方法，其中，所述图像处理设备包括：图像分类模块，被配置为确定输入图像是低质量图像还是高质量图像；图像评估模块，被配置为在由图像分类模块确定的多个低质量图像之中确定第一预定数量个最清晰图像。

Description

图像处理设备和方法

技术领域

本申请涉及图像处理，具体地讲，涉及一种用于图像进行预处理的图像处理设备和方法。

背景技术

在非受控条件(例如，光照、相机抖动以及被摄对象的运动等)下捕获的图像和视频中往往存在大量的低质量图像，例如，强背光图像、低光照图像和模糊图像等。由于现有技术中的人脸检测和识别方法依然基于相似条件下的高质量图像，没有考虑特殊条件下的低质量图像，因此，这样的低质量图像对于人脸检测和识别过程造成了极大的障碍，严重影响人脸检测和识别的效果。

具体地讲，现有的人脸检测和识别方法使用的训练测试数据库通常基于相似或近似的光照条件下的高质量图像，能够达到令人满意的检测效果。但是在与现有数据库图像光照条件差异比较大的低质量图像和存在运动模糊的图像上，尤其是人脸区域差异较大时，现有的人脸检测和识别方法的检测和识别效果就会大大折扣，存在严重的人脸错检漏检以及难以识别的问题。例如，图1和图2分别示出了人脸检测和识别方法在非正常光照条件下捕获的低质量图像(即，背光图像和低光照图像)上的人脸检测和识别效果，图3示出了人脸检测和识别方法在模糊图像上的检测和识别效果。结果表明，现有人脸检测和识别方法在非正常光照条件下的低质量图像以及模糊图像上的检测和识别效果较差，其中，现有的人脸检测和识别方法将图1的背光图像(a)中的背景建筑物误识别为人脸，在背光图像(b)中未检测和识别出人脸，并且在图2的低光照图像(a)和(b)和图3的模糊图像(a)和(b)上均没有检测和识别出正确的人脸。

为此，现有技术通常采用预处理来去除或者减少光照、成像系统、外部环境等导致的对于待处理图像的干扰以提高人脸检测和识别的效果。然而，现有技术中的图像预处理方法主要针对不同类别的低质量图像进行预处理，并且在实际的一般化应用中，需要利用特定的检测方法对输入图像进行判定，但是这些检测方法和预处理方法却不能同时对多种图像类别进行判定和预处理。

因此，需要一种可处理多种低质量图像的图像处理设备和方法来有效降低在对低质量图像进行人脸检测时的错检漏检率以及有效解决在对模糊人脸图像进行人脸识别时难以识别人脸的问题。

发明内容

本发明的一方面提供一种图像处理设备，包括：图像分类模块，被配置为确定输入图像是低质量图像还是高质量图像；图像评估模块，被配置为在由图像分类模块确定的多个低质量图像之中确定第一预定数量个最清晰图像。

图像分类模块可被配置为使用第一卷积神经网络分类器模型计算所述输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值，并根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像。

所述多种不同质量类别可包括背光图像类别、低光照图像类别、模糊图像类别和清晰图像类别。

当由图像分类模块计算出的所述输入图像被分类为背光图像类别、低光照图像类别和模糊图像类别中的至少一种类别的分类概率值大于所述输入图像被分类为清晰图像类别的图像分类概率值时，图像分类模块可确定所述输入图像是低质量图像。

图像评估模块可被配置为针对所述多个低质量图像中的每一个低质量图像计算图像清晰度评估值，并将所述多个低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像。

图像评估模块可被配置为计算所述每一个低质量图像的图像分类概率值的标准差的倒数作为所述每一个低质量图像的图像清晰度评估值。

图像评估模块可被配置为将所述每一个低质量图像被分类为多种不同质量类别中的清晰图像类别的图像分类概率值用作所述每一个低质量图像的图像清晰度评估值。

所述图像处理设备还可包括：人脸检测模块，被配置为通过利用第二卷积神经网络分类器模型对由图像分类模块确定的高质量图像和由图像评估模块确定的最清晰图像进行人脸检测来输出结果图像，其中，结果图像是含人脸图像或无人脸图像。

所述图像处理设备还可包括：人脸图像分类模块，被配置为确定由人脸检测模块输出的含人脸图像是模糊人脸图像还是非模糊人脸图像；人脸图像评估模块，被配置为在由人脸图像分类模块确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

人脸图像分类模块可被配置为使用第三卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值，并根据所述含人脸图像的人脸图像分类概率值来确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。

第一卷积神经网络分类器模型、第二卷积神经网络分类器模型和第三卷积神经网络分类器模型中的至少两个卷积神经网络分类器模型可共享预定数量的卷积层和池化层的参数。

人脸图像评估模块可被配置为针对所述多个模糊人脸图像中的每一个模糊人脸图像计算人脸清晰度评估值，并将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像。

人脸图像评估模块可被配置为计算所述每一个模糊人脸图像的人脸图像分类概率值的标准差的倒数作为所述每一个模糊人脸图像的人脸清晰度评估值。

人脸图像评估模块可被配置为将所述每一个模糊人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值用作所述每一个模糊人脸图像的人脸清晰度评估值。本发明的另一方面提供一种图像处理设备，包括：人脸图像分类模块，被配置为确定含人脸图像是模糊人脸图像还是非模糊人脸图像；人脸图像评估模块，被配置为在人脸图像分类模块确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

人脸图像分类模块可被配置为使用卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值，并根据所述含人脸图像的人脸图像分类概率值来确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。

人脸图像评估模块可被配置为针对所述多个模糊人脸图像中的每一个模糊人脸图像计算人脸清晰度评估值，并将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像。

人脸图像评估模块可被配置为计算所述每一个模糊人脸图像的人脸图像分类概率值的标准差的倒数作为所述每一个模糊人脸图像的人脸清晰度评估值。

人脸图像评估模块可被配置为将所述每一个模糊人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值用作所述每一个模糊人脸图像的人脸清晰度评估值。

本发明的另一方面提供一种图像处理方法，包括：确定输入图像是低质量图像还是高质量图像；在确定的多个低质量图像之中确定第一预定数量个最清晰图像。

确定输入图像是低质量图像还是高质量图像的步骤可包括：使用第一卷积神经网络分类器模型计算输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值；根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像。

所述多种不同质量类别可包括背光图像类别、低光照图像类别、模糊图像类别和清晰图像类别。

根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像的步骤可包括：当计算出的所述输入图像被分类为背光图像类别、低光照图像类别和模糊图像类别中的至少一种类别的分类概率值大于所述输入图像被分类为清晰图像类别的图像分类概率值时，确定所述输入图像是低质量图像。

在确定的多个低质量图像之中确定第一预定数量个最清晰图像的步骤可包括：针对所述多个低质量图像中的每一个低质量图像计算图像清晰度评估值；将所述多个低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像。

计算图像清晰度评估值的步骤可包括：计算所述每一个低质量图像的图像分类概率值的标准差的倒数作为所述每一个低质量图像的图像清晰度评估值。

计算图像清晰度评估值的步骤可包括：将所述每一个低质量图像被分类为多种不同质量类别中的清晰图像类别的图像分类概率值用作所述每一个低质量图像的图像清晰度评估值。

所述图像处理方法还可包括：通过利用第二卷积神经网络分类器模型对确定的高质量图像和确定的最清晰图像进行人脸检测来输出结果图像，其中，结果图像是含人脸图像或无人脸图像。

所述图像处理方法还可包括：确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像；在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像的步骤可包括：使用第三卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值；根据所述含人脸图像的人脸图像分类概率值来确定所述人脸图像是模糊人脸图像还是非模糊人脸图像。

第一卷积神经网络分类器模型、第二卷积神经网络分类器模型和第三卷积神经网络分类器模型中的至少两个卷积神经网络分类器模型可共享预定数量的卷积层和池化层的参数。

在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像的步骤可包括：针对所述多个模糊人脸图像中的每一个模糊人脸图像计算人脸清晰度评估值；将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像。

计算人脸清晰度评估值的步骤可包括：计算所述每一个模糊人脸图像的人脸图像分类概率值的标准差的倒数作为所述每一个模糊人脸图像的人脸清晰度评估值。

计算人脸清晰评估值的步骤可包括：将所述每一个模糊人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值用作所述每一个模糊人脸图像的人脸清晰度评估值。

本发明的另一方面提供一种图像处理方法，包括：确定含人脸图像是模糊人脸图像还是非模糊人脸图像；在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

确定含人脸图像是模糊人脸图像还是非模糊人脸图像的步骤可包括：使用卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值；根据所述含人脸图像的人脸图像分类概率值来确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。

在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像的步骤可包括：针对所述多个模糊人脸图像中的每一个模糊人脸图像计算人脸清晰度评估值；将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像。

计算人脸清晰度评估值的步骤可包括：计算所述每一个模糊人脸图像的人脸图像分类概率值的标准差的倒数作为所述每一个模糊人脸图像的人脸清晰度评估值。

计算人脸清晰度评估值的步骤可包括：将所述每一个模糊人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值用作所述每一个模糊人脸图像的人脸清晰度评估值。

附图说明

通过下面结合附图对本发明示例性实施例进行的详细描述，本发明的上述和其它方面将会变得更加清楚，其中：

图1至图3分别是示出现有的人脸检测和识别方法对背光图像、低光照图像和模糊图像的人脸检测和识别效果的示图；

图4是根据本发明的示例性实施例的基于图像质量评估(IQA)的图像处理设备的框图；

图5是根据本发明的示例性实施例的4分类卷积神经网络(CNN)低质量图像分类器模型的示图；

图6是根据本发明的示例性实施例的由图4的图像处理设备执行的图像预处理方法的流程图；

图7是根据本发明的另一示例性实施例的基于IQA的图像处理设备的框图；

图8是根据本发明的示例性实施例的2分类CNN模糊人脸图像分类器模型的示图；

图9是根据本发明的示例性实施例的由图7的图像处理设备执行的图像处理方法的流程图；

图10是根据本发明的另一示例性实施例的基于IQA的图像处理设备的框图；

图11是根据本发明的示例性实施例的由图10的图像处理设备执行的图像处理方法的流程图。

具体实施方式

现将详细描述本发明的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本发明。

图4是根据本发明的示例性实施例的基于IQA的第一图像处理设备100的框图。第一图像处理设备100可用于对将进行人脸检测的输入图像进行预处理。如图4所示，第一图像处理设备100包括图像分类模块110和图像评估模块120。

图像分类模块110可用于确定输入图像是低质量图像还是高质量图像。具体地讲，图像分类模块110可使用第一CNN分类器模型计算输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值，并根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像。例如，第一CNN分类器模型可以是CNN低质量图像分类器模型，图像分类模块110可使用CNN低质量图像分类器模型来对输入图像进行分类识别以根据图像分类概率值确定输入图像是否是低质量图像。此外，当输入图像被图像分类模块110确定为低质量图像时，图像分类模型110可将通过使用CNN低质量图像分类器模型所计算出的该输入图像被分类为所述多种不同质量类别中的每一种类别的图像分类概率值发送到图像评估模块120以计算图像清晰度评估值。

具体地讲，CNN低质量图像分类器模型的卷积神经网络可以采用多种网络结构。作为示例，如图5中所示，CNN低质量图像分类器模型从左至右可包括输入层、7个隐层和输出层。其中，所述7个隐层从左至右依次为第一层卷积层(又称第一层过滤器层)、第一层池化层、第二层卷积层、第二层池化层、第三层卷积层、第三层池化层、和全连接层。所述4分类CNN低质量图像分类器模型可通过利用低质量图像数据库对所有的卷积层、池化层以及全连接层的参数进行训练来获得所有的卷积层、池化层以及全连接层的训练参数。

具体地讲，图5中左起第一个图标(即，长方形)表示输入层，该长方形的高度48和深度48表示输入层是由48×48个神经元组成的矩阵，该矩阵对应于输入图像的48×48个像素点组成的像素点矩阵。

图5中左起第二个图标为高度44、深度44和宽度32的长方体，该长方体表示输入图像经过第一层卷积层的卷积后得到的作为第一层卷积结果的32个特征图，其中，作为第一层卷积结果的32个特征图中的每一个特征图包括44×44个像素点。

图5中左起第三个图标为高度22、深度22和宽度32的长方体，该长方体表示作为第一层卷积结果的32个特征图在经过第一层池化层的池化之后所得到的作为第一层池化结果的32个特征图，其中，作为第一层池化结果的32个表征图中的每一个特征图包括22×22个像素点。

此外，第二层卷积层和第三层卷积层中的每一层的卷积过程与上述第一层卷积层的卷积过程类似，并且第二层池化层和第三层池化层中的每一层的池化过程与上述第一层池化层的池化过程类似，因此，这里不再进行重复描述。

此外，图5中左起第八个图标(即，长方形)表示全连接层，全连接层下方的64表示该层包含64个神经元。图中左起第九个(即右起第一个)图标为长方形表示输出层，输出层下方的4表示该层包含4个神经元。全连接层中每个神经元都独立地与第三层池化层中的各神经元相连接。输出层中每个神经元都独立地与全连接层中的各神经元相连接。

当CNN低质量图像分类器模型是4分类CNN低质量图像分类器模型时，输入图像可被4分类CNN低质量图像分类器模型分类为4种不同质量图像类别，即，背光图像类别、低光照图像类别、模糊图像类别和清晰图像类别。当由图像分类模块110利用4分类CNN低质量图像分类器模型计算出的输入图像被分类为清晰图像类别的图像分类概率值大于输入图像被分类为背光图像类别、低光照图像类别和模糊图像类别中的每一种类别的分类概率值时，图像分类模块确定当前输入图像是高质量图像。

另一方面，当由图像分类模块110利用4分类CNN低质量图像分类器模型计算出的输入图像被分类为背光图像类别、低光照图像类别和模糊图像类别中的至少一种类别的分类概率值大于输入图像被分类为清晰图像类别的图像分类概率值时，图像分类模块110确定当前的输入图像是低质量图像，其中，该低质量图像以及该低质量图像被分类为所述4种不同质量图像类别中的每一种类别的图像分类概率值可被输入到图像评估模块120以计算图像清晰度评估值。

图像评估模块120可用于在由图像分类模块110确定的多个低质量图像中确定第一预定数量个最清晰图像。具体地讲，图像评估模块120可计算所述多个低质量图像中的每一个低质量图像的图像清晰度评估值，并将所述多个低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像，其中，所述第一预定数量可以是一个或更多个，并且小于或等于所述多个低质量图像的个数。

具体地讲，当图像分类模块110确定输入图像是低质量图像时，图像评估模块120可从图像分类模块110接收该输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值，并计算该输入图像的图像分类概率值的标准差的倒数作为该输入图像的图像清晰度评估值，或者将该输入图像被分类为所述多种不同质量类别中的清晰图像类别的图像分类概率值用作该输入图像的图像清晰度评估值。例如，当CNN低质量分类器模型是4分类CNN低质量图像分类器模型并且输入图像被确定为低质量图像时，图像评估模块120可从图像分类模块110接收该输入图像分别被分类为4种不同质量类别(即，背光图像类别、低光照图像类别、模糊图像类别和清晰图像类别)的4个图像分类概率值(即，该低输入图像被分类为背光图像类别的概率值、被分类为低光照图像类别的概率值、被分类为模糊图像类别的概率值以及被分类为清晰图像类别的概率值)，并计算所述4个图像分类概率值的标准差的倒数作为该输入图像的图像清晰度评估值，或将该输入图像被分类为清晰图像类别的图像分类概率值用作该输入图像的图像清晰度评估值。例如，如果该输入图像被分类为背光图像类别的概率值为x₁，被分类为低光照图像类别的概率值为x₂，被分类为模糊图像类别的概率值为x₃以及被分类为清晰图像类别的概率值x₄，则这4个图像分类概率值的平均值为μ，并且这4个图像分类概率值的标准差为此时，可将该标准差的倒数用作该输入图像的图像清晰度评估值。可选地，可将清晰图像类别的概率值x₄用作该输入图像的图像清晰度评估值。

此外，图像评估模块120可存储该输入图像(即，低质量图像)以及计算出的图像清晰度评估值。当图像评估模块120存储了预定数量的低质量图像时，图像评估模块120可并将所述预定数量的低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像，其中，所述预定数量大于或等于所述第一预定数量。例如，当图像评估模块120存储了10个低质量图像时，图像评估模块120可将10个低质量图像中的从具有最高的图像清晰度评估值至具有第三高的图像清晰度评估值的3个低质量图像确定为3个最清晰图像。

经由第一图像处理设备100对输入图像的以上处理可有效降低在对低质量图像进行人脸检测时的错检漏检率。

图6是根据本发明的示例性实施例的由图4的第一图像处理设备100执行的图像处理方法的流程图。

如图6中所示，在步骤S110，确定输入图像是低质量图像还是高质量图像。具体地讲，可使用第一CNN分类器模型计算输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值，并根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像。例如，第一CNN分类器模型可以是CNN低质量图像分类器模型。可使用CNN低质量图像分类器模型来对输入图像进行分类识别以根据图像分类概率值确定输入图像是否是低质量图像。此外，当输入图像被确定为低质量图像时，通过使用CNN低质量图像分类器模型所计算出的该输入图像被分类为所述多种不同质量类别中的每一种类别的图像分类概率值可被用于计算该输入图像的图像清晰度评估值。

例如，当CNN低质量图像分类器模型是4分类CNN低质量图像分类器模型时，输入图像可被4分类CNN低质量图像分类器模型分类为4种不同质量图像类别，即，背光图像类别、低光照图像类别、模糊图像类别和清晰图像类别。当通过利用4分类CNN低质量图像分类器模型计算出的输入图像被分类为清晰图像类别的图像分类概率值大于输入图像被分类为背光图像类别、低光照图像类别和模糊图像类别中的每一种类别的分类概率值时，当前输入图像被确定为是高质量图像。

另一方面，当通过利用4分类CNN低质量图像分类器模型计算出的输入图像被分类为背光图像类别、低光照图像类别和模糊图像类别中的至少一种类别的分类概率值大于输入图像被分类为清晰图像类别的图像分类概率值时，可将当前的输入图像确定为低质量图像，其中，该低质量图像以及该低质量图像被分类为所述4种不同质量图像类别中的每一种类别的图像分类概率值可用于确定该低质量图像的清晰度评估值。

在步骤S120，在确定的多个低质量图像中确定第一预定数量个最清晰图像。具体地讲，可计算所述多个低质量图像中的每一个低质量图像的图像清晰度评估值，按照图像清晰度评估值从高到低的顺序对所述多个低质量图像进行排序，并将所述多个低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像。

所述方法可将所述每一个低质量图像的图像分类概率值的标准差的倒数作为所述每一个低质量图像的图像清晰度评估值，或者可将所述每一个低质量图像被分类为所述多种不同质量类别中的清晰图像类别的图像分类概率值用作所述每一个低质量图像的图像清晰度评估值。具体地讲，当在步骤S110确定输入图像是低质量图像时，可利用在步骤S110中计算出的该输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值来计算该输入图像(即，低质量图像)的图像分类概率值的标准差的倒数作为该输入图像的图像清晰度评估值，或者可将该输入图像被分类为所述多种不同质量类别中的清晰图像类别的图像分类概率值用作该输入图像的图像清晰度评估值。例如，当CNN低质量分类器模型是4分类CNN低质量图像分类器模型，并且在步骤S110确定输入图像是低质量图像时，可利用在步骤S110计算出的该输入图像被分类为4种不同质量类别(即，背光图像类别、低光照图像类别、模糊图像类别和清晰图像类别)中的每一种类别的图像分类概率值(即，该输入图像被分类为背光图像类别的概率值、被分类为低光照图像类别的概率值、被分类为模糊图像类别的概率值以及被分类为清晰图像类别的概率值)的标准差的倒数作为该输入图像的图像清晰度评估值，或者可将在步骤S110计算出的该输出图像被分类为清晰图像类别的概率值用作该输入图像的图像清晰度评估值，并存储该输入图像(即，低质量图像)以及计算出的图像清晰度评估值。当存储了预定数量的低质量图像时，可将所述预定数量的低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像。

图7是根据本发明的另一示例性实施例的基于IQA的第二图像处理设备200的框图。第二图像处理设备200可用于对将进行人脸识别的输入图像进行预处理，其中，输入图像可以是人脸检测装置对待检测图像进行人脸检测时所输出的具有人脸的图像(在下文中，简称为“含人脸图像”)。具体地讲，人脸检测装置在对待检测图像进行人脸检测时可获得结果图像，该结果图像可以是由人脸检测装置在对待检测图像进行人脸检测时利用待检测图像中的人脸所在区域所产生的人脸图像，或者是由人脸检测装置在对待检测图像进行人脸检测时对待检测图像中的人脸位置进行定位后的定位图像(即，定位图像是在待检测图像中给出人脸所在位置的图像)，或者是由人脸检测装置在对待检测图像进行人脸检测时未检测到人脸的图像，其中，所述人脸图像和所述定位图像可被称为含人脸图像，未检测到人脸的图像可被称为无人脸图像。如图7中所示，第二图像处理设备200可包括人脸图像分类模块210和人脸图像评估模块220。

人脸图像分类模块210可用于确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。具体地讲，人脸图像分类模块210可使用第二CNN分类器模型来计算含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值，并根据含人脸图像的人脸图像分类概率值来确定含人脸图像是模糊人脸图像还是非模糊人脸图像。例如，第二CNN分类器模型可以是CNN模糊人脸图像分类器模型，人脸图像分类模块210可使用CNN模糊人脸图像分类器模型来对含人脸图像进行分类识别以根据图像分类概率值来确定含人脸图像是否是模糊人脸图像。此外，当含人脸图像被人脸图像分类模块210确定为模糊人脸图像时，人脸图像分类模块210可将通过使用CNN模糊人脸图像分类器模型所计算出的含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的图像分类概率值发送到人脸图像评估模块220以计算人脸清晰度评估值。

CNN模糊人脸图像分类器模型的卷积神经网络可以采用多种网络结构。作为示例，如图8中所示，CNN模糊人脸图像分类器模型从左至右可包括输入层、7个隐层、和输出层。其中，所述7个隐层中从左至右分别为第一层卷积层(又称第一层过滤器层)、第一层池化层、第二层卷积层、第二层池化层、第三层卷积层、第三层池化层、和全连接层。此外，所述2分类CNN模糊人脸图像分类器模型可通过利用模糊人脸图像数据库对所有的卷积层、池化层以及全连接层的参数进行训练来获得所有的卷积层、池化层以及全连接层的训练参数。

具体地讲，图8中左起第一个图标(即，长方形)表示输入层，该长方形的高度48和深度48表示输入层是由48×48个神经元组成的矩阵，该矩阵对应于输入图像的48×48个像素点组成的像素点矩阵。

图8中左起第二个图标为高度44、深度44和宽度32的长方体，该长方体表示输入图像经过第一层卷积层的卷积后得到的作为第一层卷积结果的32个特征图，其中，作为第一层卷积结果的32个特征图中的每一个特征图包括44×44个像素点。

图8中左起第三个图标为高度22、深度22和宽度32的长方体，该长方体表示作为第一层卷积结果的32个特征图在经过第一层池化层的池化之后所得到的作为第一层池化结果的32个特征图，其中，作为第一层池化结果的32个表征图中的每一个特征图包括22×22个像素点。

此外，第二层卷积层和第三层卷积层中的每一层的卷积过程与上述第一层卷积层的卷积过程类似，并且第二层池化层和第三层池化层中的每一层的池化过程与上述第一层池化层的池化过程类似，因此，这里不再进行重复描述。

此外，图8中左起第八个图标(即，长方形)表示全连接层，全连接层下方的64表示该层包含64个神经元。图中左起第九个(即右起第一个)图标为长方形表示输出层，输出层下方的2表示该层包含2个神经元。全连接层中每个神经元都独立地与第三层池化层中的各神经元相连接。输出层中每个神经元都独立地与全连接层中的各神经元相连接。

当CNN低质量图像分类器模型是2分类CNN模糊人脸图像分类器模型时，输入图像可被该2分类CNN模糊人脸图像分类器模型分类为2种图像类别，即，清晰人脸图像类别和模糊人脸图像类别。当由人脸图像分类模块210利用2分类CNN模糊人脸图像分类器模型计算出的含人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值大于所述含人脸图像被分类为模糊人脸图像类别的人脸图像分类概率值时，人脸图像分类模块210可确定含人脸图像是非模糊人脸图像，其中，该非模糊人脸图像可被输入到人脸识别装置中以进行人脸识别。

另一方面，当由人脸图像分类模块210利用2分类CNN模糊人脸图像分类器模型计算出的含人脸图像被分类为模糊人脸图像类别的人脸图像分类概率值不小于所述含人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值时，人脸图像分类模块210可确定所述含人脸图像是模糊人脸图像，其中，所述含人脸图像以及所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的图像分类概率值可被输入到人脸图像评估模块220以计算人脸清晰度评估值。

人脸图像评估模块220可用于在人脸图像分类模块210确定的多个模糊人脸图像中确定第二预定数量个最清晰人脸图像。具体地讲，人脸图像评估模块220可计算所述多个模糊人脸图像中的每一个模糊人脸图像的人脸清晰度评估值，将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像，其中，所述第二预定数量个最清晰人脸图像可被输入到人脸识别装置以进行人脸识别，其中，第二预定数量是一个或更多个，并且小于或等于所述多个模糊人脸图像的个数。

具体地讲，当人脸图像分类模块210确定含人脸图像是模糊人脸图像时，人脸图像评估模块220可从人脸图像分类模块210接收该含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的图像分类概率值，并计算该含人脸图像的2个图像分类概率值(即，该含人脸图像被分类为清晰人脸图像类别的概率值、以及被分类为模糊人脸图像类别的概率值)的标准差的倒数作为该含人脸图像的人脸清晰度评估值，或者可将该含人脸图像被分类为清晰人脸图像类别的概率值用作该含人脸图像的人脸清晰度评估值，此外，人脸图像评估模块220可存储该含人脸图像(即，模糊人脸图像)以及计算出的人脸清晰度评估值。当人脸图像评估模块220存储了预定数量的模糊人脸图像时，人脸图像评估模块220可将所述预定数量的模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像，其中，所述第二预定数量个最清晰人脸图像可被输入到人脸识别装置中以进行人脸识别。

图9是根据本发明的示例性实施例的由图7的第二图像处理设备200执行的图像处理方法的流程图。

如图9中所示，在步骤S210，确定输入图像是模糊人脸图像还是非模糊人脸图像，其中，输入图像可以是由人脸检测装置在对待检测图像进行人脸检测时所输出的含人脸图像。具体地讲，人脸检测装置在对待检测图像进行人脸检测时可获得结果图像，该结果图像可以是由人脸检测装置在对待检测图像进行人脸检测时利用待检测图像中的人脸所在区域所产生的人脸图像，或者是由人脸检测装置在对待检测图像进行人脸检测时对待检测图像中的人脸位置进行定位后的定位图像，或者是由人脸检测装置在对待检测图像进行人脸检测时未检测到人脸的图像，其中，所述人脸图像和所述定位图像可被称为含人脸图像，未检测到人脸的图像可被称为无人脸图像。具体地讲，可使用第二CNN分类器模型来计算含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值，并根据含人脸图像的人脸图像分类概率值来确定含人脸图像是模糊人脸图像还是非模糊人脸图像。例如，第二CNN分类器模型可以是CNN模糊人脸图像分类器模型。可使用CNN模糊人脸图像分类器模型来对含人脸图像进行分类识别以根据图像分类概率值来确定含人脸图像是否是模糊人脸图像。此外，当含人脸图像被确定为模糊人脸图像时，通过使用CNN模糊人脸图像分类器模型所计算出的含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的图像分类概率值可被用于计算人脸清晰度评估值。

例如，当CNN低质量图像分类器模型是2分类CNN模糊人脸图像分类器模型时，输入图像可被该2分类CNN模糊人脸图像分类器模型分类为2种图像类别，即，清晰人脸图像类别和模糊人脸图像类别。当通过利用2分类CNN模糊人脸图像分类器模型计算出的含人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值大于含人脸图像被分类为模糊人脸图像类别的人脸图像分类概率值时，可确定含人脸图像是非模糊人脸图像，其中，该非模糊人脸图像可被输入到人脸识别装置中以进行人脸识别。

另一方面，当通过利用2分类CNN模糊人脸图像分类器模型计算出的含人脸图像被分类为模糊人脸图像类别的人脸图像分类概率值不小于含人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值时，可确定含人脸图像是模糊人脸图像，其中，该含人脸图像(即，模糊人脸图像)被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值可用于确定该含人脸图像的人脸清晰度评估值。

在步骤S220，在确定的多个模糊人脸图像中确定第二预定数量个最清晰人脸图像。具体地讲，可计算所述多个模糊人脸图像中的每一个模糊人脸图像的人脸清晰度评估值，并将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像，其中，所述第二预定数量个最清晰人脸图像可被用于进行人脸识别。

具体地讲，当在步骤S210中确定含人脸图像是模糊人脸图像时，可利用在步骤S210中计算出的该含人脸图像的2个图像分类概率值(即，该含人脸图像被分类为清晰人脸图像类别的概率值、以及被分类为模糊人脸图像类别的概率值)来计算所述2个图像分类概率值的标准差的倒数作为该含人脸图像的人脸清晰度评估值，或者可将在步骤S210中得到的该含人脸图像被分类为清晰人脸图像类别的人脸图像分类概率值用作所述该含人脸图像的人脸清晰度评估值，并存储该含人脸图像(即，模糊人脸图像)以及计算出的人脸清晰度评估值。当存储了预定数量的模糊人脸图像时，可将所述预定数量的模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像，其中，所述第二预定数量个最清晰人脸图像可被用于进行人脸识别。

图10是根据本发明的另一示例性实施例的基于IQA的图像处理设备300的框图。如图10中所示，图像处理设备300包括图4中的第一图像处理设备100、人脸检测模块400、图7中的第二图像处理设备200。

具体地讲，第一图像处理设备100可确定多个输入图像中的每一个输入图像是低质量图像还是高质量图像，并在确定的多个低质量图像中确定第一预定数量个最清晰图像。由于以上已参照图4对第一图像处理设备100的处理进行了详细描述，因此这里不再进行重复描述。

人脸检测模块400对由第一图像处理设备100确定的高质量图像和最清晰图像进行人脸检测来获得结果图像，其中，结果图像可以是由人脸检测模块400在对待检测图像进行人脸检测时利用待检测图像中的人脸所在区域所产生的人脸图像，或者是由人脸检测模块400在对待检测图像进行人脸检测时对待检测图像中的人脸位置进行定位后的定位图像，或者是由人脸检测模块400在对待检测图像进行人脸检测时未检测到人脸的图像，其中，所述人脸图像和所述定位图像可被称为含人脸图像，未检测到人脸的图像可被称为无人脸图像。如果结果图像是所述含人脸图像，则结果图像可作为输入图像被输入到第二图像处理设备200以进行后续处理，如果结果图像是所述无人脸图像，则结果图像可被直接舍弃而不被输入到第二图像处理设备200。例如，人脸检测模块400可采用多种人脸检测方法(例如，Viola-Jones人脸检测方法、局部二值模式(LBP)人脸检测方法、多块局部二值模式(MB-LBP)人脸检测方法和CNN人脸检测方法等)来进行人脸检测。

优选地，人脸检测模块400可采用基于多级CNN人脸检测模型的CNN人脸检测器来进行人脸检测，其中，为了节省存储模型的存储空间并减少训练参数的计算时间，所述多级CNN人脸检测模型的第一级卷积神经网络分类器模型、参照图5描述的所述4分类CNN低质量图像分类器模型以及参照图8描述的所述2分类CNN模糊人脸图像分类器模型中的至少两个卷积神经网络模型可共享预定数量的卷积层和池化层的参数，例如，所述多级CNN人脸检测模型的第一级卷积神经网络模型可与参照图5描述的所述4分类CNN低质量图像分类器模型以及参照图8描述的所述2分类CNN模糊人脸图像分类器模型共享第一卷积层、第二卷积层、第一池化层和第二池化层的训练参数，在这种情况下，所述4分类CNN低质量图像分类器模型可通过利用低质量图像人脸图像数据库仅对第三卷积层、第三池化层、和全连接层的参数进行训练来获得第三卷积层、第三池化层和全连接层的训练参数，而所述2分类CNN模糊人脸图像分类器模型可通过利用模糊人脸图像数据库仅对第三卷积层、第三池化层和全连接层的参数进行训练来获得第三卷积层、第三池化层和全连接层的训练参数。

第二图像处理设备200可确定由人脸检测模块400输出的含人脸图像是模糊人脸图像还是非模糊人脸图像，并在确定的多个模糊人脸图像中确定第二预定数量个最清晰人脸图像，其中，非模糊人脸图像和最清晰人脸图像可被用于进行人脸识别。由于以上已参照图7对第二图像处理设备200的处理进行了详细描述，因此这里不再进行重复描述。

此外，图像处理设备300还可包括人脸识别模块(未示出)，该人脸识别模块可使用第二图像处理设备200确定的非模糊人脸图像和最清晰人脸图像进行人脸识别。此外，该人脸识别模块可使用多种人脸识别算法来进行人脸识别，优选地，该人脸识别模块可使用基于CNN模型的人脸识别算法进行人脸识别。

图11是根据本发明的示例性实施例的由图10的图像处理设备300执行的图像处理方法的流程图。

如图11中所示，在步骤S310，确定输入图像是低质量图像还是高质量图像。由于步骤S310执行的操作与以上描述的图6的步骤S110的操作相同，因此这里不再进行重复描述。

如果在步骤S310确定输入图像是高质量图像，则在步骤S330对高质量图像进行人脸检测来获得结果图像，其中，结果图像可以是以上描述的含人脸图像，或者是以上描述的无人脸图像。如果结果图像是所述含人脸图像，则进行到步骤S340，如果结果图像是所述无人脸图像，则结果图像可被直接舍弃。例如，可采用多种人脸检测方法(例如，Viola-Jones人脸检测方法、LBP人脸检测方法、MB-LBP人脸检测方法和CNN人脸检测方法等)来进行人脸检测，优选地，可采用基于多级CNN模型的CNN人脸检测方法来进行人脸检测。

如果在步骤S310确定输入图像是低质量图像，则进行到步骤S320。在步骤S320，在通过步骤S310确定的多个低质量图像中确定第一预定数量个最清晰图像，并进行到步骤S330。由于步骤S320执行的操作与以上描述的图6的步骤S120的操作相同，因此这里不再进行重复描述。在步骤S330，对最清晰图像进行人脸检测以获得结果图像，其中，结果图像可以是以上描述的含人脸图像，或者是以上描述的无人脸图像。如果结果图像是所述含人脸图像，则进行到步骤S340，如果结果图像是所述无人脸图像，则结果图像可被直接舍弃。

在步骤S340，确定在步骤S330进行人脸检测而获得的含人脸图像是模糊人脸图像还是非模糊人脸图像。由于步骤S340执行的操作与以上描述的图9的步骤S210的操作相同，因此这里不再进行重复描述。

如果在步骤S340确定含人脸图像是非模糊人脸图像，则输出非模糊人脸图像。

如果在步骤S340确定含人脸图像是模糊人脸图像，则进行到步骤S350。在步骤S350，在确定的多个模糊人脸图像中确定第二预定数量个最清晰人脸图像，并输出所述第二预定数量个最清晰人脸图像。由于步骤S350执行的操作与以上描述的图9的步骤S220的操作相同，因此这里不再进行重复描述。

此外，在步骤S340所获得的非模糊人脸图像和在和步骤S350所获得的最清晰人脸图像可被用于进行人脸识别处理。

以上示出了本发明的示例性实施例，由于本发明的图像处理设备和方法可在进行人脸检测或人脸识别之前对图像进行处理，因此本发明的图像处理设备和方法可被有效地应用于人脸检测设备或人脸识别设备，进而不仅可有效地降低在对低质量图像进行人脸检测时出现的错检漏检率，还可有效地解决在对模糊人脸图像进行识别时难以准确识别出人脸的问题。

本发明的以上各个实施例仅是示例性的，而本发明并不受限于此。本领域技术人员应该理解：在不脱离本发明的原理和精神的情况下，可对这些实施例进行改变，其中，本发明的范围在权利要求及其等同物中限定。

Claims (18)

1.一种图像处理设备，包括：

图像分类模块，被配置为确定输入图像是低质量图像还是高质量图像；

图像评估模块，被配置为在由图像分类模块确定的多个低质量图像之中确定第一预定数量个最清晰图像。

2.如权利要求1所述的图像处理设备，其中，图像分类模块被配置为使用第一卷积神经网络分类器模型计算所述输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值，并根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像。

3.如权利要求1或2所述的图像处理设备，其中，图像评估模块被配置为针对所述多个低质量图像中的每一个低质量图像计算图像清晰度评估值，并将所述多个低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像。

4.如权利要求1至3中的任意一项所述的图像处理设备，还包括：

人脸检测模块，被配置为通过利用第二卷积神经网络分类器模型对由图像分类模块确定的高质量图像和由图像评估模块确定的最清晰图像进行人脸检测来输出结果图像，

其中，结果图像是含人脸图像或无人脸图像。

5.如权利要求4所述的图像处理设备，还包括：

人脸图像分类模块，被配置为确定由人脸检测模块输出的含人脸图像是模糊人脸图像还是非模糊人脸图像；

人脸图像评估模块，被配置为在由人脸图像分类模块确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

6.如权利要求5所述的图像处理设备，其中，人脸图像分类模块被配置为使用第三卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值，并根据所述含人脸图像的人脸图像分类概率值来确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。

7.如权利要求5或6所述的图像处理设备，其中，人脸图像评估模块被配置为针对所述多个模糊人脸图像中的每一个模糊人脸图像计算人脸清晰度评估值，并将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像。

8.一种图像处理设备，包括：

人脸图像分类模块，被配置为确定含人脸图像是模糊人脸图像还是非模糊人脸图像；

人脸图像评估模块，被配置为在人脸图像分类模块确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

9.如权利要求8所述的图像处理设备，其中，人脸图像分类模块被配置为使用卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值，并根据所述含人脸图像的人脸图像分类概率值来确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。

10.一种图像处理方法，包括：

确定输入图像是低质量图像还是高质量图像；

在确定的多个低质量图像之中确定第一预定数量个最清晰图像。

11.如权利要求10所述的图像处理方法，其中，确定输入图像是低质量图像还是高质量图像的步骤包括：

使用第一卷积神经网络分类器模型计算输入图像被分类为多种不同质量类别中的每一种类别的图像分类概率值；

根据所述输入图像的图像分类概率值来确定所述输入图像是低质量图像还是高质量图像。

12.如权利要求10或11所述的图像处理方法，其中，在确定的多个低质量图像之中确定第一预定数量个最清晰图像的步骤包括：

针对所述多个低质量图像中的每一个低质量图像计算图像清晰度评估值；

将所述多个低质量图像中的从具有最高的图像清晰度评估值至具有第一预定数量高的图像清晰度评估值的第一预定数量个低质量图像确定为所述第一预定数量个最清晰图像。

13.如权利要求10至12中的任意一项所述的图像处理方法，还包括：

通过利用第二卷积神经网络分类器模型对确定的高质量图像和确定的最清晰图像进行人脸检测来输出结果图像，

其中，结果图像是含人脸图像或无人脸图像。

14.如权利要求13所述的图像处理方法，还包括：

确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像；

在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

15.如权利要求14所述的图像处理方法，其中，确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像的步骤包括：

使用第三卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值；

根据所述含人脸图像的人脸图像分类概率值来确定所述人脸图像是模糊人脸图像还是非模糊人脸图像。

16.如权利要求14或15所述的图像处理方法，其中，在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像的步骤包括：

针对所述多个模糊人脸图像中的每一个模糊人脸图像计算人脸清晰度评估值；

将所述多个模糊人脸图像中的从具有最高的人脸清晰度评估值至具有第二预定数量高的人脸清晰度评估值的第二预定数量个模糊人脸图像确定为所述第二预定数量个最清晰人脸图像。

17.一种图像处理方法，包括：

确定含人脸图像是模糊人脸图像还是非模糊人脸图像；

在确定的多个模糊人脸图像之中确定第二预定数量个最清晰人脸图像。

18.如权利要求17所述的图像处理方法，其中，确定含人脸图像是模糊人脸图像还是非模糊人脸图像的步骤包括：

使用卷积神经网络分类器模型计算所述含人脸图像被分类为清晰人脸图像类别和模糊人脸图像类别中的每一种类别的人脸图像分类概率值；

根据所述含人脸图像的人脸图像分类概率值来确定所述含人脸图像是模糊人脸图像还是非模糊人脸图像。