CN109871802A - 图像检测方法及图像检测装置 - Google Patents

Abstract

本申请实施例公开了一种图像检测装置。其中，该方法包括：获取人脸图像，所述人脸图像中至少包括人脸区域，所述人脸区域包括第一区域、第二区域和第三区域；将所述人脸图像输入至神经网络，分别输出所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况；根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况。采用本申请，可以有效地对人脸上的遮挡情况进行识别。

Description

图像检测方法及图像检测装置

技术领域

本申请涉及图像技术领域，尤其涉及一种图像检测方法及图像检测装置。

背景技术

随着人们生活水平的提高，越来越多的人开始关注皮肤问题。为了更好地了解人脸的肌肤问题，需要对人脸进行肌肤检测。

在对人脸肌肤进行检测时，如果人脸上有遮挡物，如人脸上的眼镜、面膜、鼻贴等，则人脸的肌肤就会被这些遮挡物遮挡住部分的皮肤，会导致人脸肌肤的检测结果不准确。

由此可见，人脸肌肤检测是本领域技术人员正在研究的问题。

发明内容

本申请提供了一种图像检测方法及图像检测装置，可以有效地对人脸上的遮挡情况进行识别。

第一方面，本申请实施例提供了一种图像检测方法，包括：

获取人脸图像，所述人脸图像中至少包括人脸区域，所述人脸区域包括第一区域、第二区域和第三区域；

将所述人脸图像输入至神经网络，分别输出所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况；

根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况。

本申请实施例中，首先获取人脸图像，该人脸图像中的人脸区域包括第一区域(与额头对应的区域)，第二区域(与眼睛对应的区域)，第三区域(与鼻子对应的区域)；然后将该人脸图像输入至已经训练好的神经网络中，上述三个区域分别对应不同的人脸区域，该神经网络会将上述三个区域对应的不同的遮挡情况进行输出；最后根据上述三个区域的遮挡情况确定出该人脸图像的遮挡情况。通过上述方式，在对人脸图像进行检测时，如果人脸图像上有遮挡物，可以将人脸图像中的遮挡情况输出，可避免因人脸图像中的遮挡情况而导致人脸图像的检测结果不准确，提高了人脸图像检测的准确度。

结合第一方面，在一种可能的实现方式中，所述第一区域的遮挡情况用于描述所述人脸图像中的第一区域的遮挡物，所述第二区域的遮挡情况用于描述所述人脸图像中的第二区域的遮挡物，所述第三区域的遮挡情况用于描述所述人脸图像中的第三区域的遮挡物；

所述根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况包括：

在所述神经网络输出的所述第一区域的遮挡物包括所述第二区域或第三区域的遮挡物的情况下，根据所述第二区域的遮挡物以及所述第三区域的遮挡物确定所述人脸图像中的遮挡物；

或者，在所述神经网络输出的所述第二区域的遮挡物包括所述第一区域或第三区域的遮挡物的情况下，根据所述第一区域的遮挡物以及所述第三区域的遮挡物确定所述人脸图像中的遮挡物；

或者，在所述神经网络输出的所述第三区域的遮挡物包括所述第一区域或所述第二区域的遮挡物的情况下，根据所述第一区域的遮挡物以及所述第二区域的遮挡物确定所述人脸图像中的遮挡物。

本申请实施例中，第一区域、第二区域以及第三区域的遮挡物分别属于不同类型的遮挡物，当通过神经网络检测该第一区域的遮挡物时，该神经网络输出的该第一区域的遮挡物可能会包括应该属于第二区域或者第三区域的遮挡物，此时判定该第一区域无遮挡物；或者，也可判定该第一区域的遮挡物预测有误；由此再确定人脸图像中的遮挡物时，可根据第二区域以及第三区域的遮挡物来确定，提高人脸图像遮挡物确定的准确度。同理，第二区域以及第三区域也会出现如第一区域的情况，在此不再一一详述。通过上述方式，可以准确的将每个区域的遮挡物通过神经网络输出，最终得到人脸图像中的遮挡物，可避免因某个区域的遮挡物包括了其他区域的遮挡物而无法准确判断的情形，提高了遮挡物判断的准确性。

结合第一方面或第一方面的任一种可能的实现方式中，所述获取人脸图像之后，以及所述将所述人脸图像输入至神经网络之前，所述方法还包括：

对所述人脸图像进行归一化处理，获得归一化处理后的人脸图像；

所述将所述人脸图像输入至神经网络包括：

将所述归一化处理后的人脸图像输入至所述神经网络。

本申请实施例中，对获取到的人脸图像进行归一化处理，可以使输入到该神经网络中的人脸图像都具有一个相同形式的标准图像，可避免该神经网络处理不同形式的人脸图像而影响人脸图像的检测速度，一定程度上提高了检测速度。

结合第一方面或第一方面的任一种可能的实现方式中，所述将所述人脸图像输入至神经网络之前，所述方法还包括：

获取图像样本，并获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像；

根据所述第一区域图像的遮挡情况、所述第二区域图像的遮挡情况以及所述第三区域图像的遮挡情况，训练所述神经网络。

结合第一方面或第一方面的任一种可能的实现方式中，所述获取至少两个图像样本之后，以及所述获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像之前，所述方法还包括：

对所述图像样本进行扩充处理，得到扩充处理后的所述图像样本；

所述获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像，包括：

获取扩充处理后的所述图像样本中的第一区域图像、扩充处理后的所述图像样本中的第二区域图像以及扩充处理后的所述图像样本中的第三区域图像。

本申请实施例中，通过对人脸图像进行扩充处理(如反转、剪切、缩放等等操作)，能够增加神经网络的鲁棒性。

本申请实施例中，分别将第一区域、第二区域以及第三区域中的遮挡物输入到神经网络中去进行训练，通过大量的训练样本进行训练，提高了训练精度，进一步提高了人脸图像中的遮挡情况的检测精度。

结合第一方面或第一方面的任一种可能的实现方式中，所述第一区域为与额头对应的区域，所述第二区域为与眼睛对应的区域，所述第三区域为与鼻子对应的区域。

结合第一方面或第一方面的任一种可能的实现方式中，所述确定所述人脸图像中的遮挡情况之后，所述方法还包括：

输出提示信息，所述提示信息用于提示所述人脸图像中的遮挡情况。

第二方面，本申请实施例提供了一种图像检测装置，包括：

第一获取单元，用于获取人脸图像，所述人脸图像中至少包括人脸区域，所述人脸区域包括第一区域、第二区域和第三区域；

输入输出单元，用于将所述人脸图像输入至神经网络，分别输出所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况；

确定单元，用于根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况。

结合第二方面，在一种可能的实现方式中，所述第一区域的遮挡情况用于描述所述人脸图像中的第一区域的遮挡物，所述第二区域的遮挡情况用于描述所述人脸图像中的第二区域的遮挡物，所述第三区域的遮挡情况用于描述所述人脸图像中的第三区域的遮挡物；

所述确定单元，具体用于在所述神经网络输出的所述第一区域的遮挡物包括所述第二区域或第三区域的遮挡物的情况下，根据所述第二区域的遮挡物以及所述第三区域的遮挡物确定所述人脸图像中的遮挡物；

或者，所述确定单元，具体用于在所述神经网络输出的所述第二区域的遮挡物包括所述第一区域或第三区域的遮挡物的情况下，根据所述第一区域的遮挡物以及所述第三区域的遮挡物确定所述人脸图像中的遮挡物；

或者，所述确定单元，具体用于在所述神经网络输出的所述第三区域的遮挡物包括所述第一区域或所述第二区域的遮挡物的情况下，根据所述第一区域的遮挡物以及所述第二区域的遮挡物确定所述人脸图像中的遮挡物。

结合第二方面或第二方面的任一种可能的实现方式中，所述图像检测装置还包括：

归一化处理单元，用于对所述人脸图像进行归一化处理，获得归一化处理后的人脸图像；

所述输入输出单元将所述人脸图像输入至神经网络，具体用于将所述归一化处理后的人脸图像输入至所述神经网络。

结合第二方面或第二方面的任一种可能的实现方式中，所述图像检测装置还包括：

第二获取单元，用于获取至少两个图像样本，并获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像；

训练单元，用于根据所述第一区域图像的遮挡情况、所述第二区域图像的遮挡情况以及所述第三区域图像的遮挡情况，训练所述神经网络。

结合第二方面或第二方面的任一种可能的实现方式中，所述图像检测装置还包括：

扩充处理单元，用于对所述图像样本进行扩充处理，得到扩充处理后的所述图像样本；

第二获取单元，具体用于获取扩充处理后的所述图像样本中的第一区域图像、扩充处理后的所述图像样本中的第二区域图像以及扩充处理后的所述图像样本中的第三区域图像。

结合第二方面或第二方面的任一种可能的实现方式中，所述第一区域为与额头对应的区域，所述第二区域为与眼睛对应的区域，所述第三区域为与鼻子对应的区域。

结合第二方面或第二方面的任一种可能的实现方式中，所述图像检测装置还包括：

输出单元，用于输出提示信息，所述提示信息用于提示所述人脸图像中的遮挡情况。

第三方面，本申请实施例还提供了一种图像检测装置，包括：处理器和存储器，所述处理器和所述存储器耦合，所述存储器中存储有程序指令，所述程序指令被所述处理器执行时，使所述处理器执行如第一方面或第一方面的任一种可能的实现方式所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被图像检测装置的处理器执行时，使所述处理器执行第一方面所述的方法。

第五方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

图1是本申请实施例提供的一种图像检测方法的流程示意图；

图2是本申请实施例提供的另一种图像检测方法的流程示意图；

图3是本申请实施例提供的一种神经网络训练方法的流程示意图；

图4是本申请实施例提供的一种人脸关键点的示意图；

图5是本申请实施例提供的一种截取人脸图像的示意图；

图6是本申请实施例提供的一种图像检测装置的结构示意图；

图7是本申请实施例提供的另一种图像检测装置的结构示意图；

图8是本申请实施例提供的又一种图像检测装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。

参见图1，图1是本申请实施例提供的一种图像检测方法的流程示意图，该图像检测方法可应用于图像检测装置，该图像检测装置可包括服务器、终端设备或芯片，该终端设备可包括手机、台式电脑、手提电脑和其他设备等等，本申请实施例对于该图像检测装置的具体形式不作限定。

如图1所示，该图像检测方法包括：

101、获取人脸图像，上述人脸图像中至少包括人脸区域，上述人脸区域包括第一区域、第二区域和第三区域。

本申请实施例中，获取人脸图像可理解为该图像检测装置采集或获取该人脸图像；也可理解为该图像检测装置从其他装置处采集或获取该人脸图像。举例来说，若该图像检测装置为手机，可以将该图像检测方法应用在手机端的图像应用(application，APP)中，则可以通过手机中的该APP应用获取该人脸图像。对于该图像检测装置如何采集或获取人脸图像，本申请实施例不作限定。

其中，该人脸图像中包括全部的人脸区域，且该人脸区域可以划分为三个区域，即上述第一区域、上述第二区域以及上述第三区域。

可选的，上述第一区域为与额头对应的区域，上述第二区域为与眼睛对应的区域，上述第三区域为与鼻子对应的区域。

本申请实施例中，可以将上述第一区域、上述第二区域以及上述第三区域分别与人脸的不同区域一一对应起来。即第一区域为与额头对应的区域，第二区域为与眼睛对应的区域，第三区域为与鼻子对应的区域。

102、将上述人脸图像输入至神经网络，分别输出上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况。

本申请实施例中，上述神经网络可以为AlexNet神经网络、深度卷积神经网络(Visual Geometry Group，VGG)、残差网络ResNet，多目标检测算法(The Single ShotDetector，SSD)，目标检测神经网络(you only look once，Yolo)等等。可理解，本申请实施例中对于具体的神经网络不作限定。

其中，上述遮挡情况可以理解为人脸图像中是否有除了人脸特征之外的其他物体遮挡住人脸。其中，该人脸特征为人的眼睛、鼻子、眉毛、嘴巴、额头以及脸部皮肤。具体的，该遮挡情况有两种情况，即有遮挡和无遮挡。也就是说，若该人脸图像中出现除了该人脸特征之外的其他物体，则该人脸图像即被视为有遮挡；若该人脸图像中没有出现除了该人脸特征之外的其他物体，则该人脸图像即被视为无遮挡。可理解，本申请实施例中对于该遮挡情况具体是什么不作限定。

当通过上述图像检测装置获取到上述人脸图像之后，可以将该人脸图像输入到上述神经网络中去，该神经网络会分别输出该人脸图像中包括的上述三个区域的遮挡情况。具体的，上述第一区域的遮挡情况为有遮挡或无遮挡；上述第二区域的遮挡情况为有遮挡或无遮挡；上述第三区域的遮挡情况为有遮挡或无遮挡。

可理解，本申请实施例中的神经网络可以为该图像检测装置自己训练，或者，该神经网络也可以为其他装置如训练装置训练好之后，发送给该图像检测装置的网络模型。其中，该图像检测装置自己训练神经网络的实现方式可参考图5所示的方法。在该神经网络为训练装置发送给该图像检测装置的情况下，上述将上述第一区域的图像输入至神经网络之前，上述方法还包括：

接收来自训练装置的上述神经网络；其中，上述训练装置用于训练网络模型，得到上述神经网络。

本申请实施例中，训练装置可为任意的设备，如可为服务器，还可为终端设备等等，本申请实施例对于该训练装置不作限定。以及本申请实施例对于该训练装置如何训练神经网络也不作限定。

103、根据上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况，确定上述人脸图像中的遮挡情况。

本申请实施例中，上述图像检测装置会将第一区域、第二区域以及第三区域的遮挡情况进行分析，最终得到上述人脸图像的遮挡情况。

由上述步骤102可以知道，上述三个区域中的每个区域都会出现两种遮挡情况。所以，对于整个人脸图像的遮挡情况来说，会有8种可能的遮挡情况。

具体的，若上述第一区域、第二区域以及第三区域遮挡情况为有遮挡，则该人脸图像的遮挡情况即为额头区域有遮挡、眼睛区域有遮挡、鼻子区域有遮挡；若上述第一区域和第二区域遮挡情况为有遮挡，第三区域的遮挡情况为无遮挡，则该人脸图像的遮挡情况即为额头区域有遮挡、眼睛区域有遮挡，鼻子区域无遮挡；若上述第一区域和第三区域遮挡情况为有遮挡，第二区域的遮挡情况为无遮挡，则该人脸图像的遮挡情况即为额头区域有遮挡、眼睛区域无遮挡，鼻子区域有遮挡，等等。至于该人脸图像的其余5种遮挡情况的具体描述，可参考上述3种情况的具体描述，在此不再一一详述。可理解，本申请实施例中对于该人脸图像具体的遮挡情况不作限定。

实施本申请实施例，首先获取人脸图像，该人脸图像中的人脸区域包括第一区域(与额头对应的区域)，第二区域(与眼睛对应的区域)，第三区域(与鼻子对应的区域)；然后将该人脸图像输入至已经训练好的神经网络中，上述三个区域分别对应不同的人脸区域，该神经网络会将上述三个区域对应的不同的遮挡情况进行输出；最后根据上述三个区域的遮挡情况确定出该人脸图像的遮挡情况。通过上述方式，在对人脸图像进行检测时，可以将人脸图像中的遮挡情况输出，可避免因人脸图像中的遮挡情况而导致人脸图像的检测结果不准确，提高了人脸图像检测的准确度。

参见图2，图2是本申请实施例提供的另一种图像检测方法，如图2所示，该方法包括：

201、获取人脸图像，上述人脸图像中至少包括人脸区域，上述人脸区域包括第一区域、第二区域和第三区域。

本申请实施例中，对于上述步骤201的具体实现方式可参考图1中所示步骤101所示的实现方式，这里不再一一详述。

202、对上述人脸图像进行归一化处理，获得归一化处理后的人脸图像。

本申请实施例中，图像归一化就是通过一系列变换(即利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响)，将待处理的原始图像转换成相应的唯一标准形式(该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性)。其中，上述待处理的原始图像即为上述人脸图像。

基于矩的图像归一化技术基本工作原理为：首先利用图像中对仿射变换具有不变性的矩来确定变换函数的参数，然后利用此参数确定的变换函数把原始图像(即上述人脸图像)变换为一个标准形式的图像(该图像与仿射变换无关)。一般说来，基于矩的图像归一化过程包括4个步骤，即坐标中心化、x-shearing归一化、缩放归一化和旋转归一化。

实施本申请实施例，对获取到的人脸图像进行归一化处理，可以使输入到该神经网络中的人脸图像都具有一个相同形式的标准图像，可避免该神经网络处理不同形式的人脸图像而影响人脸图像的检测速度，一定程度上提高了检测速度。

203、将上述归一化处理后的人脸图像输入至神经网络，分别输出上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况。

本申请实施例中，当通过上述图像检测装置对上述人脸图像进行归一化处理之后，可以将归一化处理之后的该人脸图像输入到上述神经网络中去，该神经网络会分别输出该人脸图像中包括的上述三个区域的遮挡情况。具体的，上述第一区域的遮挡情况、上述第二区域的遮挡情况以及上述第三区域的遮挡情况可以为具体的遮挡物(如眼镜等)。可理解，本申请实施例中对于该遮挡情况具体是什么不作限定。

可选的，上述第一区域的遮挡情况用于描述上述人脸图像中的第一区域的遮挡物，上述第二区域的遮挡情况用于描述上述人脸图像中的第二区域的遮挡物，上述第三区域的遮挡情况用于描述上述人脸图像中的第三区域的遮挡物；

上述根据上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况，确定上述人脸图像中的遮挡情况包括：

在上述神经网络输出的上述第一区域的遮挡物包括上述第二区域或第三区域的遮挡物的情况下，根据上述第二区域的遮挡物以及上述第三区域的遮挡物确定上述人脸图像中的遮挡物；

或者，在上述神经网络输出的上述第二区域的遮挡物包括上述第一区域或第三区域的遮挡物的情况下，根据上述第一区域的遮挡物以及上述第三区域的遮挡物确定上述人脸图像中的遮挡物；

或者，在上述神经网络输出的上述第三区域的遮挡物包括上述第一区域或上述第二区域的遮挡物的情况下，根据上述第一区域的遮挡物以及上述第二区域的遮挡物确定上述人脸图像中的遮挡物。

本申请实施例中，上述第一区域(即额头区域)的遮挡物可以理解为帽子、刘海等，或者遮挡物为无。上述第二区域(即眼睛区域)的遮挡物可以理解为眼镜、面膜等，或者遮挡物为无。上述第三区域(即鼻子区域)的遮挡物可以理解为鼻贴、口罩等，或者遮挡物为无。可理解，本申请实施例中，对于该遮挡物具体是什么不作限定。

具体的，当神经网络检测到上述第一区域(即额头区域)的遮挡物为眼镜、面膜、鼻贴或口罩中的一项或多项时，表示该神经网络将应该属于第二区域或第三区域的遮挡物预测成了第一区域的遮挡物，此时，该第一区域的遮挡情况为无遮挡物；或者，该第一区域的遮挡情况为预测有误。

当神经网络检测到上述第二区域(即眼睛区域)的遮挡物为帽子、刘海、鼻贴或口罩中的一项或多项时，表示该神经网络将应该属于第一区域或第三区域的遮挡物预测成了第二区域的遮挡物，此时，该第二区域的遮挡情况为无遮挡物；或者，该第二区域的遮挡情况为预测有误。

当神经网络检测到上述第三区域(即鼻子区域)的遮挡物为帽子、刘海、眼镜或面膜中的一项或多项时，表示该神经网络将应该属于第一区域或第二区域的遮挡物预测成了第三区域的遮挡物，此时，该第三区域的遮挡情况为无遮挡物；或者，该第三区域的遮挡情况为预测有误。

可理解，当上述神经网络检测到的遮挡物中包括刘海、鼻贴、口罩时，则该人脸图像中的遮挡物不应再出现面膜。

可理解，以上仅为一种示例，不应理解为对本申请实施例的限定。

204、根据上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况，确定上述人脸图像中的遮挡情况。

本申请实施例中，根据上述步骤203所示的实现方式，可以得到上述第一区域、上述第二区域以及上述第三区域的遮挡物的具体检测情况，将这些具体检测情况进行组合，即可得到上述人脸图像的具体遮挡情况。

举例来说，若上述第一区域的遮挡物为帽子，第二区域的遮挡物眼镜，第三区域的遮挡物为无，则该人脸图像的遮挡情况即为该人脸图像被帽子和眼镜遮挡，等等。可理解，本申请实施例中对于该人脸图像的具体遮挡情况不作限定。

实施本申请实施例，通过上述神经网络可以将该人脸图像中具体的遮挡物检测出来，提高了对人脸图像遮挡情况的识别精度。

205、输出提示信息，上述提示信息用于提示上述人脸图像中的遮挡情况。

本申请实施例中，在进行皮肤检测时，若用户脸部皮肤有遮挡物，可以通过输出提示信息的方式提醒用户。具体的，可以通过上述图像检测装置输出该提示信息。举例来说，若该图像检测装置为手机，可以将上述图像检测方法应用在手机端的APP中，并通过该手机的APP应用输出该提示信息，如以提示弹窗的方式显示该提示信息。可理解，本申请实施例中对于如何输出该提示信息不作限定。

具体的，上述提示信息可以为文字、图片、语音或视频中的一项或多项。可理解，本申请实施例中对于该提示信息的具体形式不作限定。

举例来说，用户在进行皮肤检测时，若上述人脸图像的遮挡情况为该人脸图像被帽子和眼镜遮挡，则该提示信息可以为“请将帽子和眼镜摘掉”，等等。用户在看到该提示信息之后，可以摘掉帽子和眼镜，重新进行皮肤检测，提高皮肤检测的精确度。可理解，本申请实施例对于该提示信息不作限定。

实施本申请实施例，首先获取人脸图像，然后对该人脸图像进行归一化处理，并将归一化处理之后的该人脸图像输入到神经网络中，通过该神经网络可以将人脸图像中包括的三个区域的具体的遮挡物的情况输出，最终根据该三个区域的遮挡物确定该人脸图像的遮挡情况，最终通过提示信息提醒用户该人脸图像的遮挡情况。用户在进行皮肤检测时，若用户脸部皮肤有遮挡物，通过上述方式，用户可以及时排除遮挡物的干扰，可避免因遮挡物而影响皮肤检测的结果，提高了检测精度。

本申请实施例神经网络可由卷积层、非线性层、池化层等网络层按照一定方式堆叠设计而成，本申请实施例对具体的网络结构并不限制。设计好神经网络结构后，可基于带有标注信息的正、负样本图像，采用监督方式对设计好的神经网络进行反向梯度传播等方法进行成千上万次的迭代训练，具体的训练方式本申请实施例并不限制。

对于图1和图2所示的图像检测方法，神经网络为已训练好的网络模型，即对网络模型进行训练，而得到的神经网络。因此，本申请实施例还提供了一种训练网络模型的方法，参见图3，图3是本申请实施例提供的一种神经网络训练方法的流程示意图，如图3所示，该训练方法包括：

301、获取至少两个图像样本，并获取上述图像样本中的第一区域图像、上述图像样本中的第二区域图像以及上述图像样本中的第三区域图像。

本申请实施例中，上述图像样本为一种人脸图像，该图像样本包括正样本和负样本，上述正样本为包含遮挡物的图像，上述负样本为不包含遮挡物的图像。其中，上述图像检测装置可以获取上述图像样本，也可以通过其他装置获取该图像样本。且可以参考上述步骤101所示的具体实现方式对该图像样本进行截取，得到上述图像样本中的第一区域图像、上述图像样本中的第二区域图像以及上述图像样本中的第三区域图像，在此不再一一详述。

可选的，上述获取至少两个图像样本之后，以及上述获取上述图像样本中的第一区域图像、上述图像样本中的第二区域图像以及上述图像样本中的第三区域图像之前，上述方法还包括：

对上述图像样本进行扩充处理，得到扩充处理后的上述图像样本；

上述获取上述图像样本中的第一区域图像、上述图像样本中的第二区域图像以及上述图像样本中的第三区域图像，包括：

获取扩充处理后的上述图像样本中的第一区域图像、扩充处理后的上述图像样本中的第二区域图像以及扩充处理后的上述图像样本中的第三区域图像。

本申请实施例中，当上述图像检测装置获取到的图像样本(即正样本和负样本)数据量太少的时候，可以通过图像扩充(即数据增强)的方式增强图像样本的数据量。常用的图像扩充方式有，水平翻转，裁剪，视角变换，图像压缩算法(joint photographic expertsgroup，JPEG)，尺度变换，颜色变换，旋转等。或者，还可以通过人工增加训练集的大小实现数据增强。

具体的，可以通过平移、翻转、加噪声等方法从已经获取到的图像样本中创造出一批新数据。举例来说，可以通过上述图像检测装置获取6000个图像样本(即正样本和负样本)，其中，该6000个图像样本包括4000个训练集、1000个验证集(用于调参)以及1000个测试集(用于评估模型)。可理解，本申请实施例中对于如何获取图像样本以及图像样本的及具体数量不作限定。实施本申请实施例，通过获取大量的图像样本，提高训练精确率。

当通过上述方式获得大量的图像样本(即人脸图像)之后，可以将该图像样本(即人脸图像)进行划分，即划分为第一区域图像(即额头区域)、第二区域图像(即眼睛区域)以及第三区域图像(即鼻子区域)，然后对这三个区域的图像分别进行训练。

可选的，可以分别截取出该人脸图像中的额头区域、眼睛区域以及鼻子区域。具体的，可以以固定长宽直接截取额头区域、眼睛区域以及鼻子区域。但是在以固定长宽来截取人脸图像时，往往会因为每个人额头、眼睛、鼻子大小不一样，而导致截取结果出现偏差。因此，本申请实施例还提供了一种通过人脸关键点截取人脸图像的方法，如下所示：

获取到人脸图像后，首先确定上述人脸图像中的人脸关键点。确定上述人脸图像中的人脸关键点的方法包括：可以通过算法如边缘检测robert算法，索贝尔sobel算法等；也可通过相关模型如主动轮廓线snake模型等等。

尽管采用上述各种算法或模型可以确定人脸图像中的人脸关键点，但是以上方法一方面比较复杂，另一方面效果较差。因此，本申请实施例提供了一种简单方法，不仅实现简单，而且还可有效的确定人脸关键点，如下所示：

上述确定人脸图像中的人脸关键点，包括：

通过第三方应用确定上述人脸图像中的人脸关键点。

本申请实施例中，第三方应用可为第三方工具包dlib，dlib是开源的人脸关键点定位效果较好的工具包且是一个包含机器学习算法的C++开源工具包。目前工具包dlib被广泛应用在包括机器人，嵌入式设备，移动电话和大型高性能计算环境领域。因此可有效的利用该工具包做人脸关键点定位，得到人脸关键点。具体的，该人脸关键点可为68个人脸关键点等等。如图4所示，图4是本申请实施例提供的一种人脸关键点的示意图。从中可以看出人脸关键点可包括关键点0、关键点1……关键点67，即68个关键点。

具体的，本申请实施例还提供了一种截取人脸图像的方法，图5是本申请实施例提供的一种截取人脸图像的示意图。

本申请实施例还提供了一种截取额头区域的方法，如图5所示:

人脸关键点中包括关键点0、关键点1和关键点16，关键点19和关键点24。可理解，在通过人脸关键点定位人脸关键点时，每个关键点均有坐标，即像素点坐标。

具体的，以关键点19和关键点24作为额头区域的长边(即该额头区域的长边包含关键点19和关键点24)，且以关键点0和16的横坐标的差值作为额头区域的长边的具体长度。以关键点19或24的纵坐标的平移量作为额头区域的宽边。本申请实施例还提供了一种确定额头区域的宽边的方法，即以人脸关键点中的两个关键点的横坐标像素差值作为平移量。如以关键点0和关键点1之间的纵坐标差量作为上述平移量，以上述平移量确定额头区域的宽边。具体的，以关键点0和1之间的横坐标差量作为基本单位，从而将关键点19或24的纵坐标向上平移3个基本单位，该关键点19或24平移的差量即3个基本单位即为额头区域的宽边。

本申请实施例还提供了一种截取眼睛区域的方法，如图5所示:

人脸关键点中包括关键点0和关键点16，关键点21和关键点28。可理解，在通过人脸关键点定位人脸关键点时，每个关键点均有坐标，即像素点坐标。

具体的，以关键点21和关键点28作为眼睛区域的长边中的两个点(即该眼睛区域的长边包含关键点21和关键点28)，且以关键点0和16的横坐标的差值作为眼睛区域的长边的具体长度。以关键点0和关键点16作为眼睛区域的宽边中的两个点(即该眼睛区域的宽边包含关键点0和关键点16)，且以关键点21和28的纵坐标的差值作为眼睛区域的宽边的具体长度。

本申请实施例还提供了一种截取鼻子区域的方法，如图5所示:

人脸关键点中包括关键点0、关键点1、关键点15和关键点16，以及关键点8和关键点9。可理解，在通过人脸关键点定位人脸关键点时，每个关键点均有坐标，即像素点坐标。

具体的，以关键点1和关键点15作为鼻子区域的两条长边中的其中一条长边，且以关键点8或关键点9的作为鼻子区域的另一条长边中的一点(即该鼻子区域的另一条长边中包含关键点8或关键点9)，且该鼻子区域的另一条长边的具体长度为关键点0和关键点16的横坐标的差值。以关键点1(或关键点15)和关键点8(或关键点9)纵坐标的差值作为鼻子区域的宽边的具体长度。

可理解，截取的上述额头区域、眼睛区域和鼻子区域均为长方形或正方形。

可理解，本申请实施例中，上述关键点的横坐标和纵坐标的坐标系标准一致。

实施本申请实施例，在获取到人脸图像之后，可以通过人脸关键点截取该人脸图像，得到上述第一区域、上述第二区域以及第三区域，通过上述方式能够快速截取出上述三个区域，提高训练效率。

302、根据上述第一区域图像的遮挡情况、上述第二区域图像的遮挡情况以及上述第三区域图像的遮挡情况，训练上述神经网络。

本申请实施例中，可以将上述获取到的图像样本，即上述正样本和上述负样本输入到上述神经网络，并训练该神经网络。

具体的，该正样本可以为有遮挡物的额头区域、眼睛区域、鼻子区域；该负样本为无遮挡物的额头区域、眼睛区域、鼻子区域。或者，该正样本为遮挡物为帽子、刘海等的额头区域，遮挡物为眼镜、面膜等的眼睛区域，以及遮挡物为鼻贴、口罩等的鼻子区域；该负样本为无遮挡物的额头区域、眼睛区域、鼻子区域。可理解，本申请实施例中对于具体的正样本和负样本是什么不作限定。

为了说明该神经网络的具体训练过程，本申请实施例将以该神经网络为AlexNet神经网络为例进行说明。

因此，本申请实施例中，提供了一种AlexNet神经网络的训练过程。

具体的，由于上述图像样本(即正样本和负样本)图像的分辨率可能不一致，且神经网络要求输入的训练样本具有相同的尺寸，因此，本实施例中统一设置训练样本图像的分辨率为256*256。然后，构造AlexNet神经网络结构。

具体的，可采集6000个图像样本，其中，该6000个训练样本包括4000个训练集、1000个验证集(用于调参)以及1000个测试集(用于评估模型)。

其中，通过上述4000个训练集训练该神经网络，并通过上述1000个验证集调整该神经网络的参数，并且通过上述1000个测试集测试该神经网络的稳定性，最终完成对该神经网络的训练。

通过上述训练方式，当上述正样本为有遮挡物，负样本为无遮挡物时，以及通过该神经网络进行人脸图像检测时，该神经网络的输出结果即为该人脸图像有遮挡或无遮挡。或者，当上述正样本为具体的遮挡物(如上述帽子、刘海等)时，以及通过该神经网络进行人脸图像检测时，该神经网络的输出结果即为该具体的遮挡物。

可理解，以上所示的正负样本仅为一种示例，在具体实现中，还可将有遮挡物作为负样本，以及无遮挡物作为正样本等等，本申请实施例对于具体的训练方式不作唯一性限定。

实施本申请实施例，通过上述方法进行训练，能够有效提高检测精度。可理解，本申请实施例中对于该神经网络具体是什么，以及该神经网络具体的训练方式不作限定。

实施本申请实施例，通过大量的图像样本，以及通过该图像样本中不同的训练集的不同作用训练该神经网络，可有效保证训练过程的完整性，有效提高了该神经网络的准确率。

可理解，图1、图2和图3所示的方法实施例各有侧重，其中一个实施例中未详尽描述的实现方式还可参考其他实施例。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

参见图6，图6是本申请实施例提供的一种图像检测装置的结构示意图，如图6所示，该图像检测装置包括：

第一获取单元601，用于获取人脸图像，上述人脸图像中至少包括人脸区域，上述人脸区域包括第一区域、第二区域和第三区域；

输入输出单元602，用于将上述人脸图像输入至神经网络，分别输出上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况；确定单元603，用于根据上述第一区域的遮挡情况，上述第二区域的遮挡情况以及上述第三区域的遮挡情况，确定上述人脸图像中的遮挡情况。

可选的，上述第一区域的遮挡情况用于描述上述人脸图像中的第一区域的遮挡物，上述第二区域的遮挡情况用于描述上述人脸图像中的第二区域的遮挡物，上述第三区域的遮挡情况用于描述上述人脸图像中的第三区域的遮挡物；

上述确定单元603，具体用于在上述神经网络输出的上述第一区域的遮挡物包括上述第二区域或第三区域的遮挡物的情况下，根据上述第二区域的遮挡物以及上述第三区域的遮挡物确定上述人脸图像中的遮挡物；

或者，上述确定单元603，具体用于在上述神经网络输出的上述第二区域的遮挡物包括上述第一区域或第三区域的遮挡物的情况下，根据上述第一区域的遮挡物以及上述第三区域的遮挡物确定上述人脸图像中的遮挡物；

或者，上述确定单元603，具体用于在上述神经网络输出的上述第三区域的遮挡物包括上述第一区域或上述第二区域的遮挡物的情况下，根据上述第一区域的遮挡物以及上述第二区域的遮挡物确定上述人脸图像中的遮挡物。

可选的，参见图7，图7是本申请实施例提供的另一种图像处理装置的结构示意图，如图7所示，该装置还包括：

归一化处理单元604，用于对上述人脸图像进行归一化处理，获得归一化处理后的人脸图像；

上述输入输出单元602将上述人脸图像输入至神经网络，具体用于将上述归一化处理后的人脸图像输入至上述神经网络。

可选的，如图7所示，上述图像检测装置还包括：

第二获取单元605，用于获取至少两个图像样本，并获取上述图像样本中的第一区域图像、上述图像样本中的第二区域图像以及上述图像样本中的第三区域图像；

训练单元606，用于根据上述第一区域图像的遮挡情况、上述第二区域图像的遮挡情况以及上述第三区域图像的遮挡情况，训练上述神经网络。

可选的，如图7所示，上述装置还包括：

扩充处理单元607，用于对上述图像样本进行扩充处理，得到扩充处理后的上述图像样本；

第二获取单元605，具体用于获取扩充处理后的上述图像样本中的第一区域图像、扩充处理后的上述图像样本中的第二区域图像以及扩充处理后的上述图像样本中的第三区域图像。

可选的，上述第一区域为与额头对应的区域，上述第二区域为与眼睛对应的区域，上述第三区域为与鼻子对应的区域。

可选的，如图7所示，上述装置还包括：

输出单元608，用于输出提示信息，上述提示信息用于提示上述人脸图像中的遮挡情况。

参见图8，图8是本申请实施例提供的又一种图像检测装置的结构示意图，该图像检测装置包括处理器801、存储器802和输入输出接口803，上述处理器801、存储器802和输入输出接口803通过总线相互连接。

存储器802包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器802用于相关指令及数据。

输入输出接口803，例如可通过该输入输出接口与其他装置进行通信等。

处理器801可以是一个或多个中央处理器(central processing unit，CPU)，在处理器801是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。

具体的，各个操作的实现还可以对应参照图1、图2和图3所示的方法实施例的相应描述。以及各个操作的实现还可对应参照图6和图7所示的装置实施例的相应描述。

如在一个实施例中，处理器801可用于执行步骤101和步骤103所示的方法，又如该处理器801还可用于执行第一获取单元601和确定单元603等所执行的方法。

又如在一个实施例中，处理器801可用于执行步骤201、步骤202和步骤204所示的方法，又如该处理器801还可用于执行归一化处理单元单元604等所执行的方法。

又如在一个实施例中，处理器801可用于执行步骤301和步骤302所示的方法，又如该处理器801还可用于执行第二获取单元605、扩充处理单元607以及训练单元606等所执行的方法。

又如在一个实施例中，处理器801可用于获取人脸图像或图像样本，或者，也可通过输入输出接口803来获取人脸图像或图像样本等，本申请实施例对于如何获取人脸图像或图像样本不作限定。

又如在一个实施例中，输入输出接口803，还可用于执行输出单元608所执行的方法。

可以理解的是，图8仅仅示出了图像检测装置的简化设计。在实际应用中，数据处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入输出接口、处理器、存储器等，而所有可以实现本申请实施例的图像检测装置都在本申请的保护范围之内。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种图像检测方法，其特征在于，包括：

获取人脸图像，所述人脸图像中至少包括人脸区域，所述人脸区域包括第一区域、第二区域和第三区域；

将所述人脸图像输入至神经网络，分别输出所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况；

根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况。

2.根据权利要求1所述的方法，其特征在于，所述第一区域的遮挡情况用于描述所述人脸图像中的第一区域的遮挡物，所述第二区域的遮挡情况用于描述所述人脸图像中的第二区域的遮挡物，所述第三区域的遮挡情况用于描述所述人脸图像中的第三区域的遮挡物；

所述根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况包括：

在所述神经网络输出的所述第一区域的遮挡物包括所述第二区域或第三区域的遮挡物的情况下，根据所述第二区域的遮挡物以及所述第三区域的遮挡物确定所述人脸图像中的遮挡物；

或者，在所述神经网络输出的所述第二区域的遮挡物包括所述第一区域或第三区域的遮挡物的情况下，根据所述第一区域的遮挡物以及所述第三区域的遮挡物确定所述人脸图像中的遮挡物；

或者，在所述神经网络输出的所述第三区域的遮挡物包括所述第一区域或所述第二区域的遮挡物的情况下，根据所述第一区域的遮挡物以及所述第二区域的遮挡物确定所述人脸图像中的遮挡物。

3.根据权利要求1或2所述的方法，其特征在于，所述获取人脸图像之后，以及所述将所述人脸图像输入至神经网络之前，所述方法还包括：

对所述人脸图像进行归一化处理，获得归一化处理后的人脸图像；

所述将所述人脸图像输入至神经网络包括：

将所述归一化处理后的人脸图像输入至所述神经网络。

4.根据权利要求1或2所述的方法，其特征在于，所述将所述人脸图像输入至神经网络之前，所述方法还包括：

获取至少两个图像样本，并获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像；

根据所述第一区域图像的遮挡情况、所述第二区域图像的遮挡情况以及所述第三区域图像的遮挡情况，训练所述神经网络。

5.根据权利要求4所述的方法，其特征在于，所述获取至少两个图像样本之后，以及所述获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像之前，所述方法还包括：

对所述图像样本进行扩充处理，得到扩充处理后的所述图像样本；

所述获取所述图像样本中的第一区域图像、所述图像样本中的第二区域图像以及所述图像样本中的第三区域图像，包括：

获取扩充处理后的所述图像样本中的第一区域图像、扩充处理后的所述图像样本中的第二区域图像以及扩充处理后的所述图像样本中的第三区域图像。

6.根据权利要求1所述的方法，其特征在于，所述第一区域为与额头对应的区域，所述第二区域为与眼睛对应的区域，所述第三区域为与鼻子对应的区域。

7.根据权利要求1所述的方法，其特征在于，所述确定所述人脸图像中的遮挡情况之后，所述方法还包括：

输出提示信息，所述提示信息用于提示所述人脸图像中的遮挡情况。

8.一种图像检测装置，其特征在于，包括：

第一获取单元，用于获取人脸图像，所述人脸图像中至少包括人脸区域，所述人脸区域包括第一区域、第二区域和第三区域；

输入输出单元，用于将所述人脸图像输入至神经网络，分别输出所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况；

确定单元，用于根据所述第一区域的遮挡情况，所述第二区域的遮挡情况以及所述第三区域的遮挡情况，确定所述人脸图像中的遮挡情况。

9.一种图像检测装置，其特征在于，包括处理器和存储器，所述处理器与所述存储器耦合，所述存储器中存储有程序指令，所述程序指令被所述处理器执行使，使所述处理器执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被图像检测装置的处理器执行时，使所述处理器执行权利要求1-7任一项所述的方法。