CN111274848A - 一种图像检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像检测方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该方法包括：获取待检测图像；利用联合模型对待检测图像进行人脸识别及人脸角度检测，获联合模型输出的待检测图像是否含有人脸以及人脸角度；联合模型由多张训练图像及每张训练图像对应的标签训练获得，标签包括人脸标签和角度标签。装置用于执行上述方法。本发明实施例通过将待检测图像输入到联合模型中进行人脸识别和人脸角度检测，由于联合模型是由多张经过人脸标注和角度标注的训练图像训练获得，因此，该联合模型能够对待检测图像中是否包含人脸以及人脸的旋转角度进行识别，无需先进行图像旋转再进行人脸识别，其能够大大提高检测效率和准确率。

Description

一种图像检测方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像检测方法、装置、电子设备及存储介质。

背景技术

目前，人们在进行图像拍摄时，图片中的人脸往往不是成0度拍摄的，其可以横着拍、竖着拍，或者反着拍，因此，图像可能呈90度、180度或270度。

传统的人脸检测系统在对一张图像进行人脸识别时，若原图中没有检测出人脸，则将原图进行90度、180度和270度的旋转，然后依次进行人脸检测，从而导致整个检测过程中检测效率很低，且由于检测系统对图像进行旋转后，其图像中的人脸也有一定的敏感度，导致人脸检测准确率下降。

发明内容

有鉴于此，本发明实施例的目的在于提供一种图像检测方法、装置、电子设备及存储介质，能够通过将待检测图像输入到经过多张被标注有人脸标签和角度标签的训练图像训练获得的联合模型中，对该待检测图像进行人脸识别以及角度检测，达到检测效率高且准确率高的效果。

根据本发明实施例的一个方面，提供一种电子设备，可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可读指令。当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行所述机器可读指令，以执行一个或多个以下操作：

获取待检测图像；

利用联合模型对所述待检测图像进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，所述检测结果包括所述待检测图像是否含有人脸以及人脸角度；所述联合模型由多张训练图像及每张训练图像对应的标签训练获得，所述标签包括人脸标签和角度标签。

本发明实施例通过将待检测图像输入到联合模型中进行人脸识别和人脸角度检测，由于联合模型是由多张经过人脸标注和角度标注的训练图像训练获得，因此，该联合模型能够对待检测图像中是否包含人脸以及人脸的旋转角度进行识别，无需先进行图像旋转再进行人脸识别，其能够大大提高检测效率和准确率。

在一些实施例中，所述标签还包括人脸标注框坐标，所述方法，还包括：

获取多张训练图像，所述多张训练图像包括人脸图像和非人脸图像，并分别对每张训练图像进行标注，获得每张训练图像对应的人脸标签、角度标签和人脸标注框坐标；

将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型。

本发明实施例通过对训练图像进行是否有人脸、旋转角度以及人脸标注框坐标进行预先标注，然后再利用标注好的训练图像进行模型训练，获得联合模型，其中该联合模型能够同时检测出输入的图像中是否含有人脸、人脸的旋转角度以及人脸标注框坐标，大大提高了人脸检测的效率和准确率。

在一些实施例中，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，包括：

将所述待检测图像输入所述联合模型中进行人脸识别和人脸角度检测，获得所述待检测图像中是否有人脸、人脸角度以及人脸标注框坐标。

本发明实施例通过联合模型能够同时对待检测图像中是否包含人脸、人脸的旋转角度以及人脸标注框的坐标，，大大提高了人脸检测的效率和准确率。

在一些实施例中，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，包括：

判断所述待检测图像中是否包含人脸；

若包含，则获取该人脸对应的人脸角度以及人脸标注框坐标，所述人脸标注框坐标包括所述人脸标注框的左上角坐标和右下角坐标。

本发明实施例在利用联合模型对输入的待检测图像进行人脸识别，先判断输入的图像中是否包含有人脸，如果有人脸，则进行人脸角度以及人脸坐标检测，获得对应的人脸角度和人脸标注框坐标，如果检测到没有人脸，则直接输出结果，从而能够进一步提高检测的效率。

在一些实施例中，所述检测结果还包括所述待检测图像中的正脸图像；相应地，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，还包括：

根据所述人脸角度和所述人脸标注框坐标进行图像旋转，获得对应的正脸图像。

本发明实施例当检测到待检测图像中的人脸角度以及人脸标注框坐标后，可以根据人脸角度以及人脸标注框坐标对待检测图像进行图像旋转，获得正脸图像，便于用户查看。

在一些实施例中，所述检测结果还包括所述待检测图像中的正脸标注框坐标；相应地，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，还包括：

根据所述人脸角度和所述人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。

本发明实施例当检测到待检测图像中的人脸角度以及人脸标注框坐标后，可以根据人脸角度以及人脸标注框坐标对待检测图像进行坐标映射，获得正脸图像的正脸标注框坐标，以供用户使用。

在一些实施例中，所述将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型，包括：

将一张训练图像输入所述神经网络，所述神经网络输出该训练图像对应的人脸预测值、角度预测值和人脸标注框预测坐标；

根据所述训练图像对应的人脸预测值和人脸标签计算获得人脸标签损失值，根据角度预测值和角度标签计算获得角度标签损失值，根据人脸标注框预测坐标和人脸标注框坐标计算获得人脸标注框坐标损失值；

根据所述人脸标签损失值、所述角度标签损失值和所述人脸标注框坐标损失值计算所述训练图像对应的总损失值；

基于所述总损失值对所述神经网络中的参数进行优化，获得优化后神经网络；

获取新的训练图像继续训练所述优化后神经网络，直至满足训练结束条件，得到所述联合模型。

本发明实施例将每张训练图像对应的人脸标签损失值、角度标签损失值以及人脸标注框坐标损失值之和作为总损失值，通过总损失值对神经网络中的参数进行优化，获得最终的联合模型，从而能够大大提高联合模型预测的准确性。

另一方面，本发明实施例提供一种图像检测装置，包括：

获取模块，用于获取待检测图像；

检测模块，用于利用联合模型对所述待检测图像进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，所述检测结果包括所述待检测图像是否含有人脸以及人脸角度；所述联合模型由多张训练图像及每张训练图像对应的标签训练获得，所述标签包括人脸标签和角度标签。

在一些实施例中，所述标签还包括人脸标注框坐标，所述装置，还包括：

模型训练模块，用于获取多张训练图像，所述多张训练图像包括人脸图像和非人脸图像，并分别对每张训练图像进行标注，获得每张训练图像对应的人脸标签、角度标签和人脸标注框坐标；

将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型。

在一些实施例中，所述检测模块，具体用于：

将所述待检测图像输入所述联合模型中进行人脸识别和人脸角度检测，获得所述待检测图像种是否有人脸、人脸角度以及人脸标注框坐标。

在一些实施例中，所述检测模块，具体用于：

判断所述待检测图像中是否包含人脸；

若包含，则获取该人脸对应的人脸角度以及人脸标注框坐标，所述人脸标注框坐标包括所述人脸标注框的左上角坐标和右下角坐标。

在一些实施例中，所述检测结果还包括所述待检测图像中的正脸图像；相应地，所述检测模块，还具体用于：

根据所述人脸角度和所述人脸标注框坐标进行图像旋转，获得对应的正脸图像。

在一些实施例中，所述检测结果还包括所述待检测图像中的正脸标注框坐标；相应地，所述检测模块，还具体用于：

根据所述人脸角度和所述人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。

在一些实施例中，所述模型训练模块，具体用于：

将一张训练图像输入所述神经网络，所述神经网络输出该训练图像对应的人脸预测值、角度预测值和人脸标注框预测坐标；

根据所述训练图像对应的人脸预测值和人脸标签计算获得人脸标签损失值，根据角度预测值和角度标签计算获得角度标签损失值，根据人脸标注框预测坐标和人脸标注框坐标计算获得人脸标注框坐标损失值；

根据所述人脸标签损失值、所述角度标签损失值和所述人脸标注框坐标损失值计算所述训练图像对应的总损失值；

基于所述总损失值对所述神经网络中的参数进行优化，获得优化后神经网络；

获取新的训练图像继续训练所述优化后神经网络，直至满足训练结束条件，得到所述联合模型。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1(a)为本发明实施例提供的一张正着放置的图像；

图1(b)为本发明实施例提供的一张旋转90度放置的图像；

图2为本发明实施例提供的电子设备结构示意图；

图3为本发明实施例提供的一种图像检测方法流程示意图；

图4为本发明实施例提供的模型训练方法流程示意图；

图5(a)为正脸图像示意图；

图5(b)为一张旋转90度的人脸图像示意图；

图5(c)为一张旋转180度的人脸图像示意图；

图5(d)为一张旋转270度的人脸图像示意图；

图5(e)为一张非人脸图像示意图；

图6为本发明实施例提供的图像检测装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，本发明中附图仅起到说明和描述的目的，并不用于限定本发明的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本发明内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1(a)为本发明实施例提供的一张正着放置的图像，即图像中的人脸是正脸或者倾斜角度不大的人脸，称该图像的角度为0度，例如图像中的(1)和(2)。传统的人脸检测方法能够检测出图像中的人脸。图1(b)为本发明实施例提供的一张旋转90度放置的图像，如图1(b)所示，该图像中的人脸都不是正脸，其相对于正脸图像是由一个旋转角度的，有些传统的检测方法则无法检测中图1(b)中的人脸。但是有些传统的检测方法如果在初始检测时检测不到人脸时，会将原图进行90度的旋转，继续检测人脸，若仍然没有检测到人脸，将图片旋转180度后再进行人脸检测，若仍然没有检测到人脸，将图片旋转270度后再进行人脸检测，若仍然没有检测到人脸，则判定该图片没有人脸。应当说明的是，图1(a)和图1(b)是经过处理后的，其人脸可以为清晰的人脸。

上述的检测方法一方面检测不够准确，另一方面检测的效率会很低，因此，本发明实施例能够解决其检测效率低以及检测不够准确的问题，具体检测方法如下：

图2为本发明实施例提供的电子设备结构示意图。电子设备200可以是通用计算机或特殊用途的计算机，两者都可以用于实现本发明的图像检测的方法。本发明尽管仅示出了一个计算机，但是为了方便起见，可以在多个类似平台上以分布式方式实现本发明描述的功能，以均衡处理负载。

例如，电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本发明的方法。电子设备还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output，I/O)接口250。

为了便于说明，在电子设备200中仅描述了一个处理器。然而，应当注意，本发明中的电子设备200还可以包括多个处理器，因此本发明中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如，若电子设备200的处理器执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一处理器和第二处理器共同执行步骤A和B。

图3为本发明实施例提供的一种图像检测方法流程示意图，如图3所示，该方法包括：

步骤301：获取待检测图像；

步骤302：利用联合模型对所述待检测图像进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，所述检测结果包括所述待检测图像是否含有人脸以及人脸角度；所述联合模型由多张训练图像及每张训练图像对应的标签训练获得，所述标签包括人脸标签和角度标签。

在具体的实施过程中，当需要对一张待检测图像进行人脸检测，判断该待检测图像中是否包含人脸以及待检测图像的旋转角度时，可以将待检测输入联合模型中，联合模型可以对待检测图像进行人脸识别以及人脸角度检测。应当说明的是，人脸识别是对待检测图像中是否含有人脸进行识别，另外，还可以对待检测图像中人脸的位置信息进行识别。人脸角度检测是对待检测图像相对于正脸图像的旋转角度。其联合模型预测的角度可以根据训练时设定的训练图像中的旋转角度而定，例如：在对联合模型进行训练时，选择的训练图像包括0度、90度、180度和270度，则联合模型至少能够预测出上述四种角度的概率，并将最大概率作为待检测图像的旋转角度。

应当说明的是，联合模型是由多张训练图像训练获得，其中，多张训练图像中包括一部分含有人脸的图像，剩下的部分是没有人脸的图像，含有人脸的图像中包括多种旋转角度的图像。且在训练时，需要预先对多张训练图像进行标注，获得人脸标签和角度标签。人脸标签是指训练图像中是否包含人脸，可以用“1”表示有人脸，用“0”表示没有人脸。角度标签是指训练图像的旋转角度，可以用“0”表示旋转角度为0度，用“1”表示旋转角度为90度，用“2”表示旋转角度为180度，用“3”表示旋转角度为270度。

应当说明的是，联合模型除了可以对人脸进行识别外，还可以对其他对象进行识别，只是需要的训练图像不同，若要对猫进行识别，则训练图像中是有猫和无猫的图像。若输入的待检测图像中没有包含人脸，则输出的结果为没有人脸，并且输出的人脸角度可以通过预先设定的特定值表示。

本发明实施例通过将待检测图像输入到联合模型中进行人脸识别和人脸角度检测，由于联合模型是由多张经过人脸标注和角度标注的训练图像训练获得，因此，该联合模型能够对待检测图像中是否包含人脸以及人脸的旋转角度进行识别，无需先进行图像旋转再进行人脸识别，其能够大大提高检测效率和准确率。

在上述实施实时例的基础上，所述标签还包括人脸标注框坐标，所述方法，还包括：

获取多张训练图像，所述多张训练图像包括人脸图像和非人脸图像，并分别对每张训练图像进行标注，获得每张训练图像对应的人脸标签、角度标签和人脸标注框坐标；

将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型。

在具体的实施过程中，图4为本发明实施例提供的模型训练方法流程示意图，如图4所示，包括：

步骤401：获取训练图像，对训练图像进行标注；在对神经网络进行训练之前，首先获取多张训练图像，多张训练图像中包括人脸图像和非人脸图像。在对训练图像进行标注时，还可以对训练图像中的人脸框坐标进行标注，获得包含有人脸的训练图像中人脸的对应的人脸标注框坐标。其中人脸标注框坐标为训练图像中人脸框的左上角的坐标和右下角的坐标。当然，也可以是右上角的坐标和左下角的坐标，或者四个角的坐标都进行标注，本发明实施例对此不做具体限定。

图5(a)-(e)为本发明实施例提供的一种训练图像标注后示意图，如图5(a)-(e)所示，图5(a)为正脸图像示意图，图5(b)为一张旋转90度的人脸图像示意图，图5(c)为一张旋转180度的人脸图像示意图，图5(d)为一张旋转270度的人脸图像示意图，图5(e)为一张非人脸图像示意图。多张训练图像中包括一定数量的各类图像，并对每一张训练图像进行标注，训练图像的标签中依次包含是否是人脸图片、角度标签、人脸框坐标等三项标签。其中，第一项标签表示该图片是否为人脸图片：标签0代表非人脸，标签1代表人脸；第二项标签表示该图片的旋转角度：标签0、1、2、3分别对应表示0度、90度、180度、270度；第三项标签表示该图片中人脸框左上点的坐标(横坐标为a，纵坐标为b)，以及人脸框右下点的坐标(横坐标为c，纵坐标为d)。对图5(a)进行标注后，可以获得标签的矩阵为(1,0,a,b,c,d)，对图5(b)进行标注后，可以获得标签的矩阵为(1,1,a,b,c,d)，对图5(c)进行标注后，可以获得标签的矩阵为(1,2,a,b,c,d)，对图5(d)进行标注后，可以获得标签的矩阵为(1,3,a,b,c,d)，对图5(e)进行标注后，可以获得标签的矩阵为(0,-1,-1,-1,-1,-1)。

步骤402：将训练图像输入到神经网络中；在完成对训练图像的标注后，将训练图像输入到神经网络中，将训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得联合模型。其中神经网络可以选用VGG16，也可以是卷积神经网络等，本发明实施例对此不做具体限定。

步骤403：模型训练；在具体训练时，在训练开始之前，神经网络中的各个参数为默认值，可以预先设定损失函数，将一张训练图像输入到神经网络中，神经网络对该训练图像进行预测，获得预测结果，其中预测结果中包括人脸预测值、角度预测值和人脸标注框预测坐标，人脸预测值可以为有人脸和没有人脸。根据人脸预测值和输入到神经网络中的训练图像对应的人脸标签利用损失函数计算获得人脸标签损失值；根据角度预测值和该训练图像对应的角度标签计算获得角度标签损失值；根据人脸标注框预测坐标和该训练图像对应的人脸标注框坐标计算获得人脸标注框坐标损失值。将人脸标签损失值、角度标签损失值和人脸标注框坐标损失值之和作为总损失值，并将总损失值反馈至神经网络中，对神经网络中的参数进行优化，获得优化后的神经网络，此时，完成了一次训练。再重新获取一张训练图像，将新获取的训练图像再次输入到优化后的神经网络中，再按照与上述方式进行下一次的优化。当满足训练结束条件后，即可停止训练，最终得到联合模型。

本发明实施例通过对训练图像进行是否有人脸、旋转角度以及人脸标注框坐标进行预先标注，然后再利用标注好的训练图像进行模型训练，获得联合模型，其中该联合模型能够同时检测出输入的图像中是否含有人脸、人脸的旋转角度以及人脸标注框坐标，大大提高了人脸检测的效率和准确率。

在上述任一实施例的基础上，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，包括：

将所述待检测图像输入所述联合模型中进行人脸识别和人脸角度检测，获得所述待检测图像中是否包含有人脸、人脸角度以及人脸标注框坐标。

在具体的实施过程中，在进行联合模型对待检测图像进行检测时，将待检测图像输入到联合模型中，联合模型同时对待检测图像中是否包含人脸，人脸的旋转角度以及人脸标注框坐标进行检测，获得是否有人脸的结果、人脸角度和人脸标注框坐标输出，无需先进行旋转然后再对是否有人脸进行检测，以提高检测效率。

另外，本发明实施例还可以判断所述待检测图像中是否包含人脸；若包含，则获取该人脸对应的人脸角度以及人脸标注框坐标，所述人脸标注框坐标包括所述人脸标注框的左上角坐标和右下角坐标。

在具体的实施过程中，在将待检测图像输入到联合模型中后，联合模型首先会检测待检测图像中是否包含有人脸，如果有人脸再检测该人脸的旋转角度，以及用人脸框将人脸框起来后获得的人脸框的人脸标注框坐标，其中人脸标注框坐标包括人脸标注框的左上角坐标和右下角坐标，当然也可以是右上角坐标和左下角坐标，还可以是人脸标注框的四个角的坐标，本发明实施例对此不做具体限定。最后同时将是否有人脸、人脸角度和人脸标注框坐标输出。

应当说明的是，如果检测到待检测图像中没有包含人脸，则不再进行角度识别以及人脸标注框识别，直接输出没有人脸的结果，其结果可以为(0,-1,-1,-1,-1,-1)。

本发明实施例在利用联合模型对输入的待检测图像进行人脸识别，先判断输入的图像中是否包含有人脸，如果有人脸，则进行人脸角度以及人脸坐标检测，获得对应的人脸角度和人脸标注框坐标，如果检测到没有人脸，则直接输出结果，从而能够进一步提高检测的效率。

在上述任一实施例的基础上，所述检测结果还包括所述待检测图像中的正脸图像；相应地，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，还包括：

根据所述人脸角度和所述人脸标注框坐标进行图像旋转，获得对应的正脸图像。

在具体的实施过程中，如果联合模型检测到待检测图像中包含人脸，且人脸不是正脸图像，则可以根据该待检测图像对应的人脸角度和人脸标注框坐标对待检测图像进行旋转，从而获得对应的正脸图像。应当说明的是，由于是人脸识别，在识别出人脸后，可以通过人脸标注框将人脸区域框起来，然后进行裁剪，只保留人脸标注框区域内部的图像，然后根据人脸角度和人脸标注框坐标对人脸标注框进行旋转，得到的是只包含有人脸的图像。将是否有人脸、人脸角度、人脸标注框坐标以及旋转后的正脸图像同时输出。

本发明实施例当检测到待检测图像中的人脸角度以及人脸标注框坐标后，可以根据人脸角度以及人脸标注框坐标对待检测图像进行图像旋转，获得正脸图像，便于用户查看。

在上述任一实施例的基础上，所述检测结果还包括所述待检测图像中的正脸标注框坐标；相应地，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，还包括：

根据所述人脸角度和所述人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。

在上述任一实施例的基础上，在通过联合模型对待检测图像检测到有人脸后，若人脸不是正脸，此时若需要输出对待检测图像中的人脸进行旋转后得到的正脸的正脸标注框坐标，则可以根据人脸角度和人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。此时，联合模型可同时输出是否有人脸、人脸角度、人脸框标注坐标、正脸图像以及正脸图像对应的正脸标注框坐标。

本发明实施例通过当检测到待检测图像中的人脸角度以及人脸标注框坐标后，可以根据人脸角度以及人脸标注框坐标对待检测图像进行坐标映射，获得正脸图像的正脸标注框坐标，以供用户使用。

图6为本发明实施例提供的图像检测装置结构示意图，如图6所示，该装置包括：获取模块601和检测模块602，其中，

获取模块601用于获取待检测图像；检测模块602用于利用联合模型对所述待检测图像进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，所述检测结果包括所述待检测图像是否含有人脸以及人脸角度，所述联合模型由多张训练图像及每张训练图像对应的标签训练获得，所述标签包括人脸标签和角度标签。

在上述实施例的基础上，所述标签还包括人脸标注框坐标，所述装置，还包括：

模型训练模块，用于获取多张训练图像，所述多张训练图像包括人脸图像和非人脸图像，并分别对每张训练图像进行标注，获得每张训练图像对应的人脸标签、角度标签和人脸标注框坐标；

将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型。

在上述任一实施例的基础上，所述检测模块，具体用于：

将所述待检测图像输入所述联合模型中进行人脸识别和人脸角度检测，获得所述待检测图像中是否包含人脸、人脸角度以及人脸标注框坐标。

在上述任一实施例的基础上，所述检测模块，具体用于：

判断所述待检测图像中是否包含人脸；

若包含，则获取该人脸对应的人脸角度以及人脸标注框坐标，所述人脸标注框坐标包括所述人脸标注框的左上角坐标和右下角坐标。

在上述任一实施例的基础上，所述检测结果还包括所述待检测图像中的正脸图像；相应地，所述检测模块，还具体用于：

根据所述人脸角度和所述人脸标注框坐标进行图像旋转，获得对应的正脸图像。

在上述任一实施例的基础上，所述检测结果还包括所述待检测图像中的正脸标注框坐标；相应地，所述检测模块，还具体用于：

根据所述人脸角度和所述人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。

在上述任一实施例的基础上，所述模型训练模块，具体用于：

将一张训练图像输入所述神经网络，所述神经网络输出该训练图像对应的人脸预测值、角度预测值和人脸标注框预测坐标；

根据所述训练图像对应的人脸预测值和人脸标签计算获得人脸标签损失值，根据角度预测值和角度标签计算获得角度标签损失值，根据人脸标注框预测坐标和人脸标注框坐标计算获得人脸标注框坐标损失值；

根据所述人脸标签损失值、所述角度标签损失值和所述人脸标注框坐标损失值计算所述训练图像对应的总损失值；

基于所述总损失值对所述神经网络中的参数进行优化，获得优化后神经网络；

获取新的训练图像继续训练所述优化后神经网络，直至满足训练结束条件，得到所述联合模型。

上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等，或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接，或其任意组合。两个或更多个模块可以组合为单个模块，并且任何一个模块可以分成两个或更多个单元。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考方法实施例中的对应过程，本发明中不再赘述。在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种图像检测方法，其特征在于，包括：

获取待检测图像；

利用联合模型对所述待检测图像进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，所述检测结果包括所述待检测图像是否含有人脸以及人脸角度；所述联合模型由多张训练图像及每张训练图像对应的标签训练获得，所述标签包括人脸标签和角度标签。

2.根据权利要求1所述的方法，其特征在于，所述标签还包括人脸标注框坐标，所述方法，还包括：

获取多张训练图像，所述多张训练图像包括人脸图像和非人脸图像，并分别对每张训练图像进行标注，获得每张训练图像对应的人脸标签、角度标签和人脸标注框坐标；

将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，包括：

将所述待检测图像输入所述联合模型中进行人脸识别和人脸角度检测，获得所述待检测图像中是否包含人脸、人脸角度以及人脸标注框坐标。

4.根据权利要求2所述的方法，其特征在于，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，包括：

判断所述待检测图像中是否包含人脸；

若包含，则获取该人脸对应的人脸角度以及人脸标注框坐标，所述人脸标注框坐标包括所述人脸标注框的左上角坐标和右下角坐标。

5.根据权利要求3或4所述的方法，其特征在于，所述检测结果还包括所述待检测图像中的正脸图像；相应地，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，还包括：

根据所述人脸角度和所述人脸标注框坐标进行图像旋转，获得对应的正脸图像。

6.根据权利要求3或4所述的方法，其特征在于，所述检测结果还包括所述待检测图像中的正脸标注框坐标；相应地，所述根据所述待检测图像利用联合模型进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，还包括：

根据所述人脸角度和所述人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。

7.根据权利要求2所述的方法，其特征在于，所述将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型，包括：

将一张训练图像输入所述神经网络，所述神经网络输出该训练图像对应的人脸预测值、角度预测值和人脸标注框预测坐标；

根据所述训练图像对应的人脸预测值和人脸标签计算获得人脸标签损失值，根据角度预测值和角度标签计算获得角度标签损失值，根据人脸标注框预测坐标和人脸标注框坐标计算获得人脸标注框坐标损失值；

根据所述人脸标签损失值、所述角度标签损失值和所述人脸标注框坐标损失值计算所述训练图像对应的总损失值；

基于所述总损失值对所述神经网络中的参数进行优化，获得优化后神经网络；

获取新的训练图像继续训练所述优化后神经网络，直至满足训练结束条件，得到所述联合模型。

8.一种图像检测装置，其特征在于，包括：

获取模块，用于获取待检测图像；

检测模块，用于利用联合模型对所述待检测图像进行人脸识别及人脸角度检测，获得所述联合模型输出的检测结果，所述检测结果包括所述待检测图像是否含有人脸以及人脸角度；所述联合模型由多张训练图像及每张训练图像对应的标签训练获得，所述标签包括人脸标签和角度标签。

9.根据权利要求8所述的装置，其特征在于，所述标签还包括人脸标注框坐标，所述装置，还包括：

模型训练模块，用于获取多张训练图像，所述多张训练图像包括人脸图像和非人脸图像，并分别对每张训练图像进行标注，获得每张训练图像对应的人脸标签、角度标签和人脸标注框坐标；

将所述训练图像作为输入，所述训练图像对应的人脸标签、角度标签和人脸标注框坐标作为输出对神经网络进行训练，获得所述联合模型。

10.根据权利要求9所述的装置，其特征在于，所述检测模块，具体用于：

将所述待检测图像输入所述联合模型中进行人脸识别和人脸角度检测，获得所述待检测图像中是否有人脸、人脸角度以及人脸标注框坐标。

11.根据权利要求9所述的装置，其特征在于，所述检测模块，具体用于：

判断所述待检测图像中是否包含人脸；

若包含，则获取该人脸对应的人脸角度以及人脸标注框坐标，所述人脸标注框坐标包括所述人脸标注框的左上角坐标和右下角坐标。

12.根据权利要求10或11所述的装置，其特征在于，所述检测结果还包括所述待检测图像中的正脸图像；相应地，所述检测模块，还具体用于：

根据所述人脸角度和所述人脸标注框坐标进行图像旋转，获得对应的正脸图像。

13.根据权利要求10或11所述的装置，其特征在于，所述检测结果还包括所述待检测图像中的正脸标注框坐标；相应地，所述检测模块，还具体用于：

根据所述人脸角度和所述人脸标注框坐标进行坐标映射，获得对应的正脸标注框坐标。

14.根据权利要求9所述的装置，其特征在于，所述模型训练模块，具体用于：

将一张训练图像输入所述神经网络，所述神经网络输出该训练图像对应的人脸预测值、角度预测值和人脸标注框预测坐标；

根据所述训练图像对应的人脸预测值和人脸标签计算获得人脸标签损失值，根据角度预测值和角度标签计算获得角度标签损失值，根据人脸标注框预测坐标和人脸标注框坐标计算获得人脸标注框坐标损失值；

根据所述人脸标签损失值、所述角度标签损失值和所述人脸标注框坐标损失值计算所述训练图像对应的总损失值；

基于所述总损失值对所述神经网络中的参数进行优化，获得优化后神经网络；

获取新的训练图像继续训练所述优化后神经网络，直至满足训练结束条件，得到所述联合模型。

15.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行时执行如权利要求1至7任一所述的图像检测的方法的步骤。

16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的图像检测的方法的步骤。

Images