CN115273210B - 抗图像旋转的合影图像识别方法、装置、电子设备及介质 - Google Patents

Abstract

本申请实施例提供一种抗图像旋转的合影图像识别方法、装置、电子设备及介质，属于计算机视觉技术领域。该方法包括：在待测图像中不存在至少两个第一目标人脸图像时，将待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像；调用人脸检测模型分别对各第一旋转图像进行人脸识别，得到各第一旋转图像的多个人脸图像及其置信度；从各第一旋转图像的多个人脸图像中确定第二目标人脸图像；在各第一旋转图像中存在至少两个所述第二目标人脸图像时，确定待测图像为合影图像。这样，通过增加抗图像旋转处理过程，结合人脸检测模型，在待测图像处于异常旋转角度时，判断出是否包含要求数量的合格人脸信息，提高合影图像识别效果。

Description

抗图像旋转的合影图像识别方法、装置、电子设备及介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种抗图像旋转的合影图像识别方法、装置、电子设备及介质。

背景技术

在金融科技领域，例如，银行业务、证券业务等业务场景中常需要采集和留存下业务员与客户的合影图像。在实际业务场景中，因拍摄技术不高或操作错误，采集了未包含业务员与客户的完整人脸图像的不合格图像，若将不合格图像上传系统将被视为异常操作。业务员与客户的合影图像作为敏感信息存储至对应金融机构的影像库备查，对合影图像的质量进行检测成为现实需要。在金融业务的图像质量检测过程中，需要对合影图像是否包含两张合格人脸信息进行检测。由于合影图像中存在人脸图像旋转的情况，现有人脸检测方案有可能无法从合影图像中检测到人脸图像，导致现有合影图像的人脸检测效果比较差。

发明内容

为了解决上述技术问题，本申请实施例提供了一种抗图像旋转的合影图像识别方法、装置、电子设备及介质。

第一方面，本申请实施例提供了一种抗图像旋转的合影图像识别方法，所述方法包括：

在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像；

调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；

从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值；

在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。

在一实施方式中，所述方法还包括：

在各所述第一旋转图像中不存在至少两个所述第二目标人脸图像的情况下，根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值；

从各所述第一旋转图像中确定最高置信度平均值对应的目标旋转图像；

将所述目标旋转图像按照修正旋转角度进行旋转，得到修正旋转图像；

将所述修正旋转图像分别按照至少两个所述预设旋转角度进行旋转，得到至少两个第二旋转图像；

根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像。

在一实施方式中，所述根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像，包括：

调用所述人脸检测模型分别对各所述第二旋转图像进行人脸识别，得到各所述第二旋转图像对应的多个人脸图像及其置信度；

从各所述第二旋转图像对应的多个人脸图像中确定所述第二目标人脸图像；

判断各所述第二旋转图像中是否存在至少两个所述第二目标人脸图像；

判断为是，则确定所述待测图像为合影图像。

在一实施方式中，所述方法还包括：

判断为否，则确定所述待测图像为非合影图像。

在一实施方式中，获取所述修正旋转角度，包括：

确定所述目标旋转图像的当前旋转角度；

根据所述目标旋转图像的当前旋转角度确定修正旋转角度。

在一实施方式中，所述根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值，包括：

按照从高到低的顺序对各所述第一旋转图像的所述第二目标人脸图像的置信度进行排序，得到各所述第一旋转图像的置信度序列；

选取各所述第一旋转图像的置信度序列中前预设个数排序的置信度；

将前预设个数排序的置信度的平均值确定为各第一旋转图像的置信度平均值。

在一实施方式中，获取所述待测图像，包括：

将初始图像按照预设缩放因子进行缩放处理，得到所述待测图像。

在一实施方式中，所述方法还包括：

调用所述人脸检测模型对待测图像进行人脸识别，得到所述待测图像对应的多个人脸图像及其置信度；

根据所述待测图像对应的多个人脸图像及其置信度判断所述待测图像对应的多个人脸图像中是否存在至少两个所述第一目标人脸图像。

在一实施方式中，所述方法还包括：

在所述待测图像中存在至少两个所述第一目标人脸图像的情况下，确定所述待测图像为合影图像。

第二方面，本申请实施例提供了一种抗图像旋转的合影图像识别装置，所述装置包括：

旋转模块，用于在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像；

人脸识别模块，用于调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；

第一确定模块，用于从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值；

第二确定模块，用于在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。

第三方面，本申请实施例提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述计算机程序在所述处理器运行时执行第一方面提供的抗图像旋转的合影图像识别方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行第一方面提供的抗图像旋转的合影图像识别方法。

上述本申请提供的抗图像旋转的合影图像识别方法、装置、电子设备及介质，在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像；调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像；在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。这样，通过增加抗图像旋转的处理过程，再结合人脸检测模型进行人脸检测，能够在待测图像处于异常旋转角度时，依然能够判断出是否包含要求数量的合格人脸信息，从而确定待测图像为合影图像，提高合影图像的检测效果。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对本申请保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1示出了本申请实施例提供的抗图像旋转的合影图像识别方法的一流程示意图；

图2示出了本申请实施例提供的抗图像旋转的合影图像识别方法的另一流程示意图；

图3示出了本申请实施例提供的抗图像旋转的合影图像识别方法的另一流程示意图；

图4示出了本申请实施例提供的抗图像旋转的合影图像识别装置的一结构示意图；

图5示出了本申请实施例提供的电子设备的一结构示意图。

图标：400-抗图像旋转的合影图像识别装置，401-旋转模块，402-人脸识别模块，403-第一确定模块，404-第二确定模块；

500-电子设备，501-收发机，502-处理器，503-存储器。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

在金融科技领域，例如，银行业务、证券业务等业务场景中常需要采集和留存下业务员与客户的合影图像，在实际金融业务场景中，往往因为拍摄技术不高或操作错误采集未包含业务员与客户的完整人脸的不合格图像，若将不合格图像上传系统，将被视为异常操作。业务员与客户的合影图像作为敏感信息存储至对应金融机构的影像库备查，对合影图像的质量进行检测成为现实需要。在金融业务的图像质量检测过程中，需要对合影图像是否包含两张合格人脸信息进行检测。

但是，由于现有技术采集合影图像过程中受现实因素影响，会导致人脸图像出现旋转情况，现有人脸检测方案有可能无法从合影图像中检测到人脸图像。例如，由于业务员或客户的千差万别，难以同时协调客户和业务员的拍摄姿势，由于拍摄设备种类不同和设备的隐私设置，存储至影像库的图像有一部分已经丢失掉其正确的角度信息，无法通过图像关联的角度信息确定旋转信息。上述例举的现实因素均对合影图像识别算法提出更高的要求。

当前基于深度学习的方法可以从合影图像中检测人脸，但遇到人脸图像有旋转时，人脸检测效果出现明显下降。另有渐进校准网络（Progressive CalibrationNetworks，PCN）可在检测人脸的同时检测人脸角度，但该方法并没有针对金融数据做特别优化，需要另外准备数据来微调模型，微调模型的工作量大。深度学习模型的训练需要标注好的大量数据，该方法工作量较大且在分布不同的新数据域的检测质量容易下降。因此，现有技术中并无直接可用的抗图像旋转的合影图像识别方案。由于合影图像中存在人脸图像旋转的情况，现有人脸检测方案有可能无法从合影图像中检测到人脸图像，导致现有合影图像的人脸检测效果比较差。

实施例1

本公开实施例提供了一种抗图像旋转的合影图像识别方法，该抗图像旋转的合影图像识别方法可以应用于电子设备，该电子设备可以为银行、证券等金融机构的业务办理设备。

参见图1，抗图像旋转的合影图像识别方法包括：

步骤S101，在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像。

在本实施例中，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像。

在本实施例中，第一预设置信度阈值为相对较高的置信度数值，预设人脸阈值为相对较高的人脸面积，第一目标人脸图像的置信度大于等于第一预设置信度阈值，且第一目标人脸图像的人脸面积大于等于预设人脸阈值，可以提高第一目标人脸图像为真实人脸的准确度。示范性的，第一预设置信度阈值为0.95、0.9、0.8等相对较高的阈值，也可以为其他数值，在此不做限制。预设人脸阈值可以根据待测图像的尺寸和预设比例计算得到，具体地，预设人脸阈值等于待测图像的尺寸和预设比例的积值，其中，预设比例可以为0.07、0.08等相对较小的值，该预设比例可以根据实验得到的单个人脸图像面积占待测图像的面积的比值确定。

在本实施例中，至少两个预设旋转角度可以为根据银行业务、证券业务等业务场景中采集和留存下的各类业务场景图像统计得到的旋转状态确定。例如，至少两个预设旋转角度可以为0度、45度、90度、180度和270度等，在此不做限制。

示范性的，若至少两个预设旋转角度为0度、90度、180度和270度，则对待测图像进行0度、90度、180度和270度的旋转操作后，得到4个第一旋转图像，各第一旋转图像的不同在于像素旋转角度不同。

在一实施例中，获取所述待测图像，包括：

将初始图像按照预设缩放因子进行缩放处理，得到所述待测图像。

在本实施例中，所述初始图像为在银行业务、证券业务等业务场景中采集和留存下的各类业务场景图像。由于拍摄现场的人员、拍摄设备等各方面不可控导致初始图像的人物图像可能存在旋转角度，也就是说，初始图像的人物图像可能处于任意旋转状态。由于拍摄设备不同，不同的初始图像有可能尺寸不同，可以通过预设缩放因子对不同的初始图像进行尺寸标准化处理，得到尺寸相同的待测图像。其中，预设缩放因子包括预设缩小因子和预设放大因子，例如，若待测图像的尺寸为256×64，则按照预设缩放因子对初始图像进行等比缩放，图像的长边不超过256像素，图像的短边如果不足64像素，按照等比缩放补足短边到64像素。

在一实施例中，步骤S101之前，抗图像旋转的合影图像识别方法还包括：

调用所述人脸检测模型对待测图像进行人脸识别，得到所述待测图像对应的多个人脸图像及其置信度；

根据所述待测图像对应的多个人脸图像及其置信度判断所述待测图像对应的多个人脸图像中是否存在至少两个所述第一目标人脸图像。

需要说明的是，在待测图像中不存在至少两个第一目标人脸图像时，说明由于待测图像可能存在旋转情况，没有检测到第一目标人脸图像，或者只检测到一个第一目标人脸图像，说明未获得足够高置信的大尺寸人脸，很可能是旋转问题引起检测异常。需要对待测图像进行旋转处理，进一步检测旋转后的图像是否存在置信度较高的人脸图像，从而继续判断待测图像是否为合影图像，其具体过程可以参见步骤S101至步骤S104的相关说明。

在一实施方式中，抗图像旋转的合影图像识别方法还包括：

在所述待测图像中存在至少两个所述第一目标人脸图像的情况下，确定所述待测图像为合影图像。

在本实施例中，如果特定条件的人脸被丢弃后仍然有超过两个人脸图像，则待测图像中包含置信度比较高的人脸图像，可判定待测图像为合影图像，流程结束。

步骤S102，调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度。

在本实施例中，人脸检测模型可以为卷积神经网络（Convolutional NeuralNetworks, CNN）模型，可以通过CNN模型对第一旋转图像进行推理，得到多个人脸图像及其置信度。

步骤S103，从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像。

在本实施例中，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值。

在本实施例中，与第一预设置信度阈值相比，第二预设置信度阈值为相对较低的置信度数值，第二目标人脸图像的置信度大于等于第二预设置信度阈值，且第二目标人脸图像的人脸面积大于等于预设人脸阈值，可以在适当放宽置信度要求的同时，提高第二目标人脸图像为真实人脸的准确度。示范性的，第二预设置信度阈值为0.5、0.55、0.4等相对较低的阈值，也可以为其他数值，满足第二预设置信度阈值小于第一预设置信度阈值即可，在此不做限制。预设人脸阈值可以根据待测图像的尺寸和预设比例计算得到，具体地，预设人脸阈值等于待测图像的尺寸和预设比例的积值，其中，预设比例可以为0.07、0.08等相对较小的值，该预设比例可以根据实验得到的单个人脸图像面积占待测图像的面积的比值确定。

步骤S104，在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。

在本实施例中，判断各第一旋转图像存在的第二目标人脸图像的数量是否大于等于2，若存在第二目标人脸图像的数量大于等于2的第一旋转图像，则说明待测图像中包含多个人脸图像，该待测图像为合影图像。若待测图像为银行业务、证券业务等业务场景中采集和留存下的各类业务场景图像，待测图像为合影图像时，其为包括客户、金融机构业务员的合影图像，可以作为合格图像进行存储。

请参阅图2，抗图像旋转的合影图像识别方法还包括：

步骤S105，在各所述第一旋转图像中不存在至少两个所述第二目标人脸图像的情况下，根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值。

需要说明的是，若不存在第二目标人脸图像的数量大于等于2的第一旋转图像，则说明经过一次抗图像旋转处理后，还未能检测到符合要求的人脸信息，需要进行后续的抗图像旋转处理，后续的抗图像旋转处理可以参见步骤S105至步骤S109的说明。

示范性的，可以将各所述第一旋转图像的第二目标人脸图像的置信度的和值除以各所述第一旋转图像的第二目标人脸图像的数量得到各第一旋转图像的置信度平均值，也可以用其他方式计算，在此不做限制。

在一实施例中，步骤S105包括：

按照从高到低的顺序对各所述第一旋转图像的所述第二目标人脸图像的置信度进行排序，得到各所述第一旋转图像的置信度序列；

选取各所述第一旋转图像的置信度序列中前预设个数排序的置信度；

将前预设个数排序的置信度的平均值确定为各第一旋转图像的置信度平均值。

在本实施例中，置信度序列中前预设个数排序的置信度可以为置信度序列中前2个排序的置信度，即最高置信度和第二高置信度，各第一旋转图像的第二目标人脸图像的最高置信度和第二高置信度的均值作为各第一旋转图像的罪行度平均值。

步骤S106，从各所述第一旋转图像中确定最高置信度平均值对应的目标旋转图像。

在本实施例中，由于目标旋转图像的置信度平均值最高，说明其对应的旋转角度可以使得人脸检测模型能够较完整提取人脸图像，在目标旋转图像的基础上，再次进行角度旋转，可以更进一步抵消待测图像的旋转角度，使得人脸检测模型能更加完整提取出人脸图像。

示范性的，若有4个第一旋转图像分别为旋转图像A、旋转图像B、旋转图像C和旋转图像D，其置信度平均值分别为X1、X2、X3、X4，其大小关系为X1＜X2＜X3＜X4，则目标旋转图像为旋转图像D，旋转图像D置信度平均值最高，也就是说，旋转图像D可以使得人脸检测模型能够较完整提取人脸图像。

步骤S107，将所述目标旋转图像按照修正旋转角度进行旋转，得到修正旋转图像。

在本实施例中，考虑到在银行业务、证券业务等业务场景中采集和留存下的各类业务场景图像的旋转角度除了90度、180度和270度之外，还有其他随意角度的旋转状况，例如，有的图像旋转45度等，需要对目标旋转图像进行再一次旋转操作，才能提取到较为完整的人脸图像。

在本实施例中，获取所述修正旋转角度，包括：

确定所述目标旋转图像的当前旋转角度；

根据所述目标旋转图像的当前旋转角度确定修正旋转角度。

需要说明的是，目标旋转图像的当前旋转角度是指待测图像与目标旋转图像之间的旋转角度。例如，待测图像经过90度旋转后得到目标旋转图像，则目标旋转图像的当前旋转角度为90度。

示范性的，对目标旋转图像在此旋转±22.5°，即，修正旋转角度可以为±22.5°。

步骤S108，将所述修正旋转图像分别按照至少两个所述预设旋转角度进行旋转，得到至少两个第二旋转图像。

示范性的，若至少两个预设旋转角度为90度、180度和270度，则对待测图像进行90度、180度和270度的旋转操作后，得到3个第二旋转图像，各第二旋转图像的不同在于像素旋转角度不同。

步骤S109，根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像。

请参阅图3，步骤S109包括：

步骤S1091，调用所述人脸检测模型分别对各所述第二旋转图像进行人脸识别，得到各所述第二旋转图像对应的多个人脸图像及其置信度。

在本实施例中，人脸检测模型可以为卷积神经网络（Convolutional NeuralNetworks, CNN）模型，可以通过CNN模型对各第二旋转图像进行推理，得到各第二旋转图像对应的多个人脸图像及其置信度。

步骤S1092，从各所述第二旋转图像对应的多个人脸图像中确定所述第二目标人脸图像。

在本实施例中，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值。

步骤S1093，判断各所述第二旋转图像中是否存在至少两个所述第二目标人脸图像。

示范性的，若有4个第二旋转图像分别为旋转图像E、旋转图像F、旋转图像G和旋转图像H，其中，旋转图像E包含2个第二目标人脸图像、旋转图像F包含1个第二目标人脸图像、旋转图像G包含1个第二目标人脸图像，旋转图像H包含0个第二目标人脸图像，也就是说，旋转图像E为存在至少两个所述第二目标人脸图像的图像。

步骤S1094，判断为是，则确定所述待测图像为合影图像。

需要说明的是，若某一个第二旋转图像中出现第二目标人脸图像的数量大于等于2个的图像，说明该第二旋转图像识别到置信度较高的人脸图像的数量大于等于2个，即说明该第二旋转图像为存在多人合影，也就是说明对应的待测图像中存在多人合影，该待测图像为合影图像。

进一步说明的是，若待测图像为银行业务、证券业务等业务场景中采集和留存下的各类业务场景图像，待测图像为合影图像时，其为包括客户、金融机构业务员的合影图像，可以作为合格图像进行存储。

在一实施方式中，抗图像旋转的合影图像识别方法还包括：

判断为否，则确定所述待测图像为非合影图像。

补充说明的是，若各第二旋转图像中出现第二目标人脸图像的数量小于2个，即各第二旋转图像中出现第二目标人脸图像的数量为0或者1，说明各第二旋转图像识别到置信度较高的人脸图像的数量为0或1，即说明各第二旋转图像为单人图像或无人脸图像，不存在多人合影。也就是说明对应的待测图像中为单人图像或无人场景图像，不存在多人合影的情况，则该待测图像为非合影图像。

进一步说明的是，若待测图像为银行业务、证券业务等业务场景中采集和留存下的各类业务场景图像，待测图像为非合影图像时，说明该待测图像没有同时出现客户、金融机构业务员的图像，为不合格图像。

在本实施例中，增加抗图像旋转的处理过程，再结合人脸检测模型进行人脸检测，能够在待测图像处于异常旋转角度时，依然能够判断出是否包含要求数量的合格人脸信息。对比现有技术中的渐进校准网络PCN，本实施例提供的抗图像旋转的合影图像识别方法更不容易出现人脸目标丢失的情况，更适合非特定图像采集入口的复杂金融业务场景。此外，还能够检测得到待测图像中的人脸图像坐标、置信度等信息，并粗略分析出待测图像的旋转角度，无需额外的数据标记工作与模型训练和调优，极大程度上减小了工作量，在银行、证券等金融机构的实际业务场景中满足了准确性和运算速度的要求。

本实施例提供的抗图像旋转的合影图像识别方法，在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像；调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像；在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。这样，通过增加抗图像旋转的处理过程，再结合人脸检测模型进行人脸检测，能够在待测图像处于异常旋转角度时，依然能够判断出是否包含要求数量的合格人脸信息，从而确定待测图像为合影图像，提高合影图像的检测效果。

实施例2

此外，本公开实施例提供了一种抗图像旋转的合影图像识别装置，该抗图像旋转的合影图像识别装置可以应用于电子设备，该电子设备可以为银行、证券等金融机构的业务办理设备。

具体的，如图4所示，抗图像旋转的合影图像识别装置400包括：

旋转模块401，用于在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像；

人脸识别模块402，用于调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；

第一确定模块403，用于从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值；

第二确定模块404，用于在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。

在一实施方式中，抗图像旋转的合影图像识别装置400还包括：

第一判断模块，用于在各所述第一旋转图像中不存在至少两个所述第二目标人脸图像的情况下，根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值；

从各所述第一旋转图像中确定最高置信度平均值对应的目标旋转图像；

将所述目标旋转图像按照修正旋转角度进行旋转，得到修正旋转图像；

将所述修正旋转图像分别按照至少两个所述预设旋转角度进行旋转，得到至少两个第二旋转图像；

根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像。

在一实施方式中，第一判断模块，还用于调用所述人脸检测模型分别对各所述第二旋转图像进行人脸识别，得到各所述第二旋转图像对应的多个人脸图像及其置信度；

从各所述第二旋转图像对应的多个人脸图像中确定所述第二目标人脸图像；

判断各所述第二旋转图像中是否存在至少两个所述第二目标人脸图像；

判断为是，则确定所述待测图像为合影图像。

在一实施方式中，第一判断模块，还用于判断为否，则确定所述待测图像为非合影图像。

在一实施方式中，抗图像旋转的合影图像识别装置400还包括：

第一获取模块，用于确定所述目标旋转图像的当前旋转角度；

根据所述目标旋转图像的当前旋转角度确定修正旋转角度。

在一实施方式中，第一判断模块，用于按照从高到低的顺序对各所述第一旋转图像的所述第二目标人脸图像的置信度进行排序，得到各所述第一旋转图像的置信度序列；

选取各所述第一旋转图像的置信度序列中前预设个数排序的置信度；

将前预设个数排序的置信度的平均值确定为各第一旋转图像的置信度平均值。

在一实施方式中，抗图像旋转的合影图像识别装置400还包括：

第二获取模块，用于将初始图像按照预设缩放因子进行缩放处理，得到所述待测图像。

在一实施方式中，抗图像旋转的合影图像识别装置400还包括：

第二判断模块，用于调用所述人脸检测模型对待测图像进行人脸识别，得到所述待测图像对应的多个人脸图像及其置信度；

根据所述待测图像对应的多个人脸图像及其置信度判断所述待测图像对应的多个人脸图像中是否存在至少两个所述第一目标人脸图像。

在一实施方式中，第二判断模块，还用于在所述待测图像中存在至少两个所述第一目标人脸图像的情况下，确定所述待测图像为合影图像。

本实施例提供的抗图像旋转的合影图像识别装置400可以实现实施例1所提供的抗图像旋转的合影图像识别方法，为避免重复，在此不再赘述。

本实施例提供的抗图像旋转的合影图像识别装置，在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像；调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像；在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。这样，通过增加抗图像旋转的处理过程，再结合人脸检测模型进行人脸检测，能够在待测图像处于异常旋转角度时，依然能够判断出是否包含要求数量的合格人脸信息，从而确定待测图像为合影图像，提高合影图像的检测效果。

实施例3

此外，本公开实施例提供了一种电子设备，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行实施例1所提供的抗图像旋转的合影图像识别方法。

具体的，参见图5，电子设备500包括：收发机501、总线接口及处理器502，所述处理器502，用于：在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像；

调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；

从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值；

在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像。

在一实施方式中，所述处理器502还用于：在各所述第一旋转图像中不存在至少两个所述第二目标人脸图像的情况下，根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值；

从各所述第一旋转图像中确定最高置信度平均值对应的目标旋转图像；

将所述目标旋转图像按照修正旋转角度进行旋转，得到修正旋转图像；

将所述修正旋转图像分别按照至少两个所述预设旋转角度进行旋转，得到至少两个第二旋转图像；

根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像。

在一实施方式中，所述处理器502还用于：调用所述人脸检测模型分别对各所述第二旋转图像进行人脸识别，得到各所述第二旋转图像对应的多个人脸图像及其置信度；

从各所述第二旋转图像对应的多个人脸图像中确定所述第二目标人脸图像；

判断各所述第二旋转图像中是否存在至少两个所述第二目标人脸图像；

判断为是，则确定所述待测图像为合影图像。

在一实施方式中，所述处理器502还用于：判断为否，则确定所述待测图像为非合影图像。

在一实施方式中，所述处理器502还用于：确定所述目标旋转图像的当前旋转角度；

根据所述目标旋转图像的当前旋转角度确定修正旋转角度。

在一实施方式中，所述处理器502还用于：按照从高到低的顺序对各所述第一旋转图像的所述第二目标人脸图像的置信度进行排序，得到各所述第一旋转图像的置信度序列；

选取各所述第一旋转图像的置信度序列中前预设个数排序的置信度；

将前预设个数排序的置信度的平均值确定为各第一旋转图像的置信度平均值。

在一实施方式中，所述处理器502还用于：将初始图像按照预设缩放因子进行缩放处理，得到所述待测图像。

在一实施方式中，所述处理器502还用于：调用所述人脸检测模型对待测图像进行人脸识别，得到所述待测图像对应的多个人脸图像及其置信度；

根据所述待测图像对应的多个人脸图像及其置信度判断所述待测图像对应的多个人脸图像中是否存在至少两个所述第一目标人脸图像。

在本发明实施例中，电子设备500还包括：存储器503。在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器502代表的一个或多个处理器和存储器503代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机501可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。处理器502负责管理总线架构和通常的处理，存储器503可以存储处理器502在执行操作时所使用的数据。

本发明实施例提供的电子设备500，可以执行上述方法实施例中的云服务器可以执行的步骤，不再赘述。

实施例4

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现实施例1所提供的抗图像旋转的合影图像识别方法。

在本实施例中，计算机可读存储介质可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

本实施例提供的计算机可读存储介质可以实现实施例1所提供的抗图像旋转的合影图像识别方法，为避免重复，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种抗图像旋转的合影图像识别方法，其特征在于，所述方法包括：

在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像；

调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；

从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值；

在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像；

在各所述第一旋转图像中不存在至少两个所述第二目标人脸图像的情况下，根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值；

从各所述第一旋转图像中确定最高置信度平均值对应的目标旋转图像；

将所述目标旋转图像按照修正旋转角度进行旋转，得到修正旋转图像；

将所述修正旋转图像分别按照至少两个所述预设旋转角度进行旋转，得到至少两个第二旋转图像；

根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像；

在所述待测图像中存在至少两个所述第一目标人脸图像的情况下，确定所述待测图像为合影图像。

2.根据权利要求1所述的方法，其特征在于，所述根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像，包括：

调用所述人脸检测模型分别对各所述第二旋转图像进行人脸识别，得到各所述第二旋转图像对应的多个人脸图像及其置信度；

从各所述第二旋转图像对应的多个人脸图像中确定所述第二目标人脸图像；

判断各所述第二旋转图像中是否存在至少两个所述第二目标人脸图像；

判断为是，则确定所述待测图像为合影图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

判断为否，则确定所述待测图像为非合影图像。

4.根据权利要求1所述的方法，其特征在于，获取所述修正旋转角度，包括：

确定所述目标旋转图像的当前旋转角度；

根据所述目标旋转图像的当前旋转角度确定修正旋转角度。

5.根据权利要求1所述的方法，其特征在于，所述根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值，包括：

按照从高到低的顺序对各所述第一旋转图像的所述第二目标人脸图像的置信度进行排序，得到各所述第一旋转图像的置信度序列；

选取各所述第一旋转图像的置信度序列中前预设个数排序的置信度；

将前预设个数排序的置信度的平均值确定为各第一旋转图像的置信度平均值。

6.根据权利要求1所述的方法，其特征在于，获取所述待测图像，包括：

将初始图像按照预设缩放因子进行缩放处理，得到所述待测图像。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

调用所述人脸检测模型对待测图像进行人脸识别，得到所述待测图像对应的多个人脸图像及其置信度；

根据所述待测图像对应的多个人脸图像及其置信度判断所述待测图像对应的多个人脸图像中是否存在至少两个所述第一目标人脸图像。

8.一种抗图像旋转的合影图像识别装置，其特征在于，所述装置包括：

旋转模块，用于在待测图像中不存在至少两个第一目标人脸图像的情况下，将所述待测图像分别按照至少两个预设旋转角度进行旋转，得到至少两个第一旋转图像，所述第一目标人脸图像为置信度大于等于第一预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像；

人脸识别模块，用于调用人脸检测模型分别对各所述第一旋转图像进行人脸识别，得到各所述第一旋转图像对应的多个人脸图像及其置信度；

第一确定模块，用于从各所述第一旋转图像对应的多个人脸图像中确定第二目标人脸图像，所述第二目标人脸图像为置信度大于等于第二预设置信度阈值且人脸面积大于等于预设人脸阈值的人脸图像，且所述第二预设置信度阈值小于所述第一预设置信度阈值；

第二确定模块，用于在各所述第一旋转图像中存在至少两个所述第二目标人脸图像的情况下，确定所述待测图像为合影图像；

第一判断模块，用于在各所述第一旋转图像中不存在至少两个所述第二目标人脸图像的情况下，根据各所述第一旋转图像的所述第二目标人脸图像的置信度确定各第一旋转图像的置信度平均值；

从各所述第一旋转图像中确定最高置信度平均值对应的目标旋转图像；

将所述目标旋转图像按照修正旋转角度进行旋转，得到修正旋转图像；

将所述修正旋转图像分别按照至少两个所述预设旋转角度进行旋转，得到至少两个第二旋转图像；

根据各所述第二旋转图像对应的多个人脸图像及其置信度判断所述待测图像是否为合影图像；

第二判断模块，用于在所述待测图像中存在至少两个所述第一目标人脸图像的情况下，确定所述待测图像为合影图像。

9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行权利要求1至7中任一项所述的抗图像旋转的合影图像识别方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至7中任一项所述的抗图像旋转的合影图像识别方法。

Images