CN114511917A - 一种图像数据的处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明实施例提供了一种图像数据的处理方法及装置、电子设备、存储介质，方法包括：获取针对目标人脸所采集的目标图像数据；然后根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；再采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；之后再根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。通过本发明实施例，实现了在对人脸的某一属性进行预测时，可以从不同维度的特征对该属性进行预测，从而提高了人脸属性预测的准确性。

Description

一种图像数据的处理方法及装置、电子设备、存储介质

技术领域

本发明涉及图像处理的技术领域，特别是涉及一种图像数据的处理方法及装置、电子设备、存储介质。

背景技术

随着社会信息化的发展，快速有效的自动身份验证在安防领域变得越来越迫切，而生物信息作为一种具有明显自身稳定和个体差异性的内在信息，逐渐成为了一种可靠的身份验证依据。

此外，随着移动设备性能的进步，场景式互动应用正逐渐成为一个热点领域，而一个专属于自己的三维虚拟形象无疑是这些应用中的一个重要特点；其不仅可以提高应用内容的可玩性，还可以增加用户的代入感和体验感。

无论是身份验证，还是生成虚拟形象，都是基于用户的人脸属性信息来完成；因此，如何获取到准确的人脸属性信息，是当前亟需解决的问题。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种图像数据的处理方法及装置、电子设备、存储介质，包括：

一种图像数据的处理方法，方法包括：

获取针对目标人脸所采集的目标图像数据；

根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；

采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；

根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。

可选地，根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据，包括：

确定目标预测模型对应的目标关注点信息；

根据目标关注点信息，对目标图像数据进行处理，生成针对目标预测模型的目标感兴区域图像数据；

采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据，包括：

采用目标预测模型中的多个目标预测网络分支，对目标感兴区域图像数据进行预测，生成目标预测结果数据。

可选地，采用目标预测模型的多个目标预测网络分支，对目标感兴区域图像数据进行预测，生成目标预测结果数据，包括：

目标预测模型中的主干网络，对目标感兴区域图像数据进行特征提取，得到目标特征集合；目标特征集合中包括多个目标特征数据；

采用目标预测模型的一目标预测网络分支，对多个目标特征数据进行预测，生成针对一目标预测网络分支对应的特征的预测子结果数据；

融合目标预测模型的每个目标预测网络分支生成的预测子结果数据，得到目标预测结果数据。

可选地，采用目标预测模型的一目标预测网络分支，对多个目标特征数据进行预测，生成针对一目标预测网络分支对应的特征的预测子结果数据，包括：

获取每个目标特征数据对应的目标权重信息；

一目标预测网络分支在进行预测时，从其他目标预测网络分支中，获取其他目标预测网络分支在进行预测时的目标中间过程数据；其他目标预测网络分支为目标预测网络分支中，除一目标预测网络分支外的预测网络分支；

根据目标中间过程数据、目标权重信息和多个目标特征数据进行预测，生成针对一目标预测网络分支对应的特征的预测子结果数据。

可选地，至少一个预测模型包括：基础属性预测模型和至少一个差异化属性预测模型；预测结果数据包括基础属性预测结果数据和差异化属性预测结果数据；

采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据，包括：

采用基础属性预测模型中的多个预测网络分支，对与基础属性预测模型对应的感兴区域图像数据进行预测，生成基础属性预测结果数据；

根据感兴区域图像数据，确定目标性别信息；根据目标性别信息，确定目标差异化属性预测模型，并采用目标差异化属性预测模型中的多个预测网络分支，对与目标差异化属性预测模型对应的感兴区域图像数据进行预测，生成差异化属性预测结果数据。

可选地，多个预测网络分支之间存在数据的交互。

本发明实施例还提供了一种图像数据的处理装置，装置包括：

获取模块，用于获取针对目标人脸所采集的目标图像数据；

图像生成模块，用于根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；

预测模块，用于采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；

输出模块，用于根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。

可选地，图像生成模块，包括：

关注点确定子模块，用于确定目标预测模型对应的目标关注点信息；

感兴区域图像数据生成子模块，用于根据目标关注点信息，对目标图像数据进行处理，生成针对目标预测模型的目标感兴区域图像数据；

预测模块，包括：

第一目标预测结果数据生成子模块，用于采用目标预测模型中的多个目标预测网络分支，对目标感兴区域图像数据进行预测，生成目标预测结果数据。

本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上的图像数据的处理方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上的图像数据的处理方法。

本发明实施例具有以下优点：

本发明实施例中，可以先获取针对目标人脸所采集的目标图像数据；然后根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；再采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；之后再根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。通过本发明实施例，实现了在对人脸的某一属性进行预测时，可以从不同维度的特征对该属性进行预测，从而提高了人脸属性预测的准确性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种图像数据的处理方法的步骤流程图；

图2是本发明实施例的另一种图像数据的处理方法的步骤流程图；

图3是本发明实施例的一种输出预测结果数据的步骤流程图；

图4是本发明实施例的一种图像数据的处理过程的示意图；

图5是本发明实施例的又一种图像数据的处理方法的步骤流程图；

图6是本发明实施例的一种图像数据的处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明实施例的一种图像数据的处理方法的步骤流程图，包括如下步骤：

步骤101、获取针对目标人脸所采集的目标图像数据；

在实际应用中，当需要对用户进行身份验证，或者生成针对用户的三维虚拟形象时，可以先获取针对用户的目标人脸所采集的目标图像数据；具体的，目标图像数据可以是预先就收集到的，当然，为了保证数据的安全性，目标图像数据也可以实时调用图像采集设备（例如：移动终端的摄像头）对用户的目标人脸进行采集后生成的，本发明实施例对此不作限制。

在获取目标图像数据之前，还可以获取预先针对数据采集所设置的预置要求信息，预置要求信息可以指所获取的目标图像数据中的人脸所需要满足条件，例如：人脸不可被遮挡等，本发明实施例对此不作限制。

然后，可以按照预置要求信息采集目标图像数据。

步骤102、根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；

其中，感兴区域图像数据可以指针对预测模型的关注点，由目标图像数据生成的一图像数据；例如：预测模型的关注点在于人脸的完整性，则可以将包含了完整的人脸，但是图像的分辨率较低的图像数据作为该预测模型的感兴区域图像数据，本发明实施例对此不作限制。

在获取到目标图像数据后，可以先分别确定每个预测模型所关注的关注点，然后基于每个预测模型所关注的关注点，由目标图像数据分别生成针对不同预测模型的感兴区域图像数据。

在实际应用中，每个预测模型中可以包括主干网络backbone和预测网络分支head；主干网络可以进行特征的提取，并将所提取的特征交由预测网络分支进行预测；预测网络可以利用主干网络所提取到的进行属性的预测。由于人脸中不同的部位之间实际上是存在相互关联的，如果在预测一个部位的属性时，仅从对应的一个特征去进行预测的话，可能导致预测结果不准确的问题。

因此，为了提高预测结果的准确性，本发明实施例可以在每个预测模型中，部署分别针对不同特征进行预测的多个预测网络分支，以便在对人脸的某一属性进行预测时，可以从多个不同维度的特征去对人脸的属性进行预测，从而提高人脸属性预测的准确性。

针对每个预测模型的多个预测网络分支可以根据实际情况设定；具体的，可以将与预测网络分支所要预测的人脸的属性可能存在关联的人脸部位作为不同维度的特征；例如：预测模型需要预测的属性是眼睛，则可以为该预测模型部署预测模型A可以部署有在眼睛的维度进行预测的预测网络分支1、在眼睑的维度进行预测的预测网络分支2，以及在鼻子的维度进行预测的预测网络分支3，本发明实施例对此不作限制。

在本发明一实施例中，预测模型可以根据情况设定，例如，可以根据部署预测模型的计算能力来设定；当部署在移动终端设备时，可以采用轻量级的网络模型，当部署在计算资源丰富的PC（Personal Computer，个人计算机）端时，可以采用特征提取能力较强的网络模型，本发明实施例对此不作限制。

步骤103、采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；

在得到感兴区域图像数据后，可以将感兴图像数据分配给对应的预测模型，然后由对应的预测模型中的多个预测网络分支对感兴区域图像数据进行预测，以生成针对不同维度的特征预测得到的预测子结果数据。

然后，基于每个预测网络分支输出的预测子结果数据，生成对应的预测模型所需要预测的目标人脸的属性的预测结果数据。

作为一示例，多个预测网络分支之间存在数据的交互；具体的，每个预测网络分支可以包括多层网络，预测网络分支在对感兴区域图像数据进行预测时，可以基于实际的数据处理需求，从同一预测模型的其他预测网络分支中获取其在预测过程中的某一层网络所生成的数据，本发明实施例对此不作限制。

步骤104、根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。

在得到每个预测模型所生成的预测结果数据后，可以将所有的预测结果数据融合在一起，从而得到针对用户的目标人脸的目标属性信息。

作为一示例，在得到目标属性信息后，可以将目标属性信息作为身份验证的输入信息，以便可以基于目标属性信息对用户的身份进行验证，本发明实施例对此不作限制。

作为另一示例，在得到目标属性信息后，还可以将目标属性信息作为三维虚拟形象生成的输入信息，以便可以基于目标属性信息生成针对用户的三维虚拟形象，本发明实施例对此不作限制。

本发明实施例中，可以先获取针对目标人脸所采集的目标图像数据；然后根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；再采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；之后再根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。通过本发明实施例，实现了在对人脸的某一属性进行预测时，可以从不同维度的特征对该属性进行预测，从而提高了人脸属性预测的准确性。

参照图2，示出了本发明实施例的另一种图像数据的处理方法的步骤流程图，包括如下步骤：

步骤201、获取针对目标人脸所采集的目标图像数据；

在实际应用中，当需要对用户进行身份验证，或者生成针对用户的三维虚拟形象时，可以先获取针对用户的目标人脸所采集的目标图像数据。

步骤202、确定目标预测模型对应的目标关注点信息；

在获取到目标图像数据后，可以再确定预先为目标预先模型设置的目标关注点信息；目标关注点信息可以用于表征目标预测模型在进行预测时，对于图像数据的关注情况。

例如：“性别+年龄+种族”的预测模型，由于预测项是人脸的一个整体属性，所以关注点是人脸的完整性；

对于“眼镜+眉形+眼皮+眼睛”的预测模型，由于预测项是人脸的一个局部属性，所以关注点是眼睛区域的完整性和细节的清晰度；

对于“女士发型”的预测模型，虽然头发是人脸的一个局部属性，但考虑到女士发型中“发型”和“头发长度”等属性的多样性和复杂性，所以其关注的是头发轮廓和头发长度。

在本发明一实施例中，目标预测模型的训练可以基于预先收集的，包括有不同用户的人脸的图像数据；在训练时，可以收集针对不同维度的特征来进行训练，本发明实施例对此不作限制。

步骤203、根据目标关注点信息，对目标图像数据进行处理，生成针对目标预测模型的目标感兴区域图像数据；

在确定目标关注点信息后，可以根据目标关注点信息，对目标图像数据进行处理，以生成输入至目标预测模型进行处理的目标感兴区域图像数据。

例如：如果是“性别+年龄+种族”的预测模型，由于其关注点是人脸的完整性；因此，可以基于其的关注点信息，对目标图像数据进行处理，以生成包含完整的人脸，但是图像的分辨率较低的目标感兴区域图像数据。

如果是“眼镜+眉形+眼皮+眼睛”的预测模型，由于其关注点是眼睛区域的完整性和细节的清晰度；因此，可以基于其的关注点信息，对目标图像数据进行处理，以生成包含完整的眼睛，且眼睛部分的分辨率较高的目标感兴区域图像数据。

如果是“女士发型”的预测模型，由于其关注点是头发轮廓和头发长度；因此，可以基于其的关注点信息，对目标图像数据进行处理，以生成包含完整的头发轮廓和头发长度的，且头发部分的分辨率较高的目标感兴区域图像数据。

步骤204、采用目标预测模型中的多个目标预测网络分支，对目标感兴区域图像数据进行预测，生成目标预测结果数据；

在得到目标感兴区域图像数据后，可以将目标感兴区域图像数据输入至目标预测模型中；目标预测模型可以调用其中的多个目标预测网络分支，分别对目标感兴区域图像数据进行预测，并基于预测的结果生成目标预测结果数据。

在本发明一实施例中，步骤204可以基于如下子步骤实现：

子步骤11、目标预测模型中的主干网络，对目标感兴区域图像数据进行特征提取，得到目标特征集合；目标特征集合中包括多个目标特征数据；

其中，目标特征集合可以指一目标特征图，该目标特征图中可以包括有多个目标特征数据，本发明实施例对此不作限制。

首先，目标预测网络分支中的主干网络可以对目标感兴区域图像数据进行特征的提取，以获取目标感兴区域图像数据中，所包括的多个目标特征数据；其中，每个目标特征数据可以对应目标感兴区域图像数据中的目标人脸的一个部位的特征，例如：眼睛的特征、眼睑的特征、眉毛的特征、鼻子的特征等，本发明实施例对此不作限制。

在获取到多个目标特征数据后，主干网络可以将多个目标特征数据聚合成一目标特征集合，并发送至目标预测网络进行预测。

子步骤12、采用目标预测模型的一目标预测网络分支，对多个目标特征数据进行预测，生成针对一目标预测网络分支对应的特征的预测子结果数据；

目标预测网络分支在接收到多个目标特征数据后，可以从多个目标特征数据中，确定与目标预测网络分支对应的维度对应的一目标特征数据；然后，可以对这一目标特征数据进行属性的预测，从而生成针对这一目标预测网络分支对应的特征的预测子结果数据。

作为一示例，可以通过如下步骤生成针对一目标预测网络分支对应的特征的预测子结果数据：

获取每个目标特征数据对应的目标权重信息；一目标预测网络分支在进行预测时，从其他目标预测网络分支中，获取其他目标预测网络分支在进行预测时的目标中间过程数据；其他目标预测网络分支为目标预测网络分支中，除一目标预测网络分支外的预测网络分支；根据目标中间过程数据、目标权重信息和多个目标特征数据进行预测，生成针对一目标预测网络分支对应的特征的预测子结果数据。

同一模型的不同预测网络分支之间是可以进行数据的交互的；为了保证可以从不同维度进行属性的预测，可以在一预测网络分支进行预测时，从同一模型的其他预测网络分支中获取预测过程中所生成的数据，并基于该数据和特征数据进行预测。

具体的，可以预先为不同特征数据设置对应的权重信息；权重信息可以根据实际情况进行设置，例如：可以根据某一特征数据对某一数据的影响和关联程度来进行设置，也可以基于模型的训练过程来确定，本发明实施例对此不作限制。

从而，可以先获取每个目标特征数据对应的目标权重信息；然后，在一目标预测网络分支基于目标特征数据进行预测时，可以从同一目标预测模型的其他预测网络分支中，获取该其他预测网络分支在基于目标特征数据进行预测时所生成的目标中间过程数据。

例如：其他目标预测网络分支可以包括多层网络，一目标预测网络分支在进行预测时，可以基于实际的数据处理需求，从其他目标预测网络分支中，获取其他目标预测网络分支在预测过程中的某一层网络所生成的目标中间过程数据，本发明实施例对此不作限制。

然后，一目标预测网络分支可以基于目标权重信息、目标中间过程数据和目标特征数据进行预测，以生成针对一目标预测网络分支对应的特征的预测子结果数据；具体的，可以确定一目标预测网络基于目标特征数据进行预测时所生成的中间过程数据，以及对应的第一目标权重信息；同时，可以确定与目标中间过程数据对应特征的第二目标权重信息；然后基于第一目标权重信息和对应的中间过程数据，以及第二目标权重信息和对应的目标中间过程数据进行预测，以生成针对一目标预测网络分支对应的特征的预测子结果数据。

子步骤13、融合目标预测模型的每个目标预测网络分支生成的预测子结果数据，得到目标预测结果数据。

在得到每个目标预测网络分支生成的预测子结果数据后，可以将所有的该目标预测模型下得到的所有的预测子结果数据融合在一起，从而得到目标预测结果数据。

在得到目标预测结果数据后，目标预测模型可以输出该目标预测结果数据。

如图3，目标预测模型可以在接收到目标感兴区域图像数据后，先采用主干网络进行特征提取；然后将所提取的目标特征集合输入目标预测网络分支1、目标预测网络分支2和目标预测网络分支3中；

然后，目标预测网络分支1可以输出预测子结果数据1，目标预测网络分支2可以输出预测子结果数据2，目标预测网络分支3可以输出预测子结果数据3；

然后，目标预测模型可以将预测子结果数据1、预测子结果数据2和预测子结果数据3融合，从而得到目标预测结果数据。

步骤205、根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。

在得到每个预测模型所生成的预测结果数据后，可以将所有的预测结果数据融合在一起，从而得到针对用户的目标人脸的目标属性信息。

如图4，可以先获取目标图像数据，然后对目标图像数据进行目标人脸检测，并获取针对不同预测模型的感兴区域图像数据；

然后，可以将不同的感兴区域图像数据输入至对应的预测模型中，预测模型可以包括：“脸型”预测模型、“性别+年龄+种族”预测模型、“眼镜+眉形+眼皮+眼睛”预测模型，以及“鼻子”预测模型；

当“性别+年龄+种族”预测模型预测到用户为男性时，可以将与“男士发型”预测模型对应的感兴区域图像数据输入至“男士发型”预测模型，以及将与“男士胡须”预测模型对应的感兴区域图像数据输入至“男士胡须”预测模型；

当“性别+年龄+种族”预测模型预测到用户为女性时，可以将与“女士发型”预测模型对应的感兴区域图像数据输入至“女士发型”预测模型；

然后，可以将上述各预测模型输出的预测结果数据融合在一起，从而得到并输出针对目标人脸的目标属性信息。

本发明实施例中，可以先获取针对目标人脸所采集的目标图像数据；然后确定目标预测模型对应的目标关注点信息；再根据目标关注点信息，对目标图像数据进行处理，生成针对目标预测模型的目标感兴区域图像数据；然后再采用目标预测模型中的多个目标预测网络分支，对目标感兴区域图像数据进行预测，生成目标预测结果数据；之后再根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。通过本发明实施例，实现了基于预测模型所关注的信息对图像数据进行处理，使得输入模型的数据能够更适合模型处理，从而提高了预测模型的处理速度和效率。

参照图5，示出了本发明实施例的又一种图像数据的处理方法的步骤流程图，包括如下步骤：

步骤501、获取针对目标人脸所采集的目标图像数据；

在实际应用中，当需要对用户进行身份验证，或者生成针对用户的三维虚拟形象时，可以先获取针对用户的目标人脸所采集的目标图像数据。

步骤502、至少一个预测模型包括：基础属性预测模型和至少一个差异化属性预测模型；根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；

在实际应用中，由于用户可以包括男性用户和女性用户，而男性用户和女性用户的人脸的属性在预测时，是存在一定的差异的；为了进一步提高属性预测的准确性和效率，可以部署用于对基础属性进行预测的基础属性预测模型，和用于对差异化属性进行预测的差异化属性预测模型。

其中，基础属性可以指不区分男性用户和女性用户的属性，例如：脸型、眼睛、眉形、眼皮、眼镜、鼻子等；差异化属性可以指区别男性用户和女性用户的属性，例如：发型、胡须等，本发明实施例对此不作限制。

作为一示例，基础属性预测模型可以包括以下任一项或多项：“脸型”预测模型、“眼镜+眉形+眼皮+眼睛”预测模型、“鼻子”预测模型，以及“性别+年龄+种族”预测模型；

差异化属性预测模型可以包括以下任一项或多项：“女士发型”预测模型、“男士发型”预测模型，以及“男士胡须”预测模型，本发明实施例对此不作限制。

在获取到目标图像数据后，可以先分别确定每个预测模型所关注的关注点，然后基于每个预测模型所关注的关注点，由目标图像数据分别生成针对不同预测模型的感兴区域图像数据。

步骤503、预测结果数据包括基础属性预测结果数据和差异化属性预测结果数据；采用基础属性预测模型中的多个预测网络分支，对与基础属性预测模型对应的感兴区域图像数据进行预测，生成基础属性预测结果数据；

在实际应用中，为了能够输出充足的人脸的属性信息，可以分别采用基础属性预测模型和差异化属性预测模型对目标图像数据的人脸的属性进行预测。

具体的，可以采用基础属性预测模型中的多个预测网络分支，对与基础属性预测模型对应的感兴区域图像数据进行预测。

基础属性预测模型中的多个预测网络分支在对该感兴区域图像数据进行预测时，可以分别在不同维度的特征上进行预测，以生成预测子结果数据。

然后，可以将一个基础属性预测模型下的多个预测网络分支所生成的多个预测子结果数据融合成基础属性预测结果数据。

步骤504、根据感兴区域图像数据，确定目标性别信息；根据目标性别信息，确定目标差异化属性预测模型，并采用目标差异化属性预测模型中的多个预测网络分支，对与目标差异化属性预测模型对应的感兴区域图像数据进行预测，生成差异化属性预测结果数据；

同样的，可以采用差异化属性预测模型中的多个预测网络分支，对对应的感兴区域图像数据进行预测。

具体的，可以先采用“性别+年龄+种族”预测模型对对应的感兴区域图像数据进行预测，来确定目标图像数据所针对的用户的目标性别信息，目标性别信息可以用于表征该用户的性别，例如：是男性用户、女性用户，本发明实施例对此不作限制。

在确定目标性别信息后，可以基于目标性别信息，从至少一个差异化属性预测模型中，确定与目标性别信息对应的目标差异化属性预测模型；例如：如果目标性别信息表征用户为男性用户，则可以将“男士发型”预测模型和“男士胡须”预测模型作为目标差异化属性预测模型，如果目标性别信息表征用户为女性用户，则可以将“女士发型”预测模型作为目标差异化属性预测模型。

然后，可以采用目标差异化属性预测模型，对与目标差异化属性预测模型对应的感兴区域图像数据进行预测。

目标差异化属性预测模型中的多个预测网络分支在对该感兴区域图像数据进行预测时，可以分别在不同维度的特征上进行预测，以生成预测子结果数据。

然后，可以将一个目标差异化属性预测模型下的多个预测网络分支所生成的多个预测子结果数据融合成一差异化属性预测结果数据。

步骤505、根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。

在得到所有的属性预测模型输出的基础属性预测结果数据，以及所有的目标差异化属性预测模型输出的差异化属性预测结果数据后，可以将所有的预测结果数据融合在一起，从而得到针对用户的目标人脸的目标属性信息。

作为一示例，在得到目标属性信息后，可以将目标属性信息作为身份验证的输入信息，以便可以基于目标属性信息对用户的身份进行验证，本发明实施例对此不作限制。

作为另一示例，在得到目标属性信息后，还可以将目标属性信息作为三维虚拟形象生成的输入信息，以便可以基于目标属性信息生成针对用户的三维虚拟形象，本发明实施例对此不作限制。

本发明实施例中，可以先获取针对目标人脸所采集的目标图像数据；然后根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；再采用基础属性预测模型中的多个预测网络分支，对对应的感兴区域图像数据进行预测，生成基础属性预测结果数据；根据感兴区域图像数据，确定目标性别信息；根据目标性别信息，确定目标差异化属性预测模型，并采用目标差异化属性预测模型中的多个预测网络分支，对对应的感兴区域图像数据进行预测，生成差异化属性预测结果数据；根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。通过本发明实施例，实现了根据男性用户和女性用户性别的不同，进行差异化的属性输出，从而输出充足的目标人脸的属性信息，从而使得使用目标人脸的属性信息的场景的数据需求能够得到满足。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6，示出了本发明实施例的一种图像数据的处理装置的结构示意图，包括如下模块：

获取模块601，用于获取针对目标人脸所采集的目标图像数据；

图像生成模块602，用于根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；

预测模块603，用于采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；

输出模块604，用于根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。

本发明的一个可选实施例中，图像生成模块602，包括：

关注点确定子模块，用于确定目标预测模型对应的目标关注点信息；

感兴区域图像数据生成子模块，用于根据目标关注点信息，对目标图像数据进行处理，生成针对目标预测模型的目标感兴区域图像数据；

预测模块603，包括：

第一目标预测结果数据生成子模块，用于采用目标预测模型中的多个目标预测网络分支，对目标感兴区域图像数据进行预测，生成目标预测结果数据。

本发明的一个可选实施例中，第一目标预测结果数据生成子模块，用于目标预测模型中的主干网络，对目标感兴区域图像数据进行特征提取，得到目标特征集合；目标特征集合中包括多个目标特征数据；采用目标预测模型的一目标预测网络分支，对多个目标特征数据进行预测，生成针对一目标预测网络分支对应的特征的预测子结果数据；融合目标预测模型的每个目标预测网络分支生成的预测子结果数据，得到目标预测结果数据。

本发明的一个可选实施例中，第一目标预测结果数据生成子模块，用于获取每个目标预测网络分支对应的目标权重信息；根据目标权重信息和每个预测子结果数据，生成目标预测结果数据。

本发明的一个可选实施例中，至少一个预测模型包括：基础属性预测模型和至少一个差异化属性预测模型；预测结果数据包括基础属性预测结果数据和差异化属性预测结果数据；

预测模块603，包括：

第二目标预测结果数据生成子模块，用于采用基础属性预测模型中的多个预测网络分支，对与基础属性预测模型对应的感兴区域图像数据进行预测，生成基础属性预测结果数据；根据感兴区域图像数据，确定目标性别信息；根据目标性别信息，确定目标差异化属性预测模型，并采用目标差异化属性预测模型中的多个预测网络分支，对与目标差异化属性预测模型对应的感兴区域图像数据进行预测，生成差异化属性预测结果数据。

本发明的一个可选实施例中，多个预测网络分支之间存在数据的交互。

本发明实施例中，可以先获取针对目标人脸所采集的目标图像数据；然后根据目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；再采用至少一个预测模型中的多个预测网络分支，对感兴区域图像数据进行预测，生成预测结果数据；预测结果数据基于每个预测网络分支输出的预测子结果数据生成；之后再根据每个预测模型生成的预测结果数据，确定针对目标人脸的目标属性信息。通过本发明实施例，实现了在对人脸的某一属性进行预测时，可以从不同维度的特征对该属性进行预测，从而提高了人脸属性预测的准确性。

本发明实施例还提供了一种电子设备，包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上的图像数据的处理方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上的图像数据的处理方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种图像数据的处理方法及装置、电子设备、存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像数据的处理方法，其特征在于，所述方法包括：

获取针对目标人脸所采集的目标图像数据；

根据所述目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；

采用所述至少一个预测模型中的多个预测网络分支，对所述感兴区域图像数据进行预测，生成预测结果数据；所述预测结果数据基于每个预测网络分支输出的预测子结果数据生成；

根据每个预测模型生成的预测结果数据，确定针对所述目标人脸的目标属性信息。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像数据，生成针对至少一个预测模型的感兴区域图像数据，包括：

确定目标预测模型对应的目标关注点信息；

根据所述目标关注点信息，对所述目标图像数据进行处理，生成针对所述目标预测模型的目标感兴区域图像数据；

所述采用所述至少一个预测模型中的多个预测网络分支，对所述感兴区域图像数据进行预测，生成预测结果数据，包括：

采用所述目标预测模型中的多个目标预测网络分支，对所述目标感兴区域图像数据进行预测，生成目标预测结果数据。

3.根据权利要求2所述的方法，其特征在于，所述采用所述目标预测模型的多个目标预测网络分支，对所述目标感兴区域图像数据进行预测，生成目标预测结果数据，包括：

所述目标预测模型中的主干网络，对所述目标感兴区域图像数据进行特征提取，得到目标特征集合；所述目标特征集合中包括多个目标特征数据；

采用所述目标预测模型的一目标预测网络分支，对所述多个目标特征数据进行预测，生成针对所述一目标预测网络分支对应的特征的预测子结果数据；

融合所述目标预测模型的每个目标预测网络分支生成的预测子结果数据，得到所述目标预测结果数据。

4.根据权利要求3所述的方法，其特征在于，所述采用所述目标预测模型的一目标预测网络分支，对所述多个目标特征数据进行预测，生成针对所述一目标预测网络分支对应的特征的预测子结果数据，包括：

获取每个目标特征数据对应的目标权重信息；

所述一目标预测网络分支在进行预测时，从其他目标预测网络分支中，获取所述其他目标预测网络分支在进行预测时的目标中间过程数据；所述其他目标预测网络分支为所述目标预测网络分支中，除所述一目标预测网络分支外的预测网络分支；

根据所述目标中间过程数据、所述目标权重信息和所述多个目标特征数据进行预测，生成针对所述一目标预测网络分支对应的特征的预测子结果数据。

5.根据权利要求1所述的方法，其特征在于，所述至少一个预测模型包括：基础属性预测模型和至少一个差异化属性预测模型；所述预测结果数据包括基础属性预测结果数据和差异化属性预测结果数据；

所述采用所述至少一个预测模型中的多个预测网络分支，对所述感兴区域图像数据进行预测，生成预测结果数据，包括：

采用所述基础属性预测模型中的多个预测网络分支，对与所述基础属性预测模型对应的感兴区域图像数据进行预测，生成所述基础属性预测结果数据；

根据所述感兴区域图像数据，确定目标性别信息；根据所述目标性别信息，确定目标差异化属性预测模型，并采用所述目标差异化属性预测模型中的多个预测网络分支，对与所述目标差异化属性预测模型对应的感兴区域图像数据进行预测，生成所述差异化属性预测结果数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述多个预测网络分支之间存在数据的交互。

7.一种图像数据的处理装置，其特征在于，所述装置包括：

获取模块，用于获取针对目标人脸所采集的目标图像数据；

图像生成模块，用于根据所述目标图像数据，生成针对至少一个预测模型的感兴区域图像数据；每个预测模型中包括分别针对不同特征进行预测的多个预测网络分支；

预测模块，用于采用所述至少一个预测模型中的多个预测网络分支，对所述感兴区域图像数据进行预测，生成预测结果数据；所述预测结果数据基于每个预测网络分支输出的预测子结果数据生成；

输出模块，用于根据每个预测模型生成的预测结果数据，确定针对所述目标人脸的目标属性信息。

8.根据权利要求7所述的装置，其特征在于，所述图像生成模块，包括：

关注点确定子模块，用于确定目标预测模型对应的目标关注点信息；

感兴区域图像数据生成子模块，用于根据所述目标关注点信息，对所述目标图像数据进行处理，生成针对所述目标预测模型的目标感兴区域图像数据；

所述预测模块，包括：

第一目标预测结果数据生成子模块，用于采用所述目标预测模型中的多个目标预测网络分支，对所述目标感兴区域图像数据进行预测，生成目标预测结果数据。

9.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像数据的处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像数据的处理方法。

Images