CN111325705A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供一种图像处理方法、装置、设备及存储介质。本发明实施例的方法，通过获取待处理的素材图像；检测所述素材图像中是否包括人脸区域；若所述素材图像中包括人脸区域，确定所述素材图像中的人脸区域；根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，所述颜值打分模型是使用训练集对卷积神经网络训练得到的；根据所述素材图像的颜值分，对所述素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

Description

图像处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术

随着互联网技术的发展，网上购物极大地方便了人们的生活，电商平台层出不穷。对于各大电商网店，有很多图像的应用场景。例如，用户在对已购买商品评论时可以上传用户使用商品的图片，电商平台向用户展示模特与商品的搭配图片等等。

为了提供商品的展示效果，电商平台期望优先向用户展示颜值高的人像与商品搭配的图片。电商运营人员根据图片中人像的颜值，人工地对素材库中待展示的商品与人像的搭配图片进行颜值分标注，将素材库中颜值分较高的图片展示到电商平台。

但是，随着电商平台业务量的增加，素材库中图片数量会线性甚至指数级增长，图片标注需求也会线性甚至指数级增长，人工成本太高，很浪费人力资源，效率很低。

发明内容

本发明实施例提供一种图像处理方法、装置、设备及存储介质，用以解决现有技术中人工进行颜值分标注带有很强的主观性，标注的颜值分不准确，且随着电商平台业务量的增加，素材库中图片数量会线性甚至指数级增长，图片标注需求也会线性甚至指数级增长，人工成本太高，很浪费人力资源的问题。

本发明实施例的一个方面是提供一种图像处理方法，包括：

获取待处理的素材图像；

检测所述素材图像中是否包括人脸区域；

若所述素材图像中包括人脸区域，确定所述素材图像中的人脸区域；

根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，所述颜值打分模型是使用训练集对卷积神经网络训练得到的；

根据所述素材图像的颜值分，对所述素材图像进行标注处理。

本发明实施例的另一个方面是提供一种图像处理装置，包括：

预处理模块，用于获取待处理的素材图像；

人脸检测模块，用于检测所述素材图像中是否包括人脸区域；

所述人脸检测模块还用于若所述素材图像中包括人脸区域，确定所述素材图像中的人脸区域；

颜值打分模块，用于根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，所述颜值打分模型是使用训练集对卷积神经网络训练得到的；

标注处理模块，用于根据所述素材图像的颜值分，对所述素材图像进行标注处理。

本发明实施例的另一个方面是提供一种图像处理设备，包括：

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现上述所述的方法。

本发明实施例的另一个方面是提供一种计算机可读存储介质，存储有计算机程序，

所述计算机程序被处理器执行时实现上述所述的方法。

本发明实施例提供的图像处理方法、装置、设备及存储介质，通过获取待处理的素材图像；检测所述素材图像中是否包括人脸区域；若所述素材图像中包括人脸区域，确定所述素材图像中的人脸区域；根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，所述颜值打分模型是使用训练集对卷积神经网络训练得到的；根据所述素材图像的颜值分，对所述素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

附图说明

图1为本发明实施例一提供的图像处理方法流程图；

图2为本发明实施例二提供的图像处理方法流程图；

图3为本发明实施例三提供的图像处理方法流程图；

图4为本发明实施例四提供的图像处理装置的结构示意图；

图5为本发明实施例五提供的图像处理装置的结构示意图；

图6为本发明实施例四提供的图像处理装置的结构示意图；

图7为本发明实施例七提供的图像处理设备的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明实施例构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。

首先对本发明实施例所涉及的名词进行解释：

图像处理：用计算机对图像进行分析，以达到所需结果的技术，比如图像分类。

深度学习：深度学习是目前机器学习学科发展最蓬勃的分支，也是整个人工智能领域应用最为广阔的技术，是在人工神经网络的基础上发展而来的一种表示学习方法。

Alex网络：Alex是发明者的名字，整个网络由8层神经元组成，这种结构在增加网络复杂度的同时加入防止过拟合的措施。

卷积神经网络：是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对图像处理有好的表现。

池化：池化是将图像按照窗口大小分成不重叠的区域，然后对每一个区域内的元素进行聚合。聚合方法包括：最大池化和平均池化。

线性整流函数(Rectified Linear Unit,Relu),又称修正线性单元，是一种人工神经网络中常用的激活函数，通常指代以斜坡函数及其变种为代表的非线性函数。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

实施例一

图1为本发明实施例一提供的图像处理方法流程图。本发明实施例针对现有技术中人工进行颜值分标注带有很强的主观性，标注的颜值分不准确，且随着电商平台业务量的增加，素材库中图片数量会线性甚至指数级增长，图片标注需求也会线性甚至指数级增长，人工成本太高，很浪费人力资源的问题，提供了图像处理方法。本实施例中的方法应用于电商平台的图像处理设备，该图像处理设备可以是电商平台的服务器，可以是一台计算机设备、或者是多台计算机设备构成的集群等，在其他实施例中，该方法还可应用于其他设备，本实施例以服务器为例进行示意性说明。如图1所示，该方法具体步骤如下：

步骤S101、获取待处理的素材图像。

其中，素材图像可以是商品与人像搭配的图片。例如，可以是为商品拍摄的模特展示商品的图片，或者可以是用户上传的用户展示商品的图片，等等。

本实施例中，待处理的素材图像可以存储在指定的一个或者多个原始素材目录中，原始素材目录可以由技术人员根据实际需要进行设定。素材图像的信息可以存储在多个数据表中。用素材主表记录素材图像的相关信息，例如素材图像的标识信息、存储路径、发布者信息、发布时间等等。用素材交互表记录素材图像的点赞数据，评论数据等交互数据。用素材标签表记录素材图像对应的标注数据，其中标注数据至少可以包括素材图像的颜值分，以及素材图像是否包括人脸区域等标注信息。用素材商品表记录素材图像对应的商品的信息，例如，素材图像对应的商品的标识、种类、价格等等商品信息。

具体的，服务器可以从素材图像信息的多个数据表中获取素材图像的原始数据；对原始数据进行预处理，并提取出素材图像的关键信息；根据素材图像的关键信息获取待处理的素材图像。

可选的，对素材图像的原始数据进行预处理可以包括：根据素材图像的原始数据，将预设字段的值为缺失值或者异常值的素材图像的数据过滤掉，对每个素材图像的数据进行归一化处理。其中，预设字段可以是用于存储素材图像信息的多个数据表中的任意一个数据表中的字段，预设字段可以包括一个或者多个字段，预设字段具体包括哪些字段可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

例如，若素材图像中某关键信息缺失，或者某关键信息异常，则将该素材图像的数据过滤掉，无需再计算该素材图像的颜值分。

另外，从素材图像的数据中提取出的素材图像的关键信息可以包括素材图像的标识、存储路径等等；提取出的关键信息可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

本实施例中，待处理的素材图像可以包括一个或者多个图像。

步骤S102、检测素材图像中是否包括人脸区域。

在获取到待处理的素材图像之后，对于每个素材图像，采用人脸检测方法检测素材图像中是否包括人脸区域。

若素材图像中包括人脸区域，则继续执行步骤S103-S105，对素材图像进行颜值分标注。

若素材图像中不包括人脸区域，则无需执行后续步骤S103-S105，可以直接执行步骤S106将素材图像的颜值分设置为预设最低颜值分。

可选的，若素材图像中不包括人脸区域，还可以将素材图像标记为不可用图像。

步骤S103、若素材图像中包括人脸区域，确定素材图像中的人脸区域。

若素材图像中包括人脸区域，确定素材图像中人脸区域的位置。

可选的，在确定素材图像中人脸区域之后，可以对素材图像中的人脸区域进行标记。例如，可以用矩形框或者圆形框等将素材图像中的人脸区域圈出。

步骤S104、根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的。

本实施例中，在通过颜值打分模型计算素材图像的颜值分之前，预先获取训练集，使用训练集对卷积神经网络训练，得到颜值打分模型。其中，训练集中包括多条训练数据，每一条训练数据包括样本图像，以及预先标注的样本图像的颜值分。

颜值打分模型用于将素材图像进行颜值分类处理，将素材图像划分到对应有不同颜值分的分类中，将所属分类对应的颜值分作为素材图像的颜值分，从而得到素材图像的颜值分。

步骤S105、根据素材图像的颜值分，对素材图像进行标注处理。

在计算得到素材图像的颜值分之后，对素材图像的颜值分进行标注。

具体的，可以自动将素材图像的颜值分与素材图像对应存储。例如，可以将素材图像的颜值分记录到数据表中的素材图像的数据中。

可选的，还可以根据预先划分的多个等级的颜值分，将每个素材图像的颜值分采用独热编码的方法存储成二维矩阵，将素材图像的颜值分对应等级的位置的值设置为1，其余位置设置为0。

另外，本实施例中在计算得到素材图像的颜值分之后，还可以采用其他方式对素材图像的颜值分进行标注，本实施例此处不做具体限定。

步骤S106、若素材图像中不包括人脸区域，则将素材图像的颜值分设置为预设最低颜值分。

本发明实施例通过获取待处理的素材图像；检测素材图像中是否包括人脸区域；若素材图像中包括人脸区域，确定素材图像中的人脸区域；根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的；根据素材图像的颜值分，对素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

实施例二

图2为本发明实施例二提供的图像处理方法流程图。在上述实施例一的基础上，本实施例中，在根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分之前，还包括：获取训练集，训练集包括多个已标注颜值分的样本图像；采用个训练集对卷积神经网络进行训练，得到颜值打分模型。如图2所示，该方法具体步骤如下：

步骤S201、获取训练集，训练集包括多个已标注颜值分的样本图像。

其中，样本图像是指已标注了颜值分的素材图像。训练集中包括多条训练数据，每一条训练数据包括样本图像，以及预先标注的样本图像的颜值分。

本实施例中，样本图像可以存储在指定的一个或者多个样本素材目录中，样本素材目录可以由技术人员根据实际需要进行设定。样本图像的信息的存储可以采用与待处理的素材图像的信息一样的方式进行存储。具体的，样本图像的信息可以存储在多个数据表中。用样本主表记录样本图像的相关信息，例如样本图像的标识信息、存储路径、发布者信息、发布时间等等。用样本交互表记录样本图像的点赞数据，评论数据等交互数据。用样本标签表记录样本图像对应的标注数据，其中标注数据至少可以包括样本图像的颜值分，以及素材图像是否包括人脸区域等标注信息。用样本商品表记录样本图像对应的商品的信息，例如，样本图像对应的商品的标识、种类、价格等等商品信息标注信息。

另外，样本图像的标注信息可以由专业技术人员根据样本图像的图像清晰度、图像完整度、图像中人像颜值等因素，依据预设的标注规范文档，对样本图像进行标注得到的。

可选的，在对样本图像进行人工标注之前，为了便于对样本图像的人工标注，服务器可以获取样本图像的原始数据，对样本图像的原始数据进行预处理，过滤掉信息缺失或者信息异常的样本图像，保留信息完整的可用样本图像，对每个可用样本图像的数据进行归一化处理，提取出可用样本图像的关键信息。服务器根据提取出的可用样本图像的关键信息选取多个可用的样本图像，并显示，以供技术人员查看并人工对样本图像的颜值分和是否包括人脸区域进行标注。

另外，服务器对样本图像的原始数据进行预处理可以包括：根据样本图像的原始数据，将预设字段的值为缺失值或者异常值的样本图像的数据过滤掉，对每个样本图像的数据进行归一化处理。其中，预设字段可以是用于存储样本图像信息的多个数据表中的任意一个数据表中的字段，预设字段可以包括一个或者多个字段，预设字段具体包括哪些字段可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

例如，若样本图像中某关键信息缺失，或者某关键信息异常，则将该样本图像的数据过滤掉，无需再计算该样本图像的颜值分。

另外，从样本图像的数据中提取出的样本图像的关键信息可以包括样本图像的标识、存储路径等等；关键信息具体包括哪些信息可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

本实施例中，在得到样本图像的标注信息之后，还可以将具有不同颜值分的样本图像分别存储到不同的目录中。

具体的，可以预先设定各个等级的颜值分对应的存储目录，不同的颜值分对应的存储目录不同；根据样本图像的颜值分，将样本图像存储到与样本图像的颜值分对应的存储目录下。

该步骤中，获取训练集时，可以根据预先设定的训练集中不同颜值分的样本图像在训练集中所占的比例，确定训练集中各个等级的颜值分的样本图像的数量，并依据训练集中各个等级的颜值分的样本图像的数量从各个等级的颜值分对应的存储目录下获取样本图像，并获取样本图像的标注信息。

例如，可以预先设定颜值分包括10个等级，10个等级颜值由低到高对应的颜值分分别为1分，2分，3分，4分，5分，6分，7分，8分，9分和10分。

步骤S202、采用个训练集对卷积神经网络进行训练，得到颜值打分模型。

本实施例中，卷积神经网络采用Alex网络。本实施例中卷积神经网络架构由8层神经元组成，其中前5层为卷积层，用于提取图像特征，后3层为全连接层，用于进行颜值分计算。

卷积是一种常用的线性滤波方法，使用卷积可以达到图像降噪、锐化等效果。简单来说，就是对于图片中的每一个像素点，计算它的领域像素和滤波器矩阵的对应位置元素的乘积，然后将所有乘积累加，作为该像素位置的输出值。从网络结构来说，卷积层节点与全连接层节点有三点主要的不同：一是局部感知，二是权值共享，三是多卷积核。局部感知指的是，对于每一个计算单元来说，只需要考虑其像素位置附近的输入，并不需要与上一层的所有节点相连，这一点符合用户对图像的理解，也就是图像是相对连续的，局部信息的组合才能构成各种线条形状。权值共享，是指对一张图片进行卷积的时候，会让卷积核逐一滑过图片的每个像素，处理每一个像素点的参数都相同。每个卷积核都是一个特征提取器，若只有一个卷积核的话，就只能提取一种特征，这显然是不够的，本实施例中卷积层使用多个卷积核，以多核卷积的方式保证充分提取特征。

为了防止过拟合，本实施例的卷积神经网络模型中采用了以下两个办法：一是设置了droupout，随机丢弃一些神经元；二是进行了Batch Normilization的处理。

颜值打分模型使用Relu作为卷积层的激活函数，对素材图像的颜值分的计算优于使用Sigmoid函数作为卷积层的激活函数。Relu是一种受限的激活函数，在使用中为网络引入了大量的稀疏性，至少有一半的神经元不会被激活，因而加强了强特征的提取和弱特征的瓦解，增强了学习效果。

对于Relu函数来说，它用作回归的激活函数，输出结果近似于正态分布，本实施例中可以采用随机正态分布生成0均值、标准差一定的随机矩阵作为初始化参数，并在训练过程中逐步加大标准差，使得卷积神经网络的权重能够获得一个弹性增加。

另外，颜值打分模型通过采用Alex网络对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了颜值打分模型的泛化能力。

在对卷积神经网络进行训练的过程中，可以对卷积神经网络的输入图像大小、卷积层的卷积核数量、卷积层的滑动步长等参数进行调试，以优化卷积神经网络得到更优的颜值打分模型。

可选的，本实施例提供一组颜值打分模型的参数设置，具体的，颜值打分模型输入图片的大小可以为128*128像素；颜值打分模型的第一层使用7*7的卷积核，滑动步长为3个像素，输出96个特征图，并进行最大池化；颜值打分模型的第二层使用5*5卷积核，卷积产生256个特征图，并进行最大池化；颜值打分模型的第三层使用3*3卷积核，输出384个特征图；颜值打分模型的第四层使用3*3卷积核，输出384个特征图；颜值打分模型的第五层使用3*3卷积核，输出256个特征图，并进行池化；颜值打分模型的第六层、第七层为全连接层，分别包含4096个隐层；颜值打分模型的第八层为softMax层，计算得到素材图像的颜值分。

另外，在对卷积神经网络进行训练的过程中，还可以对训练过程中的学习率、迭代轮数、批量大小、衰减步长、以及dropout保留神经元的比例等等中的一项或者多项训练参数进行调试，以训练得到更优的颜值打分模型。

可选的，本实施例提供一组较优的训练参数，具体的，学习率可以为0.001；迭代轮数可以设置为3000；训练批量大小可以设置为10；衰减步长可以设置为3；dropout保留神经元的比例可以设置为0.75,表示为了防止过拟合随机丢弃25％的神经元。

例如，学习率的不同会对颜值打分模型的收敛有很大影响，同样的颜值打分模型采用不同的学习率效果会表现得非常不同。本实施例首先将学习率设置成0.0001，逐步增大学习率，结合颜值打分模型的评估指标，经多轮测试调优，在采用的训练集上，学习率调试为0.001时颜值打分模型的效果是最好的，可以设置学习率为0.001。

可以对卷积神经网络的输入图像大小、卷积层的卷积核数量、卷积层的滑动步长等参数进行调试，以优化卷积神经网络得到更优的颜值打分模型。

可选的，在对卷积神经网络训练结束后，可以使用测试集中的测试数据对训练后得到的模型进行测试。另外，可以将对模型进行测试得到的图像的颜值分以链表的形式存储，并控制显示装置显示图像的颜值分。

例如，测试集中共有500张图像，采用训练后得到的模型计算其中指定的10张图像的颜值分，将10张图像的颜值分保存在一个链表中，将10张图像的颜值分显示为以下形式：[4 3 4 4 3 4 3 5 4 4]，表示第一张图像的颜值分为4，第二张图像的颜值分为3，第三张图像的颜值分为4，以此类推。技术人员可以根据这10张图像的颜值分来确定训练后的模型的效果，若效果不好，可以继续对模型进行训练；若效果好，则无需继续训练。

本实施例中对素材图片以及训练集和测试集中的图片的存储格式不做具体限定。例如，图片可以以jpg的格式存储。

步骤S203、获取待处理的素材图像。

该步骤与上述步骤S101类似。本实施例此处不再赘述。

步骤S204、检测素材图像中是否包括人脸区域。

步骤S205、若素材图像中包括人脸区域，确定素材图像中的人脸区域。

上述步骤S204-S205为对素材图像进行人脸检测的过程。在获取到待处理的素材图像之后，对于每个素材图像，采用人脸检测方法检测素材图像中是否包括人脸区域。若素材图像中包括人脸区域，则确定人脸区域的位置，并继续执行后续步骤S206-S207，对素材图像进行颜值分标注。

若素材图像中不包括人脸区域，则执行后续步骤S208，将素材图像的颜值分设置为预设最低颜值分。

可选的，若素材图像中不包括人脸区域，还可以将素材图像标记为不可用图像。

本实施例中，对素材图像进行人脸检测，确定素材图像中是否包括人脸区域，并确定素材图像中的人脸区域的位置可以采用人脸检测模型实现。

可选的，本实施例中可以使用Haar级联分类器作为人脸检测模型来实现人脸检测。

在使用人脸检测模型对素材图像进行人脸检测之前，预先采用用于人脸检测的训练集对人脸检测模型进行训练，使得人脸检测模型的检测精度满足预设条件。其中，预设条件可以由技术人员根据实际需要进行设定，本实施例此处不做具体限定。

可选的，对人脸检测模型进行训练使用的训练集可以与对颜值打分模型使用的训练集为同一训练集。对人脸检测模型进行训练使用的训练集中的训练数据包括样本图像，以及预先标注的样本图像是否包括人脸区域和样本图像的颜值分。

另外，对人脸检测模型进行训练使用的训练集可以与对颜值打分模型使用的训练集不是同一训练集。对人脸检测模型进行训练使用的训练集中的训练数据包括样本图像，以及预先标注的样本图像是否包括人脸区域。

可选的，可以预先设定对人脸检测模型进行训练使用的训练集中的向下采样的比例系数。

可选的，通常素材图像为3通道图片，本实施例中，在对素材图像进行人脸检测之前，可以将素材图像转为灰度图像，通过人脸检测模型对素材图像转为的灰度图像进行人脸检测，确定素材图像中人脸区域的位置。

可选的，在确定素材图像中人脸区域之后，可以对素材图像中的人脸区域进行标记。例如，可以用矩形框或者圆形框等将素材图像中的人脸区域圈出。

步骤S206、根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的。

本实施例中，根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，具体可以采用如下方式实现：

根据颜值打分模型输入图片的预设尺寸，将素材图像裁剪为包括人脸区域的预设尺寸的图片；将裁剪后的图片输入颜值打分模型，计算裁剪后的图片的颜值分；将裁剪后的图片的颜值分作为素材图像的颜值分。

可选的，本实施例中可以对待处理的素材图像进行批量裁剪，将所有待处理的素材图像裁剪为预设尺寸。具体的，可以导入待处理的素材图像所在目录，对待处理的素材图像所在目录内的素材图像分别进行读取和裁剪，将裁剪得到的预设大小的素材图像存储到预先设定的新的目录中，以提高素材图像的剪裁效率。

进一步地，在将裁剪得到的预设大小的素材图像存储到预先设定的新的目录中之后，还可以对新的目录中的图片进行批量地格式转换，将图片格式转换为颜值打分模型预设的输入图片的格式。例如，将新的目录中的图片统一转换为Tensorflow专用格式、或者TFRecord格式。

可选的，根据素材图像的颜值分，对素材图像进行标注处理之后，还可以将不同颜值分的素材图像分别存储到不同的目录中。

具体的，可以预先设定各个等级的颜值分对应的存储目录，不同的颜值分对应的存储目录不同；根据素材图像的颜值分，将素材图像存储到与素材图像的颜值分对应的存储目录下。

步骤S207、根据素材图像的颜值分，对素材图像进行标注处理。

在计算得到素材图像的颜值分之后，对素材图像的颜值分进行标注。

具体的，可以自动将素材图像的颜值分与素材图像对应存储。例如，可以将素材图像的颜值分记录到数据表中的素材图像的数据中。

可选的，还可以根据预先划分的多个等级的颜值分，将每个素材图像的颜值分采用独热编码的方法存储成二维矩阵，将素材图像的颜值分对应等级的位置的值设置为1，其余位置设置为0。

另外，本实施例中在计算得到素材图像的颜值分之后，还可以采用其他方式对素材图像的颜值分进行标注，本实施例此处不做具体限定。

步骤S208、若素材图像中不包括人脸区域，则将素材图像的颜值分设置为预设最低颜值分。

其中，预设最低颜值分可以由技术人员根据实际需要进行设定。

本发明实施例通过获取待处理的素材图像；检测素材图像中是否包括人脸区域；若素材图像中包括人脸区域，确定素材图像中的人脸区域；根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的；根据素材图像的颜值分，对素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

实施例三

图3为本发明实施例三提供的图像处理方法流程图。在上述实施例一或者实施例二的基础上，本实施例中，根据素材图像的颜值分，对素材图像进行标注处理之后，还包括：在接收到对商品素材图像的查看请求时，获取商品对应的所有素材图像；根据商品对应的所有素材图像的颜值分，对商品对应的所有素材图像进行排序；按照商品对应的所有素材图像的排序，控制显示装置显示商品对应的素材图像。如图3所示，根据素材图像的颜值分，对素材图像进行标注处理之后，该方法还包括以下具体步骤：

步骤S301、在接收到对商品素材图像的查看请求时，获取商品对应的所有素材图像。

用户在浏览商品列表或者查看某件商品，或者访问其他包括商品的素材图像的页面时，向服务器发送访问请求时，服务器确定接收到对商品素材图像的查看请求，获取商品对应的所有素材图像。

步骤S302、根据商品对应的所有素材图像的颜值分，对商品对应的所有素材图像进行排序。

本实施例中，对于每一次的对商品素材图像的查看请求，都有对素材图像的排序进行刷新。

另外，对素材图像进行排序时，还可以参考素材图像的用户偏好分和素材质量分。其中用户偏好分可以通过用户花销模型预估用户购买力，根据用户购买力与素材图像对应商品的价格的匹配度计算得到。素材质量分可以根据素材发布时间、素材的交互数据等计算得到。

例如，素材图像的素材质量分可以通过对该素材图像的图像颜值分、素材发布时间、素材点赞数、素材评论数、素材浏览数、素材分享数计算得到。

可选的，根据商品对应的所有素材图像的颜值分，对商品对应的所有素材图像进行排序，具体可以采用如下方式实现：

获取商品对应的所有素材图像的用户偏好分和素材质量分；根据商品对应的所有素材图像的颜值分、用户偏好分和素材质量分，计算商品对应的所有素材图像的综合排序分；根据商品对应的所有素材图像的综合排序分，对商品对应的所有素材图像进行排序。

步骤S303、按照商品对应的所有素材图像的排序，控制显示装置显示商品对应的素材图像。

本发明实施例通过在接收到对商品素材图像的查看请求时，获取商品对应的所有素材图像；根据商品对应的所有素材图像的颜值分，用户偏好分和素材质量分，计算商品对应的所有素材图像的综合排序分，并根据综合排序分对商品对应的所有素材图像进行排序；按照商品对应的所有素材图像的排序，控制显示装置显示商品对应的素材图像，可以向用户展现最有价值的素材图像，可以提升商品的点击转化率。

实施例四

图4为本发明实施例四提供的图像处理装置的结构示意图。本发明实施例提供的图像处理装置可以执行图像处理方法实施例提供的处理流程。如图4所示，该图像处理装置40包括：预处理模块401，人脸检测模块402，颜值打分模块403和标注处理模块404。

具体地，预处理模块401用于获取待处理的素材图像。

人脸检测模块402用于检测素材图像中是否包括人脸区域。

人脸检测模块402还用于若素材图像中包括人脸区域，确定素材图像中的人脸区域。

颜值打分模块403用于根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的。

标注处理模块404用于根据素材图像的颜值分，对素材图像进行标注处理。

本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过获取待处理的素材图像；检测素材图像中是否包括人脸区域；若素材图像中包括人脸区域，确定素材图像中的人脸区域；根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的；根据素材图像的颜值分，对素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

实施例五

图5为本发明实施例五提供的图像处理装置的结构示意图。在上述实施例四的基础上，本实施例中，如图5所示，图像处理装置40还包括：模型训练模块405。

模型训练模块405用于：

获取训练集，训练集包括多个已标注颜值分的样本图像；采用个训练集对卷积神经网络进行训练，得到颜值打分模型。

可选的，标注处理模块还用于：

若素材图像中不包括人脸区域，则将素材图像的颜值分设置为预设最低颜值分。

可选的，颜值打分模块还用于：

根据颜值打分模型输入图片的预设尺寸，将素材图像裁剪为包括人脸区域的预设尺寸的图片；将裁剪后的图片输入颜值打分模型，计算裁剪后的图片的颜值分；将裁剪后的图片的颜值分作为素材图像的颜值分。

可选的，卷积神经网络为Alex网络。

本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过获取待处理的素材图像；检测素材图像中是否包括人脸区域；若素材图像中包括人脸区域，确定素材图像中的人脸区域；根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的；根据素材图像的颜值分，对素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

实施例六

图6为本发明实施例四提供的图像处理装置的结构示意图。在上述实施例四或者实施例五的基础上，本实施例中，如图6所示，图像处理装置40还包括：排序展示模块406。

排序展示模块406还用于：

在接收到对商品素材图像的查看请求时，获取商品对应的所有素材图像；根据商品对应的所有素材图像的颜值分，对商品对应的所有素材图像进行排序；按照商品对应的所有素材图像的排序，控制显示装置显示商品对应的素材图像。

可选的，排序展示模块406还用于：

获取商品对应的所有素材图像的用户偏好分和素材质量分；根据商品对应的所有素材图像的颜值分、用户偏好分和素材质量分，计算商品对应的所有素材图像的综合排序分；根据商品对应的所有素材图像的综合排序分，对商品对应的所有素材图像进行排序。

本发明实施例提供的装置可以具体用于执行上述实施例三所提供的方法实施例，具体功能此处不再赘述。

本发明实施例通过在接收到对商品素材图像的查看请求时，获取商品对应的所有素材图像；根据商品对应的所有素材图像的颜值分，用户偏好分和素材质量分，计算商品对应的所有素材图像的综合排序分，并根据综合排序分对商品对应的所有素材图像进行排序；按照商品对应的所有素材图像的排序，控制显示装置显示商品对应的素材图像，可以向用户展现最有价值的素材图像，可以提升商品的点击转化率。

实施例七

图7为本发明实施例七提供的图像处理设备的结构示意图。如图7所示，该设备70包括：处理器701，存储器702，以及存储在存储器702上并可由处理器701执行的计算机程序。

处理器701在执行存储在存储器702上的计算机程序时实现上述任一方法实施例提供的图像处理方法。

本发明实施例通过获取待处理的素材图像；检测素材图像中是否包括人脸区域；若素材图像中包括人脸区域，确定素材图像中的人脸区域；根据素材图像中的人脸区域，通过颜值打分模型计算素材图像的颜值分，颜值打分模型是使用训练集对卷积神经网络训练得到的；根据素材图像的颜值分，对素材图像进行标注处理，能够实现对素材图像的颜值分的自动标注，减少了大量人工成本，大大提高素材图像颜值分的标注效率。

另外，本发明实施例还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例提供的图像处理方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取待处理的素材图像；

检测所述素材图像中是否包括人脸区域；

若所述素材图像中包括人脸区域，确定所述素材图像中的人脸区域；

根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，所述颜值打分模型是使用训练集对卷积神经网络训练得到的；

根据所述素材图像的颜值分，对所述素材图像进行标注处理。

2.根据权利要求1所述的方法，其特征在于，所述检测所述素材图像中是否包括人脸区域之后，还包括：

若所述素材图像中不包括人脸区域，则将所述素材图像的颜值分设置为预设最低颜值分。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，包括：

根据所述颜值打分模型输入图片的预设尺寸，将所述素材图像裁剪为包括人脸区域的所述预设尺寸的图片；

将裁剪后的图片输入所述颜值打分模型，计算裁剪后的图片的颜值分；

将所述裁剪后的图片的颜值分作为所述素材图像的颜值分。

4.根据权利要求1所述的方法，其特征在于，所述根据所述素材图像的颜值分，对所述素材图像进行标注处理之后，还包括：

在接收到对商品素材图像的查看请求时，获取所述商品对应的所有素材图像；

根据所述商品对应的所有素材图像的颜值分，对所述商品对应的所有素材图像进行排序；

按照所述商品对应的所有素材图像的排序，控制显示装置显示所述商品对应的素材图像。

5.根据权利要求4所述的方法，其特征在于，所述根据所述商品对应的所有素材图像的颜值分，对所述商品对应的所有素材图像进行排序，包括：

获取所述商品对应的所有素材图像的用户偏好分和素材质量分；

根据所述商品对应的所有素材图像的颜值分、用户偏好分和素材质量分，计算所述商品对应的所有素材图像的综合排序分；

根据所述商品对应的所有素材图像的综合排序分，对所述商品对应的所有素材图像进行排序。

6.根据权利要求1所述的方法，其特征在于，在根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分之前，还包括：

获取所述训练集，所述训练集包括多个已标注颜值分的样本图像；

采用个所述训练集对卷积神经网络进行训练，得到所述颜值打分模型。

7.根据权利要求6所述的方法，其特征在于，所述卷积神经网络为Alex网络。

8.一种图像处理装置，其特征在于，包括：

预处理模块，用于获取待处理的素材图像；

人脸检测模块，用于检测所述素材图像中是否包括人脸区域；

所述人脸检测模块还用于若所述素材图像中包括人脸区域，确定所述素材图像中的人脸区域；

颜值打分模块，用于根据所述素材图像中的人脸区域，通过颜值打分模型计算所述素材图像的颜值分，所述颜值打分模型是使用训练集对卷积神经网络训练得到的；

标注处理模块，用于根据所述素材图像的颜值分，对所述素材图像进行标注处理。

9.根据权利要求8所述的装置，其特征在于，所述标注处理模块还用于：

若所述素材图像中不包括人脸区域，则将所述素材图像的颜值分设置为预设最低颜值分。

10.根据权利要求8或9所述的装置，其特征在于，所述颜值打分模块还用于：

根据所述颜值打分模型输入图片的预设尺寸，将所述素材图像裁剪为包括人脸区域的所述预设尺寸的图片；

将裁剪后的图片输入所述颜值打分模型，计算裁剪后的图片的颜值分；

将所述裁剪后的图片的颜值分作为所述素材图像的颜值分。

11.根据权利要求8所述的装置，其特征在于，所述装置还包括：排序展示模块，所述排序展示模块用于：

在接收到对商品素材图像的查看请求时，获取所述商品对应的所有素材图像；

根据所述商品对应的所有素材图像的颜值分，对所述商品对应的所有素材图像进行排序；

按照所述商品对应的所有素材图像的排序，控制显示装置显示所述商品对应的素材图像。

12.根据权利要求11所述的装置，其特征在于，所述排序展示模块用于：

获取所述商品对应的所有素材图像的用户偏好分和素材质量分；

根据所述商品对应的所有素材图像的颜值分、用户偏好分和素材质量分，计算所述商品对应的所有素材图像的综合排序分；

根据所述商品对应的所有素材图像的综合排序分，对所述商品对应的所有素材图像进行排序。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：模型训练模块，所述模型训练模块用于：

获取所述训练集，所述训练集包括多个已标注颜值分的样本图像；

采用个所述训练集对卷积神经网络进行训练，得到所述颜值打分模型。

14.一种图像处理设备，其特征在于，包括：

存储器，处理器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序，

所述处理器运行所述计算机程序时实现如权利要求1-7中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，存储有计算机程序，

所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images