CN108647696A - 图片颜值确定方法及装置、电子设备、存储介质 - Google Patents

图片颜值确定方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108647696A
CN108647696A CN201810433092.0A CN201810433092A CN108647696A CN 108647696 A CN108647696 A CN 108647696A CN 201810433092 A CN201810433092 A CN 201810433092A CN 108647696 A CN108647696 A CN 108647696A
Authority
CN
China
Prior art keywords
picture
feature
face value
convolutional neural
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810433092.0A
Other languages
English (en)
Other versions
CN108647696B (zh
Inventor
张乐
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810433092.0A priority Critical patent/CN108647696B/zh
Publication of CN108647696A publication Critical patent/CN108647696A/zh
Application granted granted Critical
Publication of CN108647696B publication Critical patent/CN108647696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图片颜值确定方法，属于计算机技术领域，解决现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请实施例公开的图片颜值确定方法包括：获取当前图片的图片特征；获取图片颜值分类模型；将所述图片特征输入至所述图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值。本申请通过预先训练图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。

Description

图片颜值确定方法及装置、电子设备、存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图片颜值确定方法及装置、电子设备、存储介质。
背景技术
近年来，随着移动互联网的发展，人们越来越倾向通过电商平台订餐、预定景点门票和旅游产品等，电商平台通过图片，文字展示产品或商家的信息，图片往往是用户的关注重点，因此电商平台需要大量运营人员筛选质量较高的图片，用于承载产品或商家的视觉信息，以提升消费者的购买欲。然而，通过人工筛选颜值较高的图片，无疑会存在主观因素导致的颜值判断标准不一致，并且，效率也很低下。
发明内容
为了解决上述问题，第一方面，本申请实施例提供了一种图片颜值确定方法包括：
获取当前图片的图片特征；
获取图片颜值分类模型；
将所述图片特征输入至所述图片颜值分类模型；
根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。
第二方面，本申请实施例提供了一种图片颜值确定装置，包括：
图片特征获取模块，用于获取当前图片的图片特征；
图片颜值分类模型获取模块，用于获取图片颜值分类模型；
图片特征识别模块，用于将所述图片特征获取模块获取的所述图片特征输入至所述图片颜值分类模型；
图片颜值确定模块，用于根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征选包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的图片颜值确定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的图片颜值确定方法的步骤。
本申请实施例公开的图片颜值确定方法，通过获取当前图片的图片特征；并获取图片颜值分类模型，将所述图片特征输入至所述图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过训练的图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的图片颜值确定方法流程图；
图2是本申请实施例二的图片颜值确定方法流程图；
图3是本申请实施例二的图片颜值确定方法中模型训练示意图；
图4是本申请实施例三的图片颜值确定装置的结构示意图之一；
图5是本申请实施例三的图片颜值确定装置的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的实施例公开的图片颜值确定方法适用于基于图片内容的轮廓、图片颜色、光照等信息确定图片颜值的应用场景，如确定风景图片的颜值、确定美食图片的颜值。本申请实施例中，以确定美食图片颜值为例，对确定图片颜值的技术方案进行详细阐述。
实施例一
本实施例公开的一种图片颜值确定方法，如图1所示，该方法包括：步骤110至步骤140。
步骤110，获取当前图片的图片特征。
本申请的实施例公开的图片颜值确定方法适用于基于图片内容的轮廓、图片颜色、光照等信息确定图片颜值的应用场景，如确定风景图片的颜值，、确定美食图片的颜值。所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。本实施例中，以确定美食图片的颜值举例详细说明确定图片颜值方法的具体技术方案。
本申请的实施例中，美食图片的颜值表现为美食图片对用户的吸引力，通常，对用户吸引力较高的美食图片，其颜值也较高。对于美食图片来说，图片中的颜色信息和内容信息都是吸引用户的重要因素，因此，本申请具体实施时，通过从美食图片的颜色信息和内容信息中提取的图片特征，确定美食图片的颜值。经过实验，图片的模糊程度对于图片颜色对用户的吸引力具有比较重要的影响，因此，本申请在具体实施时，提取的美食图片的图片特征包括但不限于以下至少两项：反映美食图片模糊程度的特征(即第一特征)、反映美食图片颜色分布的特征(即第二特征)和在不同颜色空间(如RGB颜色空间、Lab颜色空间)反映整张美食图片语义信息的图片特征(即第三特征)。
具体实施时，反映美食图片模糊程度的特征可以通过将图片灰度化后，计算灰度化后的美食图片的协方差来表示；反映美食图片颜色分布的特征可以通过计算美食图片在指定颜色空间的不同颜色通道的颜色分布直方图来表示；在不同颜色空间反映整张美食图片语义信息的图片特征可以通过预先训练的卷积神经网络模型提取的特征来表示。
在训练卷积神经网络模型时，可以将设置有用于指示图片颜值高低的样本标签的美食图片做为训练样本，进行有监督训练。所述卷积神经网络模型训练结束后，将一张美食图片输入训练好的所述卷积神经网络模型时，所述卷积神经网络模型将输出表示输入的图片的颜值分类结果，即所述输入图片作为正样本和负样本的概率值。其中，正样本表示颜值高的样本，负样本表示颜值低的样本。然后，将所述卷积神经网络模型的输出，做为输入的所述美食图片的一种语义特征。
具体实施时，通过将反映美食图片模糊程度的特征，反映美食图片颜色分布的特征和在不同颜色空间反映整张美食图片语义信息的图片特征进行组合，即可得到所述美食图片的图片特征。
步骤120，获取图片颜值分类模型。
本申请在具体实施时，首先需要训练图片颜值分类模型。具体实施时，首先收集大量美食图片，用于训练图片颜值分类模型，并通过人工标注的方法，设置美食图片的颜值标签。然后，分别提取将反映美食图片模糊程度的特征、反映美食图片颜色分布的特征、在不同颜色空间反映整张美食图片语义信息的图片特征，并将上述至少两类特征特征进行组合，即可得到用于训练图片颜值分类模型的美食图片的图片特征。最后，将设置有颜值标签的美食图片的图像特征作为训练样本，训练图片颜值分类模型。
步骤130，将所述图片特征输入至所述图片颜值分类模型。
在确定图片颜值时，将当前美食图片的图片特征输入至训练好的图片颜值分类模型，模型的输出即为当前美食图片的颜值分类结果。
具体实施时，训练颜值分类模型时，从图片样本中提取图片特征的方法，与对图片进行识别时，获取当前图片的图片特征的方法相同。
步骤140，根据所述图片颜值分类模型的输出，确定所述当前图片的颜值。
所述图片颜值分类模型的输出即为当前美食图片的颜值分类概率值，取值范围为0～1。概率值越接近于1，表示输入的图片的颜值越高；概率值越接近于0，表示输入的图片的颜值越低。通常，概率值小于0.5时，认为当前图片颜值较低，对用户不具备吸引力。
本申请实施例公开的图片颜值确定方法，通过获取当前图片的图片特征；获取图片颜值分类模型；将所述图片特征输入至所述图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过训练的图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。通过基于反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征中的至少两种特征进行图片颜值识别，从多个维度对图片进行判断，可以提升图片颜值识别的准确率。
实施例二
本实施例公开的一种图片颜值确定方法，如图2所示，该方法包括：步骤210至步骤250。
步骤210，训练第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络。
训练训练第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络的目的是为了提取图片预设颜色空间内反映图片语义信息的第三特征。具体实施时，所述图片特征包括：至少在一个颜色空间反映图片语义信息的第三特征。例如，在RGB(红、绿、蓝)颜色空间反映图片语义信息的图片特征，在Lab颜色空间反映图片语义信息的图片特征。本实施例中，以图片特征包括：在RGB颜色空间反映图片语义信息的图片特征和在Lab颜色空间反映图片语义信息的图片特征举例，详细说明第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络的具体训练方法。
首先，确定用于训练模型的图片。具体实施时，可以采集美食图片，然后，将质量较高、对用户具有较高吸引力的样本标注为正样本，将质量不高、对用户不具有较高吸引力的样本标注为负样本，即正样本为颜值高的样本，负样本为颜值低的样本。具体实施时，为了提升模型训练的准确性，可以通过对采集的美食图片进行平移和/或旋转变换，得到更多美食图片，用于作为训练模型的样本。本实施例中，将标注后用于训练第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络的样本称为第二训练样本。
然后，基于所述第二训练样本的不同颜色空间的数据，训练相应的卷积神经网络，以得到从不同维度对图片进行特征提取的多个分类网络模型。具体实施时，基于所述第二训练样本的L通道数据训练第一卷积神经网络，基于所述第二训练样本的A通道数据训练第二卷积神经网络，基于所述第二训练样本的B通道数据训练第三卷积神经网络，基于所述第二训练样本的RGB颜色空间的数据训练第四卷积神经网络。
具体实施时，首先确定每个第二训练样本的RGB数据。通常，图片为基于RGB颜色空间的图片。以第二训练样本为M*N的图片，则第二训练样本的RGB数据可以表示为一个M*N的矩阵或数组，每个矩阵或数组的元素由相应像素点的R、G、B值组成，例如表示为Value(R,G,B)。然后，将每个第二训练样本的RGB数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第四卷积神经网络。本申请具体实施时，为了提升训练效率，选择已经业界训练好的残差网络ResNet50来做网络模型参数调整，能够使模型较快收敛，得到最优参数。具体应用时，对于输入至训练好的残差网络ResNet50的图片picture1的RGB数据，可以得到该图片作为颜值高的正样本的概率，和作为颜值低的负样本的概率。然后，将残差网络ResNet50输出的输入图片picture1分别作为正样本和负样本的概率值，作为一个1*2维的特征向量，例如表示为feature14(p0,q0),作为一种类型的第三特征。feature14表达在RGB颜色空间中,从整体效果看起来输入图片是否为正样本。
Lab颜色空间基于人对颜色的感觉。Lab中的数值描述正常视力的人能够看到的所有颜色。Lab色彩模型是由亮度(L)和有关色彩饱和度的a,b三个要素组成。L表示亮度(Luminosity)，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。L的值域由0到100，L＝50时，就相当于50％的黑；a和b的值域都是由+127至-128，其中+127a就是红色，渐渐过渡到-128a的时候就变成绿色；同样原理，+127b是黄色，-128b是蓝色。所有的颜色就以这三个值交互变化所组成。例如，一块色彩的Lab值是L＝100，a＝30,b＝0,这块色彩就是粉红色。Lab颜色空间和RGB颜色空间对图片具有不同的表述能力，因此，本申请具体实施时，分别基于图片的RGB颜色空间和Lab颜色空间训练卷积神经网络，以提取不同颜色空间的图片特征。
具体实施时，首先，将第一训练样本转换到Lab颜色空间。例如将采集的RGB图片转换为Lab图片。然后，分别提取每个第一训练样本的L通道、a通道和b通道的数据，或者，将第一训练样本随机分为3组，对于每组第一训练样本，提取一个不同通道的数据。最后，将第一训练样本L通道数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第一卷积神经网络；将第一训练样本a通道数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第二卷积神经网络；将第一训练样本b通道数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第三卷积神经网络。具体实施时，所述卷积神经网络可以选择残差网络ResNet50。
所述卷积神经网络通常包括：输入层、卷积层、池化层、全连接层和softmax层，具体实施时，可以通过前向传播对输入层的数据进行卷积处理，并通过softmax层的损失函数计算全连接层的输出的损失值。然后，通过反向传播，计算各层的残差，并通过梯度下降法修正各层的权值，直至模型收敛，即满足损失函数的优化目标。卷积神经网络的具体训练过程可参见现有技术，本申请不再赘述。
经过训练，将得到第一卷积神经网络、第二卷积神经网络和第三卷积神经网络。所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络的输出分别为一个1*2维的特征向量，用于表示输入图片作为颜值较高的正样本和颜值较低的负样本的概率。
步骤220，获取图片颜值分类模型。
具体实施时，所述获取图片颜值分类模型包括：获取作为第一训练样本的图片的图片特征；根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。优选的，所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和至少在一个颜色空间反映图片语义信息的第三特征。通过基于反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征中的至少两种特征进行图片颜值识别，从多个维度对图片进行判断，可以提升图片颜值识别的准确率。本实施例中，以所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和在三个颜色空间反映图片语义信息的第三特征为例，详细说明图片颜值确定方法的技术方案。
具体实施时，可采用获取第二训练样本相同的方法，获取第一训练样本。也可以将第二训练样本作为第一训练样本，并提取第一训练样本中的图片特征，用于训练片颜值分类模型。所述获取作为第一训练样本的图片的图片特征包括：通过所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络，获取作为第一训练样本的图片的第三特征。
对于第一训练样本，同样根据图片的颜值为每张样本图片设置颜值标签。然后，对于每张样本图片，分别通过已经训练好的所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络，提取每个训练样本的基于RGB颜色空间的语义特征feature14和基于Lab颜色空间的语义特征feature13。以第一训练样本picture1举例，将图片picture1的L通道数据输入至第一卷积神经网络，将得到图片picture1作为正样本和负样本的概率，例如表示为(p1,q1)，其中，p1和q1分别用于表示picture1作为正样本和负样本的概率值。同理，将图片picture1的a通道数据输入至第二卷积神经网络，将得到图片picture1作为正样本和负样本的另一组概率，例如表示为(p2,q2)；将图片picture1的b通道数据输入至第三卷积神经网络，将得到图片picture1作为正样本和负样本的另一组概率，例如表示为(p3,q3)。然后，将基于不同通道数据确定的picture1作为正样本和负样本的概率值，组合为所述图片的Lab颜色空间语义特征。例如，将图片picture1的Lab颜色空间语义特征表示为feature13((p1,q1)，(p2,q2)，(p3,q3))。将图片picture1的RGB数据输入至第四卷积神经网络，将得到图片picture1作为正样本和负样本的概率，例如表示为feature14(p0,q0)。
具体实施时，为了提升图片颜值判断的准确性，在训练图片颜值分类模型时，除了提取图片的语义特征，还要提取图片的模糊程度特征和颜色分布特征。即，图片特征还包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征。所述获取作为第一训练样本的图片的图片特征包括：获取作为第一训练样本的图片的第一特征和第二特征。
具体实施时，图片的第一特征的获取方法为：对图片进行锐化处理，确定所述图片对应的灰度图；确定所述灰度图的协方差，作为所述图片的第一特征。例如，首先，将原始图片压缩为为单通道的灰度图；然后，将压缩后得到的灰度图与拉普莱斯算子卷积运算，拉普拉斯算子通常使用[[0,1,0],[1,-4,1],[0,1,1]]，得到锐化处理后的图片；最后，计算锐化处理后的图片矩阵的协方差，将锐化后图片的协方差作为原始图片的第一特征。具体实施时，可以将图片的第一特征表示为feature1。图片的第一特征为一个数值。
具体实施时，图片的第二特征的获取方法为：分别确定图片的RGB颜色空间的颜色分布直方图；将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。例如，对于图片的R通道数据，统计不同颜色所占整个图片比例，即0-255这256个颜色值分别在图片R通道数据中所占比例，可以得到R通道的颜色分布直方图，以一个1*256维的特征向量表示。按照同样方法，分别确定图片的G通道和B通道的颜色分布直方图，即G通道对应的一个1*256维的特征向量和B通道对应的一个1*256维的特征向量。R、G、B三个颜色通道分别计算出一个分布直方图，每一个直方图都以一个1*256维的向量表示，最后，将R、G、B三个颜色通道的颜色分布直方图组合为所述图片的第二特征。具体实施时，可以将图片的第一特征表示为feature2。图片的第二特征为一个3*256维的特征向量。
最后，将图片的第一特征、第二特征和第三特征组合为所述图片的图片特征。如图3所示，对于输入图片picture1，通过预设方法分别提取输入图片picture1的第一特征feature11和第二特征feature12；通过第一卷积神经网络、第二卷积神经网络、第三卷积神经网络feature13；通过第四卷积神经网络提取部分第三特征feature14。最后，将图片的第一特征、第二特征和第三特征组合为所述图片的图片特征。例如，所述图片picture1的图片特征可以表示为picture1(feature11，feature12，feature13，feature14)。
现有技术中，通常是将一个图片的全部信息输入到单模型进行学习，以提取图片的特征，可能会导致三个通道的图片信息磨合掉或丢失，在训练集有限时，模型很难收敛。本申请通过将图片的Lab通道的数据分别输入模型进行训练，通过每个模型学习单通道的图片信息，各模型之间不会受影响，得到三个独立的特征提取模型，再进一步对三个独立模型的提取的图片特征进行融合，得到图片的最终特征。经过实验对比发现，对于图片三个通道信息单独训练模型，相比三个通道的信息共同训练一个模型，得到的图片特征用于分类或识别时，能够表现出更高的准确率。
在获取作为第一训练样本的图片的图片特征时，可以通过所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络，获取作为第一训练样本的图片的第三特征，所述第三特征包括基于RGB颜色空间的语义特征和基于Lab颜色空间的语义特征。还可以获取到反映图片模糊程度的第一特征和反映图片颜色分布的第二特征。然后，对于每个第一训练样本，将该样本图像的第一特征、第二特征和第三特征进行组合，即可得到所述样本图片的图片特征。例如，对于图片picture1，其图片特征可以表示为picture1(feature picture11，feature picture12，feature picture13，featurepicture14)。
然后，将第一训练样本的特征和相应的样本标签作为逻辑回归模型的输入，以训练图片颜值分类模型。具体实施时，逻辑回归模型通过最大化类标记的条件似然度来学习一个线性分类器。具体实施时，可以采用如下逻辑回归模型其中，xi表示特征，wi能够有效刻画各特征的权重，所以逻辑回归模型可以针对具体的图片根据wi看出各个特征对于图片颜值的重要性为了定义这个条件概率，使用sigmoid函数将线性分类器的响应值<w,x>映射到一个概率上。sigmoid的值域为(0,1)，满足概率的要求；而且是一个单调上升函数，可将较大的<w,x>映射到较大的概率，即Probability(y＝1|x，w)。sigmoid的这些良好性质恰好能满足逻辑回归模型的需求。逻辑回归模型的具体训练方法参见现有技术，本申请实施例中不再赘述。
具体实施时，训练得到的图片颜值分类模型的输出为0至1之间的一个数值，即输入图片的颜值分类概率值，取值范围为0～1。概率值越接近于1，表示输入的图片的颜值越高；概率值越接近于0，表示输入的图片的颜值越低。通常，概率值小于0.5时，认为输入图片颜值较低，对用户不具备吸引力。
相比于深度学习的“黑盒”不可解释性，逻辑回归模型是一个解释性较强的模型，通过参数可以了解到图片哪些因素对于图片得分比较重要，也可以得到图片因为哪些因素较差而使图片得分较低。也就是说给出图片得分的同时也能给出图片得分低或高的原因，而一般的单深度学习模型解释性较差。
步骤230，获取当前图片的图片特征。
具体实施时，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。优选的，所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和至少在一个颜色空间反映图片语义信息的第三特征。因此，在对图片进行颜值判断之前，首先，按照训练图片颜值分类模型时，获取第一训练样本的图片特征相同的方法，获取当前图片的图片特征。本实施例中，以所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和在三个颜色空间反映图片语义信息的第三特征为例，具体方法如下：
所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征，包括：将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；将基于不同通道数据确定的所述正样本和负样本的概率值，组合为所述图片的Lab颜色空间语义特征；其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型。
具体实施时，所述第三特征包括：RGB颜色空间语义特征，获取所述图片特征，包括：将图片的RGB颜色空间数据输入至第四卷积神经网络，以基于RGB颜色空间确定所述图片作为正样本和负样本的概率值；将所述概率值，作为所述图片的RGB颜色空间语义特征；其中，所述第四卷积神经网络为基于作为第二训练样本的图片的RGB颜色空间数据训练得到的分类网络模型。
图片的第一特征的获取方法为：对图片进行锐化处理，确定所述图片对应的灰度图；确定所述灰度图的协方差，作为所述图片的第一特征。
图片的第二特征的获取方法为：分别确定图片的RGB颜色空间的颜色分布直方图；将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。
以当前图片为picturecur举例，获取到的当前图片的图片特征可以表示为picturecur(featurecur1，featurecur2，featurecur3，featurecur4)。由于不同的颜色通道所具有的信息是不一样的。所以可以通过训练不同的网络来提取不同的信息，以提升确定图片颜值的准确性。同时，相比于现在深度学习的end2end的训练方式，本发明采用的是针对图片不同的通道分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以解决训练样本数量有限的问题。
步骤240，将所述图片特征输入至所述图片颜值分类模型。
然后，将获取的所述当前图片的图片特征picturecur(featurecur1，featurecur2，featurecur3，featurecur4)输入至预先训练的图片颜值分类模型，如图3所示，得到所述当前图片picturecur作为高颜值图片的概率值。
步骤250，根据所述图片颜值分类模型的输出，确定所述当前图片的颜值。
所述图片颜值分类模型的输出即为当前图片的颜值分类概率值，取值范围为0～1。概率值越接近于1，表示输入的图片的颜值越高；概率值越接近于0，表示输入的图片的颜值越低。通常，概率值小于0.5时，认为当前图片颜值较低，对用户不具备吸引力。
在本申请的一些实施例中，还可以先执行所述获取当前图片的图片特征的步骤，然后，再执行所述获取图片颜值分类模型的步骤。本申请对所述获取当前图片的图片特征的步骤和所述获取图片颜值分类模型的步骤的执行顺序不做限定。
本申请实施例公开的图片颜值确定方法，通过预先训练用于提取图片不同颜色空间特征的卷积神经网络模型，以提取图片的特征，并基于预设图片特征训练图片颜值分类模型，在具体应用时，通过预先训练的卷积神经网络模型和预设算法获取当前图片的预设图片特征；将获取的所述图片特征输入至预先训练的图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过预先训练图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。
而且，相比于人脸颜值打分，考虑到人脸更注重轮廓，而菜品首先更看重的是颜色，其次才是轮廓，所以菜品颜值的计算和人脸颜值的计算的偏重点是有所不同的。本实施例所公开的算法，通过针对图片不同的通道(模糊程度、颜色分布、语义等)分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以在美食图片的颜值打分上做出更好的评价，选出那些更容易勾起用户食欲的图片。
实施例三
本实施例公开的一种菜品图片颜值确定装置，如图4所示，所述装置包括：
图片特征获取模块410，用于获取当前图片的图片特征；
图片颜值分类模型获取模块420，用于获取图片颜值分类模型；
图片特征识别模块430，用于将所述图片特征获取模块410获取的所述图片特征输入至所述图片颜值分类模型；
图片颜值确定模块440，用于根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。可选的，如图5所示，所述图片颜值分类模型获取模块420进一步用于：
样本特征获取子模块4201，用于获取作为第一训练样本的图片的图片特征；
颜值分类模型训练子模块4202，用于根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。
可选的，所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征，包括：
将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；
将基于不同通道数据确定的所述正样本和负样本的概率值组合为所述图片的Lab颜色空间语义特征；
其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型。
可选的，所述第三特征包括：RGB颜色空间语义特征，获取所述图片特征，包括：
将图片的RGB颜色空间数据输入至第四卷积神经网络，以基于RGB颜色空间确定所述图片作为正样本和负样本的概率值；
将所述概率值作为所述图片的RGB颜色空间语义特征；
其中，所述第四卷积神经网络为基于作为第二训练样本的图片的RGB颜色空间数据训练得到的分类网络模型。
由于不同的颜色通道所具有的信息是不一样的。所以可以通过训练不同的网络来提取不同的信息，以提升确定图片颜值的准确性。同时，相比于现在深度学习的end2end的训练方式，本发明采用的是针对图片不同的通道分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以解决训练样本数量有限的问题。
具体实施时，所述图片颜值分类模型为逻辑回归模型。相比于深度学习的“黑盒”不可解释性，逻辑回归模型是一个解释性较强的模型，通过参数可以了解到图片哪些因素对于图片得分比较重要，也可以得到图片因为哪些因素较差而使图片得分较低。也就是说给出图片得分的同时也能给出图片得分低或高的原因，而一般的单深度学习模型解释性较差。
可选的，图片的第一特征的获取方法为：
对图片进行锐化处理，确定所述图片对应的灰度图；
确定所述灰度图的协方差，作为所述图片的第一特征。
可选的，图片的第二特征的获取方法为：
分别确定图片的RGB颜色空间的颜色分布直方图；
将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。
本申请实施例公开的图片颜值确定装置，通过预先训练用于提取图片不同颜色空间特征的卷积神经网络模型，以提取图片的特征，并基于预设图片特征训练图片颜值分类模型，在具体应用时，通过预先训练的卷积神经网络模型和预设算法获取当前图片的预设图片特征；将获取的所述图片特征输入至训练的图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过训练的图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。通过基于反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征中的至少两种特征进行图片颜值识别，从多个维度对图片进行判断，可以提升图片颜值识别的准确率。
而且，相比于人脸颜值打分，考虑到人脸更注重轮廓，而菜品首先更看重的是颜色，其次才是轮廓，所以菜品颜值的计算和人脸颜值的计算的偏重点是有所不同的。本实施例所公开的算法，通过针对图片不同的通道(模糊程度、颜色分布、语义等)分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以在美食图片的颜值打分上做出更好的评价，选出那些更容易勾起用户食欲的图片。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一和实施例二所述的图片颜值确定方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一和实施例二所述的图片颜值确定方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种图片颜值确定方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (10)

1.一种图片颜值确定方法，其特征在于，包括：
获取当前图片的图片特征；
获取图片颜值分类模型；
将所述图片特征输入至所述图片颜值分类模型；
根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。
2.根据权利要求1所述的方法，其特征在于，所述获取图片颜值分类模型的步骤包括：
获取作为第一训练样本的图片的图片特征；
根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。
3.根据权利要求1或2所述的方法，其特征在于，所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征的步骤包括：
将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；
将基于不同通道数据确定的所述正样本和负样本的概率值组合为所述图片的Lab颜色空间语义特征；
其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型。
4.根据权利要求1或2所述的方法，其特征在于，所述第三特征包括：RGB颜色空间语义特征，获取所述图片特征的步骤包括：
将图片的RGB颜色空间数据输入至第四卷积神经网络，以基于RGB颜色空间确定所述图片作为正样本和负样本的概率值；
将所述概率值作为所述图片的RGB颜色空间语义特征；
其中，所述第四卷积神经网络为基于作为第二训练样本的图片的RGB颜色空间数据训练得到的分类网络模型。
5.根据权利要求1或2所述的方法，其特征在于，图片的第一特征的获取方法为：
对图片进行锐化处理，确定所述图片对应的灰度图；
确定所述灰度图的协方差，作为所述图片的第一特征。
6.根据权利要求1或2所述的方法，其特征在于，图片的第二特征的获取方法为：
分别确定图片的RGB颜色空间的颜色分布直方图；
将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。
7.一种图片颜值确定装置，其特征在于，包括：
图片特征获取模块，用于获取当前图片的图片特征；
图片颜值分类模型获取模块，用于获取图片颜值分类模型；
图片特征识别模块，用于将所述图片特征获取模块获取的所述图片特征输入至所述图片颜值分类模型；
图片颜值确定模块，用于根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。
8.根据权利要求7所述的装置，其特征在于，所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征，包括：
将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；
将基于不同通道数据确定的所述正样本和负样本的概率值组合为所述图片的Lab颜色空间语义特征；
其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任意一项所述的图片颜值确定方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6任意一项所述的图片颜值确定方法的步骤。
CN201810433092.0A 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质 Active CN108647696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810433092.0A CN108647696B (zh) 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810433092.0A CN108647696B (zh) 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN108647696A true CN108647696A (zh) 2018-10-12
CN108647696B CN108647696B (zh) 2021-07-23

Family

ID=63749323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810433092.0A Active CN108647696B (zh) 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN108647696B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414517A (zh) * 2019-04-18 2019-11-05 河北神玥软件科技股份有限公司 一种用于配合拍照场景的快速高精度身份证文本识别算法
CN110851635A (zh) * 2019-09-30 2020-02-28 拉扎斯网络科技（上海）有限公司 图片推送方法、装置、服务器和非易失性存储介质
CN112001434A (zh) * 2020-08-14 2020-11-27 深圳世间乐见科技有限公司 一种颜值预测方法、装置、终端及介质
WO2021057062A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 颜值判定模型优化方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
CN107657608A (zh) * 2017-09-25 2018-02-02 北京小米移动软件有限公司 图像质量确定方法、装置及电子设备
CN107705299A (zh) * 2017-09-25 2018-02-16 安徽睿极智能科技有限公司 基于多属性特征的图像质量分类方法
CN107743225A (zh) * 2017-10-16 2018-02-27 杭州电子科技大学 一种利用多层深度表征进行无参考图像质量预测的方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN107657608A (zh) * 2017-09-25 2018-02-02 北京小米移动软件有限公司 图像质量确定方法、装置及电子设备
CN107705299A (zh) * 2017-09-25 2018-02-16 安徽睿极智能科技有限公司 基于多属性特征的图像质量分类方法
CN107743225A (zh) * 2017-10-16 2018-02-27 杭州电子科技大学 一种利用多层深度表征进行无参考图像质量预测的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAREN PANETTA等: "A Robust No-Reference, No-Parameter, Transform Domain Image Quality Metric for Evaluating the Quality of Color Images", 《IEEE ACCESS》 *
KAREN PANETTA等: "No reference color image contrast and quality measures", 《IEEE TRANSACTIONS ON CONSUMER ELECTRONICS 》 *
王伟凝等: "基于并行深度卷积神经网络的图像美感分类", 《自动化学报》 *
贾宇等: "颜色语义特征描述提取及其在图像分类中的应用", 《中国图象图形学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414517A (zh) * 2019-04-18 2019-11-05 河北神玥软件科技股份有限公司 一种用于配合拍照场景的快速高精度身份证文本识别算法
WO2021057062A1 (zh) * 2019-09-23 2021-04-01 平安科技（深圳）有限公司 颜值判定模型优化方法、装置、电子设备及存储介质
CN110851635A (zh) * 2019-09-30 2020-02-28 拉扎斯网络科技（上海）有限公司 图片推送方法、装置、服务器和非易失性存储介质
CN112001434A (zh) * 2020-08-14 2020-11-27 深圳世间乐见科技有限公司 一种颜值预测方法、装置、终端及介质

Also Published As

Publication number Publication date
CN108647696B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN108647696A (zh) 图片颜值确定方法及装置、电子设备、存储介质
KR102102161B1 (ko) 이미지 내 객체의 대표 특성을 추출하는 방법, 장치 및 컴퓨터 프로그램
CN106201535B (zh) 工具栏背景颜色随着图片的主颜色而变换的方法和装置
CN109858466A (zh) 一种基于卷积神经网络的人脸关键点检测方法及装置
CN106504064A (zh) 基于深度卷积神经网络的服装分类与搭配推荐方法及系统
CN104636759B (zh) 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统
CN110377860B (zh) 一种页面颜色调整方法、装置及电子设备
CN106503693A (zh) 视频封面的提供方法及装置
CN107742107A (zh) 人脸图像分类方法、装置及服务器
CN107316066A (zh) 基于多通路卷积神经网络的图像分类方法及系统
CN106951869B (zh) 一种活体验证方法及设备
CN108305240A (zh) 图像质量检测方法及装置
CN107785061A (zh) 孤独症谱系障碍儿童情绪能力干预系统
CN107292307A (zh) 一种倒置汉字验证码自动识别方法及系统
CN107516103A (zh) 一种影像分类方法和系统
CN105718932A (zh) 一种基于果蝇优化算法和光滑孪生支持向量机的彩色图像分类方法与系统
CN107958219A (zh) 基于多模型和多尺度特征的图像场景分类方法
CN110503140A (zh) 基于深度迁移学习与邻域降噪的分类方法
CN109993187A (zh) 一种用于识别物体类别的建模方法、机器人及存储装置
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN109508640A (zh) 一种人群情感分析方法、装置和存储介质
CN106485266A (zh) 一种基于提取颜色特征的古代壁画分类识别方法
CN109213886A (zh) 基于图像分割和模糊模式识别的图像检索方法及系统
JP2006031688A (ja) 画像加工装置、画像加工方法及び画像加工プログラム
CN112819017B (zh) 基于直方图的高精度色偏图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant