CN108647696B - 图片颜值确定方法及装置、电子设备、存储介质 - Google Patents

图片颜值确定方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108647696B
CN108647696B CN201810433092.0A CN201810433092A CN108647696B CN 108647696 B CN108647696 B CN 108647696B CN 201810433092 A CN201810433092 A CN 201810433092A CN 108647696 B CN108647696 B CN 108647696B
Authority
CN
China
Prior art keywords
picture
color value
color
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810433092.0A
Other languages
English (en)
Other versions
CN108647696A (zh
Inventor
张乐
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201810433092.0A priority Critical patent/CN108647696B/zh
Publication of CN108647696A publication Critical patent/CN108647696A/zh
Application granted granted Critical
Publication of CN108647696B publication Critical patent/CN108647696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图片颜值确定方法，属于计算机技术领域，解决现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请实施例公开的图片颜值确定方法包括：获取当前图片的图片特征；获取图片颜值分类模型；将所述图片特征输入至所述图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值。本申请通过预先训练图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。

Description

图片颜值确定方法及装置、电子设备、存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图片颜值确定方法及装置、电子设备、存储介质。
背景技术
近年来，随着移动互联网的发展，人们越来越倾向通过电商平台订餐、预定景点门票和旅游产品等，电商平台通过图片，文字展示产品或商家的信息，图片往往是用户的关注重点，因此电商平台需要大量运营人员筛选质量较高的图片，用于承载产品或商家的视觉信息，以提升消费者的购买欲。然而，通过人工筛选颜值较高的图片，无疑会存在主观因素导致的颜值判断标准不一致，并且，效率也很低下。
发明内容
为了解决上述问题，第一方面，本申请实施例提供了一种图片颜值确定方法包括：
获取当前图片的图片特征；
获取图片颜值分类模型；
将所述图片特征输入至所述图片颜值分类模型；
根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。
第二方面，本申请实施例提供了一种图片颜值确定装置，包括：
图片特征获取模块，用于获取当前图片的图片特征；
图片颜值分类模型获取模块，用于获取图片颜值分类模型；
图片特征识别模块，用于将所述图片特征获取模块获取的所述图片特征输入至所述图片颜值分类模型；
图片颜值确定模块，用于根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征选包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。
第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的图片颜值确定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的图片颜值确定方法的步骤。
本申请实施例公开的图片颜值确定方法，通过获取当前图片的图片特征；并获取图片颜值分类模型，将所述图片特征输入至所述图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过训练的图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一的图片颜值确定方法流程图；
图2是本申请实施例二的图片颜值确定方法流程图；
图3是本申请实施例二的图片颜值确定方法中模型训练示意图；
图4是本申请实施例三的图片颜值确定装置的结构示意图之一；
图5是本申请实施例三的图片颜值确定装置的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的实施例公开的图片颜值确定方法适用于基于图片内容的轮廓、图片颜色、光照等信息确定图片颜值的应用场景，如确定风景图片的颜值、确定美食图片的颜值。本申请实施例中，以确定美食图片颜值为例，对确定图片颜值的技术方案进行详细阐述。
实施例一
本实施例公开的一种图片颜值确定方法，如图1所示，该方法包括：步骤110至步骤140。
步骤110，获取当前图片的图片特征。
本申请的实施例公开的图片颜值确定方法适用于基于图片内容的轮廓、图片颜色、光照等信息确定图片颜值的应用场景，如确定风景图片的颜值，、确定美食图片的颜值。所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。本实施例中，以确定美食图片的颜值举例详细说明确定图片颜值方法的具体技术方案。
本申请的实施例中，美食图片的颜值表现为美食图片对用户的吸引力，通常，对用户吸引力较高的美食图片，其颜值也较高。对于美食图片来说，图片中的颜色信息和内容信息都是吸引用户的重要因素，因此，本申请具体实施时，通过从美食图片的颜色信息和内容信息中提取的图片特征，确定美食图片的颜值。经过实验，图片的模糊程度对于图片颜色对用户的吸引力具有比较重要的影响，因此，本申请在具体实施时，提取的美食图片的图片特征包括但不限于以下至少两项：反映美食图片模糊程度的特征(即第一特征)、反映美食图片颜色分布的特征(即第二特征)和在不同颜色空间(如RGB颜色空间、Lab颜色空间)反映整张美食图片语义信息的图片特征(即第三特征)。
具体实施时，反映美食图片模糊程度的特征可以通过将图片灰度化后，计算灰度化后的美食图片的协方差来表示；反映美食图片颜色分布的特征可以通过计算美食图片在指定颜色空间的不同颜色通道的颜色分布直方图来表示；在不同颜色空间反映整张美食图片语义信息的图片特征可以通过预先训练的卷积神经网络模型提取的特征来表示。
在训练卷积神经网络模型时，可以将设置有用于指示图片颜值高低的样本标签的美食图片做为训练样本，进行有监督训练。所述卷积神经网络模型训练结束后，将一张美食图片输入训练好的所述卷积神经网络模型时，所述卷积神经网络模型将输出表示输入的图片的颜值分类结果，即所述输入图片作为正样本和负样本的概率值。其中，正样本表示颜值高的样本，负样本表示颜值低的样本。然后，将所述卷积神经网络模型的输出，做为输入的所述美食图片的一种语义特征。
具体实施时，通过将反映美食图片模糊程度的特征，反映美食图片颜色分布的特征和在不同颜色空间反映整张美食图片语义信息的图片特征进行组合，即可得到所述美食图片的图片特征。
步骤120，获取图片颜值分类模型。
本申请在具体实施时，首先需要训练图片颜值分类模型。具体实施时，首先收集大量美食图片，用于训练图片颜值分类模型，并通过人工标注的方法，设置美食图片的颜值标签。然后，分别提取将反映美食图片模糊程度的特征、反映美食图片颜色分布的特征、在不同颜色空间反映整张美食图片语义信息的图片特征，并将上述至少两类特征特征进行组合，即可得到用于训练图片颜值分类模型的美食图片的图片特征。最后，将设置有颜值标签的美食图片的图像特征作为训练样本，训练图片颜值分类模型。
步骤130，将所述图片特征输入至所述图片颜值分类模型。
在确定图片颜值时，将当前美食图片的图片特征输入至训练好的图片颜值分类模型，模型的输出即为当前美食图片的颜值分类结果。
具体实施时，训练颜值分类模型时，从图片样本中提取图片特征的方法，与对图片进行识别时，获取当前图片的图片特征的方法相同。
步骤140，根据所述图片颜值分类模型的输出，确定所述当前图片的颜值。
所述图片颜值分类模型的输出即为当前美食图片的颜值分类概率值，取值范围为0～1。概率值越接近于1，表示输入的图片的颜值越高；概率值越接近于0，表示输入的图片的颜值越低。通常，概率值小于0.5时，认为当前图片颜值较低，对用户不具备吸引力。
本申请实施例公开的图片颜值确定方法，通过获取当前图片的图片特征；获取图片颜值分类模型；将所述图片特征输入至所述图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过训练的图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。通过基于反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征中的至少两种特征进行图片颜值识别，从多个维度对图片进行判断，可以提升图片颜值识别的准确率。
实施例二
本实施例公开的一种图片颜值确定方法，如图2所示，该方法包括：步骤210至步骤250。
步骤210，训练第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络。
训练训练第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络的目的是为了提取图片预设颜色空间内反映图片语义信息的第三特征。具体实施时，所述图片特征包括：至少在一个颜色空间反映图片语义信息的第三特征。例如，在RGB(红、绿、蓝)颜色空间反映图片语义信息的图片特征，在Lab颜色空间反映图片语义信息的图片特征。本实施例中，以图片特征包括：在RGB颜色空间反映图片语义信息的图片特征和在Lab颜色空间反映图片语义信息的图片特征举例，详细说明第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络的具体训练方法。
首先，确定用于训练模型的图片。具体实施时，可以采集美食图片，然后，将质量较高、对用户具有较高吸引力的样本标注为正样本，将质量不高、对用户不具有较高吸引力的样本标注为负样本，即正样本为颜值高的样本，负样本为颜值低的样本。具体实施时，为了提升模型训练的准确性，可以通过对采集的美食图片进行平移和/或旋转变换，得到更多美食图片，用于作为训练模型的样本。本实施例中，将标注后用于训练第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络的样本称为第二训练样本。
然后，基于所述第二训练样本的不同颜色空间的数据，训练相应的卷积神经网络，以得到从不同维度对图片进行特征提取的多个分类网络模型。具体实施时，基于所述第二训练样本的L通道数据训练第一卷积神经网络，基于所述第二训练样本的A通道数据训练第二卷积神经网络，基于所述第二训练样本的B通道数据训练第三卷积神经网络，基于所述第二训练样本的RGB颜色空间的数据训练第四卷积神经网络。
具体实施时，首先确定每个第二训练样本的RGB数据。通常，图片为基于RGB颜色空间的图片。以第二训练样本为M*N的图片，则第二训练样本的RGB数据可以表示为一个M*N的矩阵或数组，每个矩阵或数组的元素由相应像素点的R、G、B值组成，例如表示为Value(R,G,B)。然后，将每个第二训练样本的RGB数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第四卷积神经网络。本申请具体实施时，为了提升训练效率，选择已经业界训练好的残差网络ResNet50来做网络模型参数调整，能够使模型较快收敛，得到最优参数。具体应用时，对于输入至训练好的残差网络ResNet50的图片picture1的RGB数据，可以得到该图片作为颜值高的正样本的概率，和作为颜值低的负样本的概率。然后，将残差网络ResNet50输出的输入图片picture1分别作为正样本和负样本的概率值，作为一个1*2维的特征向量，例如表示为feature14(p0,q0),作为一种类型的第三特征。feature14表达在RGB颜色空间中,从整体效果看起来输入图片是否为正样本。
Lab颜色空间基于人对颜色的感觉。Lab中的数值描述正常视力的人能够看到的所有颜色。Lab色彩模型是由亮度(L)和有关色彩饱和度的a,b三个要素组成。L表示亮度(Luminosity)，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。L的值域由0到100，L＝50时，就相当于50％的黑；a和b的值域都是由+127至-128，其中+127a就是红色，渐渐过渡到-128a的时候就变成绿色；同样原理，+127b是黄色，-128b是蓝色。所有的颜色就以这三个值交互变化所组成。例如，一块色彩的Lab值是L＝100，a＝30,b＝0,这块色彩就是粉红色。Lab颜色空间和RGB颜色空间对图片具有不同的表述能力，因此，本申请具体实施时，分别基于图片的RGB颜色空间和Lab颜色空间训练卷积神经网络，以提取不同颜色空间的图片特征。
具体实施时，首先，将第一训练样本转换到Lab颜色空间。例如将采集的RGB图片转换为Lab图片。然后，分别提取每个第一训练样本的L通道、a通道和b通道的数据，或者，将第一训练样本随机分为3组，对于每组第一训练样本，提取一个不同通道的数据。最后，将第一训练样本L通道数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第一卷积神经网络；将第一训练样本a通道数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第二卷积神经网络；将第一训练样本b通道数据和相应的样本标签作为卷积神经网络的输入，进行有监督训练，训练第三卷积神经网络。具体实施时，所述卷积神经网络可以选择残差网络ResNet50。
所述卷积神经网络通常包括：输入层、卷积层、池化层、全连接层和softmax层，具体实施时，可以通过前向传播对输入层的数据进行卷积处理，并通过softmax层的损失函数计算全连接层的输出的损失值。然后，通过反向传播，计算各层的残差，并通过梯度下降法修正各层的权值，直至模型收敛，即满足损失函数的优化目标。卷积神经网络的具体训练过程可参见现有技术，本申请不再赘述。
经过训练，将得到第一卷积神经网络、第二卷积神经网络和第三卷积神经网络。所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络的输出分别为一个1*2维的特征向量，用于表示输入图片作为颜值较高的正样本和颜值较低的负样本的概率。
步骤220，获取图片颜值分类模型。
具体实施时，所述获取图片颜值分类模型包括：获取作为第一训练样本的图片的图片特征；根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。优选的，所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和至少在一个颜色空间反映图片语义信息的第三特征。通过基于反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征中的至少两种特征进行图片颜值识别，从多个维度对图片进行判断，可以提升图片颜值识别的准确率。本实施例中，以所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和在三个颜色空间反映图片语义信息的第三特征为例，详细说明图片颜值确定方法的技术方案。
具体实施时，可采用获取第二训练样本相同的方法，获取第一训练样本。也可以将第二训练样本作为第一训练样本，并提取第一训练样本中的图片特征，用于训练片颜值分类模型。所述获取作为第一训练样本的图片的图片特征包括：通过所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络，获取作为第一训练样本的图片的第三特征。
对于第一训练样本，同样根据图片的颜值为每张样本图片设置颜值标签。然后，对于每张样本图片，分别通过已经训练好的所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络，提取每个训练样本的基于RGB颜色空间的语义特征feature14和基于Lab颜色空间的语义特征feature13。以第一训练样本picture1举例，将图片picture1的L通道数据输入至第一卷积神经网络，将得到图片picture1作为正样本和负样本的概率，例如表示为(p1,q1)，其中，p1和q1分别用于表示picture1作为正样本和负样本的概率值。同理，将图片picture1的a通道数据输入至第二卷积神经网络，将得到图片picture1作为正样本和负样本的另一组概率，例如表示为(p2,q2)；将图片picture1的b通道数据输入至第三卷积神经网络，将得到图片picture1作为正样本和负样本的另一组概率，例如表示为(p3,q3)。然后，将基于不同通道数据确定的picture1作为正样本和负样本的概率值，组合为所述图片的Lab颜色空间语义特征。例如，将图片picture1的Lab颜色空间语义特征表示为feature13((p1,q1)，(p2,q2)，(p3,q3))。将图片picture1的RGB数据输入至第四卷积神经网络，将得到图片picture1作为正样本和负样本的概率，例如表示为feature14(p0,q0)。
具体实施时，为了提升图片颜值判断的准确性，在训练图片颜值分类模型时，除了提取图片的语义特征，还要提取图片的模糊程度特征和颜色分布特征。即，图片特征还包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征。所述获取作为第一训练样本的图片的图片特征包括：获取作为第一训练样本的图片的第一特征和第二特征。
具体实施时，图片的第一特征的获取方法为：对图片进行锐化处理，确定所述图片对应的灰度图；确定所述灰度图的协方差，作为所述图片的第一特征。例如，首先，将原始图片压缩为为单通道的灰度图；然后，将压缩后得到的灰度图与拉普莱斯算子卷积运算，拉普拉斯算子通常使用[[0,1,0],[1,-4,1],[0,1,1]]，得到锐化处理后的图片；最后，计算锐化处理后的图片矩阵的协方差，将锐化后图片的协方差作为原始图片的第一特征。具体实施时，可以将图片的第一特征表示为feature1。图片的第一特征为一个数值。
具体实施时，图片的第二特征的获取方法为：分别确定图片的RGB颜色空间的颜色分布直方图；将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。例如，对于图片的R通道数据，统计不同颜色所占整个图片比例，即0-255这256个颜色值分别在图片R通道数据中所占比例，可以得到R通道的颜色分布直方图，以一个1*256维的特征向量表示。按照同样方法，分别确定图片的G通道和B通道的颜色分布直方图，即G通道对应的一个1*256维的特征向量和B通道对应的一个1*256维的特征向量。R、G、B三个颜色通道分别计算出一个分布直方图，每一个直方图都以一个1*256维的向量表示，最后，将R、G、B三个颜色通道的颜色分布直方图组合为所述图片的第二特征。具体实施时，可以将图片的第一特征表示为feature2。图片的第二特征为一个3*256维的特征向量。
最后，将图片的第一特征、第二特征和第三特征组合为所述图片的图片特征。如图3所示，对于输入图片picture1，通过预设方法分别提取输入图片picture1的第一特征feature11和第二特征feature12；通过第一卷积神经网络、第二卷积神经网络、第三卷积神经网络feature13；通过第四卷积神经网络提取部分第三特征feature14。最后，将图片的第一特征、第二特征和第三特征组合为所述图片的图片特征。例如，所述图片picture1的图片特征可以表示为picture1(feature11，feature12，feature13，feature14)。
现有技术中，通常是将一个图片的全部信息输入到单模型进行学习，以提取图片的特征，可能会导致三个通道的图片信息磨合掉或丢失，在训练集有限时，模型很难收敛。本申请通过将图片的Lab通道的数据分别输入模型进行训练，通过每个模型学习单通道的图片信息，各模型之间不会受影响，得到三个独立的特征提取模型，再进一步对三个独立模型的提取的图片特征进行融合，得到图片的最终特征。经过实验对比发现，对于图片三个通道信息单独训练模型，相比三个通道的信息共同训练一个模型，得到的图片特征用于分类或识别时，能够表现出更高的准确率。
在获取作为第一训练样本的图片的图片特征时，可以通过所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络和第四卷积神经网络，获取作为第一训练样本的图片的第三特征，所述第三特征包括基于RGB颜色空间的语义特征和基于Lab颜色空间的语义特征。还可以获取到反映图片模糊程度的第一特征和反映图片颜色分布的第二特征。然后，对于每个第一训练样本，将该样本图像的第一特征、第二特征和第三特征进行组合，即可得到所述样本图片的图片特征。例如，对于图片picture1，其图片特征可以表示为picture1(feature picture11，feature picture12，feature picture13，featurepicture14)。
然后，将第一训练样本的特征和相应的样本标签作为逻辑回归模型的输入，以训练图片颜值分类模型。具体实施时，逻辑回归模型通过最大化类标记的条件似然度来学习一个线性分类器。具体实施时，可以采用如下逻辑回归模型
Figure BDA0001653939670000111
其中，xi表示特征，wi能够有效刻画各特征的权重，所以逻辑回归模型可以针对具体的图片根据wi看出各个特征对于图片颜值的重要性为了定义这个条件概率，使用sigmoid函数将线性分类器的响应值<w,x>映射到一个概率上。sigmoid的值域为(0,1)，满足概率的要求；而且是一个单调上升函数，可将较大的<w,x>映射到较大的概率，即Probability(y＝1|x，w)。sigmoid的这些良好性质恰好能满足逻辑回归模型的需求。逻辑回归模型的具体训练方法参见现有技术，本申请实施例中不再赘述。
具体实施时，训练得到的图片颜值分类模型的输出为0至1之间的一个数值，即输入图片的颜值分类概率值，取值范围为0～1。概率值越接近于1，表示输入的图片的颜值越高；概率值越接近于0，表示输入的图片的颜值越低。通常，概率值小于0.5时，认为输入图片颜值较低，对用户不具备吸引力。
相比于深度学习的“黑盒”不可解释性，逻辑回归模型是一个解释性较强的模型，通过参数可以了解到图片哪些因素对于图片得分比较重要，也可以得到图片因为哪些因素较差而使图片得分较低。也就是说给出图片得分的同时也能给出图片得分低或高的原因，而一般的单深度学习模型解释性较差。
步骤230，获取当前图片的图片特征。
具体实施时，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。优选的，所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和至少在一个颜色空间反映图片语义信息的第三特征。因此，在对图片进行颜值判断之前，首先，按照训练图片颜值分类模型时，获取第一训练样本的图片特征相同的方法，获取当前图片的图片特征。本实施例中，以所述图片特征包括：反映图片模糊程度的第一特征，反映图片颜色分布的第二特征和在三个颜色空间反映图片语义信息的第三特征为例，具体方法如下：
所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征，包括：将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；将基于不同通道数据确定的所述正样本和负样本的概率值，组合为所述图片的Lab颜色空间语义特征；其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型。
具体实施时，所述第三特征包括：RGB颜色空间语义特征，获取所述图片特征，包括：将图片的RGB颜色空间数据输入至第四卷积神经网络，以基于RGB颜色空间确定所述图片作为正样本和负样本的概率值；将所述概率值，作为所述图片的RGB颜色空间语义特征；其中，所述第四卷积神经网络为基于作为第二训练样本的图片的RGB颜色空间数据训练得到的分类网络模型。
图片的第一特征的获取方法为：对图片进行锐化处理，确定所述图片对应的灰度图；确定所述灰度图的协方差，作为所述图片的第一特征。
图片的第二特征的获取方法为：分别确定图片的RGB颜色空间的颜色分布直方图；将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。
以当前图片为picturecur举例，获取到的当前图片的图片特征可以表示为picturecur(featurecur1，featurecur2，featurecur3，featurecur4)。由于不同的颜色通道所具有的信息是不一样的。所以可以通过训练不同的网络来提取不同的信息，以提升确定图片颜值的准确性。同时，相比于现在深度学习的end2end的训练方式，本发明采用的是针对图片不同的通道分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以解决训练样本数量有限的问题。
步骤240，将所述图片特征输入至所述图片颜值分类模型。
然后，将获取的所述当前图片的图片特征picturecur(featurecur1，featurecur2，featurecur3，featurecur4)输入至预先训练的图片颜值分类模型，如图3所示，得到所述当前图片picturecur作为高颜值图片的概率值。
步骤250，根据所述图片颜值分类模型的输出，确定所述当前图片的颜值。
所述图片颜值分类模型的输出即为当前图片的颜值分类概率值，取值范围为0～1。概率值越接近于1，表示输入的图片的颜值越高；概率值越接近于0，表示输入的图片的颜值越低。通常，概率值小于0.5时，认为当前图片颜值较低，对用户不具备吸引力。
在本申请的一些实施例中，还可以先执行所述获取当前图片的图片特征的步骤，然后，再执行所述获取图片颜值分类模型的步骤。本申请对所述获取当前图片的图片特征的步骤和所述获取图片颜值分类模型的步骤的执行顺序不做限定。
本申请实施例公开的图片颜值确定方法，通过预先训练用于提取图片不同颜色空间特征的卷积神经网络模型，以提取图片的特征，并基于预设图片特征训练图片颜值分类模型，在具体应用时，通过预先训练的卷积神经网络模型和预设算法获取当前图片的预设图片特征；将获取的所述图片特征输入至预先训练的图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过预先训练图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。
而且，相比于人脸颜值打分，考虑到人脸更注重轮廓，而菜品首先更看重的是颜色，其次才是轮廓，所以菜品颜值的计算和人脸颜值的计算的偏重点是有所不同的。本实施例所公开的算法，通过针对图片不同的通道(模糊程度、颜色分布、语义等)分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以在美食图片的颜值打分上做出更好的评价，选出那些更容易勾起用户食欲的图片。
实施例三
本实施例公开的一种菜品图片颜值确定装置，如图4所示，所述装置包括：
图片特征获取模块410，用于获取当前图片的图片特征；
图片颜值分类模型获取模块420，用于获取图片颜值分类模型；
图片特征识别模块430，用于将所述图片特征获取模块410获取的所述图片特征输入至所述图片颜值分类模型；
图片颜值确定模块440，用于根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项：反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征。可选的，如图5所示，所述图片颜值分类模型获取模块420进一步用于：
样本特征获取子模块4201，用于获取作为第一训练样本的图片的图片特征；
颜值分类模型训练子模块4202，用于根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。
可选的，所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征，包括：
将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；
将基于不同通道数据确定的所述正样本和负样本的概率值组合为所述图片的Lab颜色空间语义特征；
其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型。
可选的，所述第三特征包括：RGB颜色空间语义特征，获取所述图片特征，包括：
将图片的RGB颜色空间数据输入至第四卷积神经网络，以基于RGB颜色空间确定所述图片作为正样本和负样本的概率值；
将所述概率值作为所述图片的RGB颜色空间语义特征；
其中，所述第四卷积神经网络为基于作为第二训练样本的图片的RGB颜色空间数据训练得到的分类网络模型。
由于不同的颜色通道所具有的信息是不一样的。所以可以通过训练不同的网络来提取不同的信息，以提升确定图片颜值的准确性。同时，相比于现在深度学习的end2end的训练方式，本发明采用的是针对图片不同的通道分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以解决训练样本数量有限的问题。
具体实施时，所述图片颜值分类模型为逻辑回归模型。相比于深度学习的“黑盒”不可解释性，逻辑回归模型是一个解释性较强的模型，通过参数可以了解到图片哪些因素对于图片得分比较重要，也可以得到图片因为哪些因素较差而使图片得分较低。也就是说给出图片得分的同时也能给出图片得分低或高的原因，而一般的单深度学习模型解释性较差。
可选的，图片的第一特征的获取方法为：
对图片进行锐化处理，确定所述图片对应的灰度图；
确定所述灰度图的协方差，作为所述图片的第一特征。
可选的，图片的第二特征的获取方法为：
分别确定图片的RGB颜色空间的颜色分布直方图；
将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。
本申请实施例公开的图片颜值确定装置，通过预先训练用于提取图片不同颜色空间特征的卷积神经网络模型，以提取图片的特征，并基于预设图片特征训练图片颜值分类模型，在具体应用时，通过预先训练的卷积神经网络模型和预设算法获取当前图片的预设图片特征；将获取的所述图片特征输入至训练的图片颜值分类模型；根据所述图片颜值分类模型的输出，确定所述当前图片的颜值，解决了现有技术中通过人工方法确定图片颜值存在的不准确和效率低下的问题。本申请通过训练的图片颜值分类模型，可以自动识别图片颜值，不受主观因素影响，更准确，而且效率高。通过基于反映图片模糊程度的第一特征、反映图片颜色分布的第二特征、至少在一个颜色空间反映图片语义信息的第三特征中的至少两种特征进行图片颜值识别，从多个维度对图片进行判断，可以提升图片颜值识别的准确率。
而且，相比于人脸颜值打分，考虑到人脸更注重轮廓，而菜品首先更看重的是颜色，其次才是轮廓，所以菜品颜值的计算和人脸颜值的计算的偏重点是有所不同的。本实施例所公开的算法，通过针对图片不同的通道(模糊程度、颜色分布、语义等)分别进行训练得到多个CNN网络，之后采用逻辑回归来融合这些网络信息，可以在美食图片的颜值打分上做出更好的评价，选出那些更容易勾起用户食欲的图片。
相应的，本申请还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例一和实施例二所述的图片颜值确定方法。所述电子设备可以为PC机、移动终端、个人数字助理、平板电脑等。
本申请还公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例一和实施例二所述的图片颜值确定方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上对本申请提供的一种图片颜值确定方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

Claims (7)

1.一种图片颜值确定方法，其特征在于，包括：
获取当前图片的图片特征；
获取图片颜值分类模型；
将所述图片特征输入至所述图片颜值分类模型；
根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项为：反映图片模糊程度的第一特征和至少在一个颜色空间反映图片语义信息的第三特征、或者反映图片颜色分布的第二特征和至少在一个颜色空间反映图片语义信息的第三特征、或者反映图片模糊程度的第一特征、反映图片颜色分布的第二特征以及至少在一个颜色空间反映图片语义信息的第三特征；
所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征的步骤包括：
将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；
将基于不同通道数据确定的所述正样本和负样本的概率值组合为所述图片的Lab颜色空间语义特征；
其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型；
所述获取图片颜值分类模型的步骤包括：
获取作为第一训练样本的图片的图片特征；根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。
2.根据权利要求1所述的方法，其特征在于，所述第三特征包括：RGB颜色空间语义特征，获取所述图片特征的步骤包括：
将图片的RGB颜色空间数据输入至第四卷积神经网络，以基于RGB颜色空间确定所述图片作为正样本和负样本的概率值；
将所述概率值作为所述图片的RGB颜色空间语义特征；
其中，所述第四卷积神经网络为基于作为第二训练样本的图片的RGB颜色空间数据训练得到的分类网络模型。
3.根据权利要求1所述的方法，其特征在于，图片的第一特征的获取方法为：
对图片进行锐化处理，确定所述图片对应的灰度图；
确定所述灰度图的协方差，作为所述图片的第一特征。
4.根据权利要求1所述的方法，其特征在于，图片的第二特征的获取方法为：
分别确定图片的RGB颜色空间的颜色分布直方图；
将所述RGB颜色空间的颜色分布直方图组合为所述图片的第二特征。
5.一种图片颜值确定装置，其特征在于，包括：
图片特征获取模块，用于获取当前图片的图片特征；
图片颜值分类模型获取模块，用于获取图片颜值分类模型；
图片特征识别模块，用于将所述图片特征获取模块获取的所述图片特征输入至所述图片颜值分类模型；
图片颜值确定模块，用于根据所述图片颜值分类模型的输出，确定所述当前图片的颜值；
其中，所述图片特征包括以下至少两项为：反映图片模糊程度的第一特征和至少在一个颜色空间反映图片语义信息的第三特征、或者反映图片颜色分布的第二特征和至少在一个颜色空间反映图片语义信息的第三特征、或者反映图片模糊程度的第一特征、反映图片颜色分布的第二特征以及至少在一个颜色空间反映图片语义信息的第三特征；所述第三特征包括：Lab颜色空间语义特征，获取所述图片特征，包括：
将图片的L通道、a通道和b通道数据输入至相应的第一卷积神经网络、第二卷积神经网络和第三卷积神经网络，以分别基于所述图片的L通道、a通道和b通道数据，确定所述图片作为正样本和负样本的概率值；
将基于不同通道数据确定的所述正样本和负样本的概率值组合为所述图片的Lab颜色空间语义特征；
其中，所述第一卷积神经网络为基于作为第二训练样本的图片的L通道数据训练得到的分类网络模型，所述第二卷积神经网络为基于作为第二训练样本的图片的a通道数据训练得到的分类网络模型，所述第三卷积神经网络为基于作为第二训练样本的图片的b通道数据训练得到的分类网络模型；
所述获取图片颜值分类模型包括：获取作为第一训练样本的图片的图片特征；根据所述第一训练样本的所述图片特征，训练图片颜值分类模型。
6.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任意一项所述的图片颜值确定方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4任意一项所述的图片颜值确定方法的步骤。
CN201810433092.0A 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质 Active CN108647696B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810433092.0A CN108647696B (zh) 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810433092.0A CN108647696B (zh) 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN108647696A CN108647696A (zh) 2018-10-12
CN108647696B true CN108647696B (zh) 2021-07-23

Family

ID=63749323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810433092.0A Active CN108647696B (zh) 2018-05-08 2018-05-08 图片颜值确定方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN108647696B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414517B (zh) * 2019-04-18 2023-04-07 河北神玥软件科技股份有限公司 一种用于配合拍照场景的快速高精度身份证文本识别算法
CN110866437A (zh) * 2019-09-23 2020-03-06 平安科技（深圳）有限公司 颜值判定模型优化方法、装置、电子设备及存储介质
CN110851635A (zh) * 2019-09-30 2020-02-28 拉扎斯网络科技（上海）有限公司 图片推送方法、装置、服务器和非易失性存储介质
CN112001434A (zh) * 2020-08-14 2020-11-27 深圳世间乐见科技有限公司 一种颜值预测方法、装置、终端及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
CN107657608A (zh) * 2017-09-25 2018-02-02 北京小米移动软件有限公司 图像质量确定方法、装置及电子设备
CN107705299A (zh) * 2017-09-25 2018-02-16 安徽睿极智能科技有限公司 基于多属性特征的图像质量分类方法
CN107743225A (zh) * 2017-10-16 2018-02-27 杭州电子科技大学 一种利用多层深度表征进行无参考图像质量预测的方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9734567B2 (en) * 2015-06-24 2017-08-15 Samsung Electronics Co., Ltd. Label-free non-reference image quality assessment via deep neural network
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
US10002415B2 (en) * 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN107657608A (zh) * 2017-09-25 2018-02-02 北京小米移动软件有限公司 图像质量确定方法、装置及电子设备
CN107705299A (zh) * 2017-09-25 2018-02-16 安徽睿极智能科技有限公司 基于多属性特征的图像质量分类方法
CN107743225A (zh) * 2017-10-16 2018-02-27 杭州电子科技大学 一种利用多层深度表征进行无参考图像质量预测的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Robust No-Reference, No-Parameter, Transform Domain Image Quality Metric for Evaluating the Quality of Color Images;Karen Panetta等;《IEEE Access》;20180212;第10979-10985页 *
No reference color image contrast and quality measures;Karen Panetta等;《IEEE Transactions on Consumer Electronics 》;20131015;第643-651页 *
基于并行深度卷积神经网络的图像美感分类;王伟凝等;《自动化学报》;20160630;第42卷(第6期);第904-914页 *
颜色语义特征描述提取及其在图像分类中的应用;贾宇等;《中国图象图形学报》;20111031;第16卷(第10期);第1866-1875页 *

Also Published As

Publication number Publication date
CN108647696A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
CN108647696B (zh) 图片颜值确定方法及装置、电子设备、存储介质
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
US8692830B2 (en) Automatic avatar creation
CN110956225B (zh) 一种违禁品检测方法及系统、一种计算设备及存储介质
CN108280426B (zh) 基于迁移学习的暗光源表情识别方法及装置
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN111462162A (zh) 一种特定类别图片的前景分割算法
CN114140844A (zh) 人脸静默活体检测方法、装置、电子设备及存储介质
CN110751225A (zh) 图像分类方法、装置及存储介质
US20160140748A1 (en) Automated animation for presentation of images
CN113591850A (zh) 基于计算机视觉鲁棒性目标检测的两阶段商标检测法
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
US20220358752A1 (en) Apparatus and method for developing space analysis model based on data augmentation
CN112839167B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN114743045A (zh) 一种基于双分支区域建议网络的小样本目标检测方法
CN112233089A (zh) 一种无参考立体混合失真图像质量评价方法
Bhandari et al. Image aesthetic assessment using deep learning for automated classification of images into appealing or not-appealing
CN111062862A (zh) 基于颜色的数据增强方法和系统及计算机设备和存储介质
CN111950565B (zh) 基于特征融合和朴素贝叶斯的抽象画图像方向识别方法
CN116721306B (zh) 基于大数据云平台的线上学习内容推荐系统
JP2014067129A (ja) スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法
CN112115824B (zh) 果蔬检测方法、装置、电子设备以及计算机可读介质
CN112419177B (zh) 一种面向单幅图像去运动模糊的感知质量盲评价方法
USRE49044E1 (en) Automatic avatar creation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant