CN111797258A - 基于美感评价的图像推送方法、系统、设备及存储介质 - Google Patents

基于美感评价的图像推送方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN111797258A
CN111797258A CN202010661278.9A CN202010661278A CN111797258A CN 111797258 A CN111797258 A CN 111797258A CN 202010661278 A CN202010661278 A CN 202010661278A CN 111797258 A CN111797258 A CN 111797258A
Authority
CN
China
Prior art keywords
image
evaluation
images
pushed
aesthetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010661278.9A
Other languages
English (en)
Other versions
CN111797258B (zh
Inventor
彭佳慧
罗超
成丹妮
吉聪睿
李巍
胡泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Computer Technology Shanghai Co Ltd
Original Assignee
Ctrip Computer Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Computer Technology Shanghai Co Ltd filed Critical Ctrip Computer Technology Shanghai Co Ltd
Priority to CN202010661278.9A priority Critical patent/CN111797258B/zh
Publication of CN111797258A publication Critical patent/CN111797258A/zh
Application granted granted Critical
Publication of CN111797258B publication Critical patent/CN111797258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/14—Travel agencies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Development Economics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于美感评价的图像推送方法、系统、设备及存储介质，该方法包括：采集线上图像，加入训练集；基于所述训练集训练基于深度学习构建的图像美感评价模型；将待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端。本发明基于深度学习构建图像美感评价模型，对图像进行更准确的评价和排序，从而在推送图像时提供更合理的图像展示方式。

Description

基于美感评价的图像推送方法、系统、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于美感评价的图像推送方法、系统、设备及存储介质。
背景技术
当前旅游业中，由于互联网的兴起，逐渐转为线上模式，酒店图像是用户了解酒店的重要途径。由于信息繁多，用户花在酒店浏览的时间较少，酒店如何在短时间内吸引到用户成为挑战。当前使用旧版评价值对酒店上传的图像进行排序，并挑选分数较高的图像作为首图，展示在酒店首页，但是随着图像越来越多，越来越繁杂，越来越多的质量较低的图像得到较高的分数，排在了展示图像前侧，旧版评价值已经不能满足当前需求，如何只能选择更优质的图像，更好的展示酒店，改善用户体验，成为急需解决的问题。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种基于美感评价的图像推送方法、系统、设备及存储介质，基于深度学习构建图像美感评价模型，对图像进行更准确的评价和排序，从而在推送图像时提供更合理的图像展示方式。
本发明实施例提供一种基于美感评价的图像推送方法，包括如下步骤：
采集线上图像，加入训练集；
基于所述训练集训练基于深度学习构建的图像美感评价模型；
将待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；
根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端。
可选地，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值，包括如下步骤：
获取所述图像美感评价模型输出的所述待推送的图像落在各个评价分数段的概率；
将各个评价分数段的基准分值与对应于各个评价分数段的概率分别相乘后累加，得到所述待推送的图像的评价值。
可选地，所述基于美感评价的图像推送方法还包括如下步骤：
获取已推送图像采用所述图像美感评价模型预测的评价值和人工反馈评价值；
根据所述图像美感评价模型预测的评价值和人工反馈评价值构建损失函数，采用所述损失函数优化所述图像美感评价模型。
可选地，基于所述训练集训练基于深度学习构建的图像美感评价模型，包括如下步骤：
基于数据集places365的权重文件构建基于深度学习的图像美感评价模型；
将所述线上图像输入所述图像美感评价模型中，根据所述图像美感评价模型的输出得到所述线上图像的预测评价值；
获取所述线上图像的实际评价值，根据所述实际评价值和所述预测评价值构建损失函数，根据所述损失函数训练所述图像美感评价模型。
可选地，所述采集线上图像，加入训练集，包括获取所述线上图像的实际评价值并对所述训练集中的图像进行标记；
获取所述线上图像的实际评价值，包括获取所述线上图像的多个评价类别的实际评价分数，根据各个评价类别的权重将各个评价类别的实际评价分数进行加权求和，得到所述线上图像的实际评价值。
可选地，所述基于美感评价的图像推送方法还包括如下步骤：
从所述训练集中选择至少一实际评价值最高的图像作为初始调节图像，加入调节图像集；
将所述初始调节图像依次进行各个评价类别对应的随机变化，得到每个评价类别所对应的多张调整后的调节图像，加入调节图像集；
获取每个评价类别的多张调整后的调节图像的评价值；
计算每个评价类别的多张调整后的调节图像的评价值与初始调节图像的评价值之间的差值；
根据每个评价类别所对应的差值确定每个评价类别的权重，所述评价类别所对应的差值越大，所对应的权重越大。
可选地，所述根据每个评价类别所对应的差值确定每个评价类别的权重，包括根据如下公式计算得到每个评价类别的权重：
Figure BDA0002578646020000031
其中，xi为第i个评价类别的权重，n为评价类别的数量，ai为第i个评价类别的m张调整后的调节图像的评价值与初始调节图像的评价值之间的差值。
可选地，所述评价类别包括光照、清晰度和构图；
将所述初始调节图像依次进行各个评价类别对应的随机变化，得到每个评价类别所对应的多张调整后的调节图像，包括如下步骤：
将所述初始调节图像的光照强度进行随机变化，得到m张调整光照强度后的调节图像，m为大于等于2的整数；
将所述初始调节图像的清晰度进行随机变化，得到m张调整清晰度后的调节图像；
将所述初始调节图像随机截取m个不同位置的图像区域，将每个图像区域作为一调整构图后的调节图像。
可选地，所述获取每个评价类别的多张调整后的调节图像的评价值，包括如下步骤：
将所述调节图像集推送至接受测试的用户终端，获取所述接受测试的用户终端返回的各个调节图像的评分值。
可选地，所述基于美感评价的图像推送方法还包括如下步骤：
获取用户对已推送图像的操作数据，统计预设时间段内同一酒店的各个已推送图像的被选次数；
根据所述被选次数对同一酒店的各个已推送图像进行排序，按照预设的被选次数序列号与推荐度值的映射关系，确定各个已推送图像的推荐度值；
根据所述已推送图像的推荐度值和同一图像通过所述图像美感评价模型预测得到的评价值构建损失函数；
根据所述损失函数优化所述图像美感评价模型。
本发明实施例还提供一种基于美感评价的图像推送系统，用于实现所述的基于美感评价的图像推送方法，所述系统包括：
图像采集模块，用于采集线上图像，加入训练集；
模型训练模块，用于基于所述训练集训练基于深度学习构建的图像美感评价模型；
图像评价模块，用于将所述待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；
图像推送模块，用于根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端。
本发明实施例还提供一种基于美感评价的图像推送设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的基于美感评价的图像推送方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的基于美感评价的图像推送方法的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本发明的基于美感评价的图像推送方法、系统、设备及存储介质具有如下有益效果：
本发明基于深度学习构建图像美感评价模型，能够多角度挖掘图像的信息，并基于挖掘到的信息对图像进行美感评价，实现了对图像进行更准确的评价和排序，从而在推送图像时提供更合理的图像展示方式，在应用于酒店图片推送场景时，对于用户来说，首先看到的是美感评价值更高的图像，从而可以帮助酒店吸引更多用户，也提升了用户的使用体验。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的基于美感评价的图像推送方法的流程图；
图2是本发明一实施例的确定待推送的图像的评价值的流程图；
图3是本发明一实施例的训练图像美感评价模型的流程图；
图4是本发明一实施例的基于美感评价的图像推送系统的结构示意图；
图5是本发明一实施例的基于美感评价的图像推送设备的结构示意图；
图6是本发明一实施例的计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
如图1所示，本发明实施例提供一种基于美感评价的图像推送方法，包括如下步骤：
S100：采集线上图像，加入训练集；
S200：基于所述训练集训练基于深度学习构建的图像美感评价模型；
S300：将待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；
S400：根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端，例如，可以按照评价值从高到低对待推送图像进行排序，优先推荐排序高的图像。此处用户终端是指用户查看相关图像所使用的终端设备，包括但不限于手机、平板电脑、笔记本电脑等。
本发明首先通过步骤S100采集现有的线上图像作为训练样本，并通过步骤S200基于深度学习构建图像美感评价模型，能够多角度挖掘图像的信息，通过步骤S300将待推送的图像输入到图像美感评价模型中，基于模型对图像进行特征提取，基于提取到的特征对图像进行美感评价，实现了对图像进行更准确的评价和排序，从而在通过步骤S400推送图像时提供更合理的图像展示方式。
在应用于酒店图片推送场景时，首先通过步骤S100，可以采集线上酒店图像，可以包括房间、外观、餐厅等图像，在用户通过用户终端查看酒店图像时，对酒店图像按照评价值进行了排序，对于用户来说，首先看到的是美感评价值更高的图像，从而可以帮助酒店吸引更多用户，也提升了用户的使用体验。
在该实施例中，所述图像美感评价模型可以采用卷积神经网络模型对所述待推送的图像进行评价，所述模型例如可以采用残差模型(ResNet)，例如ResNet50，该ResNet50模型采用四层block，对每一层的block输出进行特征提取，结合深层次和浅层次特征，高层次特征具有更强的表达能力，但对较小的物体不太友好，浅层次特征很好地弥补了这一缺陷。多尺度的特征提取融合适应了对不同大小物体的学习。然后将不同block抽取的特征进行融合，存取在本地。最后，在训练阶段，对每个图像抽取出的特征进行训练，训练网络为多个全连接层，将训练网络转化为分类问题，即所述图像美感评价模型输出的是图像落入到各个评价分数段的概率。
具体地，如图2所示，所述步骤S300：根据所述图像美感评价模型的输出确定所述待推送的图像的评价值，包括如下步骤：
S310：获取所述图像美感评价模型输出的所述待推送的图像落在各个评价分数段的概率；
S320：将各个评价分数段的基准分值与对应于各个评价分数段的概率分别相乘后累加，得到所述待推送的图像的评价值。
例如，将评价值划分为h个分段，第i个分数段的基准分值为si，分别获取一张待推送的图像落入到第i个分数段的概率pi，则可以得到该图像的评价值score为：
Figure BDA0002578646020000071
例如，在一实例中，将评价值划分为0-9共10个类别，该10个类别的基准分值分别为0-9。则一张图片的评价值score可以为：
Figure BDA0002578646020000072
在该实施例中，所述基于美感评价的图像推送方法还包括如下步骤：
获取已推送图像采用所述图像美感评价模型预测的评价值和人工反馈评价值；
根据所述图像美感评价模型预测的评价值和人工反馈评价值构建损失函数，采用所述损失函数优化所述图像美感评价模型。
因此，本发明可以进一步不断收集产品人员的反馈结果，根据反馈结果中的人工反馈评价值对所述图像美感评价模型的模型参数进一步进行优化，得到可以更准确预测图像评价值的模型。
如图3所示，在该实施例中，所述步骤S200：基于所述训练集训练基于深度学习构建的图像美感评价模型，包括如下步骤：
S210：基于数据集places365的权重文件构建基于深度学习的图像美感评价模型；数据集places365的涵盖了365种图像场景，同时还提供了多种网络架构的预训练模型，本发明直接采用数据集places365的权重文件，可以大大节省模型构建的时间；
S220：将所述线上图像输入所述图像美感评价模型中，根据所述图像美感评价模型的输出得到所述线上图像的预测评价值；
S230：获取所述线上图像的实际评价值，根据所述实际评价值和所述预测评价值构建损失函数，根据所述损失函数迭代训练所述图像美感评价模型，对所述图像美感评价模型的参数进行优化，至所述损失函数的值小于预设损失阈值即所述模型收敛为止，所述损失函数可以采用例如EMD损失函数或softmax损失函数等。
在该实施例中，所述步骤S100：采集线上图像，加入训练集，包括获取所述线上图像的实际评价值并采用该实际评价值对所述训练集中的图像进行标记。所述实际评价值可以综合考虑图像的艺术感、明暗、构图、清晰度等多个维度，对同一张图像可以多个人进行打分，根据多人打分确定最终实际评价值，保持打分结果一致，审美稳定。
获取所述线上图像的实际评价值，包括获取所述线上图像的多个评价类别的实际评价分数，根据各个评价类别的权重将各个评价类别的实际评价分数进行加权求和，得到所述线上图像的实际评价值。
例如，所述评价类别可以包括光照、清晰度和构图等类别，每个评价类别所对应的权重分别为x1、x2和x3。在对所述线上图像进行打分时，要求打分人员分别对每个评价类别打分得到实际评价分数为t1、t2、t3，则最终的线上图像的实际评价值为x1*t1+x2*t2+x3*t3。
在该实施例中，所述基于美感评价的图像推送方法还包括对各个评价类别的权重进行确定的步骤，具体地，采用如下步骤确定各个评价类别的权重：
从所述训练集中选择至少一实际评价值最高的图像作为初始调节图像，加入调节图像集，即该初始调节图像作为基准图像；
将所述初始调节图像依次进行各个评价类别对应的随机变化，得到每个评价类别所对应的多张调整后的调节图像，加入调节图像集；
获取每个评价类别的多张调整后的调节图像的评价值；
计算每个评价类别的多张调整后的调节图像的评价值与初始调节图像的评价值之间的差值；
根据每个评价类别所对应的差值确定每个评价类别的权重，所述评价类别所对应的差值越大，表明用户对于该评价类别的因素的变化越敏感，该评价类别的因素的变化对图像美感的影响也就越大，因此该评价类别所对应的权重越大。
在该实施例中，所述根据每个评价类别所对应的差值确定每个评价类别的权重，包括根据如下公式计算得到每个评价类别的权重：
Figure BDA0002578646020000091
其中，xi为第i个评价类别的权重，n为评价类别的数量，ai为第i个评价类别的m张调整后的调节图像的评价值与初始调节图像的评价值之间的差值，且所有评价类别的权重满足
Figure BDA0002578646020000092
在计算ai时，可以将第i个评价类别的m张调整后的调节图像的评价值分别与初始调节图像的评价值计算差值，得到m个差值，然后将m个差值求和，作为ai的值。例如，第1个评价类别对应10张调整后的调节图像，则分别计算第1张到第10张调整后的调节图像与初始调节图像的差值，得到10个差值，然后将10个差值求和，得到a1的值。
在该实施例中，所述评价类别可以包括但不限于光照、清晰度和构图。
在确定每个评价类别的权重时，将所述初始调节图像依次进行各个评价类别对应的随机变化，得到每个评价类别所对应的多张调整后的调节图像，包括如下步骤：
将所述初始调节图像的光照强度进行随机变化，例如调高亮度、调低亮度等，得到m张调整光照强度后的调节图像，m为大于等于2的整数；
将所述初始调节图像的清晰度进行随机变化，例如对图像采用不同的百分比进行压缩，降低清晰度，得到m张调整清晰度后的调节图像；
将所述初始调节图像随机截取m个不同位置的图像区域，将每个图像区域作为一调整构图后的调节图像。
对于光照评价类别的调整后的调节图像来说，其清晰度以及构图与初始调节图像是一致的，对于清晰度评价类别的调整后的调节图像来说，其清晰度以及光照强度与初始调节图像是一致的，对于构图评价类别的调整后的调节图像来说，其光照强度以及清晰度与初始调节图像是一致的。即每个调整后的调节图像都是单因素变化。
在该实施例中，所述获取每个评价类别的多张调整后的调节图像的评价值，包括如下步骤：
将所述调节图像集推送至接受测试的用户终端，获取所述接受测试的用户终端返回的各个调节图像的评分值。此处，接受测试的用户终端即预先约定好接受图像美感测试的用户使用的用户终端，也可以是工作人员，其同意接受调整后的调节图像，并且对调整后的调节图像进行评分，以辅助本发明美感评价模型的构建。在实践中，可以通过给接受测试的用户终端发放积分等虚拟或实体奖励的方式来鼓励更多的用户参与到美感测试中来。
因此，该实施例可以自动获取测试用户终端的评价值，并自动分析确定每个评价类别对于美感的影响权重，根据权重来确定图像的实际评价值，即人工评价值，从而获得更加符合用户审美的评价方式，在后续基于此实际评价值训练图像美感评价模型时，也可以获得更加准确预测评价值的模型，从而可以实现待推送图像的准确排序和推送，进一步提高用户的使用体验。
在该实施例中，所述基于美感评价的图像推送方法还包括如下步骤：
获取用户对已推送图像的操作数据，统计预设时间段内同一酒店的各个已推送图像的被选次数，此处操作数据可以包括多个操作类别，具体地，操作类别可以包括用户点击查看所述已推送图像、用户分享图像到社交软件、用户保存图像等等，可以将不同的操作类别算作不同的被选次数，例如，用户点击查看一个已推送图像，则该已推送图像的被选次数加1，用户分享图像到社交软件，则该已推送图像的被选次数加1.2，用户保存图像，则该已推送图像的被选次数加1.5等等；
根据所述被选次数对同一酒店的各个已推送图像进行排序，按照预设的被选次数序列号与推荐度值的映射关系，确定各个已推送图像的推荐度值；
在所述已推送图像按照被选次数从高到低进行排序时，被选次数序列号越靠前，则说明该已推送图像越受欢迎，该已推送图像的推荐度值越高。
根据所述已推送图像的推荐度值和同一图像通过所述图像美感评价模型预测得到的评价值构建损失函数，此处损失函数可以与模型训练时采用的损失函数相同；
根据所述损失函数优化所述图像美感评价模型，得到更优的网络美感评价模型。
因此，本发明可以进一步地根据图像推送之后，获取用户对推送图像的操作数据，根据用户的操作数据确定已推送图像的推荐度值，将该推荐度值作为反馈信息，进一步优化所述图像美感评价模型，得到更符合用户群体审美的评价体系。
如图4所示，本发明实施例还提供一种基于美感评价的图像推送系统，用于实现所述的基于美感评价的图像推送方法，所述系统包括：
图像采集模块M100，用于采集线上图像，加入训练集；
模型训练模块M200，用于基于所述训练集训练基于深度学习构建的图像美感评价模型；
图像评价模块M300，用于将所述待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；
图像推送模块M400，用于根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端。
本发明首先通过图像采集模块M100采集现有的线上图像作为训练样本，并通过模型训练模块M200基于深度学习构建图像美感评价模型，能够多角度挖掘图像的信息，通过图像评价模块M300将待推送的图像输入到图像美感评价模型中，基于模型对图像进行特征提取，基于提取到的特征对图像进行美感评价，实现了对图像进行更准确的评价和排序，从而在通过图像推送模块M400推送图像时提供更合理的图像展示方式。
本发明的基于美感评价的图像推送系统中，各个模块的功能可以采用如上所述的基于美感评价的图像推送方法的具体实施方式来实现，此处不予赘述。例如，图像采集模块M100可以采用步骤S100的具体实施方式来采集训练样本图像，模型训练模块M200可以采用步骤S200的具体实施方式来训练图像美感评价模型，图像评价模块M300可以采用步骤S300的具体实施方式来对待推送图像进行美感评价，图像推送模块M400可以采用步骤S400的具体实施方式推送图像。
本发明实施例还提供一种基于美感评价的图像推送设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的基于美感评价的图像推送方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述基于美感评价的图像推送方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的基于美感评价的图像推送方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上执行时，所述程序代码用于使所述终端设备执行本说明书上述基于美感评价的图像推送方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上执行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，通过采用本发明的基于美感评价的图像推送方法、系统、设备及存储介质，能够多角度挖掘图像的信息，并基于挖掘到的信息对图像进行美感评价，实现了对图像进行更准确的评价和排序，从而在推送图像时提供更合理的图像展示方式，在应用于酒店图片推送场景时，对于用户来说，首先看到的是美感评价值更高的图像，从而可以帮助酒店吸引更多用户，也提升了用户的使用体验。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (13)

1.一种基于美感评价的图像推送方法，其特征在于，包括如下步骤：
采集线上图像，加入训练集；
基于所述训练集训练基于深度学习构建的图像美感评价模型；
将待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；
根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端。
2.根据权利要求1所述的基于美感评价的图像推送方法，其特征在于，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值，包括如下步骤：
获取所述图像美感评价模型输出的所述待推送的图像落在各个评价分数段的概率；
将各个评价分数段的基准分值与对应于各个评价分数段的概率分别相乘后累加，得到所述待推送的图像的评价值。
3.根据权利要求1所述的基于美感评价的图像推送方法，其特征在于，还包括如下步骤：
获取已推送图像采用所述图像美感评价模型预测的评价值和人工反馈评价值；
根据所述图像美感评价模型预测的评价值和人工反馈评价值构建损失函数，采用所述损失函数优化所述图像美感评价模型。
4.根据权利要求1所述的基于美感评价的图像推送方法，其特征在于，基于所述训练集训练基于深度学习构建的图像美感评价模型，包括如下步骤：
基于数据集places365的权重文件构建基于深度学习的图像美感评价模型；
将所述线上图像输入所述图像美感评价模型中，根据所述图像美感评价模型的输出得到所述线上图像的预测评价值；
获取所述线上图像的实际评价值，根据所述实际评价值和所述预测评价值构建损失函数，根据所述损失函数训练所述图像美感评价模型。
5.根据权利要求1所述的基于美感评价的图像推送方法，其特征在于，所述采集线上图像，加入训练集，包括获取所述线上图像的实际评价值并对所述训练集中的图像进行标记；
获取所述线上图像的实际评价值，包括获取所述线上图像的多个评价类别的实际评价分数，根据各个评价类别的权重将各个评价类别的实际评价分数进行加权求和，得到所述线上图像的实际评价值。
6.根据权利要求5所述的基于美感评价的图像推送方法，其特征在于，所述方法还包括如下步骤：
从所述训练集中选择至少一实际评价值最高的图像作为初始调节图像，加入调节图像集；
将所述初始调节图像依次进行各个评价类别对应的随机变化，得到每个评价类别所对应的多张调整后的调节图像，加入调节图像集；
获取每个评价类别的多张调整后的调节图像的评价值；
计算每个评价类别的多张调整后的调节图像的评价值与初始调节图像的评价值之间的差值；
根据每个评价类别所对应的差值确定每个评价类别的权重。
7.根据权利要求6所述的基于美感评价的图像推送方法，其特征在于，所述根据每个评价类别所对应的差值确定每个评价类别的权重，包括根据如下公式计算得到每个评价类别的权重：
Figure FDA0002578646010000021
其中，xi为第i个评价类别的权重，n为评价类别的数量，ai为第i个评价类别的m张调整后的调节图像的评价值与初始调节图像的评价值之间的差值，所述评价类别所对应的差值越大，所对应的权重越大。
8.根据权利要求6所述的基于美感评价的图像推送方法，其特征在于，所述评价类别包括光照、清晰度和构图；
将所述初始调节图像依次进行各个评价类别对应的随机变化，得到每个评价类别所对应的多张调整后的调节图像，包括如下步骤：
将所述初始调节图像的光照强度进行随机变化，得到m张调整光照强度后的调节图像，m为大于等于2的整数；
将所述初始调节图像的清晰度进行随机变化，得到m张调整清晰度后的调节图像；
将所述初始调节图像随机截取m个不同位置的图像区域，将每个图像区域作为一调整构图后的调节图像。
9.根据权利要求6所述的基于美感评价的图像推送方法，其特征在于，所述获取每个评价类别的多张调整后的调节图像的评价值，包括如下步骤：
将所述调节图像集推送至接受测试的用户终端，获取所述接受测试的用户终端返回的各个调节图像的评分值。
10.根据权利要求1所述的基于美感评价的图像推送方法，其特征在于，还包括如下步骤：
获取用户对已推送图像的操作数据，统计预设时间段内同一酒店的各个已推送图像的被选次数；
根据所述被选次数对同一酒店的各个已推送图像进行排序，按照预设的被选次数序列号与推荐度值的映射关系，确定各个已推送图像的推荐度值；
根据所述已推送图像的推荐度值和同一图像通过所述图像美感评价模型预测得到的评价值构建损失函数；
根据所述损失函数优化所述图像美感评价模型。
11.一种基于美感评价的图像推送系统，用于实现权利要求1至10中任一项所述的基于美感评价的图像推送方法，其特征在于，所述系统包括：
图像采集模块，用于采集线上图像，加入训练集；
模型训练模块，用于基于所述训练集训练基于深度学习构建的图像美感评价模型；
图像评价模块，用于将所述待推送的酒店图像输入训练好的图像美感评价模型，根据所述图像美感评价模型的输出确定所述待推送的图像的评价值；
图像推送模块，用于根据所述待推送的图像的评价值对所述待推送的图像进行排序，并将排序后的图像推送至用户终端。
12.一种基于美感评价的图像推送设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任一项所述的基于美感评价的图像推送方法的步骤。
13.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至10中任一项所述的基于美感评价的图像推送方法的步骤。
CN202010661278.9A 2020-07-10 2020-07-10 基于美感评价的图像推送方法、系统、设备及存储介质 Active CN111797258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010661278.9A CN111797258B (zh) 2020-07-10 2020-07-10 基于美感评价的图像推送方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010661278.9A CN111797258B (zh) 2020-07-10 2020-07-10 基于美感评价的图像推送方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111797258A true CN111797258A (zh) 2020-10-20
CN111797258B CN111797258B (zh) 2023-11-24

Family

ID=72811500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010661278.9A Active CN111797258B (zh) 2020-07-10 2020-07-10 基于美感评价的图像推送方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111797258B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650870A (zh) * 2020-12-30 2021-04-13 北京天广汇通科技有限公司 一种训练图片排序模型的方法、图片排序的方法以及装置
CN113408528A (zh) * 2021-06-24 2021-09-17 数贸科技（北京）有限公司 商品图像的质量识别方法、装置、计算设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170294010A1 (en) * 2016-04-12 2017-10-12 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN108898591A (zh) * 2018-06-22 2018-11-27 北京小米移动软件有限公司 图像质量的评分方法及装置、电子设备、可读存储介质
CN111369521A (zh) * 2020-03-02 2020-07-03 名创优品（横琴）企业管理有限公司 一种基于图像质量的图像过滤方法和相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170294010A1 (en) * 2016-04-12 2017-10-12 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
CN108898591A (zh) * 2018-06-22 2018-11-27 北京小米移动软件有限公司 图像质量的评分方法及装置、电子设备、可读存储介质
CN111369521A (zh) * 2020-03-02 2020-07-03 名创优品（横琴）企业管理有限公司 一种基于图像质量的图像过滤方法和相关装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650870A (zh) * 2020-12-30 2021-04-13 北京天广汇通科技有限公司 一种训练图片排序模型的方法、图片排序的方法以及装置
CN113408528A (zh) * 2021-06-24 2021-09-17 数贸科技（北京）有限公司 商品图像的质量识别方法、装置、计算设备及存储介质
CN113408528B (zh) * 2021-06-24 2024-02-23 数贸科技（北京）有限公司 商品图像的质量识别方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN111797258B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN107862022B (zh) 文化资源推荐系统
WO2017197806A1 (zh) 基于人工智能提供智能服务的方法、智能服务系统及智能终端
CN109657054A (zh) 摘要生成方法、装置、服务器及存储介质
CN109491915B (zh) 数据处理方法及装置、介质和计算设备
CN107526846B (zh) 频道排序模型的生成、排序方法、装置、服务器和介质
US11182447B2 (en) Customized display of emotionally filtered social media content
CN106021449A (zh) 用于移动终端的搜索方法、装置以及移动终端
CN109783631A (zh) 社区问答数据的校验方法、装置、计算机设备和存储介质
CN111708876A (zh) 生成信息的方法和装置
CN111339292A (zh) 文本分类网络的训练方法、系统、设备及存储介质
CN107766316B (zh) 评价数据的分析方法、装置及系统
CN111797258B (zh) 基于美感评价的图像推送方法、系统、设备及存储介质
CN110288403A (zh) 挽留弹框弹出方法、系统、设备及存储介质
CN108334626B (zh) 新闻栏目的生成方法、装置和计算机设备
CN113826113A (zh) 用于人工智能的对罕见训练数据计数
CN112115131A (zh) 数据去噪方法、装置、设备及计算机可读存储介质
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN107944026A (zh) 一种图集个性化推荐的方法、装置、服务器和存储介质
CN112819509B (zh) 自动筛选广告图片的方法、系统、电子设备和存储介质
CN110096609A (zh) 房源搜索方法、装置、设备及计算机可读存储介质
CN112966743A (zh) 基于多维度注意力的图片分类方法、系统、设备及介质
CN111818363A (zh) 短视频提取方法、系统、设备及存储介质
CN117522538A (zh) 招投标信息处理方法、装置、计算机设备及存储介质
CN111385659B (zh) 一种视频推荐方法、装置、设备及存储介质
CN114139006A (zh) 基于旅游产品的图像推送方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant