CN113744012A - 一种信息处理方法、装置和存储介质 - Google Patents

一种信息处理方法、装置和存储介质 Download PDF

Info

Publication number
CN113744012A
CN113744012A CN202010797940.3A CN202010797940A CN113744012A CN 113744012 A CN113744012 A CN 113744012A CN 202010797940 A CN202010797940 A CN 202010797940A CN 113744012 A CN113744012 A CN 113744012A
Authority
CN
China
Prior art keywords
comment
training
training sample
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010797940.3A
Other languages
English (en)
Inventor
徐福来
刘朋樟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Wodong Tianjun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Wodong Tianjun Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010797940.3A priority Critical patent/CN113744012A/zh
Publication of CN113744012A publication Critical patent/CN113744012A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种信息处理方法，包括：确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。本发明还公开了一种信息处理装置和存储介质。

Description

一种信息处理方法、装置和存储介质
技术领域
本发明涉及互联网技术，尤其涉及一种信息处理方法、装置和计算机可读存储介质。
背景技术
电商平台中，“商品评论”板块能够为消费者提供真实的经验评价信息。在海量的评论中，如果电商平台能够筛选出优质的评论进行排序展示，将极大减少消费者的浏览时间，同时一条有吸引力的评论更加能够刺激消费者的购买欲望。
目前电商平台的评论区排序系统考虑了多种用户信息、评论文本的信息进行综合加权排序，却缺少对图像的美感因素的考量。
发明内容
有鉴于此，本发明的主要目的在于提供一种信息处理方法、装置和计算机可读存储介质。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供了一种信息处理方法，所述方法包括：
确定至少一个评论的图像数据；
运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；
根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；
根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
上述方案中，所述方法还包括：生成预设的图像识别模型；所述生成预设的图像识别模型，包括：
获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
上述方案中，所述孪生网络包括共享权值的第一神经网络和第二神经网络；
所述将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，包括：
将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
上述方案中，所述训练样本集包括至少一种类目和每个所述类目对应的至少一个训练样本；
所述将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型，包括：
从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
上述方案中，所述方法还包括：
获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；
按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
相应的，所述根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果，包括：
根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
本发明实施例提供了一种信息处理装置，所述装置包括：第一处理模块和第二处理模块；其中，
所述第一处理模块，用于确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；
所述第二处理模块，用于根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；
根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
上述方案中，所述装置还包括：预处理模块，用于获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
上述方案中，所述孪生网络包括共享权值的第一神经网络和第二神经网络；
所述预处理模块，具体用于将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
上述方案中，所述训练样本集包括至少一种类目和每个所述类目对应的至少一个训练样本；
所述预处理模块，还用于从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
上述方案中，所述装置还包括：第三处理模块，用于获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；
按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
相应的，所述第二处理模块，用于根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
本发明实施例提供了一种信息处理装置，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行以上任一项所述信息处理方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项所述信息处理方法的步骤。
本发明实施例所提供的信息处理方法、装置和计算机可读存储介质，所述方法包括：确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。本发明实施例中，将图像数据作为评论排序的参考因素，以将更具价值和吸引力的评论展示给用户，达到了优先向用户展示有吸引力、有价值的评论信息，提高用户体验的效果。
附图说明
图1为本发明实施例提供的一种信息处理方法的流程示意图；
图2为本发明实施例提供的一种基于积分循环制规则进行二值标注的示意图；
图3为本发明实施例提供的一种训练孪生网络的流程示意图；
图4为本发明实施例提供的一种评论排序方法的流程示意图；
图5为本发明实施例提供的一种美感评分模型的训练方法的流程示意图；
图6为本发明实施例提供的一种信息处理装置的结构示意图；
图7为本发明实施例提供的另一种信息处理装置的结构示意图。
具体实施方式
在结合实施例对本发明再作进一步详细的说明之前，先对图像美学评价的相关技术进行说明。
如上所述，目前电商平台的商品评论区中，有的简单地按照评论提交时间、评论撰写人消费等级、是否含有图像和/或视频等进行排序展示，有的涉及多种用户行为进行加权综合展示，有的进一步加入评论文本的语言理解来量化评论文本的质量进行排序展示，然而，很少地挖掘图像的深层信息，比如美感维度。图像相较于文本，能够更为直观地给消费者提供想要购买商品的描述。一张“美”的评论图像暴露在评论区的前置位置，更有利于流量变现；而一张不具有吸引力的图像出现在评论区首页，甚至可能降低用户的购买欲。
图像美感计算是一个利用计算机模仿或预测人类的审美过程并进行美感量化的问题。其一般有5层任务，即美感分类、美感评分、美感分布、美学因素、美学描述，层级越高，主观因素越大，数据标注的质量也越差，因此算法区分度也越差。现有的图像美感评价技术，主要包括传统方法和深度学习方法两种。其中，传统方法一般基于摄影学的知识构造人为特征，如图像的大小、颜色、清晰度、对比度、曝光度、景深、三分法则等，然后构建分类器，如支持向量机(SVM，Support Vector Machine)、朴素贝叶斯分类器等进行训练，以此评价图像的美感度。而基于深度学习的图像美感评价方法，是近年来的研究热点，由于深度网络强大的自动特征学习能力，不需要人们有丰富的图像美学知识和摄影经验就可以自动提取图像美学特征；这种方法基于美学数据(即图像数据)进行训练，给输入图像直接进行美学评价
相关技术中，传统的美学评价方法依靠摄影或心理学的启发手动设计美学特征，具有很大的局限性，首先，人工设计特征范围有限；其次，由于某些摄影或心理规则的模糊性以及在计算上实施的难度，难以做到全面和量化，手动设计的特征通常仅仅是规则的近似值，因此很难确保这些特征的有效性。
而基于深度学习的美学评价方法，利用足够多的美学标注数据训练深度神经网络，能够取得相较于传统方法更好的评价能力；但是，上述基于深度学习的美学评价方法，仍然存在如下问题：
由于公开数据集(如审美视觉分析(AVA，Aesthetic Visual Analysis)数据集、AADB美学与属性数据库(AADB，Aesthetics and Attributes Database))的图像美学评价标准各异，同时当面对具体应用场景时，场景图像的美感分布与公共数据集又有很大的不同，所以在公开数据集上训练的模型不能直接用于特定的应用场景，需要构建自己的数据集；构建美感评分数据集，需要标注人员对大量的图像进行标注打分，其标注质量低、成本大；利用这样的评分数据直接用于美感评分任务，其模型不易训练、收敛慢、效果差；当需要扩充品类时，不仅需要扩充大量标注数据，还需要重新训练平台的通用模型，由于品类美感分布参差不齐，容易影响到已有的其他类目的评价效果。
基于此，本发明的各种实施例中提供的信息处理方法，包括：确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
下面结合实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的一种信息处理方法的流程示意图；所述方法可以应用于服务器；如图1所示，所述方法包括：
步骤101、确定至少一个评论的图像数据；
步骤102、运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；
其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；
步骤103、根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；
步骤104、根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
在一些实施例中，所述方法还包括：生成预设的图像识别模型；所述生成预设的图像识别模型，包括：
获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
具体地，所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；不同的标签体现第一训练样本图像和第二训练样本图像之间的美丑不同；例如，第一训练样本图像对应的标签为0，第二训练样本图像对应的标签为1，第一训练样本图像和第二训练样本图像相比，1表示第二训练样本图像相对而言是美，0表示第一训练样本图像相对而言是丑，如此，体现出两者美丑的不同。
所述标签可以预先运用二值标注的方式添加标签。具体来说，考虑到在评论中的晒单图排序的过程中，不仅需要知道某张晒单图美或不美，还需知道美图中哪些图更美，换言之，晒单图排序是一个对各个图像的美感评分任务，而非美感分类任务。然而，获取一个平台晒单图像的美感评分的数据集，意味着需要若干个标注人员对品类多样、数量庞大的图像集合中的每张图像做一个美感值的绝对评分，工作量巨大的同时，标注质量也不高。因此，本发明实施例的方法中以类目细分标注范围进行全类目商品的评论图像的二值标注，在缩减标注工作量的同时，大大减少了非专业美感评价标注人员的标注主观性，提升数据美感标注质量。
所述类目基于各电商平台的需要设定，如，家电、生鲜、日用百货等；而不同类目下可以具体细分不同品类，如家电类可以细分为洗衣机、空调等品类。
以下对运用二值标注的方式添加标签进行进一步说明。
假设某一商城平台具有M个商品品类，每个品类下商品随机抽取N张评论中的图像，根据积分循环制(Swiss-system tournament，又称瑞士制)规则，对N张图像进行K轮美、丑的二值标注。其中，根据积分循环制规则对N张图像进行K轮美、丑的二值标注是指：将N张图像按顺序排序，然后前后两张图像组成一对，进行二选一的美感判别，每次“更美”的图像得1分，“不美”的图像得0分，本轮打分结束后，将图像序列按分数降序排列，然后再按前后顺序组成N/2对进行标注。基于上述积分循环制规则的打分制进行P轮打分即可确定每张图像的美感名次，其中2P-1≤N≤2P，P表征完成全部图像整体排序所需要的最少轮次，K≤P。
实际训练中，只需K＝5<<P轮即可满足训练要求，此时共可得到M*(N/2)*5对样本。结合图2所示，图2中表示6张图像进行3轮标注的过程，图像对中的箭头指向了美感更佳的图像。
采用上述二值标注的方式，标注人员无需掌握美学专业知识，无需纠结对某一张图像标注为5分、6分或其他具体分值，只需标注两张图像中，哪一张看起来更具有美感、更吸引人，最终得到的训练样本集中的训练样本是以图像对的形式呈现，每一轮标注都将产生N/2个训练样本，且由于积分循环制规则的多轮排序，倾向于将美感度近似的图像排在一起进行对比，对美感排序模型而言是难例挖掘(hard-mining)，即难以区分的样本，因此，通过样本回传的方式进行模型训练，模型的准确度可以得到有效提升。
基于此，在一些实施例中，所述孪生网络包括共享权值的第一神经网络和第二神经网络；
所述将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，包括：
将所述训练样本集中各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
具体地，将所述训练样本集中各训练样本包括的第一训练样本图像和第二训练样本图像分别输入第一神经网络和第二神经网络，得到第一分数和第二分值，可以是：将所述训练样本集中各训练样本的第一训练样本图像输入第一神经网络，得到第一分值；同时，将与第一训练样本图像同属于同一训练样本的第二训练样本图像输入第二神经网络，得到第二分值；如此，可以得到某个训练样本对应的第一分值和第二分值。
所述孪生网络具体可以包括共享权值的两个相同的神经网络和一个损失模块，两个相同的神经网络即上述第一神经网络和第二神经网络，两者可以设置为完全一样的网络；可以采用以下任意深度神经网络：VGG、Mobilenet、resnet、efficientnet等；以VGG为例，其主要有卷积层、池化层，全连接层等，用于提取图像特征。
将训练样本的图像对(即第一训练样本图像和第二训练样本图像)输入孪生网络，通过第一神经网络和第二神经网络得到各训练样本对应的第一分值和第二分值，结合损失模块进行网络推理，对两个神经网络的输出进行回传训练，得到训练后的第一神经网络和训练后的第二神经网络。这里，损失模块采用的损失(loss)包括但不限于合页损失(hingeloss)等损失值。
具体结合图3来说，将上述训练样本集中各训练样本的图像对输入孪生网络中进行训练，得到训练后孪生网络。所述训练指对神经网络中神经元各权值不断进行调整的过程，如3中左侧图片输入后经过神经网络提取特征的计算后，得到一个分数、如0.9，右侧图片输入后经另一神经网络提取特征计算后得到另一个分值、如0.7，0.9>0.7与标注结果相符，那么这对训练样本就算是预测正确，反之左侧得到的分值为0.7而右侧得到的分值为0.9，则网络计算与标注不符，将这个错误造成的损失loss值回传到神经网络中，教导网络学会区分这种图像。经过不断的迭代训练，得到可进行美感分类的孪生网络。
在实际应用时，每次比较均输入两张图片，孪生网络都会给出每张图片的美感分数，将分数高的认为是美的，这个过程称之为预测。
需要说明的是，上述训练样本集中每对训练样本包括的图像可以同属一个类目，但为了增强模型的泛化能力，本发明实施例中，可以以全类目的二值标注过的训练样本进行孪生网络的训练，即训练样本集可以包括多种类目的训练样本，从而得到可以进行全品类图像的美感分类的图像识别模型。
实际应用时，考虑到针对不同类目的图像的识别精度的问题，可以再对孪生网络进行调优，得到针对不同类目的图像识别模型；即对上述训练后的第一神经网络或训练后的第二神经网络进行调优，得到针对不同类目的、精度更高的图像识别模型。
也就是说，所述训练样本集可以包括至少一种类目和每个所述类目对应的至少一个训练样本；
所述将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型，包括：
从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
具体来说，考虑到商场平台的评论的晒单图美感分布参差不齐，如摄影类目美感与生鲜类目美感差别巨大，因此需要进行模型解耦。完成上述对孪生网络的训练后，取孪生网络的一个分支(branch)，去掉分支的最后一层，利用前层网络参数作为各个类目图像美感评分模型的预训练模型。抽取各个类目若干张图像(即获取某一类目的调优数据集)，由专业标注人员对调优数据集中的各个调优样本进行美感评分标注，即添加标签，这里添加的标签表征调优样本的美丑程度；利用添加有标签的调优样本微调(fine-tune)预训练模型。在某一类目的预训练模型的训练过程中，假设某个小批量(mini-batch)中有Z张图像，作为调优数据集，调优样本、即图像i对应的标签为yi(可以是由美感评分人员预先标注的得分)，由取出的预训练模型和权重参数推理得到的分值为yi'，利用相应的损失函数对预训练模型进行训练调优。这里，所述损失函数可以由开发人员基于需求设定，例如，可以采用损失函数
Figure BDA0002626345730000121
以上损失函数仅仅作为一种示例，实际应用时还可以采用其他函数，这里不做限定。
需要说明的是，由于孪生网络的权值是共享的，言外之意，两个神经网络的结构、训练出来的权重评分都是一样的，因此，可取其中一支神经网络，输入一张图像，由取出的神经网络(即上述预训练模型)对输入的图像进行预测，得到预测值(预测值在0-1之间)，越靠近1说明越好看。由于所述预训练模型是上述对孪生网络训练得到的，因此可以将取出的这支网络和其中的评分，作为美感评分的预训练模型。
还需要说明的是，所述调优数据集还可以包括：第一品类和所述第一品类对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一品类属于所述至少一个类目中某一类目包括的品类；也就是说，调优操作可以根据需要对某一类目的图像进行调优，或者是对类目细分下的某一品类的图像进行调优；这里不做限定。
在一些实施例中，评论可以包括：图像数据、行为数据(与用户相关)、文本数据、视频数据等；
所述方法还包括：
获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；
按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
相应的，所述根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果，包括：
根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
在一些实施例中，所述根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果，包括：
确定图像数据的权重和所述至少一个第一数据中各第一数据对应的权重；
根据所述图像数据的权重、所述至少一个第一数据中各第一数据对应的权重、所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
这里，可以根据所述图像数据的权重、所述至少一个第一数据中各第一数据对应的权重、所述美学评分和所述至少一个第一评分作加权处理，得到的结果作为评分。
图像数据的权重和所述至少一个第一数据中各第一数据对应的权重之和可以为1。
举例来说，评论包括有图像数据、行为数据、文本数据；行为数据对应的权重记做A，文本数据对应的权重记做B，图像数据对应的权重记做C，则A+B+C＝1；则根据所述图像数据的权重、所述至少一个第一数据中各第一数据对应的权重、所述美学评分和所述至少一个第一评分作加权处理可以为：A*行为数据的评分+B*文本数据的评分+C*图像数据的评分(即上述美学评分)，得到的结果作为评分结果。
以上仅仅可以是一种示例，所述评论还可以包括有其他数据，如视频数据等；则其他数据对应的权重与上述图像数据对应的权重、行为数据对应的权重、文本数据对应的权重相加为1；具体设定由开发人员根据需要设定。
而不同的数据的评分可以包括多种参考因素，例如，所述图像数据可以有图像相关度、图像清晰度、图像美观度等，则对图像相关度、图像清晰度、图像美观度分配权重，则图像数据的评分为C1*图像相关度+C2*图像清晰度+C3*图像美观度(此时图像美观度即为上述美学评分)，其中，C1+C2+C3＝1；相似的，图像数据还可以包括其他参考因素，若还包括其他参考因素，则其他参考因素的权重与上述C1、C2、C3之和可以为1。
文本数据、行为数据、视频数据等与图像数据类似，其权重分配及其包括的多重参考因素的分配可以基于需求设定，这里不做限定。
需要说明的是，加权值可以进行线上测试动态调整，各个类目的商品都有所不同。如图书类目下，用户更关心书评，因此文本维度的权重(即文本数据对应的权重)高一些，而很多类目用户更关心图像，此时图像数据对应的权重就可以增加权重；以上关于权重的设置应结合实际需要设定。
本发明实施例提供的方法，基于采用积分循环制规则进行二值标注的训练样本进行网络训练，通过积分循环制规则的多轮标注能够达到难例挖掘的作用，增强深度模型对美感语义信息的提取能力；对于将数据标注和模型训练拆解为“分-总-分”(指先分类目，对不同类目的图像进行二值标注；再一同形成训练样本集进行孪生网络训练；最后再采用不同类目的调优数据集进行调优)的结构来进行，利用每个类目下的少量的美感评分数据集(即调优数据集)调优全品类美感分类任务的预训练模型，泛化能力强，扩充品类方便快捷，避免了不同类目的美感分布不同而造成的全品类通用美感模型训练难、效果差的问题；综上，本发明提出的美感排序的方法，将美感评分任务，先降维为美感分类任务，再在美感分类预训练模型基础上做评分训练，所获得的图像美感评分有助于排序系统的优质图像曝光。
图4为本发明实施例提供的一种评论排序方法的流程示意图；如图4所示，所述评论排序方法，考虑到行为维度、文本维度、图像维度，基于上述不同维度的情况进行评论综合排序。
对于行为维度来说，确定评论提交时间、用户信用等级、评论星级等信息；基于评论提交时间、用户信用等级、评论星级等信息，确定行为维度的评分；
对于文本维度来说，确定文本相关度(文本与商品的相关度)、文本信息量等信息；基于文本相关度、文本信息量等信息，确定文本维度的评分；
对于图像维度来书，确定图像相关度(图像与商品的相关度)、图像美观度等信息；基于图像相关度、图像美观度等信息，确定图像维度的评分；
综合考虑上述行为维度的评分、文本维度的评分、图像维度的评分，确定评论综合值，基于各评论的综合值进行排序。
其中，评论提交时间、用户信用等级、评论星级、文本相关度、文本信息量、图像相关度、图像美观度等基于相应的规则确定，这里不做限定。
其中，所述图像美观度的得分可以运用图像识别模型进行识别得到，所述图像识别模型的生成方法已在图1所示方法中说明，这里不再赘述。
图5为本发明实施例提供的一种美感评分模型的训练方法的流程示意图；如图5所示，所述方法可以应用于服务器，所述方法包括：
步骤501、获取积分循环制分类标注的图像对；
这里，可以在至少一种品类下商品随机抽取N张评论中的图像，根据积分循环制规则，对N张图像进行K轮美、丑的二值标注。其中，根据积分循环制规则对N张图像进行K轮美、丑的二值标注，包括：将N张图像按顺序排序，然后前后两张图像组成一对，进行二选一的美感判别，每次更美的图像得1分，不美的图像得0分，本轮打分结束后，将图像序列按分数降序排列，然后再按前后顺序组成N/2对进行标注。具体可以参照图2和针对图2的描述，这里不再赘述。
步骤502、确定全品类美感分类数据集；
将上述对N张图像进行K轮美、丑的二值标注后的多个训练样本，作为全品类美感分类数据集中的样本。
所述全品类美感分类数据集可以参考图1所示方法中的训练样本集。
步骤503、训练美感分类模型；
步骤504、确定美感评分的预训练模型；
结合步骤503和步骤504来说，拉取电商平台全类目评论中的图像并进行积分循环制的标注后得到全品类美感分类数据集，其中，食品类目图像只跟食品类目的图像比较美丑，家居类目图像只跟家居类目的图像比较美丑，以此全部的数据训练获得美感分类模型。
运用上述全品类美感分类数据集训练得到美感分类模型可以参考图1所示方法中对基于训练样本集对孪生网络进行训练的过程，训练得到的美感分类模型包括训练后的第一神经网络和训练后的第二神经网络；
将训练后的第一神经网络和训练后的第二神经网络中的任一作为美感评分的预训练模型；
再通过步骤505的操作，对预训练模型进行调优，得到针对不同品类的美感评分模型。
步骤505、基于不同品类的美感评分数据集和所述预训练模型，得到针对不同品类的美感评分模型。
这里，对每个品类(或类目)，如服饰、生鲜、数码等不同类目标注美感评分数据集(相当于图1所示方法中的调优数据集)，依次单独调优训练得到的所述美感分类模型参数，得到不同品类(或类目)的美感评分模型。
图6为本发明实施例提供的一种信息处理装置的结构示意图；所述装置可以应用于服务器；如图6所示，所述装置包括：第一处理模块、第二处理模块。
所述第一处理模块，用于确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；
所述第二处理模块，用于根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；
根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
在一些实施例中，所述装置还包括：预处理模块，用于获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
在一些实施例中，所述孪生网络包括共享权值的第一神经网络和第二神经网络；
所述预处理模块，具体用于将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
在一些实施例中，所述训练样本集包括至少一种类目和每个所述类目对应的至少一个训练样本；
所述预处理模块，还用于从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
在一些实施例中，所述装置还包括：第三处理模块，用于获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；
按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
相应的，所述第二处理模块，用于根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
需要说明的是：上述实施例提供的信息处理装置在进行信息处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的信息处理装置与信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7为本发明实施例提供的另一种信息处理装置的结构示意图。所述装置70包括：处理器701和用于存储能够在所述处理器上运行的计算机程序的存储器702；其中，所述处理器701用于运行所述计算机程序时，执行：确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
在一实施例中，所述处理器701还用于运行所述计算机程序时，执行：获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
以及，根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
需要说明的是：上述实施例提供的信息处理装置与信息处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
实际应用时，所述装置70还可以包括：至少一个网络接口703。信息处理装置70中的各个组件通过总线系统704耦合在一起。可理解，总线系统704用于实现这些组件之间的连接通信。总线系统704除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图7中将各种总线都标为总线系统704。其中，所述处理器701的个数可以为至少一个。网络接口703用于信息处理装置70与其他设备之间有线或无线方式的通信。
本发明实施例中的存储器702用于存储各种类型的数据以支持信息处理装置70的操作。
上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实现。处理器701可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器701可以是通用处理器、数字信号处理器(DSP，DiGital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器701可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，信息处理装置70可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，ProgrammableLogic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行前述方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，执行：确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
在一实施例中，所述计算机程序被处理器运行时，执行：获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
在一实施例中，所述计算机程序被处理器运行时，执行：将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
在一实施例中，所述计算机程序被处理器运行时，执行：从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
在一实施例中，所述计算机程序被处理器运行时，执行：获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
以及，根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种信息处理方法，其特征在于，所述方法包括：
确定至少一个评论的图像数据；
运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；
根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；
根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：生成预设的图像识别模型；所述生成预设的图像识别模型，包括：
获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
3.根据权利要求2所述的方法，其特征在于，所述孪生网络包括共享权值的第一神经网络和第二神经网络；
所述将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，包括：
将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
4.根据权利要求3所述的方法，其特征在于，所述训练样本集包括至少一种类目和每个所述类目对应的至少一个训练样本；
所述将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型，包括：
从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；
按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
相应的，所述根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果，包括：
根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
6.一种信息处理装置，其特征在于，所述装置包括：第一处理模块和第二处理模块；其中，
所述第一处理模块，用于确定至少一个评论的图像数据；运用预设的图像识别模型识别所述至少一个评论中各评论的图像数据，确定各评论对应的美学评分；其中，所述美学评分表征图像数据的美感程度；所述预设的图像识别模型基于训练样本集和孪生网络训练得到；
所述第二处理模块，用于根据所述至少一个评论中各评论对应的所述美学评分，确定所述至少一个评论中各评论的评分结果；
根据所述至少一个评论中各评论的评分结果，对所述至少一个评论进行排序。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：预处理模块，用于获取所述训练样本集；所述训练样本集包括至少一个训练样本；所述至少一个训练样本中各训练样本包括第一训练样本图像和第二训练样本图像；所述第一训练样本图像和所述第二训练样本图像对应有不同的标签；
将所述训练样本集中各训练样本输入孪生网络，对所述孪生网络进行学习训练，获得所述图像识别模型。
8.根据权利要求7所述的装置，其特征在于，所述孪生网络包括共享权值的第一神经网络和第二神经网络；
所述预处理模块，具体用于将各训练样本包括的第一训练样本图像和第二训练样本图像分别输入所述第一神经网络和所述第二神经网络，得到第一分数和第二分值；
基于各训练样本对应的第一分值和第二分值，对所述第一神经网络和所述第二神经网络进行迭代训练，得到训练后的第一神经网络和训练后的第二神经网络；
将训练后的所述第一神经网络和训练后的所述第二神经网络中的任一作为所述图像识别模型。
9.根据权利要求8所述的装置，其特征在于，所述训练样本集包括至少一种类目和每个所述类目对应的至少一个训练样本；
所述预处理模块，还用于从所述训练后的第一神经网络和训练后的第二神经网络中选择任一作为预训练模型；
获取调优数据集，根据所述调优数据集对所述预训练模型进行二次训练，得到二次训练后的所述预训练模型，作为所述图像识别模型；
其中，所述调优数据集包括：第一类目和所述第一类目对应的至少一个调优样本；所述调优样本包括调优图像和所述调优图像对应的标签；所述第一类目属于所述至少一个类目。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：第三处理模块，用于获取至少一个评论中各评论的至少一个第一数据；所述第一数据包括以下至少之一：行为数据、文本数据、视频数据；
按预设策略识别各评论的至少一个第一数据，确定各评论对应的至少一个第一评分；
相应的，所述第二处理模块，用于根据所述至少一个评论中各评论对应的所述美学评分和所述至少一个第一评分，确定所述至少一个评论中各评论的评分结果。
11.一种信息处理装置，其特征在于，所述装置包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
CN202010797940.3A 2020-08-10 2020-08-10 一种信息处理方法、装置和存储介质 Pending CN113744012A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010797940.3A CN113744012A (zh) 2020-08-10 2020-08-10 一种信息处理方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010797940.3A CN113744012A (zh) 2020-08-10 2020-08-10 一种信息处理方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN113744012A true CN113744012A (zh) 2021-12-03

Family

ID=78728017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010797940.3A Pending CN113744012A (zh) 2020-08-10 2020-08-10 一种信息处理方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN113744012A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372974A (zh) * 2022-01-12 2022-04-19 北京字节跳动网络技术有限公司 图像检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145219A1 (en) * 2009-08-12 2011-06-16 Google Inc. Objective and subjective ranking of comments
CN104281619A (zh) * 2013-07-11 2015-01-14 鸿富锦精密工业（深圳）有限公司 搜索结果排序系统及方法
CN104537356A (zh) * 2015-01-12 2015-04-22 北京大学 利用瑞士轮排序进行步态识别的行人再标识方法和装置
CN107194898A (zh) * 2017-06-23 2017-09-22 携程计算机技术（上海）有限公司 酒店图像的展示方法、存储介质及酒店信息的推送方法
CN108492290A (zh) * 2018-03-19 2018-09-04 携程计算机技术（上海）有限公司 图像评价方法及系统
CN110097419A (zh) * 2019-03-29 2019-08-06 努比亚技术有限公司 商品数据处理方法、计算机设备和存储介质
CN111095293A (zh) * 2017-12-15 2020-05-01 华为技术有限公司 图像美学处理方法及电子设备
WO2020114324A1 (zh) * 2018-12-04 2020-06-11 阿里巴巴集团控股有限公司 回评文本的生成方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110145219A1 (en) * 2009-08-12 2011-06-16 Google Inc. Objective and subjective ranking of comments
CN104281619A (zh) * 2013-07-11 2015-01-14 鸿富锦精密工业（深圳）有限公司 搜索结果排序系统及方法
CN104537356A (zh) * 2015-01-12 2015-04-22 北京大学 利用瑞士轮排序进行步态识别的行人再标识方法和装置
CN107194898A (zh) * 2017-06-23 2017-09-22 携程计算机技术（上海）有限公司 酒店图像的展示方法、存储介质及酒店信息的推送方法
CN111095293A (zh) * 2017-12-15 2020-05-01 华为技术有限公司 图像美学处理方法及电子设备
CN108492290A (zh) * 2018-03-19 2018-09-04 携程计算机技术（上海）有限公司 图像评价方法及系统
WO2020114324A1 (zh) * 2018-12-04 2020-06-11 阿里巴巴集团控股有限公司 回评文本的生成方法、装置及系统
CN110097419A (zh) * 2019-03-29 2019-08-06 努比亚技术有限公司 商品数据处理方法、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114372974A (zh) * 2022-01-12 2022-04-19 北京字节跳动网络技术有限公司 图像检测方法、装置、设备及存储介质
CN114372974B (zh) * 2022-01-12 2024-03-08 抖音视界有限公司 图像检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110110181B (zh) 一种基于用户风格和场景偏好的服装搭配推荐方法
Cetinic et al. A deep learning perspective on beauty, sentiment, and remembrance of art
Chen et al. Learning to rank features for recommendation over multiple categories
Khalil et al. Investigating bias in facial analysis systems: A systematic review
Zhao et al. Continuous probability distribution prediction of image emotions via multitask shared sparse regression
US11809985B2 (en) Algorithmic apparel recommendation
Kucer et al. Leveraging expert feature knowledge for predicting image aesthetics
CN110263257B (zh) 基于深度学习处理多源异构数据的推荐方法
KR102227552B1 (ko) 상황인지 알고리즘 기반 리뷰 카테고리를 이용한 음식점 노출 개인화 서비스 제공 시스템
Feng et al. Interpretable partitioned embedding for customized multi-item fashion outfit composition
CN108829847B (zh) 基于翻译的多模态建模方法及其在商品检索中的应用
CN111368075A (zh) 文章质量预测方法、装置、电子设备及存储介质
CN110246011A (zh) 可解释时尚服装个性化推荐方法
WO2021155691A1 (zh) 用户画像生成方法、装置、存储介质及设备
CN109919006A (zh) 表情检测方法、装置、电子设备及存储介质
CN116097320A (zh) 用于改进的面部属性分类的系统和方法及其用途
Jang et al. Analysis of deep features for image aesthetic assessment
CN110119479A (zh) 一种餐馆推荐方法、装置、设备及可读存储介质
Wu et al. Product design award prediction modeling: Design visual aesthetic quality assessment via DCNNs
Su et al. Personalized clothing recommendation based on user emotional analysis
Tayal et al. Personalized ranking of products using aspect-based sentiment analysis and Plithogenic sets
Demarty et al. Predicting interestingness of visual content
CN112116589A (zh) 虚拟形象的评测方法、装置、设备及计算机可读存储介质
CN111400525A (zh) 基于视觉组合关系学习的时尚服装智能搭配与推荐方法
CN112364236A (zh) 目标对象推荐系统、方法、装置、数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination