CN110580299B - 生成对象的推荐语的配图的方法、系统、设备及存储介质 - Google Patents

生成对象的推荐语的配图的方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN110580299B
CN110580299B CN201810588463.2A CN201810588463A CN110580299B CN 110580299 B CN110580299 B CN 110580299B CN 201810588463 A CN201810588463 A CN 201810588463A CN 110580299 B CN110580299 B CN 110580299B
Authority
CN
China
Prior art keywords
data
historical
label
map
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810588463.2A
Other languages
English (en)
Other versions
CN110580299A (zh
Inventor
王曦晨
张震涛
佘志东
朱俊伟
王刚
张亮
饶正锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810588463.2A priority Critical patent/CN110580299B/zh
Publication of CN110580299A publication Critical patent/CN110580299A/zh
Application granted granted Critical
Publication of CN110580299B publication Critical patent/CN110580299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种生成对象的推荐语的配图的方法、系统、设备及存储介质，方法包括：使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个原图标签的概率K，获取对象的属性信息；提取属性项、属性值、推荐语标题及推荐语文章中的关键词及每个关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合；对推荐语标签的集合中的每个推荐语标签，依次在原图标签的集合中查询，以得到对应的m张待选择的原图；将y*m个待选择的原图按照所查询出的概率排序，抽取概率最高的n张待选择的原图作为对象的推荐语的备选原图。本发明选择的备选原图与该对象的推荐语的匹配精度更高。

Description

生成对象的推荐语的配图的方法、系统、设备及存储介质
技术领域
本发明涉及互联网技术领域，特别涉及一种生成对象的推荐语的配图的方法、系统、设备及存储介质。
背景技术
在互联网领域，大量的对象需要文案等介绍该对象的优缺点及性价比等，供目标群体选择时参考。然而，海量的文案编辑耗费大量的时间和经济成本。为此，自动文案生成，尤其是相关配图的自动化选取及切割等技术至关重要。
文献CN201410012810.9用于实现选取图像局部兴趣点，其并未使用深度学习等相关算法，导致精度较差。文献CN201710374160.6仅适用于宽泛的互联网爬取下的软性介绍文章提供配图，但无法针对某一特定的对象集合及相关业务需求描述等提供精确配图。文献CN201710958209.2利用了对象的详情页模版以及模特检测，识别并检测图像中的模特姿态，提供简单缩放，裁切，补边的方法，经常存在图片与对象不匹配的情况，例如介绍蓝色系裤子这一类对象的文章，选取了白色系裤子的配图。综上可知，现有技术中为对象的推荐语选取的配图的精度较差，和对象的推荐语的匹配度也有待提高。
发明内容
本发明要解决的技术问题是为了克服现有技术中为一对象的推荐语选取的配图的精度较差，和对象的推荐语的匹配度不高的缺陷，提供一种生成对象的推荐语的配图的方法、系统、设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供了一种生成对象的推荐语的配图的方法，所述对象的每篇所述推荐语包括推荐语标题和推荐语文章；所述配图的方法包括：
使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个所述原图标签的概率K，k为大于等于2的自然数；
获取所述对象的属性信息，所述属性信息包括属性项以及对应的属性值；
提取所述属性项、所述属性值、所述推荐语标题及所述推荐语文章中的关键词及每个所述关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合，y为大于等于2的自然数；
对所述推荐语标签的集合中的每个所述推荐语标签，依次在所述原图标签的集合中查询，以得到对应的m张所述待选择的原图，m为大于等于2的自然数；
将y*m个所述待选择的原图按照所查询出的概率排序，抽取概率最高的n张所述待选择的原图作为所述对象的推荐语的备选原图，n为大于等于1的自然数。
本方案中，训练好的图像分类模型采用现有的图像分类的算法实现，利用现有的历史推荐语及该历史推荐语对应的配图组成的样本进行训练得到，该图像分类模型能够对新的图像进行预测，得到该图像的类目分类以及对应的标签和标签的概率。
本方案中，从海量已被图像分类模型标签的图库中抽取概率最高的标签对应的原图作为备选的备选原图，其可以直接作为对象的推荐语的配图使用，也可以在备选原图中选取一块区域得到新的图像作为对象的推荐语的配图使用。
本方案中，在为对象的推荐语进行配图时，不仅考虑了推荐语标题，还同时考虑了推荐语文章以及该推荐语针对的对象的属性信息，由此选择的备选原图与该对象的推荐语的匹配精度更高。
较佳地，所述方法还包括以下步骤：
使用训练好的图像切割位置模型对每张所述备选原图进行预测，以为每张所述备选原图检测到对应的c个区域以及每个区域所对应的子图标签和所述子图标签的概率，c为大于等于2的自然数；
根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分；
选取所述标签概率分最高的所述子图标签所在的所述区域作为所述对象的推荐语的配图。
本方案中，图像切割位置模型利用现有的图像检测算法的框架进行模型训练得到，所采用的正负样本利用现有的历史推荐语及该历史推荐语对应的配图与该配图所在原图中的位置生成的兴趣区域进行标注后得到。
本方案中，综合考虑了切割位置的分类与原图的切割分类的结合，即综合切割区域的标签概率以及原始图像的标签概率，选择最优的切割方案，最终选取最优适配的图像区域作为对象的推荐语的配图。
较佳地，
根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分，包括：
判断所述区域所对应的每个所述子图标签与对应的所述备选原图的原图标签是否重合，若是，则设置所述子图标签的标签概率分为所述子图标签的概率与对应的所述备选原图的原图标签的概率之和再乘以重合系数g，g为大于1的实数；若否，则设置所述子图标签的标签概率分为所述子图标签的概率。
本方案中，对所产生的n*c个区域综合原始图像的概率分布来考虑。考察n*c个区域中的每个子图标签同对应的备选原图中的原图标签的关系。如果备选原图中的某个原图标签与检测的子图标签有重合，那么设置这个子图标签的标签概率分等于该区域的子图标签的概率加上该区域所在的备选原图的原图标签的概率后再乘以重合系数g。如果没有对应到相同的标签那么就直接使用该区域自身的子图标签的概率。由此能够得到n*c个区域中每个区域的每个子图标签对应的标签概率分，然后再对所有的标签概率分排序选择分数最高的一个切割区域作为最终的配图。
本方案实现了自适应配图切割，所采用的配图切割选取算法综合考虑了切割区域的标签与原始图像的标签重合时标签概率分的具体的计算方式。本方案不是单单考虑切割区域的标签的概率这一种情况，而是先选若干备选原图，每个备选原图中再选若干区域，因为备选原图匹配风格，区域也匹配风格，所以综合考虑原图和区域所选择的配图更加合理。本方案中每个区域对应的子图标签的标签概率分不仅考虑了区域本身标签的概率，同时还包括了该区域所在母图即备选原图这一因子，由此计算出的每个子图标签的标签概率分更加合理，最终选取的配图与该对象的推荐语的匹配精度更高。
较佳地，所述方法还包括以下步骤：
获取历史数据，每条所述历史数据包括对应的历史推荐语标题、历史推荐语文章、历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目、所述历史对象的属性信息；
使用所述历史数据生成所述图像分类模型。
本方案中，历史数据包括达人写的现有的文章，该文章中包括标题、文章正文、相应的配图以及该配图的原图，还对应有哪一个对象，也能够获得该对象所属的类别以及该对象的属性信息等，利用该历史数据能够训练得到所述图像分类模型。
较佳地，所述方法还包括以下步骤：
使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S；
将所述历史数据与相应的所述坐标位置S融合，得到第一数据；
使用所述第一数据生成所述图像切割位置模型。
本方案中，利用历史配图的四角坐标实现在历史原图上的定位，该种定位方式计算量小，速度快，能够在兼顾定位准确度的同时提高定位的效率。
较佳地，
使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S，包括：
设所述历史配图的宽为w，高为h，分别从所述历史配图的四角上获取四个正方形的子区域的坐标，分别为第一子区域的坐标L[(0，0)(a，a)]，第二子区域的坐标R[(w-a，0)(w-a，a)]，第三子区域的坐标B[(0，h-a)(a，h-a)]，第四子区域的坐标C[(w-a，h-a)(w-1，h-1)]，其中，a为正实数；
将所述历史配图和所述历史原图形成RGB(红绿蓝)颜色空间；
利用所述第一子区域对所述历史原图滑动扫描，以查询到像素点差之和最小的区域并记录为第一过渡区域；
根据所述第一过渡区域检查w宽像素偏移后的面片在所述历史原图上是否匹配坐标B，若是，则记录为第二过渡区域，若否，则返回得到所述第一过渡区域的步骤；
根据所述第二过渡区域检查h偏移h高度的位置后的面片在所述历史原图上是否匹配坐标C，若是，则记录为第三过渡区域，若否，则返回得到所述第一过渡区域的步骤；
根据所述第三过渡区域检查-w宽像素偏移后的面片在所述历史原图上是否匹配坐标R，若否则返回得到所述第一过渡区域的步骤；
根据所述第一过渡区域的上角坐标(s1，s2)计算所述历史配图在所述历史原图上的右下角坐标(e1＝s1+w，e2＝s2+h)，得到所述坐标位置S(s1，s2)，(e1，e2)。
较佳地，
将所述历史数据与相应的所述坐标位置S融合，得到第一数据，包括：
对所述历史数据进行清洗以得到清洗后数据；
对每条所述清洗后数据中的所述历史推荐语标题分词并提取所有的名词，以得到第一词集合；
对每条所述清洗后数据中的所述历史推荐语文章、所述历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目分词并提取所有的名词，以得到第二词集合；
对每条所述清洗后数据中的所述历史对象的属性项和属性值分词并提取名词，以得到第三词集合；
将所述第二词集合、所述第一词集合以及所述第三词集合合并得到第四词集合，将所述第四词集合中重复的名词计数得到每个名词的词频；
将所述第四词集合中为近义词的名词对合并并累计计算词频；
提取所述第四词集合中的词频最高的x个名词作为词标签增加到相应的所述清洗后数据中，以得到提取后数据，x为大于等于2的自然数；
将每条所述提取后数据与相应的所述坐标位置S融合，得到所述第一数据。
较佳地，
获取所述历史数据，包括：
从数据库中获取已经编辑并审核通过的所述历史数据；
对所述历史数据进行清洗以得到清洗后数据，包括：
对所有的所述历史对象所属的类目进行聚类，统计所有的所述历史数据中每个所述类目所含有的所述历史数据的条目数量M，M为自然数；删除所述条目数量M小于预设数量N的所述类目下的所有的所述历史数据，剩余的每条所述历史数据为第一聚类数据，N为自然数；
对每条所述第一聚类数据中所述历史对象的所述属性项和所述属性值进行清洗，以排除空和/或异常的所述属性项和所述属性值对应的所述第一聚类数据，剩余的所述第一聚类数据为第二聚类数据；
对每条所述第二聚类数据中所述历史对象的所述属性项和所述属性值进行聚类，统计所有的所述第二聚类数据中出现的所述属性值的次数并记录为J，J为自然数，保留J大于等于预设次数U的所述属性值以及对应的所述属性项所对应的所述第二聚类数据为所述清洗后数据，U为自然数。
较佳地，
使用所述历史数据生成所述图像分类模型，包括：
使用所述历史数据利用resnet或vgg或alexnet进行f轮次的训练生成所述图像分类模型，f为大于4的自然数，其中resnet、vgg、alexnet为不同的卷积分类神经网络算法。
较佳地，
使用所述第一数据生成所述图像切割位置模型，包括：
以所述第一数据中的所述坐标位置S为中心随机在所述坐标位置S周围生成若干兴趣区域，计算所述坐标位置S与每个所述兴趣区域的比值F，判断所述比值F是否大于等于预设系数z，若是，则设置对应的所述兴趣区域为正样本，若否，则设置对应的所述兴趣区域为负样本，所述预设系数z为大于0且小于1的数；
使用所述正样本和所述负样本利用Faster-RCNN或YOLO或SSD进行兴趣区域推荐部分的模型训练，输入的参数为所述兴趣区域的坐标，其中，Faster-RCNN、YOLO、SSD为三种不同的深度学习目标检测算法；
使用所述第一数据中的所述词标签利用Faster-RCNN或YOLO或SSD进行分类部分的模型训练，以得到所述图像切割位置模型。
本发明还提供了一种生成对象的推荐语的配图的系统，所述对象的每篇所述推荐语包括推荐语标题和推荐语文章；所述配图的系统包括：
原图预测模块，用于使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个所述原图标签的概率K，k为大于等于2的自然数；
属性信息获取模块，用于获取所述对象的属性信息，所述属性信息包括属性项以及对应的属性值；
推荐语标签提取模块，用于提取所述属性项、所述属性值、所述推荐语标题及所述推荐语文章中的关键词及每个所述关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合，y为大于等于2的自然数；
原图查询模块，用于对所述推荐语标签的集合中的每个所述推荐语标签，依次在所述原图标签的集合中查询，以得到对应的m张所述待选择的原图，m为大于等于2的自然数；
备选原图抽取模块，用于将y*m个所述待选择的原图按照所查询出的概率排序，抽取概率最高的n张所述待选择的原图作为所述对象的推荐语的备选原图，n为大于等于1的自然数。
较佳地，所述系统还包括：
切割区域预测模块，用于使用训练好的图像切割位置模型对每张所述备选原图进行预测，以为每张所述备选原图检测到对应的c个区域以及每个区域所对应的子图标签和所述子图标签的概率，c为大于等于2的自然数；
分数计算模块，用于根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分；
配图选取模块，用于选取所述标签概率分最高的所述子图标签所在的所述区域作为所述对象的推荐语的配图。
较佳地，
所述分数计算模块包括：
重合判断模块，用于判断所述区域所对应的每个所述子图标签与对应的所述备选原图的原图标签是否重合，若是，则调用重合处理模块；若否，则调用非重合处理模块；
所述重合处理模块，用于设置所述子图标签的标签概率分为所述子图标签的概率与对应的所述备选原图的原图标签的概率之和再乘以重合系数g，g为大于1的自然数；
所述非重合处理模块，用于设置所述子图标签的标签概率分为所述子图标签的概率。
较佳地，所述系统还包括：
历史数据获取模块，用于获取历史数据，每条所述历史数据包括对应的历史推荐语标题、历史推荐语文章、历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目、所述历史对象的属性信息；
第一模型生成模块，用于使用所述历史数据生成所述图像分类模型。
较佳地，所述系统还包括：
配图定位模块，用于使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S；
数据融合模块，用于将所述历史数据与相应的所述坐标位置S融合，得到第一数据；
第二模型生成模块，用于使用所述第一数据生成所述图像切割位置模型。
较佳地，
所述配图定位模块包括：
子区域坐标获取模块，用于设所述历史配图的宽为w，高为h，分别从所述历史配图的四角上获取四个正方形片的子区域的坐标，分别为第一子区域的坐标L[(0，0)(a，a)]，第二子区域的坐标R[(w-a，0)(w-a，a)]，第三子区域的坐标B[(0，h-a)(a，h-a)]，第四子区域的坐标C[(w-a，h-a)(w-1，h-1)]，其中，a为正实数；
颜色处理模块，用于将所述历史配图和所述历史原图形成RGB颜色空间；
第一偏移处理模块，用于利用所述第一子区域对所述历史原图滑动扫描，以查询到像素点差之和最小的区域并记录为第一过渡区域；
第二偏移处理模块，用于根据所述第一过渡区域检查w宽像素偏移后的面片在所述历史原图上是否匹配坐标B，若是，则记录为第二过渡区域，调用第三偏移处理模块，若否，则调用所述第一偏移处理模块；
所述第三偏移处理模块，用于根据所述第二过渡区域检查h偏移h高度的位置后的面片在所述历史原图上是否匹配坐标C，若是，则记录为第三过渡区域，调用第四偏移处理模块，若否，则调用所述第一偏移处理模块；
所述第四偏移处理模块，用于根据所述第三过渡区域检查-w宽像素偏移后的面片在所述历史原图上是否匹配坐标R，若否，则调用所述第一偏移处理模块，若是，则调用坐标计算模块；
所述坐标计算模块，用于根据所述第一过渡区域的上坐标(s1，s2)计算所述历史配图在所述历史原图上的右下角坐标(e1＝s1+w，e2＝s2+h)，得到所述坐标位置S(s1，s2)，(e1，e2)。
较佳地，
所述数据融合模块包括：
数据清洗模块，用于对所述历史数据进行清洗以得到清洗后数据；
第一词集合获取模块，用于对每条所述清洗后数据中的所述历史推荐语标题分词并提取所有的名词，以得到第一词集合；
第二词集合获取模块，用于对每条所述清洗后数据中的所述历史推荐语文章、所述历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目分词并提取所有的名词，以得到第二词集合；
第三词集合获取模块，用于对每条所述清洗后数据中的所述历史对象的属性项和属性值分词并提取名词，以得到第三词集合；
第四词集合获取模块，用于将所述第二词集合、所述第一词集合以及所述第三词集合合并得到第四词集合，将所述第四词集合中重复的名词计数得到每个名词的词频；
词频计算模块，用于将所述第四词集合中为近义词的名词对合并并累计计算词频；
提取后数据获取模块，用于提取所述第四词集合中的词频最高的x个名词作为词标签增加到相应的所述清洗后数据中，以得到提取后数据，x为大于等于2的自然数；
融合执行模块，用于将每条所述提取后数据与相应的所述坐标位置S融合，得到所述第一数据。
较佳地，
所述历史数据获取模块用于从数据库中获取已经编辑并审核通过的所述历史数据；
所述数据清洗模块包括：
第一聚类模块，用于对所有的所述历史对象所属的类目进行聚类，统计所有的所述历史数据中每个所述类目所含有的所述历史数据的条目数量M，M为自然数；删除所述条目数量M小于预设数量N的所述类目下的所有的所述历史数据，剩余的每条所述历史数据为第一聚类数据，N为自然数；
清洗执行模块，用于对每条所述第一聚类数据中所述历史对象的所述属性项和所述属性值进行清洗，以排除空和/或异常的所述属性项和所述属性值对应的所述第一聚类数据，剩余的所述第一聚类数据为第二聚类数据；
第二聚类模块，用于对每条所述第二聚类数据中所述历史对象的所述属性项和所述属性值进行聚类，统计所有的所述第二聚类数据中出现的所述属性值的次数并记录为J，J为自然数，保留J大于等于预设次数U的所述属性值以及对应的所述属性项所对应的所述第二聚类数据为所述清洗后数据，U为自然数。
较佳地，
所述第一模型生成模块用于使用所述历史数据利用resnet或vgg或alexnet进行f轮次的训练生成所述图像分类模型，f为大于4的自然数。
较佳地，
所述第二模型生成模块包括：
正负样本生成模块，用于以所述第一数据中的所述坐标位置S为中心随机在所述坐标位置S周围生成若干兴趣区域，计算所述坐标位置S与每个所述兴趣区域的比值F，判断所述比值F是否大于等于预设系数z，若是，则设置对应的所述兴趣区域为正样本，若否，则设置对应的所述兴趣区域为负样本，所述预设系数z为大于0且小于1的数；
区域推荐训练模块，用于使用所述正样本和所述负样本利用Faster-RCNN或YOLO或SSD进行兴趣区域推荐部分的模型训练，输入的参数为所述兴趣区域的坐标；
配图分类训练模块，用于使用所述第一数据中的所述词标签利用Faster-RCNN或YOLO或SSD进行分类部分的模型训练，以得到所述图像切割位置模型。
本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的生成对象的推荐语的配图的方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述的生成对象的推荐语的配图的方法的步骤。
本发明的积极进步效果在于：本发明提供的生成对象的推荐语的配图的方法、系统、设备及存储介质在为对象的推荐语进行配图时，不仅考虑了推荐语标题，还同时考虑了推荐语文章以及该推荐语针对的对象的属性信息，由此选择的备选原图与该对象的推荐语的匹配精度更高。进一步地，综合考虑了切割位置的分类与原图的切割分类的结合，即综合切割区域的标签概率以及原始图像的标签概率，选择最优的切割方案，最终选取最优适配的图像区域作为对象的推荐语的配图。
附图说明
图1为本发明实施例1的生成对象的推荐语的配图的方法的部分流程图。
图2为本发明实施例1的生成对象的推荐语的配图的方法的部分流程图。
图3为图2中步骤203的流程图。
图4为图2中步骤204的流程图。
图5为图2中步骤205的流程图。
图6为本发明实施例3的电子设备的结构示意图。
图7为基于本发明的技术构思实现的用于自动生成商品的推荐语的配图系统的示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例提供了一种生成对象的推荐语的配图的方法，其中，所述对象的每篇所述推荐语包括推荐语标题和推荐语文章。该方法包括以下步骤：
步骤101、使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个所述原图标签的概率K，k为大于等于2的自然数。
步骤102、获取所述对象的属性信息，所述属性信息包括属性项以及对应的属性值。
步骤103、提取所述属性项、所述属性值、所述推荐语标题及所述推荐语文章中的关键词及每个所述关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合，y为大于等于2的自然数。
步骤104、对所述推荐语标签的集合中的每个所述推荐语标签，依次在所述原图标签的集合中查询，以得到对应的m张所述待选择的原图，m为大于等于2的自然数。
步骤105、将y*m个所述待选择的原图按照所查询出的概率排序，抽取概率最高的n张所述待选择的原图作为所述对象的推荐语的备选原图，n为大于等于1的自然数。
步骤106、使用训练好的图像切割位置模型对每张所述备选原图进行预测，以为每张所述备选原图检测到对应的c个区域以及每个区域所对应的子图标签和所述子图标签的概率，c为大于等于2的自然数。
步骤107、根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分。
该步骤具体包括：判断所述区域所对应的每个所述子图标签与对应的所述备选原图的原图标签是否重合，若是，则设置所述子图标签的标签概率分为所述子图标签的概率与对应的所述备选原图的原图标签的概率之和再乘以重合系数g，g为大于1的正实数；若否，则设置所述子图标签的标签概率分为所述子图标签的概率。
步骤108、选取所述标签概率分最高的所述子图标签所在的所述区域作为所述对象的推荐语的配图。
如图2所示，本实施例提供的方法还包括以下步骤：
步骤201、从数据库中获取已经编辑并审核通过的所述历史数据，每条所述历史数据包括对应的历史推荐语标题、历史推荐语文章、历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目、所述历史对象的属性信息。
本实施例中，历史数据包括达人写的现有的文章，该文章中包括标题、文章正文、相应的配图以及该配图的原图，还对应有哪一个对象，也能够获得该对象所属的类别以及该对象的属性信息等。
步骤202、使用所述历史数据利用resnet或vgg或alexnet进行f轮次的训练生成所述图像分类模型，f为大于4的自然数。
步骤203、使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S。
本实施例中，利用历史配图的四角坐标实现在历史原图上的定位，该种定位方式计算量小，速度快，能够在兼顾定位准确度的同时提高定位的效率。
步骤204、将所述历史数据与相应的所述坐标位置S融合，得到第一数据。
步骤205、使用所述第一数据生成所述图像切割位置模型。
如图3所示，步骤203具体包括：
步骤301、设所述历史配图的宽为w，高为h，分别从所述历史配图的四角上获取四个正方形的子区域的坐标，分别为第一子区域的坐标L[(0，0)(a，a)]，第二子区域的坐标R[(w-a，0)(w-a，a)]，第三子区域的坐标B[(0，h-a)(a，h-a)]，第四子区域的坐标C[(w-a，h-a)(w-1，h-1)]，其中，a为正实数。
步骤302、将所述历史配图和所述历史原图形成RGB颜色空间。
步骤303、利用所述第一子区域对所述历史原图滑动扫描，以查询到像素点差之和最小的区域并记录为第一过渡区域。
步骤304、根据所述第一过渡区域检查w宽像素偏移后的面片在所述历史原图上是否匹配坐标B，若是，则记录为第二过渡区域，若否，则返回步骤303。
步骤305、根据所述第二过渡区域检查h偏移h高度的位置后的面片在所述历史原图上是否匹配坐标C，若是，则记录为第三过渡区域，若否，则返回步骤303。
步骤306、根据所述第三过渡区域检查-w宽像素偏移后的面片在所述历史原图上是否匹配坐标R，若否则返回步骤303。
步骤307、根据所述第一过渡区域的上角坐标(s1，s2)计算所述历史配图在所述历史原图上的右下角坐标(e1＝s1+w，e2＝s2+h)，得到所述坐标位置S(s1，s2)，(e1，e2)。
如图4所示，步骤204具体包括：
步骤401、对所述历史数据进行清洗以得到清洗后数据。
步骤402、对每条所述清洗后数据中的所述历史推荐语标题分词并提取所有的名词，以得到第一词集合。
步骤403、对每条所述清洗后数据中的所述历史推荐语文章、所述历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目分词并提取所有的名词，以得到第二词集合。
步骤404、对每条所述清洗后数据中的所述历史对象的属性项和属性值分词并提取名词，以得到第三词集合。
步骤405、将所述第二词集合、所述第一词集合以及所述第三词集合合并得到第四词集合，将所述第四词集合中重复的名词计数得到每个名词的词频。
步骤406、将所述第四词集合中为近义词的名词对合并并累计计算词频。
步骤407、提取所述第四词集合中的词频最高的x个名词作为词标签增加到相应的所述清洗后数据中，以得到提取后数据，x为大于等于2的自然数。
步骤408、将每条所述提取后数据与相应的所述坐标位置S融合，得到所述第一数据。
其中步骤401具体包括：
对所有的所述历史对象所属的类目进行聚类，统计所有的所述历史数据中每个所述类目所含有的所述历史数据的条目数量M，M为自然数；删除所述条目数量M小于预设数量N的所述类目下的所有的所述历史数据，剩余的每条所述历史数据为第一聚类数据，N为自然数。
对每条所述第一聚类数据中所述历史对象的所述属性项和所述属性值进行清洗，以排除空和/或异常的所述属性项和所述属性值对应的所述第一聚类数据，剩余的所述第一聚类数据为第二聚类数据。
对每条所述第二聚类数据中所述历史对象的所述属性项和所述属性值进行聚类，统计所有的所述第二聚类数据中出现的所述属性值的次数并记录为J，J为自然数，保留J大于等于预设次数U的所述属性值以及对应的所述属性项所对应的所述第二聚类数据为所述清洗后数据，U为自然数。
如图5所示，步骤205具体包括：
步骤501、以所述第一数据中的所述坐标位置S为中心随机在所述坐标位置S周围生成若干兴趣区域，计算所述坐标位置S与每个所述兴趣区域的比值F，判断所述比值F是否大于等于预设系数z，若是，则设置对应的所述兴趣区域为正样本，若否，则设置对应的所述兴趣区域为负样本，所述预设系数z为大于0且小于1的数。
步骤502、使用所述正样本和所述负样本利用Faster-RCNN或YOLO或SSD进行兴趣区域推荐部分的模型训练，输入的参数为所述兴趣区域的坐标。
步骤503、使用所述第一数据中的所述词标签利用Faster-RCNN或YOLO或SSD进行分类部分的模型训练，以得到所述图像切割位置模型。
本实施例中，在为对象的推荐语进行配图时，不仅考虑了推荐语标题，还同时考虑了推荐语文章以及该推荐语针对的对象的属性信息，由此选择的备选原图与该对象的推荐语的匹配精度更高。本实施例实现了自适应配图切割，所采用的配图切割选取算法综合考虑了切割区域的标签与原始图像的标签重合时标签概率分的具体的计算方式。本实施例不是单单考虑切割区域的标签的概率这一种情况，而是先选若干备选原图，每个备选原图中再选若干区域，因为备选原图匹配风格，区域也匹配风格，所以综合考虑原图和区域所选择的配图更加合理。本实施例中每个区域对应的子图标签的标签概率分不仅考虑了区域本身标签的概率，同时还包括了该区域所在母图即备选原图这一因子，由此计算出的每个子图标签的标签概率分更加合理，最终选取的配图与该对象的推荐语的匹配精度更高。
实施例2
本实施例提供了一种生成对象的推荐语的配图的系统，所述对象的每篇所述推荐语包括推荐语标题和推荐语文章。
所述配图的系统包括：
原图预测模块，用于使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个所述原图标签的概率K，k为大于等于2的自然数。
属性信息获取模块，用于获取所述对象的属性信息，所述属性信息包括属性项以及对应的属性值。
推荐语标签提取模块，用于提取所述属性项、所述属性值、所述推荐语标题及所述推荐语文章中的关键词及每个所述关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合，y为大于等于2的自然数。
原图查询模块，用于对所述推荐语标签的集合中的每个所述推荐语标签，依次在所述原图标签的集合中查询，以得到对应的m张所述待选择的原图，m为大于等于2的自然数。
备选原图抽取模块，用于将y*m个所述待选择的原图按照所查询出的概率排序，抽取概率最高的n张所述待选择的原图作为所述对象的推荐语的备选原图，n为大于等于1的自然数。
切割区域预测模块，用于使用训练好的图像切割位置模型对每张所述备选原图进行预测，以为每张所述备选原图检测到对应的c个区域以及每个区域所对应的子图标签和所述子图标签的概率，c为大于等于2的自然数。
分数计算模块，用于根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分。
其中，所述分数计算模块包括：
重合判断模块，用于判断所述区域所对应的每个所述子图标签与对应的所述备选原图的原图标签是否重合，若是，则调用重合处理模块；若否，则调用非重合处理模块。
所述重合处理模块，用于设置所述子图标签的标签概率分为所述子图标签的概率与对应的所述备选原图的原图标签的概率之和再乘以重合系数g，g为大于1的自然数。
所述非重合处理模块，用于设置所述子图标签的标签概率分为所述子图标签的概率。
配图选取模块，用于选取所述标签概率分最高的所述子图标签所在的所述区域作为所述对象的推荐语的配图。
历史数据获取模块，用于从数据库中获取已经编辑并审核通过的所述历史数据，每条所述历史数据包括对应的历史推荐语标题、历史推荐语文章、历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目、所述历史对象的属性信息。
第一模型生成模块，用于使用所述历史数据利用resnet或vgg或alexnet进行f轮次的训练生成所述图像分类模型，f为大于4的自然数。
配图定位模块，用于使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S。
其中，所述配图定位模块包括：
子区域坐标获取模块，用于设所述历史配图的宽为w，高为h，分别从所述历史配图的四角上获取四个正方形片的子区域的坐标，分别为第一子区域的坐标L[(0，0)(a，a)]，第二子区域的坐标R[(w-a，0)(w-a，a)]，第三子区域的坐标B[(0，h-a)(a，h-a)]，第四子区域的坐标C[(w-a，h-a)(w-1，h-1)]，其中，a为正实数。
颜色处理模块，用于将所述历史配图和所述历史原图形成RGB颜色空间。
第一偏移处理模块，用于利用所述第一子区域对所述历史原图滑动扫描，以查询到像素点差之和最小的区域并记录为第一过渡区域。
第二偏移处理模块，用于根据所述第一过渡区域检查w宽像素偏移后的面片在所述历史原图上是否匹配坐标B，若是，则记录为第二过渡区域，调用第三偏移处理模块，若否，则调用所述第一偏移处理模块。
所述第三偏移处理模块，用于根据所述第二过渡区域检查h偏移h高度的位置后的面片在所述历史原图上是否匹配坐标C，若是，则记录为第三过渡区域，调用第四偏移处理模块，若否，则调用所述第一偏移处理模块。
所述第四偏移处理模块，用于根据所述第三过渡区域检查-w宽像素偏移后的面片在所述历史原图上是否匹配坐标R，若否，则调用所述第一偏移处理模块，若是，则调用坐标计算模块。
所述坐标计算模块，用于根据所述第一过渡区域的上坐标(s1，s2)计算所述历史配图在所述历史原图上的右下角坐标(e1＝s1+w，e2＝s2+h)，得到所述坐标位置S(s1，s2)，(e1，e2)。
数据融合模块，用于将所述历史数据与相应的所述坐标位置S融合，得到第一数据。
其中，所述数据融合模块包括：数据清洗模块，用于对所述历史数据进行清洗以得到清洗后数据。
其中，所述数据清洗模块包括：
第一聚类模块，用于对所有的所述历史对象所属的类目进行聚类，统计所有的所述历史数据中每个所述类目所含有的所述历史数据的条目数量M，M为自然数；删除所述条目数量M小于预设数量N的所述类目下的所有的所述历史数据，剩余的每条所述历史数据为第一聚类数据，N为自然数。
清洗执行模块，用于对每条所述第一聚类数据中所述历史对象的所述属性项和所述属性值进行清洗，以排除空和/或异常的所述属性项和所述属性值对应的所述第一聚类数据，剩余的所述第一聚类数据为第二聚类数据。
第二聚类模块，用于对每条所述第二聚类数据中所述历史对象的所述属性项和所述属性值进行聚类，统计所有的所述第二聚类数据中出现的所述属性值的次数并记录为J，J为自然数，保留J大于等于预设次数U的所述属性值以及对应的所述属性项所对应的所述第二聚类数据为所述清洗后数据，U为自然数。
第一词集合获取模块，用于对每条所述清洗后数据中的所述历史推荐语标题分词并提取所有的名词，以得到第一词集合。
第二词集合获取模块，用于对每条所述清洗后数据中的所述历史推荐语文章、所述历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目分词并提取所有的名词，以得到第二词集合。
第三词集合获取模块，用于对每条所述清洗后数据中的所述历史对象的属性项和属性值分词并提取名词，以得到第三词集合。
第四词集合获取模块，用于将所述第二词集合、所述第一词集合以及所述第三词集合合并得到第四词集合，将所述第四词集合中重复的名词计数得到每个名词的词频。
词频计算模块，用于将所述第四词集合中为近义词的名词对合并并累计计算词频。
提取后数据获取模块，用于提取所述第四词集合中的词频最高的x个名词作为词标签增加到相应的所述清洗后数据中，以得到提取后数据，x为大于等于2的自然数。
融合执行模块，用于将每条所述提取后数据与相应的所述坐标位置S融合，得到所述第一数据。
第二模型生成模块，用于使用所述第一数据生成所述图像切割位置模型。
其中，所述第二模型生成模块包括：
正负样本生成模块，用于以所述第一数据中的所述坐标位置S为中心随机在所述坐标位置S周围生成若干兴趣区域，计算所述坐标位置S与每个所述兴趣区域的比值F，判断所述比值F是否大于等于预设系数z，若是，则设置对应的所述兴趣区域为正样本，若否，则设置对应的所述兴趣区域为负样本，所述预设系数z为大于0且小于1的数。
区域推荐训练模块，用于使用所述正样本和所述负样本利用Faster-RCNN或YOLO或SSD进行兴趣区域推荐部分的模型训练，输入的参数为所述兴趣区域的坐标。
配图分类训练模块，用于使用所述第一数据中的所述词标签利用Faster-RCNN或YOLO或SSD进行分类部分的模型训练，以得到所述图像切割位置模型。
实施例3
图6为本发明实施例3提供的一种电子设备的结构示意图。所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例1的生成对象的推荐语的配图的方法。图6显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1所提供的生成对象的推荐语的配图的方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现实施例1所提供的生成对象的推荐语的配图的方法的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现实施例1所述的生成对象的推荐语的配图的方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
下面继续通过具体的例子，进一步说明本发明的技术方案和技术效果。
如图7所示，基于本发明的技术构思实现的用于自动生成商品的推荐语的配图系统可以包括六个子系统：一、数据素材获取与清洗子系统。二、图像素材位置匹配定位子系统。三、推荐语关键词与商品属性抽取子系统。四、配图切割模型训练子系统。五、推荐整图子系统。六、自适应配图切割子系统。下面分别介绍各个子系统，其中所使用的字母同前述的文字含义均各自独立，仅在本例子中有效：
一、数据获取与清洗子系统
步骤1：从现有的线上数据库中获取已经人工编辑并审核通过推荐语、标题、配图url(统一资源定位符)链接、原始图url链接，所含电商商品skuId(商品编码)集合，所属电商类目id(标示符)集合。逐行保存，产生唯一标识id，articileId(文章编码)为样本的唯一索引。
步骤2：依据步骤1的结果逐行下载配图url链接、全图url链接的图片保存到本地计算机磁盘。替换url链接为本地磁盘路径。如果url下载异常，或者图像损坏，排除该样本，删除其索引articileId。得到训练集合A。
步骤3：依据步骤1的结果逐行通过skuId查询sku(商品)的销售属性信息，包含但不限于(颜色，款式，大小，适用人群，模块，适用场合，适用季节等)，按行保存所有相关属性项，以及属性值信息。
步骤4：依据步骤2的结果，通过对电商类目id的聚类，统计本集合每个电商类目id所含有的数据条目数量M。扫描全部样本集合，排除如下电商类目id为集合E：其条目数量M小于或者等于N的样本articileId，N＝100或者其他数字。通过E排除原始样本集合A中较少类目的样本信息。得到清洗后的样本集合T。
步骤5：依据步骤4的结果，对训练集合T中的每一个条目中的商品skuId的销售属性项以及属性值清洗和聚类，排除空和/或异常属性项属性值。统计训练集合T中出现的销售属性值的次数并记录为k，形成销售属性值->出现次数k的键值对。对k从高到低排序，保留k>＝u(u＝1或2或3等等)，也就是前u个出现次数最多的销售属性值以及它所属的属性项，记录为D。清洗训练集合T，保留商品中含有属性项和属性值属于D的skuid。
二、图像素材位置匹配定位子系统
利用子系统一的输出结果，打开磁盘上的配图P与原始图V，进行四角坐标匹配。具体做法如下：
步骤6：设P的宽为w高为h，分别从P四角上获取如下四个正方形片坐标。L[(0，0)(a，a)]，R[(w-a，0)(w-a，a)]。B，[(0，h-a)(a，h-a)]，C[(w-a，h-a)(w-1，h-1)]。上述参数a可以任意取值。
步骤7：将配图P和原始图V形成统一的RGB颜色空间。
先将子区域L(步骤6产生)对整个原始图V滑动扫描，查询到像素点差之和最小的区域，作为候选区域并记录为S1。
步骤8：根据S1检查w宽像素偏移后的面片在原始图V上是否匹配R(步骤6产生)，如果失败回到步骤7，成功则记录为候选区域S2。
步骤9：根据S2检查h偏移h高度的位置后的面片，在原始图V上是否匹配C(步骤6产生)，如果失败回到步骤7，成功则记录为候选区域S3。
步骤10：根据S3检查-w宽像素偏移后(从S3坐标开始向左偏移w像素)的面片在原始图V上是否匹配R(步骤6产生)，如果失败返回步骤7，如果成功则准备执行步骤11。
步骤11：根据S1的上坐标(s1，s2),可以直接计算出最终配图在原图上的右下角坐标(e1＝s1+w，e2＝s2+h)。
步骤12：依据索引articileId保存配图在主图上的最终坐标位置S(s1，s2)，(e1，e2)。
三、推荐语关键词与商品属性抽取子系统
选择的配图与原始图像，必然是与我们的商品推荐语，推荐标题有相关联的关系。因此可以提取隐含原始图与配图的标签并记录下来。
步骤13：将推荐标题，通过分词系统，提取所有的名词，得到词集合Q。
步骤14：将推荐语短文，通过分词系统，提取所有的名词，得到词集合P。
步骤15：将步骤13，步骤14的P与Q合并得到词集合T，将重复或相同的词计数得到词频。
步骤16：利用步骤3的到sku属性信息，将所有的属性项，属性值提取并通过分词器，提取名词得到词集合U。
步骤17：将U与T合并计数得到词集合L，更新词频。
步骤18：将L中的近义词对合并并累计词频。提取L中的词频最高的y个词作为标签，将y个标签追缴到索引articleId之后。y建议＝5，也可以为其他数值。
四、配图切割模型训练子系统
配图切割模型的训练分两个模块，1.原始图像的分类模型训练，2.对选定分类的原始图像切割位置模型的训练。
步骤19：通过步骤18可以获取到原始图相关的和所属的类目id，以及隐含的分类标签。利用包含但不限于resnet、vgg、alexnet等典型的卷积分类神经网络训练原始图像的类目分类以及标签。通过n轮次的训练n>＝5获得原始图像的对隐形标签和电商类目的分类。
步骤20：利用步骤12的结果，利用图像检测算法的框架进行模型训练，包含但不限于Faster-RCNN、YOLO、SSD等检测模型与算法，修改模型参数，anchor(候选框)的大小比例为配图的宽高比。
步骤21：利用位置S(由步骤12提供)，以位置S为中心随机在S周围生成兴趣区域(M1，M2，M3…)，并计算其感兴趣区域的比值F，计算公式如下：
，n等于1，2，3……。
F>＝z的即正样本否则为负样本，z建议为0.9，也可以等于其他数值。
步骤22：通过步骤21生成的正负样本，训练步骤20提到的图像检测模型算法中的ROI区域推荐部分。依次以单批次N个样本的过程训练。输入参数为(M1，M2，M3…)的坐标。
步骤23：依据步骤18的产生的标签，训练步骤20提到的图像检测模型算法中的分类部分。分别将训练的配图位置S与分类标签输入到模型算法中。与步骤19提到的训练过程一样，可以包含但不限于CPU(中央处理器)、GPU(图形处理器)、FPGA(现场可编程门阵列)专有AI(人工智能)芯片等硬件以及caffe、tensorflow、torch、cuda等各种软件框架。
步骤24：将这两种模型数据保存到磁盘或其他存储空间上。
五、推荐整图子系统
配图需要从原始的图像切割出，首先需要选择出适合推荐语主题与推荐商品集的原始图像。本子系统从海量已被算法模型标签的图库中抽取概率最高的标签原始图作为备选。
步骤25：通过包含但不限于爬虫系统，人工拍摄挑选等方式，保存海量的高分辨率图片到本地或者云端存储系统。标记每张图像的唯一索引为imgId。
步骤26：将步骤25保存下来的每张图像逐个通过步骤24所训练的模型进行预测，给出对应的k个标签集合以及对应概率K。k建议为5也可以是其他数字。同时对集合K中的标签按照概率从高到低排序。依照imgId为索引保存到数据库系统或其他存储系统。建立以标签映射到imgId的倒排索引。
步骤27：将新的推荐语文章，推荐标题，输入到推荐语关键词与商品属性抽取子系统中，并执行步骤13-18提取出文章的y个关键词(标签)集合，y建议＝5也可以其他。
步骤28：根据步骤27的结果，对这y个关键词(标签)，衍生出i*y个近义词加入到集合。共y+i*y个标签。i建议＝2也可以是其他值。
步骤29：赋予当前推荐语和标题新的articleId。根据步骤28的标签集合，对逐个标签依次通过步骤26所建立的标签索引中查询到对应的至多m个imgId，m建议为3，但可以等于其他值。将(y+i*y)*m个imgId按照所查询出的概率以此从高到低排序，抽取概率最高的k张图作为备选，k建议为5，但不限于任何数字。
步骤30：将新文章的article与k个imgId形成映射关系保存入数据库系统或着其他文件存储系统。
六、自适应配图切割子系统
根据步骤29，30所预测的k张原始图像以及其标签命中的概率，我们设计了一种算法综合切割区域的标签概率以及原始图像的标签概率，选择最优的切割方案。
步骤32：按照步骤29，30预测的k张原始图像，通过步骤23，24所训练的图像切割位置模型重新载入到内存或显存中。对k张图进行预测，检测到至多c个区域以及对应的分类标签和概率，c建议＝2，但可以是其他数值。
步骤33：对步骤32所产生的k*c个区域我们综合原始图像的概率分布来考虑。将k*c个区域中的每个标签检查并配置唯一索引rectId，同时查看对应的原始图像标签。如果原始图像中的某个标签与检测的标签有重合，那么设置这个rectId的分数E＝(rectId的label概率分+rectId所在的原始图像概率分)*g，g建议为1.5但也可以是其他数值。如果没有对应到相同的标签那么就直接使用切割区域自身的标签概率分，同时上述公式E也可以是其他通过检测切割出的区域label分与其所在的原始图像的label分得到的综合数值的公式。
步骤34：根据步骤33的结果我们得到了每个rectId下对应的标签概率分计算结果。对该结果排序选择分数最高的一个切割区域作为配图结果。
本系统利用商品属性，商品推荐短文以及标题，选取最适合的自然场景图片，自适应切割局部最优区域作为配图。与现有技术相比，使用了更为精确的Faster-RCNN、YOLO、SSD相关图像检测深度学习算法。同时，关联商品集合的销售属性，以及对推荐短文，推荐标题分词排序后协同学习模型，提供并分类检测图像，选取最优适配的图像区域作为推荐短文的配图。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (22)

1.一种生成对象的推荐语的配图的方法，其特征在于，所述对象的每篇所述推荐语包括推荐语标题和推荐语文章；所述配图的方法包括：
使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个所述原图标签的概率K，k为大于等于2的自然数；
获取所述对象的属性信息，所述属性信息包括属性项以及对应的属性值；
提取所述属性项、所述属性值、所述推荐语标题及所述推荐语文章中的关键词及每个所述关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合，y为大于等于2的自然数；
对所述推荐语标签的集合中的每个所述推荐语标签，依次在所述原图标签的集合中查询，以得到对应的m张所述待选择的原图，m为大于等于2的自然数；
将y*m个所述待选择的原图按照所查询出的概率排序，抽取概率最高的n张所述待选择的原图作为所述对象的推荐语的备选原图，n为大于等于1的自然数。
2.如权利要求1所述的生成对象的推荐语的配图的方法，其特征在于，所述方法还包括以下步骤：
使用训练好的图像切割位置模型对每张所述备选原图进行预测，以为每张所述备选原图检测到对应的c个区域以及每个区域所对应的子图标签和所述子图标签的概率，c为大于等于2的自然数；
根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分；
选取所述标签概率分最高的所述子图标签所在的所述区域作为所述对象的推荐语的配图。
3.如权利要求2所述的生成对象的推荐语的配图的方法，其特征在于，
根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分，包括：
判断所述区域所对应的每个所述子图标签与对应的所述备选原图的原图标签是否重合，若是，则设置所述子图标签的标签概率分为所述子图标签的概率与对应的所述备选原图的原图标签的概率之和再乘以重合系数g，g为大于1的实数；若否，则设置所述子图标签的标签概率分为所述子图标签的概率。
4.如权利要求2所述的生成对象的推荐语的配图的方法，其特征在于，所述方法还包括以下步骤：
获取历史数据，每条所述历史数据包括对应的历史推荐语标题、历史推荐语文章、历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目、所述历史对象的属性信息；
使用所述历史数据生成所述图像分类模型。
5.如权利要求4所述的生成对象的推荐语的配图的方法，其特征在于，所述方法还包括以下步骤：
使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S；
将所述历史数据与相应的所述坐标位置S融合，得到第一数据；
使用所述第一数据生成所述图像切割位置模型。
6.如权利要求5所述的生成对象的推荐语的配图的方法，其特征在于，
使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S，包括：
设所述历史配图的宽为w，高为h，分别从所述历史配图的四角上获取四个正方形的子区域的坐标，分别为第一子区域的坐标L[（0，0）（a，a）]，第二子区域的坐标R[（w-a，0）（w-a，a）]，第三子区域的坐标B[（0，h-a）（a，h-a）]，第四子区域的坐标C[（w-a，h-a）(w-1，h-1)]，其中，a为正实数；
将所述历史配图和所述历史原图形成RGB颜色空间；
利用所述第一子区域对所述历史原图滑动扫描，以查询到像素点差之和最小的区域并记录为第一过渡区域；
根据所述第一过渡区域检查w宽像素偏移后的面片在所述历史原图上是否匹配坐标B，若是，则记录为第二过渡区域，若否，则返回得到所述第一过渡区域的步骤；
根据所述第二过渡区域检查h偏移h高度的位置后的面片在所述历史原图上是否匹配坐标C，若是，则记录为第三过渡区域，若否，则返回得到所述第一过渡区域的步骤；
根据所述第三过渡区域检查-w宽像素偏移后的面片在所述历史原图上是否匹配坐标R，若否则返回得到所述第一过渡区域的步骤；
根据所述第一过渡区域的上角坐标（s1，s2）计算所述历史配图在所述历史原图上的右下角坐标（e1=s1+w，e2=s2+h），得到所述坐标位置S（s1，s2），(e1，e2)。
7.如权利要求6所述的生成对象的推荐语的配图的方法，其特征在于，
将所述历史数据与相应的所述坐标位置S融合，得到第一数据，包括：
对所述历史数据进行清洗以得到清洗后数据；
对每条所述清洗后数据中的所述历史推荐语标题分词并提取所有的名词，以得到第一词集合；
对每条所述清洗后数据中的所述历史推荐语文章、所述历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目分词并提取所有的名词，以得到第二词集合；
对每条所述清洗后数据中的所述历史对象的属性项和属性值分词并提取名词，以得到第三词集合；
将所述第二词集合、所述第一词集合以及所述第三词集合合并得到第四词集合，将所述第四词集合中重复的名词计数得到每个名词的词频；
将所述第四词集合中为近义词的名词对合并并累计计算词频；
提取所述第四词集合中的词频最高的x个名词作为词标签增加到相应的所述清洗后数据中，以得到提取后数据，x为大于等于2的自然数；
将每条所述提取后数据与相应的所述坐标位置S融合，得到所述第一数据。
8.如权利要求7所述的生成对象的推荐语的配图的方法，其特征在于，
获取所述历史数据，包括：
从数据库中获取已经编辑并审核通过的所述历史数据；
对所述历史数据进行清洗以得到清洗后数据，包括：
对所有的所述历史对象所属的类目进行聚类，统计所有的所述历史数据中每个所述类目所含有的所述历史数据的条目数量M，M为自然数；删除所述条目数量M小于预设数量N的所述类目下的所有的所述历史数据，剩余的每条所述历史数据为第一聚类数据，N为自然数；
对每条所述第一聚类数据中所述历史对象的所述属性项和所述属性值进行清洗，以排除空和/或异常的所述属性项和所述属性值对应的所述第一聚类数据，剩余的所述第一聚类数据为第二聚类数据；
对每条所述第二聚类数据中所述历史对象的所述属性项和所述属性值进行聚类，统计所有的所述第二聚类数据中出现的所述属性值的次数并记录为J，J为自然数，保留J大于等于预设次数U的所述属性值以及对应的所述属性项所对应的所述第二聚类数据为所述清洗后数据，U为自然数。
9.如权利要求4所述的生成对象的推荐语的配图的方法，其特征在于，
使用所述历史数据生成所述图像分类模型，包括：
使用所述历史数据利用resnet或vgg或alexnet进行f轮次的训练生成所述图像分类模型，f为大于4的自然数。
10.如权利要求7所述的生成对象的推荐语的配图的方法，其特征在于，
使用所述第一数据生成所述图像切割位置模型，包括：
以所述第一数据中的所述坐标位置S为中心随机在所述坐标位置S周围生成若干兴趣区域，计算所述坐标位置S与每个所述兴趣区域的比值F，判断所述比值F是否大于等于预设系数z，若是，则设置对应的所述兴趣区域为正样本，若否，则设置对应的所述兴趣区域为负样本，所述预设系数z为大于0且小于1的数；
使用所述正样本和所述负样本利用Faster-RCNN或YOLO或SSD进行兴趣区域推荐部分的模型训练，输入的参数为所述兴趣区域的坐标；
使用所述第一数据中的所述词标签利用Faster-RCNN或YOLO或SSD进行分类部分的模型训练，以得到所述图像切割位置模型。
11.一种生成对象的推荐语的配图的系统，其特征在于，所述对象的每篇所述推荐语包括推荐语标题和推荐语文章；所述配图的系统包括：
原图预测模块，用于使用训练好的图像分类模型对每张待选择的原图进行预测，以得到对应的k个原图标签的集合以及每个所述原图标签的概率K，k为大于等于2的自然数；
属性信息获取模块，用于获取所述对象的属性信息，所述属性信息包括属性项以及对应的属性值；
推荐语标签提取模块，用于提取所述属性项、所述属性值、所述推荐语标题及所述推荐语文章中的关键词及每个所述关键词对应的词频，将所述词频最高的y个关键词作为推荐语标签的集合，y为大于等于2的自然数；
原图查询模块，用于对所述推荐语标签的集合中的每个所述推荐语标签，依次在所述原图标签的集合中查询，以得到对应的m张所述待选择的原图，m为大于等于2的自然数；
备选原图抽取模块，用于将y*m个所述待选择的原图按照所查询出的概率排序，抽取概率最高的n张所述待选择的原图作为所述对象的推荐语的备选原图，n为大于等于1的自然数。
12.如权利要求11所述的生成对象的推荐语的配图的系统，其特征在于，所述系统还包括：
切割区域预测模块，用于使用训练好的图像切割位置模型对每张所述备选原图进行预测，以为每张所述备选原图检测到对应的c个区域以及每个区域所对应的子图标签和所述子图标签的概率，c为大于等于2的自然数；
分数计算模块，用于根据每个所述区域所对应的子图标签和对应的所述子图标签的概率，以及所述区域所在的所述备选原图的原图标签以及对应的所述原图标签的概率计算每个所述区域的每个所述子图标签的标签概率分；
配图选取模块，用于选取所述标签概率分最高的所述子图标签所在的所述区域作为所述对象的推荐语的配图。
13.如权利要求12所述的生成对象的推荐语的配图的系统，其特征在于，
所述分数计算模块包括：
重合判断模块，用于判断所述区域所对应的每个所述子图标签与对应的所述备选原图的原图标签是否重合，若是，则调用重合处理模块；若否，则调用非重合处理模块；
所述重合处理模块，用于设置所述子图标签的标签概率分为所述子图标签的概率与对应的所述备选原图的原图标签的概率之和再乘以重合系数g，g为大于1的实数；
所述非重合处理模块，用于设置所述子图标签的标签概率分为所述子图标签的概率。
14.如权利要求12所述的生成对象的推荐语的配图的系统，其特征在于，所述系统还包括：
历史数据获取模块，用于获取历史数据，每条所述历史数据包括对应的历史推荐语标题、历史推荐语文章、历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目、所述历史对象的属性信息；
第一模型生成模块，用于使用所述历史数据生成所述图像分类模型。
15.如权利要求14所述的生成对象的推荐语的配图的系统，其特征在于，所述系统还包括：
配图定位模块，用于使用每条所述历史数据中的所述历史配图的四角坐标与所述历史原图进行匹配，以得到所述历史配图在所述历史原图上的坐标位置S；
数据融合模块，用于将所述历史数据与相应的所述坐标位置S融合，得到第一数据；
第二模型生成模块，用于使用所述第一数据生成所述图像切割位置模型。
16.如权利要求15所述的生成对象的推荐语的配图的系统，其特征在于，
所述配图定位模块包括：
子区域坐标获取模块，用于设所述历史配图的宽为w，高为h，分别从所述历史配图的四角上获取四个正方形片的子区域的坐标，分别为第一子区域的坐标L[（0，0）（a，a）]，第二子区域的坐标R[（w-a，0）（w-a，a）]，第三子区域的坐标B[（0，h-a）（a，h-a）]，第四子区域的坐标C[（w-a，h-a）(w-1，h-1)]，其中，a为正实数；
颜色处理模块，用于将所述历史配图和所述历史原图形成RGB颜色空间；
第一偏移处理模块，用于利用所述第一子区域对所述历史原图滑动扫描，以查询到像素点差之和最小的区域并记录为第一过渡区域；
第二偏移处理模块，用于根据所述第一过渡区域检查w宽像素偏移后的面片在所述历史原图上是否匹配坐标B，若是，则记录为第二过渡区域，调用第三偏移处理模块，若否，则调用所述第一偏移处理模块；
所述第三偏移处理模块，用于根据所述第二过渡区域检查h偏移h高度的位置后的面片在所述历史原图上是否匹配坐标C，若是，则记录为第三过渡区域，调用第四偏移处理模块，若否，则调用所述第一偏移处理模块；
所述第四偏移处理模块，用于根据所述第三过渡区域检查-w宽像素偏移后的面片在所述历史原图上是否匹配坐标R，若否，则调用所述第一偏移处理模块，若是，则调用坐标计算模块；
所述坐标计算模块，用于根据所述第一过渡区域的上坐标（s1，s2）计算所述历史配图在所述历史原图上的右下角坐标（e1=s1+w，e2=s2+h），得到所述坐标位置S（s1，s2），(e1，e2)。
17.如权利要求16所述的生成对象的推荐语的配图的系统，其特征在于，
所述数据融合模块包括：
数据清洗模块，用于对所述历史数据进行清洗以得到清洗后数据；
第一词集合获取模块，用于对每条所述清洗后数据中的所述历史推荐语标题分词并提取所有的名词，以得到第一词集合；
第二词集合获取模块，用于对每条所述清洗后数据中的所述历史推荐语文章、所述历史配图、所述历史配图对应的历史原图、历史对象、所述历史对象所属的类目分词并提取所有的名词，以得到第二词集合；
第三词集合获取模块，用于对每条所述清洗后数据中的所述历史对象的属性项和属性值分词并提取名词，以得到第三词集合；
第四词集合获取模块，用于将所述第二词集合、所述第一词集合以及所述第三词集合合并得到第四词集合，将所述第四词集合中重复的名词计数得到每个名词的词频；
词频计算模块，用于将所述第四词集合中为近义词的名词对合并并累计计算词频；
提取后数据获取模块，用于提取所述第四词集合中的词频最高的x个名词作为词标签增加到相应的所述清洗后数据中，以得到提取后数据，x为大于等于2的自然数；
融合执行模块，用于将每条所述提取后数据与相应的所述坐标位置S融合，得到所述第一数据。
18.如权利要求17所述的生成对象的推荐语的配图的系统，其特征在于，
所述历史数据获取模块用于从数据库中获取已经编辑并审核通过的所述历史数据；
所述数据清洗模块包括：
第一聚类模块，用于对所有的所述历史对象所属的类目进行聚类，统计所有的所述历史数据中每个所述类目所含有的所述历史数据的条目数量M，M为自然数；删除所述条目数量M小于预设数量N的所述类目下的所有的所述历史数据，剩余的每条所述历史数据为第一聚类数据，N为自然数；
清洗执行模块，用于对每条所述第一聚类数据中所述历史对象的所述属性项和所述属性值进行清洗，以排除空和/或异常的所述属性项和所述属性值对应的所述第一聚类数据，剩余的所述第一聚类数据为第二聚类数据；
第二聚类模块，用于对每条所述第二聚类数据中所述历史对象的所述属性项和所述属性值进行聚类，统计所有的所述第二聚类数据中出现的所述属性值的次数并记录为J，J为自然数，保留J大于等于预设次数U的所述属性值以及对应的所述属性项所对应的所述第二聚类数据为所述清洗后数据，U为自然数。
19.如权利要求14所述的生成对象的推荐语的配图的系统，其特征在于，
所述第一模型生成模块用于使用所述历史数据利用resnet或vgg或alexnet进行f轮次的训练生成所述图像分类模型，f为大于4的自然数。
20.如权利要求17所述的生成对象的推荐语的配图的系统，其特征在于，
所述第二模型生成模块包括：
正负样本生成模块，用于以所述第一数据中的所述坐标位置S为中心随机在所述坐标位置S周围生成若干兴趣区域，计算所述坐标位置S与每个所述兴趣区域的比值F，判断所述比值F是否大于等于预设系数z，若是，则设置对应的所述兴趣区域为正样本，若否，则设置对应的所述兴趣区域为负样本，所述预设系数z为大于0且小于1的数；
区域推荐训练模块，用于使用所述正样本和所述负样本利用Faster-RCNN或YOLO或SSD进行兴趣区域推荐部分的模型训练，输入的参数为所述兴趣区域的坐标；
配图分类训练模块，用于使用所述第一数据中的所述词标签利用Faster-RCNN或YOLO或SSD进行分类部分的模型训练，以得到所述图像切割位置模型。
21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一项所述的生成对象的推荐语的配图的方法。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的生成对象的推荐语的配图的方法的步骤。
CN201810588463.2A 2018-06-08 2018-06-08 生成对象的推荐语的配图的方法、系统、设备及存储介质 Active CN110580299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810588463.2A CN110580299B (zh) 2018-06-08 2018-06-08 生成对象的推荐语的配图的方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810588463.2A CN110580299B (zh) 2018-06-08 2018-06-08 生成对象的推荐语的配图的方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110580299A CN110580299A (zh) 2019-12-17
CN110580299B true CN110580299B (zh) 2023-11-07

Family

ID=68809670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810588463.2A Active CN110580299B (zh) 2018-06-08 2018-06-08 生成对象的推荐语的配图的方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110580299B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860575B (zh) * 2020-06-05 2023-06-16 百度在线网络技术（北京）有限公司 物品属性信息的处理方法、装置、电子设备和存储介质
CN116740578B (zh) * 2023-08-14 2023-10-27 北京数慧时空信息技术有限公司 基于用户选择的遥感影像推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150015062A (ko) * 2013-07-30 2015-02-10 주식회사 케이티 이미지를 추천하는 장치 및 방법
CN106355429A (zh) * 2016-08-16 2017-01-25 北京小米移动软件有限公司 图像素材的推荐方法及装置
CN106503055A (zh) * 2016-09-27 2017-03-15 天津大学 一种从结构化文本到图像描述的生成方法
CN106650756A (zh) * 2016-12-28 2017-05-10 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于知识迁移的多模态循环神经网络的图像文本描述方法
CN106919571A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 获取与搜索关键词相匹配的图片的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150015062A (ko) * 2013-07-30 2015-02-10 주식회사 케이티 이미지를 추천하는 장치 및 방법
CN106919571A (zh) * 2015-12-24 2017-07-04 北京奇虎科技有限公司 获取与搜索关键词相匹配的图片的方法及装置
CN106355429A (zh) * 2016-08-16 2017-01-25 北京小米移动软件有限公司 图像素材的推荐方法及装置
CN106503055A (zh) * 2016-09-27 2017-03-15 天津大学 一种从结构化文本到图像描述的生成方法
CN106650756A (zh) * 2016-12-28 2017-05-10 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于知识迁移的多模态循环神经网络的图像文本描述方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Han Zhang 等.StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks.《arXiv》.2017,第1-14. *
吕海峰 ; 蔡明 ; .基于概率潜在语义分析模型的分类融合图像标注.电子技术与软件工程.2018,(第07期),全文. *

Also Published As

Publication number Publication date
CN110580299A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
Dong et al. Tablesense: Spreadsheet table detection with convolutional neural networks
CN110569701B (zh) 计算机执行的车辆定损方法及装置
CN110717534B (zh) 一种基于网络监督的目标分类和定位方法
US9037600B1 (en) Any-image labeling engine
CN111460252B (zh) 一种基于网络舆情分析的自动化搜索引擎方法及系统
US20150242761A1 (en) Interactive visualization of machine-learning performance
US11036790B1 (en) Identifying visual portions of visual media files responsive to visual portions of media files submitted as search queries
US20080107337A1 (en) Methods and systems for analyzing data in media material having layout
US10803363B2 (en) Media intelligence automation system
CN100416556C (zh) 信息检索方法和系统、数据处理设备和视频采集处理设备
Healey et al. Interest driven navigation in visualization
CN115115825B (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
Zhu et al. A modified deep neural network enables identification of foliage under complex background
CN110580299B (zh) 生成对象的推荐语的配图的方法、系统、设备及存储介质
CN113869352A (zh) 模型训练方法、服装检索方法及相关装置
Li et al. Multi-label pattern image retrieval via attention mechanism driven graph convolutional network
CN116069969A (zh) 一种图像检索方法、装置及存储介质
AU2016225819B2 (en) Structured knowledge modeling and extraction from images
US10242080B1 (en) Clustering applications using visual metadata
CN115546824B (zh) 禁忌图片识别方法、设备及存储介质
Angeli et al. Making paper labels smart for augmented wine recognition
CN113408546B (zh) 基于相互全局上下文注意力机制的单样本目标检测方法
Liang et al. Automated filtering of façade defect images using a similarity method for enhanced inspection documentation
Jaimes et al. Integrating multiple classifiers in visual object detectors learned from user input
CN113704545A (zh) 视频标签的挖掘方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant