CN111695556A - 网页配图的处理方法、系统、设备和存储介质 - Google Patents

网页配图的处理方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN111695556A
CN111695556A CN201910192074.2A CN201910192074A CN111695556A CN 111695556 A CN111695556 A CN 111695556A CN 201910192074 A CN201910192074 A CN 201910192074A CN 111695556 A CN111695556 A CN 111695556A
Authority
CN
China
Prior art keywords
image
matching
target
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910192074.2A
Other languages
English (en)
Other versions
CN111695556B (zh
Inventor
王曦晨
张震涛
佘志东
朱俊伟
王刚
张亮
饶正锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201910192074.2A priority Critical patent/CN111695556B/zh
Priority to EP20769750.9A priority patent/EP3872655A4/en
Priority to US17/297,273 priority patent/US11995144B2/en
Priority to PCT/CN2020/070016 priority patent/WO2020181903A1/zh
Publication of CN111695556A publication Critical patent/CN111695556A/zh
Application granted granted Critical
Publication of CN111695556B publication Critical patent/CN111695556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种网页配图的处理方法、系统、设备和存储介质，所述处理方法包括：获取与产品类目对应的第一图像集；标记出感兴趣区域；获取扫描窗口；采用扫描窗口扫描感兴趣区域，获取扫描结果，并将扫描结果放入样本训练集；将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型；获取待处理图像，获取与待处理图像对应的目标网页配图框；根据目标网页配图框对待处理图像进行切割处理以获得目标网页配图。本发明中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了通过人工标记，从而降低了时间成本，提高了工作效率。

Description

网页配图的处理方法、系统、设备和存储介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种网页配图的处理方法、系统、设备和存储介质。
背景技术
在互联网领域中，需要编辑制作相当数量的网页文案(如包括产品图片和产品文字介绍的内容)来介绍产品以给消费者提供参考，引导消费者购买产品与消费服务。然而，大量的网页编辑需要耗费大量的时间与经济成本，尤其对于自然场景中拍摄的照片的图像的切割与选取。
现有的网页配图的处理方法主要包括如下：
1)利用SVM(Support Vector Machine，支持向量机)机器学习对图像自动兴趣点的模型训练和选取，选取图像局部兴趣点；但是，该方法并未使用深度学习等相关算法，导致精度较差；
2)通过爬虫以及文本分类与深度学习的方法为互联网推广文章自动选取背景图像的系统；但是，该方法仅适用于宽泛的互联网爬取下的软性介绍文章提供配图，并没有考虑到图像尺寸不对而对原始图像进行合理切割的方案。
发明内容
本发明要解决的技术问题是现有技术中网页配图的处理方法不能从原始自然场景的图像中直接切割出目标配图以满足网页编辑要求等缺陷，目的在于提供一种网页配图的处理方法、系统、设备和存储介质。
本发明是通过下述技术方案来解决上述技术问题：
本发明提供一种网页配图的处理方法，所述处理方法包括：
获取与产品类目对应的第一图像集；
对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
获取扫描窗口；
采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
较佳地，所述获取与产品类目对应的第一图像集的步骤包括：
获取初始图像集；
对所述初始图像集中的图像进行清洗处理；
标记清洗处理后的所述初始图像集中的图像的ID信息(身份识别信息)；
将所述ID信息与图像的多维信息进行关联，并根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
较佳地，当所述多维信息包括所属的产品类目时，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤包括：
计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
较佳地，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
所述采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
较佳地，所述采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
若是，则计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则标记所述感兴趣区域为第二属性；当所述第二比值为零时，则标记所述感兴趣区域为第三属性；
当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集。
较佳地，不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
较佳地，所述处理方法还包括：
计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
当所述第一数量大于第三设定阈值时，则随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
当所述第二数量大于第三设定阈值时，则随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
较佳地，所述根据所述将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型的步骤包括：
采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型。
较佳地，所述采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型的步骤之后还包括：
修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
较佳地，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤之后还包括：
对所述第一图像集中的图像进行粗分类，获取分类结果；
其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
所述获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框的步骤包括：
获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
较佳地，所述根据所述目标网页配图框获取与所述待处理图像对应的所述目标网页配图的步骤包括：
根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
本发明还提供一种网页配图的处理系统，所述处理系统包括第一图像集获取模块、感兴趣区域获取模块、扫描窗口获取模块、训练样本集获取模块、配图框模型建立模块、配图框获取模块和网页配图获取模块；
所述第一图像集获取模块用于获取与产品类目对应的第一图像集；
所述感兴趣区域获取模块用于对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
所述扫描窗口获取模块用于获取扫描窗口；
所述训练样本集获取模块用于采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
所述配图框模型建立模块用于将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
所述配图框获取模块用于获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
所述网页配图获取模块用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
较佳地，所述第一图像集获取模块包括初始图像集获取单元、图像清洗处理单元、图像标记单元、信息关联单元和第一图像集获取单元；
所述初始图像集获取单元用于获取初始图像集；
所述图像清洗处理单元用于对所述初始图像集中的图像进行清洗处理；
所述图像标记单元用于标记清洗处理后的所述初始图像集中的图像的ID信息；
所述信息关联单元用于将所述ID信息与图像的多维信息进行关联，并调用所述第一图像集获取单元根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
较佳地，当所述多维信息包括所属的产品类目时，所述第一图像集获取单元包括计算子单元和判断子单元；
所述计算子单元用于计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
所述判断子单元用于判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
较佳地，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
所述训练样本集获取模块用于采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
较佳地，所述训练样本集获取模块包括判断单元、比值计算单元、属性标记单元、正样本获取单元和负样本获取单元；
所述判断单元用于判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
若是，则调用所述比值计算单元计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则调用所述属性标记单元标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则调用所述属性标记单元标记所述感兴趣区域为第二属性；当所述第二比值为零时，则调用所述属性标记单元标记所述感兴趣区域为第三属性；
所述正样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
所述负样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集。
较佳地，不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
较佳地，所述处理系统包括数量计算模块和样本剔除模块；
所述数量计算模块用于计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
所述样本剔除模块用于当所述第一数量大于第三设定阈值时，随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
所述样本剔除模块还用于当所述第二数量大于第三设定阈值时，随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
较佳地，所述配图框模型建立模块采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型。
较佳地，所述处理系统还包括修正模块；
所述修正模块用于修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
较佳地，所述处理系统还包括图像粗分类模块和配图分类模型建立模块；
所述图像粗分类模块用于对所述第一图像集中的图像进行粗分类，获取分类结果；
其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
所述配图分类模型建立模块用于将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
所述配图框获取模块包括候选配图框获取单元和筛选单元；
所述候选配图框获取单元用于获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
所述筛选单元用于筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
较佳地，所述网页配图获取模块包括候选图片获取单元和缩放单元；
所述候选图片获取单元用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
所述缩放单元用于对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现上述的网页配图的处理方法。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的网页配图的处理方法的步骤。
本发明的积极进步效果在于：
本发明中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了人工标记的步骤，从而降低了时间成本，提高了工作效率。
附图说明
图1为本发明实施例1的网页配图的处理方法的流程图。
图2为本发明实施例2的网页配图的处理方法的流程图。
图3为本发明实施例3的网页配图的处理系统的模块示意图。
图4为本发明实施例4的网页配图的处理系统的模块示意图。
图5为本发明实施例5中的网页配图的处理方法的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
如图1所示，本实施例的网页配图的处理方法包括：
S101、获取与产品类目对应的第一图像集；
其中，产品类目包括“手机”、“连衣裙”等各种提供给用户参考购买的类目。
S102、对于第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个感兴趣区域用于表征一对象；
其中，感兴趣区域中的同一对象包括图像中的人脸、手机、连衣裙等，将每个感兴趣区域的对应的参数信息(如感兴趣区域的中心坐标、宽度、高度、所属类别信息等)与第一图像集中的图像进行关联，并将关联结果存储至磁盘或者其他存储系统中。
S103、获取扫描窗口；
S104、采用扫描窗口扫描感兴趣区域，获取扫描结果，并将扫描结果放入样本训练集；
S105、将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型；
S106、获取待处理图像，采用配图框获取模型获取与待处理图像对应的目标网页配图框；
S107、根据目标网页配图框对待处理图像进行切割处理以获得目标网页配图。
本实施例中的网页配图的处理方法属于一种端到端(即原始自然场景的图像到目标网页配图)的图像处理方法，即通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的固定尺寸的目标配图，保证了目标配图的可用性的同时，减少了人工标记的步骤，从而降低了时间成本，提高了工作效率。
实施例2
如图2所示，本实施例的网页配图的处理方法是对实施例1的进一步改进，具体地：
步骤S101包括：
获取初始图像集；
对初始图像集中的图像进行清洗处理；
标记清洗处理后的初始图像集中的图像的ID信息；
将ID信息与图像的多维信息进行关联，并将关联结果存储至磁盘或其他存储系统中；
其中，多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息等。
当多维信息包括所属的产品类目时，计算初始图像集中属于产品类目的图像的数量与初始图像集中的图像的总数量之间的第一比值；
判断第一比值是否超过第一设定阈值，若超过，则挑选出产品类目的图像构成第一图像集。
步骤S101之后、步骤S106之前还包括：
S1011、对第一图像集中的图像进行粗分类，获取分类结果；
其中，粗分类的分类条件但不限于适合做网页配图、不适合做网页配图和属于白底图；
不适合做网页配图的图像包括但不限于：与产品类目完全没有关联性、后期处理痕迹明显、包含色情暴力等不合法的内容的图像。
S1012、将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；
具体地，采用神经网络算法将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型，其中配图分类模型的建立基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等(tensorflow、pytorch、caffee、squeezenet、vgg为神经网络算法中的各个数据处理框架)软件框架，CPU(中央处理器)、GPU(图形处理器)、FPGA(现场可编程门阵列)、专用的AI计算芯片(人工智能计算芯片)等硬件框架得以实现，且每种配图分类模型仅针对一种产品类目的图像进行分类。
另外，扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口，且目标扫描窗口的宽高比与目标网页配图的宽高比相同。
不同尺寸的目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描第一图像集中的图像中的感兴趣区域。
具体地，步骤S104具体包括：
S1041、判断感兴趣区域是否与产品类目相对应，若否，则执行步骤S1042；若是，则执行步骤S1043；
例如，当产品类目为“手机”时，若感兴趣区域中的对象为手机，则确定感兴趣区域是否与产品类目相对应，若感兴趣区域中的对象为人脸，则确定感兴趣区域是否与产品类目不对应。
S1042、继续扫描下一个感兴趣区域；
S1043、计算目标扫描窗口与感兴趣区域的交集区域的面积与感兴趣区域的面积的第二比值，当第二比值大于或者等于第二设定阈值时，则标记感兴趣区域为第一属性；当第二比值小于第二设定阈值且大于零时，则标记感兴趣区域为第二属性；当第二比值为零时，则标记感兴趣区域为第三属性；
其中，第二设定阈值可以根据实际需求具体配置，并将配置文件保存至对应的磁盘或其他存储系统中。
S1044、当第一图像集中的图像中有至少一个感兴趣区域对应第一属性且没有与第二属性对应的感兴趣区域，则将目标扫描窗口的参数值作为正样本；
当第一图像集中的图像中有至少一个感兴趣区域对应第二属性，则将目标扫描窗口的参数值作为负样本；
其中，参数值包括目标扫描窗口的中心坐标、宽度和高度；
多个正样本构成正样本集，多个负样本构成负样本集，正样本集和负样本集构成样本训练集。
另外，在获取样本训练集之后，计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
当所述第一数量大于第三设定阈值时，则随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
当所述第二数量大于第三设定阈值时，则随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
步骤S105具体包括：
S1051、采用目标检测算法将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型。
其中，通过修正目标检测算法使得配图框获取模型输出与目标网页配图的宽高比相同的配图框，从而保证缩放切割得到的图像不会发生图像变形的情况。
目标检测算法包括但不限于Faster-RCNN算法(一种机器学习算法)，通过设置最大模型训练轮数(具体训练轮数可以根据实际的图像集的特点进行针对性设置)，将第一图像集作为输入，将样本训练集作为输出，并基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等软件框架，CPU、GPU、FPGA、专用的AI计算芯片等硬件框架建立配图框获取模型。
步骤S106包括：
S1061、获取待处理图像，将待处理图像输入至配图分类模型，并在配图分类模型输出待处理图像为适合做网页配图的图像时，将待处理图像输入至配图框获取模型获取与待处理图像对应的多个候选配图框；
即在配图分类模型确认该待处理图像为适合作为网页配图的图像后，在对该待处理图像进行后续切割处理以得到目标网页配图，从而有效地提高了获取目标网页配图的效率以及处理速度。
S1062、筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框。
其中，每个目标网页配图框对应的中心坐标、宽度、高度以及与该待处理图像的ID信息相关联。
考虑到太小的候选配图框切割出的图像放大后太模糊，不适合作为目标网页配图，因此需要去除掉宽度过小的图像。
步骤S107包括：
S1071、根据目标网页配图框对待处理图像进行切割处理以获得候选图片；
S1072、对候选图片进行缩小或放大处理，以获取目标宽度和目标高度的目标网页配图。
另外，将目标网页配图存储至磁盘或其他存储系统中，即将其放入待用网页配图池中以供后续网页编辑过程使用。
标记每一张目标网页配图对应的ID信息，并将目标网页配图对应的ID信息与其保存路径相关联的信息存储至磁盘或其他存储系统中。
下面结合实例具体说明：
1)将产品类目(如“手机”、“连衣裙”等)作为搜索条件，爬取并下载特定网站的网页中的相关图像，或者通过在摄影素材等网站购买并下载相关产品类目的自然场景图像，并记录每张图像对应的与原始网页链接及其来源信息(如记录图像的出处来自于某网站)，形成初始图像集，即图像素材库。
2)对初始图像集中的每一张图像进行清洗处理，例如：删除初始图像集中的宽高比过大和过小的图像、删除初始图像集中的宽度小于第一设定像素距离(可以根据具体情况设置)的图像、删除初始图像集中的高度小于第二设定像素距离(可以根据具体情况设置)的图像、删除无法正常打开的错误图像，采用哈希签名算法(如md5消息摘要算法等)对初始图像集中的图像进行处理，删除初始图像集中的多张相同图像，仅保留一张对应的图像即可。
3)标记清洗处理后的初始图像集中的图像的ID信息，并将ID信息与图像的所属的产品类目、宽度、高度、存储位置和来源信息等进行关联；
4)挑选出初始图像集中占比超过第一设定阈值(如10％)的产品类目的所有图像构成第一图像集。
5)对第一图像集中的图像按照适合做网页配图、不适合做网页配图和属于白底图进行粗分类，获取分类结果；
将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；
6)标记出第一图像集中的每张图像中的用于表征同一对象(人脸、手机、连衣裙等)的感兴趣区域；
7)取多个目标扫描窗口中一个目标扫描窗口对第一图像集中的所有图像中的感兴趣区域进行扫描：
例如：假设目标网页配图的宽度为W，高度为H，目标扫描窗口的宽度为W1/＝W*f，高度为H1＝H*f；从第一图像集中的去除一张图像即为M(宽度为T，高度为G)；以(W1/2,H1/2)为目标扫描窗口的初始坐标，(T-W1/2,G-H1/2)为目标扫描窗口的终点坐标，且扫描步长为2个像素距离(可以根据实际情况设置扫描步长)。
假设当前目标是获取与手机相关的目标网页配图，则判断当前图像中的感兴趣区域是否与手机相对应，若否，则继续扫描下一个感兴趣区域；
若是，计算目标扫描窗口F扫描感兴趣区域C时，目标扫描窗口F与感兴趣区域C的交集区域Q的面积与感兴趣区域C的面积的每个第二比值v，若存在v≥0.75，则将当前图像中的感兴趣区域标记为“positive”属性，若0＜v＜0.75，则将当前图像中的感兴趣区域标记为“negative”属性，若v＝0，则将当前图像中的感兴趣区域标记为“no care”属性；
判断当前目标扫描窗口F扫描第一图像集中的所有图像后，图像中的所有感兴趣区域C对应的属性是否有“negative”属性，若有，则将该目标扫描窗口F的中心坐标、宽高和高度作为负样本；若图像中的所有感兴趣区域C对应的属性没有“negative”属性且不全是“no care”属性，则将该目标扫描窗口F的中心坐标、宽高和高度作为正样本，；若图像中的所有感兴趣区域C对应的属性均为“no care”属性，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
另外，若当前图像中的所有感兴趣区域C均与产品类目不对应，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
继续采用剩余的每个目标扫描窗口逐个遍历扫描对第一图像集中的所有图像中的感兴趣区域，最终获取所有的正样本构成正样本集，获取所有的负样本构成负样本集。
另外，当正样本集的正样本和负样本集中的负样本过多时(如＞300)，则需要随机剔除一些正样本集的正样本和负样本集中的负样本，以使得正样本集的正样本和负样本集中的负样本均小于300，以保证数据处理速度。
将正样本集和负样本集以及第一图像集中的图像的ID信息关联并存储至磁盘或其他存储系统中。
8)对目标检测算法(如Faster-RCNN算法)进行修改，保证配图框获取模型输出与目标网页配图的宽高比相同的配图框，且能够输出多个不同尺寸且宽高比相同的候选配图框；例如：未修正目标检测算法时，配图框获取模型输出的配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数(Δw，Δh)；修正后目标检测算法后，配图框获取模型输出的候选配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数为(Δw，(1/J)*Δw)，J为目标高宽比系数，这样对高度部分的修正变化量自动变为目标高宽比系数乘以宽度的修正变化量，从而保证了证配图框获取模型输出的候选框在修正后必定能够满足目标网页配图的宽高比。
另外，将候选配图框获取模型保存至磁盘或其他存储系统中。
9)获取待处理图像，将待处理图像输入至配图分类模型，并在配图分类模型输出待处理图像为适合做网页配图的图像时，将待处理图像输入至配图框获取模型获取与待处理图像对应的多个候选配图框；
为了去除过小的图像，筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框；
10)根据目标网页配图框对待处理图像进行切割，获取候选图片；再根据目标宽度和目标高度对候选图片进行放大或者缩小，得到目标网页配图；
11)将目标网页配图放入待用网页配图池中，以供后续网页编辑过程使用。
本实施例中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了通过人工标记，从而降低了时间成本，提高了工作效率。
实施例3
如图3所示，本实施例的网页配图的处理系统包括第一图像集获取模块1、感兴趣区域获取模块2、扫描窗口获取模块3、训练样本集获取模块4、配图框模型建立模块5、配图框获取模块6和网页配图获取模块7；
第一图像集获取模块1用于获取与产品类目对应的第一图像集；
其中，产品类目包括“手机”、“连衣裙”等各种提供给用户参考购买的类目。
感兴趣区域获取模块2用于对于第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个感兴趣区域用于表征一对象；
其中，感兴趣区域中的同一对象包括图像中的人脸、手机、连衣裙等，将每个感兴趣区域的对应的参数信息(如感兴趣区域的中心坐标、宽度、高度、所属类别信息等)与第一图像集中的图像进行关联，并将关联结果存储至磁盘或者其他存储系统中。
扫描窗口获取模块3用于获取扫描窗口；
训练样本集获取模块4用于采用扫描窗口扫描感兴趣区域，获取扫描结果，并将扫描结果放入样本训练集；
配图框模型建立模块5用于将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型；
配图框获取模块6用于获取待处理图像，采用配图框获取模型获取与待处理图像对应的目标网页配图框；
网页配图获取模块7用于根据目标网页配图框对待处理图像进行切割处理以获得目标网页配图。
本实施例中的网页配图的处理方法属于一种端到端(即原始自然场景的图像到目标网页配图)的图像处理方法，即通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的固定尺寸的目标配图，保证了目标配图的可用性的同时，减少了人工标记的步骤，从而降低了时间成本，提高了工作效率。
实施例4
如图4所示，本实施例的网页配图的处理系统是对实施例3的进一步改进，具体地：
第一图像集获取模块1包括初始图像集获取单元8、图像清洗处理单元9、图像标记单元10、信息关联单元11和第一图像集获取单元12；
初始图像集获取单元8用于获取初始图像集；
图像清洗处理单元9用于对初始图像集中的图像进行清洗处理；
图像标记单元10用于标记清洗处理后的初始图像集中的图像的ID信息；
信息关联单元11用于将ID信息与图像的多维信息进行关联，并调用第一图像集获取单元12根据关联后的图像获取与产品类目对应的第一图像集；
其中，并将关联结果存储至磁盘或其他存储系统中；
多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息等。
当多维信息包括所属的产品类目时，第一图像集获取单元12包括计算子单元13和判断子单元14；
计算子单元13用于计算初始图像集中属于产品类目的图像的数量与初始图像集中的图像的总数量之间的第一比值；
判断子单元14用于判断第一比值是否超过第一设定阈值，若超过，则挑选出产品类目的图像构成第一图像集。
处理系统还包括图像粗分类模块15和配图分类模型建立模块16；
图像粗分类模块15用于对第一图像集中的图像进行粗分类，获取分类结果；
其中，粗分类的分类条件包括但不限于适合做网页配图、不适合做网页配图和属于白底图；
不适合做网页配图的图像包括但不限于：与产品类目完全没有关联性、后期处理痕迹明显、包含色情暴力等不合法的内容的图像。
配图分类模型建立模块16用于将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；
具体地，采用神经网络算法将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型，其中配图分类模型的建立基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等软件框架，CPU、GPU、FPGA、专用的AI计算芯片等硬件框架得以实现，且每种配图分类模型仅针对一种产品类目的图像进行分类。
另外，扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口，且目标扫描窗口的宽高比与目标网页配图的宽高比相同。
不同尺寸的目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描第一图像集中的图像中的感兴趣区域。
训练样本集获取模块4包括判断单元17、比值计算单元18、属性标记单元19、正样本获取单元20和负样本获取单元21；
判断单元17用于判断感兴趣区域是否与产品类目相对应，若否，则继续扫描下一个感兴趣区域；
例如，当产品类目为“手机”时，若感兴趣区域中的对象为手机，则确定感兴趣区域是否与产品类目相对应，若感兴趣区域中的对象为人脸，则确定感兴趣区域是否与产品类目不对应。
若是，则调用比值计算单元18计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则调用所述属性标记单元标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则调用所述属性标记单元标记所述感兴趣区域为第二属性；当所述第二比值为零时，则调用所述属性标记单元标记所述感兴趣区域为第三属性；
其中，第二设定阈值可以根据实际需求具体配置，并将配置文件保存至对应的磁盘或其他存储系统中。
正样本获取单元20用于当第一图像集中的图像中有至少一个感兴趣区域对应第一属性且没有与第二属性对应的感兴趣区域，则将目标扫描窗口的参数值作为正样本；
负样本获取单元21用于当第一图像集中的图像中有至少一个感兴趣区域对应第二属性，则将目标扫描窗口的参数值作为负样本；
其中，参数值包括目标扫描窗口的中心坐标、宽度和高度；
多个正样本构成正样本集，多个负样本构成负样本集，正样本集和负样本集构成样本训练集。
另外，所述处理系统包括数量计算模块和样本剔除模块；
在获取样本训练集之后，所述数量计算模块用于计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
所述样本剔除模块用于当所述第一数量大于第三设定阈值时，随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
所述样本剔除模块还用于当所述第二数量大于第三设定阈值时，随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
配图框模型建立模块5采用目标检测算法将第一图像集作为输入，将样本训练集作为输出，建立配图框获取模型。
处理系统还包括修正模块，用于修正目标检测算法使得配图框获取模型输出与目标网页配图的宽高比相同的配图框，从而保证缩放切割得到的图像不会发生图像变形的情况。
目标检测算法包括但不限于Faster-RCNN算法(一种机器学习算法)，通过设置最大模型训练轮数(具体训练轮数可以根据实际的图像集的特点进行针对性设置)，将第一图像集作为输入，将样本训练集作为输出，并基于神经网络算法中的tensorflow、pytorch、caffee、squeezenet、vgg等软件框架，CPU、GPU、FPGA、专用的AI计算芯片等硬件框架建立配图框获取模型。
配图框获取模块6包括候选配图框获取单元22和筛选单元23；
候选配图框获取单元22用于获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
即在配图分类模型确认该待处理图像为适合作为网页配图的图像后，在对该待处理图像进行后续切割处理以得到目标网页配图，从而有效地提高了获取目标网页配图的效率以及处理速度。
筛选单元23用于筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框。
其中，每个目标网页配图框对应的中心坐标、宽度、高度以及与该待处理图像的ID信息相关联。
考虑到太小的候选配图框切割出的图像放大后太模糊，不适合作为目标网页配图，因此需要去除掉宽度过小的图像。
网页配图获取模块7包括候选图片获取单元24和缩放单元25；
候选图片获取单元24用于根据目标网页配图框对待处理图像进行切割处理以获得候选图片；
缩放单元25用于对候选图片进行缩小或放大处理，以获取目标宽度和目标高度的目标网页配图。
另外，将目标网页配图存储至磁盘或其他存储系统中，即将其放入待用网页配图池中以供后续网页编辑过程使用。
标记每一张目标网页配图对应的ID信息，并将目标网页配图对应的ID信息与其保存路径相关联的信息存储至磁盘或其他存储系统中。
下面结合实例具体说明：
1)将产品类目(如“手机”、“连衣裙”等)作为搜索条件，爬取并下载特定网站的网页中的相关图像，或者通过在摄影素材等网站购买并下载相关产品类目的自然场景图像，并记录每张图像对应的与原始网页链接及其来源信息(如记录图像的出处来自于某网站)，形成初始图像集，即图像素材库。
2)对初始图像集中的每一张图像进行清洗处理，例如：删除初始图像集中的宽高比过大和过小的图像、删除初始图像集中的宽度小于第一设定像素距离(可以根据具体情况设置)的图像、删除初始图像集中的高度小于第二设定像素距离(可以根据具体情况设置)的图像、删除无法正常打开的错误图像，采用哈希签名算法(如md5消息摘要算法等)对初始图像集中的图像进行处理，删除初始图像集中的多张相同图像，仅保留一张对应的图像即可。
3)标记清洗处理后的初始图像集中的图像的ID信息，并将ID信息与图像的所属的产品类目、宽度、高度、存储位置和来源信息等进行关联；
4)挑选出初始图像集中占比超过第一设定阈值(如10％)的产品类目的所有图像构成第一图像集。
5)对第一图像集中的图像按照适合做网页配图、不适合做网页配图和属于白底图进行粗分类，获取分类结果；
将初始图像集中的图像作为输入，将分类结果作为输出，建立配图分类模型；6)标记出第一图像集中的每张图像中的用于表征同一对象(人脸、手机、连衣裙等)的感兴趣区域；
7)取多个目标扫描窗口中一个目标扫描窗口对第一图像集中的所有图像中的感兴趣区域进行扫描：
例如：假设目标网页配图的宽度为W，高度为H，目标扫描窗口的宽度为W1/＝W*f，高度为H1＝H*f；从第一图像集中的去除一张图像即为M(宽度为T，高度为G)；以(W1/2,H1/2)为目标扫描窗口的初始坐标，(T-W1/2,G-H1/2)为目标扫描窗口的终点坐标，且扫描步长为2个像素距离(可以根据实际情况设置扫描步长)。
假设当前目标是获取与手机相关的目标网页配图，则判断当前图像中的感兴趣区域是否与手机相对应，若否，则继续扫描下一个感兴趣区域；
若是，计算目标扫描窗口F扫描感兴趣区域C时，目标扫描窗口F与感兴趣区域C的交集区域Q的面积与感兴趣区域C的面积的每个第二比值v，若存在v≥0.75，则将当前图像中的感兴趣区域标记为“positive”属性，若0＜v＜0.75，则将当前图像中的感兴趣区域标记为“negative”属性，若v＝0，则将当前图像中的感兴趣区域标记为“no care”属性；
判断当前目标扫描窗口F扫描第一图像集中的所有图像后，图像中的所有感兴趣区域C对应的属性是否有“negative”属性，若有，则将该目标扫描窗口F的中心坐标、宽高和高度作为负样本；若图像中的所有感兴趣区域C对应的属性没有“negative”属性且不全是“no care”属性，则将该目标扫描窗口F的中心坐标、宽高和高度作为正样本，；若图像中的所有感兴趣区域C对应的属性均为“no care”属性，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
另外，若当前图像中的所有感兴趣区域C均与产品类目不对应，则丢弃该目标扫描窗口F，即既不作为正样本也不作为负样本。
继续采用剩余的每个目标扫描窗口逐个遍历扫描对第一图像集中的所有图像中的感兴趣区域，最终获取所有的正样本构成正样本集，获取所有的负样本构成负样本集。
另外，当正样本集的正样本和负样本集中的负样本过多时(如＞300)，则需要随机剔除一些正样本集的正样本和负样本集中的负样本，以使得正样本集的正样本和负样本集中的负样本均小于300，以保证数据处理速度。
将正样本集和负样本集以及第一图像集中的图像的ID信息关联并存储至磁盘或其他存储系统中。
8)对目标检测算法(如Faster-RCNN算法)进行修改，保证配图框获取模型输出与目标网页配图的宽高比相同的配图框，且能够输出多个不同尺寸且宽高比相同的候选配图框；例如：未修正目标检测算法时，配图框获取模型输出的配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数(Δw，Δh)，修正后目标检测算法后，配图框获取模型输出的候选配图框对应的修正参数为：中心坐标偏移参数(Δx，Δy)，宽高修正参数为(Δw，(1/J)*Δw)，J为目标高宽比系数，这样对高度部分的修正变化量自动变为目标高宽比系数乘以宽度的修正变化量，从而保证了证配图框获取模型输出的候选框在修正后必定能够满足目标网页配图的宽高比。
另外，将候选配图框获取模型保存至磁盘或其他存储系统中。
9)获取待处理图像，将待处理图像输入至配图分类模型，并在配图分类模型输出待处理图像为适合做网页配图的图像时，将待处理图像输入至配图框获取模型获取与待处理图像对应的多个候选配图框；
为了去除过小的图像，筛选出候选配图框中宽度大于或者等于目标网页配图的宽度的候选配图框作为目标网页配图框；
10)根据目标网页配图框对待处理图像进行切割，获取候选图片；再根据目标宽度和目标高度对候选图片进行放大或者缩小，得到目标网页配图；
11)将目标网页配图放入待用网页配图池中，以供后续网页编辑过程使用。
本实施例中，通过图像检测与分类的深度学习算法，实现从原始自然场景的图像中直接切割出合适做网页配图的目标配图，保证了目标配图的可用性的同时，减少了通过人工标记，从而降低了时间成本，提高了工作效率。
实施例5
图5为本发明实施例7提供的一种电子设备的结构示意图。电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现实施例1或2中任意一实施例中的网页配图的处理方法。图5显示的电子设备30仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备30可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备30的组件可以包括但不限于：上述至少一个处理器31、上述至少一个存储器32、连接不同系统组件(包括存储器32和处理器31)的总线33。
总线33包括数据总线、地址总线和控制总线。
存储器32可以包括易失性存储器，例如随机存取存储器(RAM)321和/或高速缓存存储器322，还可以进一步包括只读存储器(ROM)323。
存储器32还可以包括具有一组(至少一个)程序模块324的程序/实用工具325，这样的程序模块324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器31通过运行存储在存储器32中的计算机程序，从而执行各种功能应用以及数据处理，例如本发明实施例1或2中任意一实施例中的网页配图的处理方法。
电子设备30也可以与一个或多个外部设备34(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口35进行。并且，模型生成的设备30还可以通过网络适配器36与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器36通过总线33与模型生成的设备30的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的设备30使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现实施例1或2中任意一实施例中的网页配图的处理方法中的步骤。
其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中，本发明还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行实现实施例1或2中任意一实施例中的网页配图的处理方法中的步骤。
其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式作出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (24)

1.一种网页配图的处理方法，其特征在于，所述处理方法包括：
获取与产品类目对应的第一图像集；
对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
获取扫描窗口；
采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
2.如权利要求1所述的网页配图的处理方法，其特征在于，所述获取与产品类目对应的第一图像集的步骤包括：
获取初始图像集；
对所述初始图像集中的图像进行清洗处理；
标记清洗处理后的所述初始图像集中的图像的ID信息；
将所述ID信息与图像的多维信息进行关联，并根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
3.如权利要求2所述的网页配图的处理方法，其特征在于，当所述多维信息包括所属的产品类目时，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤包括：
计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
4.如权利要求1所述的网页配图的处理方法，其特征在于，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
所述采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
5.如权利要求4所述的网页配图的处理方法，其特征在于，所述采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集的步骤包括：
判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
若是，则计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则标记所述感兴趣区域为第二属性；当所述第二比值为零时，则标记所述感兴趣区域为第三属性；
当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集。
6.如权利要求4所述的网页配图的处理方法，其特征在于，不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
7.如权利要求5所述的网页配图的处理方法，其特征在于，所述处理方法还包括：
计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
当所述第一数量大于第三设定阈值时，则随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
当所述第二数量大于第三设定阈值时，则随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
8.如权利要求1所述的网页配图的处理方法，其特征在于，所述根据所述将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型的步骤包括：
采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型。
9.如权利要求8所述的网页配图的处理方法，其特征在于，所述采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型的步骤之后还包括：
修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
10.如权利要求2所述的网页配图的处理方法，其特征在于，所述根据关联后的所述图像获取与所述产品类目对应的所述第一图像集的步骤之后还包括：
对所述第一图像集中的图像进行粗分类，获取分类结果；
其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
所述获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框的步骤包括：
获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
11.如权利要求1所述的网页配图的处理方法，其特征在于，所述根据所述目标网页配图框获取与所述待处理图像对应的所述目标网页配图的步骤包括：
根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
12.一种网页配图的处理系统，其特征在于，所述处理系统包括第一图像集获取模块、感兴趣区域获取模块、扫描窗口获取模块、训练样本集获取模块、配图框模型建立模块、配图框获取模块和网页配图获取模块；
所述第一图像集获取模块用于获取与产品类目对应的第一图像集；
所述感兴趣区域获取模块用于对于所述第一图像集中的每个图像，均标记出至少一个感兴趣区域，每个所述感兴趣区域用于表征一对象；
所述扫描窗口获取模块用于获取扫描窗口；
所述训练样本集获取模块用于采用所述扫描窗口扫描所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集；
所述配图框模型建立模块用于将所述第一图像集作为输入，将所述样本训练集作为输出，建立配图框获取模型；
所述配图框获取模块用于获取待处理图像，采用所述配图框获取模型获取与所述待处理图像对应的目标网页配图框；
所述网页配图获取模块用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得目标网页配图。
13.如权利要求12所述的网页配图的处理系统，其特征在于，所述第一图像集获取模块包括初始图像集获取单元、图像清洗处理单元、图像标记单元、信息关联单元和第一图像集获取单元；
所述初始图像集获取单元用于获取初始图像集；
所述图像清洗处理单元用于对所述初始图像集中的图像进行清洗处理；
所述图像标记单元用于标记清洗处理后的所述初始图像集中的图像的ID信息；
所述信息关联单元用于将所述ID信息与图像的多维信息进行关联，并调用所述第一图像集获取单元根据关联后的所述图像获取与所述产品类目对应的所述第一图像集；
其中，所述多维信息包括所属的产品类目、宽度、高度、存储位置和来源信息中的至少一种。
14.如权利要求13所述的网页配图的处理系统，其特征在于，当所述多维信息包括所属的产品类目时，所述第一图像集获取单元包括计算子单元和判断子单元；
所述计算子单元用于计算所述初始图像集中属于所述产品类目的图像的数量与所述初始图像集中的图像的总数量之间的第一比值；
所述判断子单元用于判断所述第一比值是否超过第一设定阈值，若超过，则挑选出所述产品类目的图像构成所述第一图像集。
15.如权利要求12所述的网页配图的处理系统，其特征在于，所述扫描窗口包括多个宽高比相同且不同尺寸的目标扫描窗口；
所述训练样本集获取模块用于采用每个所述目标扫描窗口扫描所述第一图像集中的图像中的所述感兴趣区域，获取扫描结果，并将所述扫描结果放入样本训练集。
16.如权利要求15所述的网页配图的处理系统，其特征在于，所述训练样本集获取模块包括判断单元、比值计算单元、属性标记单元、正样本获取单元和负样本获取单元；
所述判断单元用于判断所述感兴趣区域是否与所述产品类目相对应，若否，则继续扫描下一个所述感兴趣区域；
若是，则调用所述比值计算单元计算所述目标扫描窗口与所述感兴趣区域的交集区域的面积与所述感兴趣区域的面积的第二比值，当所述第二比值大于或者等于第二设定阈值时，则调用所述属性标记单元标记所述感兴趣区域为第一属性；当所述第二比值小于所述第二设定阈值且大于零时，则调用所述属性标记单元标记所述感兴趣区域为第二属性；当所述第二比值为零时，则调用所述属性标记单元标记所述感兴趣区域为第三属性；
所述正样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第一属性且没有与所述第二属性对应的所述感兴趣区域，则将所述目标扫描窗口的参数值作为正样本；
所述负样本获取单元用于当所述第一图像集中的图像中有至少一个所述感兴趣区域对应所述第二属性，则将所述目标扫描窗口的参数值作为负样本；
其中，所述参数值包括所述目标扫描窗口的中心坐标、宽度和高度；
多个所述正样本构成正样本集，多个所述负样本构成负样本集，所述正样本集和所述负样本集构成所述样本训练集。
17.如权利要求15所述的网页配图的处理系统，其特征在于，不同尺寸的所述目标扫描窗口按照设定扫描步长沿着设定扫描路径遍历扫描所述第一图像集中的图像中的所述感兴趣区域。
18.如权利要求16所述的网页配图的处理系统，其特征在于，所述处理系统包括数量计算模块和样本剔除模块；
所述数量计算模块用于计算所述正样本集中的所述正样本的第一数量和所述负样本集中的所述负样本的第二数量；
所述样本剔除模块用于当所述第一数量大于第三设定阈值时，随机剔除第一设定数量的所述正样本，直至所述第一数量小于或者等于所述第三设定阈值；
所述样本剔除模块还用于当所述第二数量大于第三设定阈值时，随机剔除第二设定数量的所述负样本，直至所述第二数量小于或者等于所述第三设定阈值。
19.如权利要求12所述的网页配图的处理系统，其特征在于，所述配图框模型建立模块采用目标检测算法将所述第一图像集作为输入，将所述样本训练集作为输出，建立所述配图框获取模型。
20.如权利要求19所述的网页配图的处理系统，其特征在于，所述处理系统还包括修正模块；
所述修正模块用于修正所述目标检测算法使得所述配图框获取模型输出与所述目标网页配图的宽高比相同的配图框。
21.如权利要求13所述的网页配图的处理系统，其特征在于，所述处理系统还包括图像粗分类模块和配图分类模型建立模块；
所述图像粗分类模块用于对所述第一图像集中的图像进行粗分类，获取分类结果；
其中，所述粗分类的分类条件包括适合做网页配图、不适合做网页配图和属于白底图；
所述配图分类模型建立模块用于将所述初始图像集中的图像作为输入，将所述分类结果作为输出，建立配图分类模型；
所述配图框获取模块包括候选配图框获取单元和筛选单元；
所述候选配图框获取单元用于获取所述待处理图像，将所述待处理图像输入至所述配图分类模型，并在所述配图分类模型输出所述待处理图像为适合做网页配图的图像时，将所述待处理图像输入至所述配图框获取模型与所述待处理图像对应的多个候选配图框；
所述筛选单元用于筛选出所述候选配图框中宽度大于或者等于所述目标网页配图的宽度的候选配图框作为所述目标网页配图框。
22.如权利要求12所述的网页配图的处理系统，其特征在于，所述网页配图获取模块包括候选图片获取单元和缩放单元；
所述候选图片获取单元用于根据所述目标网页配图框对所述待处理图像进行切割处理以获得候选图片；
所述缩放单元用于对所述候选图片进行缩小或放大处理，以获取目标宽度和目标高度的所述目标网页配图。
23.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1-11中任一项所述的网页配图的处理方法。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11中任一项所述的网页配图的处理方法的步骤。
CN201910192074.2A 2019-03-14 2019-03-14 网页配图的处理方法、系统、设备和存储介质 Active CN111695556B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910192074.2A CN111695556B (zh) 2019-03-14 2019-03-14 网页配图的处理方法、系统、设备和存储介质
EP20769750.9A EP3872655A4 (en) 2019-03-14 2020-01-02 PROCESSING METHODS FOR WEB PAGE ILLUSTRATION, SYSTEM AND DEVICE, AND STORAGE MEDIA
US17/297,273 US11995144B2 (en) 2019-03-14 2020-01-02 Webpage illustration processing method, system, device and storage medium
PCT/CN2020/070016 WO2020181903A1 (zh) 2019-03-14 2020-01-02 网页配图的处理方法、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910192074.2A CN111695556B (zh) 2019-03-14 2019-03-14 网页配图的处理方法、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111695556A true CN111695556A (zh) 2020-09-22
CN111695556B CN111695556B (zh) 2024-01-16

Family

ID=72427194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192074.2A Active CN111695556B (zh) 2019-03-14 2019-03-14 网页配图的处理方法、系统、设备和存储介质

Country Status (4)

Country Link
US (1) US11995144B2 (zh)
EP (1) EP3872655A4 (zh)
CN (1) CN111695556B (zh)
WO (1) WO2020181903A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419253A (zh) * 2020-11-16 2021-02-26 中山大学 数字病理图像分析方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807259A (zh) * 2010-03-25 2010-08-18 复旦大学 一种基于视觉词汇本集体的不变性识别方法
US20150092070A1 (en) * 2013-09-30 2015-04-02 Fujifilm Corporation Composite image creation assist apparatus, composite image creation assist method, and non-transitory computer readable recording medium
CN104699837A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 网页配图选取方法、装置及服务器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339408B2 (en) 2016-12-22 2019-07-02 TCL Research America Inc. Method and device for Quasi-Gibbs structure sampling by deep permutation for person identity inference

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807259A (zh) * 2010-03-25 2010-08-18 复旦大学 一种基于视觉词汇本集体的不变性识别方法
US20150092070A1 (en) * 2013-09-30 2015-04-02 Fujifilm Corporation Composite image creation assist apparatus, composite image creation assist method, and non-transitory computer readable recording medium
CN104699837A (zh) * 2015-03-31 2015-06-10 北京奇虎科技有限公司 网页配图选取方法、装置及服务器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENGUAN WANG 等: "Deep Cropping via Attention Box Prediction and Aesthetics Assessment", IEEE *
潘晨;崔凤;: "基于空间和时间差别采样的彩色图像分割", 计算机工程 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112419253A (zh) * 2020-11-16 2021-02-26 中山大学 数字病理图像分析方法、系统、设备及存储介质
CN112419253B (zh) * 2020-11-16 2024-04-19 中山大学 数字病理图像分析方法、系统、设备及存储介质

Also Published As

Publication number Publication date
US20220027609A1 (en) 2022-01-27
EP3872655A1 (en) 2021-09-01
EP3872655A4 (en) 2022-08-03
CN111695556B (zh) 2024-01-16
US11995144B2 (en) 2024-05-28
WO2020181903A1 (zh) 2020-09-17

Similar Documents

Publication Publication Date Title
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
US8391593B2 (en) Image processing methods and systems
US7424672B2 (en) System and method of specifying image document layout definition
CN108833784B (zh) 一种自适应构图方法、移动终端及计算机可读存储介质
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
WO2022194102A1 (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
CN111814905A (zh) 目标检测方法、装置、计算机设备和存储介质
WO2023202570A1 (zh) 图像处理方法和处理装置、电子设备和可读存储介质
WO2024055530A1 (zh) 一种图像的目标检测方法、系统、设备及存储介质
CN111612004A (zh) 一种基于语义内容的图像裁剪方法及装置
CN110969602B (zh) 一种图像清晰程度检测方法及装置
CN114782974A (zh) 表格识别方法、系统、智能终端及计算机可读存储介质
US20110038509A1 (en) Determining main objects using range information
JP2008204184A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
EP3564833B1 (en) Method and device for identifying main picture in web page
CN113936764A (zh) 一种医疗报告单照片中敏感信息脱敏方法及系统
CN111695556B (zh) 网页配图的处理方法、系统、设备和存储介质
US6810136B2 (en) System and method for automatic preparation of data repositories from microfilm-type materials
CN111062924B (zh) 图像处理方法、装置、终端和存储介质
CN112258416A (zh) 图像处理方法、装置、电子设备
CN112784541A (zh) 一种文档中图片的替换方法、装置、电子设备及存储介质
CN111062388A (zh) 基于深度学习的广告文字的识别方法、系统、介质及设备
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
US11132762B2 (en) Content aware image fitting
CN113449713B (zh) 一种清洗人脸检测模型的训练数据的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant