CN108447064B - 一种图片处理方法及装置 - Google Patents

Abstract

本发明实施例公开了一种图片处理方法及装置，涉及图像处理技术领域，能够减少人工成本。本发明包括：根据商品的URL信息获取所述商品的图片数据，其中，所述URL信息指向显示所述商品的图片的页面；从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图；将所述商品的透明图和图片数据上传至图片服务器，其中，在所述图片服务器中生成了对应所述商品的动态URL，其中，所述对应所述商品的动态URL，用于业务系统调用所述商品的透明图和图片数据。本发明适用于海量图片处理。

Description

一种图片处理方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图片处理方法及装置。

背景技术

随着各类互联网业务的飞速发展，需要对大量的商品进行图片展示，在商品展示的页面需要根据不同主题和色调对商品进行展示，因此高效准确的抠图算法可以大幅度降低人工抠图的成本，提升图片生成的效率。

目前已有了一些基于图像分割技术的抠图算法，而这些抠图算法往往都需要庞大的计算量，处理海量的商品抠图任务是需要占用服务器很多大量的计算资源，出于效率和成本的平衡考虑，现在业内主要进行商品抠图的方案，适用于商品主体和背景信息的图片，由于利用算法产生的结果不够准确，需要辅以人工交互协助处理，尤其是部分抠出的商品主体存在缺边少角、背景切除不干净等问题，需要耗费大量的人工进行修正。

发明内容

本发明的实施例提供一种图片处理方法及装置，能够减少人工成本。

为达到上述目的，本发明的实施例采用如下技术方案：

根据商品的URL信息获取所述商品的图片数据，其中，所述URL信息指向显示所述商品的图片的页面；从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图；将所述商品的透明图和图片数据上传至图片服务器，其中，在所述图片服务器中生成了对应所述商品的动态URL，其中，所述对应所述商品的动态URL，用于业务系统调用所述商品的透明图和图片数据。

在所述商品的透明图和图片数据被调用后，获取所述商品的背景模版；根据所述商品的背景模版和透明图，生成所述商品的图片，并将所生成的图片向所述业务系统发送。

本实施例设计一种自动化抠图系统，抠图和背景模版选择过程完全无需人工参与，主要采用的是全自动图像分割技术，效果：自动抠取用户上传白底图中的商品主体，可以在无人工干预的情况下准确抠出商品主体并去除毛刺背景边缘，抠取图片质量符合商品展示要求，无需后期大量人工处理，从而降低了人工抠图的成本，便于电商平台进行实时业务拓展。并且抠图结果只需要辅以简单的人工抽查审核，极大的提升了商品抠图和图片生成的效率，降低了人工抠图和维护成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的系统架构示意图；

图2为本发明实施例提供的方法流程示意图；

图3、4、5、6为本发明实施例提供的具体实例的示意图；

图7、8为本发明实施例提供的装置结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本实施例中的方法流程，具体可以在一种如图1所示的系统上通过计算机软件执行。该系统具体包括：业务系统、分析服务器和图片服务器，系统的各端设备相互之间可以通过互联网建立信道，并通过各自的数据传输端口进行数据交互。

本实施例中所揭示的分析服务器，在硬件层面上具体可以是工作站、超级计算机等设备，或者是由多台服务器组成的一种用于数据处理的服务器集群，或者分析服务器的功能也可以集成在图片服务器、业务系统或者其他的硬件系统中，即图片服务器、业务系统或者其他的硬件系统通过分配出一定数量的硬件资源，实现分析服务器的功能，具体可以通过目前的虚拟机技术或者分布式计算技术实现不同的计算功能在硬件系统上的集成。

其中，分析服务器上实现的功能包括：训练分割模型、通过分割模型从处理商品的图片数据、向业务系统提供商品的动态URL、根据业务系统的调用组装并生成业务系统所需的商品的图片等等。

图片服务器中，存储了商品的图片数据，商品的图片数据可以是通过网络爬虫从商品的详情页面提取的，也可以从商品数据库中直接获取，其中商品数据库可以理解为目前电商领域常用的用于存储商品的价格、物流、存货、订单量、图片等数据的数据库。

业务系统，在硬件层面上具体可以是由多台服务器、超算等具备计算功能的硬件设备组成的，一种用于运营在线业务的系统，比如在线购物平台上运营的促销系统、订单系统、用于显示商品详情页的前端系统等。

本发明实施例提供一种图片处理方法，如图2所示，包括：

S1、根据商品的URL信息获取所述商品的图片数据。

其中，所述URL(Uniform Resource Locator，统一资源定位符)信息指向显示所述商品的图片的页面。所述URL信息具体包括：所述商品的主图信息中指向图片的URL，主图信息用于表示所述商品的属性、图片、详情页位置等信息，其中包括了指向显示了该商品的详情页中的图片的URL信息。分析服务器可以通过该URL信息从该商品的详情页中的提取图片。

具体的，所获取的商品的图片数据，通常可以是显示了商品主体的白底图，比如图3所示的。根据具体的应用场景图片数据的底色也是可以改变的，比如也可以将显示了商品主体的蓝底图、灰底图等作为商品的图片数据。而显示了商品主体的白底图，通常是电商领域中常用的图片形式，本实施例中会以此为例进行说明。

S2、从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图。

其中，透明图可以按照通常的理解，即仅包括一个对象的图片且不包括除了该对象以外的其它部分，类似于修图软件(比如PS，美图秀秀)中的签章图，仅包括签章图案这一个对象，使得签章图覆盖至其他图片上时，仅会显示签章图案，而不会遮挡其他图片上的内容。

所述商品的透明图中仅包括商品主体，而不包括商品主体以外的部分，比如背景、其他对象主体等。

S3、将所述商品的透明图和图片数据上传至图片服务器。

其中，在所述图片服务器中生成了对应所述商品的动态URL，其中，所述对应所述商品的动态URL，用于业务系统调用所述商品的透明图和图片数据。例如，如图4所示的：

分析服务器将的白底图和透明图传输给开发平台，以便于开发平台的技术人员及时获取，并还会将图片上传至图片服务器(在实际应用中，图片服务器具体可以部署在商品中心)，并生成一个动态的URL，以便于其他业务系统通过该动态URL获取白底图和透明图。具体的，生成的动态URL要向商品中心同步关联主信息，并提供查询接口给其他系统进行调用。例如：大数据中心可以根据查询接口查询完商品信息，查出图片URL并保存至推荐数据库。前台服务层通过查询接口对所有信息进行合并处理，包括图片URL，前台展示层可以根据不同场景信息提供白底图或透明图。

目前已有了一些基于图像分割技术的抠图算法，例如基于颜色空间阈值的分割技术、基于图分割的分割技术、基于背景建模的分割技术、基于图像连通区域标记的分割技术等等。但是这些方法都无法适用于海量的商品抠图，例如：基于颜色空间阈值的分割技术适合主体目标与背景有明显的颜色空间特征差异，但是无法排除非主体目标的干扰，且抠出的商品主体边缘易产生毛刺；基于图分割的分割技术适用于有先验的商品主体和背景信息，要么需要辅以人工交互，要么利用算法产生的先验不够准确，从而使得抠出的商品主体或者缺边少角，或者背景切除不干净；基于背景建模的分割技术适用于主体目标单一，背景易于建模的场景，但是海量的商品特征各不相同，无法有效的对背景进行建模；基于图像连通区域标记的分割技术适用于目标主体特征固定或者可获取的情形，海量商品特征是无法预先确定的，由此可见这些抠图方法很难在海量的商品抠图中取得满意的效果。

本实施例设计一种自动化抠图方案，抠图和背景模版选择过程完全无需人工参与，主要采用的是全自动图像分割技术，效果：自动抠取用户上传白底图中的商品主体，可以在无人工干预的情况下准确抠出商品主体并去除毛刺背景边缘，抠取图片质量符合商品展示要求，无需后期大量人工处理，从而降低了人工抠图的成本，便于电商平台进行实时业务拓展。并且抠图结果只需要辅以简单的人工抽查审核，极大的提升了商品抠图和图片生成的效率，降低了人工抠图和维护成本。

在本实施例中，步骤S2、所述从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图，具体可以包括：

根据所述图片数据获取所述商品的白底图，对所述白底图进行主体检测并进行抠图，得到初始透明图。对所述初始透明图进行主题色的提取，得到所述商品的透明图。

其中，在对所述初始透明图进行主题色的提取之前，可以通过质量评估算法计算所述初始透明图的抠图质量，并根据计算结果筛选所述初始透明图。质量评估算法可以根据具体的应用场景和商品类型选用，质量评估算法运行时的各类权值和参数依据具体应用场景和商品类型设定。

例如：获取商品的白底图后，先进行白底图的主体检测，然后采用卷积神经网络和条件随机场进行自动化抠图，所抠完的透明图经过抠图质量评估算法之后，进行主题色的提取，最终生成对应的透明图。在进行主题色的提取的同时，也可以同时进行商品的背景模版的自动选择，得到匹配所述商品的背景模版集合。以便于业务系统同时调用商品的透明图和合适的背景模版来组装最终需要显示的商品图片。

不同于只能针对特定目标抠图的算法，本实施例采用卷积神经网络和条件随机场，实现了分割模型的端到端训练，适用与海量商品的抠图。不同于以往只分为背景和前景的分割方法，本实施例可以有效滤除电商图片中的可能出现的文字、Logo、阴影以及镜像等非背景元素，保持了商品主体的原生态，便于后期生成定制化的商品主图。同时提出一种基于主题色的背景模版自动选取方法，减轻了人工选取和设计的成本，提高了商品图片生成的效率。

具体的，所述对所述白底图进行主体检测的具体方式，可以通过所述分割模型从所述白底图中分割出商品主体。

其中，分割模型可以由分析服务器训练并维护，以便于通过分割模型实现自动化的商品抠图分割器，从而能够准确高效的抠图用户上传的白底图中的商品主体，节约人工成本。分割模型的具体训练和维护方式包括：

获取训练样本，并标注所述训练样本中的商品主体。通过所述训练样本，训练基于全卷积神经网络和有监督条件随机场的分割模型。其中，所述训练样本包括指定数量个商品的图片数据，指定数量越大即训练所采用的样本的规模越大。具体过程如图5所示的，先获取训练用的图片样本。再将训练样本中主体区域标注出来。之后训练基于全卷积神经网络和有监督条件随机场的分割模型。最后可以使用分割模型分割出图片中的商品主体。

在本实施例中，还提供一种业务系统调用商品图片时的处理方式，包括：

在所述商品的透明图和图片数据被调用后，获取所述商品的背景模版。根据所述商品的背景模版和透明图，生成所述商品的图片，并将所生成的图片向所述业务系统发送。

其中，所述获取所述商品的背景模版的具体方式，包括：

获取所述商品主体的空间直方图。在所述RGB(即红绿蓝三原色)颜色空间中采用二分法进行颜色立方体分割，直至分割数量达到指定数目或者无像素可分停止。将立方体中心的RGB值确定为主题色，并将得到的主题色与背景模版的主题色进行匹配，得到所述商品的背景模版。

其中，所述空间直方图用于表示所述商品主体的RGB颜色空间。具体的，统计抠取的商品主体RGB颜色空间直方图。在量化后的三维RGB颜色空间中采用二分法进行颜色立方体分割，直到分割数量达到指定数目或者无像素可分停止。按照分割立方体中的像素数量进行降序排序，最终的主题色为每个立方体中心的RGB值。将得到的主题色与背景模版的主题色进行距离匹配，自动挑选出合适的背景模版。例如：

如图6所示的，分析服务器采集一定数量待标注的商品图片，主要从互联网上以及电商服务平台上获取商品图片的候选集合；整理训练样本并进行人工标注，标注分为文字、Logo、阴影、镜像和商品主体。

之后，训练基于全卷积神经网络和条件随机场的分割模型，具体指采用全卷积神经网络+有监督的条件随机场构建商品图片分割模型，针对电商场景，可以采集和标注约2万张的训练样本，为防止训练数据导致过拟合，挑选样本基本涵盖各类商品，利用深度学习对网络参数进行训练，完全端到端的处理，避免了多数分割算法手动调参和复杂的特征提取步骤。全卷积神经网络输出粗糙的商品分割，再经条件随机场最终输出商品精细分割。

分割模型训练完毕后，向分析服务器输入为待处理的商品图片的url，输出为包含待处理图像商品主体的透明图和主题色序列及占比；背景模版选取依据商品主体和模版的主题色序列及占比进行距离匹配，结合一些业务制定的规则，最终选取出符合条件的背景模版，从而利用背景模版和透明图最终组装出商品图片。

当前在目前电商运营的大量促销活动，在线上平台的会场入口，需要大量的定制化商品展示图，相比基于白底图的展示，基于绚丽多彩背景模版的商品展示不仅可以增加会场的展示效果，而且能够提升用户的点击率。目前一个中等运营商存量商品图片已达到上亿，且每天还有约几百万左右的增量量，如果通过人工生成，无疑需要耗费巨大的人力和时间成本，且短期无法有效实现，因而全自动化的商品抠图和图片生成方法成为迫切需求。

例如：目前采用的商户管理平台后台总存量约8000万个商品，共4亿张图片，且每天还会新增上传200万张图，需实时安排人力进行监督审核抠取，如果通过人工抠取，需要大量人力和时间成本。电商平台定期需要根据大促主题生成各类定制化会场展示图片，每张图如果都通过人工选择背景模版，同样效率极低，耗费巨大。通过本实施例中的主体分割以及后续图片组装过程，实际运行时的抠图和背景模版选择过程完全无需人工参与，为确保质量只需要辅以简单的人工抽查审核，以及训练模型时对少量样本中的主体进行人工标注，极大的提升了抠图和商品生成的效率，降低了人工成本。

本实施例中，还提供一种如图7所示的图片处理装置，该装置具体可以运行在如图1所示的分析服务器上，该装置具体包括：

提取模块，用于根据商品的URL信息获取所述商品的图片数据，其中，所述URL信息指向显示所述商品的图片的页面；

分析模块，用于从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图；

发送模块，用于将所述商品的透明图和图片数据上传至图片服务器，其中，在所述图片服务器中生成了对应所述商品的动态URL，其中，所述对应所述商品的动态URL，用于业务系统调用所述商品的透明图和图片数据。

所述分析模块，具体用于根据所述图片数据获取所述商品的白底图，对所述白底图进行主体检测并进行抠图，得到初始透明图；并对所述初始透明图进行主题色的提取，得到所述商品的透明图；其中，在对所述初始透明图进行主题色的提取之前，通过质量评估算法计算所述初始透明图的抠图质量，并根据计算结果筛选所述初始透明图。

进一步的，如图8所示的，还包括：图片组装模块，用于在所述商品的透明图和图片数据被调用后，获取所述商品的背景模版；并根据所述商品的背景模版和透明图，生成所述商品的图片，并将所生成的图片向所述业务系统发送。

本实施例设计一种自动化抠图方案，抠图和背景模版选择过程完全无需人工参与，主要采用的是全自动图像分割技术，效果：自动抠取用户上传白底图中的商品主体，可以在无人工干预的情况下准确抠出商品主体并去除毛刺背景边缘，抠取图片质量符合商品展示要求，无需后期大量人工处理，从而降低了人工抠图的成本，便于电商平台进行实时业务拓展。并且抠图结果只需要辅以简单的人工抽查审核，极大的提升了商品抠图和图片生成的效率，降低了人工抠图和维护成本。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种图片处理方法，其特征在于，包括：

根据商品的URL信息获取所述商品的图片数据，其中，所述URL信息指向显示所述商品的图片的页面；

从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图；

将所述商品的透明图和图片数据上传至图片服务器，其中，在所述图片服务器中生成了对应所述商品的动态URL，其中，所述对应所述商品的动态URL，用于业务系统调用所述商品的透明图和图片数据；

所述从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图，包括：

根据所述图片数据获取所述商品的白底图，对所述白底图进行主体检测并进行抠图，得到初始透明图；

对所述初始透明图进行主题色的提取，得到所述商品的透明图；

还包括：

获取训练样本，并标注所述训练样本中的商品主体，所述训练样本包括指定数量的商品的图片数据；

通过所述训练样本，训练基于全卷积神经网络和有监督条件随机场的分割模型；

所述对所述白底图进行主体检测，包括：

通过所述分割模型从所述白底图中分割出商品主体。

2.根据权利要求1所述的方法，其特征在于，还包括：

在对所述初始透明图进行主题色的提取之前，通过质量评估算法计算所述初始透明图的抠图质量，并根据计算结果筛选所述初始透明图。

3.根据权利要求1所述的方法，其特征在于，还包括：

在所述商品的透明图和图片数据被调用后，获取所述商品的背景模版；

根据所述商品的背景模版和透明图，生成所述商品的图片，并将所生成的图片向所述业务系统发送。

4.根据权利要求3所述的方法，其特征在于，所述获取所述商品的背景模版，包括：

获取所述商品主体的空间直方图，所述空间直方图用于表示所述商品主体的RGB颜色空间；

在所述RGB颜色空间中采用二分法进行颜色立方体分割，直至分割数量达到指定数目或者无像素可分停止；

将立方体中心的RGB值确定为主题色，并将得到的主题色与背景模版的主题色进行匹配，得到所述商品的背景模版。

5.一种图片处理装置，其特征在于，包括：

提取模块，用于根据商品的URL信息获取所述商品的图片数据，其中，所述URL信息指向显示所述商品的图片的页面；

分析模块，用于从所述图片数据中确定商品主体，并利用所述商品主体从所述图片数据中提取所述商品的透明图；

发送模块，用于将所述商品的透明图和图片数据上传至图片服务器，其中，在所述图片服务器中生成了对应所述商品的动态URL，其中，所述对应所述商品的动态URL，用于业务系统调用所述商品的透明图和图片数据；

所述分析模块，具体用于根据所述图片数据获取所述商品的白底图，对所述白底图进行主体检测并进行抠图，得到初始透明图；并对所述初始透明图进行主题色的提取，得到所述商品的透明图；

其中，在对所述初始透明图进行主题色的提取之前，通过质量评估算法计算所述初始透明图的抠图质量，并根据计算结果筛选所述初始透明图；

其中还包括：获取训练样本，并标注所述训练样本中的商品主体，所述训练样本包括指定数量的商品的图片数据；通过所述训练样本，训练基于全卷积神经网络和有监督条件随机场的分割模型；

所述对所述白底图进行主体检测，包括：通过所述分割模型从所述白底图中分割出商品主体。

6.根据权利要求5所述的装置，其特征在于，还包括：

图片组装模块，用于在所述商品的透明图和图片数据被调用后，获取所述商品的背景模版；并根据所述商品的背景模版和透明图，生成所述商品的图片，并将所生成的图片向所述业务系统发送。

Images