CN112967292B - 一种针对电商产品的自动抠图与评分方法及系统 - Google Patents

Abstract

本发明公开了一种针对电商产品的自动抠图与评分方法及系统，其特征在于，通过给定原始产品图像，利用Mask生成模型、Alpha通道生成模型，以及评分算法、Trimap生成和png合成算法，能够在得到抠图结果的同时给出抠图置信度。整个流程是端到端的，只需要一张产品图像即可得到含有Alpha通道的png图像，无需人工干预抠图过程。该方法能够帮助设计人员从费时费力的抠图任务中解放出来，同时可以为不懂抠图的电商商家服务，为其制作精美的首页商品展示图提供便利。由该方法所运行的系统所获得的抠图优秀率性高且速度很快，通常可以在20ms内处理完一张任一产品图片，并且可以提供抠图结果的评分，具有广泛的适用性。

Description

一种针对电商产品的自动抠图与评分方法及系统

技术领域

本发明涉及计算机深度学习领域，特别是涉及一种针对电商产品的自动抠图与评分方法及系统。

背景技术

在摄影摄像工作室及类似需要抠图的场景下，一直以来都对自动且高精度的扣图工作有强烈的需求，这一工作通常需要设计人员使用PS或其他工具手动完成，不仅效率低下，而且效果质量难以控制。而且，此项工作对于设计人员的设计水平提升十分有限，甚至可以说几乎没有作用，却浪费了后续工作的宝贵时间，增加了大量的隐性成本。

目前已有一些自动抠图的方法，大多是针对比较宽泛的预设场景，对于某些特定领域如电商产品的抠图效果差强人意，且没有相应的评分方法，无法判断抠图结果的质量优劣，只能依靠人工进行判断。

如CN201910026838.0所示的一种自动抠图方法，为了生成人像部分的trimap图像，将 RGB格式的原始图像转化为HSV颜色空间；在HSV颜色空间中，根据背景色的色域范围分割前景和背景；获取人体关键点，对人体关键点进行连接和扩展，生成人体姿势，根据人体姿势对分割的前景、背景进行处理，生成三分图。但根据色域划分前景背景太过于简单粗暴，且过于笼统，无法确保划分准确性，也没有评分标准，无法满足高精度抠图的需求。

如CN202010883744.8所示的一种基于多背景色统计的自动抠图方法及装置，为了生成人像部分的trimap图像，遍历待抠图图像的图像边缘点，聚类生成多个背景色类别；再次遍历待抠图图像，计算每个像素点对应的颜色信息与任意一个背景色类别对应的颜色信息之间的距离，完成背景点与前景点的划分，但该方法需要对每张图片进行两次遍历，十分耗时，不能满足实时性要求，且没有相应的抠图评分方法，无法满足高精度实时抠图的需求。

CN201910867873.5一种基于语义分割和显著性分析的自动抠图方法，使用语义分割及显著性检测模型，识别某些特定目标并修正二值前景背景图，然后生成对应的trimap，但此方法并不适用类别数量成千上万的电商产品，因为需要各种类别的相当数量的数据，极大限制了应用范围。

如CN201910824612所示的一种基于显著性引导的弱监督目标检测方法，为了用图像级标注代替物体级标记，降低训练样本的获取难度，将图像转换为二值形式，先膨胀再腐蚀，去除噪点，引入IOU值做为正样本选择的标准，但该方法无法直接应用于本案的场景，无法满足高精度抠图的需求。

如CN201811148594所示的基于巡检机器人的电抗器油位计识别方法，为了满足不同外部环境下准确识别仪表示数的需求，对图像中油位区域进行二值化、膨胀腐蚀，通过分类器选择若干目标候选区域，通过计算感知哈希、互信息和交并比三种参数指标，得到最终目标。但该方法应用于本案的场景时不能满足高精度抠图的需求。

如CN201910470451所示的基于分层模型的局部运动模糊区域自动检测提取方法，为了从局部模糊图像中区分出清晰和模糊区域，对检测图像进行二值去噪，采用腐蚀膨胀处理，得到trimap三分图，调用k近邻抠图算法得到对应的Alpha图，但对局部模糊图像的分离方法应用在高精度的抠图场景中效果并不好。

针对以上问题，本发明针对电商产品的特点，给出了一种高精度的自动抠图与评分方法及系统。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种针对电商产品的自动抠图与评分方法及系统。

为解决上述技术问题，本发明提供一种针对电商产品的自动抠图与评分方法，其特征在于，包括以下步骤：

步骤一：准备用于电商产品抠图训练与测试的数据，所述数据包括原始图像、Mask图像、 Trimap图像、含有Alpha通道的png图像；

步骤二：根据准备的电商产品抠图的所述数据中用于训练的原始图像与Mask图像，训练四个深度神经网络Net1、Net2、Net3、Net4，用于得到Mask图像与评分；根据原始图像、 Trimap图像、含有Alpha通道的png图像，训练一个深度神经网络Net5做为Alpha通道生成模型，用于得到精细抠图结果；

步骤三：采集实际场景下的电商产品图像，同时输入Net1、Net2、Net3、Net4，得到混合后的Mask图像与评分，对Mask图像进行腐蚀膨胀得到对应的Trimap图像；

步骤四：将步骤三得到的Trimap图像与电商产品图像同时输入Net5，得到对应的含有 Alpha通道的png图像，将含有Alpha通道的png图像与电商产品图像融合，得到含有Alpha 通道的精细抠图结果。

所述步骤一中，电商产品抠图训练与测试数据包括四个部分，第一个部分为所述原始图像包括各类电商产品图像，数量不少于10万张；第二部分为所述Mask图像是对应产品图像主体的二值上掩膜图像；第三部分为所述Trimap图像是由Mask图像通过腐蚀膨胀得到的三值图像，所述Trimap图像中以黑白色代表已知区域，灰色代表未知区域；第四部分为所述含有Alpha通道的png图像除主体外，其余部分为全透明。

所述步骤二中，具体包括如下步骤：

步骤2-1：通常情况下，Mask图像直接决定了最终的抠图区域，也即决定了最终抠出的主体是否完整，因此评分方法在本发明中指的是对Mask图像进行评分，具体为，利用四个深度神经网络，除了Net1之外，另外训练了3个不同模型版本，分别为Net2、Net3、Net4，同时对原始图像生成Mask图像，计算不同深度神经网络两两之间的IOU，根据6组IOU，取 IOU最大的两个值，即：

IOU_top1,IOU_top2＝{Mask₁,Mask₂},{Mask₃,Mask₄}，

若Mask₁≠Mask₂≠Mask₃≠Mask₄，则

否则

评分计算公式为：

步骤2-2：利用经典图像处理算法得到由Mask图像生成Trimap图像的函数，使得F₁(Mask)＝{Trimap}，使用腐蚀算法对Mask图像中的主体进行缩小得到Mask_cor，再使用膨胀算法对Mask图像中的主体进行放大得到Mask_dil，得到Trimap＝Mask_dil-Mask_cor；

步骤2-3：利用深度神经网络Net5训练一个Alpha通道生成模型，使得 Net₅(Image,Trimap)＝{alpha}，将Alpha通道与原始图像拼接起来得到含有Alpha通道的png图像，做为精细抠图结果，使得F₂(alpha)＝{png}；

步骤2-4，将步骤2-1～2-3集合，得到从原始图像获得含有Alpha通道的png图像的数据管道：

F(Image)＝F₂(Net₅(Image,F₁(Net_1,2,3,4(Image))))＝{png}。

所述步骤三中，待分析的图片为Image，得到对应的Mask图像、评分与Trimap图像的表达式为Mask，confidence＝Net_1,2,3,4(Image)，Trimap＝F₁(Mask)。

所述步骤四中，原始图像与Trimap图像通过Net₅处理后得到对应的Alpha通道，将Alpha 通道与原始图像拼接得到含有Alpha通道的png图像，即png＝F₂(Net₅(Image,Trimap))。

一种针对电商产品的自动抠图与评分的系统，其特征在于：包括依次相连的数据源模块、模型训练模块和抠图与评分模块；

所述数据源模块用于训练深度神经网络模型需要准备的数据集，所述数据集包括：原始图像、Mask图像、Trimap图像、含有Alpha通道的png图像；

所述模型训练模块用于利用深度神经网络训练深度学习模型，所述深度学习模型包括： Mask生成模型、Alpha通道生成模型；

所述抠图与评分模块用于提供抠图结果与评分的接口，其中包括四个相连的子模块：抠图评分子模块、Mask生成子模块、Trimap生成子模块、Alpha通道生成与png合成子模块；所述抠图评分子模块，用于给抠图结果提供一个评分参考；所述Mask生成子模块，对于待抠图像，生成其中主体对应的Mask掩膜图像；所述Trimap生成子模块，用于将生成的Mask图像制作为Trimap图像；所述Alpha通道生成与png合成子模块，用于生成待抠图像对应的Alpha通道，将其与待抠图像进行拼接之后，得到抠好的png图像。

本发明所达到的有益效果:通过给定原始产品图像，利用Mask生成模型、Alpha通道生成模型，以及评分算法、Trimap生成和png合成算法，能够在得到抠图结果的同时给出抠图置信度。整个流程是端到端的，只需要一张产品图像即可得到含有Alpha通道的png图像，无需人工干预抠图过程。该方法能够帮助设计人员从费时费力的抠图任务中解放出来，同时可以为不懂抠图的电商商家服务，为其制作精美的首页商品展示图提供便利。由该方法所运行的系统所获得的抠图优秀率性高且速度很快，通常可以在20ms内处理完一张任一产品图片，并且可以提供抠图结果的评分，具有广泛的适用性。

附图说明

图1为本发明的示例性实施例的方法流程简图；

图2为本发明的示例性实施例中的系统结构示意图。

具体实施方式

下面结合附图和示例性实施例对本发明作进一步的说明：

如图1所示，本发明公开一种针对电商产品自动抠图与评分方法，包括：

步骤11：准备电商产品抠图训练与测试数据，包括原始图像、Mask图像、Trimap图像、含有Alpha通道的png图像。其中，Mask图像为原始图像主体对应的二值掩膜图像；Trimap 图像是由Mask通过腐蚀膨胀得到的三值图像，图中黑白色代表已知区域，灰色代表未知区域；含有Alpha通道的png图像与原始图像对应，Alpha通道包含了真实的主体区域及边缘透明度。

步骤12：根据准备的电商产品抠图训练数据，训练四个深度神经网络Net1、Net2、Net3、 Net4，用于得到主体Mask图像与评分；根据原始图像、Trimap图像及含有Alpha通道的png 图像，训练一个深度神经网络Net5，用于得到原始图像的精细抠图结果。

步骤121：利用深度神经网络训练四个不同的Mask生成模型，使得 Net_1,2,3,4(Image)＝{Mask_1,2,3,4}，四个模型生成四个Mask，用于后续的Trimap生成及评分。

步骤122：利用深度神经网络训练一个Alpha通道生成模型，使得 Net₅(Image,Trimap)＝{alpha}，用于生成待抠图像的Alpha通道。

该方法能够比较快速、精准地识别出待抠图片中主体目标的区域，生成对应的Mask及 Alpha通道，有助于中间步骤Trimap的精确处理以及提升最终的png图片效果。

步骤13：对于待抠产品图片，首先调用Mask生成模型生成对应的Mask图像并处理得到对应的Trimap，同时计算给出抠图置信度。

步骤131：通常情况下，Mask图像直接决定了最终的抠图区域，也即决定了最终抠出的主体是否完整，因此评分方法在本发明中指的是对生成的Mask进行评分。Mask生成网络除了Net1之外，另外训练了3个不同模型版本，分别为Net2、Net3、Net4，同时对原始图像生成Mask，得到Mask_1,2,3,4＝Net_1,2,3,4(Image)。计算其两两之间的IOU，根据6组IOU，取IOU最大的两个值，即

IOU_top1,IOU_top2＝{Mask₁,Mask₂},{Mask₃,Mask₄}

若Mask₁≠Mask₂≠Mask₃≠Mask₄，则

否则

评分计算公式为：

步骤132：利用经典图像处理算法得到由Mask生成Trimap的函数，使得 F₁(Mas)k＝{Trim a}p。首先使用腐蚀算法对Mask图像中的主体进行缩小得到Mask_cor，再使用膨胀算法对Mask图像中的主体进行放大得到Mask_dil，最终得到Trimap＝Mask_dil-Mask_cor。

步骤14：利用深度神经网络训练一个Alpha通道生成模型，使得 Net₅(Image,Trimap)＝{alpha}，原始待抠图像与Trimap同时输入Alpha通道生成模型，得到对应的Alpha通道，最后将Alpha通道与原始图像拼接后得到最终抠好的png图像，使得 F₂(alpha)＝{png}。

电商产品种类繁多，特征各异，目标相对整个画面更加突出，易于发现主体，且每幅图中大多只有1～2个目标。该方法能够帮助设计人员从费时费力的抠图任务中解放出来，同时可以为不懂抠图的电商商家服务，为其制作精美的首页商品展示图提供便利。本系统所获得的抠图优秀率性高且速度很快，通常可以在20ms内处理完一张任一张产品图片，并且可以提供抠图结果的评分，具有广泛的适用性。

如图2所示，本发明公开一种针对电商产品自动抠图与评分系统，主要包括：依次相连的数据源模块21、模型训练模块22和抠图与评分模块23。

所述数据源模块21，用于准备电商产品抠图需要的数据集，主要包括：包括原始图像、 Mask图像、Trimap图像、含有Alpha通道的png图像。

所述模型训练模块22，用于利用深度神经网络训练Mask生成模型与Alpha通道生成模型，分别用于生成产品图中的主体部分区域和生成对应产品图主体对应的Alpha通道。

所述抠图与评分模块23，用于提供抠图与评分的接口，其中包括四个子模块：抠图评分子模块231、Mask生成子模块232、Trimap生成子模块233、Alpha通道生成与png合成子模块234；

所述抠图评分子模块231，用于给抠图结果提供一个评分参考；

所述Mask生成子模块232，对于待抠图像，生成其中主体对应的Mask掩膜图像；

所述Trimap生成子模块233，用于将生成的Mask图像制作为Trimap图像；

所述Alpha通道生成与png合成子模块234，用于生成待抠图像对应的Alpha通道，将其与待抠图像进行拼接之后，得到抠好的png图像；

对于电商产品，有如下几个难以处理的特点：1、类目众多；2、通常只有1～2个主体；3、原始图片通常为自然背景。

本发明主要用于提供一种针对电商产品的自动抠图与评分方法及系统，所达到的有益效果:通过给定原始产品图像，利用Mask生成模型、Alpha通道生成模型，以及评分算法、Trimap 生成和png合成算法，能够在得到抠图结果的同时给出抠图置信度。整个流程是端到端的，只需要一张产品图像即可得到含有Alpha通道的png图像，无需人工干预抠图过程。该方法能够帮助设计人员从费时费力的抠图任务中解放出来，同时可以为不懂抠图的电商商家服务，为其制作精美的首页商品展示图提供便利。由该方法所运行的系统所获得的抠图优秀率性高且速度很快，通常可以在20ms内处理完一张任一产品图片，并且可以提供抠图结果的评分，具有广泛的适用性。

以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。

Claims (4)

1.一种针对电商产品的自动抠图与评分方法，其特征在于，包括如下步骤：

步骤一：准备用于电商产品抠图训练与测试的数据，所述数据包括原始图像、Mask图像、Trimap图像、含有Alpha通道的png图像；

所述步骤一中，所述原始图像包括各类电商产品图像，数量不少于10万张；所述Mask图像是对应产品图像主体的二值上掩膜图像；所述Trimap图像是由Mask图像通过腐蚀膨胀得到的三值图像，所述Trimap图像中以黑白色代表已知区域，灰色代表未知区域；所述含有Alpha通道的png图像除主体外，其余部分为全透明；

步骤二：根据所述数据中用于训练的原始图像与Mask图像，训练四个深度神经网络Net1、Net2、Net3、Net4，用于得到Mask图像与评分；根据原始图像、Trimap图像、含有Alpha通道的png图像，训练一个深度神经网络Net5做为Alpha通道生成模型，用于得到精细抠图结果；

所述步骤二中，具体包括如下步骤：

步骤2-1：对Mask图像进行评分，具体为，利用四个深度神经网络，同时对原始图像生成Mask图像，计算不同深度神经网络两两之间的IOU，根据6组IOU，取IOU最大的两个值，即：

IOU_top1,IOU_top2＝{Mask₁,Mask₂},{Mask₃,Mask₄}，

若Mask₁≠Mask₂≠Mask₃≠Mask₄，则

否则

评分计算公式为：

步骤2-2：利用经典图像处理算法得到由Mask图像生成Trimap图像的函数，使得F₁(Mask)＝{Trimap}，使用腐蚀算法对Mask图像中的主体进行缩小得到Mask_cor，再使用膨胀算法对Mask图像中的主体进行放大得到Mask_dil，得到Trimap＝Mask_dil-Mask_cor；

步骤2-3：利用深度神经网络Net5训练一个Alpha通道生成模型，使得Net₅(Image,Trimap)＝{alpha}，将Alpha通道与原始图像拼接起来得到含有Alpha通道的png图像，做为精细抠图结果，使得F₂(alpha)＝{png}；

步骤2-4，将步骤2-1～2-3集合，得到从原始图像获得含有Alpha通道的png图像的数据管道：

F(Image)＝F₂(Net₅(Image,F₁(Net_1,2,3,4(Image))))＝{png}；

步骤三：采集实际场景下的电商产品图像，同时输入Net1、Net2、Net3、Net4，得到混合后的Mask图像与评分，对Mask图像进行腐蚀膨胀得到对应的Trimap图像；

步骤四：将步骤三得到的Trimap图像与电商产品图像同时输入Net5，得到对应的含有Alpha通道的png图像，将含有Alpha通道的png图像与电商产品图像融合，得到含有Alpha通道的精细抠图结果。

2.如权利要求1所述的一种针对电商产品的自动抠图与评分方法，其特征在于：所述步骤三中，待分析的图片为Image，得到对应的Mask图像、评分与Trimap图像的表达式为Mask，confidence＝Net_1,2,3,4(Image)，Trimap＝F₁(Mask)。

3.如权利要求2所述的一种针对电商产品的自动抠图与评分方法，其特征在于：所述步骤四中，原始图像与Trimap图像通过Net₅处理后得到对应的Alpha通道，将Alpha通道与原始图像拼接得到含有Alpha通道的png图像，即png＝F₂(Net₅(Image,Trimap))。

4.一种根据权利要求1-3之一所述方法运行的针对电商产品的自动抠图与评分的系统，其特征在于：包括依次相连的数据源模块、模型训练模块和抠图与评分模块；

所述数据源模块用于训练深度神经网络模型需要准备的数据集，所述数据集包括：原始图像、Mask图像、Trimap图像、含有Alpha通道的png图像；

所述模型训练模块用于利用深度神经网络训练深度学习模型，所述深度学习模型包括：Mask生成模型、Alpha通道生成模型；

所述抠图与评分模块用于提供抠图结果与评分的接口，其中包括四个相连的子模块：抠图评分子模块、Mask生成子模块、Trimap生成子模块、Alpha通道生成与png合成子模块；所述抠图评分子模块，用于给抠图结果提供一个评分参考；所述Mask生成子模块，对于待抠图像，生成其中主体对应的Mask掩膜图像；所述Trimap生成子模块，用于将生成的Mask图像制作为Trimap图像；所述Alpha通道生成与png合成子模块，用于生成待抠图像对应的Alpha通道，将其与待抠图像进行拼接之后，得到抠好的png图像。

Images