CN111241330B - 一种商品图片的审核方法、装置 - Google Patents

Abstract

本申请实施例公开一种商品图片的审核方法、装置，方法包括：将商品图片输入至预先构建的目标检测模型中，当预测得到目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息，将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；将匹配结果与预设的匹配阈值进行比较以得到第二商品信息的检测结果，并通过判断目标对象的位置坐标所对应的面积得到第二商品信息的大小判断结果。本申请可以对商品图片进行检测，完成商品图片的第一商品信息和/或第二商品信息的审核。

Description

一种商品图片的审核方法、装置

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种商品图片的审核方法、装置。

背景技术

在国内外各大电商平台中，商品都需要通过图片进行展示，其中包括一定数量的(一般为5到10张)商品主图用于检索页面和商品主页的展示。商品图片的规范与否，将会影响商家的权益，当商品图片不规范、主图随意添加促销信息、添加不符合要求的文字信息等，将会对商品进行下架处理。

然而，由于商户上传的商品图片多种多样，质量良莠不齐，无法避免地会出现很多不合规范的商品图片，因此需要对商品主图进行审核。目前，电商平台大多通过人工的方式进行审核。由于平台每日上传的图片数量庞大，这种低效的方式难以满足实时性，且需要消耗大量的人力。此外，少数采用机器(系统)审核的方式，但是由于审核方法难以全面地解决各类问题，因此也存在一些误检的情况。

发明内容

为了解决现有技术的问题，本发明提出了一种商品图片审核方法、装置、系统，本方法可以实现对商品图片上的第一商品信息、第二商品信息等进行识别，节省人力的同时保证良好的准确性。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种商品图片的审核方法，所述方法包括：

将商品图片输入至预先构建的目标检测模型中，得到目标检测结果并进行判断，当目标检测结果中包括目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；

当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；

当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息，将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；

将匹配结果与预设的匹配阈值进行比较，若大于第一匹配阈值，则计算目标对象的位置坐标所对应的面积，将目标对象的位置坐标所对应的面积与预设值进行比较，根据比较结果返回对应的第二商品信息的大小判断结果；

其中，所述目标对象包括第一商品信息、第二商品信息中的至少一种。

优选的，所述目标检测模型的获取方法包括：

构建第一商品图片样本库，所述第一商品图片样本库中包括有第一商品信息的商品图片和有第二商品信息的商品图片；

对所述第一商品图片样本库中所有的商品图片的第一商品信息和第二商品信息进行标注；

根据标注后的第一商品图片样本库，构建第一训练样本集；

根据所述第一训练样本集对一基础检测模型进行训练以得到所述目标检测模型。

优选的，所述方法还包括：

根据标注后的第一商品图片样本库，构建第一验证样本集；

将所述第一验证样本集输入至所述目标检测模型中以得到验证样本检测结果；

将第一验证样本集的验证样本检测结果与第一验证样本集的验证样本分类标签进行对比；

将错误的验证样本检测结果所对应的商品图片加入至所述第一训练样本集中，得到新训练样本集；

根据所述新训练样本集对所述目标检测模型进行训练。

优选的，所述方法还包括：

对所述商品图片进行透明度判断，当所述商品图片为非透明图时，将所述商品图片输入至预先构建的留白分类模型中，得到留白分类预测值；

将留白分类预测值与预设的留白分类阈值进行比较，根据比较结果返回对应的留白判断结果。

优选的，所述留白分类模型的获取方法包括：

构建第二商品图片样本库，所述第二商品图片样本库包括有留白的商品图片和无留白的商品图片；

根据所述第二商品图片样本库，构建第二训练样本集；

对所述第二训练样本集进行数据增广及归一化处理；

根据所述第二训练样本集对一基础分类模型进行训练以得到所述留白分类模型。

优选的，所述方法还包括：

根据所述第二商品图片样本库，构建第二验证样本集；

将所述第二验证样本集输入至所述留白分类模型中以得到验证样本留白分类预测值；

将第二验证样本集的验证样本留白分类预测值与第二验证样本集的验证样本留白分类标签进行对比；

将错误的验证样本留白分类预测值所对应的商品图片加入至所述第二训练样本集中，得到新训练样本集；

根据所述新训练样本集对所述留白分类模型进行训练。

优选的，所述方法还包括：

将所述商品图片输入至预先构建的拼接分类模型中，得到有缝拼接分类预测值、无缝拼接分类预测值；

将所述有缝拼接预测值和无缝拼接预测值相加以得到拼接分类预测值；

将拼接分类预测值与预设的拼接分类阈值进行比较，根据比较结果返回对应的拼接判断结果。

优选的，所述拼接分类模型的获取方法包括：

构建第三商品图片样本库，所述第三商品图片样本库包括有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片；

根据所述第三商品图片样本库，构建第三训练样本集；

对所述第三训练样本集进行数据增广及归一化处理；

根据所述第三训练样本集对一基础分类模型进行训练以得到所述拼接分类模型。

优选的，所述方法还包括：

根据所述第三商品图片样本库，构建第三验证样本集；

将所述第三验证样本集输入至所述拼接分类模型中以得到验证样本有缝拼接分类预测值、验证样本无缝拼接分类预测值；

将验证样本有缝拼接分类预测值和验证样本无缝拼接分类预测值相加以得到验证样本拼接分类预测值；

将第三验证样本集的验证样本拼接分类预测值与第三验证样本集的验证样本拼接分类标签进行对比；

将错误验证样本拼接分类预测值所对应的商品图片加入至所述第三训练样本集中，得到新训练样本集；

根据所述新训练样本集对所述拼接分类模型进行训练。

第二方面，本发明提供一种商品图片的审核装置，包括：

第一预测模块，用于将商品图片输入至预先构建的目标检测模型中，得到目标检测结果；

第一判断模块，用于对所述目标检测结果进行判断，当目标检测结果中包括目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；

第一返回模块，用于当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；

获取模块，用于当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息；

匹配模块，用于将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；

所述第一判断模块还用于将匹配结果与预设的匹配阈值进行比较；

第一处理模块，用于当匹配结果大于第一匹配阈值，则计算目标对象的位置坐标所对应的面积；

所述第一判断模块还用于将目标对象的位置坐标所对应的面积与预设值进行比较；

所述第一返回模块还用于根据比较结果返回对应的第二商品信息的大小判断结果；

其中，所述目标对象包括第一商品信息、第二商品信息中的至少一种。

优选的，所述装置还包括：

第一构建模块，用于构建第一商品图片样本库，所述第一商品图片样本库中包括有第一商品信息的商品图片和有第二商品信息的商品图片；

标注模块，用于对所述第一商品图片样本库中所有的商品图片的第一商品信息和第二商品信息进行标注；

所述第一构建模块还用于根据标注后的第一商品图片样本库，构建第一训练样本集；

第一训练模块，用于根据所述第一训练样本集对一基础检测模型进行训练以得到所述目标检测模型。

优选的，所述第一构建模块还用于根据标注后的第一商品图片样本库，构建第一验证样本集；

所述第一预测模块还用于将所述第一验证样本集输入至所述目标检测模型中以得到验证样本检测结果；

所述第一判断模块还用于将第一验证样本集的验证样本检测结果与第一验证样本集的验证样本分类标签进行对比；

第一更新模块，用于将错误的验证样本检测结果所对应的商品图片加入至所述第一训练样本集中，得到新训练样本集；以及用于根据所述新训练样本集对所述目标检测模型进行训练。

优选的，所述装置还包括：

第二判断模块，用于对所述商品图片进行透明度判断；

第二预测模块，用于当所述商品图片为非透明图时，将所述商品图片输入至预先构建的留白分类模型中，得到留白分类预测值；

所述第二判断模块还用于将留白分类预测值与预设的留白分类阈值进行比较；

第二返回模块，用于根据比较结果返回对应的留白判断结果。

优选的，所述装置还包括：

第二构建模块，用于构建第二商品图片样本库，所述第二商品图片样本库包括有留白的商品图片和无留白的商品图片；以及用于根据所述第二商品图片样本库，构建第二训练样本集；

第二处理模块，用于对所述第二训练样本集进行数据增广及归一化处理；

第二训练模块，用于根据所述第二训练样本集对一基础分类模型进行训练以得到所述留白分类模型。

优选的，所述第二构建模块还用于根据所述第二商品图片样本库，构建第二验证样本集；

所述第二预测模块还用于将所述第二验证样本集输入至所述留白分类模型中以得到验证样本留白分类预测值；

所述第二判断模块还用于将第二验证样本集的验证样本留白分类预测值与第二验证样本集的验证样本留白分类标签进行对比；

第二更新模块，用于将错误的验证样本留白分类预测值所对应的商品图片加入至所述第二训练样本集中，得到新训练样本集；以及用于根据所述新训练样本集对所述留白分类模型进行训练。

优选的，所述装置还包括：

第三预测模块，用于将所述商品图片输入至预先构建的拼接分类模型中，得到有缝拼接分类预测值、无缝拼接分类预测值；

第三处理模块，用于将所述有缝拼接预测值和无缝拼接预测值相加以得到拼接分类预测值；

第三判断模块，用于将拼接分类预测值与预设的拼接分类阈值进行比较；

第三返回模块，用于根据比较结果返回对应的拼接判断结果。

优选的，所述装置还包括：

第三构建模块，用于构建第三商品图片样本库，所述第三商品图片样本库包括有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片；以及用于根据所述第三商品图片样本库，构建第三训练样本集；

所述第三处理模块还用于对所述第三训练样本集进行数据增广及归一化处理；

第三训练模块，用于根据所述第三训练样本集对一基础分类模型进行训练以得到所述拼接分类模型。

优选的，所述第三构建模块还用于根据所述第三商品图片样本库，构建第三验证样本集；

所述第三预测模块还用于将所述第三验证样本集输入至所述拼接分类模型中以得到验证样本有缝拼接分类预测值、验证样本无缝拼接分类预测值；

所述第三处理模块还用于将验证样本有缝拼接分类预测值和验证样本无缝拼接分类预测值相加以得到验证样本拼接分类预测值；

所述第三判断模块还用于将第三验证样本集的验证样本拼接分类预测值与第三验证样本集的验证样本拼接分类标签进行对比；

第三更新模块，用于将错误的验证样本拼接分类预测值所对应的商品图片加入至所述第三训练样本集中，得到新训练样本集；以及用于根据所述新训练样本集对所述拼接分类模型进行训练。

本发明实施例具有如下有益效果：

1、本方法根据一预先构建的目标检测模型，对商品图片进行检测，从而可以得到商品图片上的第一商品信息和/或第二商品信息，完成商品图片的第一商品信息和/或第二商品信息的审核；

2、本方法根据一预先构建的留白分类模型，可以完成对商品图片的留白问题的审核；

3、本方法根据一预先构建的拼接分类模型，可以完成对商品图片的拼接问题的审核。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的商品图片的审核方法的流程图；

图2是本申请实施例一提供的对商品图片的留白问题进行审核的流程图；

图3是本申请实施例一提供的对商品图片的拼接问题进行审核的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

各大电商平台需要通过商品主图来完成商品的推销，因此商品主图的展示形式非常重要。现有的商品主图主要存在以下几类问题：

(1)尺寸问题，具体是指主图未布满画布，包括上/下/左/右留白；

(2)商标问题，包括商标不在指定区域内或者商标在区域内但大小不符合要求；其中，商标用于区别商品来源，包括文字、图形、字母、数字、三维标志、颜色组合等；

(3)牛皮癣问题，具体是指在商品主图中除了商标之外的其他信息，如：文字或小图案，具体包括时间信息、促销信息、正品信息、爆炸贴等；

(4)拼接问题，包括多个商品的拼接、商品与细节放大展示的拼接等。

因此，为了规范电商平台，使得各大商家进行良性竞争，需要对商品主图进行审核。

现有的审核方式较为传统，通常是通过人工形式进行审核，因该方式导致工作量较大，此外，还有一种审核方式为机器审核，但是机器审核很难全面覆盖各类问题，存在漏检情况。

基于此，本申请提供一种商品图片审核方法，提高商品主图的合格率，如图1所示，方法具体包括：

将商品图片输入至预先构建的目标检测模型中，得到目标检测结果；

对目标检测结果进行判断，当目标检测结果中包括目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；

当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；

示例性的，如：返回“存在牛皮癣”；本方案中，第一商品信息为上述牛皮癣；牛皮癣包括文字信息、小图案；文字信息包括时间信息、促销信息、正品信息，小图案包括爆炸贴；

当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息，将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；

将匹配结果与预设的匹配阈值进行比较；

若大于第一匹配阈值，则计算目标对象的位置坐标所对应的面积；

将目标对象的位置坐标所对应的面积与预设值进行比较，根据比较结果返回对应的第二商品信息的大小判断结果；

若匹配结果小于等于第二匹配阈值，返回第二商品信息的检测不合格结果；

示例性的，如，返回“不在商标库”；

本方案中，第二商品信息为上述商标；商标用于区别商品来源，包括文字、图形、字母、数字、三维标志、颜色组合等；

若匹配结果大于第二匹配阈值且小于等于第一匹配阈值，返回第二商品信息的检测失败结果；

示例性的，如，返回“存在商标问题，需要人工审核”。

其中，上述将目标对象的位置坐标所对应的面积与预设值进行比较，根据比较结果返回对应的第二商品信息的大小判断结果步骤具体可以包括：

当目标对象的位置坐标所对应的面积大于等于预设值时，返回第二商品信息大小判断的合格结果；

示例性的，如，返回“商标大小合格”；

当目标对象的位置坐标所对应的面积小于预设值时，返回第二商品信息大小判断的不合格结果；

示例性的，如，返回“商标偏小”。

此外，上述步骤中，目标检测模型的获取方法包括：

构建第一商品图片样本库，第一商品图片样本库中包括有第一商品信息的商品图片和有第二商品信息的商品图片；

对第一商品图片样本库中所有的商品图片的第一商品信息和第二商品信息进行标注；

根据标注后的第一商品图片样本库，构建第一训练样本集；

根据第一训练样本集对一基础检测模型进行训练以得到目标检测模型。

上述基础模型采用了RetinaNet网络，其中，RetinaNet网络的预训练参数为coco数据集中的检测模型参数，骨干网络为ResnNet-50。在训练RetinaNet网络时，采用了adam算法减少位置坐标回归的误差以及分类的误差，同时通过数据增强方法(如：对输入的商品主图进行进行随机上下/左右翻转等处理)来减少模型过拟合的风险，从而训练得到目标检测模型。

此外，在对透明的第二商品信息进行标注时，标注的矩形框紧贴第二商品信息主体部分，在对有颜色的第二商品信息进行标注时，标注的矩形框紧贴颜色边框。

对了使得目标检测模型预测效果更精确，本方案还可以包括：

根据标注后的第一商品图片样本库，构建第一验证样本集；

将第一验证样本集输入至目标检测模型中以得到验证样本检测结果；

将第一验证样本集的验证样本检测结果与第一验证样本集的验证样本分类标签进行对比；

将错误的验证样本检测结果所对应的商品图片加入至第一训练样本集中，得到新训练样本集；

根据所述新训练样本集对目标检测模型进行训练。

在实际处理时，可将标注后的第一商品图片样本库按照一定比例分为第一训练样本集和第一验证样本集。如：按照90％和10％的比例分为第一训练样本集和第一验证样本集。

此外，上述获取目标对象的特征信息，将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果具体可以包括以下步骤：

通过SIFT算法提取目标对象的特征点；

根据目标对象的特征点生成目标对象的特征矩阵；

通过FLANN算法将目标对象矩阵与预设的图片库中的每一特征矩阵进行匹配，得到匹配结果。

具体的，在进行匹配时，使用多核CPU进行多线程和多进程加速，提高匹配的速度。

此外，上述图片库中的特征矩阵的生成过程包括：

获取第一商品图片样本库；

通过SIFT算法提取第一商品图片样本库中每一商品图片的特征点；

根据每一商品图片的特征点生成对应的特征矩阵。

本方案中，在通过SIFT算法提取特征点时，可以选取响应强度最高的64个特征点，生成的特征矩阵为64*128的特征矩阵。

本方案根据一预先构建的目标检测模型，对商品图片进行检测，从而可以得到商品图片上的第一商品信息和/或第二商品信息，完成商品图片的第一商品信息和/或第二商品信息的审核。

此外，本方案还可以对商品图片的留白问题进行审核，如图2所示，具体包括如下步骤：

对商品图片进行透明度判断；

当商品图片为非透明图时，将商品图片输入至预先构建的留白分类模型中，得到留白分类预测值；

将留白分类预测值与预设的留白分类阈值进行比较，根据比较结果返回对应的留白判断结果；

当商品图片为透明图时，返回留白判断的合格结果。

上述将留白分类预测值与预设的留白分类阈值进行比较，根据比较结果返回对应的留白判断结果具体包括：

当留白分类预测值小于等于第一留白分类阈值时，返回留白判断的合格结果；

当留白分类预测值大于第二留白分类阈值时，返回留白判断的不合格结果；

当留白分类预测值大于第一留白分类阈值且小于等于第二留白分类阈值时，返回留白判断的失败结果。

示例性的，如，留白分类预测值小于等于0.5时，返回“商品图片无留白”，当留白分类预测值大于0.7时，返回“商品图片有留白”，当留白分类预测值大于0.5且小于等于0.7时，返回“商品图片存在问题，需要人工审核”；

上述步骤中，留白分类模型的获取方法包括：

构建第二商品图片样本库，第二商品图片样本库包括有留白的商品图片和无留白的商品图片；

根据第二商品图片样本库，构建第二训练样本集；

对第二训练样本集进行数据增广及归一化处理；

根据第二训练样本集对一基础分类模型进行训练以得到留白分类模型。

其中，在构建第二商品图片样本库时，可以分别选择10000张有留白的商品图片和无留白的商品图片。

上述对第二训练样本集进行数据增广处理具体包括：

对第二训练样本集进行上下翻转、左右翻转、旋转5度。

此外，进行归一化处理时，可统一将有留白的商品图片和无留白的商品图片的尺寸统一为224*224。

上述基础模型采用了ResNeXt-50(32x4d)网络模型，在训练ResNeXt-50(32x4d)网络模型时，采用了SGD算法，同时采用学习率衰减和L2正则化以使得模型达到最优的训练结果和更好的泛化能力，此外，损失函数采用交叉熵损失softmax-loss。

对了使得留白分类模型的预测效果更精确，本方案还可以包括：

根据第二商品图片样本库，构建第二验证样本集；

将第二验证样本集输入至留白分类模型中以得到验证样本留白分类预测值；

将第二验证样本集的验证样本留白分类预测值与第二验证样本集的验证样本留白分类标签进行对比；

将错误的验证样本留白分类预测值所对应的商品图片加入至第二训练样本集中，得到新训练样本集；

根据新训练样本集对留白分类模型进行训练。

在实际处理时，可将标注后的第二商品图片样本库按照一定比例分为第二训练样本集和第二验证样本集。如：按照90％和10％的比例分为第二训练样本集和第二验证样本集。

此外，更进一步的，本方案还可以包括：

对留白分类预测值大于第一留白分类阈值且小于等于第二留白分类阈值时所对应的商品图片的类别进行判断；

将完成类别判断的商品图片加入至第二训练样本集中，得到新训练样本集；

根据新训练样本集对留白分类模型进行训练。

通过上述步骤，能够进一步优化留白分类模型，使得留白分类模型在真实业务场景下的表现不断提升。

此外，本方案还可以对商品图片的拼接问题进行审核，如图3所示，具体包括如下步骤：

将商品图片输入至预先构建的拼接分类模型中，得到有缝拼接分类预测值、无缝拼接分类预测值、单商品分类预测值、多商品无拼接分类预测值和情侣亲子分类拼接预测值；

将有缝拼接分类预测值和无缝拼接分类预测值相加以得到拼接分类预测值；

将拼接分类预测值与预设的拼接分类阈值进行比较，根据比较结果返回对应的拼接判断结果。

上述将拼接分类预测值与预设的拼接分类阈值进行比较，根据比较结果返回对应的拼接判断结果具体包括：

当拼接分类预测值小于等于第一拼接分类阈值时，返回拼接判断的合格结果；

当拼接分类预测值大于第二拼接分类阈值时，返回商品图片拼接判断的不合格结果；

当拼接分类预测值大于第一拼接分类阈值且小于等于第二拼接分类阈值时，返回拼接判断的失败结果。

示例性的，如，拼接分类预测值小于等于0.5时，返回“商品图片无拼接”，当拼接分类预测值大于0.7时，返回“商品图片有拼接”，当拼接分类预测值大于0.5且小于等于0.7时，返回“商品图片存在问题，需要人工审核”；

上述步骤中，拼接分类模型的获取方法包括：

构建第三商品图片样本库，第三商品图片样本库包括有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片；

其中，有缝拼接和无缝拼接的商品图片被认为存在拼接，单商品、多商品无拼接、情侣亲子类商品图片被认为不存在拼接；

根据第三商品图片样本库，构建第三训练样本集；

对第三训练样本集进行数据增广及归一化处理；

根据第三训练样本集对一基础分类模型进行训练以得到拼接分类模型。

其中，在构建第三商品图片样本库时，可以分别选择5000张有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片。

上述对第三训练样本集进行数据增广处理具体包括：

对第三训练样本集进行上下翻转、左右翻转、旋转5度。

此外，进行归一化处理时，可统一将有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片的尺寸统一为224*224。

上述基础模型采用了ResNeXt-50(32x4d)网络模型，在训练ResNeXt-50(32x4d)网络模型时，采用了SGD算法，同时采用学习率衰减和L2正则化以使得模型达到最优的训练结果和更好的泛化能力，此外，损失函数采用交叉熵损失softmax-loss。

对了使得拼接分类模型的预测效果更精确，本方案还可以包括：

根据第三商品图片样本库，构建第三验证样本集；

将第三验证样本集输入至拼接分类模型中以得到验证样本有缝拼接分类预测值、验证样本无缝拼接分类预测值、验证样本单商品分类预测值、验证样本多商品无拼接分类预测值和验证样本情侣亲子分类拼接预测值；

将验证样本有缝拼接分类预测值和验证样本无缝拼接分类预测值相加以得到验证样本拼接分类预测值；

将第三验证样本集的验证样本拼接分类预测值与第三验证样本集的验证样本拼接分类标签进行对比；

将错误的验证样本拼接分类预测值所对应的商品图片加入至第三训练样本集中，得到新训练样本集；

根据新训练样本集对拼接分类模型进行训练。

在实际处理时，可将第三商品图片样本库按照一定比例分为第三训练样本集和第三验证样本集。如：按照90％和10％的比例分为第三训练样本集和第三验证样本集。

如此，通过上述步骤，便能实现对商品图片的拼接问题的审核。

此外，更进一步的，本方案还可以包括：

对拼接分类预测值大于第一拼接分类阈值且小于等于第二拼接分类阈值时所对应的商品图片的类别进行判断；

将完成类别判断的商品图片加入至第三训练样本集中，得到新训练样本集；

根据新训练样本集对拼接分类模型进行训练。

通过上述步骤，能够进一步优化拼接分类模型，使得拼接分类模型在真实业务场景下的表现不断提升。

实施例二

本申请还提供一种商品图片的审核装置，包括：

第一预测模块，用于将商品图片输入至预先构建的目标检测模型中，得到目标检测结果；

第一判断模块，用于对目标检测结果进行判断，当目标检测结果中包括目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；

第一返回模块，用于当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；

获取模块，用于当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息；

匹配模块，用于将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；

上述第一判断模块还用于将匹配结果与预设的匹配阈值进行比较；

第一处理模块，用于当匹配结果大于第一匹配阈值，则计算目标对象的位置坐标所对应的面积；

上述第一判断模块还用于将目标对象的位置坐标所对应的面积与预设值进行比较；

第一返回模块，用于根据比较结果返回对应的第二商品信息的大小判断结果；

其中，目标对象包括第一商品信息、第二商品信息中的至少一种。

优选的，上述装置还包括：

第一构建模块，用于构建第一商品图片样本库，第一商品图片样本库中包括有第一商品信息的商品图片和有第二商品信息的商品图片；

标注模块，用于对第一商品图片样本库中所有的商品图片的第一商品信息和第二商品信息进行标注；

上述第一构建模块还用于根据标注后的第一商品图片样本库，构建第一训练样本集；

第一训练模块，用于根据第一训练样本集对一基础检测模型进行训练以得到目标检测模型。

优选的，上述第一构建模块还用于根据标注后的第一商品图片样本库，构建第一验证样本集；

上述第一预测模块还用于将第一验证样本集输入至目标检测模型中以得到验证样本检测结果；

上述第一判断模块还用于将第一验证样本集的验证样本检测结果与第一验证样本集的验证样本分类标签进行对比；

第一更新模块，用于将错误的验证样本检测结果所对应的商品图片加入至所述第一训练样本集中，得到新训练样本集；以及用于根据新训练样本集对目标检测模型进行训练。

优选的，上述装置还包括：

第二判断模块，用于对商品图片进行透明度判断；

第二预测模块，用于当商品图片为非透明图时，将商品图片输入至预先构建的留白分类模型中，得到留白分类预测值；

上述第二判断模块还用于将留白分类预测值与预设的留白分类阈值进行比较；

第二返回模块，用于根据比较结果返回对应的留白判断结果。

优选的，上述装置还包括：

第二构建模块，用于构建第二商品图片样本库，第二商品图片样本库包括有留白的商品图片和无留白的商品图片；以及用于根据第二商品图片样本库，构建第二训练样本集；

第二处理模块，用于对第二训练样本集进行数据增广及归一化处理；

第二训练模块，用于根据第二训练样本集对一基础分类模型进行训练以得到留白分类模型。

优选的，上述第二构建模块还用于根据第二商品图片样本库，构建第二验证样本集；

上述第二预测模块还用于将第二验证样本集输入至留白分类模型中以得到验证样本留白分类预测值；

上述第二判断模块还用于将第二验证样本集的验证样本留白分类预测值与第二验证样本集的验证样本留白分类标签进行对比；

第二更新模块，用于将错误的验证样本留白分类预测值所对应的商品图片加入至第二训练样本集中，得到新训练样本集；以及用于根据新训练样本集对留白分类模型进行训练。

优选的，上述装置还包括：

第三预测模块，用于将商品图片输入至预先构建的拼接分类模型中，有缝拼接分类预测值、无缝拼接分类预测值；

第三处理模块，用于将有缝拼接预测值和无缝拼接预测值相加以得到拼接分类预测值；

第三判断模块，用于将拼接分类预测值与预设的拼接分类阈值进行比较；

第三返回模块，用于根据比较结果返回对应的拼接判断结果。

优选的，上述装置还包括：

第三构建模块，用于构建第三商品图片样本库，第三商品图片样本库包括有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片；以及用于根据第三商品图片样本库，构建第三训练样本集；

第三处理模块，用于对第三训练样本集进行数据增广及归一化处理；

第三训练模块，用于根据第三训练样本集对一基础分类模型进行训练以得到拼接分类模型。

优选的，上述第三构建模块还用于根据第三商品图片样本库，构建第三验证样本集；

上述第三预测模块还用于将第三验证样本集输入至拼接分类模型中以得到验证样本有缝拼接分类预测值、验证样本无缝拼接分类预测值；

上述第三处理模块还用于将验证样本有缝拼接分类预测值和验证样本无缝拼接分类预测值相加以得到验证样本拼接分类预测值；

上述第三判断模块还用于将第三验证样本集的验证样本拼接分类预测值与第三验证样本集的验证样本拼接分类标签进行对比；

第三更新模块，用于将错误的验证样本拼接分类预测值所对应的商品图片加入至第三训练样本集中，得到新训练样本集；以及用于根据新训练样本集对拼接分类模型进行训练。

尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。另外，上述实施例提供的商品图片的审核装置与商品图片的审核方法属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种商品图片的审核方法，其特征在于，所述方法包括：

将商品图片输入至预先构建的目标检测模型中，得到目标检测结果并进行判断，当目标检测结果中包括目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；

当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；

当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息，将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；

将匹配结果与预设的匹配阈值进行比较，若大于第一匹配阈值，则计算目标对象的位置坐标所对应的面积，将目标对象的位置坐标所对应的面积与预设值进行比较，根据比较结果返回对应的第二商品信息的大小判断结果；

其中，所述目标对象包括第一商品信息、第二商品信息中的至少一种，其中第二商品信息为商标信息，第一商品信息为商品主图中除了商标之外的其他信息。

2.根据权利要求1所述的方法，其特征在于，所述目标检测模型的获取方法包括：

构建第一商品图片样本库，所述第一商品图片样本库中包括有第一商品信息的商品图片和有第二商品信息的商品图片；

对所述第一商品图片样本库中所有的商品图片的第一商品信息和第二商品信息进行标注；

根据标注后的第一商品图片样本库，构建第一训练样本集；

根据所述第一训练样本集对一基础检测模型进行训练以得到所述目标检测模型。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

根据标注后的第一商品图片样本库，构建第一验证样本集；

将所述第一验证样本集输入至所述目标检测模型中以得到验证样本检测结果；

将第一验证样本集的验证样本检测结果与第一验证样本集的验证样本分类标签进行对比；

将错误的验证样本检测结果所对应的商品图片加入至所述第一训练样本集中，得到新训练样本集；

根据所述新训练样本集对所述目标检测模型进行训练。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述商品图片进行透明度判断，当所述商品图片为非透明图时，将所述商品图片输入至预先构建的留白分类模型中，得到留白分类预测值；

将留白分类预测值与预设的留白分类阈值进行比较，根据比较结果返回对应的留白判断结果。

5.根据权利要求4所述的方法，其特征在于，所述留白分类模型的获取方法包括：

构建第二商品图片样本库，所述第二商品图片样本库包括有留白的商品图片和无留白的商品图片；

根据所述第二商品图片样本库，构建第二训练样本集；

对所述第二训练样本集进行数据增广及归一化处理；

根据所述第二训练样本集对一基础分类模型进行训练以得到所述留白分类模型。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述第二商品图片样本库，构建第二验证样本集；

将所述第二验证样本集输入至所述留白分类模型中以得到验证样本留白分类预测值；

将第二验证样本集的验证样本留白分类预测值与第二验证样本集的验证样本留白分类标签进行对比；

将错误的验证样本留白分类预测值所对应的商品图片加入至所述第二训练样本集中，得到新训练样本集；

根据所述新训练样本集对所述留白分类模型进行训练。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述商品图片输入至预先构建的拼接分类模型中，得到有缝拼接分类预测值、无缝拼接分类预测值；

将所述有缝拼接预测值和无缝拼接预测值相加以得到拼接分类预测值；

将拼接分类预测值与预设的拼接分类阈值进行比较，根据比较结果返回对应的拼接判断结果。

8.根据权利要求7所述的方法，其特征在于，所述拼接分类模型的获取方法包括：

构建第三商品图片样本库，所述第三商品图片样本库包括有缝拼接的商品图片、无缝拼接的商品图片、单商品的商品图片、多商品无拼接的商品图片和情侣亲子类的商品图片；

根据所述第三商品图片样本库，构建第三训练样本集；

对所述第三训练样本集进行数据增广及归一化处理；

根据所述第三训练样本集对一基础分类模型进行训练以得到所述拼接分类模型。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

根据所述第三商品图片样本库，构建第三验证样本集；

将所述第三验证样本集输入至所述拼接分类模型中以得到验证样本有缝拼接分类预测值、验证样本无缝拼接分类预测值；

将验证样本有缝拼接分类预测值和验证样本无缝拼接分类预测值相加以得到验证样本拼接分类预测值；

将第三验证样本集的验证样本拼接分类预测值与第三验证样本集的验证样本拼接分类标签进行对比；

将错误的验证样本拼接分类预测值所对应的商品图片加入至所述第三训练样本集中，得到新训练样本集；

根据所述新训练样本集对所述拼接分类模型进行训练。

10.一种商品图片的审核装置，其特征在于，所述装置包括：

第一预测模块，用于将商品图片输入至预先构建的目标检测模型中，得到目标检测结果；

第一判断模块，用于对所述目标检测结果进行判断，当目标检测结果中包括目标对象的位置坐标信息时，对目标对象的位置坐标进行坐标判定；

第一返回模块，用于当目标对象的位置坐标位于预设区域外时，返回第一商品信息的检测结果；

获取模块，用于当目标对象的位置坐标位于预设区域内时，获取目标对象的特征信息；

匹配模块，用于将目标对象的特征信息与预设的图片库的特征信息进行相似度匹配，得到匹配结果；

所述第一判断模块还用于将匹配结果与预设的匹配阈值进行比较；

第一处理模块，用于当匹配结果大于第一匹配阈值，则计算目标对象的位置坐标所对应的面积；

所述第一判断模块还用于将目标对象的位置坐标所对应的面积与预设值进行比较；

所述第一返回模块还用于根据比较结果返回对应的第二商品信息的大小判断结果；

其中，所述目标对象包括第一商品信息、第二商品信息中的至少一种，其中第二商品信息为商标信息，第一商品信息为商品主图中除了商标之外的其他信息。

Images