CN110569789A - 商品组合型sku识别方法及其装置 - Google Patents

Abstract

本发明公开了商品组合型sku识别方法，具体是：1)从输入图像中获取所有的商品组合型sku的图像信息及其内部陈列单品的图像信息；2)提取商品组合型sku的特征信息及其内部每个陈列单品的特征信息；3)将所述商品组合型sku的特征信息融合到其内部对应的每个陈列单品的特征信息上；4)根据融合后的内部陈列单品的特征信息，对内部陈列单品进行类别识别，从而确定所述商品组合型sku的最终类别。本发明还公开了商品组合型sku识别方法的装置。本发明具有提升遮挡、模糊诸多复杂环境下的单品识别准确率，进而有效识别组合型sku的类别的优点。

Description

商品组合型sku识别方法及其装置

技术领域

本发明涉及产品分类的技术领域，具体涉及到一种商品组合型sku识别方法及其装置的技术。

背景技术

在快消品领域，通过图像识别技术来分析渠道陈列场景中的sku陈列信息已经成为业界认可的一种高效运营管理手段。在基于图像识别的渠道陈列管理中，通常会面临一些复杂的陈列场景。在该类场景中，商品被以单品或组合的形式有序或无序地陈列在货架、冰柜、堆箱等容器中，同一种商品以不同的陈列形式出现会划分为不同的sku，比如单品陈列在货架上则识别为对应的单品sku，如果与不同的其它类别商品一起陈列在割箱中，则识别为其它不同的sku。相较于固定外观形状的单品sku识别场景而言，由多种单品组合而成的组合型sku需要根据更多的信息来判断其类别。组合型sku的外观随着内部陈列内容变化而变化，并不具备固定形态的外观，而且由于单品sku种类多样，使得组合型sku的外观千变万化，因此基于整体外观来识别组合型sku类别存在较大难度。要提高组合型sku识别准确率，需要充分利用其内部陈列的单品信息来识别。但是，由于其内部多个单品陈列在一起存在严重的遮挡，可见的单品可区分特征较弱，从而使得基于内部单品识别来确定组合型sku类别也存在较大难度。现有商品图像识别算法通常是针对单品sku识别而设计的，其通过学习商品的固定外观形态来识别图像中的商品sku，对于组合型的商品sku识别效果并不理想。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种商品组合型sku识别方法及其装置，提升遮挡、模糊诸多复杂环境下的单品识别准确率，进而有效识别组合型sku的类别。

为达上述目的，本发明采用以下技术方案：

一种商品组合型sku识别方法，其特征在于所述商品组合型sku识别方法是：

1)从输入图像中获取所有的商品组合型sku的图像信息及其内部陈列单品的图像信息；

2)提取商品组合型sku的特征信息及其内部每个陈列单品的特征信息；

3)将所述商品组合型sku的特征信息融合到其内部对应的每个陈列单品的特征信息上；

4)根据融合后的内部陈列单品的特征信息，对内部陈列单品进行类别识别，从而确定所述商品组合型sku的最终类别。

所述2)中包括提取各商品组合型sku的mask信息及内部各陈列单品的mask信息，即将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来，每个商品组合型sku都有一个组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；可知，商品组合型sku的特征信息及其内部每个陈列单品的特征信息就是商品组合型sku的图像位置信息及其内部陈列单品的图像位置信息，即在坐标系中由x、y坐标值表示出来。

对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

根据输入的所述切图集合中每一张切图在输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

采用卷积神经网络对输入的所述切图集合提取高层语义特征，形成特征向量集合，所述高层语义信息是指在采用卷积神经网络中，靠近输出端的网络层提取的信息。

所述3)中，根据提取到的所述特征向量集合和所述商品组合型sku与所述陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合。

所述4)中利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，确定各个组合型sku的类别。

所述的商品组合型sku识别方法，设置如下单元：

实例分割检测模型，该模型用于检测所述输入图像中所有的商品组合型sku的图像信息及其内部陈列单品的图像信息，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

图像整合模块，根据输入的所述切图集合中每一张切图在所述输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述从属关系是确定哪些单品属于哪一个组合型sku，所述对切图集合进行排序是将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，越靠近输入端的网络层提取的信息为底层语义信息，越靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整；

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

单品分类器，利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别，所述预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。

本发明基于前述商品组合型sku识别方法的装置，包括以下单元：

实例分割检测模型，该模型用于检测所述输入图像中所有的商品组合型sku的图像信息及其内部陈列单品的图像信息，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

图像整合模块，根据输入的所述切图集合中每一张切图在所述输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述从属关系是确定哪些单品属于哪一个组合型sku，所述对切图集合进行排序是将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，越靠近输入端的网络层提取的信息为底层语义信息，越靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整；

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

单品分类器，利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别，所述预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。

本发明具有以下有益效果：

本发明是基于整体与局部特征融合的商品组合型sku识别方法，通过利用组合型sku的整体信息来辅助识别内部单个物体，进而识别组合型sku的类别。

本发明利用组合型sku的特征信息来辅助其内部陈列单品识别的方法，该方法能够学习到组合型sku的图像位置整体特征，并利用其感知到的整体语境信息辅助单品识别，以提升遮挡、模糊等复杂环境下的单品识别准确率。

本发明是基于内部单品识别结果来确定组合型sku类别的方法，该方法可学习到其内部单个陈列单品的局部细节信息，感知单品量级的陈列变化，从而具有更强的细粒度组合型sku识别能力，可提高组合型sku的感知范围和感知灵敏度，进而提升整体识别准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明产品分类原理框架图；

图2是本发明产品分类模块示意图；

图3是本发明输入图像的示意图；

图4是本发明商品组合型sku切图；

图5是本发明单品切图；

图6是本发明排序后的切图集合；

图7是本发明特征信息进行融合原理图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

下面结合附图说明。

本发明商品组合型sku识别方法：

1)从输入图像中获取所有的商品组合型sku的图像信息及其内部陈列单品的图像信息；

2)提取商品组合型sku的特征信息及其内部每个陈列单品的特征信息；

3)将所述商品组合型sku的特征信息及其内部每个陈列单品的特征信息进行融合；就是将所述商品组合型sku的特征信息融合到其内部对应的每个陈列单品的特征信息上；

4)根据融合后的内部陈列单品的特征信息，对内部陈列单品进行类别识别，从而确定所述商品组合型sku的最终类别。

所述2)中是通过深度学习算法(例如mask-rcnn、fpn等)提取各商品组合型sku的mask信息及内部各陈列单品的mask信息，即将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来，每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框。

对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行填充(具体填充值根据可具体应用而定)，并切取该外接矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行填充，并切取该外接矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

根据输入的所述切图集合和输入图像，确定商品组合型sku与陈列单品之间的从属关系(某单品所在图案区域超过一定比例与某组合型sku的图案区域重合，即判定属于该组合型sku)，并对切图集合进行排序(分别将每个组合型sku的图案及其内部单品依次存放，然后将多个组合型sku对应的图像(包括组合型sku图像及其内部图像)依次存放)，所述输入图像是指包含所有商品组合型sku的特征信息的图案及其内部陈列单品的特征信息的图案的图像，通常为手机、摄像机、摄像头等拍照摄像设备的输出图像；

采用卷积神经网络对输入的所述切图集合提取特征，形成特征向量集合。所述卷积神经网络是基于fpn、resnet、bcnn等开源特征提取网络构建的自定义特征提取网络模型框架(该网络是针对组合型sku遮挡严重，需要依赖少量细节特征来进行分类的特点进行针对性设计的网络框架)，例如，采用resnet101作为基础网络，然后在其第2/3/4/5个block的输出之间利用fpn的特征融合方法进行特征融合，然后增加一个bcnn的双线性网络层，将提取的三维特征转换成一个一维特征向量。输入切图集合中每张切图对应得到一个一维特征向量，所有输入切图对应的一维特征向量即组成一个特征向量集合。

所述3)中，根据提取到的特征向量集合和所述商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合。特征融合过程为：首先将组合型sku的特征向量与其内部每个单品的特征向量进行concat连接，形成长度加倍的一维特征向量，例如：组合型sku的特征向量为A＝[a1,a2,...,an]，单品的特征向量为B＝[b1,b2,...,bn]，concat连接后的特征向量为C＝[a1,a2,...,an,b1,b2,...,bn]。然后，通过多个全连接层对concat后的特征向量进一步进行融合并降低维度，得到一个最终融合后的对应单品的新的特征向量集合。该新的特征向量也是一个一维的特征向量，可表示为D＝[d1,d2,...,dm]。

所述4)中利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，确定各个组合型sku的类别。

在本发明商品组合型sku识别方法中，通过设置如下单元实现：

实例分割检测模型，该模型用于检测所输入图像中所有的商品组合型sku及其内部陈列单品图案，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框。

具体而言，实例分割检测模型用于检测输入图像中所有的商品组合型sku及其内部陈列单品图案，即输入图像1包含了所有的商品组合型sku及其内部陈列单品图案，比如，如图3，超市货架上陈列的单瓶饮料属于一个单品3，多瓶饮料陈列在一个割开的箱子里，这个箱子就属于商品组合型sku2。在输入图像1中，比如手机拍摄图片，可能存在多个这样的箱子，其中每个箱子就属于一个商品组合型sku2。商品组合型sku的类别需要根据其内部陈列的商品种类确定。该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，以精确表征每个商品组合型sku及其内部各单品图案在图像中的精确位置区域。mask信息是指由一系列表征存在被检测物体的像素点位置坐标组成的位置区域，每个像素点的位置坐标由x、y坐标值表示，mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来。每个商品组合型sku都有一组合型sku的外接矩形框23，每个内部陈列单品均有一单品的外接矩形框313。其中sku＝stock keepingunit(库存量单位)sku即库存进出计量的单位(买家购买、商家进货、供应商备货、工厂生产都是依据sku进行的)，在服装、鞋类商品中使用最多最普遍。例如纺织品中一个sku通常表示：规格、颜色、款式。sku是物理上不可分割的最小存货单元。前述外接矩形框可以是其它更加适合表征精确位置区域的形状框。

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品，所在图案区域对应的外接矩形框的坐标位置信息，并根据该位置信息切取对应的图像区域，然后根据对应的mask信息，将外接矩形框中mask区域以外的像素点填充为特定值，并形成切图集合的输出。具体而言，利用连通域外接矩形框计算方法，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品，所在图案区域对应的外接矩形框的坐标位置信息，并根据该位置信息切取对应的图像区域，然后根据对应的mask信息，将外接矩形框中mask区域以外的像素点填充为特定值，即无效区域填充特定值，比如，0、128或者255等，根据具体任务确定，从而形成有效的切图集合输出。如图4，组合型sku外接矩形框23内有商品组合型sku的mask区域图像22及其填充的特定值24，填充的特定值24是指对无效区域进行填充。如图5，单品外接矩形框313有单品的mask区域图像312及其填充的特定值314，填充的特定值314是指对无效区域进行填充。

图像整合模块，主要根据输入的所述切图集合和及其在输入图像中对应的外接矩形框位置信息，确定商品组合型sku与陈列单品之间的从属关系，所述从属关系是确定哪些单品属于哪一个组合型sku，并将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，即对切图集合进行排序。如图6为排序后的切图集合，商品组合型sku4，商品组合型sku4中的单品41、单品42，单品数量可以是多个；商品组合型sku5，商品组合型sku5中的单品51、单品52，单品数量可以是多个。

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，靠近输入端的网络层提取的信息为底层语义信息，靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整。其中双线性网络参考文献：Bilinear CNN Models forFine-grained Visual Recognition。该网络在细分类问题上具有较大优势，即对于外观只有细微差别的物体分类能取得更好的效果。特定尺寸是指特征向量的维度，对于不同的应用场合，该尺寸大小可以灵活调整，比如设定为256、512、1024等不同大小。

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；由于新的单品特征向量融合了商品组合型sku表征的整体信息，即周边相关的其它单品信息如上下文信息，其可以借助这种周边相关的其它单品信息如上下文信息来提升分类效果。如图7是特征信息进行融合原理图，提取商品组合型sku2的商品组合型sku的图像特征20，提取单品31的单品的图像特征310，将商品组合型sku的图像特征20融合到单品图像特征上得到单品融合图像特征311，即新的单品特征向量集合；提取单品32的单品的图像特征320，将商品组合型sku的图像特征20融合到单品图像特征上得到单品融合图像特征321，即新的单品特征向量集合；提取单品33的单品的图像特征330，将商品组合型sku的图像特征20融合到单品图像特征上得到单品融合图像特征331，即新的单品特征向量集合。其它单品的融合图像特征以此类推。

单品分类器，利用卷积神经网络模型，根据输入的融合后的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和物体间从属关系，物体间从属关系是指商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别。预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。比如，如果商品组合型sku中所有的单品属于同一种单品a1，则其类别为A1。如果其内部的单品由同一个系列的a1和a2组成，则其类别为A。如果其内部的单品由不同系列的单品a1和b1组成，则其类别为X。

本发明商品组合型sku识别方法的装置，包括前述各单元：实例分割检测模型；图像切取模块；图像整合模块；分类特征提取模块；特征融合模块；单品分类器；组合型sku类别推理模块。

更具体而言，如图1、如图2，本发明商品组合型sku识别方法，首先利用检测模型检测输入大图中所有的组合型sku及其内部陈列单品，然后通过mask截取的方式获取所检测到的物体准确图像信息，并通过padding的方式将截取到的图像对齐到固定大小。然后将每个组合型sku及其内部陈列单品组合成一个图像batch，输入到分类模型的特征提取器，提取组合型sku的特征信息及其内部每个陈列单品的特征信息。然后通过一个特征融合模块，将组合型sku的特征信息与其内部陈列单品的特征进行融合。融合后的内部陈列单品特征被输入到分类器中，进行单品类别识别。最后，根据组合型sku内部各单品识别结果及其类别划分规则，确定组合型sku的最终类别。padding意指定义元素边框与元素内容之间的空间，进行边界填充处理的方式。Batch意指批处理脚本。

设置如下单元：分割检测模型，即实例分割检测模型，主要用于检测输入图像中所有的商品组合型sku及其内部陈列单品，输出各被检物体的位置信息，包括mask信息；

图像切取模块根据检测到的位置信息中的mask信息，精确定位被检物体的有效图像区域，切取其bounding box区域小图，并对无效区域填充特定值，形成有效切图集合输出，bounding box是指区域的4条边，而这4条边用一个4维向量来表示，bounding box代表了一个区域的相对位置；

图像整合模块主要根据输入的小图集合和物体位置信息，确定被检物体之间的从属关系，即确定哪些物体即陈列单品属于哪一个组合型sku，并将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块；

分类特征提取模块通过一个双线性网络对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量；

特征融合模块则根据提取到的特征向量集合和图像间的从属关系，图像间的从属关系是指商品组合型sku的图像与陈列单品的图像之间的从属关系，将每个组合型sku整体图的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的只包含单品图像特征的特征集合；

单品分类器则根据输入的单品特征向量集合进行分类，确定各单品所属类别；

最后，组合型sku类别推理模块则利用单品分类结果和物体间从属关系，根据预先定义好的规则确定各个组合型sku的类别。每一个组合型sku只利用其内部陈列单品的分类结果，无需利用其它单品分类结果，即与其它单品分类结果无关。

需要声明的是，上述具体实施方式仅为本发明的较佳实施例及所运用技术原理，在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化或替换，都应涵盖在本发明的保护范围内。

Claims (6)

1.一种商品组合型sku识别方法，其特征在于：所述商品组合型sku识别方法包括以下步骤：

1)从输入图像中获取所有的商品组合型sku的图像信息及其内部陈列单品的图像信息；

2)提取商品组合型sku的特征信息及其内部每个陈列单品的特征信息；

3)将所述商品组合型sku的特征信息融合到其内部对应的每个陈列单品的特征信息上；

4)根据融合后的内部陈列单品的特征信息，对内部陈列单品进行类别识别，从而确定所述商品组合型sku的最终类别。

2.根据权利要求1所述的商品组合型sku识别方法，其特征在于：所述2)中包括提取各商品组合型sku的mask信息及内部各陈列单品的mask信息，即将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来，每个商品组合型sku都有一个组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

根据输入的所述切图集合中每一张切图在输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

采用卷积神经网络对输入的所述切图集合提取高层语义特征，形成特征向量集合，所述高层语义信息是指在采用卷积神经网络中，靠近输出端的网络层提取的信息。

3.根据权利要求2所述的商品组合型sku识别方法，其特征在于：所述3)中，根据提取到的所述特征向量集合和所述商品组合型sku与所述陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合。

4.根据权利要求3所述的商品组合型sku识别方法，其特征在于：所述4)中利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，确定各个组合型sku的类别。

5.根据权利要求1所述的商品组合型sku识别方法，其特征在于：设置如下单元：

实例分割检测模型，该模型用于检测所述输入图像中所有的商品组合型sku的图像信息及其内部陈列单品的图像信息，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

图像整合模块，根据输入的所述切图集合中每一张切图在所述输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述从属关系是确定哪些单品属于哪一个组合型sku，所述对切图集合进行排序是将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，越靠近输入端的网络层提取的信息为底层语义信息，越靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整；

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

单品分类器，利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别，所述预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。

6.基于权利要求1所述商品组合型sku识别方法的装置，其特征在于：所述商品组合型sku识别方法的装置包括以下单元：

实例分割检测模型，该模型用于检测所述输入图像中所有的商品组合型sku的图像信息及其内部陈列单品的图像信息，该模型输出图像中各商品组合型sku的mask信息及其内部各陈列单品的mask信息，所述mask信息即是将商品组合型sku的轮廓信息以及单品的轮廓信息在坐标系中由x、y坐标值表示出来；每个商品组合型sku都有一组合型sku的外接矩形框，每个内部陈列单品均有一单品的外接矩形框；

图像切取模块，根据检测到的商品组合型sku的mask信息及其内部各陈列单品的mask信息，计算出每个被检测到的物体即商品组合型sku或者其内部的陈列单品；对每个组合型sku的外接矩形框中商品组合型sku的mask区域以外的无效区域进行特定值填充，并切取填充后的矩形框对应的图像区域；对每个单品的外接矩形框中单品的mask区域以外的无效区域进行特定值填充，并切取该填充后的矩形框对应的图像区域；将同一张输入图像中的所有组合型sku及单品的切图作为一个有效的切图集合输出；

图像整合模块，根据输入的所述切图集合中每一张切图在所述输入图像中的位置关系，确定商品组合型sku与陈列单品之间的从属关系，并对切图集合进行排序，所述从属关系是确定哪些单品属于哪一个组合型sku，所述对切图集合进行排序是将所有的切图对齐到统一的尺寸大小，并按照一定的排列方式组合成一个图像集合传输到分类特征提取模块，所述输入图像是指包含所有组合型sku图案及其内部陈列单品图案的原始图像；

分类特征提取模块，通过一个双线性网络，对输入的图像集合提取高层语义特征，并形成特定尺寸的特征向量，进而形成特征向量集合；分类特征提取模块是采用卷积神经网络，由多个网络层堆叠组成，越靠近输入端的网络层提取的信息为底层语义信息，越靠近输出端的网络层提取的信息为高层语义信息，所述特定尺寸是指特征向量的维度，根据不同的应用场合对该尺寸大小进行调整；

特征融合模块，根据提取到的特征向量集合和商品组合型sku与陈列单品之间的从属关系，将每个组合型sku的图像特征融合到其内部对应的每一个单品图像特征上，形成一个新的单品特征向量集合；

单品分类器，利用卷积神经网络模型，根据输入的融合后的所述新的单品特征向量集合进行分类，确定各单品所属类别；

组合型sku类别推理模块，利用单品分类结果和所述商品组合型sku与陈列单品之间的从属关系，根据预先定义好的规则确定各个组合型sku的类别，所述预先定义规则是指根据业务需求，将哪些单品陈列在一起的sku具体属于哪一类。