CN111368613B - 一种智能无人售货柜的快速上新方法 - Google Patents

Abstract

本发明提出一种智能无人售货柜快速上新方法，通过数据合成的方式，构造新商品和原有商品的融合数据，能够合成获得更多的数据，能够极大地减少新商品数据采集的工作量，缩短了上新时间；通过自动标注减少标注人员的工作量，提高了标注的效率，缩短了上新时间；将合成的大量数据加入到现有的模型训练中去，通过对大量图片数据的训练，能够获得精度更高的模型，提高了算法识别的准确度；使得新品类的商品能够快速加入到智能无人售货柜内进行识别和售卖，能够快速满足商户对新品类商品的售卖需求。

Description

一种智能无人售货柜的快速上新方法

技术领域

本发明涉及智能无人售货柜领域，尤其是一种智能无人售货柜的快速上新方法。

背景技术

现有的智能无人售货柜对新品类商品的识别精度低，与原有商品混合后售卖存在很大的识别问题；将新品类商品与原有商品进行混合采集数据的工作量极大，特别是随着售卖商品类别的增多，几乎是不可能完成的工作，这就造成了新品类商品上新速度慢，识别精度低等一系列问题。

因此发明提出一种智能无人售货柜的快速上新方法，使得新品类的商品能够快速加入到智能无人售货柜内进行识别和售卖，能够快速满足商户对新品类商品的售卖需求。

发明内容

为了解决上述问题，本发明提出一种智能无人售货柜的快速上新方法，使得新品类的商品能够快速加入到智能无人售货柜内进行识别和售卖，能够快速满足商户对新品类商品的售卖需求。

本发明通过以下技术方案实现的：

本发明提出一种智能无人售货柜的快速上新方法，包括：

步骤1：将新商品摆放在智能无人售货柜的层架中，并拍摄照片，以采集包含新商品的数据信息的图片，标识了新商品名称；

步骤2：使用库存的标注数据训练识别检测神经网络，获得能够识别检测模型，使用该模型对新商品进行识别检测,识别检测神经网络识别检测出包含新商品的数据信息的图片中的新商品的外接框和轮廓形状，在包含新商品的数据信息的图片中自动标注出新商品的轮廓，完成对新商品的多边形轮廓标注，形成标注文件，同时将新商品名称标识添加到标注文件中，完成对新商品的轮廓和类别名称的自动标注；

步骤3：人工将自动标注的新商品图片及其标注文件加载到商品标注工具中，逐张检查新商品自动标注的轮廓是否存在偏差，对于存在轮廓偏差的图片手动调整标注轮廓框，使得标注轮廓能够准确地标示出新商品的轮廓边界；

步骤4：将待上线的新商品图片与已经上线的商品图片进行融合，合成一个层架内包含新老商品的图片，将新商品融合到已经在线售卖的商品中；

步骤5：将合成的图片数据加入到在训练的商品识别网络中进行模型训练，该训练是在原来已有商品训练的基础上加入新商品的数据继续训练；采集新商品与部分已在线商品融合在智能无人售货柜的层架上的真实场景的图片，加入到原来的验证集中作为新的验证集，伴随着模型训练阶段进行模型精度的验证，当模型精度能够达到设定的精度后，该模型即满足了上线发布的条件，将此模型选为待上线发布模型进行导出到待发布模型列表；

步骤6：当有更高精度的模型进入待发布状态时，系统查询当前算法系统的状态，选择算法推断系统空闲的状态，将包含新商品识别能力的更高精度的模型替换原有模型，至此识别系统已经可以检测识别出新商品，完成智能无人售货柜上新。

进一步的，在步骤1中，每一次只采集一种新商品的图片。

进一步的，在步骤1中，所采集图片的命名规则为新商品的名称+新商品所处层架的位置，以表示新商品所处层架的第几行及第几列的位置，智能无人售货柜的层架为M行N列，则一种新商品需要采集M×N张图片数据。

进一步的，在步骤4中，合成的规则如下：

假设以按列合成为例，假设需要合成一张包含k(2≤k≤N)种商品的图片。N为层架的列数，按列合成时一张图片中最多只能包含N种商品，按行合成数据步骤与按列相同；

Step1:选择一张仅有层架没有商品的图片作为背景图片；

Step2:随机选择k种商品；

Step3:随机选择k列贴放上面选择的k种商品，一种商品贴一列，一一对应；假设商品A需要贴到第n列上，则从根据命名规则从商品A的采集数据中找到第n列的数据图片，基于商品的轮廓边界将其从图片中抠出，贴到背景图片的第n列上。

本发明的有益效果：

本发明提出一种智能无人售货柜快速上新方法，通过数据合成的方式，构造新商品和原有商品的融合数据，能够合成获得更多的数据，能够极大地减少新商品数据采集的工作量，缩短了上新时间；通过自动标注减少标注人员的工作量，提高了标注的效率，缩短了上新时间；将合成的大量数据加入到现有的模型训练中去，通过对大量图片数据的训练，能够获得精度更高的模型，提高了算法识别的准确度；使得新品类的商品能够快速加入到智能无人售货柜内进行识别和售卖，能够快速满足商户对新品类商品的售卖需求。

附图说明

图1为本发明提出的智能无人售货柜快速上新方法的流程图；

图2为本发明的新商品的图片融合步骤示意图。

具体实施方式

为了更加清楚、完整的说明本发明的技术方案，下面结合附图对本发明作进一步说明。

请参考图1-图2，本发明提出一种智能无人售货柜的快速上新方法，包括：

步骤1：将新商品摆放在智能无人售货柜的层架中，并拍摄照片，以采集包含新商品的数据信息的图片，标识了新商品名称；

步骤2：放入智能无人售货柜内售卖的商品基本为瓶装、灌装、盒装等形状的先验知识，使用库存的标注数据训练识别检测神经网络，获得能够识别检测模型，使用该模型对新商品进行识别检测,识别检测神经网络识别检测出包含新商品的数据信息的图片中的新商品的外接框和轮廓形状，在包含新商品的数据信息的图片中自动标注出新商品的轮廓，完成对新商品的多边形轮廓标注，形成标注文件，同时将新商品名称标识添加到标注文件中，完成对新商品的轮廓和类别名称的自动标注；采用新商品轮廓自动标注的方法，能够极大的节省标注人员的工作量。

步骤3：人工将自动标注的新商品图片及其标注文件加载到商品标注工具中，逐张检查新商品自动标注的轮廓是否存在偏差，对于存在轮廓偏差的图片手动调整标注轮廓框，使得标注轮廓能够准确地标示出新商品的轮廓边界；随着不断增加模型的训练数据，提高模型检测识别的精度，该模型能够自动准确地标注出绝大部分商品的轮廓信息，需要标注人员修正的数据极少。

步骤4：将待上线的新商品图片与已经上线的商品图片进行融合，合成一个层架内包含新老商品的图片，将新商品融合到已经在线售卖的商品中；合成的规则如下：

假设以按列合成为例，假设需要合成一张包含k(2≤k≤N)种商品的图片。N为层架的列数，按列合成时一张图片中最多只能包含N种商品，按行合成数据步骤与按列相同；

Step1:选择一张仅有层架没有商品的图片作为背景图片；

Step2:随机选择k种商品；

Step3:随机选择k列贴放上面选择的k种商品，一种商品贴一列，一一对应；假设商品A需要贴到第n列上，则从根据命名规则从商品A的采集数据中找到第n列的数据图片，基于商品的轮廓边界将其从图片中抠出，贴到背景图片的第n列上。

为了构建遮挡关系，贴图时应先贴放远离镜头中心的列(行)，也就是距离镜头中心所在列(行)距离越远的列(行)先贴放。假设层架一共有7列，我们需要在1,3,6这3列贴放商品。镜头中心所在列为第4列，1、3、6列到镜头中心的距离则分别为3、1、2，因此贴放顺序为1、6、3列，这样就合成了一种包含k中商品的图片，通过这种方式可以大量包含不同商品的图片，将新商品融合到已在线的商品中，而不需要大量采集这中融合的商品的数据。

步骤5：将合成的图片数据加入到在训练的商品识别网络中进行模型训练，该训练是在原来已有商品训练的基础上加入新商品的数据继续训练；避免全部重新训练得到一个精度高的模型需要花费大量的训练时间。采集新商品与部分已在线商品融合在智能无人售货柜的层架上的真实场景的图片，加入到原来的验证集中作为新的验证集，伴随着模型训练阶段进行模型精度的验证，当模型精度能够达到设定的精度后，该模型即满足了上线发布的条件，将此模型选为待上线发布模型进行导出到待发布模型列表；同时训练继续进行，以期能够训练获得更高精度的模型。设定的精度为模型和原型的匹配度为99.5％。

步骤6：当有更高精度的模型进入待发布状态时，系统查询当前算法系统的状态，选择算法推断系统空闲的状态，将包含新商品识别能力的更高精度的模型替换原有模型，至此识别系统已经可以检测识别出新商品，完成智能无人售货柜上新。

进一步的，在步骤1中，每一次只采集一种新商品的图片。

进一步的，在步骤1中，所采集图片的命名规则为新商品的名称+新商品所处层架的位置，以表示新商品所处层架的第几行及第几列的位置，智能无人售货柜的层架为M行N列，则一种新商品需要采集M×N张图片数据。

下面将举例说明本发明的方法：

步骤1具体为：智能无人售货柜采用7x8的层架，以此层架作为商品采集的层架，将一种新商品摆满第一行，即第一行摆8个该商品，采集一张第一行包含新商品的图片，命名为商品名_R1，再将商品移动到第二行，采集一张第二行包含新商品的图片，命名为商品名_R2，以此类推，完成总共7行的商品数据采集；类似的方法，将新商品摆满第一列，采集一张图片，图片命名为商品名_C1，以此类推，完成8列的商品数据采集。按这样的数据采集规则，每一种新商品只需要采集56张图片，而且不需要与其他商品进行混合采集。

步骤2具体为：使用采用已上线售卖商品训练好的基于深度学习的形状检测识别的神经网络模型对采集到新商品的图片进行检测识别，检测出新商品的轮廓，采用多边形标注的方法，将新商品的轮廓标注出来，同时基于图片的名称，在标注文件中标注出商品的名称，以及该图片中每个商品所处的行和列信息，以便后面做图片合成的时使用。

步骤3具体为：标注人员将自动标注的图片及其标注文件通过多边形标注工具打开，多边形标注工具会将标注的商品的轮廓多边形显示在商品的图片上，标注人员检查多边形轮廓信息是否跟图片中的商品的轮廓吻合，对于吻合的进行确认，对于不完全吻合的，进行手动调整，调整多边形标注点的位置，或者通过增加或是删除部分标注点来实现多边形轮廓与商品轮廓完全吻合。

步骤4具体为：由于新商品与已经上线的商品都采用了相同的方法进行数据采集，将这些商品数据集合为一个商品集，接下来是将这些商品随机进行融合，合成一个层架内包含多种商品的图片，来实现商品之间的融合。

先按行合成，层架为7x8的层架，则合成的每一张层架商品图片最多包含7种商品，合成步骤如下：

a)选择一张空的层架图片作为背景图片

b)从商品集里随机选择7种商品，选取过程中允许出现种类的重复

c)在融合的过程中，需要构建商品之间的遮挡关系，贴图是先贴离镜头中心远的行，镜头在第四行，贴图的顺序为第一行，第七行，第二行，第六行，第三行，第五行，第四行。首先从7种商品中选择一种，选择这种商品采集的第一行的图片数据，根据其多边形轮廓标注数据，将这种商品整行的商品信息抠出，贴在背景图片的第一行的位置上；类似的贴第七行的商品数据，则从剩下的6种商品中选择一种，从这种商品的采集的其第七行的数据抠出，贴在层架的第七行的位置上，以此类推，完成其他几行商品数据的贴图，由此便完成了一张包含7种商品的层架图片数据，同时在贴图的过程中，将商品的标注信息也一并迁移到合成的新图片上，完成对新图片的标注。

采用类似的方法完成按列合成，采用这种办法可以构建出大量的商品图片数据，而不需要对所有商品进行融合采集，大大减少了工作量，节省了时间。

步骤5具体为：将合成的图片数据加入到在训练的商品识别网络中进行模型训练，而不是重新开始训练，在原来训练的基础上加入新的数据继续训练，避免全部重新训练得到一个精度高的模型需要花费大量的训练时间。在训练的过程中，采集一些新商品与部分已在线商品融合在层架上的真实场景的图片，加入到原来的验证集中作为新的验证集，设定一定的模型训练阶段，进行模型精度的验证，当模型精度能够达到设定的精度后，该模型即满足了上线发布的条件，将此模型选为待上线发布模型进行导出到待发布模型列表。同时训练继续进行，以期能够训练获得更高精度的模型。

步骤6具体为：当有更高精度的模型进入待发布状态时，系统查询当前算法系统的状态，选择算法推断系统空闲的状态，将包含新商品识别能力的更高精度的模型替换原有模型，至此识别系统已经可以检测识别出新商品，完成智能无人售货柜上新，支持更多新商品的售卖。

应用本发明的智能无人售货柜快速上新方法，通过数据合成的方式，构造新商品和原有商品的融合数据，能够合成获得更多的数据，能够极大地减少新商品数据采集的工作量，缩短了上新时间；通过自动标注减少标注人员的工作量，提高了标注的效率，缩短了上新时间；将合成的大量数据加入到现有的模型训练中去，通过对大量图片数据的训练，能够获得精度更高的模型，提高了算法识别的准确度；使得新品类的商品能够快速加入到智能无人售货柜内进行识别和售卖，能够快速满足商户对新品类商品的售卖需求。

当然，本发明还可有其它多种实施方式，基于本实施方式，本领域的普通技术人员在没有做出任何创造性劳动的前提下所获得其他实施方式，都属于本发明所保护的范围。

Claims (4)

1.一种智能无人售货柜的快速上新方法，其特征在于，包括：

步骤1：将新商品摆放在智能无人售货柜的层架中，并拍摄照片，以采集包含新商品的数据信息的图片，标识了新商品名称；

步骤2：使用库存的标注数据训练识别检测神经网络，获得能够识别检测模型，使用该模型对新商品进行识别检测,识别检测神经网络识别检测出包含新商品的数据信息的图片中的新商品的外接框和轮廓形状，在包含新商品的数据信息的图片中自动标注出新商品的轮廓，完成对新商品的多边形轮廓标注，形成标注文件，同时将新商品名称标识添加到标注文件中，完成对新商品的轮廓和类别名称的自动标注；

步骤3：人工将自动标注的新商品图片及其标注文件加载到商品标注工具中，逐张检查新商品自动标注的轮廓是否存在偏差，对于存在轮廓偏差的图片手动调整标注轮廓框，使得标注轮廓能够准确地标示出新商品的轮廓边界；

步骤4：将待上线的新商品图片与已经上线的商品图片进行融合，合成一个层架内包含新老商品的图片，将新商品融合到已经在线售卖的商品中；

步骤5：将合成的图片数据加入到在训练的商品识别网络中进行模型训练，该训练是在原来已有商品训练的基础上加入新商品的数据继续训练；采集新商品与部分已在线商品融合在智能无人售货柜的层架上的真实场景的图片，加入到原来的验证集中作为新的验证集，伴随着模型训练阶段进行模型精度的验证，当模型精度能够达到设定的精度后，该模型即满足了上线发布的条件，将此模型选为待上线发布模型进行导出到待发布模型列表；

步骤6：当有更高精度的模型进入待发布状态时，系统查询当前算法系统的状态，选择算法推断系统空闲的状态，将包含新商品识别能力的更高精度的模型替换原有模型，至此识别系统已经检测识别出新商品，完成智能无人售货柜上新。

2.根据权利要求1所述的智能无人售货柜的快速上新方法，其特征在于，在步骤1中，每一次只采集一种新商品的图片。

3.根据权利要求1所述的智能无人售货柜的快速上新方法，其特征在于，在步骤1中，所采集图片的命名规则为新商品的名称+新商品所处层架的位置，以表示新商品所处层架的第几行及第几列的位置，智能无人售货柜的层架为M行N列，则一种新商品需要采集M×N张图片数据。

4.根据权利要求1所述的智能无人售货柜的快速上新方法，其特征在于，在步骤4中，合成的规则如下：

假设以按列合成为例，至此识别系统已经检测识别出新商品，N为层架的列数，按列合成时一张图片中最多只能包含N种商品，按行合成数据步骤与按列相同；

Step1:选择一张仅有层架没有商品的图片作为背景图片；

Step2:随机选择k种商品；

Step3:随机选择k列贴放上面选择的k种商品，一种商品贴一列，一一对应；假设商品A需要贴到第n列上，则从根据命名规则从商品A的采集数据中找到第n列的数据图片，基于商品的轮廓边界将其从图片中抠出，贴到背景图片的第n列上。

Images