CN111291834B - 一种快速生成货架数字陈列图的方法 - Google Patents

Abstract

本发明涉及货架数字陈列图的即时生成技术领域，本发明公开了一种快速生成货架数字陈列图的方法：步骤一、检测模型的选择或训练；步骤二、分类模型的选择或训练；步骤三、货架商品照片的拍摄；步骤四、货架商品检测框的获取和货架商品类别的识别；步骤五、操作人员与手机或PDA应用端的交互；步骤六、标记线选中货架商品的类别和存量的确定；步骤七、货架数字陈列图的绘制。这种快速生成货架数字陈列图的方法，该方法能够降低货架商品盘点所需的用工成本，提高了对货架商品盘点的效率，减少约80%的工作时间，同时提高了对货架商品盘点的准确率。

Description

一种快速生成货架数字陈列图的方法

技术领域

本发明涉及货架数字陈列图的即时生成技术领域，尤其涉及一种快速生成货架数字陈列图的方法。

背景技术

随着人工智能的发展，尤其是图像视觉算法的发展促进了目标检测相关能力的提高，商品检测或目标检测算法能够以人类认可的准确度应用在货架商品实时检测中。但是目标检测框架只会输出目标（商品）相对于图像原点（如左上点位x、y原点）的位置，不能输出他们相对于整个陈列面的相对位置信息。由于货架存在形式多种多样，实际零售门店中也存在不利用平板货架的挂钩商品，所以依靠目标检测框架，来获取商品相对于货架中的位置陈列信息非常困难；同样阻碍了采用人工智能对货架商品盘点的技术发展。所谓货架陈列图是能够对一面货架中的所有层，结构化或表格化，按层级信息输出每层的从左到右商品排布信息；该陈列图标明兴趣视野内的所有商品名称以及他们相对于货架的相对位置，这种相对位置信息在陈列图中直接按照层级和左右相对位置进行表格化输出；使货架中的商品位置信息、品类和商品的数量以及商品与货架层、货架层与货架层之间的位置关系，直观可见(货架被本领域中习惯性称为端架)。

现有技术中，目前主要依靠人工观察、盘点并记录每种商品的品名和位置，并盘点每种商品的数量，按照表格方式记录。采用人工观察的方式主要存在的缺点：1、存在人工用人成本高，需要2-3人的分工合作才能完成货架商品的盘点；2、人工逐一盘点速度慢，需要确定商品品名、位置（总层数，相对层数，左右相对位移），导致盘点效率低；3、人工核对陈列图盘点，准确率低，不如计算机视觉算法的结果高。发明人基于现有技术中的缺陷研发了一种快速生成货架数字陈列图的方法，能够解决采用人工观察、盘点货架商品中存在问题。

发明内容

本发明的目的是为了解决上述现有技术中存在的问题，提供了一种快速生成货架数字陈列图的方法，本发明在商品检测的结果基础上，结合人工干预，以一种简便的PDA或手机为载体的屏幕交互手段为应用终端，能够快速确定商品与商品、商品与层、层与层之间的关系。

本发明提供一种快速生成货架数字陈列图的方法：

步骤一、检测模型的选择或训练：选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；

步骤二、分类模型的选择或训练：选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；

步骤三、货架商品照片的拍摄：盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；

步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；

步骤五、操作人员与手机或PDA应用端的交互：根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标记线左右端点截止位置和关联检测框的总体上下左右范围，确定标记线选中货架商品的层覆盖范围和位置；通过标记线每一个选中层覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值的大小，确定由上至下表示的商品所处的层级；

步骤六、标记线选中货架商品的类别和存量的确定：标记线选中货架商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；例如：第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；可以简化成以下方式输出在最后结果中：第一层：商品A x3，商品B x2，空，商品C x4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架中的存量；

步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架商品照片中所有的商品层进行人机交互画出标记线，确定由上至下表示的商品所处的层级，同时确定标记线选中货架商品的类别和存量；最终通过手机或PDA应用端屏幕显示绘制货架数字陈列图。

其中步骤五中，根据标记线所框选的同层货架商品的检测框不连续信息，通过步骤二中的分类模型检测确定空缺商品位置范围，最终在绘制货架数字陈列图显示空缺商品的位置信息。

其中步骤五中，利用步骤二中的分类模型，对货架中每层通过标记线所框选的每个检测框中的商品进行分类识别，得到每个检测框中具体商品品类信息。

其中步骤五中，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动时，可以根据所感兴趣的货架层级，针对性地连续地画出一道与货架平行的标记线。

其中步骤一中，选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；这样做的主要目的是为了，一方面通过服务器云端的检测模型对货架商品进行分析计算，得到货架商品所标定的检测框（检测框在这里的含义为每一个商品的上下左右边界所组成的矩形框）。另一方面根据标记线所框选的同层货架商品的检测框不连续信息，确定空缺商品位置范围。

其中步骤二中，选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；这样做的主要目的是对货架中每层通过标记线所框选的每个检测框中的商品进行分类识别，得到每个检测框中具体商品品类信息。

其中步骤三中，盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；这样做的主要目的是为了获得货架商品的图片，将货架商品的图片作为人机交互的介质，实现了盘点操作人员与手机或PDA应用端的人机交互。

其中步骤四中，服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；这样做的主要目的是为了获取货架商品图片的检测框，并以货架商品图片的检测框为计算分析基础，实现对检测框中的商品进行品类信息和位置信息的确定。

其中步骤五中，根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标记线左右端点截止位置和关联检测框的总体上下左右范围，确定标记线选中货架商品的层覆盖范围和位置；通过标记线每一个选中层覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值的大小，确定由上至下表示的商品所处的层级；这样做的主要目的是为了获得在货架中某层全部商品的连续性的检测框，利用其连续性的检测框，一方面确定该商品的位置和品类信息，另一方面根据某层全部商品是否连续，来确定该层货架中空缺商品位置信息。

其中步骤五中，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动时，可以根据所感兴趣的货架层级，连续地画出一道与货架平行的标记线。这样做的主要目的是，手动滑动屏幕不仅可以确定每个商品的归属层，反之，可以将不需要关注的商品或层不选中，那么我们实际上就可以通过这种人工干预的办法，将画面中感兴趣的区域筛选出来进行分析；从而提高实际盘点工作中的盘点效率。

其中步骤六中，标记线选中货架商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；这样设置的主要目的是为了通过确定商品类别和存量信息，为商品的盘点提供直观的货架数字陈列图，为提高商品的盘点效率提供技术支撑和保证，同时提高了商品盘点的准确性。

其中步骤七中，根据步骤五步骤六的方法，对货架商品照片中所有的商品层进行人机交互画出标记线，确定由上至下表示的商品所处的层级，同时确定标记线选中货架商品的类别和存量以及空缺商品；最终通过手机或PDA应用端屏幕显示绘制货架数字陈列图；这样设置的主要目的是为了获取货架数字陈列图，并根据货架数字陈列图中每层商品的所显示的类别、存量和空缺商品信息，实现对商品盘点的高效，减少约80% 的工作时间，同时提高了对货架商品盘点的准确率。

所述步骤一中的检测模型是属于现有技术的范畴，本领域技术人员是可以通过检索、选择或训练是可以获知的技术手段。检测模型是一种很重要的自动验证技术，主要通过显示状态搜索或隐式不动点计算来验证有穷状态并发系统的模态命题性质。由于模型检测可以自动执行，并能在系统不满足性质时提供反例路径。

所述分类模型是根据输入样本的特征值，输出对应的类别，将每个样本映射到预先定义好的类别中。分类模型若建立在已有类标记的数据集上，则属于有监督学习。在实际应用场景中，分类算法被用于行为分析，物品识别，图像检测等。分类模型是同样是属于现有技术的范畴，本领域技术人员通过检索、选择或训练可以得到特定的分类模型。

本发明的有益效果：本发明提供了一种快速生成货架数字陈列图的方法，该发明科学合理，步骤简单，能够快速生成确定商品与商品、商品与层、层与层之间关系的货架数字陈列图；该方法能够降低货架商品盘点所需的用工成本，提高了对货架商品盘点的效率，减少约80% 的工作时间，同时提高了对货架商品盘点的准确率。

附图说明

图1为本发明的结构示意图；

图中标记：1、货架，2、层，3、检测框，4、空缺商品，5、标记线。

具体实施方式

以下结合具体实施例对本发明做进一步描述，这些实施例仅用于说明本发明而不用于限制本发明的范围。

如图所示，本发明提供一种快速生成货架数字陈列图的方法：

步骤一、检测模型的选择或训练：选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架1照片，为其中所显示货架1上的商品标定其检测框3，不需要输出其类别；

步骤二、分类模型的选择或训练：选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架1上关注的商品进行识别，以区分每个检测框3内的商品是否属于特定种类中的某一商品；

步骤三、货架商品照片的拍摄：盘点操作人员使用手机或PDA应用端的摄像头，正对货架1，拍摄一张货架1商品的图片，通过手机或PDA应用端获取并传输到服务器云端；

步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架1商品图片的检测框3，并将货架1商品图片的检测框3反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架1商品图片中的商品类别进行分类，并绘制货架1商品图片中所有商品的检测框3，显示在手机或PDA应用端的屏幕上；

步骤五、操作人员与手机或PDA应用端的交互：根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框3，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线5；然后手机或PDA应用端检测标记线5所框选所有商品的检测框3，根据该标记线5左右端点截止位置和关联检测框3的总体上下左右范围，确定标记线5选中货架1商品的层2覆盖范围和位置；通过标记线5每一个选中层2覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值的大小，确定由上至下表示的商品所处的层级；

步骤六、标记线选中货架商品的类别和存量的确定：标记线5选中货架1商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；例如：第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；可以简化成以下方式输出在最后结果中：第一层：商品A x3，商品B x2，空，商品C x4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架1中的存量；

步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架1商品照片中所有的商品层2进行人机交互画出标记线5，确定由上至下表示的商品所处的层级，同时确定标记线5选中货架1商品的类别和存量；最终通过手机或PDA应用端屏幕显示绘制货架1数字陈列图。

其中步骤五中，根据标记线所框选的同层货架商品的检测框不连续信息，通过步骤二中的分类模型检测确定空缺商品4位置范围，最终在绘制货架数字陈列图显示空缺商品4的位置信息。

其中步骤五中，利用步骤二中的分类模型，对货架中每层通过标记线所框选的每个检测框中的商品进行分类识别，得到每个检测框中具体商品品类信息。

实施例一、

本发明提供一种快速生成货架数字陈列图的方法：

步骤一、检测模型的选择：选择一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架1照片，为其中所显示货架1上的商品标定其检测框3，不需要输出其类别；

步骤二、分类模型的选择：选择一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架1上关注的商品进行识别，以区分每个检测框3内的商品是否属于特定种类中的某一商品；

步骤三、货架商品照片的拍摄：盘点操作人员使用手机应用端的摄像头，正对货架1，拍摄一张货架1商品的图片，通过手机应用端获取并传输到服务器云端；

步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架1商品图片的检测框3，并将货架1商品图片的检测框3反馈给手机应用端，利用步骤二中的分类模型，对货架1商品图片中的商品类别进行分类，并绘制货架1商品图片中所有商品的检测框3，显示在手机应用端的屏幕上；

步骤五、操作人员与手机应用端的交互：根据步骤四中显示在手机应用端屏幕上的所有商品的检测框3，盘点操作人员用手指从左到右在手机应用端屏幕上滑动，连续地画出一道与货架平行的标记线5；然后手机应用端检测标记线5所框选所有商品的检测框3，根据该标记线5左右端点截止位置和关联检测框3的总体上下左右范围，确定标记线5选中货架1商品的层2覆盖范围和位置；通过标记线5每一个选中层2覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值的大小，确定由上至下表示的商品所处的层级；

步骤六、标记线选中货架商品的类别和存量的确定：标记线5选中货架1商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；例如：第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；可以简化成以下方式输出在最后结果中：第一层：商品A x3，商品B x2，空，商品C x4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架1中的存量；

步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架1商品照片中所有的商品层2进行人机交互画出标记线5，确定由上至下表示的商品所处的层级，同时确定标记线5选中货架1商品的类别和存量；最终通过手机应用端屏幕显示绘制货架1数字陈列图。

实施例二、

本发明提供一种快速生成货架数字陈列图的方法：

步骤一、检测模型的训练：训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架1照片，为其中所显示货架1上的商品标定其检测框3，不需要输出其类别；

步骤二、分类模型的训练：训练一个分类模型，将这种分类模型置入到服务器端，对特定种类商品进行训练，能够对货架1上关注的商品进行识别，以区分每个检测框3内的商品是否属于特定种类中的某一商品；

步骤三、货架商品照片的拍摄：盘点操作人员使用PDA应用端的摄像头，正对货架1，拍摄一张货架1商品的图片，通过PDA应用端获取并传输到服务器云端；

步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架1商品图片的检测框3，并将货架1商品图片的检测框3反馈给PDA应用端，利用步骤二中的分类模型，对货架1商品图片中的商品类别进行分类，并绘制货架1商品图片中所有商品的检测框3，显示在PDA应用端的屏幕上；

步骤五、操作人员与PDA应用端的交互：根据步骤四中显示在PDA应用端屏幕上的所有商品的检测框3，盘点操作人员用手指从右到左在PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线5；然后PDA应用端检测标记线5所框选所有商品的检测框3，根据该标记线5左右端点截止位置和关联检测框3的总体上下左右范围，确定标记线5选中货架1商品的层2覆盖范围和位置；通过标记线5每一个选中层2覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值的大小，确定由上至下表示的商品所处的层级；

步骤六、标记线选中货架商品的类别和存量的确定：标记线5选中货架1商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；例如：第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；可以简化成以下方式输出在最后结果中：第一层：商品A x3，商品B x2，空，商品C x4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架1中的存量；

步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架1商品照片中所有的商品层2进行人机交互画出标记线5，确定由上至下表示的商品所处的层级，同时确定标记线5选中货架1商品的类别和存量；最终通过PDA应用端屏幕显示绘制货架1数字陈列图。

对所公开的实施例的上述说明，是本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (3)

1.一种快速生成货架数字陈列图的方法，其特征在于：步骤一、检测模型的选择或训练：选择或训练一个检测模型，将这种检测模型置入到服务器云端，使这种检测模型能够输入一张常规装载商品的货架照片，为其中所显示货架上的商品标定其检测框，不需要输出其类别；步骤二、分类模型的选择或训练：选择或训练一个分类模型，将这种分类模型置入到服务器云端，对特定种类商品进行训练，能够对货架上关注的商品进行识别，以区分每个检测框内的商品是否属于特定种类中的某一商品；步骤三、货架商品照片的拍摄：盘点操作人员使用手机或PDA应用端的摄像头，正对货架，拍摄一张货架商品的图片，通过手机或PDA应用端获取并传输到服务器云端；步骤四、货架商品检测框的获取和货架商品类别的识别：服务器云端利用步骤一中的检测模型，获取步骤三中所拍摄的货架商品图片的检测框，并将货架商品图片的检测框反馈给手机或PDA应用端，利用步骤二中的分类模型，对货架商品图片中的商品类别进行分类，并绘制货架商品图片中所有商品的检测框，显示在手机或PDA应用端的屏幕上；步骤五、操作人员与手机或PDA应用端的交互：根据步骤四中显示在手机或PDA应用端屏幕上的所有商品的检测框，盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动，连续地画出一道与货架平行的标记线；然后手机或PDA应用端检测标记线所框选所有商品的检测框，根据该标记线左右端点截止位置和关联检测框的总体上下左右范围，确定标记线选中货架商品的层覆盖范围和位置；通过标记线每一个选中层覆盖范围的中心点X、Y坐标的纵方向Y坐标值，确定商品每一层的层级，按照Y坐标值大小，确定由上至下表示的商品所处的层级；步骤六、标记线选中货架商品的类别和存量的确定：标记线选中货架商品的每一层中，通过步骤二中的分类模型，从左到右依次确定商品类别和存量；第一层：商品A，商品A，商品A，商品B，商品B，空，商品C，商品C，商品C，商品C；简化成以下方式输出在最后结果中：第一层：商品A x3，商品B x2，空，商品C x4；其中A、B、C代表具体的商品名称，x3、x2、x4代表具体商品的在货架中的存量；步骤七、货架数字陈列图的绘制：根据步骤五步骤六的方法，对货架商品照片中所有的商品层进行人机交互画出标记线，确定由上至下表示的商品所处的层级，同时确定标记线选中货架商品的类别和存量；最终通过手机或PDA应用端屏幕显示绘制货架数字陈列图。

2.根据权利要求1所述的一种快速生成货架数字陈列图的方法，其特征在于：其中步骤六中，根据标记线所框选的同层货架商品的检测框不连续信息，通过步骤二中的分类模型检测确定空缺商品位置范围，最终在绘制货架数字陈列图显示空缺商品的位置信息。

3.根据权利要求1所述的一种快速生成货架数字陈列图的方法，其特征在于：盘点操作人员用手指从左到右或从右到左在手机或PDA应用端屏幕上滑动时，根据所感兴趣的货架层级，针对性地连续地画出一道与货架平行的标记线。

Images