CN109767265A - 一种商品盘点方法、存储介质及商品盘点系统 - Google Patents

Abstract

本发明提供一种商品盘点方法，用于获取无人货柜上的商品信息，该方法包括步骤，S1：对多种商品的特征进行编号；S2：识别无人货柜上所有的商品关键点；及S3：利用识别到的关键点及商品特征编号输出货柜上所有的商品信息。本发明还提供一种存储介质，用于承载商品盘点方法。本发明还提供一种商品盘点系统，其包括标记模块、识别模块及结果输出模块。

Description

一种商品盘点方法、存储介质及商品盘点系统

【技术领域】

本发明涉及无人货柜领域，尤其涉及一种商品盘点方法、存储介质及商品盘点系统。

【背景技术】

在自动售卖商品的无人货柜等产品中，由于其内的商品会被用户购买后取走，所以通常需要货柜中的商品进行盘点，以补充商品。

现有的无人货柜商品盘点主要是以基于目标检测方法的进行盘点，也即在拍照后，将图片中的商品先抓取商品边框再进行分类。该方法需要先提取商品的边框，也即检测框后，再对商品进行分类，消耗了大量时间，并且准确率的上限受到提取边框准确率的影响。

【发明内容】

为克服现有问题，本发明提供一种商品盘点方法、存储介质及商品盘点系统。

本发明解决技术问题的技术方案是提供一种商品盘点方法，用于获取无人货柜上的商品信息，该方法包括步骤，S1：对多种商品的特征进行编号，S2：识别无人货柜上所有的商品关键点及S3：利用识别到的关键点及商品特征编号输出货柜上所有的商品信息。

优选地，步骤S1对多种商品进行标注包括步骤，S11：采集多种商品的数据，S12：对采集到的商品数据进行特征点提取及S13：根据特征点对商品进行编号，将多种商品的数据进行采集，从采集到的信息中提取特征，根据提取到的特征对商品进行编号。

优选地，步骤S11采集多种商品的数据为分别采集多种商品的外观数据，包括形状和/或图案和/或颜色；

优选地，步骤S12对采集到的商品数据进行特征点提取为从采集到的数据中，分别提取不同的商品外观中的特征点。

优选地，特征点为商品外观中具有辨识度的特征。

优选地，步骤S1中特征编号为将不同的特征点分别进行编号，并对应具有该特征点的商品。

优选地，步骤S2识别无人货柜上所有的商品特征包括步骤S21：对无人货柜上的商品进行拍照，S22：抓取照片中的关键点。

优选地，步骤S22包括步骤S221：训练抓取图片关键点的模型。

优选地，步骤S221训练抓取图片关键点的模型前，还包括步骤S220：将图片的格式及大小统一。

优选地，步骤S3利用识别到的关键点输出货柜上所有的商品信息包括步骤S31：将关键点与商品的特征进行对比，S32：根据对比结果找到商品对应的编号，并根据编号输出无人货柜上的商品。

本发明还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述商品盘点方法。

本发明还提供一种商品盘点系统，其包括：标记模块，用于对商品的特征进行编号，识别模块，用于将货柜上的商品拍摄成图片，并抓取关键点，结果输出模块，用于根据识别的关键点及编号刷出货柜上的商品信息。

与现有技术相比，本发明提供的一种模型训练方法具有以下优点：

1.通过提前对多种商品进行提取特征点及将特征点进行编号，再提取无人货柜上商品的关键点，将关键点与特征点对比，可以清点出无人货柜上的所有商品信息。

2.通过训练四阶hourglass网络模型进行图片关键点的抓取，可以捕捉更多的局部信息，且每一幅图片在GPU上的用时60ms，提高运算速度。

3.将进入四阶hourglass网络进行图片关键点抓取的图片统一大小，以进一步节省运算时间，提高运算速度。

【附图说明】

图1是本发明第一实施例盘点方法的流程示意图。

图2是图1中步骤S1的流程示意图。

图3是图1中步骤S2的流程示意图。

图4A是图3中步骤S22的流程示意图。

图4B本发明第一实施例的hourglass网络抓取图片关键点原理示意图。

图4C是步骤S22之前的流程示意图。

图5A是图1中步骤S3的流程示意图。

图5B是关键点与特征点的对比关系示意图。

【具体实施方式】

为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，本发明提供的一种商品盘点方法，用于盘点无人货柜上的商品，该方法包括以下步骤，

S1：对多种商品的特征进行编号；

S2：识别无人货柜上所有的商品关键点；及

S3：利用识别到的关键点及商品特征编号输出货柜上所有的商品信息。

具体的，本方法通过提前将多种商品的信息进行采集，并对每个商品的特征进行提取并编号，以编号的内容作为标准模板。再提取无人货柜上的商品信息，将从无人货柜上提取到的商品信息与标准模板对比，从而判断无人货柜上的商品有哪些与之前提取到的编号相同，即认定为货柜上的商品与被提取特征的商品相同，从而识别出货柜上的全部商品。

请参阅图2，步骤S1包括步骤，

S11：采集多种商品的数据；

S12：对采集到的数据进行特征点的提取；

S13：根据特征点对商品进行编号。

步骤S11具体为利用大数据，将多种可能放置于无人货柜上的商品罗列出来，如货柜上可能会放有方便面、饮料及薯片等零食，方便面、饮料及薯片等零食分别又有多种类型，将多种类型的零食的数据全部进行采集并存储。

可以理解，本实施例中商品的数据为外观数据，如商品的形状、图案或颜色等，采集的外观数据可以是一组、两组或多组数据。

可以理解，采集数据的方法为从商品的图像信息中分析提取。

步骤S12具体为从步骤S11采集的数据中选择选取每个商品具有辨识度的特征，如饮料的外观形状通常为圆柱体，那么就可以将形状为圆柱体的特征点提取出来作为饮料的特征。同时，圆柱体形状的饮料中，又分为瓶状及易拉罐状，且同是瓶状或易拉罐状的饮料也会有多种口味的分类。所以，从数据中选择每个商品的特征点即为，选择商品本身具有的形状、颜色及图案中的一组、两组或多组数据作为商品的特征点，以使得具有这些特征点商品可以通过这特征点与其他不具有该特征点的商品局别开来。如易拉罐饮料中的可口可乐与百事可乐的相似度较高，那么提取这两种饮料的特征点即为：形状、颜色及图案。易拉罐状的可口可乐与易拉罐装的百事可乐其形状皆为圆柱形易拉罐，但颜色及罐身上的图案不同，可以以颜色及图案将两者区分。

可以理解，提取的特征点不仅仅限定于形状、颜色及图案三种，还可以是商品表面的色素点排布以及色素点排布的位置关系，只要能够提取到商品本身具有辨识度的特征点即可。

可以理解，提取特征点的手段可以是通过CNN等技术，在本实施例中不作限定，只要能够从商品的外观数据中提取特征即可。

步骤S13具体为将步骤S12中提取到的特征点进行编号，并且与被提取特征的商品对应编号。如易拉罐装的可口可乐提取的特征点为：形状-圆柱体，颜色-红色，图案-可口可乐，将这一组特征点编号为1，那么编号为1的商品即为可口可乐。

请参阅图3，步骤S2包括步骤，

S21：对无人货柜上所有的商品进行拍照；

S22：抓取照片中商品的关键点。

步骤S21具体为将无人货柜上的商品通过相机拍照转换为图片的形式。

可以理解，拍照的方式可以是一张照片将货柜上的所有商品全部拍摄，也可以是分开拍摄后再将照片拼接为一张图片，具体情况视货柜大小及对图片要求的分辨率为准，在此不作限定，只要能够将无人货柜上的商品信息采集完全即可。

步骤S22具体为对步骤S21中拍摄到的图片进行关键点的抓取，也即对图片中的外观信息进行抓取关键点。

请参阅图4A-4B，步骤S22还包括步骤，

S221：训练抓取图片关键点的模型。

具体的，步骤S221训练的抓取图片关键点的模型为hourglass四阶网络模型。通过将图片输入该模型中，可以抓取到整张图片中所有商品的关键点。

可以理解，四阶hourglass网络模型为卷积神经网络，是深度学习的代表算法之一，网络结构呈沙漏状，可反复获取不同尺度下图片所包含的信息。使用四阶hourglass网络提取关键点相较于其他方法提取图片关键点的优势在于可以捕捉更多的局部信息，同时每一幅图片在GPU上用时60ms左右，处理的速度更快。

可以理解，抓取出的关键点可以是从商品的外观数据抓取到的商品特征，也可以是商品之间的位置关系，在本实施例中，只以从商品外观数据中抓取到的商品特征作为关键点。

请参阅图4C，在步骤S221前，还可以包括步骤，

S220：步骤S21拍摄的图片调整到统一大小；

即将S21拍摄到的图片先统一调整到相同的大小，再送入四阶hourglass网络模型中进行关键点的抓取，以提高抓取关键点的速度。

请参阅图5A-5B，步骤S3包括步骤，

S31：将关键点与特征点进行对比；

S32：根据对比结果找到商品对应的编号，并根据编号输出无人货柜上的商品。

步骤S31具体为将步骤S22中抓取到的关键点与步骤S12中提取到的商品特征点进行逐一比对，即将关键点相对特征点逐一遍历，以找出关键点与特征点相同的部分。如特征点里包括了形状-圆柱体、颜色-红色、图案-可口可乐，那么通过将所有关键点中的信息相对该特征点遍历，即可找出形状-圆柱体、颜色-红色、图案-可口可乐的关键点。

步骤S32具体为将关键点中与特征点相同的部分罗列出来，且对应步骤S13中的编号，以规整出无人货柜上的商品信息。如关键点与特征点中相同的部分为形状-圆柱体、颜色-红色、图案-可口可乐，找到该特征点在步骤S13中的编号为1，且编号1为可口可乐，那么无人货柜上的商品即为可口可乐。该关键点有多少个与特征点相同，即说明无人货柜上有多少片可口可乐。

可以理解，在步骤S13时，还可以把商品价格加入到对应的编号中，以使在步骤S32中罗列出无人货柜上的商品信息后，根据编号的价格结算商品。

在本施例还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法步骤。存储介质可以包括如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、XD卡等。

计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可以是个人计算机设备、服务器或其他网络设备等)用以执行本发明方法的全部或部分步骤。

本发明还提供一种商品盘点系统，商品盘点系统包括标记模块、识别模块及结果输出模块，标记模块用于对商品特征进行编号，识别模块用于将货柜上的商品拍摄成图片，并识别图片中的关键点，结果输出模块用于根据识别的关键点及编号输出货柜上的商品信息。

与现有技术相比，本发明所述提供的一种模型训练方法具有以下优点：

1.通过提前对多种商品进行提取特征点及将特征点进行编号，再通过提取无人货柜上商品的特征点，将关键点与特征点对比，可以清点出无人货柜上的所有商品信息。

2.通过训练四阶hourglass网络模型进行图片关键点的抓取，可以捕捉更多的局部信息，且每一幅图片在GPU上的用时60ms，提高运算速度。

3.将进入四阶hourglass网络进行图片关键点抓取的图片统一大小，以进一步节省运算时间，提高运算速度。

本发明所提供的数据处理装置、电子装置及存储介质均具有如上的有益效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种商品盘点方法，用于获取无人货柜上的商品信息，其特征在于：该方法包括步骤，

S1：对多种商品的特征进行编号；

S2：识别无人货柜上所有的商品关键点；及

S3：利用识别到的关键点及商品特征编号输出货柜上所有的商品信息。

2.如权利要求1所述的一种商品盘点方法，其特征在于：

步骤S1对多种商品进行标注包括步骤，

S11：采集多种商品的数据；

S12：对采集到的商品数据进行特征点提取；及

S13：根据特征点对商品进行编号；

将多种商品的数据进行采集，从采集到的信息中提取特征，根据提取到的特征对商品进行编号。

3.如权利要求2所述的一种商品盘点方法，其特征在于：

步骤S11采集多种商品的数据为分别采集多种商品的外观数据，包括形状和/或图案和/或颜色。

4.如权利要求2所述的一种商品盘点方法，其特征在于：

步骤S12对采集到的商品数据进行特征点提取为从采集到的数据中，分别提取不同的商品外观中的特征点。

5.如权利要求1所述的一种商品盘点方法，其特征在于：

步骤S2识别无人货柜上所有的商品特征包括步骤，

S21：对无人货柜上的商品进行拍照；

S22：抓取照片中的关键点。

6.如权利要求5所述的一种商品盘点方法，其特征在于：

步骤S22包括步骤，

S221：训练抓取图片关键点的模型。

7.如权利要求6所述的一种商品盘点方法，其特征在于：

步骤S221训练抓取图片关键点的模型前，还包括步骤，

S220：将图片的格式及大小统一。

8.如权利要求1所述的一种商品盘点方法，其特征在于：

步骤S3利用识别到的关键点输出货柜上所有的商品信息包括步骤，

S31：将关键点与商品的特征进行对比；

S32：根据对比结果找到商品对应的编号，并根据编号输出无人货柜上的商品。

9.一种存储介质，其特征在于：所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-8中任一项中所述商品盘点方法。

10.一种商品盘点系统，其特征在于：所述商品盘点系统包括：

标记模块，用于对商品的特征进行编号；

识别模块，用于将货柜上的商品拍摄成图片，并抓取关键点；

结果输出模块，用于根据识别的关键点及编号刷出货柜上的商品信息。