CN108985359B - 一种商品识别方法、无人售货机及计算机可读存储介质 - Google Patents
一种商品识别方法、无人售货机及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108985359B CN108985359B CN201810697339.XA CN201810697339A CN108985359B CN 108985359 B CN108985359 B CN 108985359B CN 201810697339 A CN201810697339 A CN 201810697339A CN 108985359 B CN108985359 B CN 108985359B
- Authority
- CN
- China
- Prior art keywords
- image
- video data
- commodity
- commodities
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/002—Vending machines being part of a centrally controlled network of vending machines
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
Abstract
本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，包括：当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据；从视频数据中选取第一视频数据，第一视频数据是重力传感器的数值变小后第一时间段内的视频数据；从视频数据中选取第二视频数据，第二视频数据是重力传感器的数值变大前第二时间段内的视频数据；根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，最高位置是训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，背景图像是无人售货机的门打开前通过摄像头采集的无人售货机内的图像。本发明实施例，可以提高商品识别准确性。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种商品识别方法、无人售货机及计算机可读存储介质。
背景技术
随着人工智能技术的不断发展，无人售货机已逐渐出现在人们生活中，因此，如何识别无人售货机中被用户取走的商品已成为一个亟待解决的技术问题。目前，一种重要的商品识别方法为：当检测到无人售货机的门被关闭时，扫描无人售货机中每个商品上的射频识别(Radio Frequency Identification，RFID)标签，将扫描的RFID标签与存储的RFID标签进行比较，将存储的RFID标签中除扫描的RFID标签之外的标签对应的商品确定为被用户取走的商品。然而，上述方法中由于RFID标签容易损坏，以致商品识别准确性较低。
发明内容
本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，用于提高商品识别准确性。
第一方面提供一种商品识别方法，该方法应用于无人售货机，包括：
当检测到所述无人售货机的门打开时，通过摄像头采集所述无人售货机内的视频数据；
从所述视频数据中选取第一视频数据，所述第一视频数据是重力传感器的数值变小后第一时间段内的视频数据；
从所述视频数据中选取第二视频数据，所述第二视频数据是所述重力传感器的数值变大前第二时间段内的视频数据；
根据训练的目标物体检测模型、所述第一视频数据、所述第二视频数据和最高位置确定被用户取走的商品的种类和数量，所述最高位置是所述训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，所述背景图像是所述无人售货机的门打开前通过所述摄像头采集的所述无人售货机内的图像。
第二方面提供一种无人售货机，包括用于执行第一方面提供的商品识别方法的单元。
第三方面提供一种无人售货机，包括处理器、存储器、摄像头和收发器，所述处理器、所述存储器、所述摄像头和所述收发器相互连接，其中，所述摄像头用于采集视频数据，所述收发器用于与电子设备进行通信，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行第一方面提供的商品识别方法。
第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行第一方面提供的商品识别方法。
第五方面提供了一种应用程序，该应用程序用于在运行时执行第一方面提供的商品识别方法。
本发明实施例中，当检测到无人售货机的门打开时通过摄像头采集无人售货机内的视频数据，从视频数据中选取重力传感器的数值变小后第一时间段内的第一视频数据，从视频数据中选取重力传感器的数值变大前第二时间段内的第二视频数据，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量。先选取重力传感器的数值变小后的第一视频数据以及重力传感器的数值变大前的第二视频数据，之后根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，从而可以准确地确定被用户取走的商品，因此，可以提高商品识别准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种商品识别方法的流程示意图；
图2是本发明实施例提供的另一种商品识别方法的流程示意图；
图3是本发明实施例提供的一种无人售货机的结构示意图；
图4是本发明实施例提供的另一种无人售货机的结构示意图；
图5是本发明实施例提供的一种对差分图像进行二值化处理后的图像示意图；
图6是本发明实施例提供的一种背景图像示意图；
图7是本发明实施例提供的一种商品被用户取走的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种商品识别方法、无人售货机及计算机可读存储介质，用于提高商品识别准确性。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种商品识别方法的流程示意图。其中，该商品识别方法应用于无人售货机。如图1所示，该商品识别方法可以包括以下步骤。
101、当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据。
本实施例中，当无人售货机的门被用户打开时，表明有用户需要购买无人售货机中的商品，因此，当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据，以便用于确定被用户取走的商品。其中，摄像头可以是一个，此时，摄像头必须安装在能够拍摄到无人售货机内所有区域的地方；也可以是多个，可以是每一层货柜上安装一个或多个摄像头，也可以是每两层货柜上安装一个摄像头，还可以是其他安装方式，只要所有摄像头的采集区域能够覆盖无人售货机内的整个区域即可。
102、从视频数据中选取第一视频数据。
本实施例中，可以在无人售货机内每层货柜底部安装一个重力传感器，以便检测每层货柜上重力的变化。当检测到重力传感器的数值变小时，表明货柜上有商品被用户拿起，可以从视频数据中选取第一视频数据，第一视频数据是重力传感器的数值变小后第一时间段内的视频数据，第一时间段是预先设置在无人售货机内的，可以为1s，2s等。例如：重力传感器数值变小的时刻为t1，第一时间段为t，则从视频数据中选取从t1时刻到t1+t时刻的视频数据。当只有一个重力传感器的数值变小时，只需要从能够拍摄到这层货柜的视频数据中选取第一视频数据即可，可以缩小第一视频数据的选取范围，从而可以提高数据选取效率，因此，可以提高商品识别速率。
103、从视频数据中选取第二视频数据。
本实施例中，当检测到重力传感器的数值变大时，表明货柜上有商品被用户放下，可以从视频数据中选取第二视频数据，第二视频数据是重力传感器的数值变大前第二时间段内的视频数据，第二时间段是预先设置在无人售货机内的，可以为1s，2s等。第一时间段与第二时间段可以相同，也可以不同。例如：重力传感器数值变大的时刻为t2，第二时间段为k，则从视频数据中选取从t2时刻到t2+k时刻的视频数据。当只有一个重力传感器的数值变大时，只需要从能够拍摄到这层货柜的视频数据中选取第二视频数据即可，可以缩小第二视频数据的选取范围，从而可以提高数据选取效率，因此，可以提高商品识别速率。
104、根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量。
本实施例中，当检测到无人售货机的门正在关闭时，表明用户已经取走了购买的商品，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，可以先根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量，以及根据训练的目标物体检测模型、第二视频数据和最高位置确定被用户放下的商品的种类和数量，之后根据被用户拿起的商品的种类和数量以及被用户放下的商品的种类和数量确定被用户取走的商品的种类和数量，可以排除被用户拿起又放下的商品，从而可以提高商品识别准确性。其中，最高位置是训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，背景图像是无人售货机的门打开前通过摄像头采集的无人售货机内的图像。
本实施例中，根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量，可以通过训练的目标物体检测模型识别第一视频数据包括的商品获得图像商品的种类、数量和位置，之后根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量。其中，训练的目标物体检测模型可以为SSD网络模型，也可以为YOLO网络模型，还可以为Faster-rcnn网络模型，还可以为其它能够识别目标物体的模型。
本实施例中，也可以是对第一视频数据中每帧图像与背景图像进行差分运算获得差分图像，对差分图像进行二值化处理获得二值差分图像，对二值差分图像进行边缘检测获得轮廓面积，从第一视频数据中选取轮廓面积大于阈值对应的图像为变动帧图像，通过训练的目标物体检测模型识别变动帧图像包括的商品获得图像商品的种类、数量和位置，由于减少了训练的目标物体检测模型识别的图像数量，因此，可以提高商品识别效率。第一视频数据中每帧图像与背景图像进行差分运算，即第一视频数据中每帧图像与背景图像对应像素位置的像素差的绝对值。对差分图像进行二值化处理可以忽略第一视频数据中每帧图像与背景图像之间小的变化，而突出它们之间大的变化。请参阅图5，图5是本发明实施例提供的一种对差分图像进行二值化处理后的图像示意图。图5所示的图像是将像素差的绝对值大于或等于25的设置为255，以及将像素差的绝对值小于25的设置为0之后得到的图像。如图5所示，经过二值化处理后的图像中只包括黑色和白色两种颜色。
本实施例中，可以将背景图像转换为灰度图像获得灰度背景图像，之后对灰度背景图像进行高斯平滑处理获得平滑背景图像，以便对背景图像进行模糊处理。此外，由于高斯平滑处理只能对灰度图像进行处理，因此，在进行高斯平滑处理之前需要先将图像转换为灰度图像。通过训练的目标物体检测模型识别第一视频数据包括的商品获得图像商品的种类、数量和位置，还需要将第一视频数据中每帧图像转换为灰度图像获得灰度视频数据，并对灰度视频数据进行高斯平滑处理获得平滑视频数据，以便对第一视频数据中每帧图像与背景图像进行差分运算得差分图像时，可以对平滑视频数据中每帧图像与平滑背景图像进行差分运算获得差分图像。
本实施例中，为了消除二值差分图像中细小的噪声点，通过训练的目标物体检测模型识别第一视频数据包括的商品获得图像商品的种类、数量和位置，还需要对二值差分图像进行膨胀腐蚀处理获得处理差分图像。因此，对二值差分图像进行边缘检测获得轮廓面积，可以是对处理差分图像进行边缘检测获得轮廓面积。
本实施例中，根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量，可以先从图像商品中选取位置高于最高位置的商品为被用户拿起的商品，之后根据图像商品的种类和数量确定被用户拿起的商品的种类和数量。请参阅图6，图6是本发明实施例提供的一种背景图像示意图。如图6所示，虚线即为最高位置。请参阅图7，图7是本发明实施例提供的一种商品被用户取走的示意图。如图7所示，当商品被用户拿起时，商品的位置会高过背景图像中的最高位置，因此，可以通过最高位置确定出被用户取走的商品。其中，背景图像不同，对应的最高位置可能不同，因此，当背景图像为多张图像时，对应的最高位置也可能为多个。
其中，根据训练的目标物体检测模型、第二视频数据和最高位置确定被用户放下的商品的种类和数量的过程与根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量的过程相似，在此不再赘述，详细描述可以参考根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量的过程。
在图1所描述的商品识别方法中，当检测到无人售货机的门打开时通过摄像头采集无人售货机内的视频数据，从视频数据中选取重力传感器的数值变小后第一时间段内的第一视频数据，从视频数据中选取重力传感器的数值变大前第二时间段内的第二视频数据，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量。先选取重力传感器的数值变小后的第一视频数据以及重力传感器的数值变大前的第二视频数据，之后根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，从而可以准确地确定被用户取走的商品，因此，可以提高商品识别准确性。
请参阅图2，图2是本发明实施例提供的另一种商品识别方法的流程示意图。其中，该商品识别方法应用于无人售货机。如图2所示，该商品识别方法可以包括以下步骤。
201、采集所有商品中每种商品不同角度和不同距离的商品图像。
本实施例中，可以提前采集无人售货机需要售卖的所有商品的商品图像，即所有商品中每种商品不同角度和不同距离的商品图像。
202、标注商品图像中每张图像中商品的位置和种类，获得标注信息。
本实施例中，采集到所有商品中每种商品不同角度和不同距离的商品图像之后，标注商品图像中每张图像中商品的位置和种类得到标注信息。标注商品图像中每张图像中商品的位置，可以是标注出每张图像中商品所在左上角的坐标点和右下角的坐标点，也可以是标注出每张图像中商品所在右上角的坐标点和左下角的坐标点。
203、将商品图像转换为设定像素的图像，获得转换图像。
本实施例中，采集到所有商品中每种商品不同角度和不同距离的商品图像之后，将商品图像转换为设定像素的图像得到转换图像，即将商品图像转换为同样高度和宽度的图像，也即全部转换为m*n像素的图像，以便步骤204中对目标物体检测模型进行训练时，可以提高训练速率。其中，步骤202和步骤203可以并行执行，也可以串行执行。
204、使用转换图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
本实施例中，标注出商品图像中每张图像中商品的位置和种类得到标注信息，以及将商品图像转换为设定像素的图像得到转换图像之后，将使用转换图像和标注信息训练目标物体检测模型得到训练的目标物体检测模型。目标物体检测模型与训练的目标物体检测模型的模型架构相同，但参数不同。其中，目标物体检测模型与训练的目标物体检测模型可以为SSD网络模型，也可以为YOLO网络模型，还可以为Faster-rcnn网络模型，还可以为其它能够识别目标物体的模型。
在一个实施例中，标注出商品图像中每张图像中商品的位置和种类得到标注信息之后，可以直接使用商品图像和标注信息训练目标物体检测模型得到训练的目标物体检测模型，即不执行步骤203。
205、当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。
本实施例中，正常情况下无人售货机的门锁处于关闭状态，当用户通过手机等电子设备扫描到包括无人售货机的标识的二维码时，电子设备与无人售货机将建立连接，因此，当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，表明有人需要购买无人售货机中的商品，将打开无人售货机的门锁，以便用户可以拉开无人售货机的门而拿取商品。
206、当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据。
本实施例中，当无人售货机的门被用户打开时，表明有用户需要购买无人售货机中的商品，因此，当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据，以便用于确定被用户取走的商品。其中，摄像头可以是一个，此时，摄像头必须安装在能够拍摄到无人售货机内所有区域的地方；也可以是多个，可以是每一层货柜上安装一个或多个摄像头，也可以是每两层货柜上安装一个摄像头，还可以是其他安装方式，只要所有摄像头的采集区域能够覆盖无人售货机内的整个区域即可。
207、从视频数据中选取第一视频数据。
本实施例中，可以在无人售货机内每层货柜底部安装一个重力传感器，以便检测每层货柜上重力的变化。当检测到重力传感器的数值变小时，表明货柜上有商品被用户拿起，可以从视频数据中选取第一视频数据，第一视频数据是重力传感器的数值变小后第一时间段内的视频数据，第一时间段是预先设置在无人售货机内的，可以为1s，2s等。例如：重力传感器数值变小的时刻为t1，第一时间段为t，则从视频数据中选取从t1时刻到t1+t时刻的视频数据。当只有一个重力传感器的数值变小时，只需要从能够拍摄到这层货柜的视频数据中选取第一视频数据即可，可以缩小第一视频数据的选取范围，从而可以提高数据选取效率，因此，可以提高商品识别速率。
208、从视频数据中选取第二视频数据。
本实施例中，当检测到重力传感器的数值变大时，表明货柜上有商品被用户放下，可以从视频数据中选取第二视频数据，第二视频数据是重力传感器的数值变大前第二时间段内的视频数据，第二时间段是预先设置在无人售货机内的，可以为1s，2s等。第一时间段与第二时间段可以相同，也可以不同。例如：重力传感器数值变大的时刻为t2，第二时间段为k，则从视频数据中选取从t2时刻到t2+k时刻的视频数据。当只有一个重力传感器的数值变大时，只需要从能够拍摄到这层货柜的视频数据中选取第二视频数据即可，可以缩小第二视频数据的选取范围，从而可以提高数据选取效率，因此，可以提高商品识别速率。
209、根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量。
本实施例中，当检测到无人售货机的门正在关闭时，表明用户已经取走了购买的商品，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，可以先根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量，以及根据训练的目标物体检测模型、第二视频数据和最高位置确定被用户放下的商品的种类和数量，之后根据被用户拿起的商品的种类和数量以及被用户放下的商品的种类和数量确定被用户取走的商品的种类和数量，可以排除被用户拿起又放下的商品，从而可以提高商品识别准确性。其中，最高位置是训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，背景图像是无人售货机的门打开前通过摄像头采集的无人售货机内的图像。
本实施例中，根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量，可以通过训练的目标物体检测模型识别第一视频数据包括的商品获得图像商品的种类、数量和位置，之后根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量。当执行步骤203时，先需要将第一视频数据中的每帧图像转换为设定像素的图像获得设定视频数据，之后才能通过训练的目标物体检测模型识别设定视频数据包括的商品获得图像商品的种类、数量和位置。
本实施例中，也可以是对第一视频数据中每帧图像与背景图像进行差分运算获得差分图像，对差分图像进行二值化处理获得二值差分图像，对二值差分图像进行边缘检测获得轮廓面积，从第一视频数据中选取轮廓面积大于阈值对应的图像为变动帧图像，通过训练的目标物体检测模型识别变动帧图像包括的商品获得图像商品的种类、数量和位置，由于减少了训练的目标物体检测模型识别的图像数量，因此，可以提高商品识别效率。第一视频数据中每帧图像与背景图像进行差分运算，即第一视频数据中每帧图像与背景图像对应像素位置的像素差的绝对值。对差分图像进行二值化处理可以忽略第一视频数据中每帧图像与背景图像之间小的变化，而突出它们之间大的变化。请参阅图5，图5是本发明实施例提供的一种对差分图像进行二值化处理后的图像示意图。图5所示的图像是将像素差的绝对值大于或等于25的设置为255，以及将像素差的绝对值小于25的设置为0之后得到的图像。如图5所示，经过二值化处理后的图像中只包括黑色和白色两种颜色。当执行步骤203时，先需要将变动帧图像中每张图像转换为设定像素的图像获得设定帧图像，之后才能通过训练的目标物体检测模型识别设定帧图像包括的商品获得图像商品的种类、数量和位置。需不需要将第一视频数据中每帧图像或变动帧图像转换为设定像素的图像，可以根据训练目标物体检测模型的图像而定，当训练目标物体检测模型的图像均为设定像素的图像时，第一视频数据中每帧图像或变动帧图像也需要进行转换；当训练目标物体检测模型的图像没有统一为设定像素的图像时，第一视频数据中每帧图像或变动帧图像将不需要进行转换。
本实施例中，可以将背景图像转换为灰度图像获得灰度背景图像，之后对灰度背景图像进行高斯平滑处理获得平滑背景图像，以便对背景图像进行模糊处理。此外，由于高斯平滑处理只能对灰度图像进行处理，因此，在进行高斯平滑处理之前需要先将图像转换为灰度图像。通过训练的目标物体检测模型识别第一视频数据包括的商品获得图像商品的种类、数量和位置，还需要将第一视频数据中每帧图像转换为灰度图像获得灰度视频数据，并对灰度视频数据进行高斯平滑处理获得平滑视频数据，以便对第一视频数据中每帧图像与背景图像进行差分运算得差分图像时，可以对平滑视频数据中每帧图像与平滑背景图像进行差分运算获得差分图像。
本实施例中，为了消除二值差分图像中细小的噪声点，通过训练的目标物体检测模型识别第一视频数据包括的商品获得图像商品的种类、数量和位置，还需要对二值差分图像进行膨胀腐蚀处理获得处理差分图像。因此，对二值差分图像进行边缘检测获得轮廓面积，可以是对处理差分图像进行边缘检测获得轮廓面积。
本实施例中，根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量，可以先从图像商品中选取位置高于最高位置的商品为被用户拿起的商品，之后根据图像商品的种类和数量确定被用户拿起的商品的种类和数量。请参阅图6，图6是本发明实施例提供的一种背景图像示意图。如图6所示，虚线即为最高位置。请参阅图7，图7是本发明实施例提供的一种商品被用户取走的示意图。如图7所示，当商品被用户拿起时，商品的位置会高过背景图像中的最高位置，因此，可以通过最高位置确定出被用户取走的商品。其中，背景图像不同，对应的最高位置可能不同，因此，当背景图像为多张图像时，对应的最高位置也可能为多个。
其中，根据训练的目标物体检测模型、第二视频数据和最高位置确定被用户放下的商品的种类和数量的过程与根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量的过程相似，在此不再赘述，详细描述可以参考根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量的过程。
210、根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格，并通过电子设备扣除商品价格金额。
本实施例中，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量之后，当被用户取走的商品的数量等于0时，表明用户未从无人售货机取走商品将结束。当被用户取走的商品的数量大于0时，表明用户从无人售货机取走了商品，根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格，并通过电子设备扣除商品价格金额，可以实现自动结算，可以省去用户结算的过程，从而可以提高用户体验。
211、向电子设备发送包括商品价格金额的支付信息。
本实施例中，通过电子设备扣除商品价格金额之后，将向电子设备发送包括商品价格金额的支付信息。
在图2所描述的商品识别方法中，先选取重力传感器的数值变小后的第一视频数据以及重力传感器的数值变大前的第二视频数据，之后根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，从而可以准确地确定被用户取走的商品，因此，可以提高商品识别准确性。
请参阅图3，图3是本发明实施例提供的一种无人售货机的结构示意图。如图3所示，该无人售货机可以包括：
采集单元301，用于当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据；
第一选取单元302，用于从采集单元301采集的视频数据中选取第一视频数据，第一视频数据是重力传感器的数值变小后第一时间段内的视频数据；
第二选取单元303，用于从采集单元301采集的视频数据中选取第二视频数据，第二视频数据是重力传感器的数值变大前第二时间段内的视频数据；
确定单元304，用于根据训练的目标物体检测模型、第一选取单元302选取的第一视频数据、第二选取单元303选取的第二视频数据和最高位置确定被用户取走的商品的种类和数量，最高位置是训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，背景图像是无人售货机的门打开前通过摄像头采集的无人售货机内的图像。
作为一种可能的实施方式，确定单元304可以包括：
第一确定子单元3041，用于根据训练的目标物体检测模型、第一选取单元302选取的第一视频数据和最高位置确定被用户拿起的商品的种类和数量；
第二确定子单元3042，用于根据训练的目标物体检测模型、第二选取单元303选取的第二视频数据和最高位置确定被用户放下的商品的种类和数量；
第三确定子单元3043，用于根据第一确定子单元3041确定的被用户拿起的商品的种类和数量以及第二确定子单元3042确定的被用户放下的商品的种类和数量，确定被用户取走的商品的种类和数量。
作为一种可能的实施方式，第一确定子单元3041可以包括：
通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置；
根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量。
作为一种可能的实施方式，第一确定子单元3041通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置可以包括：
对第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像；
对差分图像进行二值化处理，获得二值差分图像；
对二值差分图像进行边缘检测，获得轮廓面积；
从第一视频数据中选取轮廓面积大于阈值对应的图像为变动帧图像；
通过训练的目标物体检测模型识别变动帧图像包括的商品，获得图像商品的种类、数量和位置。
作为一种可能的实施方式，该无人售货机还可以包括：
第一转换单元305，用于将背景图像转换为灰度图像，获得灰度背景图像；
平滑单元306，用于对第一转换单元305获得的灰度背景图像进行高斯平滑处理，获得平滑背景图像；
第一确定子单元3041通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置还可以包括：
将第一视频数据中每帧图像转换为灰度图像，获得灰度视频数据；
对灰度视频数据进行高斯平滑处理，获得平滑视频数据；
第一确定子单元3041对第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像包括：
对平滑视频数据中每帧图像与平滑单元306获得的平滑背景图像进行差分运算，获得差分图像。
作为一种可能的实施方式，第一确定子单元3041通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置还可以包括：
对二值差分图像进行膨胀腐蚀处理，获得处理差分图像；
第一确定子单元3041对二值差分图像进行边缘检测，获得轮廓面积包括：
对理差分图像进行边缘检测，获得轮廓面积。
作为一种可能的实施方式，第一确定子单元3041根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量可以包括：
从图像商品中选取位置高于最高位置的商品为被用户拿起的商品；
根据图像商品的种类和数量确定被用户拿起的商品的种类和数量。
作为一种可能的实施方式，采集单元301，还用于采集所有商品中每种商品不同角度和不同距离的商品图像；
该无人售货机还可以包括：
标注单元307，用于标注采集单元301采集的商品图像中每张图像中商品的位置和种类，获得标注信息；
训练单元308，用于使用采集单元301采集的商品图像和标注单元307标注的标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
作为一种可能的实施方式，该无人售货机还可以包括：
第二转换单元309，用于将采集单元301采集的训练图像转换为设定像素的图像，获得转换图像；
训练单元308，具体用于使用第二转换单元309转换得到的转换图像和标注单元307标注的标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
具体地，第一确定子单元3041，用于根据训练单元308获得的训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量；第二确定子单元3042，用于根据训练单元308获得的训练的目标物体检测模型、第二视频数据和最高位置确定被用户放下的商品的种类和数量。
作为一种可能的实施方式，第一确定子单元3041通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置可以包括：
将第一视频数据中的每帧图像转换为设定像素的图像，获得设定视频数据；
通过训练的目标物体检测模型识别设定视频数据包括的商品，获得图像商品的种类、数量和位置。
作为一种可能的实施方式，该无人售货机还可以包括：
检测单元310，用于检测是否通过包括无人售货机的标识的二维码与电子设备建立连接
打开单元311，用于当检测单元310检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。
作为一种可能的实施方式，当被用户取走的商品的数量大于0时，该无人售货机还可以包括：
计算单元312，用于根据第三确定子单元3043确定的被用户取走的商品的种类和数量计算被用户取走的商品的商品价格；
扣除单元313，用于通过电子设备扣除计算单元312计算的商品价格金额。
作为一种可能的实施方式，该无人售货机还可以包括：
发送单元314，用于向检测单元310检测到的电子设备发送包括扣除单元310扣除的商品价格金额的支付信息。
在图3所描述的无人售货机中，当检测到无人售货机的门打开时通过摄像头采集无人售货机内的视频数据，从视频数据中选取重力传感器的数值变小后第一时间段内的第一视频数据，从视频数据中选取重力传感器的数值变大前第二时间段内的第二视频数据，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量。先选取重力传感器的数值变小后的第一视频数据以及重力传感器的数值变大前的第二视频数据，之后根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，从而可以准确地确定被用户取走的商品，因此，可以提高商品识别准确性。
可以理解的是，本实施例的无人售货机的单元的功能可根据上述商品识别方法实施例中的方法具体实现，其具体实现过程可以参照上述商品识别方法实施例的相关描述，此处不再赘述。
请参阅图4，图4是本发明实施例公开的又一种无人售货机的结构示意图。如图4所示，该无人售货机可以包括至少一个处理器401、存储器402、至少一个摄像头403、收发器404和总线405，处理器401、存储器402、摄像头403和收发器404之间通过总线405连接，其中：
摄像头403，用于当检测到无人售货机的门打开时，通过摄像头采集无人售货机内的视频数据；
存储器402用于存储计算机程序，计算机程序包括程序指令，处理器401用于调用存储器402存储的程序指令执行以下步骤：
从视频数据中选取第一视频数据，第一视频数据是重力传感器的数值变小后第一时间段内的视频数据；
从视频数据中选取第二视频数据，第二视频数据是重力传感器的数值变大前第二时间段内的视频数据；
根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，最高位置是训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，背景图像是无人售货机的门打开前通过摄像头采集的无人售货机内的图像。
作为一种可能的实施方式，处理器401根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量包括：
根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量；
根据训练的目标物体检测模型、第二视频数据和最高位置确定被用户放下的商品的种类和数量；
根据被用户拿起的商品的种类和数量以及被用户放下的商品的种类和数量，确定被用户取走的商品的种类和数量。
作为一种可能的实施方式，处理器401根据训练的目标物体检测模型、第一视频数据和最高位置确定被用户拿起的商品的种类和数量包括：
通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置；
根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量。
作为一种可能的实施方式，处理器401通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置包括：
对第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像；
对差分图像进行二值化处理，获得二值差分图像；
对二值差分图像进行边缘检测，获得轮廓面积；
从第一视频数据中选取轮廓面积大于阈值对应的图像为变动帧图像；
通过训练的目标物体检测模型识别变动帧图像包括的商品，获得图像商品的种类、数量和位置。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
将背景图像转换为灰度图像，获得灰度背景图像；
对灰度背景图像进行高斯平滑处理，获得平滑背景图像；
处理器401通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置还包括：
将第一视频数据中每帧图像转换为灰度图像，获得灰度视频数据；
对灰度视频数据进行高斯平滑处理，获得平滑视频数据；
处理器401对第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像包括：
对平滑视频数据中每帧图像与平滑背景图像进行差分运算，获得差分图像。
作为一种可能的实施方式，处理器401通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置还包括：
对二值差分图像进行膨胀腐蚀处理，获得处理差分图像；
处理器401对二值差分图像进行边缘检测，获得轮廓面积包括：
对处理差分图像进行边缘检测，获得轮廓面积。
作为一种可能的实施方式，处理器401根据图像商品的种类、数量和位置以及最高位置确定被用户拿起的商品的种类和数量包括：
从图像商品中选取位置高于最高位置的商品为被用户拿起的商品；
根据图像商品的种类和数量确定被用户拿起的商品的种类和数量。
作为一种可能的实施方式，摄像头403，还用于采集所有商品中每种商品不同角度和不同距离的商品图像；
处理器401还用于调用存储器402存储的程序指令执行以下步骤：
标注商品图像中每张图像中商品的位置和种类，获得标注信息；
使用商品图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
将商品图像转换为设定像素的图像，获得转换图像；
处理器401使用商品图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型包括：
使用转换图像和标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
作为一种可能的实施方式，处理器401通过训练的目标物体检测模型识别第一视频数据包括的商品，获得图像商品的种类、数量和位置包括：
将第一视频数据中的每帧图像转换为设定像素的图像，获得设定视频数据；
通过训练的目标物体检测模型识别设定视频数据包括的商品，获得图像商品的种类、数量和位置。
作为一种可能的实施方式，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
当检测到通过包括无人售货机的标识的二维码与电子设备建立连接时，打开无人售货机的门锁。
作为一种可能的实施方式，当被用户取走的商品的数量大于0时，处理器401还用于调用存储器402存储的程序指令执行以下步骤：
根据被用户取走的商品的种类和数量计算被用户取走的商品的商品价格；
通过电子设备扣除商品价格金额。
作为一种可能的实施方式，收发器404，用于向电子设备发送包括商品价格金额的支付信息。
在图4所描述的无人售货机中，当检测到无人售货机的门打开时通过摄像头采集无人售货机内的视频数据，从视频数据中选取重力传感器的数值变小后第一时间段内的第一视频数据，从视频数据中选取重力传感器的数值变大前第二时间段内的第二视频数据，根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量。先选取重力传感器的数值变小后的第一视频数据以及重力传感器的数值变大前的第二视频数据，之后根据训练的目标物体检测模型、第一视频数据、第二视频数据和最高位置确定被用户取走的商品的种类和数量，从而可以准确地确定被用户取走的商品，因此，可以提高商品识别准确性。
在一个实施例中提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时使处理器执行图1或图2的商品识别方法。
在一个实施例中提供了一种应用程序，该应用程序用于在运行时执行图1或图2的商品识别方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的商品识别方法、无人售货机及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种商品识别方法，其特征在于，所述方法应用于无人售货机，包括：
当检测到所述无人售货机的门打开时，通过摄像头采集所述无人售货机内的视频数据，所述视频数据为所述无人售货机的门从打开到关闭之间采集的视频数据；
从所述视频数据中选取第一视频数据，所述第一视频数据是重力传感器的数值变小后第一时间段内的视频数据；
从所述视频数据中选取第二视频数据，所述第二视频数据是所述重力传感器的数值变大前第二时间段内的视频数据；
对所述第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像；
对所述差分图像进行二值化处理，获得二值差分图像；
对所述二值差分图像进行边缘检测，获得轮廓面积；
从所述第一视频数据中选取所述轮廓面积大于阈值对应的图像为变动帧图像；
通过训练的目标物体检测模型识别所述变动帧图像包括的商品，获得第一图像商品的种类、数量和位置；
从所述第一图像商品中选取位置高于最高位置的商品为被用户拿起的商品，所述最高位置是所述训练的目标物体检测模型识别的背景图像中商品的位置中的最高位置，所述背景图像是所述无人售货机的门打开前通过所述摄像头采集的所述无人售货机内的图像；
根据所述第一图像商品的种类和数量确定所述被用户拿起的商品的种类和数量；
通过所述训练的目标物体检测模型识别所述第二视频数据包括的商品，获得第二图像商品的种类、数量和位置；
从所述第二图像商品中选取位置高于所述最高位置的商品为被用户放下的商品；
根据所述第二图像商品的种类和数量确定所述被用户放下的商品的种类和数量；
根据所述被用户拿起的商品的种类和数量以及所述被用户放下的商品的种类和数量，确定被用户取走的商品的种类和数量。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述背景图像转换为灰度图像，获得灰度背景图像；
对所述灰度背景图像进行高斯平滑处理，获得平滑背景图像；
所述通过训练的目标物体检测模型识别所述第一视频数据包括的商品，获得第一图像商品的种类、数量和位置还包括：
将所述第一视频数据中每帧图像转换为灰度图像，获得灰度视频数据；
对所述灰度视频数据进行高斯平滑处理，获得平滑视频数据；
所述对所述第一视频数据中每帧图像与背景图像进行差分运算，获得差分图像包括：
对所述平滑视频数据中每帧图像与所述平滑背景图像进行差分运算，获得差分图像。
3.根据权利要求2所述的方法，其特征在于，所述通过训练的目标物体检测模型识别所述第一视频数据包括的商品，获得第一图像商品的种类、数量和位置还包括：
对所述二值差分图像进行膨胀腐蚀处理，获得处理差分图像；
所述对所述二值差分图像进行边缘检测，获得轮廓面积包括：
对所述处理差分图像进行边缘检测，获得轮廓面积。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
采集所有商品中每种商品不同角度和不同距离的商品图像；
标注所述商品图像中每张图像中商品的位置和种类，获得标注信息；
使用所述商品图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述商品图像转换为设定像素的图像，获得转换图像；
所述使用所述商品图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型包括：
使用所述转换图像和所述标注信息训练目标物体检测模型，获得训练的目标物体检测模型。
6.根据权利要求5所述的方法，其特征在于，所述通过训练的目标物体检测模型识别所述第一视频数据包括的商品，获得一图像商品的种类、数量和位置包括：
将所述第一视频数据中的每帧图像转换为所述设定像素的图像，获得设定视频数据；
通过训练的目标物体检测模型识别所述设定视频数据包括的商品，获得第一图像商品的种类、数量和位置。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
当检测到通过包括所述无人售货机的标识的二维码与电子设备建立连接时，打开所述无人售货机的门锁。
8.根据权利要求7所述的方法，其特征在于，当所述被用户取走的商品的数量大于0时，所述方法还包括：
根据所述被用户取走的商品的种类和数量计算所述被用户取走的商品的商品价格；
通过所述电子设备扣除所述商品价格金额。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
向所述电子设备发送包括所述商品价格金额的支付信息。
10.一种无人售货机，其特征在于，包括用于执行如权利要求1-9任一项权利要求所述的商品识别方法的单元。
11.一种无人售货机，其特征在于，包括处理器、存储器、摄像头和收发器，所述处理器、所述存储器、所述摄像头和所述收发器相互连接，其中，所述摄像头用于采集视频数据，所述收发器用于与电子设备进行通信，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于调用所述程序指令执行如权利要求1-9任一项所述的商品识别方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的商品识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810697339.XA CN108985359B (zh) | 2018-06-29 | 2018-06-29 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810697339.XA CN108985359B (zh) | 2018-06-29 | 2018-06-29 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108985359A CN108985359A (zh) | 2018-12-11 |
| CN108985359B true CN108985359B (zh) | 2021-07-13 |
Family
ID=64539562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810697339.XA Active CN108985359B (zh) | 2018-06-29 | 2018-06-29 | 一种商品识别方法、无人售货机及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108985359B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741520A (zh) * | 2018-12-14 | 2019-05-10 | 顺丰科技有限公司 | 一种无人售货机管理方法、装置及设备、存储介质 |
| CN110020848A (zh) * | 2018-12-14 | 2019-07-16 | 拉扎斯网络科技（上海）有限公司 | 一种无人售卖的方法、智能货架及存储介质 |
| CN109711337B (zh) * | 2018-12-26 | 2021-08-31 | 浪潮金融信息技术有限公司 | 一种利用背景匹配实现物体有无检测的方法 |
| CN111415461B (zh) * | 2019-01-08 | 2021-09-28 | 虹软科技股份有限公司 | 物品识别方法及系统、电子设备 |
| CN109840502B (zh) * | 2019-01-31 | 2021-06-15 | 深兰科技（上海）有限公司 | 一种基于ssd模型进行目标检测的方法及设备 |
| CN109840503B (zh) * | 2019-01-31 | 2021-02-26 | 深兰科技（上海）有限公司 | 一种确定种类信息的方法及装置 |
| CN109886169B (zh) * | 2019-02-01 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 应用于无人货柜的物品识别方法、装置、设备及存储介质 |
| JP7287015B2 (ja) * | 2019-03-14 | 2023-06-06 | 富士電機株式会社 | 商品管理システム及び商品管理方法 |
| CN109948515B (zh) * | 2019-03-15 | 2022-04-15 | 百度在线网络技术（北京）有限公司 | 物体的类别识别方法和装置 |
| CN109979130A (zh) * | 2019-03-29 | 2019-07-05 | 厦门益东智能科技有限公司 | 一种商品自动识别和结算售货柜、方法以及系统 |
| CN110782200A (zh) * | 2019-09-10 | 2020-02-11 | 成都亿盟恒信科技有限公司 | 一种物流车的智能管理系统及方法 |
| CN111402334B (zh) * | 2020-03-16 | 2024-04-02 | 达闼机器人股份有限公司 | 数据生成方法、装置及计算机可读存储介质 |
| CN111626201B (zh) * | 2020-05-26 | 2023-04-28 | 创新奇智(西安)科技有限公司 | 商品检测方法、装置及可读存储介质 |
| CN111815852A (zh) * | 2020-07-07 | 2020-10-23 | 武汉马克到家科技有限公司 | 一种用于开门自取式售货柜的图像和重力双模自动商品识别系统 |
| CN112508109B (zh) * | 2020-12-10 | 2023-05-19 | 锐捷网络股份有限公司 | 一种图像识别模型的训练方法及装置 |
| CN112802049B (zh) * | 2021-03-04 | 2022-10-11 | 山东大学 | 一种家庭物品检测数据集构建方法及系统 |
| CN112950329A (zh) * | 2021-03-26 | 2021-06-11 | 苏宁易购集团股份有限公司 | 商品动态信息生成方法、装置、设备及计算机可读介质 |
| CN113128464B (zh) * | 2021-05-07 | 2022-07-19 | 支付宝(杭州)信息技术有限公司 | 图像识别方法和系统 |
| CN113538784B (zh) * | 2021-06-23 | 2024-01-05 | 支付宝(杭州)信息技术有限公司 | 智能货柜以及物品识别方法 |
| CN113723383B (zh) * | 2021-11-03 | 2022-06-28 | 武汉星巡智能科技有限公司 | 异视角同步识别同区域商品的订单生成方法及智能售货机 |
| CN114782134A (zh) * | 2021-11-09 | 2022-07-22 | 深圳友朋智能商业科技有限公司 | 基于多层次商品检测的订单生成方法、装置及智能售货机 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002089078A1 (en) * | 2001-04-27 | 2002-11-07 | Tomra Systems Oy | Reverse vending machine for returnable packaging, and method for returning packaging, such as bottles and cans |
| CN106204573A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 一种智能冰箱的食品管理方法及系统 |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN106971457A (zh) * | 2017-03-07 | 2017-07-21 | 深圳市楼通宝实业有限公司 | 自助售卖方法及系统 |
| CN206757798U (zh) * | 2017-01-24 | 2017-12-15 | 广州市蚁道互联网有限公司 | 自动售货机 |
| CN108154601A (zh) * | 2018-01-09 | 2018-06-12 | 合肥美的智能科技有限公司 | 自动售货机及其控制方法 |
| CN108171172A (zh) * | 2017-12-27 | 2018-06-15 | 惠州Tcl家电集团有限公司 | 自助购物方法、自助售卖机及计算机可读存储介质 |
| CN108182417A (zh) * | 2017-12-29 | 2018-06-19 | 广东安居宝数码科技股份有限公司 | 出货检测方法、装置、计算机设备及自动售货机 |
| CN108198331A (zh) * | 2018-01-08 | 2018-06-22 | 深圳正品创想科技有限公司 | 一种取货检测方法、装置及无人售货柜 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101261721A (zh) * | 2007-03-09 | 2008-09-10 | 海尔集团公司 | 物品存放和支取的统计和管理方法及其设备 |
| CN106339917A (zh) * | 2016-08-18 | 2017-01-18 | 无锡天脉聚源传媒科技有限公司 | 一种商品模型训练方法及装置 |
| US20180121868A1 (en) * | 2016-11-02 | 2018-05-03 | Vocollect, Inc. | Planogram compliance |
| CN107833361B (zh) * | 2017-09-28 | 2020-03-31 | 中南大学 | 一种基于图像识别的自动售货机掉货检测的方法 |
| CN108052949B (zh) * | 2017-12-08 | 2021-08-27 | 广东美的智能机器人有限公司 | 物品类别统计方法、系统、计算机设备和可读存储介质 |
| CN108182757A (zh) * | 2018-01-22 | 2018-06-19 | 合肥美的智能科技有限公司 | 无人售货机及其控制方法 |
| CN108198052A (zh) * | 2018-03-02 | 2018-06-22 | 北京京东尚科信息技术有限公司 | 用户选购商品识别方法、装置以及智能货架系统 |
-
2018
- 2018-06-29 CN CN201810697339.XA patent/CN108985359B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002089078A1 (en) * | 2001-04-27 | 2002-11-07 | Tomra Systems Oy | Reverse vending machine for returnable packaging, and method for returning packaging, such as bottles and cans |
| CN106204573A (zh) * | 2016-07-07 | 2016-12-07 | Tcl集团股份有限公司 | 一种智能冰箱的食品管理方法及系统 |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN206757798U (zh) * | 2017-01-24 | 2017-12-15 | 广州市蚁道互联网有限公司 | 自动售货机 |
| CN106971457A (zh) * | 2017-03-07 | 2017-07-21 | 深圳市楼通宝实业有限公司 | 自助售卖方法及系统 |
| CN108171172A (zh) * | 2017-12-27 | 2018-06-15 | 惠州Tcl家电集团有限公司 | 自助购物方法、自助售卖机及计算机可读存储介质 |
| CN108182417A (zh) * | 2017-12-29 | 2018-06-19 | 广东安居宝数码科技股份有限公司 | 出货检测方法、装置、计算机设备及自动售货机 |
| CN108198331A (zh) * | 2018-01-08 | 2018-06-22 | 深圳正品创想科技有限公司 | 一种取货检测方法、装置及无人售货柜 |
| CN108154601A (zh) * | 2018-01-09 | 2018-06-12 | 合肥美的智能科技有限公司 | 自动售货机及其控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108985359A (zh) | 2018-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985359B (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| CN109003390B (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| CN108335408B (zh) | 用于自动售货机的物品识别方法、装置、系统及存储介质 | |
| CN111415461B (zh) | 物品识别方法及系统、电子设备 | |
| CN111626201B (zh) | 商品检测方法、装置及可读存储介质 | |
| CN108922026B (zh) | 一种自动售货机的补货管理方法、装置和用户终端 | |
| EP3899508A1 (en) | Automated inspection system and associated method for assessing the condition of shipping containers | |
| US9361702B2 (en) | Image detection method and device | |
| CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
| CN109961101A (zh) | 货架状态确定方法及装置、电子设备、存储介质 | |
| CN111340126A (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
| CN108961547A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| CN109035579A (zh) | 一种商品识别方法、无人售货机及计算机可读存储介质 | |
| Xiang et al. | Moving object detection and shadow removing under changing illumination condition | |
| CN111723777A (zh) | 商品取放过程判别方法、装置、智能货柜和可读存储介质 | |
| WO2023221770A1 (zh) | 一种动态目标分析方法、装置、设备及存储介质 | |
| CN114743307A (zh) | 智能货柜的商品识别方法、装置、电子设备及存储介质 | |
| CN114255377A (zh) | 一种智能货柜的差异商品检测分类方法 | |
| CN112184751A (zh) | 物体识别方法及系统、电子设备 | |
| CN114332602A (zh) | 一种智能货柜的商品识别方法 | |
| CN112232334A (zh) | 一种智能售货商品识别检测方法 | |
| CN116452636A (zh) | 一种基于目标跟踪的无人售货柜动态商品识别方法及相关装置 | |
| Achakir et al. | An automated AI-based solution for out-of-stock detection in retail environments | |
| Merrad et al. | A Real-time Mobile Notification System for Inventory Stock out Detection using SIFT and RANSAC. | |
| CN110443946A (zh) | 售货机、物品种类的识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10 Patentee after: Shenzhen Hetai intelligent home appliance controller Co.,Ltd. Address before: 518000 Guangdong science and technology innovation and Research Institute, Shenzhen, Shenzhen, Nanshan District No. 6, science and technology innovation and Research Institute, Shenzhen, D 10, 1004, 10 Patentee before: SHENZHEN H&T DATA RESOURCES AND CLOUD TECHNOLOGY Ltd. |
|
| CP01 | Change in the name or title of a patent holder |