CN110443946B - 售货机、物品种类的识别方法和装置 - Google Patents

售货机、物品种类的识别方法和装置 Download PDF

Info

Publication number
CN110443946B
CN110443946B CN201810411845.8A CN201810411845A CN110443946B CN 110443946 B CN110443946 B CN 110443946B CN 201810411845 A CN201810411845 A CN 201810411845A CN 110443946 B CN110443946 B CN 110443946B
Authority
CN
China
Prior art keywords
item
article
image
unidentified
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810411845.8A
Other languages
English (en)
Other versions
CN110443946A (zh
Inventor
徐卓然
刘旭
林金表
危磊
李耀波
白宇
万保成
蒋士淼
刘伟峰
黄建璁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810411845.8A priority Critical patent/CN110443946B/zh
Publication of CN110443946A publication Critical patent/CN110443946A/zh
Application granted granted Critical
Publication of CN110443946B publication Critical patent/CN110443946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本公开涉及一种售货机、物品种类的识别方法和装置，涉及目标识别技术领域。该售货机包括：重量传感器，被配置为感测物品的重量；处理器，被配置为：获取物品的图像；识别物品的图像中物品的种类；判断物品的重量和物品的种类是否匹配；根据判断结果确定是否对物品进行结算。该技术方案能够降低售货机的成本，增强交易的可靠性。

Description

售货机、物品种类的识别方法和装置
技术领域
本公开涉及目标识别技术领域，特别涉及一种售货机、物品种类的识别方法、物品种类的识别装置和计算机可读存储介质。
背景技术
自选式售货机是一种自动化的生活常用设备。用户通过自选式售货机，能够不受时间、地点的限制进行交易，从而节省人力成本、提升用户体验。
在相关技术中，自选式售货机的商品识别方法主要是利用RFID(Radio FrequencyIdentification，射频识别)技术，需要预先为每件商品贴上RFID标签，再通过RFID读写器识别商品。
发明内容
本公开的发明人发现上述相关技术中存在如下问题：所有商品都需要粘贴RFID标签，不但提高了商品成本，还增加了补货的人力成本；而且，RFID读写器很难判断商品是在自选式售货机之内还是之外，从而导致交易的可靠性低。鉴于此，本公开提出了一种低成本的售货机技术方案，能够提高交易的可靠性。
根据本公开的一些实施例，提供了一种售货机，包括：重量传感器，被配置为感测物品的重量；和处理器，被配置为：获取所述物品的图像，识别所述物品的图像中所述物品的种类，判断所述物品的重量和所述物品的种类是否匹配，和根据判断结果确定是否对所述物品进行结算。
可选地，所述处理器确定是否对上述物品进行结算包括：在匹配的情况下，将所述种类确定为所述物品的识别结果，并根据所述识别结果对所述物品进行结算；在不匹配的情况下，根据重新获取的所述物品的图像重新识别所述物品的种类。
可选地，售货机还包括：设置在所述售货机的柜门上的关门传感器，用于感测所述柜门是否关闭，其中，在所述关门传感器感应到所述柜门先被打开再被关闭的情况下，所述处理器根据所述物品的识别结果对所述物品进行结算。
可选地，售货机还包括：图像传感器，用于感测所述物品的图像。
可选地，所述图像传感器感测监控图像；所述处理器在所述监控图像中确定所述物品的位置，并根据所述物品的位置在所述监控图像中截取所述物品的图像。
可选地，所述重量传感器安装于所述售货机的货架上，通过感测所述货架承担的重量变化感测所述物品的重量。
可选地，所述处理器在所述重量传感器感测到所述货架承担的重量发生变化的情况下，将所述物品确定为未识别物品；所述处理器在识别了所述物品的种类后，将所述未识别物品修改为已识别物品。
可选地，在存在未识别物品的情况下，或在没有对前一帧或前多帧监控图像进行目标检测的情况下，对当前帧监控图像进行目标检测以确定所述当前帧监控图像中的物品的位置。
可选地，所述处理器还被配置为：判断相邻两帧监控图像中物品的位置变化是否小于第一阈值；在小于的情况下，将后一帧监控图像中的物品确定为已识别物品；在大于等于的情况下，判断是否存在未识别物品；在存在的情况下，将所述后一帧监控图像中的物品确定为所述未识别物品；在不存在的情况下，将所述后一帧监控图像中的物品确定为曾经移出监控范围的已识别物品。
可选地，所述处理器识别物品的种类包括：通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述物品属于各种类的置信度；将置信度大于第二阈值的种类作为所述物品的种类。
可选地，所述卷积神经网络的各卷积层之间设置有池化层，仅在最后一个卷积层之后设置有批标准化层。
根据本公开的另一些实施例，提供一种物品种类的识别方法，包括：获取物品的重量和所述物品的图像；识别所述物品的图像中的所述物品的种类；判断所述物品的重量和所述物品的种类是否匹配；根据判断结果确定是否将所述种类作为所述物品的识别结果。
可选地，在匹配的情况下，将所述种类确定为所述物品的识别结果；在不匹配的情况下，重新获取所述物品的图像以重新识别所述物品的种类。
可选地，获取监控图像；在所述监控图像中确定所述物品的位置；根据所述物品的位置在所述监控图像中截取所述物品的图像。
可选地，通过感测货架承担的重量变化感测所述物品的重量。
可选地，在所述货架承担的重量发生变化的情况下，将所述物品确定为未识别物品；在识别了所述物品的种类后，将所述未识别物品修改为已识别物品。
可选地，在存在未识别物品的情况下，或在没有对前一帧或前多帧监控图像进行目标检测的情况下，对当前帧监控图像进行目标检测以确定所述当前帧监控图像中的物品的位置。
可选地，判断相邻两帧监控图像中物品的位置变化是否小于第一阈值；在小于的情况下，将后一帧监控图像中的物品确定为所述已识别物品；在大于等于的情况下，判断是否存在未识别物品；在存在的情况下，将所述后一帧监控图像中的物品确定为所述未识别物品；在不存在的情况下，将所述后一帧监控图像中的物品确定为曾经移出监控范围的已识别物品。
可选地，通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述物品属于各种类的置信度；将置信度大于第二阈值的种类作为所述物品的种类。
可选地，所述卷积神经网络的各卷基层之间设置有池化层，仅在最后一个卷积层之后设置有批标准化层。
根据本公开的又一些实施例，提供一种物品种类的识别装置，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的识别方法中的一个或多个步骤。
根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的识别方法中的一个或多个步骤。
在上述实施例中，利用重量感应和图像识别技术确定用户选择物品的种类，能够充分利用两种技术的优势自动验证物品的识别结果。这样可以在不预先处理物品的情况下，准确地识别物品以自动完成交易，从而降低了售货机的成本，增强了交易的可靠性。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1示出本公开的物品种类的识别方法的一些实施例的流程图；
图2示出本公开的物品种类的识别方法的另一些实施例的流程图；
图3示出图2中的步骤130的一些实施例的流程图；
图4示出本公开的物品种类的识别方法的又一些实施例的流程图；
图5示出本公开的售货机的一些实施例的框图；
图6示出本公开的售货机的另一些实施例的框图；
图7示出本公开的物品种类的识别装置的一些实施例的框图；
图8示出本公开的物品种类的识别装置的另一些实施例的框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
如前所述，针对相关技术存在的技术问题，本公开的发明人认识到想要降低售货机的成本并实现可靠的交易，就要能够感应出用户是否取走了售货机中的物品，并能够准确地识别出该物品的种类。
基于这样的认识，本公开利用重量感应技术和图像识别技术开发新的物品种类识别技术方案，并将该技术方案应用到售货机中。该技术方案可以通过下面的实施例来实现。
图1示出本公开的物品种类的识别方法的一些实施例的流程图。
如图1所示，该方法包括：步骤120，获取物品的重量；步骤130，截取物品的图像；步骤140，识别物品的种类；步骤150，判断重量和种类是否匹配；步骤160，确定识别结果。
在步骤120中，获取物品的重量。例如，可以通过重量传感器监控货架承担的重量，并根据货架承担重量的变化值确定用户取走的物品的重量。
在步骤130中，获取物品图像。
在步骤140中，识别物品图像中的物品的种类。例如，可以通过卷积神经网络识别物品的种类。
在步骤150中，判断物品的重量和物品的种类是否匹配。例如，可以与数据库中存储的各类物品的重量记录进行比较，以判断获取的物品的重量和物品的种类是否匹配。
在步骤160中，根据判断结果确定是否将之前识别的种类作为该物品的识别结果。
图2示出本公开的物品种类的识别方法的另一些实施例的流程图。
如图2所示，该方法包括：步骤110，获取监控图像；步骤120，获取物品的重量；步骤130，获取物品图像；步骤140，识别物品的种类；步骤150，判断重量和种类是否匹配；步骤160，确定识别结果。
在步骤110中，获取监控图像。例如，可以通过图像传感器(如摄像头等)拍摄售货机附近的实时画面，从而拍摄到包含用户取走的物品的监控图像。
在步骤120中，获取物品的重量。
在一些实施例中，在步骤110之前可以通过智能手机等智能移动终端对用户进行信息识别。完成识别后可以解锁售货机的柜门，用户可以打开柜门直接拿去想要购买的物品。完成用户识别后可以初始化该用户的待结算集合(如购物车等)中的内容为空，可以在售货机的屏幕上或手机上显示购物车中的内容。售货机的处理器可以启动两个线程，分别处理重量数据和图像数据，两个线程可以通过购物车交换数据。
在一些实施例中，通过重量传感器发现货架承担的重量发生变化，则可以确定用户拿取了售货机中的物品。这时可以提示用户向图像传感器展示此物品，例如，可以划定一个区域让用户在此区域内展示物品以便获取包含该物品的监控图像。
在步骤130中，从监控图像中截取物品图像。例如，可以通过图2中的步骤截取物品图像。
图3示出图2中的步骤130的一些实施例的流程图。
如图3所示，该方法包括：步骤1301，确定物品的位置；和步骤1302，截取物品图像。
在步骤1301中，在监控图像中确定物品的位置。
在一些实施例中，可以利用目标跟踪方法在连续多帧监控图像中对物品进行连续的跟踪，从而可以获取各帧监控图像中物品的位置。也可以目标检测方法对选取的监控图像中的物品进行监测，如每隔3帧选取1帧监控图像进行目标检测，从而获取选取帧监控图像中的物品的位置。这样可以提高物品识别的效率。
在步骤1302中，根据物品的位置，在监控图像中截取物品图像。在一些实施例中，也可以通过绑定盒技术(Bounding Box)区分监控图像中的物品和背景，根据绑定盒的覆盖范围在监控图像中截取物品图像。
例如，可以设定多个不同大小的绑定盒对监控图像进行划分，并通过特征提取网络对划分后的图像进行特征提取。从特征提取网络中选取包含最后一层的一个或多个层，对各层输出的图像进行卷积操作以区分图像中的各像素属于物品还是背景。最后可以根据各像素判断其所在的绑定盒中的区域属于物品还是背景，并以此为依据截取物品的图像。截取了物品的图像，就可以通过图2中的步骤140-160确定物品的识别结果以完成交易。
在步骤140中，识别物品图像中的物品的种类。
在一些实施例中，可以通过Softmax函数建立卷积神经网络的全连接层，通过卷积神经网络计算所述物品属于各种类的置信度，将置信度大于第二阈值的种类作为物品的种类。例如，可以对多帧物品图像中的同一物品进行识别，将被确定次数最多的种类作为该物品的种类。
在一些实施例中，可以先收集包含各种物品的图片，例如对每种物品均收集5000张以上的图片。标注每一张图片中的物品所在区域的位置，例如，可以采用左上和右下的坐标进行标注，并标注物品的种类。将这些标注后的图片作为训练样本对卷积神经网络的检测模型进行训练。检测模型例如可以是SSD(Single Shot MultiBox Detector，单次检测器)、Faster R-CNN(Faster Regions with Convolutional Neural Network，快速区域卷积神经网络)等。
在一些实施例中，可以在卷积神经网络的各卷基层之间设置池化层，例如可以是max pooling(最大值池化)层，这样可以有效地降低图片的采样率，从而提高识别效率。
在一些实施例中，可以不使用dropout丢弃神经网络单元，也不逐层使用batchnormalization(批标准化)层，而是仅在最后一个卷积层之后设置批标准化层。这样，可以加快识别的收敛速度并避免梯度消失，从而提高识别效率和准确性。
在上述实施例中，不同于相关技术建立一个模型来同时实现目标检测和目标识别功能，本公开分别建立目标检测模型和目标识别模型。这样，在确定了售货机内物品的种类时，可以训练一个检测模型用于检测这些种类的物品。只要种类不变，这个训练好的检测模型就不需要更新。由于检测模型对物品图片的训练速度较快，因此可以在物品种类更新后快速地完成训练，从而降低模型的开发成本和时间成本。
也可以训练一个模型用于比较两张图片是否是一个物品，每次更新物品种类后只需提供若干张该种类物品的图片即可完成识别。这样不必重新训练识别模型，从而降低模型的开发成本和时间成本。
在步骤150中，判断物品的重量和物品的种类是否匹配。如果匹配，则执行步骤160；如果不匹配，则返回执行110，例如提示用户重新展示拿取的物品，重新获取监控图像以重新识别物品的种类。
在步骤160中，将识别的种类确定为物品的识别结果。例如，可以提示用户识别结束，可以进行结算，在用户关上柜门后，自动根据物品的类别进行结算。
在一些实施例中，重量数据线程发现货架承担的重量增加时，可以确定用户放回了物品。图像数据线程可以请求放回的物品，并效验增加的重量是否与之前减少的重量匹配。如果匹配，可以从购物车内清除此物品。如果不匹配，可以清除购物车内重量最接近的一个物品，可以允许用户修改放回的物品。
在一些实施例中，可以在跟踪或检测物品位置(步骤1301)的同时，记录物品的识别情况，以便更全面地掌握用户拿取的各物品的交易过程和行动轨迹，从而提高交易的可靠性。例如，可以将用户的购物车中的物品分为已识别物品和未识别物品，然后通过图3中的步骤区别跟踪或检测的物品是否被识别。
图4示出本公开的物品种类的识别方法的又一些实施例的流程图。
如图4所示，与图1、2和3中的实施例的基础上，该方法还包括步骤410-460。
在步骤410中，获取相邻两帧监控图像中物品的位置。例如，可以对于购物车中的已识别物品进行目标跟踪，以更新当前帧中已识别物品的位置。
在一些实施例中，如果购物车内存在未识别物品，或者没有对前一帧或前多帧监控图像进行目标检测，则对当前帧监控图像进行目标检测以确定当前帧监控图像中的物品的位置。可以根据目标检测方法的速度，确定每隔多少帧对监控图像中的物品进行目标检测。
在步骤420中，判断相邻两帧监控图像中物品的位置变化是否小于第一阈值。在小于的情况下，执行步骤430；在大于等于的情况下，执行步骤440。这样，可以根据相邻帧监控图像中物品的相对位移判断两帧图像中的物品是否为同一个，从而确定用户是否在拿取了一件物品进行识别后又拿取了另一件物品。
在步骤430中，将后一帧监控图像中的物品确定为待结算集合中的已识别物品。也就是说，两帧监控图像中物品的相对位移较小，可以确定用户没有再次拿取物品，这种情况下可以更新该物品的位置以实现对该物品的连续跟踪。
在步骤440中，判断待结算集合中是否存在未识别物品。在存在的情况下，执行步骤450；在不存在的情况下，执行步骤360。也就是说，在两帧监控图像中的物品不是同一物品的情况下，需要根据购物车中的内容进一步判断用户是否再次拿取了物品。
在步骤450中，将所述后一帧监控图像中的物品确定为未识别物品。此时购物车中的内容表明用户确实再次拿取了物品，因此可以确定当前帧监控图像中的物品为再次拿取的物品，进而可以记录该物品的位置对该物品进行跟踪。
在步骤460中，将后一帧监控图像中的物品确定为曾经移出监控范围的已识别物品。此时购物车中的内容表明用户没有再次拿取物品，则可以确定当前帧监控图像中的物品没有被前一帧或前几帧监控图像捕捉到。该物品再次移入了监控范围，被当前帧监控图像捕捉到，即该物品为曾经移出监控范围物品。该物品可以是购物车中的已识别物品，由于用户原因或图像捕捉错误等原因一段时间内没有被捕捉到。此时可以记录该物品的位置，从而实现对断续出现在监控图像中的物品进行跟踪。
通过步骤410-460可以从用户拿取物品开始，到用户放回该物品或结算该物品为止，时刻对物品的位置和识别情况进行记录。这样，可以区分物品图片中的不同物品，获取各物品的去向，从而提高识别的准确性和交易的可靠性。
在上述实施例中，利用重量感应和图像识别技术确定用户选择物品的种类，能够充分利用两种技术的优势自动验证物品的识别结果。这样可以在不预先处理物品的情况下，准确地识别物品以自动完成交易，从而降低了售货机的成本，增强了交易的可靠性。
图5示出本公开的售货机的一些实施例的框图。
如图5所示，售货机5包括图像传感器重量传感器52和处理器53。
重量传感器52用于获取物品的重量。例如，售货机5可以包括多个货架，如摆货层，每个摆货层均安装有重量传感器52以实时监测相应摆货层承担的总重量。
处理器53被配置为执行如下步骤：获取物品的图像；识别物品的图像中物品的种类；判断物品的重量和物品的种类是否匹配；根据判断结果确定是否对物品进行结算。
在一些实施例中，售货机5还可以包括图像传感器51用于获取物品的图像。图像传感器51的监控区域可以为摆货层的前方。图像传感器51也可以先获取包含物品的监控图像，然后处理器53在监控图像中确定物品的位置，根据物品的位置在监控图像中截取物品的图像。
为了使用户能够直观地选择物品，并顺利、方便地拿到物品可以根据图6设置售货机。
图6示出本公开的售货机的另一些实施例的框图。
如图6所示，与售货机5相比，售货机6还包括关门传感器64。
售货机6上设置有用户可以打开或关闭的柜门。关门传感器(如光学传感器、触觉传感器等)可以设置在售货机6的柜门上，用于感应柜门是否关闭。处理器53在柜门先被打开再被关闭的情况下，根据物品的识别结果对物品进行结算。
在一些实施例中，售货机6还可以设置有电子门锁、自动闭门装置。也还可以在售货机6上安装屏幕，用于显示用户选择物品信息。
在一些实施例中，用户通过手机或售货机6上的屏幕进行身份识别和验证，响应于用户通过验证解锁电子门锁，用户可以自行打开柜门选购物品。在处理器53完成物品识别后，用户可以关闭柜门。响应于柜门关闭，处理器可以根据物品的识别结果扣除用户账户内的金额，并更新库存管理信息以完成交易。
现有的自选式售货机大都是封闭式以防商品丢失。用户无法打开自行打开售货机拿取想要的物品，售货机只能借助机械机构将物品传送出来。这样，如果机械结构容易发生故障则用户无法使用售货机获取想要的物品。另外，用户只能通过观察窗口看到商品的样品或者商品图片，无法直观地选择。用户一旦拿到商品后则无法再更改选择，从而造成诸多不便，用户体验差。
不同于现有的封闭式售货机，通过上述实施例中的售货机，用户不但可以直观地观察想要选购的物品，方便地自己拿取物品，还能够随时更换想要选购的物品，从而提高了用户体验。
在一些实施例中，处理器53可以被配置为能够执行上述任一个实施例中的物品种类的识别方法，配合售货机上的其他装置完成交易。
在上述实施例中，利用重量感应和图像识别技术确定用户选择物品的种类，能够充分利用两种技术的优势自动验证物品的识别结果。这样可以在不预先处理物品的情况下，准确地识别物品以自动完成交易，从而降低了售货机的成本，增强了交易的可靠性。
图7示出本公开的物品种类的识别装置的一些实施例的框图。
如图7所示，该实施例的装置7包括：存储器71以及耦接至该存储器71的处理器72，处理器72被配置为基于存储在存储器71中的指令，执行本公开中任意一个实施例中的物品种类的识别方法中的一个或多个步骤。
其中，存储器71例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。
图8示出本公开的物品种类的识别装置的另一些实施例的框图。
如图8所示，在物品种类的识别装置8中，处理器820通过BUS总线830耦接至存储器810。显示装置80还可以通过存储接口860连接至外部存储装置850以便调用外部数据，还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。
在一些实施例中，通过存储器810存储数据指令，再通过处理器820处理上述指令，能够实现前述任一实施例的物品种类的识别方法。
本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
至此，已经详细描述了根据本公开的售货机、物品种类的识别方法、物品种类的识别装置和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (18)

1.一种售货机，包括：
重量传感器，被配置为感测物品的重量；和
处理器，被配置为：
获取所述物品的图像，
识别所述物品的图像中所述物品的种类，
判断所述物品的重量和所述物品的种类是否匹配，和
根据判断结果确定是否对所述物品进行结算；
所述处理器在所述重量传感器感测到货架承担的重量发生变化的情况下，将所述物品确定为未识别物品；
所述处理器在识别了所述物品的种类后，将所述未识别物品修改为已识别物品；
所述处理器还被配置为：
判断相邻两帧监控图像中物品的位置变化是否小于第一阈值；
在小于的情况下，将后一帧监控图像中的物品确定为已识别物品，确定用户没有再次拿取未识别物品；
在大于等于的情况下，判断是否存在未识别物品；
在存在的情况下，将所述后一帧监控图像中的物品确定为所述用户再次拿取的未识别物品；
在不存在的情况下，将所述后一帧监控图像中的物品确定为曾经移出监控范围的已识别物品，确定所述用户没有再次拿取未识别物品。
2.根据权利要求1所述的售货机，其中，所述处理器确定是否对上述物品进行结算包括：
在匹配的情况下，将所述种类确定为所述物品的识别结果，并根据所述识别结果对所述物品进行结算；
在不匹配的情况下，根据重新获取的所述物品的图像重新识别所述物品的种类。
3.根据权利要求1所述的售货机，还包括：
设置在所述售货机的柜门上的关门传感器，用于感测所述柜门是否关闭，
其中，在所述关门传感器感应到所述柜门先被打开再被关闭的情况下，所述处理器根据所述物品的识别结果对所述物品进行结算。
4.根据权利要求1所述的售货机，还包括：
图像传感器，用于感测所述物品的图像。
5.根据权利要求4所述的售货机，其中：
所述图像传感器感测监控图像；
所述处理器在所述监控图像中确定所述物品的位置，并根据所述物品的位置在所述监控图像中截取所述物品的图像。
6.根据权利要求5所述的售货机，其中，
所述重量传感器安装于所述售货机的货架上，通过感测所述货架承担的重量变化感测所述物品的重量。
7.根据权利要求6所述的售货机，其中，所述处理器确定所述物品的位置包括：
在存在未识别物品的情况下，或在没有对前一帧或前多帧监控图像进行目标检测的情况下，对当前帧监控图像进行目标检测以确定所述当前帧监控图像中的物品的位置。
8.根据权利要求1-7任一项所述的售货机，其中，所述处理器识别物品的种类包括：
通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述物品属于各种类的置信度；
将置信度大于第二阈值的种类作为所述物品的种类。
9.根据权利要求8所述的售货机，其中，
所述卷积神经网络的各卷积层之间设置有池化层，仅在最后一个卷积层之后设置有批标准化层。
10.一种物品种类的识别方法，包括：
获取物品的重量和所述物品的图像；
识别所述物品的图像中的所述物品的种类；
判断所述物品的重量和所述物品的种类是否匹配；
根据判断结果确定是否将所述种类作为所述物品的识别结果；
在货架承担的重量发生变化的情况下，将所述物品确定为未识别物品；
在识别了所述物品的种类后，将所述未识别物品修改为已识别物品；
判断相邻两帧监控图像中物品的位置变化是否小于第一阈值；
在小于的情况下，将后一帧监控图像中的物品确定为所述已识别物品，确定用户没有再次拿取未识别物品；
在大于等于的情况下，判断是否存在未识别物品；
在存在的情况下，将所述后一帧监控图像中的物品确定为所述用户再次拿取的未识别物品；
在不存在的情况下，将所述后一帧监控图像中的物品确定为曾经移出监控范围的已识别物品，确定所述用户没有再次拿取未识别物品。
11.根据权利要求10所述的识别方法，其中，确定所述识别结果包括：
在匹配的情况下，将所述种类确定为所述物品的识别结果；
在不匹配的情况下，重新获取所述物品的图像以重新识别所述物品的种类。
12.根据权利要求10所述的识别方法，其中，获取所述物品的图像包括：
获取监控图像；
在所述监控图像中确定所述物品的位置；
根据所述物品的位置在所述监控图像中截取所述物品的图像。
13.根据权利要求12所述的识别方法，其中，获取物品的重量包括：
通过感测货架承担的重量变化感测所述物品的重量。
14.根据权利要求13所述的识别方法，其中，所述确定所述物品的位置包括：
在存在未识别物品的情况下，或在没有对前一帧或前多帧监控图像进行目标检测的情况下，对当前帧监控图像进行目标检测以确定所述当前帧监控图像中的物品的位置。
15.根据权利要求10-14任一项所述的识别方法，其中，所述识别物品的种类包括：
通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述物品属于各种类的置信度；
将置信度大于第二阈值的种类作为所述物品的种类。
16.根据权利要求15所述的识别方法，其中，
所述卷积神经网络的各卷基层之间设置有池化层，仅在最后一个卷积层之后设置有批标准化层。
17.一种物品种类的识别装置，包括：
存储器；和
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行权利要求10-16任一项所述的识别方法中的一个或多个步骤。
18.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求10-16任一项所述的识别方法中的一个或多个步骤。
CN201810411845.8A 2018-05-03 2018-05-03 售货机、物品种类的识别方法和装置 Active CN110443946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810411845.8A CN110443946B (zh) 2018-05-03 2018-05-03 售货机、物品种类的识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810411845.8A CN110443946B (zh) 2018-05-03 2018-05-03 售货机、物品种类的识别方法和装置

Publications (2)

Publication Number Publication Date
CN110443946A CN110443946A (zh) 2019-11-12
CN110443946B true CN110443946B (zh) 2022-09-30

Family

ID=68427019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810411845.8A Active CN110443946B (zh) 2018-05-03 2018-05-03 售货机、物品种类的识别方法和装置

Country Status (1)

Country Link
CN (1) CN110443946B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113066225A (zh) * 2019-12-30 2021-07-02 深圳Tcl新技术有限公司 一种基于共享冰箱的购物方法及共享冰箱
WO2022206043A1 (zh) * 2021-03-31 2022-10-06 海信集团控股股份有限公司 智能冰箱、存取动作识别方法、设备及介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003072923A (ja) * 2001-09-06 2003-03-12 Yodo Casting:Kk クレーンによる物品の入出庫管理方法
CN105245828A (zh) * 2015-09-02 2016-01-13 北京旷视科技有限公司 物品分析方法和设备
CN106952402B (zh) * 2017-03-22 2019-09-06 帮团成都电子商务有限责任公司 一种数据处理方法及装置

Also Published As

Publication number Publication date
CN110443946A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN111626681B (zh) 一种用于库存管理的图像识别系统
JP7229580B2 (ja) 無人販売システム
CN206757798U (zh) 自动售货机
CN106781014B (zh) 自动售货机及其运行方法
EP3910608B1 (en) Article identification method and system, and electronic device
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
JP7248689B2 (ja) 自動販売方法および装置、ならびにコンピュータ可読記憶媒体
US20220198550A1 (en) System and methods for customer action verification in a shopping cart and point of sales
WO2018137136A1 (zh) 自动售货机及其运行方法
TWI578272B (zh) Shelf detection system and method
CN108140209A (zh) 信息处理装置、信息处理方法和其中存储有程序的记录介质
CN108140282A (zh) 信息处理装置、信息处理方法和存储程序的记录介质
EP4075399A1 (en) Information processing system
JP7264401B2 (ja) 会計方法、装置及びシステム
CN111680654B (zh) 一种基于物品取放事件的人员信息获取方法、装置及设备
CN110443946B (zh) 售货机、物品种类的识别方法和装置
CN111222870A (zh) 结算方法、装置和系统
CN111260685B (zh) 视频处理方法、装置及电子设备
CN109243049A (zh) 一种售货柜的商品存取识别系统及方法
CN116452636A (zh) 一种基于目标跟踪的无人售货柜动态商品识别方法及相关装置
CN116188538A (zh) 一种多摄像头的行为轨迹跟踪方法
Achakir et al. An automated AI-based solution for out-of-stock detection in retail environments
KR102346166B1 (ko) 매대 감지 및 무인결제 서비스 제공 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant