CN108335408B - 用于自动售货机的物品识别方法、装置、系统及存储介质 - Google Patents

用于自动售货机的物品识别方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN108335408B
CN108335408B CN201810175167.XA CN201810175167A CN108335408B CN 108335408 B CN108335408 B CN 108335408B CN 201810175167 A CN201810175167 A CN 201810175167A CN 108335408 B CN108335408 B CN 108335408B
Authority
CN
China
Prior art keywords
article
container
user
item
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810175167.XA
Other languages
English (en)
Other versions
CN108335408A (zh
Inventor
张爱喜
冯亦军
殷向阳
谭志羽
王永杰
张屹峰
陈建业
刘巍
陈宇
翁志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810175167.XA priority Critical patent/CN108335408B/zh
Publication of CN108335408A publication Critical patent/CN108335408A/zh
Priority to PCT/CN2019/075092 priority patent/WO2019165894A1/zh
Application granted granted Critical
Publication of CN108335408B publication Critical patent/CN108335408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/002—Vending machines being part of a centrally controlled network of vending machines
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing

Abstract

本发明公开了一种用于自动售货机的物品识别方法、装置、系统及存储介质，涉及数据处理领域。物品识别方法包括：对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品；根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品；根据用户取放的物品对待结算物品的集合进行更新。本发明的实施例可以将重力感应和图像识别进行结合以判定用户取放的物品，从而提高了物品识别的准确率。并且，用户可以进行取货、放货、同时取货和放货，从而增加了用户使用的灵活性，提升了用户体验。

Description

用于自动售货机的物品识别方法、装置、系统及存储介质
技术领域
本发明涉及数据处理领域，特别涉及一种用于自动售货机的物品识别方法、装置、系统及存储介质。
背景技术
在相关技术中，自动售货机的商品识别方案主要为基于RFID(Radio FrequencyIdentification，无线射频)技术的识别方案。在这种方案中，需要为每个商品配备一个RFID标签。当消费者取走商品时，商品会经过一个配备了RFID阅读器的区域以自动地被感知，从而识别商品并完成自助付款。
另一种解决方案为基于图像识别确定商品品类的方案。通过在货柜上部署摄像头拍摄货柜的情况，并按一定频率进行帧间对比检测，从而可以判断商品区域是否发生了变化，以识别消费者购买的商品。
然而，相关技术中的识别方案成本高、识别率低。
发明内容
发明人经过分析后发现，基于RFID的技术方案的缺点在于，对于吞吐量巨大的自动售货机场景，RFID标签成本昂贵，不利于场景复制和推广。同时，RFID标签遇到液体、金属易衰减屏蔽，黏贴麻烦易被撕毁，尺寸和感应距离难协调，降低了识别率。
基于图像识别的技术方案的缺点在于，对于同时拿取或者放回多件商品、尤其是多件不同品类的商品的情况难以处理。对于同时取放商品的极端情况，图像识别也难以覆盖。因此识别率也较低。
本发明实施例所要解决的一个技术问题是：如何提高自动售卖场景中物品识别的准确率。
根据本发明一些实施例的第一个方面，提供一种用于自动售货机的物品识别方法，包括：对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品；根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品；根据用户取放的物品对待结算物品的集合进行更新。
在一些实施例中，图像采集区域为用户在取放物品时所经过的区域。
在一些实施例中，根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品包括：根据每个物品的重量，计算每个识别结果对应的重量；选择对应的重量与重量变化值匹配的识别结果，将匹配的结果中的物品作为用户取放的物品。
在一些实施例中，根据每个物品的重量，计算每个识别结果对应的重量包括：根据货柜物品的集合、待结算物品的集合中的物品以及每种物品的数量，将每个识别结果转换为一个或多个子识别结果，其中，每个子识别结果中的物品与识别结果中的物品相同、并且每个物品具有货柜物品的标记或者待结算物品的标记；将子识别结果中货柜物品的重量之和减去待结算物品的重量之和的结果作为子识别结果对应的重量。
在一些实施例中，对采集的物品图像进行识别，获得一个或多个识别结果和每个识别结果的置信度；在对应的重量与重量变化值匹配的识别结果有多个的情况下，选择匹配的识别结果中图像置信度最高的识别结果中的物品作为用户取放的物品。
在一些实施例中，物品识别方法还包括：在识别结果中的同一种物品的数量超过在货柜物品的集合和待结算物品的集合中同一种物品的数量的情况下，删除识别结果。
在一些实施例中，物品识别方法还包括：监测货柜的承载重量；响应于货柜的承载重量发生变化，获取采集的物品图像。
在一些实施例中，响应于货柜的承载重量发生变化，获取一段时间内的用户在货柜上取放物品时拍摄的视频，并从视频中获取物品图像，其中，一段时间的起点是货柜的承载重量发生变化之前的预设时刻，终点是货柜的承载重量再次发生变化的时刻。
根据本发明一些实施例的第二个方面一种用于自动售货机的物品识别装置，包括：图像识别模块，被配置为对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品；用户取放物品确定模块，被配置为根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品；待结算物品更新模块，被配置为根据用户取放的物品对待结算物品的集合进行更新。
在一些实施例中，图像采集区域为用户在取放物品时所经过的区域。
在一些实施例中，用户取放物品确定模块进一步被配置为根据每个物品的重量，计算每个识别结果对应的重量；选择对应的重量与重量变化值匹配的识别结果，将匹配的结果中的物品作为用户取放的物品。
在一些实施例中，用户取放物品确定模块进一步被配置为根据货柜物品的集合、待结算物品的集合中的物品以及每种物品的数量，将每个识别结果转换为一个或多个子识别结果，其中，每个子识别结果中的物品与识别结果中的物品相同、并且每个物品具有货柜物品的标记或者待结算物品的标记；将子识别结果中货柜物品的重量之和减去待结算物品的重量之和的结果作为子识别结果对应的重量。
在一些实施例中，图像识别模块进一步被配置为对采集的物品图像进行识别，获得一个或多个识别结果和每个识别结果的置信度；用户取放物品确定模块进一步被配置为在对应的重量与重量变化值匹配的识别结果有多个的情况下，选择匹配的识别结果中图像置信度最高的识别结果中的物品作为用户取放的物品。
在一些实施例中，物品识别装置还包括：识别结果筛选模块，被配置为在识别结果中的同一种物品的数量超过在货柜物品的集合和待结算物品的集合中同一种物品的数量的情况下，删除识别结果。
在一些实施例中，物品识别装置还包括：重量监测模块，被配置为监测货柜的承载重量；图像采集模块，被配置为响应于货柜的承载重量发生变化，获取采集的物品图像。
在一些实施例中，图像采集模块进一步被配置为响应于货柜的承载重量发生变化，获取一段时间内的用户在货柜上取放物品时拍摄的视频，并从视频中获取物品图像，其中，一段时间的起点是货柜的承载重量发生变化之前的预设时刻，终点是货柜的承载重量再次发生变化的时刻。
根据本发明一些实施例的第三个方面，提供一种用于自动售货机的物品识别系统，包括：前述任意一种用于自动售货机的物品识别装置；摄像装置，被配置为采集物品图像；称重设备，被配置为获取货柜内物品的重量变化值。
在一些实施例中，物品识别系统还包括：自动售货机。
根据本发明一些实施例的第四个方面，提供一种用于自动售货机的物品识别装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述任意一种用于自动售货机的物品识别方法。
根据本发明一些实施例的第五个方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种用于自动售货机的物品识别方法。
上述发明中的一些实施例具有如下优点或有益效果：本发明的实施例可以将重力感应和图像识别进行结合以判定用户取放的物品，从而提高了物品识别的准确率。并且，用户可以进行取货、放货、同时取货和放货，从而增加了用户使用的灵活性，提升了用户体验。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明一些实施例的用于自动售货机的物品识别方法的示例性流程图。
图2为根据本发明一些实施例的用于自动售货机的识别结果选择方法的示例性流程图。
图3为根据本发明一些实施例的计算识别结果对应的重量的方法的示例性流程图。
图4为根据本发明另一些实施例的识别结果选择方法的示例性流程图。
图5为根据本发明一些实施例的识别结果筛选方法的示例性流程图。
图6为根据本发明另一些实施例的用于自动售货机的物品识别方法的示例性流程图。
图7为根据本发明另一些实施例的用于自动售货机的物品识别方法的示例性流程图。
图8为根据本发明一些实施例的用于自动售货机的物品识别装置的示例性结构图。
图9为根据本发明一些实施例的用于自动售货机的物品识别系统的示例性结构图。
图10为根据本发明另一些实施例的用于自动售货机的物品识别装置的示例性结构图。
图11为根据本发明又一些实施例的用于自动售货机的物品识别装置的示例性结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为根据本发明一些实施例的用于自动售货机的物品识别方法的示例性流程图。如图1所示，该实施例的物品识别方法包括步骤S102～S106。
在步骤S102中，对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品。
在一些实施例中，可以获取摄像机等摄像装置采集的物品图像。摄像装置可以安装在本发明实施例所使用的自动售货机上。在现有技术中，摄像装置拍摄货柜内部。然而，由于货柜内的物品较多，如果拍摄货柜内部，很难识别哪些是用户取放的物品，哪些是用户未取放的物品。
在一些实施例中，图像采集区域为用户在取放物品时所经过的区域。例如，摄像头可以安装在柜门上方，图像采集区域可以是货柜门前的区域，从而可以捕捉到用户取放物品时手持物品或者借助托盘、夹具等其他设备移动物品的画面。
货柜上有一个或多个货道、用于承载物品。货柜中设置有一个或多个称重设备，用于测量相应的称重区域的物品重量。一个称重区域例如可以是一个货道，也可以是货柜中的一行货柜、整个货柜等等，本领域技术人员可以根据需要设置。
识别过程可以采用预先训练的神经网络模型。在训练阶段，可以采用标注了物品类别的物品图像数据。为了提高识别的精确度，可以同样采用货柜摄像头拍摄用户取放物品的画面。
当用户从货柜中取走物品时，不一定意味着用户一定会购买该商品。用户可能对物品进行仔细查看再放回货柜。因此，用户可能进行取货、将货放回到货柜、同时取放货中的任意一种情况。而图像识别主要是识别用户对哪些物品进行了操作，因此还需要进一步地结合重力检测的结果，判断用户对哪些物品进行了何种操作。
在一些实施例中，每个识别结果中的物品均为未结算物品，包括货柜物品、待结算物品，货柜物品为货柜的承载重量发生变化之前位于货柜的物品，待结算物品为用户进行取放之前待结算的物品，即用户已从货柜上将其拿走、但是没有进行结算的物品。待结算物品可以视为是用户已放入购物车的物品，该“购物车”可以是一个实体装置，也可以是虚拟的。物品组合中除了包括物品的名称或标识以及数量以外，还可以包括物品的来源，即标明该物品是货柜物品还是待结算物品。
在步骤S104中，根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品。即，从一个或多个识别结果中选择与货柜内物品的重量变化值匹配的识别结果，将识别结果中的物品作为用户取放的物品。例如，可以选择识别结果中对应的重量与货柜内物品的重量变化值最接近的。货柜内物品的重量变化值可以是货柜内某个称重区域内的物品的重量变化值，如前所述，称重区域可以是货柜内存放物品的部分区域，也可以是整个货柜。
在步骤S106中，根据用户取放的物品对待结算物品的集合进行更新。例如，将用户取放的物品组合中的货架物品添加到待结算物品的集合中，将用户取放的物品组合中的待结算物品从待结算物品的集合中删除。
用户在一次购买行为中可以进行多次取放。后台可以采用该用户的本次购买行为对应的数据库来记录用户已取走但是未结算的物品，并根据每次取放后的识别结果更新数据库，从而使得数据库中存储的是用户当前待结算的物品。
响应于用户对待结算物品进行支付，可以清空待结算物品。本发明的实施例例如可以应用于一个用户在打开自动售货机的柜门后进行取放货物并结算的应用场景。此外，在一些应用场景中，也可以在打开柜门后由不同的用户进行货物取放，但是结算时是针对同一个用户账号进行结算的。例如，用户A进行身份验证后打开柜门，柜门打开后，用户A与其朋友B均可以取放货物，结算时使用A的账户进行结账。
通过上述实施例的方法，可以将重力感应和图像识别进行结合以判定用户取放的物品，从而提高了物品识别的准确率。并且，用户可以进行取货、放货、同时取货和放货，从而增加了用户使用的灵活性，提升了用户体验。
下面参考图2描述本发明计算每个识别结果对应的重量的方法的实施例。
图2为根据本发明一些实施例的识别结果选择方法的示例性流程图。如图2所示，该实施例的识别结果选择方法包括步骤S202～S204。
在步骤S202中，根据每个物品的重量，计算每个识别结果对应的重量。
在步骤S204中，选择对应的重量与重量变化值匹配的识别结果，将匹配的结果中的物品作为用户取放的物品。
对应用户仅从货柜上取物品的场景、或者仅将物品放回货柜的场景，识别结果对应的重量为识别结果中所有物品的重量之和，然后采用正号和负号区分取的场景和放的场景。然而考虑到用户可能同时取放物品，因此需要更复杂的计算。下面参考图3描述本发明一些实施例的计算识别结果对应的重量的方法的实施例。
图3为根据本发明一些实施例的计算识别结果对应的重量的方法的示例性流程图。如图3所示，该实施例的计算识别结果对应的重量的方法包括步骤S302～S304。
在步骤S302中，根据货柜物品的集合、待结算物品的集合中的物品以及每种物品的数量，将每个识别结果转换为一个或多个子识别结果，其中，每个子识别结果中的物品与识别结果中的物品相同、并且每个物品具有货柜物品的标记或者待结算物品的标记。每个子识别结果中，同一种货柜物品的数量不超过货柜物品集合中同一种物品的数量，同一种未结算物品的数量不超过未结算物品集合中同一种物品的数量。
在步骤S304中，将子识别结果中货柜物品的重量之和减去待结算物品的重量之和的结果作为子识别结果对应的重量。
例如，识别结果之一为{A,A,B}，即包含两个物品A和一个物品B。在用户进行取放之前，货柜上有3个物品A、一个物品B，购物车中有一个物品A、一个物品B。此时，可以设货柜中的物品A为A1、物品B为B1，重量分别为a1、b1；购物车中的物品A为A2、物品B为B2，重量分别为a2、b2。表1为上述识别结果转换后获得的子识别结果，以及每个子识别结果对应的重量计算方法。
表1
子识别结果 重量计算方法
A1,A1,B1 a1+a1+b1
A1,A2,B1 a1-a2+b1
A1,A1,B2 a1+a1-b2
A1,A2,B2 a1-a2-b2
从而，不论是用户取物品、放物品还是同时取放物品的情况，均可以采用上述方法进行组合。
在部分情况下，可能有多个识别结果对应的重量都与重量变化值接近，此时可以参考图像识别结果的置信度。下面参考图4描述本发明识别结果选择方法的实施例。
图4为根据本发明另一些实施例的识别结果选择方法的示例性流程图。如图4所示，该实施例的识别结果选择方法包括步骤S402～S404。
在步骤S402中，对采集的物品图像进行识别，获得一个或多个识别结果和每个识别结果的置信度。
在步骤S404中，在对应的重量与货柜内物品的重量变化值匹配的识别结果有多个的情况下，选择匹配的识别结果中图像置信度最高的识别结果中的物品作为用户取放的物品。
从而，在重量识别结果相同的情况下，可以根据图像识别结果的置信度进行选择。
图像识别的目标是根据图像特征识别出图像中有哪些物品，识别的过程中可能并不知晓当前货柜以及购物车中的物品现状。因此，可能图像识别给出的识别结果中包括不可能出现的组合。本发明的一些实施例可以对识别结果进行筛选。下面参考图5描述本发明识别结果筛选方法的实施例。
图5为根据本发明一些实施例的识别结果筛选方法的示例性流程图。如图5所示，该实施例的识别结果筛选方法包括步骤S502～S504。
在步骤S502中，对采集的物品图像进行识别，获得一个或多个识别结果。
在步骤S504中，在识别结果中的同一种物品的数量超过在货柜物品的集合和待结算物品的集合中同一种物品的数量的情况下，删除识别结果。
例如，货柜上和待结算物品中物品A的总数量为2，但是某个识别结果中物品A的数量为3，此时可以将该识别结果筛除。从而进一步提高了物品识别的准确性。
本发明的实施例将图像识别和重力检测相结合，因此可以响应于重力的变化触发识别流程。下面参考图6描述本发明物品识别方法的实施例。
图6为根据本发明另一些实施例的用于自动售货机的物品识别方法的示例性流程图。如图6所示，该实施例的物品识别方法包括步骤S602～S612。
在步骤S602中，监测货柜的承载重量。
在步骤S604中，响应于货柜的承载重量发生变化，获取采集的物品图像。
在一些实施例中，可以响应于货柜的承载重量发生稳定的变化再获取物品图像，以避免货柜由于外力产生轻微晃动而造成的重力变化。
在一些实施例中，可以获取一段时间内的用户在货柜上取放物品时拍摄的视频，并从视频中获取物品图像，其中，一段时间的起点是货柜的承载重量发生变化之前的预设时刻，终点是货柜的承载重量再次发生变化的时刻。例如，货柜在t1时刻产生第一次重量编号，在t2时刻产生第二次重量变化，则说明用户拿着物品经过摄像头覆盖区域的动作发生在t1时刻和t2时刻之间，因此例如可以获取[t1-Δ,t2]时间段的视频，Δ为正数或0，可以是很小的数值。
在步骤S606中，对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品。
在步骤S608中，根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品。
在一些实施例中，可以多张物品图像对应的识别结果对应的置信度可以与物品图像所处的拍摄时间成正相关关系。即，越新拍摄的物品图像对应的识别结果具有越大的置信度。
在步骤S610中，根据用户取放的物品对待结算物品的集合进行更新。
从而，可以准确地捕捉到用户进行物品取放的时间段的图像，提高了物品识别的准确性和识别效率。
本发明的实施例可以对货架上的物品进行分区维护，从而可以缩小待识别物品的可选范围。下面参考图7描述本发明物品识别方法的实施例。
图7为根据本发明另一些实施例的用于自动售货机的物品识别方法的示例性流程图。如图7所示，该实施例的物品识别方法包括步骤S702～S710。
在步骤S702中，响应于监测到货柜中的单位称重区域的承载重量发生变化，获取单位称重区域的重量变化值。
一个单位称重区域为一个称重设备所负责的区域，例如可以为货柜中的一个货道、或者一个托盘。
在步骤S704中，对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品。
在步骤S706中，根据发生重量变化的单位称重区域中的货柜物品的集合和待结算物品的集合，对识别结果进行筛选。
此时，物品组合中无需包括其他单位称重区域中的物品，只需要关注该单位称重区域中的物品以及待结算物品。
在步骤S708中，根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品，识别出的用户取放的物品由发生重量变化的单位称重区域中的货柜物品、待结算物品中的至少一种组成。
在步骤S710中，根据用户取放的物品对待结算物品的集合进行更新。
通过上述实施例的方法，可以在货架中设置多个称重设备，并且根据发生重量变化的单位称重区域中的物品和图像识别的结果确定用户取放的物品组合，进一步提高了物品识别的精确度。
下面参考图8描述本发明用于自动售货机的物品识别装置的实施例。
图8为根据本发明一些实施例的用于自动售货机的物品识别装置的示例性结构图。如图8所示，该实施例的物品识别装置80包括：图像识别模块810，被配置为对采集的物品图像进行识别，获得一个或多个识别结果，其中，每个识别结果中包括用户在货柜取放的一个或多个物品；用户取放物品确定模块820，被配置为根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品；待结算物品更新模块830，被配置为根据用户取放的物品对待结算物品的集合进行更新。
在一些实施例中，图像采集区域为用户在取放物品时所经过的区域。
在一些实施例中，用户取放物品确定模块820可以进一步被配置为根据每个物品的重量，计算每个识别结果对应的重量；选择对应的重量与重量变化值匹配的识别结果，将匹配的结果中的物品作为用户取放的物品。
在一些实施例中，用户取放物品确定模块820可以进一步被配置为根据货柜物品的集合、待结算物品的集合中的物品以及每种物品的数量，将每个识别结果转换为一个或多个子识别结果，其中，每个子识别结果中的物品与识别结果中的物品相同、并且每个物品具有货柜物品的标记或者待结算物品的标记；将子识别结果中货柜物品的重量之和减去待结算物品的重量之和的结果作为子识别结果对应的重量。
在一些实施例中，图像识别模块810可以进一步被配置为对采集的物品图像进行识别，获得一个或多个识别结果和每个识别结果的置信度；用户取放物品确定模块820可以进一步被配置为在对应的重量与重量变化值匹配的识别结果有多个的情况下，选择匹配的识别结果中图像置信度最高的识别结果中的物品作为用户取放的物品。
在一些实施例中，物品识别装置80还可以包括：识别结果筛选模块840，被配置为在识别结果中的同一种物品的数量超过在货柜物品的集合和待结算物品的集合中同一种物品的数量的情况下，删除识别结果。
在一些实施例中，物品识别装置80还可以包括：重量监测模块850，被配置为监测货柜的承载重量；图像采集模块860，被配置为响应于货柜的承载重量发生变化，获取采集的物品图像。
在一些实施例中，图像采集模块860可以进一步被配置为响应于货柜的承载重量发生变化，获取一段时间内的用户在货柜上取放物品时拍摄的视频，并从视频中获取物品图像，其中，一段时间的起点是货柜的承载重量发生变化之前的预设时刻，终点是货柜的承载重量再次发生变化的时刻。
下面参考图9描述本发明物品识别系统的实施例。
图9为根据本发明一些实施例的用于自动售货机的物品识别系统的示例性结构图。如图9所示，该实施例的物品识别系统90包括：用于自动售货机的物品识别装置91，其具体实施方式可以参考图8实施例中的物品识别装置80；摄像装置92，被配置为采集物品图像；称重设备93，被配置为获取货柜内物品的重量变化值。
在一些实施例中，物品识别系统还可以包括自动售货机94。一个或多个称重设备93、摄像装置92可以安装在自动售货机94中。
图10为根据本发明另一些实施例的用于自动售货机的物品识别装置的示例性结构图。如图10所示，该实施例的用于自动售货机的物品识别装置1000包括：存储器1010以及耦接至该存储器1010的处理器1020，处理器1020被配置为基于存储在存储器1010中的指令，执行前述任意一个实施例中的用于自动售货机的物品识别方法。
其中，存储器1010例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)以及其他程序等。
图11为根据本发明又一些实施例的用于自动售货机的物品识别装置的示例性结构图。如图11所示，该实施例的物品识别装置1100包括：存储器1110以及处理器1120，还可以包括输入输出接口1130、网络接口1140、存储接口1150等。这些接口1130，1140，1150以及存储器1110和处理器1120之间例如可以通过总线1160连接。其中，输入输出接口1130为显示器、鼠标、键盘、触摸屏等输入输出设备提供连接接口。网络接口1140为各种联网设备提供连接接口。存储接口1150为SD卡、U盘等外置存储设备提供连接接口。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现前述任意一种用于自动售货机的物品识别方法。
本领域内的技术人员应当明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (16)

1.一种用于自动售货机的物品识别方法，包括：
对采集的物品图像进行识别，获得一个或多个识别结果，其中，所述物品图像包括用户取放物品时手持物品或者借助设备移动物品的画面，每个识别结果中包括用户在货柜取放的一个或多个物品；
根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品，包括：根据货柜物品的集合、待结算物品的集合中的物品以及每种物品的数量，将每个识别结果转换为一个或多个子识别结果，其中，每个子识别结果中的物品与识别结果中的物品相同、并且每个物品具有货柜物品的标记或者待结算物品的标记；将子识别结果中货柜物品的重量之和减去待结算物品的重量之和的结果作为子识别结果对应的重量；选择对应的重量与所述重量变化值匹配的识别结果，将所述匹配的结果中的物品作为用户取放的物品；
根据所述用户取放的物品对待结算物品的集合进行更新。
2.根据权利要求1所述的物品识别方法，其中，图像采集区域为用户在取放物品时所经过的区域。
3.根据权利要求1所述的物品识别方法，其中，
对采集的物品图像进行识别，获得一个或多个识别结果和每个识别结果的置信度；
在对应的重量与所述重量变化值匹配的识别结果有多个的情况下，选择匹配的识别结果中图像置信度最高的识别结果中的物品作为用户取放的物品。
4.根据权利要求1所述的物品识别方法，还包括：
在识别结果中的同一种物品的数量超过在货柜物品的集合和待结算物品的集合中所述同一种物品的数量的情况下，删除所述识别结果。
5.根据权利要求1所述的物品识别方法，还包括：
监测货柜的承载重量；
响应于货柜的承载重量发生变化，获取采集的物品图像。
6.根据权利要求5所述的物品识别方法，其中，
响应于货柜的承载重量发生变化，获取一段时间内的用户在货柜上取放物品时拍摄的视频，并从所述视频中获取物品图像，其中，所述一段时间的起点是所述货柜的承载重量发生变化之前的预设时刻，终点是所述货柜的承载重量再次发生变化的时刻。
7.一种用于自动售货机的物品识别装置，包括：
图像识别模块，被配置为对采集的物品图像进行识别，获得一个或多个识别结果，其中，所述物品图像包括用户取放物品时手持物品或者借助设备移动物品的画面，每个识别结果中包括用户在货柜取放的一个或多个物品；
用户取放物品确定模块，被配置为根据货柜内物品的重量变化值，从一个或多个识别结果中获取用户取放的物品，包括：根据货柜物品的集合、待结算物品的集合中的物品以及每种物品的数量，将每个识别结果转换为一个或多个子识别结果，其中，每个子识别结果中的物品与识别结果中的物品相同、并且每个物品具有货柜物品的标记或者待结算物品的标记；将子识别结果中货柜物品的重量之和减去待结算物品的重量之和的结果作为子识别结果对应的重量；选择对应的重量与所述重量变化值匹配的识别结果，将所述匹配的结果中的物品作为用户取放的物品；
待结算物品更新模块，被配置为根据所述用户取放的物品对待结算物品的集合进行更新。
8.根据权利要求7所述的物品识别装置，其中，图像采集区域为用户在取放物品时所经过的区域。
9.根据权利要求7所述的物品识别装置，其中，
所述图像识别模块进一步被配置为对采集的物品图像进行识别，获得一个或多个识别结果和每个识别结果的置信度；
所述用户取放物品确定模块进一步被配置为在对应的重量与所述重量变化值匹配的识别结果有多个的情况下，选择匹配的识别结果中图像置信度最高的识别结果中的物品作为用户取放的物品。
10.根据权利要求7所述的物品识别装置，还包括：
识别结果筛选模块，被配置为在识别结果中的同一种物品的数量超过在货柜物品的集合和待结算物品的集合中所述同一种物品的数量的情况下，删除所述识别结果。
11.根据权利要求7所述的物品识别装置，还包括：
重量监测模块，被配置为监测货柜的承载重量；
图像采集模块，被配置为响应于货柜的承载重量发生变化，获取采集的物品图像。
12.根据权利要求11所述的物品识别装置，其中，所述图像采集模块进一步被配置为响应于货柜的承载重量发生变化，获取一段时间内的用户在货柜上取放物品时拍摄的视频，并从所述视频中获取物品图像，其中，所述一段时间的起点是所述货柜的承载重量发生变化之前的预设时刻，终点是所述货柜的承载重量再次发生变化的时刻。
13.一种用于自动售货机的物品识别系统，包括：
权利要求7～12中任一项所述的用于自动售货机的物品识别装置；
摄像装置，被配置为采集物品图像；和
称重设备，被配置为获取货柜内物品的重量变化值。
14.根据权利要求13所述的物品识别系统，还包括：
自动售货机。
15.一种用于自动售货机的物品识别装置，包括：
存储器；以及
耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1～6中任一项所述的用于自动售货机的物品识别方法。
16.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1～6中任一项所述的用于自动售货机的物品识别方法。
CN201810175167.XA 2018-03-02 2018-03-02 用于自动售货机的物品识别方法、装置、系统及存储介质 Active CN108335408B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810175167.XA CN108335408B (zh) 2018-03-02 2018-03-02 用于自动售货机的物品识别方法、装置、系统及存储介质
PCT/CN2019/075092 WO2019165894A1 (zh) 2018-03-02 2019-02-14 物品识别方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810175167.XA CN108335408B (zh) 2018-03-02 2018-03-02 用于自动售货机的物品识别方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN108335408A CN108335408A (zh) 2018-07-27
CN108335408B true CN108335408B (zh) 2020-11-03

Family

ID=62930255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810175167.XA Active CN108335408B (zh) 2018-03-02 2018-03-02 用于自动售货机的物品识别方法、装置、系统及存储介质

Country Status (2)

Country Link
CN (1) CN108335408B (zh)
WO (1) WO2019165894A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335408B (zh) * 2018-03-02 2020-11-03 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN109272647A (zh) * 2018-08-29 2019-01-25 北京华沁智联科技有限公司 自动售卖仓库物品状态的更新方法及装置
CN109727378A (zh) * 2018-09-12 2019-05-07 盈奇科技（深圳）有限公司 一种重力感应无人生鲜售柜系统
CN109696870A (zh) * 2018-09-12 2019-04-30 盈奇科技（深圳）有限公司 一种基于4g网络无人重力感应售柜电路系统
CN110926585B (zh) * 2018-09-20 2021-12-14 北京京东尚科信息技术有限公司 用于输出信息的方法和装置
CN109243096A (zh) * 2018-10-26 2019-01-18 虫极科技（北京）有限公司 一种智能货柜及确定拿取商品的方法
CN109649916B (zh) * 2018-11-27 2021-01-26 上海京东到家元信信息技术有限公司 一种智能货柜货物识别方法和装置
CN110379070B (zh) * 2018-11-27 2023-05-02 北京京东乾石科技有限公司 商品检测方法和装置
CN109649915B (zh) * 2018-11-27 2021-01-19 上海京东到家元信信息技术有限公司 一种智能货柜货物识别方法和装置
CN111292466B (zh) * 2018-12-10 2022-06-07 北京京东乾石科技有限公司 售货柜及其订单生成方法和系统
CN109766962B (zh) * 2018-12-18 2021-01-19 创新奇智(南京)科技有限公司 一种商品识别方法、存储介质及商品识别系统
CN109389747A (zh) * 2018-12-29 2019-02-26 北京沃东天骏信息技术有限公司 售货装置和售货方法
CN109959974B (zh) * 2019-01-19 2020-10-09 创新奇智(重庆)科技有限公司 一种异物检测方法、计算机可读存储介质及检测系统
CN109840504B (zh) * 2019-02-01 2022-11-25 腾讯科技（深圳）有限公司 物品取放行为识别方法、装置、存储介质及设备
CN111523348B (zh) * 2019-02-01 2024-01-05 百度（美国）有限责任公司 信息生成方法和装置、用于人机交互的设备
CN109886169B (zh) * 2019-02-01 2022-11-22 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN109934238B (zh) * 2019-03-06 2020-07-14 北京旷视科技有限公司 物品的识别方法、设备及存储介质
CN109977825B (zh) * 2019-03-15 2021-06-25 百度在线网络技术（北京）有限公司 物品识别方法及装置
CN110031074A (zh) * 2019-03-21 2019-07-19 钛深科技(深圳)有限公司 基于压力传感阵列的物品分类识别方法及其系统
CN110189466A (zh) * 2019-03-22 2019-08-30 上海小萌科技有限公司 一种智能售货柜商品监测方法、装置及系统
CN110147723B (zh) * 2019-04-11 2022-08-19 苏宁云计算有限公司 一种无人店中顾客异常行为的处理方法及系统
CN112052708A (zh) * 2019-06-06 2020-12-08 杭州海康威视数字技术股份有限公司 物品检测方法、装置及系统
CN112304410A (zh) * 2019-07-31 2021-02-02 梅特勒-托利多(常州)测量技术有限公司 具有物体识别的称重装置和称重方法
CN110533828A (zh) * 2019-08-30 2019-12-03 北京牧家科技有限公司 一种基于重力感应智能终端的售卖系统
CN112466035B (zh) * 2019-09-06 2022-08-12 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品识别方法、装置和系统
CN111127750A (zh) * 2019-12-24 2020-05-08 西安科技大学 一种基于重力传感器数据的商品移位识别方法
CN111126322A (zh) * 2019-12-27 2020-05-08 北京每日优鲜电子商务有限公司 应用于无人售货装置的物品识别方法、装置及设备
CN113066225A (zh) * 2019-12-30 2021-07-02 深圳Tcl新技术有限公司 一种基于共享冰箱的购物方法及共享冰箱
CN111178265A (zh) * 2019-12-30 2020-05-19 北京每日优鲜电子商务有限公司 商品识别方法及装置
CN111739091A (zh) * 2020-03-24 2020-10-02 北京京东乾石科技有限公司 一种物品放回检测方法、装置、设备及介质
CN111815852A (zh) * 2020-07-07 2020-10-23 武汉马克到家科技有限公司 一种用于开门自取式售货柜的图像和重力双模自动商品识别系统
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、系统及存储介质
CN116308327B (zh) * 2022-12-28 2023-10-27 深圳市销邦数据技术有限公司 一种基于rfid技术的自助收银系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9412099B1 (en) * 2013-05-09 2016-08-09 Ca, Inc. Automated item recognition for retail checkout systems
CN104978585A (zh) * 2015-06-11 2015-10-14 陈建波 一种自动计价方法
CN105894362A (zh) * 2016-04-01 2016-08-24 天脉聚源(北京)传媒科技有限公司 一种推荐视频中的相关物品的方法及装置
CN105897916B (zh) * 2016-05-26 2019-05-07 北京精益理想科技有限公司 一种获得物品重量状态的方法和系统
CN106202316A (zh) * 2016-07-01 2016-12-07 传线网络科技（上海）有限公司 基于视频的商品信息获取方法及装置
CN105931371B (zh) * 2016-07-12 2018-12-18 帮团成都电子商务有限责任公司 自动售货机及自动售货方法
US9953355B2 (en) * 2016-08-01 2018-04-24 Microsoft Technology Licensing, Llc Multi-signal based shopping cart content recognition in brick-and-mortar retail stores
CN106952402B (zh) * 2017-03-22 2019-09-06 帮团成都电子商务有限责任公司 一种数据处理方法及装置
CN107134053B (zh) * 2017-04-19 2019-08-06 石道松 智能售货门店
CN107330684A (zh) * 2017-07-06 2017-11-07 广州联业商用机器人科技股份有限公司 一种云端智能管控无人商店及其自动结算方法
CN107393152A (zh) * 2017-08-14 2017-11-24 杭州纳戒科技有限公司 自助售货机及自助售货系统
CN109360331A (zh) * 2017-12-29 2019-02-19 广州Tcl智能家居科技有限公司 一种基于物品识别的自动售货方法及自动售货机
CN108335408B (zh) * 2018-03-02 2020-11-03 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、系统及存储介质

Also Published As

Publication number Publication date
WO2019165894A1 (zh) 2019-09-06
CN108335408A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
CN108389315B (zh) 物品识别方法和装置以及计算机可读存储介质
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
JP7248689B2 (ja) 自動販売方法および装置、ならびにコンピュータ可読記憶媒体
CN108492482B (zh) 货品监控系统及监控方法
CN108922026B (zh) 一种自动售货机的补货管理方法、装置和用户终端
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及系统
CN106934692B (zh) 物品信息处理系统、方法及装置
CN111415461B (zh) 物品识别方法及系统、电子设备
CN109409291B (zh) 智能货柜的商品识别方法和系统及购物订单的生成方法
WO2021042698A1 (zh) 基于视觉和重力感应的商品识别方法、装置和系统
CN108140209A (zh) 信息处理装置、信息处理方法和其中存储有程序的记录介质
CN110050284A (zh) 一种自动店内登记系统
CN111079478B (zh) 一种无人售货架监控方法、装置、电子设备及系统
CN108960132B (zh) 一种开放式自动售货机中商品的购买方法及其装置
CN111382635B (zh) 一种商品类别识别方法、装置及电子设备
CN111222870A (zh) 结算方法、装置和系统
CN111126990A (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
CN112907168A (zh) 动态商品识别方法、无人售货柜及其售货方法
CN114743307A (zh) 智能货柜的商品识别方法、装置、电子设备及存储介质
CN111523348B (zh) 信息生成方法和装置、用于人机交互的设备
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
CN111680654B (zh) 一种基于物品取放事件的人员信息获取方法、装置及设备
CN112700312A (zh) 物品对象的结算方法、服务器、客户端及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant