CN108549851B - 智能货柜内货品识别方法及装置、智能货柜 - Google Patents
智能货柜内货品识别方法及装置、智能货柜 Download PDFInfo
- Publication number
- CN108549851B CN108549851B CN201810260476.7A CN201810260476A CN108549851B CN 108549851 B CN108549851 B CN 108549851B CN 201810260476 A CN201810260476 A CN 201810260476A CN 108549851 B CN108549851 B CN 108549851B
- Authority
- CN
- China
- Prior art keywords
- goods
- intelligent container
- target intelligent
- image
- various
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000008859 change Effects 0.000 claims abstract description 65
- 241000531116 Blitum bonus-henricus Species 0.000 claims abstract description 22
- 235000008645 Chenopodium bonus henricus Nutrition 0.000 claims abstract description 22
- 238000012856 packing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 3
- 235000008446 instant noodles Nutrition 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 235000013305 food Nutrition 0.000 description 13
- 238000006073 displacement reaction Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 235000008429 bread Nutrition 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 235000013361 beverage Nutrition 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000015895 biscuits Nutrition 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 235000013618 yogurt Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/002—Vending machines being part of a centrally controlled network of vending machines
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/006—Details of the software used for the vending machines
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种智能货柜内货品识别方法及装置、智能货柜，该智能货柜内货品识别方法包括：接收目标智能货柜的货品识别指令；采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；以及对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。本发明能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本。
Description
技术领域
本发明涉及货柜技术领域，具体涉及一种智能货柜内货品识别方法及装置、智能货柜。
背景技术
智能货柜泛指以自助售货机的形式销售商品的智能货柜，通常占地面积在1～2平方米左右，一般采取无现金交易和普通货币交易。例如：自助橙子机、自助咖啡机、自助冰淇淋机、自助便当机、传统的无人自助售货机等；由于智能货柜的无人贩售的特性，需要补货人员定期查询进行补货，以使得智能货柜能够随时满足用户的购满需求。
目前，现有的针对智能货柜中货品识别的方式，通常为需要补货人员在补货前挨个登记商品信息，并在补货过程中按照原标记将不同类型的货品摆放在对应的位置以及记录货品的更新情况，并在补货完毕以人工手动录入或者外在文件导入的方式将货品更新情况输入该智能货柜对应的货柜商品管理系统中。
然而，现有的针对智能货柜中货品识别的方式，准确程度差，且补货时需要对货品进行一一核对，需要耗费大量人力和时间成本。
发明内容
针对现有技术中的问题，本发明提供一种智能货柜内货品识别方法及装置、智能货柜，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本。
为解决上述技术问题，本发明提供以下技术方案：
第一方面，本发明提供一种智能货柜内货品识别方法，所述货品识别方法包括：
接收目标智能货柜的货品识别指令；
采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；
以及，对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；
根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。
进一步地，所述智能货柜内货品识别方法还包括：
基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新该目标智能货柜的货品实时信息。
进一步地，所述接收目标智能货柜的货品识别指令包括：
接收针对所述目标智能货柜的用户身份识别信息或交易信息；
向所述目标智能货柜发送柜门开启指令，使得所述目标智能货柜根据该柜门开启指令开启柜门的门锁；
以及，接收所述目标智能货柜在柜门开启再关闭后发送的货品识别指令。
进一步地，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：
接收用户通过用终端设备以扫描二维码的方式连接进入所述目标智能货柜对应的应用APP后，在该应用APP中发送的用户身份识别信息或交易信息；
其中，所述二维码设置在所述目标智能货柜的外壁上。
进一步地，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：
接收以人脸图像识别的方式获取的用户身份识别信息或交易信息；
其中，所述人脸图像识别的方式包括：通过设置在所述目标智能货柜的外壁上的图像采集设备获取位于所述目标智能货柜外的用户的人脸图像，并对该人脸图像进行人脸图像识别。
进一步地，所述采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，包括：
控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；
以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品。
进一步地，所述对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，包括：
对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的图像特征；
以及，根据所述货品的图像特征和预设的货品图像特征库，确定所述目标智能货柜中数量发生变化的货品的类型；
其中，所述货品图像特征库中存储有货品的类型和图像特征之间的对应关系。
进一步地，所述根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：
根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值；
以及，根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；
其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系。
进一步地，所述根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：
若所述各类货品的数量初值为整数，则直接将该数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；
若所述各类货品的数量初值为非整数，则根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量。
进一步地，所述根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：
判断所述数量初值的小数部分的数值是否处于允许误差范围内；
若是，则将该数量初值进行四舍五入，并将四舍五入后的值确定所述目标智能货柜中数量发生变化的各类货品的数量；
若否，则向用户的终端设备发送货品确认指令。
进一步地，所述更新该目标智能货柜的货品实时信息，包括：
在所述目标智能货柜对应的应用APP中更新该目标智能货柜的货品实时信息。
进一步地，所述货品识别方法还包括：
若检测获知所述目标智能货柜中的某类货品的数量低于对应的补货阈值，则向补货人员的终端设备发送补货告知信息。
第二方面，本发明提供一种智能货柜内货品识别系统，所述货品识别系统包括：
货品识别指令接收模块，用于接收目标智能货柜的货品识别指令；
图像及重量采集模块，用于采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；
增减货品类型识别模块，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的类型；
增减货品数量识别模块，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述智能货柜内货品识别方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述智能货柜内货品识别方法的步骤。
第五方面，本发明提供一种智能货柜，所述智能货柜与所述的电子设备通信。
由上述技术方案可知，本发明提供的智能货柜内货品识别方法，通过接收目标智能货柜的货品识别指令；采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；以及对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一中的一种智能货柜内货品识别方法的流程示意图；
图2是本发明的服务器、重量传感器、货品识别指令发送单元和图像采集设备之间的通信示意图；
图3是本发明的包含步骤500的智能货柜内货品识别方法的流程示意图；
图4是本发明的智能货柜内货品识别方法中步骤100的流程示意图；
图5是本发明中包含步骤600的智能货柜内货品识别方法的流程示意图；
图6是本发明中服务器、终端设备和智能货柜之间的交互示意图；
图7是本发明应用实例中的智能货柜内货品识别方法的逻辑流程图；
图8是本发明实施例二中的一种智能货柜内货品识别系统的结构示意图；
图9是本发明实施例三中的一种电子设备的结构示意图；
图10是本发明实施例五中的一种智能货柜的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术中的问题，本发明提供一种智能货柜内货品识别方法及装置、智能货柜。可以理解的是，本发明实施例所述的智能货柜内货品识别方法适用于多种类型的无人智能货柜，例如设置在地铁站内或大型商场内的投币式自动贩售机，也适用于设置在办公场所及无人便利店等内的无人售货式智能货柜，即所述智能货柜内货品识别方法不但适用于掉落式取物的自动贩售机，也适用于开门式取物的无人售货式智能货柜，所述智能货柜内货品识别方法通过接收目标智能货柜的货品识别指令，采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，并对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量得到所述目标智能货柜中数量发生变化的各类货品的类型，完成对智能货柜内货品更新结果的识别。本发明提供的智能货柜内货品识别方法，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。下面将通过第一至第五实施例对本发明进行详细解释说明。
本发明的实施例一提供一种智能货柜内货品识别方法的具体实施方式，参见图1，所述智能货柜内货品识别方法具体包括如下内容：
步骤100：接收目标智能货柜的货品识别指令。
在本实施例中，参见图2，所述智能货柜内货品识别方法的执行主体为一种服务器，该服务器可以设置在智能货柜内部，也可以对多个智能货柜进行远程管理，另外，在所述智能货柜中还设置有货品识别指令发送单元和图像采集设备，所述货品识别指令发送单元、图像采集设备和重量传感器分别与服务器通信连接，可以理解的是，所述图像采集设备可以为摄像头，所述货品识别指令发送单元用于在接收到货品识别指令后，向所述服务器发送货品识别指令。
在一种具体举例中，所述货品识别指令发送单元可以为位移传感器，且位移传感器的两部分分别为设置在所述智能货柜的柜门上器件一以及设置在所述智能货柜内壁上靠近所述器件一的器件二，当柜门被打开时，器件一和器件二之间的位移超过预设阈值，则所述位移传感器记录柜门发生一次开启，当器件一和器件二之间的位移超过预设阈值之后，器件一和器件二之间的位移又小于或等于预设阈值后，则所述位移传感器记录柜门发生一次关闭，在所述位移传感器连续检测到所述智能货柜的柜门发生一次开启和一次关闭后，所述位移传感器向所述服务器发送货品识别指令。
当然，所述智能货柜的柜门发生一次开启和一次关闭的情形中，也包括柜门虽然被打开，但并未发送货品变化的情形，因此，所述货品识别指令实际可以理解为：只要智能货柜内的货品疑似发生变化的情形，即向所述服务器发送货品识别指令，如此设置，一方面能够保证服务器能够及时获知智能货柜的货品变化情况，另一方面，服务器每次都在接收到货品识别指令后才获知智能货柜的货品变化情况，有效减少了智能货柜内部的图像采集设备及服务器的运行损耗，进而能够提高智能货柜内部的图像采集设备及服务器的使用寿命。
步骤200：采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。
在步骤200中，所述服务器控制所述目标智能货柜内的图像采集设备采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值。所述采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，具体包含如下内容：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值；其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像。
可以理解的是，每个智能货柜内的图像采集设备均能够采集到有当前目标智能货柜中的全部货品，因此，每个智能货柜内的图像采集设备可以设置为多个。
在一种具体实施方式中，所述步骤200具体包括如下内容：
控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品。
在一种具体举例中，一个智能货柜中一般均包含有多层货架，且各层货架的两侧及上方均可以设有多个图像采集设备，以保证，每个智能货柜内的图像采集设备均能够采集到有当前目标智能货柜中的全部货品，同时，为了保证获取图像的清晰程度，每个图像采集设备上均可以对应的照明设备。
步骤300：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
在步骤300中，所述服务器接收所述图像采集设备发送的内部货品图像，并对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，通过这种图像识别方式，使得补货人员在补货的过程中，无需在指定的位置摆放商品，使得补货过程更加快速且便捷。
在一种具体举例中，所述步300具体包括如下内容：
步骤301：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的图像特征。
步骤302：根据所述货品的图像特征和预设的货品图像特征库，确定所述目标智能货柜中数量发生变化的货品的类型；其中，所述货品图像特征库中存储有货品的类型和图像特征之间的对应关系。
可以理解的是，所述对所述内部货品图像进行图像识别(image recognitionmethod)为利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术，即利用软件根据图片灰阶差做进一步识别处理，具体可以基于神经网络进行图像识别、基于小波矩进行图像识别或者基于分形特征进行图像识别。其中，基于神经网络进行图像识别的过程可以由预处理，特征提取和神经网络分类器组成，预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等；基于小波矩进行图像识别的过程可以通过将输入二维二值图像的不变矩阵作为识别特征，运用BP网络进行识别，将输入图像经过归一化处理，极坐标化，旋转不变小波矩特征提取后，送入BP网络分类器进行识别，获得识别结果；基于分形特征进行图像识别的过程可以包含红外图像预处理、红外图像分形特征提取和基于神经网络的红外图像识别。
步骤400：根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。
在步骤400中，所述服务器控制所述目标智能货柜中的重量传感器采集各货架的重量，各重量传感器将重量与前一次采集相比的重量变化值发送至所述服务器，若存在重量未发生变化的货架，则其对应的重量变化值为0。
另外，在本实施例中，步骤300和步骤400的执行顺序可根据实际应用情形设定为任意顺序。
在一种具体举例中，一个智能货柜中一般均包含有多层货架，且各层货架的底端均设有至少一个重量传感器，且各个重量传感器均与服务器通信。例如，在下端设有重量传感器的货架上存在货物时，在重力作用下，通过作为承载器的货架将重力传递至重量传感器，使重量传感器的弹性体产生变形，贴附于弹性体上的应变计桥路失去平衡，输出与重量数值成正比例的电信号，经线性放大器将信号放大；再经A/D转换为数字信号，由仪表的微处理机(CPU)对重量信号进行处理后直接显示重量数据，并将重量数据发送至服务器。
从上述描述可知，本发明的实施例提供的智能货柜内货品识别方法，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。
在一种具体实施方式中，参见图3，本发明还提供一种在智能货柜内货品识别方法中的步骤400之后执行的步骤500，所述步骤500具体包括如下内容：
步骤500：基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新该目标智能货柜的货品实时信息。
在步骤500中，所述服务器基于所述目标智能货柜中发生变化的各类货品的类型和数量，在该目标智能货柜对应的数据库中更新该目标智能货柜的货品实时信息。在一种应用实例中，所述更新该目标智能货柜的货品实时信息具体可以包括：在所述目标智能货柜对应的应用APP中更新该目标智能货柜的货品实时信息。
从上述描述可知，本发明的实施例提供的智能货柜内货品识别方法，通过更新目标智能货柜的货品实时信息，解决了无人货柜商品管理系统的对应的数据，在补货的时候需要人工手动录入或者外在文件导入，不利于系统数据快速更新迭代的业务增长需求，且存在重复多余的人力资源浪费的问题。
在一种具体实施方式中，参见图4，本发明还提供一种在智能货柜内货品识别方法中的步骤100的第一种具体实施方式，所述步骤100具体包括如下内容：
步骤101：接收针对所述目标智能货柜的用户身份识别信息或交易信息。
在一种具体实施方式中，所述步骤101具体包括如下内容：
所述服务器接收用户通过用终端设备以扫描二维码的方式连接进入所述目标智能货柜对应的应用APP后，在该应用APP中发送的用户身份识别信息或交易信息；其中，所述二维码设置在所述目标智能货柜的外壁上。
在另种具体实施方式中，所述步骤101具体包括如下内容：
接收以人脸图像识别的方式获取的用户身份识别信息或交易信息；其中，所述人脸图像识别的方式包括：通过设置在所述目标智能货柜的外壁上的图像采集设备获取位于所述目标智能货柜外的用户的人脸图像，并对该人脸图像进行人脸图像识别。
步骤102：向所述目标智能货柜发送柜门开启指令，使得所述目标智能货柜根据该柜门开启指令开启柜门的门锁。
步骤103：接收所述目标智能货柜在柜门开启再关闭后发送的货品识别指令。
从上述描述可知，本发明的实施例提供的智能货柜内货品识别方法，通过扫描二维码方式和内置的摄像头拍照系统，动态实时获取商品图像信息，自动上报货柜的实时图像，通过图像识别，实现全程智能化、自动化货品补录机制，实现精准商品数据管控方案；解放传统零售无人柜在补货的过程中带来的人力资源、时间资源等浪费现象；进一步为无人柜零售行业提供高效便捷的解决方案。
在一种具体实施方式中，参见图5，本发明还提供一种在智能货柜内货品识别方法中的步骤600的具体实施方式，所述步骤600具体在步400之后执行，所述步骤600具体包括如下内容：
步骤600：若检测获知所述目标智能货柜中的某类货品的数量低于对应的补货阈值，则向补货人员的终端设备发送补货告知信息。
从上述描述可知，本发明的实施例提供的智能货柜内货品识别方法，能够更加准确且可靠地实现对智能货柜内货品的及时补货，并能够准确对所述用户身份识别信息进行验证，保证了智能货柜补货及交易的安全性和可靠性。
在一种具体实施方式中，本发明还提供一种在智能货柜内货品识别方法中的步骤400的具体实施方式，所述步骤400具体包括如下内容：
步骤401：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值；其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系。
步骤402：根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量。
在步骤402中，若所述各类货品的数量初值为整数，则所述服务器直接将该数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；若所述各类货品的数量初值为非整数，则所述服务器根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量。其中，所述根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量，具体包括如下内容：判断所述数量初值的小数部分的数值是否处于允许误差范围内；若是，则将该数量初值进行四舍五入，并将四舍五入后的值确定所述目标智能货柜中数量发生变化的各类货品的数量；若否，则向用户的终端设备发送货品确认指令。
另外，参见图6，从服务器和智能货柜的交互角度来看，本发明的智能货柜内货品识别方法具体包括如下内容：
(1)用户使用终端设备扫描设置在智能货柜上的二维码，在移动终端内进入二维码对应的APP中，并在APP中输入身份信息，移动终端将输入至APP内的用户身份识别信息发送至服务器。
(2)服务器对该用户身份识别信息进行验证，并在验证成功后向所述目标智能货柜发送柜门开启指令。
(3)所述目标智能货柜接收所述柜门开启指令后，开启柜门的门锁，并在柜门开启再关闭后向所述服务器发送的货品识别指令。
(4)所述服务器接收所述货品识别指令，并向所述目标智能货柜的摄像头发送拍照指令，并向所述目标智能货柜的重量传感器发送重量采集指令。
(5)所述目标智能货柜的摄像头根据所述拍照指令进行货品图像采集，并将采集得到的内部货品图像发送至服务器；以及，所述目标智能货柜的重量传感器根据所述重量采集指令进行货品重量采集，并将采集得到的重量变化值发送至服务器。
(6)所述服务器对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，并基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新数据库中的目标智能货柜的货品实时信息。
(7)所述服务器将更新后的目标智能货柜的货品实时信息发送至所述APP中，便于身体验证成功的用户查看。
为进一步的说明本方案，本发明还提供一种智能货柜内货品识别方法的具体应用实例，参见图7，具体包括如下内容：
S1、补货人员登录补货APP，扫码开门；
S2、补货人员将商品摆放到货架上，同一个重力传感器对应的货架或托盘内只摆放一种商品；
S3、关门；
S4、启动摄像头工作，拍摄货架图片发送至服务器，服务器进行图像分析处理和比对，获取每个货架内增减的商品品类；同时关门后，主控板查询重量传感器的重量变化值，并发送至服务器；
S5、服务器获取重量变化后，调用商品数据库，通过该货架内商品的总重量变化除以单个商品的重量，进一步计算出每个货架内增减商品的数量；
S6、服务器自动发送补货商品的品类和数量到补货APP。
为了加深对本专利的理解，下面对上述方案进行详细描述。
所述货架或托盘用于摆放货商品，每个货架或托盘内置至少一个重量传感器，并将货架或托盘进行有序编号，同一个序号对应的货架或托盘内只摆放一种商品，即同样的名称和重量的商品；
进一步地，所述货架或托盘内摆放的货品也可以根据形状或形态进行大致分区，或者根据当前区域人群的购物习惯进行区间定制，例如，一二层摆放饮料乳品类，三层摆放面包类，四层摆放休闲零食；或者，一层左侧的托盘内摆放饮料，一层右侧的托盘摆放乳制品；二层左侧托盘摆放面包，二层右侧托盘摆放饼干；
所述摄像头分布安装在每层搁架的两侧、搁架前后方或搁架顶部的至少任一个位置；
所述商品数据库，至少包含每个商品的名称、数量和单价，还可以包含商品的品类、净含量、包装方式、重量允许误差、商品最低数量、商品是否充足、商品保质期等其中的任意一个或多个信息；
所述S4中，图像识别的方式如下：
通过图像采集的方式，将食品随意摆放在货柜上，将每组图片的食材进行人工标记，提取食材特征，建立食材特征数据库；
通过重复的、大量的食材特征对食材进行特征训练；
将图片进行处理，建立图像识别算法模型；
根据食材特征识别出终端发送的图片中的食材；
将关门前后的每层搁架中食材进行比对，识别出变化的食材名称和数量；
所述S5中的计算方式，结果不是整数时，采用四舍五入的方式获取商品数量；
所述S5中的计算方式，结果若不是整数时，进一步地，当小数点后的数值在一定范围内，进一步地，这个范围可以选取为4-6，则表示该商品的实际重量与商品标示重量之间的误差较大，可以提示补货人员进行人工确认，以避免补货商品数量统计错误；进一步地，示例如下：如某方便面的包装标示重量为110g，补货员新放入托盘1内该方便面10桶，若该方便面的实际测试重量与110g偏差较大，例如每桶平均偏重5g,则重量传感器检测到托盘1内重量变化可能为1150g，服务器通过图像比对获取到托盘1内摆放的商品为某方便面,同时获取到重量传感器传送来的重量变化为1150g,，服务器调用商品数据库，获取该方便面的包装标示重量为110g,计算1150除以110，得到托盘1内方便面数量为10.46桶，该数值小数点后的数值在4-6之间，则判断误差较大，请补货人员确认托盘1内方便面的数量，若补货人员不进行处理，则按照四舍五入，确定补货员在托盘1内放入某方便面10桶。以上为比较极端的情况下的处理方式，一般情况下，当商品包装标示重量与实际测量重量误差较小时，例如上述示例中，若每桶方便面的实际测试重量比包装标示重量平均偏重1g,则重量传感器检测到托盘1内重量变化可能为1110g，采用上述同样的处理方式，服务器经计算得到托盘1内方便面数量为10.09桶，小数点后数字不在4-6之间，则四舍五入确定补货员在托盘1内放入某方便面10桶，不需要补货员确认，可自动生成补货清单。
所述重量允许误差，为每个商品的实际测量重量与包装标示重量之间可以接受的误差范围，由工作人员选取一定数量的商品标本进行实际测试后人为设置，重量允许误差也可以不设置，不设置则默认为0；
所述重量变化若为负值，则表示补货员从货架或托盘上取出商品，则从货品清单上相应地减去该商品的库存；
所述图像识别，若判定食品当前摆放位置与上一次图像结果不一致，且检测上次图像识别结果，判断该商品是否为新商品，若是，则在商品库存和补货清单中增加该商品数据；若不是，则将该食品上一次摆放位置的重量传感器数值置换到当前位置；进一步地，举例说明，若某品牌可乐在上次补货时是摆在托盘1位置，本次补货后，经云端图片识别发现该品牌可乐摆在托盘2位置，则将托盘1的上次重量直接移植到托盘2上，通过托盘2内的重量变化判定当前补货商品数量；其他位置以此类推。另外，本发明的应用实例还包括一种补货的提醒方法：
将货柜内的每个商品设置最低数量值Kn(Kn为自然数)，通过上述步骤检测到货柜内每个商品的当前数量Qn后，比较Qn与Kn的大小：
若Qn＝0，则提示缺货；若0<Qn<Kn，则提示商品不足；若Qn≥Kn,则提示商品充足；
设置当有货品不足时，服务器发送补货提醒到补货APP，补货员可点击查看该补货提醒；
若设置Kn＝0，则表示该商品的数量为0时，才提醒缺货；
所述商品最低数量值Kn的确定方式为，服务器后台统计当前区域人群以往的购买行为数据，根据大数据分析，获取到当前区域人员的消费习惯，工作人员据此设置每个商品的最低要求数量；
补货员可通过补货APP查看商品库存清单和当前补货清单，为进一步说明本专利，表1为本应用实例中的一个商品库存清单示例。
表1
如表1所示，服务器根据当前区域人群以往的购物数据和习惯，设置每个商品的最低要求数量，该区域人员对方便面和可乐的需求较高，故某方便面C和某可乐A的最低数量要求为3，其余商品最低数量为1，根据图2可见，某方便面C的当前库存为2，低于方便面的最低数量要求3，显示数量不足；某可乐A的当前库存为0，显示缺货；此时，服务器会发送补货提醒到补货人员的客户端，补货人员接收到补货清单提醒后，通过补货客户端查看补货提醒和当前货柜内所有商品库存，再带领足够的货品去进行补货。
表2
如表2所示，补货人员登陆补货APP，并扫描货柜二维码开门，将货品放入货柜内，所有商品摆放完毕，关门离开。此时服务器通过图像识别判定货架1、2、3、4摆放的商品分别为某小面包B、某方便面C、某可乐A、某酸奶D，再通过货架内置的重量传感器发送的重量变化，判断货架1、2、3、4的重量变化分别为0、345g、2.64kg、1.4kg，服务器调用商品数据库，获取每个商品的单位重量，通过以下计算获取每个货架商品的补货数量：0/100＝0；345/115＝3；2640/330＝8；1400/200＝7；服务器将以上商品和重量信息发送给补货APP端和设备端(如有显示屏，补货人员登陆后可查看)，补货人员即便已离开，依然随时可登陆补货APP查看补货详情。
如图3的示例，若补货人员发现货柜内小面包剩余较多，且其摆在角落位置货架1上，补货人员临时将小面包摆放到原来某可乐A的中心位置货架3上，再将某可乐A摆放到小面包原来的货架1上，此时服务器通过图像识别判定货架1摆放的商品为某可乐A，货架3上摆放的商品为小面包，则将货架1和3的上一次重量数值进行对换后再根据上述方式计算两个货架的补货数量。
另外，本应用实例中的补货APP也可以是安装在货柜的门体上，通过货柜显示屏进行显示，进一步地，补货员开门的方式除了扫码开门外，还可以是人脸识别开门；通过摄像头图像识别获取货品品名，通过重量传感器获取商品数量，识别顺序可以前后调整。
从上述描述可知，本发明的应用实例中的智能货柜内货品识别方法，通过货架内安装重量传感器的方式，获取货品的重量变化，通过货柜内安装摄像头的方式获取商品图片，并进行图片识别，进而获取货架上商品增减的品类；此方法不要求货品的摆放位置固定，可以随意将某一种货品摆放在任意一个货架或托盘上；根据货品的重量变化和品类变化，结合服务器的商品数据库信息，快速地计算出商品的补货详情，自动生成补货清单；当检测到货架内商品数量低于某个设定值时，服务器自动发送补货提醒给补货人员；当检测到货架内商品与上次不同时，直接调用商品上次摆放货架的重量值，更新数据；本应用实例中的智能货柜内货品识别方法，相对于传统的售货机的货品识别方法，在补货时，无需一一扫描商品条码，直接放入商品，关门离开即可；相对于新型的无人零售机，采用此方式，货品在货架内的摆放不再局限于某个货架只能摆放某一种指定商品，补货人员可以将某一种货品摆放在任意一个货架或托盘内，关门即可自动获取补货品类和数量；对于补货工作人员来说，方便快捷，补货效率高。
本发明的实施例二提供一种能够实现上述智能货柜内货品识别方法全部内容的一种智能货柜内货品识别系统的具体实施方式，参见图8，所述智能货柜内货品识别系统具体包括如下内容：
货品识别指令接收模块10，用于接收目标智能货柜的货品识别指令。
图像及重量采集模块20，用于采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。
增减货品类型识别模块30，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
增减货品数量识别模块40，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
本发明提供的智能货柜内货品识别系统的实施例具体可以用于执行上述智能货柜内货品识别方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本发明的实施例提供的智能货柜内货品识别系统，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。
本发明的实施例三提供能够实现上述智能货柜内货品识别方法中全部步骤的一种电子设备的具体实施方式，参见图9，所述电子设备具体包括如下内容：
处理器(processor)601、存储器(memory)602、通信接口(CommunicationsInterface)603和总线604；
其中，所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信；所述通信接口603用于实现服务器及智能货柜中各种设备之间的信息传输；
所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：接收目标智能货柜的货品识别指令。
步骤200：采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。
步骤300：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
步骤400：根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。
从上述描述可知，本发明的实施例提供的电子设备，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。
本发明的实施例四提供能够实现上述智能货柜内货品识别方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例一的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：接收目标智能货柜的货品识别指令。
步骤200：采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。
步骤300：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
步骤400：根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。
从上述描述可知，本发明的实施例提供的计算机可读存储介质，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。
本发明的实施例五提供能够一种智能货柜的具体实施方式，参见图10，所述智能货柜具体包括如下内容：
所述智能货柜与所述的电子设备通信，所述电子设备用于接收目标智能货柜的货品识别指令，采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品，以及对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。
在一种具体举例中，所述智能货柜中包括位移传感器、多个重量传感器和多个摄像头，一个智能货柜中一般均包含有多层货架，且各层货架的两侧及上方均可以设有多个摄像头，以保证每个智能货柜内的摄像头均能够采集到有当前目标智能货柜中的全部货品，同时，为了保证获取图像的清晰程度，每个摄像头上均可以对应的照明灯，所述货品识别指令发送单元可以为位移传感器，且位移传感器的两部分分别为设置在所述智能货柜的柜门上器件一以及设置在所述智能货柜内壁上靠近所述器件一的器件二，且各层货架的底端均设有至少一个重量传感器，且各个重量传感器均与服务器通信。
从上述描述可知，本发明的实施例提供的智能货柜，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。
在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (14)
1.一种智能货柜内货品识别方法，其特征在于，所述货品识别方法包括：
接收目标智能货柜的货品识别指令；
采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，包括：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品；其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；
以及，对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；
根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值，其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系；根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量。
2.根据权利要求1所述的货品识别方法，其特征在于，所述智能货柜内货品识别方法还包括：
基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新该目标智能货柜的货品实时信息。
3.根据权利要求1所述的货品识别方法，其特征在于，所述接收目标智能货柜的货品识别指令包括：
接收针对所述目标智能货柜的用户身份识别信息或交易信息；
向所述目标智能货柜发送柜门开启指令，使得所述目标智能货柜根据该柜门开启指令开启柜门的门锁；
以及，接收所述目标智能货柜在柜门开启再关闭后发送的货品识别指令。
4.根据权利要求3所述的货品识别方法，其特征在于，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：
接收用户通过用终端设备以扫描二维码的方式连接进入所述目标智能货柜对应的应用APP后，在该应用APP中发送的用户身份识别信息或交易信息；
其中，所述二维码设置在所述目标智能货柜的外壁上。
5.根据权利要求3所述的货品识别方法，其特征在于，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：
接收以人脸图像识别的方式获取的用户身份识别信息或交易信息；
其中，所述人脸图像识别的方式包括：通过设置在所述目标智能货柜的外壁上的图像采集设备获取位于所述目标智能货柜外的用户的人脸图像，并对该人脸图像进行人脸图像识别。
6.根据权利要求1所述的货品识别方法，其特征在于，所述对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，包括：
对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的图像特征；
以及，根据所述货品的图像特征和预设的货品图像特征库，确定所述目标智能货柜中数量发生变化的货品的类型；
其中，所述货品图像特征库中存储有货品的类型和图像特征之间的对应关系。
7.根据权利要求1所述的货品识别方法，其特征在于，所述根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：
若所述各类货品的数量初值为整数，则直接将该数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；
若所述各类货品的数量初值为非整数，则根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量。
8.根据权利要求7所述的货品识别方法，其特征在于，所述根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：
判断所述数量初值的小数部分的数值是否处于允许误差范围内；
若是，则将该数量初值进行四舍五入，并将四舍五入后的值确定所述目标智能货柜中数量发生变化的各类货品的数量；
若否，则向用户的终端设备发送货品确认指令。
9.根据权利要求2所述的货品识别方法，其特征在于，所述更新该目标智能货柜的货品实时信息，包括：
在所述目标智能货柜对应的应用APP中更新该目标智能货柜的货品实时信息。
10.根据权利要求1所述的货品识别方法，其特征在于，所述货品识别方法还包括：
若检测获知所述目标智能货柜中的某类货品的数量低于对应的补货阈值，则向补货人员的终端设备发送补货告知信息。
11.一种智能货柜内货品识别系统，其特征在于，所述货品识别系统包括：
货品识别指令接收模块，用于接收目标智能货柜的货品识别指令；
图像及重量采集模块，用于采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，包括：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品；其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；
增减货品类型识别模块，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；
增减货品数量识别模块，用于根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值，其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系；根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任一项所述智能货柜内货品识别方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10任一项所述智能货柜内货品识别方法的步骤。
14.一种智能货柜，其特征在于，所述智能货柜与权利要求12所述的电子设备通信。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810260476.7A CN108549851B (zh) | 2018-03-27 | 2018-03-27 | 智能货柜内货品识别方法及装置、智能货柜 |
| PCT/CN2019/076408 WO2019184646A1 (zh) | 2018-03-27 | 2019-02-28 | 货品识别方法及装置、货柜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810260476.7A CN108549851B (zh) | 2018-03-27 | 2018-03-27 | 智能货柜内货品识别方法及装置、智能货柜 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108549851A CN108549851A (zh) | 2018-09-18 |
| CN108549851B true CN108549851B (zh) | 2020-08-25 |
Family
ID=63517305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810260476.7A Active CN108549851B (zh) | 2018-03-27 | 2018-03-27 | 智能货柜内货品识别方法及装置、智能货柜 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN108549851B (zh) |
| WO (1) | WO2019184646A1 (zh) |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108549851B (zh) * | 2018-03-27 | 2020-08-25 | 合肥美的智能科技有限公司 | 智能货柜内货品识别方法及装置、智能货柜 |
| CN109345735A (zh) * | 2018-10-12 | 2019-02-15 | 南京理工大学 | 一种无人售货机商品识别方法及系统 |
| CN109615774B (zh) * | 2018-10-16 | 2021-05-18 | 浙江工业大学 | 一种食品自动售卖装置的员工补货方法 |
| CN109243096A (zh) * | 2018-10-26 | 2019-01-18 | 虫极科技（北京）有限公司 | 一种智能货柜及确定拿取商品的方法 |
| CN109299061B (zh) * | 2018-10-26 | 2022-08-09 | 浪潮金融信息技术有限公司 | 一种自助售货平台的三维向量式货道标识合并方法 |
| CN109671227B (zh) * | 2018-11-13 | 2024-04-26 | 达闼机器人股份有限公司 | 智能货柜消费行为识别方法、装置、存储介质和电子设备 |
| CN109410435B (zh) * | 2018-12-01 | 2021-08-31 | 深圳市润隆实业有限公司 | 一种关于积分商城的智能货柜 |
| CN109658030B (zh) * | 2018-12-14 | 2023-04-11 | 合肥美的智能科技有限公司 | 上货方法、系统、服务器及计算机可读存储介质 |
| CN109785503A (zh) * | 2018-12-18 | 2019-05-21 | 创新奇智(重庆)科技有限公司 | 一种无人货柜售卖物品的检测方法、检测装置及检测系统 |
| CN109711498B (zh) * | 2018-12-26 | 2022-09-06 | 北京旷视科技有限公司 | 目标对象的行为预测方法、装置、处理设备及智能置物架 |
| CN109767559A (zh) * | 2019-01-21 | 2019-05-17 | 深圳市智莱科技股份有限公司 | 自动售卖设备的货道定义的方法 |
| CN109886169B (zh) * | 2019-02-01 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 应用于无人货柜的物品识别方法、装置、设备及存储介质 |
| CN111582893A (zh) * | 2019-02-15 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 一种货品信息处理方法和智能货架 |
| CN109816904B (zh) * | 2019-03-25 | 2021-01-19 | 上海京东到家元信信息技术有限公司 | 一种智能货柜图像风控系统 |
| CN110084649A (zh) * | 2019-04-29 | 2019-08-02 | 深圳正品创想科技有限公司 | 智能售货机信息处理方法及其装置、服务器 |
| CN110264628A (zh) * | 2019-06-06 | 2019-09-20 | 上海上湖信息技术有限公司 | 货物识别方法及装置、智能货柜、可读存储介质 |
| CN110288767A (zh) * | 2019-06-28 | 2019-09-27 | 深圳市元征科技股份有限公司 | 一种零配件管理方法、系统及电子设备和存储介质 |
| CN110472486B (zh) * | 2019-07-03 | 2021-05-11 | 北京三快在线科技有限公司 | 一种货架障碍物识别方法、装置、设备及可读存储介质 |
| CN112308869A (zh) * | 2019-07-30 | 2021-02-02 | 阿里巴巴集团控股有限公司 | 图像采集方法、装置、电子设备及计算机存储介质 |
| CN112466035B (zh) * | 2019-09-06 | 2022-08-12 | 图灵通诺（北京）科技有限公司 | 基于视觉和重力感应的商品识别方法、装置和系统 |
| CN111783513A (zh) * | 2019-11-18 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 货物补充方法、装置和系统 |
| CN110853235B (zh) * | 2019-11-21 | 2021-08-10 | 浙江星星冷链集成股份有限公司 | 一种上货方法以及售货机的销售方法 |
| CN110991367A (zh) * | 2019-12-09 | 2020-04-10 | 上海扩博智能技术有限公司 | 采集货柜商品售卖信息的方法、系统、设备和存储介质 |
| CN110942050A (zh) * | 2019-12-20 | 2020-03-31 | 华南理工大学 | 一种基于图像处理的自动售卖机商品识别系统 |
| CN111144871B (zh) * | 2019-12-25 | 2022-10-14 | 创新奇智(合肥)科技有限公司 | 一种基于重量讯息修正图像识别结果的方法 |
| CN111258883B (zh) * | 2020-01-07 | 2023-05-16 | 创新奇智(合肥)科技有限公司 | 基于sku图像识别的算法模型测试方法及测试系统 |
| CN111339887B (zh) * | 2020-02-20 | 2023-07-21 | 达闼机器人股份有限公司 | 商品识别方法及智能货柜系统 |
| CN111444796B (zh) * | 2020-03-13 | 2023-05-02 | 达闼机器人股份有限公司 | 售货机器人的商品摆放判断方法及装置 |
| CN113468914B (zh) * | 2020-03-30 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种商品纯净度的确定方法、装置及设备 |
| CN111539670A (zh) * | 2020-04-24 | 2020-08-14 | 无锡创思感知科技有限公司 | 无人商店的补货方法 |
| CN113627418B (zh) * | 2020-05-07 | 2023-08-25 | 杭州海康威视数字技术股份有限公司 | 数据管理方法、计算机设备及计算机可读存储介质 |
| CN111428822A (zh) * | 2020-05-19 | 2020-07-17 | 南京鱼羊智能科技有限公司 | 物品识别方法、装置及设备、智能货柜、智能货柜系统 |
| CN113837676A (zh) * | 2020-06-24 | 2021-12-24 | 阿里巴巴集团控股有限公司 | 取货方法、设备以及计算机可读介质 |
| CN111913455B (zh) * | 2020-08-13 | 2022-12-09 | 苏州华拓生物科技有限公司 | 一种生物安全实验室智能综合控制系统 |
| CN111915264A (zh) * | 2020-08-17 | 2020-11-10 | 北京京东振世信息技术有限公司 | 物料的处理方法和装置 |
| CN112562182A (zh) * | 2020-12-07 | 2021-03-26 | 四川虹美智能科技有限公司 | 识别从无人售卖机中取出的商品的方法和装置 |
| CN112734446A (zh) * | 2020-12-31 | 2021-04-30 | 北京每日优鲜电子商务有限公司 | 基于视觉和重力检测的商品验证方法和装置 |
| CN113033286B (zh) * | 2021-01-28 | 2024-02-27 | 上海耳序信息技术有限公司 | 一种货柜内商品的识别方法及装置 |
| CN112950842A (zh) * | 2021-02-02 | 2021-06-11 | 上海蚁聚智能系统有限公司 | 一种开放式智能零售终端 |
| CN113111801A (zh) * | 2021-04-19 | 2021-07-13 | 北京每日优鲜电子商务有限公司 | 自动售货机的货品校验方法、设备和存储介质 |
| CN113095762B (zh) * | 2021-04-28 | 2023-10-17 | 杭州海康威视数字技术股份有限公司 | 对象处理方法及装置 |
| CN113487262A (zh) * | 2021-07-12 | 2021-10-08 | 深圳市坤同智能仓储科技有限公司 | 一种基于图像识别的智能货架物料管理系统及方法 |
| CN113706068A (zh) * | 2021-07-15 | 2021-11-26 | 合肥美的智能科技有限公司 | 配货状态确定方法及装置 |
| CN113313904B (zh) * | 2021-07-29 | 2021-11-02 | 深圳市轻生活科技有限公司 | 一种基于5g网络实现智能商铺报警的方法及系统 |
| CN113628385A (zh) * | 2021-10-14 | 2021-11-09 | 江苏润锦数据服务有限公司 | 基于压力传感器判断商品状态的自动售货机 |
| CN113989979A (zh) * | 2021-10-29 | 2022-01-28 | 元气森林(北京)食品科技集团有限公司 | 智能柜及其物品管理方法、电子设备、介质、产品 |
| CN114333146A (zh) * | 2021-12-31 | 2022-04-12 | 元气森林(北京)食品科技集团有限公司 | 一种展示柜、展示柜信息采集方法及存储介质 |
| CN114092694B (zh) * | 2022-01-20 | 2022-05-10 | 深圳爱莫科技有限公司 | 一种包/条烟盒连续陈列自动识别方法 |
| CN114399858A (zh) * | 2022-01-24 | 2022-04-26 | 元气森林(北京)食品科技集团有限公司 | 智能陈列柜及其控制方法、电子设备、介质、产品 |
| CN114419798A (zh) * | 2022-01-25 | 2022-04-29 | 上海蜜罐科技有限公司 | 快递柜开门指示方法及系统 |
| CN115171282A (zh) * | 2022-06-21 | 2022-10-11 | 廖璐璐 | 一种基于ai技术的智能便利餐柜 |
| CN114999060A (zh) * | 2022-06-27 | 2022-09-02 | 河南云迹智能技术有限公司 | 一种货柜识别系统及方法 |
| CN115099752B (zh) * | 2022-07-18 | 2023-08-15 | 融讯伟业（北京）科技有限公司 | 一种基于视觉识别的商品盘点方法及装置 |
| CN116777348A (zh) * | 2023-06-21 | 2023-09-19 | 深圳市昂捷信息技术股份有限公司 | 智能货架管理方法、装置、设备及存储介质 |
| CN116923944B (zh) * | 2023-09-11 | 2024-01-05 | 北京大学 | 一种基于视觉识别的前置仓配货机器人 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106441537A (zh) * | 2016-09-08 | 2017-02-22 | 蝶和科技（中国）有限公司 | 一种称重货架的称重方法以及使用该方法的货架 |
| CN106779550A (zh) * | 2016-12-09 | 2017-05-31 | 贵州西南工具(集团)有限公司 | 一种智能仓储设备的控制系统及方法 |
| CN107657736A (zh) * | 2017-10-23 | 2018-02-02 | 王三勇 | 一种开放式蔬菜瓜果智能售卖机 |
| CN107833365A (zh) * | 2017-11-29 | 2018-03-23 | 武汉市哈哈便利科技有限公司 | 一种重力感应和图像识别双控的无人售货系统 |
| CN108549851B (zh) * | 2018-03-27 | 2020-08-25 | 合肥美的智能科技有限公司 | 智能货柜内货品识别方法及装置、智能货柜 |
-
2018
- 2018-03-27 CN CN201810260476.7A patent/CN108549851B/zh active Active
-
2019
- 2019-02-28 WO PCT/CN2019/076408 patent/WO2019184646A1/zh active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019184646A1 (zh) | 2019-10-03 |
| CN108549851A (zh) | 2018-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108549851B (zh) | 智能货柜内货品识别方法及装置、智能货柜 | |
| CN108922026B (zh) | 一种自动售货机的补货管理方法、装置和用户终端 | |
| CN108389315B (zh) | 物品识别方法和装置以及计算机可读存储介质 | |
| CN108875664B (zh) | 选购商品的识别方法、装置以及售货机 | |
| CN108846621B (zh) | 一种基于策略模块的库存管理系统 | |
| US20220270063A1 (en) | Produce and bulk good management within an automated shopping environment | |
| CN107016810B (zh) | 一种自助减量称重计费系统及自助减量称重计费方法 | |
| CN108460908A (zh) | 自动售货方法和系统以及自动售货装置和自动贩售机 | |
| CA3040843A1 (en) | An automatic in-store registration system | |
| CN111080493B (zh) | 一种菜品信息识别方法、装置及菜品自助结算系统 | |
| CN110853235B (zh) | 一种上货方法以及售货机的销售方法 | |
| CN109584482A (zh) | 一种自助称重售餐平台和系统 | |
| CN109584479A (zh) | 一种自助称重售餐平台和系统 | |
| CN110837824B (zh) | 用于售货装置中的商品识别方法、售货装置及存储介质 | |
| CN112007865A (zh) | 入库分拣方法、入库分拣装置、电子设备及存储介质 | |
| CN114743307A (zh) | 智能货柜的商品识别方法、装置、电子设备及存储介质 | |
| CN110349358B (zh) | 基于健康管理的餐饮结算方法、装置、终端及可读介质 | |
| CN111832988B (zh) | 基于机器人的分区拣货方法、装置、设备及存储介质 | |
| CN112530086A (zh) | 自动售货柜及其商品sku计算方法、系统以及远程服务器 | |
| CN110533380A (zh) | 一种生鲜盘点系统及其盘点方法 | |
| CN109584480A (zh) | 一种自助称重售餐平台和系统 | |
| CN209265614U (zh) | 一种自助称重售餐平台和系统 | |
| CN209265612U (zh) | 一种自助称重售餐平台和系统 | |
| CN112819540A (zh) | 预测售货机商品销量方法及装置、计算机可读存储介质 | |
| CN111126322A (zh) | 应用于无人售货装置的物品识别方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |