CN108831017A - 智能售货装置及方法 - Google Patents
智能售货装置及方法 Download PDFInfo
- Publication number
- CN108831017A CN108831017A CN201810875451.8A CN201810875451A CN108831017A CN 108831017 A CN108831017 A CN 108831017A CN 201810875451 A CN201810875451 A CN 201810875451A CN 108831017 A CN108831017 A CN 108831017A
- Authority
- CN
- China
- Prior art keywords
- information
- goods
- processor
- integrated development
- development board
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000005484 gravity Effects 0.000 claims abstract description 100
- 238000011161 development Methods 0.000 claims abstract description 56
- 238000012795 verification Methods 0.000 claims abstract description 40
- 238000005192 partition Methods 0.000 claims abstract description 37
- 238000004891 communication Methods 0.000 claims description 15
- 238000005286 illumination Methods 0.000 claims description 11
- 238000012856 packing Methods 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/002—Vending machines being part of a centrally controlled network of vending machines
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/006—Details of the software used for the vending machines
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种智能售货装置及方法，该装置包括：货柜本体、以及设置在货柜本体内部的至少一层置物隔板，并且，货柜本体的内部进一步设置有：图像采集器、重力传感器、集成开发板、以及处理器；图像采集器与集成开发板的第一端相连，用于将采集到的图像信息传输至集成开发板；重力传感器设置在至少一层置物隔板上、与集成开发板的第二端相连，用于将采集到的重力感应信息传输至集成开发板；集成开发板的第三端与处理器相连，用于将接收到的图像信息以及重力感应信息提供给处理器；处理器，用于在根据图像信息以及重力感应信息判断出货柜本体内的货品被取出时，生成订单核实消息。该方式基于重力识别结果进行校验，降低了误判率。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种智能售货装置及方法。
背景技术
近年来，新零售模式得到了空前发展。所谓“新零售”主要是指：企业以互联网为依托，通过运用大数据、人工智能等先进技术手段，对商品的生产、流通与销售过程进行升级改造，进而重塑业态结构与生态圈，并对线上服务、线下体验以及现代物流进行深度融合的零售新模式。
目前，为了满足新零售的需求，并节约人力成本，很多设备制造企业对无人零售场景提出了很多解决方案：例如，在开放式货架方案中，将货物有序地摆放在货架上，贴上价格，全靠用户自觉地在拿走货物后自动扫码完成支付，然而这种方式的货损率很高。又如，在货柜扫码识别方案中，用户必须先用手机扫码，先支付再出物品，该方式虽解决了货损率，但是在购物体验上很差，一次只能购买一件物品，在货物的安排上也只能摆放单调的简单货品。再如，在货柜视觉识别方案中，能够基于图像识别判断被取出的货品并生成订单，但是图像识别的方式对于精度要求较高、且识别过程较慢，容易出现误识别，同时计算成本较高。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的智能售货装置及方法。
根据本发明的一个方面，提供了一种智能售货装置，包括：货柜本体、以及设置在所述货柜本体内部的至少一层置物隔板，并且，所述货柜本体的内部进一步设置有：图像采集器、重力传感器、集成开发板、以及处理器；其中，所述图像采集器与所述集成开发板的第一端相连，用于将采集到的图像信息传输至所述集成开发板；所述重力传感器设置在所述至少一层置物隔板上、与所述集成开发板的第二端相连，用于将采集到的重力感应信息传输至所述集成开发板；所述集成开发板的第三端与所述处理器相连，用于将接收到的所述图像信息以及所述重力感应信息提供给所述处理器；所述处理器，与所述集成开发板的第三端相连，用于在根据所述图像信息以及所述重力感应信息判断出所述货柜本体内的货品被取出时，生成用于提示用户付款的订单核实消息。
可选地，所述至少一层置物隔板具有与货品接触的第一侧表面以及与货品非接触的第二侧表面，则所述图像采集器设置在所述至少一层置物隔板的第二侧表面上，所述重力传感器设置在所述至少一层置物隔板的第一侧表面上。
可选地，所述装置进一步包括：照明部件，与所述集成开发板的第四端相连，用于根据所述集成开发板的控制进行照明。
可选地，所述至少一层置物隔板具有与货品接触的第一侧表面以及与货品非接触的第二侧表面，所述照明部件包括：设置在所述至少一层置物隔板的第一侧表面或第二侧表面的至少两条相互平行的条形灯带。
可选地，所述至少一层置物隔板具有朝向用户的第一侧边以及背向用户的第二侧边，所述照明部件包括：沿所述第一侧边设置的第一灯带、和/或沿所述第二侧边设置的第二灯带。
可选地，所述至少一层置物隔板为具有四个顶点的矩形隔板，所述照明部件包括：分别设置在所述四个顶点对应的位置的四个点光源；和/或，所述照明部件包括：设置在所述矩形隔板的中心区域的面光源。
可选地，所述至少一层置物隔板上设置有至少一排透光孔，所述照明部件包括：沿所述至少一排透光孔设置的至少一个条形灯带。
可选地，所述装置进一步包括：生物特征识别部件、以及门禁开关；其中，
所述生物特征识别部件设置在所述货柜本体上，与所述处理器相连，用于将采集到的当前用户的生物特征信息传输至所述处理器，以供所述处理器确定当前用户的身份合法时向所述集成开发板发送开门指令；
所述门禁开关，与所述集成开发板的第五端相连，用于根据所述集成开发板转发的所述开门指令控制货柜门打开。
可选地，所述生物特征识别部件包括：人脸识别部件、和/或虹膜识别部件。
可选地，所述集成开发板进一步用于：在检测到所述门禁开关触发的关门指令时，将所述关门指令转发给所述处理器，以供所述处理器根据所述关门指令生成所述订单核实消息。
依据本发明的又一方面，提供了一种基于上述的智能售货装置的智能售货方法，包括：当重力传感器采集到的重力感应信息的变化量符合预设触发条件时，根据所述重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息进行校验；当校验结果为成功时，根据所述重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息确定对应的货品信息；根据所述货品信息生成用于提示用户付款的订单核实消息。
可选地，所述预设触发条件包括：重力感应信息的变化量为负值，且所述变化量的绝对值超过预设数值。
可选地，所述根据所述重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息进行校验的步骤具体包括：
确定与所述重力传感器采集到的重力感应信息相对应的货品重力信息；
确定与所述图像采集器采集到的图像信息相对应的货品图像信息；
判断所述货品重力信息与所述货品图像信息是否对应于相同的货品，若是，则确定校验通过。
可选地，所述判断所述货品重力信息与所述货品图像信息是否对应于相同的货品的步骤具体包括：根据预先存储的货品稳定态信息获取上一次生成订单核实消息时所对应的货品陈列状态，结合所述上一次生成订单核实消息时所对应的货品陈列状态判断所述货品重力信息与所述货品图像信息是否对应于相同的货品；
并且，所述根据所述货品信息生成用于提示用户付款的订单核实消息的步骤之后，进一步包括：根据本次生成的订单核实消息更新所述预先存储的货品稳定态信息。
可选地，所述方法执行之前，进一步包括：预先获取并存储各个已注册用户的生物特征信息以及用户账号；
采集当前用户的生物特征信息，当判断出当前用户的生物特征信息与已注册用户的生物特征信息匹配时，向门禁开关发送开门指令；
并且，所述根据所述货品信息生成用于提示用户付款的订单核实消息的步骤的之后，进一步包括：向与所述当前用户的生物特征信息匹配的已注册用户的用户账号发送所述订单核实消息。
依据本发明的又一方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述的智能售货方法对应的操作。
依据本发明的又一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述的智能售货方法对应的操作。
根据本发明公开的智能售货装置及方法，能够通过图像采集器采集图像信息，同时通过重力传感器采集重力感应信息，进而通过图像信息以及重力感应信息的组合实现取出货品的判断，与单纯的图像识别方案相比，能够基于重力识别结果进行校验，从而降低了误判率，提升了识别精度，改善了用户体验。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明一个实施例提供的一种智能售货装置的结构示意图；
图2示出了本发明另一个实施例提供的一种智能售货装置的结构示意图；
图3a示出了照明部件的第一种设置方式的示意图；
图3b示出了照明部件的第二种设置方式的示意图；
图3c示出了照明部件的第三种设置方式的示意图；
图3d示出了照明部件的第四种设置方式的示意图；
图3e示出了照明部件的第五种设置方式的示意图；
图4示出了本发明提供的一种基于上述智能售货装置的智能售货方法的流程图；
图5示出了根据本发明实施例的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明一个实施例提供的一种智能售货装置的结构示意图，如图1所示，包括：货柜本体10、以及设置在货柜本体内部的至少一层置物隔板(图中未示出)，并且，货柜本体10的内部进一步设置有：图像采集器101、重力传感器102、集成开发板103、以及处理器104。其中，图像采集器101与集成开发板103的第一端相连，用于将采集到的图像信息传输至集成开发板103；重力传感器102设置在至少一层置物隔板上、与集成开发板103的第二端相连，用于将采集到的重力感应信息传输至集成开发板103；集成开发板103的第三端与处理器104相连，用于将接收到的图像信息以及重力感应信息提供给处理器104；处理器104，与集成开发板103的第三端相连，用于在根据图像信息以及重力感应信息判断出货柜本体内的货品被取出时，生成用于提示用户付款的订单核实消息。
根据本发明公开的智能售货装置，能够通过图像采集器采集图像信息，同时通过重力传感器采集重力感应信息，进而通过图像信息以及重力感应信息的组合实现取出货品的判断，与单纯的图像识别方案相比，能够基于重力识别结果进行校验，从而降低了误判率，提升了识别精度，改善了用户体验。
图2示出了本发明另一个实施例提供的一种智能售货装置的结构示意图，如图2所示，包括：识别部件、处理器、摄像头、开发板以及重力传感器。其中，该识别部件具体为生物特征识别部件，用于识别用户的生物特征信息，该生物特征信息可以为人脸信息和/或虹膜信息。在本实施例中，该识别部件用于识别人脸信息。处理器可以为微型处理器，以便节约空间，便于安装。摄像头即为上文提到的图像采集器的一种具体形式。开发板即为上文提到的集成有多种功能的集成开发板。另外，图2中还示出了云服务器，用于与货柜本地的处理器进行通信。下面结合图2详细介绍智能售货装置的各个部分。
识别部件设置在货柜本体上，与处理器相连，用于将采集到的当前用户的生物特征信息传输至处理器，以供处理器确定当前用户的身份合法时向集成开发板发送开门指令。相应地，在货柜中进一步设置有门禁开关，该门禁开关与集成开发板的第五端相连，用于根据集成开发板转发的开门指令控制货柜门打开。具体地，该识别部件可以通过定制的PAD(Portable Device，便携式设备)实现，该PAD可同时提供人脸识别以及触屏功能。
处理器与识别部件相连，用于将识别部件采集的当前用户的生物特征信息与预先存储的已注册用户的生物特征信息进行比对，若比对成功，则确定当前用户的身份合法，继而向集成开发板发送开门指令。另外，处理器还进一步根据集成开发板获取的图像信息、重力感应信息进行取出货品的判断。
集成开发板是本发明中的重要部件，该集成开发板上设置有多个端，例如，与图像采集器相连的第一端、与重力传感器相连的第二端、与处理器相连的第三端、与照明部件相连的第四端、以及与门禁开关相连的第五端。通过集成开发板，能够实现高度集成、快速安装的有益效果。由此可见，本发明中通过具有多个端(包括输入端和输出端)集成开发板能够显著提升货柜的集成度，便于在狭小的货柜内安装复杂的控制元件。发明人在实现本发明的过程中发现：传统的门禁控制器大多都使用继电器，其存在着个体比较大、体积不够小巧的缺陷。考虑到本发明中的方案需要同时集成重力采集和门禁功能，以及灯光、温度等控制功能，因此，采用智能门禁开关来控制门禁。该智能门禁开关带有过载保护功能，与继电器相比更有优势。同时，将重力的模数转换模块也集成进了开发板，使得开发板拥有多种控制功能的同时，能够保持体积小、发热小、可靠度高等优点。
另外，上述的集成开发板进一步用于：在检测到门禁开关触发的关门指令时，将关门指令转发给处理器，以供处理器根据关门指令生成订单核实消息。也就是说，处理器只有在检测到货柜门关闭时才生成订单核实消息，以供用户付款，由此能够提升订单核实消息的准确性。比如，用户可能一次取出多个货品，在此过程中，处理器仅根据重力感应信息以及图像信息确定多个货品的信息，只有当检测到关门时才确定用户本次购物过程结束从而生成包含多个货品的订单核实消息。
为了便于实现重力感应以及图像采集的双重功能，本发明中的图像采集器与重力传感器的设置方式如下：至少一层置物隔板具有与货品接触的第一侧表面以及与货品非接触的第二侧表面，则图像采集器设置在至少一层置物隔板的第二侧表面上，重力传感器设置在至少一层置物隔板的第一侧表面上。具体地，实际情况中，置物隔板往往为多层，每层置物隔板用于放置货品的一侧表面即为与货品接触的第一侧表面，每层置物隔板中与第一侧表面相对的另一侧表面即为第二侧表面。由于多层置物隔板往往上下层叠设置，以实现多层置物的效果。因此，上层置物隔板的第二侧表面位于下层置物隔板的上方。相应地，将重力传感器设置在每层置物隔板的第一侧表面上，能够有效感应该层置物隔板所受到的压力，从而准确判断其上的货品是否被取出。将图像采集器设置在每层置物隔板的第二侧表面上，能够有效地对其下方的隔板上所放置的货品进行图像捕捉。当然，位于底层的置物隔板的第二侧表面可以不必设置图像采集器。另外，为了使捕获到的图像能够多角度地反映货品信息，还可以在货柜的多个位置分别设置图像采集器，从而实现全方位、多角度的图像采集效果。在本实施例中，可以采用定制的USB广角摄像头进行图像采集，以捕捉货品的增减。
另外，发明人在实现本发明的过程中发现：对于计算机视觉模型而言，质量较好且稳定的输入图像能显著提高模型判断的准确性和稳定性，而光照因素引起的光影变化是影响图像保持一致性的重要因素，因此构建一个相对稳定且有效的光照环境在本产品的开发中有着重要意义。本发明中构建稳定光照环境的措施主要有两点：首先，排除外界光源的干扰；其次，调制光源构造均匀柔和的内部环境。相应地，在本发明中，进一步包括：照明部件，与集成开发板的第四端相连，用于根据集成开发板的控制进行照明。其中，照明部件的设置方式可采用如下几种方式中的至少一种：
在第一种设置方式中，至少一层置物隔板具有与货品接触的第一侧表面以及与货品非接触的第二侧表面，则照明部件包括：设置在至少一层置物隔板的第一侧表面或第二侧表面的至少两条相互平行的条形灯带。图3a示出了照明部件的第一种设置方式的示意图，图3a为侧视图，在置物隔板的底部，即第二侧表面上设置有两条相互平行的LED灯带，以便对该隔板下方的隔板上的货品进行照明。当然，也可以在置物隔板的顶部，即第一侧表面上设置有两条相互平行的LED灯带，以便对该隔板上的货品进行照明。该方式能够实现顶部平行光源的效果。
在第二种设置方式中，至少一层置物隔板具有朝向用户的第一侧边以及背向用户的第二侧边，则照明部件包括：沿第一侧边设置的第一灯带、和/或沿第二侧边设置的第二灯带。图3b示出了照明部件的第二种设置方式的示意图，图3b为侧视图，在置物隔板的两侧，即第一侧边以及第二侧边上分别设置有两条灯带，以便对该隔板周围的货品进行照明。该方式能够实现两侧散射光源的效果。
在第三种设置方式中，至少一层置物隔板为具有四个顶点的矩形隔板，照明部件包括：分别设置在四个顶点对应的位置的四个点光源。图3c示出了照明部件的第三种设置方式的示意图，图3c为仰视图，在置物隔板的四个顶角处，分别设置有四个点光源，以便对该隔板周围的货品进行照明，该四个点光源可以设置的隔板的第一侧表面或第二侧表面上，优选设置在第二侧表面上，以便对下方货品照明。该方式能够实现顶部边缘散射光源的效果。
在第四种设置方式中，至少一层置物隔板为具有四个顶点的矩形隔板，照明部件包括：设置在矩形隔板的中心区域的面光源。图3d示出了照明部件的第四种设置方式的示意图，图3d为仰视图，在置物隔板的中心区域，设置有一个整体性的面光源，以便对该隔板周围的货品进行照明，该面光源可以设置在隔板的第二侧表面上。该方式能够实现顶部透光灯罩面光源的效果。
在第五种设置方式中，至少一层置物隔板上设置有至少一排透光孔，所述照明部件包括：沿所述至少一排透光孔设置的至少一个条形灯带(即图中的LED灯带)。图3e示出了照明部件的第五种设置方式的示意图，图3e为俯视图。在图中设置了两个相互平行的条形灯带，实际上还可以设置更多条，这些条形灯带可设置在隔板的第二侧表面上。该方式能够实现顶部小孔散射光源的效果。
上述的几种设置方式可单独使用，也可以结合使用，通过上述方式，能够提升照明效果，从而为图像识别提供可靠的光环境，有利于提升识别结果的精准性。
由此可见，在本发明提供的智能售货装置中，可通过如下流程进行购物：首先，用户扫脸，系统识别用户；如果刷脸失败，判断该用户是否注册会员。如果未注册，提示用户注册会员，并在注册会员成功后，上传照片(已存储该用户的人脸信息)，之后请重刷脸。当刷脸认证通过时，系统自动打开柜门，用户开启柜门开始自行购物，在用户购物的同时，重力传感器和图像采集器开始捕捉用户的购物行为。当用户购物完成后关闭柜门，系统识别用户所购产品，并自动结算，结算完成后将结果告知用户。
另外，上述智能售货装置中的各个部件均可通过硬件电路和/或硬件芯片等方式实现，本发明对其具体实现形式不做限定。
图4示出了本发明提供的一种基于上述智能售货装置的智能售货方法的流程图，如图4所示，该方法包括以下步骤：
步骤S400：预先获取并存储各个已注册用户的生物特征信息以及用户账号；采集当前用户的生物特征信息，当判断出当前用户的生物特征信息与已注册用户的生物特征信息匹配时，向门禁开关发送开门指令。
具体地，可以预先采集各个已注册用户的人脸信息以及用户账号，将人脸信息及其对应的用户账号关联存储，以便在后续过程中根据当前用户的人脸信息查询对应的已注册用户及其对应的用户账号，进而识别用户身份，为后续的购物环节提供基础。
步骤S410：当重力传感器采集到的重力感应信息的变化量符合预设触发条件时，根据重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息进行校验。
其中，预设触发条件包括：重力感应信息的变化量为负值，且变化量的绝对值超过预设数值。该预设触发条件的实质为：隔板上的货品被取出，从而使对应的重力传感器的数值降低。
具体地，在根据重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息进行校验时，可通过如下方式实现：确定与重力传感器采集到的重力感应信息相对应的货品重力信息；确定与图像采集器采集到的图像信息相对应的货品图像信息；判断货品重力信息与货品图像信息是否对应于相同的货品，若是，则确定校验通过。
其中，货品重力信息包括：根据重力感应信息确定的货品中与重力相关的信息，包括：货品质量、货品体积或底面积。货品图像信息包括：根据图像信息确定的货品中与图像相关的信息，包括：货品照片等。通过将货品重力信息与货品图像信息进行比对，能够确定其是否对应于相同的货品。
另外，在判断货品重力信息与货品图像信息是否对应于相同的货品时，进一步根据预先存储的货品稳定态信息获取上一次生成订单核实消息时所对应的货品陈列状态，结合上一次生成订单核实消息时所对应的货品陈列状态判断货品重力信息与货品图像信息是否对应于相同的货品。也就是说，在本发明中，每当生成订单核实消息时，即根据生成本次订单核实消息时所对应的货品陈列状态设置本次对应的货品稳定态信息。各次货品稳定态信息包括：该稳定态所对应的时间信息、该稳定态下各个货品的数量、名称、陈列位置等。根据该货品稳定态信息有助于持续维护货架上的货品的状态，从而为后续的结算提供便利。
步骤S420：当校验结果为成功时，根据重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息确定对应的货品信息。
其中，当校验结果为成功时，说明根据重力传感器采集到的重力感应信息与图像采集器采集到的图像信息相一致，从而确定被取出的货品的数量和名称。
步骤S430：根据货品信息生成用于提示用户付款的订单核实消息。
该订单核实消息用于提示用户付款。具体地，在本步骤中，还需要进一步根据本次生成的订单核实消息更新预先存储的货品稳定态信息。
步骤S440：向与当前用户的生物特征信息匹配的已注册用户的用户账号发送订单核实消息。
通过将订单核实消息发送至与当前用户的生物特征信息匹配的已注册用户的用户账号，能够准确地提示当前货柜前的用户实现付款操作。
由此可见，本发明中的方式主要由重力系统和视觉系统构成。重力系统持续运行，提供校验及触发器的功能。当重力发生变化时，摄像头和模型(即下文提到的深度学习模型)将进行推论。若重力结果与视觉结果不匹配，则继续进行推论；若重力系统与视觉结果匹配，则依据前一次稳定态与这一次的结果出订单，将本次结果置为稳定态，之后依据视觉结果矫正重力漂移。
综上可知，本发明利用了人脸识别技术，解决了用户扫码开门的不便利和不安全。同时，使用图像识别和重力识别相结合，保证了无人零售场景的误识别及货损问题，大大提高了无人零售的安全性和可靠性。用户购物过程中，采用重力采集和摄像头静态捕捉技术来识别用户的购物行为及计算用户所购物品，在用户关门的时候实时扣款，保证了良好的购物流程。
另外，为了提升识别结果的精确性，在本发明中，可以构建深度学习模型，以提升图像识别的准确度。例如，该深度学习模型可以采用深度学习以及静态图像和动态图像相结合的方式实现。所谓深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如人脸识别或商品识别等)，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。静态图像识别：基于商品在货柜里的静态画面进行图像识别，购买过程前后进行对比，来识别用户购买的商品。动态图像识别：基于用户拿出或拿入商品的过程行为进行图像识别，在这个过程中，会根据连续的图像识别来判定用户意图(是放下还是拿走)及相应的商品。
基于深度学习的图像识别技术主要以图像所表现的特征为基础，每个图像都有它的特征，如字母A有个尖，P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大。而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息，抽出关键的信息。同时，在大脑里必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。在人类图像识别系统中，对复杂图像的识别往往要通过不同层次的信息加工才能实现。对于熟悉的图形，由于掌握了它的主要特征，就会把它当作一个单元来识别，而不再注意它的细节了。这种由孤立的单元材料组成的整体单位叫做组块，每一个组块是同时被感知的。在文字材料的识别中，人们不仅可以把一个汉字的笔划或偏旁等单元组成一个组块，而且能把经常在一起出现的字或词组成组块单位来加以识别。
本申请实施例提供了一种非易失性计算机存储介质，计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的智能售货方法。
图5示出了根据本发明实施例的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图5所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：
处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述智能售货方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行上述智能售货方法所对应的各项操作。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的智能售货装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (17)
1.一种智能售货装置，包括：货柜本体、以及设置在所述货柜本体内部的至少一层置物隔板，并且，所述货柜本体的内部进一步设置有：图像采集器、重力传感器、集成开发板、以及处理器；其中，
所述图像采集器与所述集成开发板的第一端相连，用于将采集到的图像信息传输至所述集成开发板；
所述重力传感器设置在所述至少一层置物隔板上、与所述集成开发板的第二端相连，用于将采集到的重力感应信息传输至所述集成开发板；
所述集成开发板的第三端与所述处理器相连，用于将接收到的所述图像信息以及所述重力感应信息提供给所述处理器；
所述处理器，与所述集成开发板的第三端相连，用于在根据所述图像信息以及所述重力感应信息判断出所述货柜本体内的货品被取出时，生成用于提示用户付款的订单核实消息。
2.根据权利要求1所述的装置，其中，所述至少一层置物隔板具有与货品接触的第一侧表面以及与货品非接触的第二侧表面，则所述图像采集器设置在所述至少一层置物隔板的第二侧表面上，所述重力传感器设置在所述至少一层置物隔板的第一侧表面上。
3.根据权利要求1所述的装置，其中，所述装置进一步包括：照明部件，与所述集成开发板的第四端相连，用于根据所述集成开发板的控制进行照明。
4.根据权利要求3所述的装置，其中，所述至少一层置物隔板具有与货品接触的第一侧表面以及与货品非接触的第二侧表面，所述照明部件包括：设置在所述至少一层置物隔板的第一侧表面或第二侧表面的至少两条相互平行的条形灯带。
5.根据权利要求3所述的装置，其中，所述至少一层置物隔板具有朝向用户的第一侧边以及背向用户的第二侧边，所述照明部件包括：沿所述第一侧边设置的第一灯带、和/或沿所述第二侧边设置的第二灯带。
6.根据权利要求3所述的装置，其中，所述至少一层置物隔板为具有四个顶点的矩形隔板，所述照明部件包括：分别设置在所述四个顶点对应的位置的四个点光源；和/或，所述照明部件包括：设置在所述矩形隔板的中心区域的面光源。
7.根据权利要求3所述的装置，其中，所述至少一层置物隔板上设置有至少一排透光孔，所述照明部件包括：沿所述至少一排透光孔设置的至少一个条形灯带。
8.根据权利要求1所述的装置，其中，所述装置进一步包括：生物特征识别部件、以及门禁开关；其中，
所述生物特征识别部件设置在所述货柜本体上，与所述处理器相连，用于将采集到的当前用户的生物特征信息传输至所述处理器，以供所述处理器确定当前用户的身份合法时向所述集成开发板发送开门指令；
所述门禁开关，与所述集成开发板的第五端相连，用于根据所述集成开发板转发的所述开门指令控制货柜门打开。
9.根据权利要求8所述的装置，其中，所述生物特征识别部件包括：人脸识别部件、和/或虹膜识别部件。
10.根据权利要求8所述的装置，其中，所述集成开发板进一步用于：在检测到所述门禁开关触发的关门指令时，将所述关门指令转发给所述处理器，以供所述处理器根据所述关门指令生成所述订单核实消息。
11.一种基于权利要求1-10任一所述的智能售货装置的智能售货方法，包括：
当重力传感器采集到的重力感应信息的变化量符合预设触发条件时，根据所述重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息进行校验；
当校验结果为成功时，根据所述重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息确定对应的货品信息；
根据所述货品信息生成用于提示用户付款的订单核实消息。
12.根据权利要求11所述的方法，其中，所述预设触发条件包括：重力感应信息的变化量为负值，且所述变化量的绝对值超过预设数值。
13.根据权利要求11所述的方法，其中，所述根据所述重力传感器采集到的重力感应信息以及图像采集器采集到的图像信息进行校验的步骤具体包括：
确定与所述重力传感器采集到的重力感应信息相对应的货品重力信息；
确定与所述图像采集器采集到的图像信息相对应的货品图像信息；
判断所述货品重力信息与所述货品图像信息是否对应于相同的货品，若是，则确定校验通过。
14.根据权利要求13所述的方法，其中，所述判断所述货品重力信息与所述货品图像信息是否对应于相同的货品的步骤具体包括：根据预先存储的货品稳定态信息获取上一次生成订单核实消息时所对应的货品陈列状态，结合所述上一次生成订单核实消息时所对应的货品陈列状态判断所述货品重力信息与所述货品图像信息是否对应于相同的货品；
并且，所述根据所述货品信息生成用于提示用户付款的订单核实消息的步骤之后，进一步包括：根据本次生成的订单核实消息更新所述预先存储的货品稳定态信息。
15.根据权利要求11所述的方法，其中，所述方法执行之前，进一步包括：预先获取并存储各个已注册用户的生物特征信息以及用户账号；
采集当前用户的生物特征信息，当判断出当前用户的生物特征信息与已注册用户的生物特征信息匹配时，向门禁开关发送开门指令；
并且，所述根据所述货品信息生成用于提示用户付款的订单核实消息的步骤的之后，进一步包括：向与所述当前用户的生物特征信息匹配的已注册用户的用户账号发送所述订单核实消息。
16.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求11-15中任一项所述的智能售货方法对应的操作。
17.一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如权利要求11-15中任一项所述的智能售货方法对应的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810875451.8A CN108831017A (zh) | 2018-08-03 | 2018-08-03 | 智能售货装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810875451.8A CN108831017A (zh) | 2018-08-03 | 2018-08-03 | 智能售货装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108831017A true CN108831017A (zh) | 2018-11-16 |
Family
ID=64152628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810875451.8A Pending CN108831017A (zh) | 2018-08-03 | 2018-08-03 | 智能售货装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108831017A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767556A (zh) * | 2018-12-25 | 2019-05-17 | 苏宁易购集团股份有限公司 | 一种移动售货的方法及机器设备 |
| CN109886169A (zh) * | 2019-02-01 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 应用于无人货柜的物品识别方法、装置、设备及存储介质 |
| CN109887161A (zh) * | 2019-01-19 | 2019-06-14 | 创新奇智(合肥)科技有限公司 | 一种无人售货柜防盗方法、系统及具有防盗功能的无人售货柜 |
| CN110046956A (zh) * | 2019-03-20 | 2019-07-23 | 上海拉扎斯信息科技有限公司 | 订单处理方法、装置、服务器及存储介质 |
| CN110047197A (zh) * | 2019-01-24 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、设备、介质以及装置 |
| CN110443949A (zh) * | 2019-08-14 | 2019-11-12 | 北京卓因达科技有限公司 | 基于图像识别的自动售货机出货方法及装置 |
| CN111815867A (zh) * | 2020-07-08 | 2020-10-23 | 合肥美的智能科技有限公司 | 储物柜的结算处理方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002304668A (ja) * | 2001-04-06 | 2002-10-18 | Omron Corp | 写真シール自動販売機メンテナンス方法及び写真シール自動販売機 |
| JP2008129997A (ja) * | 2006-11-24 | 2008-06-05 | Sanden Corp | 自動販売機の商品サンプル照明装置 |
| US20100100236A1 (en) * | 2008-10-20 | 2010-04-22 | Utique Inc. | Vending machines with lighting interactivity and item-based lighting systems for retail display and automated retail stores |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN108335406A (zh) * | 2018-02-08 | 2018-07-27 | 合肥美的智能科技有限公司 | 无人售货设备及其售货方法和无人售货系统 |
| CN208673426U (zh) * | 2018-08-03 | 2019-03-29 | 杭州比智科技有限公司 | 智能售货装置 |
-
2018
- 2018-08-03 CN CN201810875451.8A patent/CN108831017A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002304668A (ja) * | 2001-04-06 | 2002-10-18 | Omron Corp | 写真シール自動販売機メンテナンス方法及び写真シール自動販売機 |
| JP2008129997A (ja) * | 2006-11-24 | 2008-06-05 | Sanden Corp | 自動販売機の商品サンプル照明装置 |
| US20100100236A1 (en) * | 2008-10-20 | 2010-04-22 | Utique Inc. | Vending machines with lighting interactivity and item-based lighting systems for retail display and automated retail stores |
| CN106781014A (zh) * | 2017-01-24 | 2017-05-31 | 广州市蚁道互联网有限公司 | 自动售货机及其运行方法 |
| CN108335406A (zh) * | 2018-02-08 | 2018-07-27 | 合肥美的智能科技有限公司 | 无人售货设备及其售货方法和无人售货系统 |
| CN208673426U (zh) * | 2018-08-03 | 2019-03-29 | 杭州比智科技有限公司 | 智能售货装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767556A (zh) * | 2018-12-25 | 2019-05-17 | 苏宁易购集团股份有限公司 | 一种移动售货的方法及机器设备 |
| CN109887161A (zh) * | 2019-01-19 | 2019-06-14 | 创新奇智(合肥)科技有限公司 | 一种无人售货柜防盗方法、系统及具有防盗功能的无人售货柜 |
| CN110047197A (zh) * | 2019-01-24 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、设备、介质以及装置 |
| CN109886169A (zh) * | 2019-02-01 | 2019-06-14 | 腾讯科技（深圳）有限公司 | 应用于无人货柜的物品识别方法、装置、设备及存储介质 |
| CN109886169B (zh) * | 2019-02-01 | 2022-11-22 | 腾讯科技（深圳）有限公司 | 应用于无人货柜的物品识别方法、装置、设备及存储介质 |
| CN110046956A (zh) * | 2019-03-20 | 2019-07-23 | 上海拉扎斯信息科技有限公司 | 订单处理方法、装置、服务器及存储介质 |
| CN110046956B (zh) * | 2019-03-20 | 2020-08-11 | 上海拉扎斯信息科技有限公司 | 订单处理方法、装置、服务器及存储介质 |
| WO2020186981A1 (zh) * | 2019-03-20 | 2020-09-24 | 上海拉扎斯信息科技有限公司 | 订单处理方法、装置、服务器及存储介质 |
| CN110443949A (zh) * | 2019-08-14 | 2019-11-12 | 北京卓因达科技有限公司 | 基于图像识别的自动售货机出货方法及装置 |
| CN111815867A (zh) * | 2020-07-08 | 2020-10-23 | 合肥美的智能科技有限公司 | 储物柜的结算处理方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108831017A (zh) | 智能售货装置及方法 | |
| US11638490B2 (en) | Method and device for identifying product purchased by user and intelligent shelf system | |
| CN108922026B (zh) | 一种自动售货机的补货管理方法、装置和用户终端 | |
| CN109166007A (zh) | 一种基于自动售货机的商品推荐方法及其装置 | |
| RU2739542C1 (ru) | Система автоматической регистрации для торговой точки | |
| WO2020037933A1 (zh) | 一种无人自动售货机 | |
| CN207624039U (zh) | 一种售货系统 | |
| CN108647671B (zh) | 一种光学标识视觉识别方法及基于该方法的无人售货柜 | |
| US10643270B1 (en) | Smart platform counter display system and method | |
| CN108875546A (zh) | 人脸身份验证方法、系统及存储介质 | |
| CN109241883B (zh) | 一种基于自动售货机的退货控制方法及其装置 | |
| US11074469B2 (en) | Methods and systems for detecting user liveness | |
| CN111080493B (zh) | 一种菜品信息识别方法、装置及菜品自助结算系统 | |
| US20170124382A1 (en) | System and method for verification of three-dimensional (3d) object | |
| CN109034980B (zh) | 一种搭配商品推荐方法、装置和用户终端 | |
| CN112200631B (zh) | 一种行业分类模型的训练方法及装置 | |
| CN208673426U (zh) | 智能售货装置 | |
| CN109166257B (zh) | 一种购物车商品核验方法及其装置 | |
| CN109858448A (zh) | 一种零售场景下的物品识别方法及设备 | |
| CN109671227A (zh) | 智能货柜消费行为识别方法、装置、存储介质和电子设备 | |
| CN111353842B (zh) | 推送信息的处理方法和系统 | |
| KR20220026524A (ko) | 중고의류의 복원 및 리세일를 위한 플랫폼을 운영하는 서버 | |
| CN109063761A (zh) | 扩散器脱落检测方法、装置及电子设备 | |
| KR102699484B1 (ko) | 냉장고 및 냉장고의 물품 관리 방법 | |
| CN117253194B (zh) | 商品损坏检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |