CN110874883A - 基于视觉和感应器的智能售货机控制系统及控制方法 - Google Patents

基于视觉和感应器的智能售货机控制系统及控制方法 Download PDF

Info

Publication number
CN110874883A
CN110874883A CN201811030473.0A CN201811030473A CN110874883A CN 110874883 A CN110874883 A CN 110874883A CN 201811030473 A CN201811030473 A CN 201811030473A CN 110874883 A CN110874883 A CN 110874883A
Authority
CN
China
Prior art keywords
user
commodity
information
vending machine
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811030473.0A
Other languages
English (en)
Inventor
林捷
韩鑫
郭晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lin Han Mdt Infotech Ltd
Original Assignee
Shanghai Lin Han Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lin Han Mdt Infotech Ltd filed Critical Shanghai Lin Han Mdt Infotech Ltd
Priority to CN201811030473.0A priority Critical patent/CN110874883A/zh
Publication of CN110874883A publication Critical patent/CN110874883A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本发明属于自动售货机技术领域，具体涉及一种基于视觉和感应器的智能售货机控制系统及控制方法，开门模块进行用户身份识别，静态识别模块对当前层板的商品移动进行监控；提供本层商品重量变化的信息；动态识别模块对用户开门、关门时手部的动作进行实时的跟踪和识别；在用户关门之后，关门模块用于汇总静态识别模块和动态识别模块的信息，生成相应的购物清单，并完成支付；中控模块汇总各个感应器信息，驱动有关的算法模块，获得用户信息和智能货柜内部的商品变化情况；控制开门、关门动作。本发明不需要特殊的机械设计，降低了整体的成本；可以陈列的商品基本不受限制，可以充分利用货柜的空间；整个购物体验更加优化。

Description

基于视觉和感应器的智能售货机控制系统及控制方法
技术领域
本发明属于自动售货机技术领域，具体涉及一种基于视觉和感应器的智能售货机控制系统及控制方法。
背景技术
传统的自动售货机通常是通过特定的机械设计，在用户完成商品选择和支付后，将用户购买的商品传输到指定的拿取为主，完成整个购物流程。这样的售货设备有如下的缺点：
通过机械方式陈列和传输商品，使得可以满足陈列要求的商品有限，陈列的数量也有现在，空间利用率不高；用户的购物体验不佳，必须是先完成支付，再拿到商品，用户无法对商品事先进行感知和挑选。
发明内容
针对上述技术问题，本发明提供一种基于视觉和感应器的智能售货机控制系统及控制方法，可以事先商品的随意陈列和用户先挑选再支付的流程。
具体技术方案为：
基于视觉和感应器的智能售货机控制系统，包括以下模块：
开门模块，开门模块用于在用户准备购物的时刻，捕捉用户特征，进行用户身份识别，并将用户身份信息传给后续环节使用；
静态识别模块，设置在智能售货机的每一个层板的顶部，连接有摄像头，实时对当前层板的商品移动进行监控；每个层板均配备了重量感应器，提供本层商品重量变化的信息；
动态识别模块，安装在智能售货机的顶部，连接有摄像头，对用户开门、关门时手部的动作进行实时的跟踪和识别；
关门模块，在用户关门之后，关门模块用于汇总静态识别模块和动态识别模块的信息，生成相应的购物清单，并完成支付；
中控模块，用于收集和存储各个感应器的信号，包括各个摄像头收集的视频信息和重量感应器收集的重量变化信息；汇总各个感应器信息，驱动有关的算法模块，获得用户信息和智能货柜内部的商品变化情况；控制开门、关门动作。
进一步的，所述的开门模块，负责在用户准备购物的时刻，捕捉用户的脸部特征，判断用户是否为新客户，如果是新客户，则提示用户完成注册动作，然后并打开智能售货机的门，如果是已经注册的用户，则感应用户手部动作，并开门。
所述的静态识别模块，定期捕捉层板的图片，汇总各层板图片，根据图片信息计算个层板的商品信息；同时定期采取重量感应器数据，汇总隔层板重量信号，根据重量信号计算个层板商品信息；两种商品信息计算结果进行匹配对比，如果匹配则生成商品清单给中空模块，如果不匹配则进行报错处理。
所述的动态识别模块定期的捕捉用户手部动作图片，如果用户有手部动作，则开始动态商品识别，如果没有，等待下次捕捉定期的捕捉用户手部动作图片。
在用户关上智能售货机后，所述的关门模块负责汇总静态和动态识别模块的信息，生成合计的购物清单；所述的商品清单的生成是静态动态商品清单和动态商品清单的“与”操作，即两个清单相加，同时重合部分，只计算一次；然后，根据之前获得的用户信息，生成相应的用户订单，并提交相应的支付系统完成支付。
本发明还提供该基于视觉和感应器的智能售货机控制系统的控制方法，包括以下步骤：
(1)负责在用户准备购物的时刻，捕捉用户的脸部特征，判断用户是否为新客户，如果是新客户，则提示用户完成注册动作，然后并打开智能售货机的门，如果是已经注册的用户，则感应用户手部动作，并开门；
(2)定期的捕捉用户手部动作图片，如果用户有手部动作，则开始动态商品识别，如果没有，等待下次捕捉定期的捕捉用户手部动作图片；
(3)在用户关上智能售货机后，定期捕捉层板的图片，汇总各层板图片，根据图片信息计算个层板的商品信息；同时定期采取重量感应器数据，汇总隔层板重量信号，根据重量信号计算个层板商品信息；两种商品信息计算结果进行匹配对比，如果匹配则生成商品清单，如果不匹配则进行报错处理；
(4)汇总静态和动态识别的信息，生成合计的购物清单；所述的商品清单的生成是静态动态商品清单和动态商品清单的“与”操作，即两个清单相加，同时重合部分，只计算一次；然后，根据之前获得的用户信息，生成相应的用户订单，并提交相应的支付系统完成支付。
本发明提供的基于视觉和感应器的智能售货机控制系统及控制方法，具有的技术效果有：
(1)整个售货机不需要特殊的机械设计，降低了整体的成本；
(2)可以陈列的商品基本不受限制，可以充分利用货柜的空间；
(3)用户可以先对商品进行挑选，再完成支付，整个购物体验更加优化。
附图说明
图1为本发明的整体结构示意图；
图2为本发明的开门模块流程图；
图3为本发明的静态识别模块流程图；
图4为本发明的动态识别模块流程图；
图5为本发明的关门模块流程图。
具体实施方式
结合附图说明本发明的具体技术方案。
如图1所示，基于视觉和感应器的智能售货机控制系统，包括以下模块：
开门模块，开门模块用于在用户准备购物的时刻，捕捉用户特征，进行用户身份识别，并将用户身份信息传给后续环节使用；
静态识别模块，设置在智能售货机的每一个层板的顶部，连接有摄像头，实时对当前层板的商品移动进行监控；每个层板均配备了重量感应器，提供本层商品重量变化的信息；
动态识别模块，安装在智能售货机的顶部，连接有摄像头，对用户开门、关门时手部的动作进行实时的跟踪和识别；
关门模块，在用户关门之后，关门模块用于汇总静态识别模块和动态识别模块的信息，生成相应的购物清单，并完成支付；
中控模块，用于收集和存储各个感应器的信号，包括各个摄像头收集的视频信息和重量感应器收集的重量变化信息；汇总各个感应器信息，驱动有关的算法模块，获得用户信息和智能货柜内部的商品变化情况；控制开门、关门动作。
进一步的，所述的开门模块，负责在用户准备购物的时刻，捕捉用户的脸部特征，判断用户是否为新客户，如果是新客户，则提示用户完成注册动作，然后并打开智能售货机的门，如果是已经注册的用户，则感应用户手部动作，并开门。
所述的静态识别模块，定期捕捉层板的图片，汇总各层板图片，根据图片信息计算个层板的商品信息；同时定期采取重量感应器数据，汇总隔层板重量信号，根据重量信号计算个层板商品信息；两种商品信息计算结果进行匹配对比，如果匹配则生成商品清单给中空模块，如果不匹配则进行报错处理。
所述的动态识别模块定期的捕捉用户手部动作图片，如果用户有手部动作，则开始动态商品识别，如果没有，等待下次捕捉定期的捕捉用户手部动作图片。
在用户关上智能售货机后，所述的关门模块负责汇总静态和动态识别模块的信息，生成合计的购物清单；所述的商品清单的生成是静态动态商品清单和动态商品清单的“与”操作，即两个清单相加，同时重合部分，只计算一次；然后，根据之前获得的用户信息，生成相应的用户订单，并提交相应的支付系统完成支付。
本发明还提供该基于视觉和感应器的智能售货机控制系统的控制方法，包括以下步骤：
(1)负责在用户准备购物的时刻，捕捉用户的脸部特征，判断用户是否为新客户，如果是新客户，则提示用户完成注册动作，然后并打开智能售货机的门，如果是已经注册的用户，则感应用户手部动作，并开门；
(2)定期的捕捉用户手部动作图片，如果用户有手部动作，则开始动态商品识别，如果没有，等待下次捕捉定期的捕捉用户手部动作图片；
(3)在用户关上智能售货机后，定期捕捉层板的图片，汇总各层板图片，根据图片信息计算个层板的商品信息；同时定期采取重量感应器数据，汇总隔层板重量信号，根据重量信号计算个层板商品信息；两种商品信息计算结果进行匹配对比，如果匹配则生成商品清单，如果不匹配则进行报错处理；
(4)汇总静态和动态识别的信息，生成合计的购物清单；所述的商品清单的生成是静态动态商品清单和动态商品清单的“与”操作，即两个清单相加，同时重合部分，只计算一次；然后，根据之前获得的用户信息，生成相应的用户订单，并提交相应的支付系统完成支付。

Claims (6)

1.基于视觉和感应器的智能售货机控制系统，其特征在于，包括以下模块：
开门模块，开门模块用于在用户准备购物的时刻，捕捉用户特征，进行用户身份识别，并将用户身份信息传给后续环节使用；
静态识别模块，设置在智能售货机的每一个层板的顶部，连接有摄像头，实时对当前层板的商品移动进行监控；每个层板均配备了重量感应器，提供本层商品重量变化的信息；
动态识别模块，安装在智能售货机的顶部，连接有摄像头，对用户开门、关门时手部的动作进行实时的跟踪和识别；
关门模块，在用户关门之后，关门模块用于汇总静态识别模块和动态识别模块的信息，生成相应的购物清单，并完成支付；
中控模块，用于收集和存储各个感应器的信号，包括各个摄像头收集的视频信息和重量感应器收集的重量变化信息；汇总各个感应器信息，驱动有关的算法模块，获得用户信息和智能货柜内部的商品变化情况；控制开门、关门动作。
2.根据权利要求1所述的基于视觉和感应器的智能售货机控制系统，其特征在于，所述的开门模块，负责在用户准备购物的时刻，捕捉用户的脸部特征，判断用户是否为新客户，如果是新客户，则提示用户完成注册动作，然后并打开智能售货机的门，如果是已经注册的用户，则感应用户手部动作，并开门。
3.根据权利要求1所述的基于视觉和感应器的智能售货机控制系统，其特征在于，所述的静态识别模块，定期捕捉层板的图片，汇总各层板图片，根据图片信息计算个层板的商品信息；同时定期采取重量感应器数据，汇总隔层板重量信号，根据重量信号计算个层板商品信息；两种商品信息计算结果进行匹配对比，如果匹配则生成商品清单给中空模块，如果不匹配则进行报错处理。
4.根据权利要求1所述的基于视觉和感应器的智能售货机控制系统，其特征在于，所述的动态识别模块定期的捕捉用户手部动作图片，如果用户有手部动作，则开始动态商品识别，如果没有，等待下次捕捉定期的捕捉用户手部动作图片。
5.根据权利要求1所述的基于视觉和感应器的智能售货机控制系统，其特征在于，在用户关上智能售货机后，所述的关门模块负责汇总静态和动态识别模块的信息，生成合计的购物清单；所述的商品清单的生成是静态动态商品清单和动态商品清单的“与”操作，即两个清单相加，同时重合部分，只计算一次；然后，根据之前获得的用户信息，生成相应的用户订单，并提交相应的支付系统完成支付。
6.基于视觉和感应器的智能售货机控制系统的控制方法，其特征在于，包括以下步骤：
(1)负责在用户准备购物的时刻，捕捉用户的脸部特征，判断用户是否为新客户，如果是新客户，则提示用户完成注册动作，然后并打开智能售货机的门，如果是已经注册的用户，则感应用户手部动作，并开门；
(2)定期的捕捉用户手部动作图片，如果用户有手部动作，则开始动态商品识别，如果没有，等待下次捕捉定期的捕捉用户手部动作图片；
(3)在用户关上智能售货机后，定期捕捉层板的图片，汇总各层板图片，根据图片信息计算个层板的商品信息；同时定期采取重量感应器数据，汇总隔层板重量信号，根据重量信号计算个层板商品信息；两种商品信息计算结果进行匹配对比，如果匹配则生成商品清单，如果不匹配则进行报错处理；
(4)汇总静态和动态识别的信息，生成合计的购物清单；所述的商品清单的生成是静态动态商品清单和动态商品清单的“与”操作，即两个清单相加，同时重合部分，只计算一次；然后，根据之前获得的用户信息，生成相应的用户订单，并提交相应的支付系统完成支付。
CN201811030473.0A 2018-08-30 2018-08-30 基于视觉和感应器的智能售货机控制系统及控制方法 Pending CN110874883A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811030473.0A CN110874883A (zh) 2018-08-30 2018-08-30 基于视觉和感应器的智能售货机控制系统及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811030473.0A CN110874883A (zh) 2018-08-30 2018-08-30 基于视觉和感应器的智能售货机控制系统及控制方法

Publications (1)

Publication Number Publication Date
CN110874883A true CN110874883A (zh) 2020-03-10

Family

ID=69717025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811030473.0A Pending CN110874883A (zh) 2018-08-30 2018-08-30 基于视觉和感应器的智能售货机控制系统及控制方法

Country Status (1)

Country Link
CN (1) CN110874883A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469369A (zh) * 2016-11-03 2017-03-01 林杰 一种基于物联网的自助售货方法及自选超市
CN106781014A (zh) * 2017-01-24 2017-05-31 广州市蚁道互联网有限公司 自动售货机及其运行方法
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN107330698A (zh) * 2017-06-20 2017-11-07 厦门益东互联科技有限公司 一种无人值守的智能购物系统
CN107452133A (zh) * 2017-08-09 2017-12-08 武汉摩琪格子科技有限公司 一种交互式智能零售机
CN107705129A (zh) * 2017-09-15 2018-02-16 泾县麦蓝网络技术服务有限公司 一种应用于实体零售店的购物结算方法和系统
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统
CN107862515A (zh) * 2017-12-25 2018-03-30 东莞弘驰智能技术有限公司 一种售货方法及系统
US20180165728A1 (en) * 2016-12-09 2018-06-14 Bodega AI, Inc. Distributed and automated transaction systems
CN108171172A (zh) * 2017-12-27 2018-06-15 惠州Tcl家电集团有限公司 自助购物方法、自助售卖机及计算机可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106469369A (zh) * 2016-11-03 2017-03-01 林杰 一种基于物联网的自助售货方法及自选超市
US20180165728A1 (en) * 2016-12-09 2018-06-14 Bodega AI, Inc. Distributed and automated transaction systems
CN106781014A (zh) * 2017-01-24 2017-05-31 广州市蚁道互联网有限公司 自动售货机及其运行方法
CN107134053A (zh) * 2017-04-19 2017-09-05 石道松 智能售货门店
CN107330698A (zh) * 2017-06-20 2017-11-07 厦门益东互联科技有限公司 一种无人值守的智能购物系统
CN107452133A (zh) * 2017-08-09 2017-12-08 武汉摩琪格子科技有限公司 一种交互式智能零售机
CN107705129A (zh) * 2017-09-15 2018-02-16 泾县麦蓝网络技术服务有限公司 一种应用于实体零售店的购物结算方法和系统
CN107833365A (zh) * 2017-11-29 2018-03-23 武汉市哈哈便利科技有限公司 一种重力感应和图像识别双控的无人售货系统
CN107862515A (zh) * 2017-12-25 2018-03-30 东莞弘驰智能技术有限公司 一种售货方法及系统
CN108171172A (zh) * 2017-12-27 2018-06-15 惠州Tcl家电集团有限公司 自助购物方法、自助售卖机及计算机可读存储介质

Similar Documents

Publication Publication Date Title
US20210342903A1 (en) Distributed and Automated Transaction Systems
WO2020047919A1 (zh) 无人售货方法、装置、系统、服务器及计算机可读存储介质
US10832311B2 (en) Method and medium for shopping in a physical store
CN107808469B (zh) 自助超市系统
CN108648334A (zh) 无人售货柜及其异常上报控制方法、无人售货系统
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
US11475657B2 (en) Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
CN109147170A (zh) 一种基于图像识别的无人售货柜
CN109064630B (zh) 无人自动称重计价货柜系统
CN109214751A (zh) 一种基于库存位置变化的智能库存管理系统
CN108537166B (zh) 确定货架浏览量以及分析浏览量的方法和装置
CN111263224B (zh) 视频处理方法、装置及电子设备
WO2019127618A1 (zh) 结算方法、装置和系统
WO2021179137A1 (zh) 结算方法、装置和系统
US20200387865A1 (en) Environment tracking
CN111222870A (zh) 结算方法、装置和系统
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN109934569A (zh) 结算方法、装置和系统
CN111260685B (zh) 视频处理方法、装置及电子设备
WO2018222811A1 (en) Automated point of sale system
CN110874883A (zh) 基于视觉和感应器的智能售货机控制系统及控制方法
US11475656B2 (en) System and method for selectively verifying algorithmically populated shopping carts
US11380091B2 (en) System and method for populating a virtual shopping cart based on a verification of algorithmic determinations of items selected during a shopping session in a physical store
US11386647B2 (en) System and method for processing a refund request arising from a shopping session in a cashierless store
CN116471384A (zh) 无人值守商店监控系统的控制方法及控制装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Hu Jun

Document name: First notice of examination

DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: Shanghai Linhan Information Technology Co.,Ltd. The person in charge

Document name: Deemed withdrawal notice

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200310