CN110472962A - 一种基于图像识别的无人支付方法以及无人支付货架系统 - Google Patents

一种基于图像识别的无人支付方法以及无人支付货架系统 Download PDF

Info

Publication number
CN110472962A
CN110472962A CN201910742684.5A CN201910742684A CN110472962A CN 110472962 A CN110472962 A CN 110472962A CN 201910742684 A CN201910742684 A CN 201910742684A CN 110472962 A CN110472962 A CN 110472962A
Authority
CN
China
Prior art keywords
commodity
inventory
unmanned
image recognition
payment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910742684.5A
Other languages
English (en)
Inventor
陈新宇
李柱新
郭逸重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Cloud Technology Co Ltd
Original Assignee
Guangzhou Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Cloud Technology Co Ltd filed Critical Guangzhou Cloud Technology Co Ltd
Priority to CN201910742684.5A priority Critical patent/CN110472962A/zh
Publication of CN110472962A publication Critical patent/CN110472962A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种基于图像识别的无人支付方法以及无人支付货架系统，包括步骤：利用摄像头识别到人的手的动作，计算手的位置；当取放商品时，触发底下的传感器，计算出变化的商品的种类和数量；判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；离店结算。通过图像识别的技术，对商品进行拍照，利用神经网络模型，自动识别出商品和对应的数量，免去排队等待时间，提升购买体验。

Description

一种基于图像识别的无人支付方法以及无人支付货架系统
技术领域
本发明涉及数据处理领域，特别涉及一种基于图像识别的无人支付方法以及无人支付货架系统。
背景技术
目前，商店或者超市等，在结算时由收银员来完成，需要大量的人力资源成本，从而导致人力成本较高，且随着社会的发展，人力的成本将越来越高。另外，该种人工结算的方式效率比较低下，特别是在大型的超市，需要排队一件一件扫码支付，浪费了消费者大量时间，导致用户的购买体验特别不好。现有的人工收费是通过扫描条形码进行结算，如果标签破损，会扫不出来，需要收银员输入条码数字，工作量也大。
发明内容
本发明的目的在于克服现有支付系统中人力成本大、效率低下的缺陷，提供一种基于图像识别的无人支付货架系统以及无人支付方法，通过图像识别的技术，对商品进行拍照，利用神经网络模型，自动识别出商品和对应的数量，免去排队等待时间，提升购买体验。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于图像识别的无人支付方法，该方法包括：
步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；
步骤2，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；
步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；
步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；
步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；
步骤6，离店结算。
优选地，步骤2中，所述计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。
优选地，步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：
a、计算动作之前的图片所包含的商品种类和数量B1
b、计算动作之后的图片所包含的商品种类和数量B2
c、通过B2减去B1，得到消费清单B。
优选地，步骤6，离店结算具体包括：通过所述用户关联的账户对待金额进行支付。
优选地，所述特殊处理为交易强制取消，并发通知给管理员维修。
一种基于图像识别的无人支付货架系统，该系统包括：
识别单元，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；
计算单元，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；
清单获取单元A，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；
清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；
对比单元，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；
结算单元，进行离店结算。
优选地，所述计算单元，计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。。
优选地，所述清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：
a、计算动作之前的图片所包含的商品种类和数量B1
b、计算动作之后的图片所包含的商品种类和数量B2
c、通过B2减去B1，得到消费清单B。
优选地，所述结算单元，进行离店结算具体包括：通过所述用户关联的账户对待金额进行支付。
优选地，所述特殊处理为交易强制取消，并发通知给管理员维修。
与现有技术相比，本发明具有如下有益效果：
第一，可以节省了收银员岗位，对超市来说，人力成本是大头，取消了收银员可以大幅削减人力成本，增加利润。第二，减少了顾客排队时间浪费，很多时候顾客看到收费处排起的长队，消费欲望都会下降，导致订单流失，本发明免去了等待时间，而且“拿了就走”方式增加了客户购买体验。第三，清单A和清单B是通过不同方式计算出消费者消费的商品的清单，通过对比是否一致，增加准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1，本发明实施例提出的一种基于图像识别的无人支付方法的流程示意图；
图2，一种基于图像识别的无人支付方法以及无人支付货架系统的设备示意图；
具体实施方式
在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
实施例1
本发明实施例1提出一种基于图像识别的无人支付方法，该方法包括：
步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置。
该通过摄像头标定的方式来计算物体的位置已属本领域中的公知手段，本领域技术人员知晓如何实现，在此不再赘述。
步骤2，当取放商品时，触发底下的传感器，计算出变化的商品的种类和数量。
货架底部设有多个重量传感器，商品放置在货架中，每个重量传感器对应放置一类商品，计算每个重量传感器上商品的重量，通过重量的变化，可以计算出拿走的数量，再通过查找重量传感器的编号，可以得出商品对应的种类。
步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理。
判断用户手的动作和商品重量变化位置是否匹配，如果匹配则利用商品重量变化和位置识别商品，从而获得商品清单A，若不匹配则进行特殊处理。其中不匹配则特殊处理具体为：不匹配则交易强制取消，并发通知给管理员维修。
步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B。
计算消费清单B包括以下步骤：a、计算动作之前的图片所包含的商品种类和数量B1；b、计算动作之后的图片所包含的商品种类和数量B2；c、通过B2减去B1，得到消费清单B。
步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理。
其中不匹配则特殊处理具体为：不匹配则交易强制取消，并发通知给管理员维修。其中，清单A和清单B是通过不同方式计算出消费者消费的商品的清单，通过对比是否一致，增加准确度。
步骤6，离店结算。
在离店结算时，可以通过所述用户关联的账户对待金额进行支付。
实施例2
本发明实施例2提出一种基于图像识别的无人支付货架系统，该系统包括：
识别单元，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置。
该通过摄像头标定的方式来计算物体的位置已属本领域中的公知手段，本领域技术人员知晓如何实现，在此不再赘述。
计算单元，当取放商品时，触发底下的传感器，计算出变化的商品的种类和数量。
货架底部设有多个重量传感器，商品放置在货架中，每个重量传感器对应放置一类商品，计算单元计算每个重量传感器上商品的重量，通过重量的变化，可以计算出拿走的数量，再通过查找重量传感器的编号，可以得出商品对应的种类。
清单获取单元A，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理。
判断用户手的动作和商品重量变化位置是否匹配，如果匹配则利用商品重量变化和位置识别商品，从而获得商品清单A，若不匹配则进行特殊处理。其中不匹配则特殊处理具体为：不匹配则交易强制取消，并发通知给管理员维修。
清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B。
计算消费清单B包括以下步骤：a、计算动作之前的图片所包含的商品种类和数量B1；b、计算动作之后的图片所包含的商品种类和数量B2；c、通过B2减去B1，得到消费清单B。
对比单元，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理。
其中不匹配则特殊处理具体为：不匹配则交易强制取消，并发通知给管理员维修。
结算单元，进行离店结算。
在离店结算时，可以通过所述用户关联的账户对待金额进行支付。
以上所述仅为本发明的优选实施例，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的相关技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，其中所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的无人支付方法，其特征在于，该方法包括：
步骤1，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；
步骤2，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；
步骤3，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；
步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；
步骤5，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；
步骤6，离店结算。
2.如权利要求1所述的一种基于图像识别的无人支付方法，所述步骤2中，所述计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。
3.如权利要求1所述的一种基于图像识别的无人支付方法，所述步骤4，基于步骤1，拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：
a、计算动作之前的图片所包含的商品种类和数量B1
b、计算动作之后的图片所包含的商品种类和数量B2
c、通过B2减去B1，得到消费清单B。
4.如权利要求1所述的一种基于图像识别的无人支付方法，所述步骤6，离店结算具体包括：通过所述用户关联的账户对待金额进行支付。
5.如权利要求1所述的一种基于图像识别的无人支付方法，所述特殊处理为交易强制取消，并发通知给管理员维修。
6.一种基于图像识别的无人支付货架系统，其特征在于，该系统包括：
识别单元，利用摄像头识别到人的手的动作，通过摄像头标定的方式计算手的位置；
计算单元，当取放商品时，触发货架底下的传感器，计算出变化的商品的种类和数量；
清单获取单元A，判断用户手动作位置和传感器位置是否匹配，如果匹配得到消费清单A，不匹配则特殊处理；
清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B；
对比单元，对比商品消费清单A和消费清单B，如果匹配则加入到顾客的购物车里，不匹配则特殊处理；
结算单元，进行离店结算。
7.如权利要求1所述的一种基于图像识别的无人支付货架系统，所述计算单元，计算出变化的商品的种类和数量具体为：计算每个重量传感器上商品的重量，通过重量的变化，计算出拿走商品的数量，再通过查找重量传感器的编号，得出商品对应的种类。
8.如权利要求1所述的一种基于图像识别的无人支付货架系统，所述清单获取单元B，识别单元识别到的拿到手动作之前和之后的图片，通过图片识别技术，计算出商品消费清单B，具体包括：
a、计算动作之前的图片所包含的商品种类和数量B1
b、计算动作之后的图片所包含的商品种类和数量B2
c、通过B2减去B1，得到消费清单B。
9.如权利要求1所述的一种基于图像识别的无人支付货架系统，所述结算单元，进行离店结算具体包括：通过所述用户关联的账户对待金额进行支付。
10.如权利要求1所述的一种基于图像识别的无人支付方法，所述特殊处理为交易强制取消，并发通知给管理员维修。
CN201910742684.5A 2019-08-13 2019-08-13 一种基于图像识别的无人支付方法以及无人支付货架系统 Pending CN110472962A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910742684.5A CN110472962A (zh) 2019-08-13 2019-08-13 一种基于图像识别的无人支付方法以及无人支付货架系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910742684.5A CN110472962A (zh) 2019-08-13 2019-08-13 一种基于图像识别的无人支付方法以及无人支付货架系统

Publications (1)

Publication Number Publication Date
CN110472962A true CN110472962A (zh) 2019-11-19

Family

ID=68510572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910742684.5A Pending CN110472962A (zh) 2019-08-13 2019-08-13 一种基于图像识别的无人支付方法以及无人支付货架系统

Country Status (1)

Country Link
CN (1) CN110472962A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339736A (zh) * 2016-08-31 2017-01-18 北京慕加投资有限公司 重力感应货柜系统
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机
CN108921048A (zh) * 2018-06-14 2018-11-30 深圳码隆科技有限公司 一种购物结算方法、装置和用户终端
CN109215223A (zh) * 2018-07-10 2019-01-15 安徽豆智智能装备制造有限公司 一种基于重力传感的自助售货柜系统的购物方法
CN109243096A (zh) * 2018-10-26 2019-01-18 虫极科技（北京）有限公司 一种智能货柜及确定拿取商品的方法
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技（北京）有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法
CN109544791A (zh) * 2019-01-24 2019-03-29 昆山毅普腾自动化技术有限公司 称重格子柜的自动售货方式
US20190228457A1 (en) * 2017-08-16 2019-07-25 Yi Tunnel (Beijing) Technology Co.,Ltd. A method, a device and a system for checkout

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339736A (zh) * 2016-08-31 2017-01-18 北京慕加投资有限公司 重力感应货柜系统
US20190228457A1 (en) * 2017-08-16 2019-07-25 Yi Tunnel (Beijing) Technology Co.,Ltd. A method, a device and a system for checkout
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108921048A (zh) * 2018-06-14 2018-11-30 深圳码隆科技有限公司 一种购物结算方法、装置和用户终端
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机
CN109215223A (zh) * 2018-07-10 2019-01-15 安徽豆智智能装备制造有限公司 一种基于重力传感的自助售货柜系统的购物方法
CN109243096A (zh) * 2018-10-26 2019-01-18 虫极科技（北京）有限公司 一种智能货柜及确定拿取商品的方法
CN109409291A (zh) * 2018-10-26 2019-03-01 虫极科技（北京）有限公司 智能货柜的商品识别方法和系统及购物订单的生成方法
CN109544791A (zh) * 2019-01-24 2019-03-29 昆山毅普腾自动化技术有限公司 称重格子柜的自动售货方式

Similar Documents

Publication Publication Date Title
CN109214806A (zh) 自助结算方法、装置以及存储介质
US10633012B2 (en) Self-checkout in retail stores
CN107103503A (zh) 一种订单信息确定方法和装置
CN110264616A (zh) 基于重力感应实现无人售卖的方法和系统
CN201417173Y (zh) 有支付功能的电子秤
CN107274180A (zh) 快速支付购物车及商场快速自助结算支付方法
CN104240411A (zh) 一种超市散装商品智能购物装置
CN109272679B (zh) 一种智能购物方法、装置及计算机可读存储介质
CN108140209A (zh) 信息处理装置、信息处理方法和其中存储有程序的记录介质
CN108140282A (zh) 信息处理装置、信息处理方法和存储程序的记录介质
CN114119001B (zh) 基于人工智能的商品销售货款收银智能管理分析平台
CN108229946A (zh) 一种无人销售结算系统及系统识别商品的方法
CN107578584A (zh) 一种移动式自助结算方法及其装置
CN106897871A (zh) 一种购物方法和计算机可读存储媒体
CN108765068A (zh) 无人值守购物方法
CN113838245A (zh) 一种无人餐厅顾客自助订餐系统及使用方法
CN111551241A (zh) 智能溯源秤及其系统
KR101625569B1 (ko) 지문인식기를 구비한 바코드 스캐너와 포스 단말기를 포함하는 매장 관리 시스템 및 방법
CN110472962A (zh) 一种基于图像识别的无人支付方法以及无人支付货架系统
CN108182772A (zh) 一种智能售货系统
CN201145927Y (zh) Ic卡电子秤交易一体机
CN207037731U (zh) 快速支付购物车
CN209044751U (zh) 一种无人售货系统
CN206921236U (zh) 一种智能结算台
CN110415433A (zh) 一种基于移动视频处理的智能售货柜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191119