CN111126990B - 物品自动识别方法、结算方法、装置、终端及存储介质 - Google Patents

物品自动识别方法、结算方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111126990B
CN111126990B CN201811296519.3A CN201811296519A CN111126990B CN 111126990 B CN111126990 B CN 111126990B CN 201811296519 A CN201811296519 A CN 201811296519A CN 111126990 B CN111126990 B CN 111126990B
Authority
CN
China
Prior art keywords
articles
weighing area
identification
weighing
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811296519.3A
Other languages
English (en)
Other versions
CN111126990A (zh
Inventor
周迅溢
周诗文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Orion Star Technology Co Ltd
Original Assignee
Beijing Orion Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Orion Star Technology Co Ltd filed Critical Beijing Orion Star Technology Co Ltd
Priority to CN201811296519.3A priority Critical patent/CN111126990B/zh
Publication of CN111126990A publication Critical patent/CN111126990A/zh
Application granted granted Critical
Publication of CN111126990B publication Critical patent/CN111126990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/14—Payment architectures specially adapted for billing systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
    • G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
    • G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
    • G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G23/00—Auxiliary devices for weighing apparatus
    • G01G23/18—Indicating devices, e.g. for remote indication; Recording devices; Scales, e.g. graduated
    • G01G23/36—Indicating the weight by electrical means, e.g. using photoelectric cells
    • G01G23/37—Indicating the weight by electrical means, e.g. using photoelectric cells involving digital counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/22—Payment schemes or models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Mathematical Physics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种物品自动识别方法、结算方法、装置、终端及存储介质，物品自动识别方法包括：获取称重区域内物品的图像，识别图像中的物品；从物品数据库中获取已识别物品对应的实际重量；根据已识别物品的实际重量，计算称重区域内已识别物品的实际总重量；比对实际总重量与称重区域内物品的称重总重量，根据比对结果确认是否完成称重区域内所有物品的识别。本发明实施例提供的技术方案，结合图像识别技术和重力感应技术，提高了自动识别物品的准确率，且能够同时识别多个物品，提高识别效率，缩短了结算过程，提升了无人零售场景下用户的购物体验。

Description

物品自动识别方法、结算方法、装置、终端及存储介质
技术领域
本发明涉及智能识别技术领域，尤其涉及一种物品自动识别方法、结算方法、装置、终端及存储介质。
背景技术
随着智能化的发展，无人零售模式应运而生，实现无人零售的其中一个关键技术是，如何识别用户购买的商品，以便进行自动结算。现有技术中一般通过以下两种方式实现无人零售中的商品识别：
一种是通过重力感应装置感知用户取走货物的重量，根据取走货物的重量计算取走货物的应付金额。但是，这种方法只适用于售货柜这样的单一场景，且无法对识别具体的商品，一旦用户将商品放错位置，后台结算就容易出错，故该方法无法适用于无人超市等多物品的复杂无人购物场景。
另一种方法是利用RFID(Radio Frequency IDentification，射频识别)识别技术识别用户购买的商品，这种方式需要在每件商品上粘贴RFID标签，标签中含有商品的相关信息，结算时，通过感应RFID标签识别用户所购买的商品，完成自动结算。但是，使用这种方式的前提是需要给每件商标都贴上RFID标签，运营成本和人工成本都非常高。
发明内容
本发明实施例提供一种物品自动识别方法、结算方法、装置、终端及存储介质，以解决现有技术中无人零售环境下实现物品自动识别需要付出较高运营成本和人工成本的问题。
第一方面，本发明一实施例提供了一种物品自动识别方法，包括：
获取称重区域内物品的图像，识别图像中的物品；
从物品数据库中获取已识别物品对应的实际重量；
根据已识别物品的实际重量，计算称重区域内已识别物品的实际总重量；
比对实际总重量与称重区域内物品的称重总重量，根据比对结果确认是否完成称重区域内所有物品的识别。
第二方面，本发明一实施例提供了一种结算方法，包括：
根据权第一方面中任一方法识别称重区域内的物品，得到结算列表；
从物品数据库中获取结算列表中的已识别物品对应的价格信息，根据获取的价格信息计算结算列表对应的总结算额，物品数据库中预存有物品的价格信息；
获取用户的账户，从用户的账户中获取与总结算额对应的货币进行支付。
第三方面，本发明一实施例提供了一种物品自动识别装置，包括：
识别模块，用于获取称重区域内物品的图像，识别图像中的物品；
重量查询模块，用于从物品数据库中获取已识别物品对应的实际重量；
重量计算模块，用于根据已识别物品的实际重量，计算称重区域内已识别物品的实际总重量；
比对模块，用于比对实际总重量与称重区域内物品的称重总重量，根据比对结果确认是否完成称重区域内所有物品的识别。
第四方面，本发明一实施例提供了一种结算装置，包括：
物品识别模块，用于根据权第一方面中任一方法识别称重区域内的物品，得到结算列表；
价格计算模块，用于从物品数据库中获取结算列表中的已识别物品对应的价格信息，根据获取的价格信息计算结算列表对应的总结算额，物品数据库中预存有物品的价格信息；
支付模块，用于获取用户的账户，从用户的账户中获取与总结算额对应的货币进行支付。
第五方面，本发明一实施例提供了一种物品自动识别终端，包括：摄像头、重力感应装置、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
重力感应装置上设置有用于放置物品的称重区域；重力感应装置用于测量称重区域内物品的称重总重量，并将称重总重量发送给处理器；
摄像头用于采集称重区域内物品的图像，并将图像发送给处理器；
处理器执行程序时实现第一方面中任一项方法的步骤。
第六方面，本发明一实施例提供了一种结算终端，包括：摄像头、重力感应装置、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
重力感应装置上设置有用于放置物品的称重区域；重力感应装置用于测量称重区域内物品的称重总重量，并将称重总重量发送给处理器；
摄像头用于采集称重区域内物品的图像，并将图像发送给处理器；
处理器执行程序时实现第二方面中任一项方法的步骤。
第七方面，本发明一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现上述任一种方法的步骤。
本发明实施例提供的技术方案，通过结合图像识别技术和重力感应技术自动识别物品，一方面，不需要在每个物品上粘贴电子标签，降低了运营成本和人工成本；另一方面，能够提高自动识别物品的准确率，且能够同时识别多个物品，提高识别效率，能够应用于无人值守超市，大大提升无人零售场景下用户的购物体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的物品自动识别方法的应用场景示意图；
图2为本发明一实施例提供的物品自动识别方法的流程示意图；
图3为本发明一实施例提供的物品自动识别方法的流程示意图；
图4为本发明一实施例提供的物品自动识别方法的流程示意图；
图5为本发明一实施例提供的显示装置显示画面的示意图；
图6为本发明一实施例提供的结算方法的流程示意图；
图7为本发明一实施例提供的物品自动识别装置的结构示意图；
图8为本发明一实施例提供的结算装置的结构示意图；
图9为本发明一实施例提供的物品自动识别终端的结构示意图；
图10为本发明一实施例提供的结算终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
在具体实践过程中，利用RFID识别技术能够识别用户购买的商品，该方法能够适用于无人超市等多物品的复杂无人购物场景，但是，这种方式需要预先在每件商品上粘贴RFID标签，运营成本和人工成本都非常高。
为此，本发明的发明人考虑到，利用图像识别技术自动识别用户放置在结算台上的物品，以便从预存的物品信息数据库中查询到物品对应的价格信息，并基于查询到的价格信息实现自动结算，训练好的图像识别算法能够自动识别图像中包含的物品，与RFID识别技术相比，不需要对各个物品做相关处理，无需耗费大量的人工成本。此外，发明人还发现，用户放置物品时较为随意，当同时放置多个物品时存在物品相互遮挡的情况，导致摄像头无法获取物品图像或者仅能获取到部分图像，降低了识别物品的准确率，但如若一个一个摆放物体并识别物品，又会降低结算速度。为此，本发明的发明人在结算台上内置了重力感应装置，通过重力感应装置测量结算台上所有物品的称重总重量；另一方面，在物品数据库中预存了各个物品的实际重量，在利用图像识别技术识别出结算台上物品的基础上，再从物品数据库中获取已识别物品的实际重量，得到所有已识别物品的实际总重量；将已识别物品的实际总重量与称重总重量进行比较，若相等，则表明准确识别出了结算台上所有的物品，否则，表明存在物品被遮挡或识别错误的情况，此时可以提示用户重新放置结算台上的物品，以便重新进行识别。通过结合图像识别技术和重力感应技术能够提高自动识别物品的准确率，且能够同时识别多个物品，提高识别效率，能够应用于无人值守超市，大大提升无人零售场景下用户的购物体验。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
首先参考图1，其为本发明实施例提供的物品自动识别方法的应用场景示意图。物品自动识别终端11包括识别台12、设置在识别台12上的称重区域13、摄像头14和显示装置15，以及设置在识别台12内部的数据处理装置(图1中未示出)、设置在称重区域13下方的重力感应装置(图1中未示出)。通过重力感应装置可测量出称重区域13内所有物品的称重总重量，摄像头14的拍摄方向对准称重区域13。用户10将物品放置在称重区域13内，摄像头14采集称重区域13内物品的图像并发送给数据处理装置，同时，重力感应装置测出称重区域13内物品的重量，并发送给数据处理装置，数据处理装置利用图像识别算法识别图像中包含的物品，并从预先建立的物品数据库中获取已识别物品的实际重量，得到所有已识别物品的实际总重量，将已识别物品的实际总重量与通过重力感应装置测量的称重总重量进行比较，根据比对结果判断是否完成称重区域13内所有物品的识别，还可以通过显示装置15向用户展示物品识别结果。
当然，由物品自动识别终端11内的数据处理装置实现的功能也可以由后台服务器来执行，以减轻物品自动识别终端11的运算压力。物品自动识别终端11和后台服务器之间通过网络进行通信连接，该网络可以为局域网、广域网等。
显示装置15也可以是用户使用的移动终端，该移动终端通过安装的应用程序与物品自动识别终端11或后台服务器12进行交互，移动终端和物品自动识别终端11或后台服务器之间通过网络进行通信连接，该网络可以为局域网、广域网等。
下面结合图1所示的应用场景，对本发明实施例提供的技术方案进行说明。
参考图2，本发明实施例提供一种物品自动识别方法，包括以下步骤：
S201、获取称重区域内物品的图像，识别图像中的物品。
称重区域内可放置一个或多个物品。采用预先训练好的图像识别算法识别图像中的物品，即识别出物品对应的标识信息，标识信息可以是物品的名称，也可以是物品编号等信息。
具体实施时，可通过以下任一种方式触发物品自动识别终端11进行物品自动识别：用户点击显示装置或移动终端上的结算按钮开始物品自动识别；摄像头识别到称重区域内有物品时开始物品自动识别；重力感应装置检测到有物品放置在称重区域时生成开始物品自动识别。
S202、从物品数据库中获取已识别物品对应的实际重量。
在预先构建的物品数据库中，已经存储了每种物品的标识信息和实际重量。
S203、根据已识别物品的实际重量，计算称重区域内已识别物品的实际总重量。
当识别出多个物品时，将多个物品的实际重量相加得到这多个物品的实际总重量。
S204、比对实际总重量与称重区域内物品的称重总重量，根据比对结果确认是否完成称重区域内所有物品的识别。
具体实施时，可通过称重区域下方的重力感应装置测量称重区域内所有物品的总重量。
具体实施时，若实际总重量与检测总重量相等或者实际总重量与称重总重量的差值小于或等于预设误差值，则表示准确识别出了称重区域内的所有物品，确认完成称重区域内所有物品的识别；若实际总重量与检测总重量不相等或实际总重量与称重总重量的差值大于预设误差值，则表示没能准确识别出称重区域内所有的物品，此时可能是物品识别错误或漏识别部分物品，无论是哪种情况，都表明未完成称重区域内所有物品的识别。
进一步地，在步骤S201之后，本实施例的方法还包括以下步骤：显示已识别物品的标识信息和数量信息。
具体实施时，可通过物品自动识别终端11的显示装置15或用户的移动终端展示已识别物品的标识信息和数量信息。如图5所示，通过显示装置15显示已识别物品A、B、C，而未识别的物品则不显示。用户可通过显示的已识别物品的标识信息和数量信息对已识别的物品进行查验，以确认哪些物品识别成功，以及哪些物品识别正确，哪些物品识别错误。
进一步地，在确认完成称重区域内所有物品的识别后，可向用户展示识别完成的提示信息，将已识别物品的标识信息加入结算列表中，并将结算列表展示给用户，以便用户对识别结果进行确认。具体实施时，可通过物品自动识别终端11的显示装置显示结算列表中物品的标识信息，或者通过用户持有的移动终端接收结算列表，并显示结算列表中物品的标识信息。
是否能够采集到完整的物品图像决定了能否准确识别出物品。事实上，固定的摄像头只能从一个方向获取物品图像，而用户在摆放物品时往往比较随意，放置在后面的物品会被前面的物品遮挡住，以至于摄像头无法获取到被遮挡物品的图像，也就无法识别出被遮挡的物品，此时，就会导致称重总重量与实际总重量不符。
为此，本实施例提供了一种方式来应对未完成识别的情况，具体参考图3，在确认未完成称重区域内所有物品的识别后，本实施例的方法还包括以下步骤：
S205、输出第一提示信息，第一提示信息用于提示重新摆放称重区域内的物品。
第一提示信息可采用语音形式或文字形式。第一提示信息可通过物品自动识别终端11的显示装置显示或通过语音播放装置播放。或者，将第一提示信息发送给用户持有的移动终端，通过移动终端的显示屏显示第一提示信息，或通过扬声器播放第一提示信息。用户根据第一提示信息的指示，重新摆放称重区域内的物品，确保称重区域内所有物品都未被遮挡住。显示第一提示信息的方式不限于弹出浮动窗口的方式。
进一步的，第一提示信息还用于提示按照设定规则重新摆放称重区域内的物品，使得用户能够能根据第一提示信息的指示，按照设定规则重新摆放称重区域内的物品，例如，提示用户将物品摆放成一排，以提高物品识别效率和准确率。
S206、重新获取称重区域内物品的图像，对称重区域内的物品进行识别。
重新对称重区域内的物品进行识别的过程与步骤S201-S204相同，不再复述。
具体实施时，可在用户重新摆放称重区域内的物品过程中，实时获取称重区域内物品的图像，并对称重区域内的物品进行识别。由于重新摆放物品的过程可能较长，为减少运算资源的浪费，也可设置触发重新识别的触发条件，当满足触发条件时，再开始重新对称重区域内的物品进行识别。
具体实施时，触发条件可以是用户输入的重新识别指令，例如，在显示装置上显示重新识别的虚拟按键，当用户重新摆放好称重区域内的物品后，点击重新识别的虚拟按键，以触发物品自动识别终端11重新对称重区域内的物品进行识别。触发条件还可以是称重区域内物品的重量发生变化后又保持不变，用户在重新摆放物品的过程中，重力感应装置会检测到称重区域内物品的重量发生了变化，当检测到称重区域内物品的重量发生变化后又保持不变时，触发物品自动识别终端11重新对称重区域内的物品进行识别。触发条件还可以是称重区域内的物品保持不变，通过摄像头检测到预设时长内称重区域内的物品保持不变时，触发物品自动识别终端11重新对称重区域内的物品进行识别。
通过比较从物品数据库中获取的实际总重量与通过重力感应装置检测的检测总重量，可以校验图像识别结果是否准确，降低识别错误率。此外，在识别结果发生错误时，提示用户重新摆放称重区的物品，以便顺利完成物品识别。
本实施例提供了另一种方式来应对未完成识别的情况，具体参考图4，在确认未完成称重区域内所有物品的识别后，本实施例的方法还包括以下步骤：
S207、输出第二提示信息，第二提示信息用于提示将已识别物品加入结算列表并取走已加入结算列表中的物品。
具体实施时，若显示的已识别物品均识别正确，用户可点击确认按钮，直接将所有已识别物品加入结算列表，并取走已加入结算列表中的物品；若显示的已识别物品中存在识别错误的物品，用户通过点击显示的已识别物品，可将识别正确的物品添加到结算列表中，并取走已加入结算列表中的物品。
第二提示信息可采用语音形式或文字形式。第二提示信息可通过物品自动识别终端11的显示装置显示或通过语音播放装置播放。或者，将第二提示信息发送给用户持有的移动终端，通过移动终端的显示屏显示第二提示信息，或通过扬声器播放第二提示信息。显示第二提示信息的方式不限于弹出浮动窗口的方式。
为了让用户清楚地识别哪些是用户选出的正确识别的物品，识别终端的显示装置会实时显示摄像头采集的称重区域的图像，并且在显示的图像中标注出已加入结算列表中的已识别物品。如图5所示，标注的方式可以是用标注框51框选出物品，甚至可以在图像中标注该物品的标识信息等信息。
S208、重新获取称重区域内物品的图像，对称重区域内的物品进行识别。
具体实施时，可在用户拿取称重区域内的物品过程中，实时获取称重区域内物品的图像，并对称重区域内的物品进行识别。
由于拿取物品的过程可能较长，为了减少运算资源的浪费，同样可设置触发重新识别的触发条件，当满足触发条件时，再开始重新对称重区域内的物品进行识别。此时，触发条件可以是用户输入的重新识别指令，例如，在显示装置上显示重新识别的虚拟按键，当用户取走已识别物品后，点击重新识别的虚拟按键，以触发物品自动识别终端11重新对称重区域内的物品进行识别。触发条件还可以是称重区域内物品的重量发生变化，用户取走已识别物品后，重力感应装置会检测到称重区域内物品的重量发生了变化，当检测到称重区域内物品的重量发生变化后，触发物品自动识别终端11重新对称重区域内的物品进行识别。触发条件还可以是称重区域内的物品减少了，通过摄像头检测到称重区域内的物品减少时，触发物品自动识别终端11重新对称重区域内的物品进行识别。
用户取走已识别物品后，重新对称重区域内的物品进行识别，具体识别过程与步骤S201-S204相同，不再复述。将重新识别到的物品加入到结算列表中，直到识别完摆放在称重区域内的所有物品。
当称重区域的一些物品被遮挡时，在第一次识别过程中，物品自动识别终端可识别出前排未被遮挡的物品，并显示已识别物品，用户从显示的已识别物品中选出识别正确的物品，物品自动识别终端将选出的已识别物品加入结算列表中，用户可以将结算列表中的物品取走。用于取走已识别物品后，物品自动识别终端就可以获取到第一次识别过程中被遮挡物品的图像，进而对称重区域内剩余的物品进行第二次识别，如果这次能够识别出所有剩余的物品，则将第二次识别出的物品也加入结算列表中，成功识别出用称重区域内的所有物品。如果第二次识别仍然没有成功识别出所有的剩余物品，则将第二次识别出的物品加入结算列表中，用户可以将第二次识别出的物品取走，然后，物品自动识别终端进行第三次识别。物品自动识别终端不断地识别，用户不断地取走已经识别出的物品，直到成功识别出用户放置在称重区域内的所有物品。
不可避免的是，图像识别算法的缺陷会导致物品识别错误，比如称重区域内实际摆放的物品是A、B、C，但识别出的物品却是A、B、D，这同样会使得检测总重量与实际总重量不符。通过图4所示的方法，即可解决上述识别错误的问题。具体识别过程为：物品自动识别终识别出的物品是A、B、D，通过显示装置显示物品A、B、D，用户点击显示装置中的物品A、B，并将A、B从称重区域内取走，物品自动识别终将用户点击的物品A、B添加到结算列表中；用户取走物品A、B后，重力感应装置会检测到称重区域内物品的重量发生了变化，触发物品自动识别终端重新对称重区域内的物品进行识别，如果成功识别到物品C，且此时通过重力感应装置测量到的重量与物品C的实际重量相符，则将物品C加入结算列表中。
本实施例提供的上述方法，允许用户先取走已识别物品，然后，识别终端会对称重区域内剩余的物品进行进一步地识别，并结合重力感应装置测到的重量再次进行校验确认，从而有效地应对因物品遮挡、识别算法缺陷导致的识别失败的问题，且物品在直立或卧倒等各种状态下均可被识别。因此，即使用户在称重区域放置了多件物品且物品之间相互遮挡，也能够顺利识别完称重区域内所有的物品，也就是说，无需设置物品摆放规则，用户可自由摆放物品，提高了用户体验度。
为了使得用户能够在重新摆放物品或拿取已识别物品的过程中，直观地获知该调整或拿取哪些物品，显示装置会实时显示摄像头采集的称重区域的图像，并且在显示的图像中标注出已识别物品，而未识别的物品不会被标注出来。这样用户就可以调整那些未被标注的物品的位置，使得这些物品能够在下一次识别过程中被识别，或者，拿走那些被标注的物品，以便在下一次识别过程中识别出未被标注的物品。
进一步地，显示装置实时显示的图像中，还可以在对应位置处标注上物品的标识信息，以便用户查看哪些物品识别错误，进而在拿取物品时，可以避免错拿识别错误的物品。
此外，为了避免用户在拿取物品过程中错拿未成功识别的物品，在步骤S207和步骤S208之间还包括以下步骤：计算结算列表中的物品的总重量，计算用户取走物品前后，重力感应装置测量得到的重量差值，当重量差值与结算列表中的物品的总重量不相等时，则输出错拿物品的提示信息，以提示用户错拿了物品。
具体实施过程中，可利用预先训练好的深度学习模型识别图像中的物品的标识信息。其中，深度学习模型包括特征提取层、目标检测层和物品分类层。
本实施例的深度学习模型可采用Faster R-CNN的架构实现。Faster R-CNN架构采用全图输入，特征提取层采用VGG深度学习网络，通过VGG深度学习网络来训练图像特征的提取，以学习到高层次的特征表示，使得深度学习模型的目标检测层和物品分类层可以从高层次的特征中更容易区别出物品。目标检测层通过Faster R-CNN中的RPN(regionproposal network)实现，通过RPN学习如何准确地标注图像中物品的位置。物品分类层通过分类网络classification network实现识别物品的类别。当然，本实施例中使用的深度学习模型可采用其他可行的神经网络算法实现，不限于本实施例中的Faster R-CNN的架构实现。
为此，步骤S201具体包括以下步骤：
首先，利用预先训练得到的深度学习模型的特征提取层提取图像的特征，以生成图像对应的特征图。
然后，利用深度学习模型的目标检测层遍历特征图，得到图像中的物品对应的位置信息。
通过遍历特征图，RPN会在这些特征图上应用滑动窗口加anchor机制进行目标区域判定和分类，目标检测包括目标框定和目标判定，以便生成所有可能包含物品的位置信息，并为各个位置信息进行打分，将各个位置信息的评分与预设的评分阈值比较，筛选出正确的位置信息，即正确的位置信息处对应的是物品，而非背景图像。
最后，利用深度学习模型的物品分类层，识别目标检测层输出的位置信息处的物品对应的标识信息。
可通过目标检测层输出的位置信息，对图像中识别出的物品进行框选标注，并显示给用户查看。
以下为深度学习模型的训练过程：
第一步，需要获取大量包含物品的图像，对每一幅图像都进行人工标注，将标注完的图像作为训练数据集。每一幅图像的标注值包括物品在图像中的位置信息(例如可通过框选的方式进行标注)和物品的标识信息。
第二步，将训练数据集作为初始模型的输入，得到初始模型输出的预测值，预测值包括识别出的物品的位置信息和标识信息。
初始基模型包括采用VGG深度学习网络的特征提取层，采用RPN实现的目标检测层和classification network实现的物品分类层。训练方式可以是有监督训练，也可以是无监督训练。训练过程中，初始模型中的参数会根据输入的训练数据集不断进行调整，直至得到可准确识别图像的卷积神经网络。
第三步、利用预设的损失函数，结合训练数据集中各图像的标注值和初始模型输出的预测值，计算模型损失。
其中，损失函数是用来评价深度学习模型的预测值与标注值的不一致程度，当模型损失越小，该深度学习模型识别图像的准确性越高。相反的，当所述模型损失越大，该深度学习模型识别图像的准确性越低。
第四步、利用梯度反传法，并根据模型损失调整初始模型的权重参数。
其中，梯度反传法的原理在将预测值与标注值间的误差从深度学习模型的输出层向隐藏层反向传播，直至传播到输入层。在反向传播的过程中，根据模型损失调整基模型的权重参数，直至收敛。
第五步、返回执行第二步，并继续计算模型损失、调整权重参数，直至满足迭代条件为止；确定最终权重参数，并得到深度学习模型。
其中，所述迭代条件可以有开发人员预先设定，可以用于判断所述模型损失的条件，也可以是深度学习模型的图像识别的准确率。
具体实施过程中，除了通过深度学习模型识别图像中的物品，还可以采用其他图像识别方法识别图像中的物品，例如，利用常见的图像处理算法提取图像中的特征点、纹理信息、颜色信息、梯度信息、边缘信息等特征信息，将提取的特征信息与各个物品预存的特征信息进行比对，从而识别出图像中的物品。识别图像中物品的方法不限于本实施例中提供的识别算法。
本实施例提供的物品自动识别方法可通过物品自动识别终端或后台服务器执行。
上述物品自动识别方法可应用到无人零售场景中。
基于与上述物品自动识别方法相同的发明构思，本发明实施例还提供了一种结算方法，如图6所示，具体包括以下步骤：
S601、利用物品自动识别方法识别称重区域内的物品，得到结算列表。
物品自动识别方法参考步骤S201-S208，不再赘述。通过物品自动识别方法识别到称重区域内的所有物品，并将已识别物品存储在结算列表中。
具体实施时，在完成称重区域所有物品的识别后，可通过显示装置或用户持有的移动终端显示结算列表中的已识别物品，供用户查验。
S602、从物品数据库中获取结算列表中的已识别物品对应的价格信息，根据获取的价格信息计算结算列表对应的总结算额，物品数据库中预存有物品的价格信息。
具体实施时，可通过显示装置或用户持有的移动终端显示结算列表中的物品、物品对应的价格信息以及总结算额，供用户查验。用户确认无误后，可点击显示装置或用户持有的移动终端上的确认支付按钮，然后，进入支付过程。
S603、获取用户的账户，从用户的账户中获取与总结算额对应的货币进行支付。
具体实施过程中，可通过显示装置展示支付码，用户通过扫码授权系统获取用户的账户信息，系统从用户的账户中获取与总结算额对应的货币进行支付。
具体实施时，还可以获取用户的生物信息，查找到与生物信息匹配的账户，从查找到的账户中获取与总结算额对应的货币进行支付。
其中，生物信息可以是指纹信息、人脸信息、虹膜信息、声纹信息、步态信息等。系统通过集成指纹识别装置、人脸识别装置、虹膜识别装置、声纹识别装置、动作采集装置等识别用户的生物信息。
本实施例的结算方法，结合图像识别技术和重力感应技术，提高了自动识别物品的准确率，且能够同时识别多个物品，提高识别效率，缩短了结算过程，提升了无人零售场景下用户的购物体验。此外，结合图像识别技术和重力感应技术的物品自动识别方法，支持用户自由摆放物品，进一步提升了用户体验度。
如图7所示，基于与上述物品自动识别方法相同的发明构思，本发明实施例还提供了一种物品自动识别装置70，包括识别模块701、重量查询模块702、重量计算模块703和比对模块704。
识别模块701用于获取称重区域内物品的图像，识别图像中的物品；
重量查询模块702用于从物品数据库中获取已识别物品对应的实际重量；
重量计算模块703用于根据已识别物品的实际重量，计算称重区域内已识别物品的实际总重量；
比对模块704用于比对实际总重量与称重区域内物品的称重总重量，根据比对结果确认是否完成称重区域内所有物品的识别。
可选地，本实施例的物品自动识别装置70还包括：第一提示模块。
第一提示模块，用于在确认未完成称重区域内所有物品的识别后，输出第一提示信息，第一提示信息用于提示重新摆放称重区域内的物品；
识别模块701还用于在确认未完成称重区域内所有物品的识别后，重新获取称重区域内物品的图像，对称重区域内的物品进行识别。
可选地，第一提示信息还用于提示按照设定规则重新摆放称重区域内的物品。
可选地，第一提示信息采用语音形式或文字形式。
可选地，本实施例的物品自动识别装置70还包括：识别物品显示模块，用于显示已识别物品的标识信息和数量信息。
可选地，本实施例的物品自动识别装置70还包括：第二提示模块，用于在确认未完成所述称重区域内所有物品的识别后，输出第二提示信息，第二提示信息用于提示将已识别物品加入结算列表并取走已加入结算列表中的物品。
识别模块701还用于在确认未完成称重区域内所有物品的识别后，重新获取称重区域内物品的图像，对称重区域内的物品进行识别。
可选地，第二提示信息采用语音形式或文字形式。
可选地，本实施例的物品自动识别装置70还包括图像标注模块，用于在图像中标注出已识别物品，以提示已识别物品。
可选地，本实施例的比对模块704具体用于若实际总重量与称重总重量的差值小于或等于预设误差值，则确认完成称重区域内所有物品的识别；否则，则确认未完成称重区域内所有物品的识别。
可选地，本实施例的识别模块701具体用于利用预先训练得到的深度学习模型的特征提取层提取图像的特征，以生成图像对应的特征图；利用深度学习模型的目标检测层遍历特征图，得到图像中的物品对应的位置信息；利用深度学习模型的物品分类层，识别目标检测层输出的位置信息处的物品对应的标识信息。
本发明实施例提的物品自动识别装置70与上述物品自动识别方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
如图8所示，基于与上述结算方法相同的发明构思，本发明实施例还提供了一种结算装置80，具体包括：物品识别模块801、价格计算模块802和支付模块803。
物品识别模块801用于根据上述物品自动方法识别称重区域内的物品，得到结算列表。
价格计算模块802用于从物品数据库中获取结算列表中的已识别物品对应的价格信息，根据获取的价格信息计算结算列表对应的总结算额，物品数据库中预存有物品的价格信息。
支付模块803用于获取用户的账户，从用户的账户中获取与总结算额对应的货币进行支付。
具体实施过程中，支付模块803可通过显示装置展示支付码，用户通过扫码授权系统获取用户的账户信息，系统从用户的账户中获取与总结算额对应的货币进行支付。
结算装置80还包括生物信息获取模块，通过生物信息获取模块获取用户的生物信息，查找到与生物信息匹配的账户，然后，通过支付模块803从查找到的账户中获取与总结算额对应的货币进行支付。
其中，生物信息可以是指纹信息、人脸信息、虹膜信息、声纹信息、步态信息等。系统通过集成指纹识别装置、人脸识别装置、虹膜识别装置、声纹识别装置、动作采集装置等识别用户的生物信息。
本发明实施例提的结算装置80与上述结算方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
基于与上述物品自动识别方法相同的发明构思，如图9所示，本发明实施例还提供了一种物品自动识别终端90，包括：摄像头901、重力感应装置902和存储器903、处理器904及存储在存储器903上并可在处理器904上运行的计算机程序。
重力感应装置902上设置有用于放置物品的称重区域。摄像头901用于采集称重区域内物品的图像，并将图像发送给处理器904。重力感应装置902用于测量称重区域内物品的称重总重量，并将称重总重量发送给处理器904。
存储器903可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储物品自动识别方法或结算方法的程序。
处理器904可以是CPU(中央处埋器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)处理器通过调用存储器存储的程序指令，按照获得的程序指令实现上述任一实施例中的物品自动识别方法。
本实施例的物品自动识别终端90还包括显示装置，通过显示装置可向用户实时展示摄像头采集的称重区域内物品的图像，并显示识别过程中生成的一系列提示信息，以辅助用户使用物品自动识别终端90。
如图10所示，基于与上述结算方法相同的发明构思，本发明实施例还提供了一种结算终端100，该结算终端100包括摄像头1001、重力感应装置1002、存储器1003、处理器1004及存储在存储器1003上并可在处理器1004上运行的计算机程序。
重力感应装置1002上设置有用于放置物品的称重区域；重力感应装置1002用于测量称重区域内物品的称重总重量，并将称重总重量发送给处理器1004。摄像头1003用于采集称重区域内物品的图像，并将图像发送给处理器1004。
存储器1003可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本发明实施例中，存储器可以用于存储上述任一实施例中的结算方法的程序。
处理器1004可以是CPU(中央处埋器)、ASIC(Application Specific IntegratedCircuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)处理器通过调用存储器存储的程序指令，按照获得的程序指令实现上述任一实施例中的结算方法。
可选地，本实施例的结算终端100还包括显示装置，通过显示装置可向用户实时展示摄像头采集的称重区域内物品的图像，并显示识别过程中生成的一系列提示信息，以辅助用户使用结算终端100。
上述结算终端100可应用到无人零售场景中。用户需要进行结算时，将选购的物品放置在称重区域内，结算终端100可自动识别顾客放置在称重区域内的物品，并完成结算和支付。
本发明实施例提供了一种计算机可读存储介质，用于储存为上述电子设备所用的计算机程序指令，其包含用于执行上述物品自动识别方法或结算方法的程序。
上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本发明实施例的方法，不应理解为对本发明实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本发明实施例的保护范围之内。

Claims (15)

1.一种物品自动识别方法，其特征在于，包括：
获取称重区域内物品的图像，识别所述图像中的物品；
从物品数据库中获取已识别物品对应的实际重量；
根据已识别物品的实际重量，计算所述称重区域内已识别物品的实际总重量；
比对所述实际总重量与所述称重区域内物品的称重总重量，根据比对结果确认是否完成所述称重区域内所有物品的识别；
在确认未完成所述称重区域内所有物品的识别后，输出第二提示信息，所述第二提示信息用于提示将已识别物品加入结算列表并取走已加入所述结算列表中的物品；
重新获取所述称重区域内物品的图像，对所述称重区域内剩余的物品进行再次识别；
其中，所述输出第二提示信息之后，所述重新获取所述称重区域内物品的图像，对所述称重区域内剩余的物品进行再次识别之前，所述方法还包括：
计算所述结算列表中的物品的总重量，计算取走所述结算列表中的物品前后，所述称重区域内物品的重量差值，当所述重量差值与所述结算列表中的物品的总重量不相等时，则输出错拿物品的提示信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在确认未完成所述称重区域内所有物品的识别后，输出第一提示信息，所述第一提示信息用于提示重新摆放所述称重区域内的物品；
重新获取所述称重区域内物品的图像，对所述称重区域内的物品进行识别。
3.根据权利要求2所述的方法，其特征在于，所述第一提示信息还用于提示按照设定规则重新摆放所述称重区域内的物品。
4.根据权利要求2所述的方法，其特征在于，所述第一提示信息采用语音形式或文字形式。
5.根据权利要求1所述的方法，其特征在于，获取称重区域内物品的图像，识别所述图像中的物品之后，所述方法还包括：显示已识别物品的标识信息和数量信息。
6.根据权利要求5所述的方法，其特征在于，所述第二提示信息采用语音形式或文字形式。
7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：
在所述图像中标注出已识别物品，以提示已识别物品。
8.根据权利要求1至6任一所述的方法，其特征在于，所述根据比对结果确认是否完成所述称重区域内所有物品的识别，具体包括：
若所述实际总重量与所述称重总重量的差值小于或等于预设误差值，则确认完成所述称重区域内所有物品的识别；否则，则确认未完成所述称重区域内所有物品的识别。
9.根据权利要求1所述的方法，其特征在于，所述识别所述图像中的物品，具体包括：
利用预先训练得到的深度学习模型的特征提取层提取图像的特征，以生成图像对应的特征图；
利用深度学习模型的目标检测层遍历特征图，得到图像中的物品对应的位置信息；
利用深度学习模型的物品分类层，识别目标检测层输出的位置信息处的物品对应的标识信息。
10.一种结算方法，其特征在于，包括：
根据权利要求1至9任一所述方法识别称重区域内的物品，得到结算列表；
从物品数据库中获取所述结算列表中的已识别物品对应的价格信息，根据获取的价格信息计算所述结算列表对应的总结算额，所述物品数据库中预存有物品的价格信息；
获取用户的账户，从所述用户的账户中获取与所述总结算额对应的货币进行支付。
11.一种物品自动识别装置，其特征在于，包括：
识别模块，用于获取称重区域内物品的图像，识别所述图像中的物品；
重量查询模块，用于从物品数据库中获取已识别物品对应的实际重量；
重量计算模块，用于根据已识别物品的实际重量，计算所述称重区域内已识别物品的实际总重量；
比对模块，用于比对所述实际总重量与所述称重区域内物品的称重总重量，根据比对结果确认是否完成所述称重区域内所有物品的识别；
第二提示模块，用于在确认未完成所述称重区域内所有物品的识别后，输出第二提示信息，第二提示信息用于提示将已识别物品加入结算列表并取走已加入结算列表中的物品；并计算所述结算列表中的物品的总重量，计算取走所述结算列表中的物品前后，所述称重区域内物品的重量差值，当所述重量差值与所述结算列表中的物品的总重量不相等时，则输出错拿物品的提示信息；
所述识别模块，还用于在确认未完成称重区域内所有物品的识别后，重新获取称重区域内物品的图像，对所述称重区域内剩余的物品进行再次识别。
12.一种结算装置，其特征在于，包括：
物品识别模块，用于根据权利要求1至9任一所述方法识别称重区域内的物品，得到结算列表；
价格计算模块，用于从物品数据库中获取所述结算列表中的已识别物品对应的价格信息，根据获取的价格信息计算所述结算列表对应的总结算额，所述物品数据库中预存有物品的价格信息；
支付模块，用于获取用户的账户，从所述用户的账户中获取与所述总结算额对应的货币进行支付。
13.一种物品自动识别终端，其特征在于，包括摄像头、重力感应装置、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
所述重力感应装置上设置有用于放置物品的称重区域；所述重力感应装置用于测量所述称重区域内物品的称重总重量，并将所述称重总重量发送给所述处理器；
所述摄像头用于采集所述称重区域内物品的图像，并将所述图像发送给所述处理器；
所述处理器执行所述程序时实现权利要求1至9任一项所述方法的步骤。
14.一种结算终端，其特征在于，包括：摄像头、重力感应装置、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
所述重力感应装置上设置有用于放置物品的称重区域；所述重力感应装置用于测量所述称重区域内物品的称重总重量，并将所述称重总重量发送给所述处理器；
所述摄像头用于采集所述称重区域内物品的图像，并将所述图像发送给所述处理器；
所述处理器执行所述程序时实现权利要求10所述方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1至10任一项所述方法的步骤。
CN201811296519.3A 2018-11-01 2018-11-01 物品自动识别方法、结算方法、装置、终端及存储介质 Active CN111126990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811296519.3A CN111126990B (zh) 2018-11-01 2018-11-01 物品自动识别方法、结算方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811296519.3A CN111126990B (zh) 2018-11-01 2018-11-01 物品自动识别方法、结算方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111126990A CN111126990A (zh) 2020-05-08
CN111126990B true CN111126990B (zh) 2023-09-29

Family

ID=70494941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811296519.3A Active CN111126990B (zh) 2018-11-01 2018-11-01 物品自动识别方法、结算方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111126990B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837676A (zh) * 2020-06-24 2021-12-24 阿里巴巴集团控股有限公司 取货方法、设备以及计算机可读介质
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类系统、方法、装置以及存储介质
CN116596012B (zh) * 2023-05-09 2024-05-07 上海银满仓数字科技有限公司 一种基于rfid的商品信息传输方法及系统
CN117133078B (zh) * 2023-10-24 2023-12-29 珠海微米物联科技有限公司 基于重力感应的自动售卖系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032128A (en) * 1997-12-15 2000-02-29 Ncr Corporation Method and apparatus for detecting item placement and item removal during operation of a self-service checkout terminal
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和系统
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN107767129A (zh) * 2017-10-25 2018-03-06 京东方科技集团股份有限公司 一种智能购物车及包括其的智能购物系统
CN107945428A (zh) * 2017-10-20 2018-04-20 北京火星盒子网络信息技术有限公司 商品核验方法和商品核验设备
CN108109007A (zh) * 2017-12-21 2018-06-01 张志勇 一种基于重量识别的自动购物系统及自动购物方法
CN108229946A (zh) * 2018-02-08 2018-06-29 中山简单点网络技术有限公司 一种无人销售结算系统及系统识别商品的方法
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095939B2 (en) * 2017-02-06 2018-10-09 Toshiba Tec Kabushiki Kaisha Article recognition apparatus and article recognition method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6032128A (en) * 1997-12-15 2000-02-29 Ncr Corporation Method and apparatus for detecting item placement and item removal during operation of a self-service checkout terminal
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和系统
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN107945428A (zh) * 2017-10-20 2018-04-20 北京火星盒子网络信息技术有限公司 商品核验方法和商品核验设备
CN107767129A (zh) * 2017-10-25 2018-03-06 京东方科技集团股份有限公司 一种智能购物车及包括其的智能购物系统
CN108109007A (zh) * 2017-12-21 2018-06-01 张志勇 一种基于重量识别的自动购物系统及自动购物方法
CN108229946A (zh) * 2018-02-08 2018-06-29 中山简单点网络技术有限公司 一种无人销售结算系统及系统识别商品的方法
CN108550229A (zh) * 2018-04-08 2018-09-18 珠海博明视觉科技有限公司 一种人工智能自动收银方法

Also Published As

Publication number Publication date
CN111126990A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111126990B (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
US20220198550A1 (en) System and methods for customer action verification in a shopping cart and point of sales
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、系统及存储介质
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
CN108985359B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
JP7248689B2 (ja) 自動販売方法および装置、ならびにコンピュータ可読記憶媒体
WO2020010827A1 (zh) 一种基于开放式自动售货机的购物结算方法和装置
KR101678970B1 (ko) 물품 감정 방법
CN111222870B (zh) 结算方法、装置和系统
CN109508974B (zh) 一种基于特征融合的购物结账系统和方法
EP3809325A1 (en) Visual and gravity-sensing-based method and apparatus for matching commodities to customers
WO2021179137A1 (zh) 结算方法、装置和系统
CN110866429A (zh) 漏扫识别方法、装置、自助收银终端及系统
WO2019161734A1 (zh) 无人售货设备及其售货方法和无人售货系统
EP3882877A1 (en) Checkout flows for autonomous stores
CN110050284A (zh) 一种自动店内登记系统
US11562614B2 (en) Method, a device and a system for checkout
WO2020215952A1 (zh) 物品识别方法和系统
RU2695056C1 (ru) Система и способ выявления факта потенциального мошенничества со стороны кассира, а также способ формирования выборки изображений товаров для обучения искусственной нейронной сети
CN109934569B (zh) 结算方法、装置和系统
CN111178116A (zh) 无人售货方法、监控摄像机及系统
CN114743307A (zh) 智能货柜的商品识别方法、装置、电子设备及存储介质
CN110443946A (zh) 售货机、物品种类的识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant