CN115136176A - 使用一便携式计算机装置进行快速结账的系统及方法 - Google Patents

使用一便携式计算机装置进行快速结账的系统及方法 Download PDF

Info

Publication number
CN115136176A
CN115136176A CN202080096611.4A CN202080096611A CN115136176A CN 115136176 A CN115136176 A CN 115136176A CN 202080096611 A CN202080096611 A CN 202080096611A CN 115136176 A CN115136176 A CN 115136176A
Authority
CN
China
Prior art keywords
images
data
item
machine learning
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080096611.4A
Other languages
English (en)
Inventor
伊兰·梅纳赫姆·克拉维茨
拉兹·阿哈伦·戈兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Supik Technology Co ltd
Original Assignee
Supik Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Supik Technology Co ltd filed Critical Supik Technology Co ltd
Publication of CN115136176A publication Critical patent/CN115136176A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0081—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader the reader being a portable scanner or data reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Geometry (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Devices For Checking Fares Or Tickets At Control Points (AREA)

Abstract

当前公开的主题包括用于一种从一零售店快速结账的系统及方法。所述系统包括一便携式计算机化装置，所述便携式计算机化装置配置成追踪从一购物容器中插入或取出的数个商品。

Description

使用一便携式计算机装置进行快速结账的系统及方法
技术领域
当前公开的主题涉及一种计算机化购物装置。
背景技术
对于经常必须排队等候的消费者来说，在零售店结账是一个摩擦点。这给消费者带来了不便，也给零售商带来了收入损失，因为消费者经常因为等待时间而决定放弃购买，或者在已知的高峰时间根本不去商店。减少这种摩擦点的现有方法实施起来成本高昂或是带来沉重的操作负担，从而降低了它们的效率。
发明内容
当前公开的主题包括用于从零售店快速结账的系统和方法。所述系统包括一便携式计算机化设备，所述设备配置成追踪从一购物容器中插入或取出的数个商品。所公开的系统和方法能够在一般的购物过程中并且更具体地在结账期间完全消除或显着地减少对另一人(例如商店员工)的干预的需要。
所公开的主题包括一种便携式计算机化设备，配置成用于追踪一购物容器中的数个商品；所述装置包括一扫描器、一个或多个摄像机以及包括一个或多个计算机处理器的一处理电路，其中至少一摄像机配置成捕捉被插入所述容器或从所述容器中取出的所述商品的一个或多个图像；所述处理电路配置成在所述数个图像上应用一个或多个机器学习模型，并检测商品插入所述购物容器或从所述购物容器中取出，以及识别它是什么商品。所述处理电路还配置成酌情向一购买商品列表添加所述商品或从所述购买物品列表中移除所述商品。
根据当前公开的主题的一方面，提供一种便携式计算机化装置，用于追踪一购物容器中的数个商品；所述装置包括一扫描器、一个或多个摄像机以及一处理电路，所述处理电路包括一个或多个计算机处理器；
其中至少一摄像机配置成捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像；
所述处理电路配置成，在一无摩擦模式操作时，用于：
处理所述一个或多个图像并检测所述商品插入所述容器或从所述容器中取出；
使用应用于所述一个或多个图像上的一个或多个机器学习模型识别所述商品，并将所述商品添加到一购买商品列表或从所述购买商品列表中移除；
所述扫描器配置成响应于与所述商品相关联的一相应识别标记(例如，条码、RF标记等)的扫描而提供扫描输出数据。
除了上述特征之外，根据当前公开的主题的这个方面的装置可以任选地以任何技术上可能的组合或排列包括以下特征(i)至(xvi)中的一者或多者：
(i)所述便携式计算机化装置，其中在所述一个或多个机器学习模型未能识别所述商品的情况下，所述处理电路还配置成向一用户生成及提示数个指令，以请求所述用户使用所述扫描器来扫描所述识别标记。
(ii)所述便携式计算机化装置，其中在所述一个或多个机器学习模型未能识别所述商品的情况下，所述处理电路配置成：
基于所述扫描器响应于与所述商品相关联的一相应识别标记的扫描而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据之间建立链接；将所述一个或多个图像及所述相应扫描输出数据添加到用于训练至少一机器学习模型的一训练数据集中，从而更新所述训练数据集并使所述模型应用于所述商品的一个或多个图像并识别所述商品。
(iii)所述便携式计算机化装置，其中所述便携式计算机化装置通过一通信网络与另一计算机装置连接，其中所述处理电路配置成(代替或补充所述商品的检测和识别)用以向其他计算机装置传输所述一个或多个图像，其中所述一个或多个机器学习模型应用于其他计算机装置上的所述一个或多个图像；
所述处理电路配置成从其他计算机接收指示有检测到所述商品插入所述容器/从所述容器中取出的数据及/或识别所述商品的数据。
(iv)所述便携式计算机化装置，其中在所述一个或多个机器学习模型识别出所述商品的多个可能身份的情况下，所述处理电路进一步配置成：
向一用户生成并提示数个指令：
以请求所述用户从列出所述商品的所述多个可能身份的一列表中选择一正确身份；
或者，如果所呈现的身份都不正确，则请求所述用户使用所述扫描器装置扫描所述商品的一相应识别标记。
(v)所述便携式计算机化装置，其中所述处理电路还配置成，响应于所述用户对一正确身份的选择或所述扫描数据输出，用于：在所述一个或多个图像与指示所述正确身份的数据之间建立链接；更新一训练数据集，从而增强所述模型应用于所述商品的一个或多个图像的能力，并识别所述商品。
(vi)所述便携式计算机化装置，其中所述处理电路配置成，当在训练模式中操作时，用于：
基于所述扫描器响应于与所述商品相关联的一相应识别标记的扫描而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据之间建立链接；将所述一个或多个图像及所述扫描输出数据的所述相应识别添加到用于训练至少一机器学习模型的一训练数据集中，从而使所述模型应用于所述商品的一个或多个图像并识别所述商品。
(vii)所述便携式计算机化装置，其中所述处理电路还配置成：
在检测到所述商品插入所述容器之后或从所述容器取出之后，并且在没有从所述扫描器接收到扫描输出数据或接收到不完整的扫描输出数据的情况下，向一用户提供指示应扫描所述商品的数据。
(viii)所述便携式计算机化装置，其中在检测到所述商品插入所述容器之后或从所述容器取出之后，并且在没有从所述扫描器接收到扫描输出数据或接收到不完整扫描输出数据的情况下，所述处理电路进一步配置为生成及/或存储指示已发生一可疑事件的数据(例如，生成一警报给所述用户/或给一商店雇员)。
所述便携式计算机化装置，其中在所述机器学习模块进行一错误检测(false-detection)或漏检测(miss-detection)的情况下，所述处理电路配置成：
(ix)在所述错误检测或漏检测之前捕捉的一个或多个图像之间建立链接；将所述一个或多个图像添加到用于训练一检测机器学习模型的一训练数据集中，所述检测机器学习模型用作一错误检测或漏检测的范例，从而分别地改进所述机器学习模型对于插入的检测并减少假阳性检测或假阴性检测。
(x)所述便携式计算机化装置，其中还包括一本地数据存储器，所述本地数据存储器并配置成存储包括所述一个或多个图像及所述相应识别标记的数据及/或所述本地数据存储器上的所述扫描输出数据(例如在所述用户扫描所述条码后或从一列表中选择所述商品后获得，例如显示在所述装置显示器上)，并将存储的所述数据传输到另一计算机。
(xi)所述便携式计算机化装置，其中所述装置设计成可释放地附接到所述容器。
(xii)所述便携式计算机化装置，其中所述装置设计成可释放地附接到一安装座，所述安装座固定地附接到所述容器并且配置成接收及保持所述装置。
(xiii)所述便携式计算机化装置，其中所述购物容器是一购物车；及一购物篮中的任何一者。
(xiv)所述便携式计算机化装置，其中所述装置配置成自动地且连续地收集新信息，所述新信息包括扫描链接到数个相应的捕捉图像的输出数据，从而增强及丰富所述机器学习模型的一训练数据集。
(xv)所述便携式计算机化装置包括两个或更多个摄像机。
(xvi)所述便携式计算机化装置是一智能手机。
根据本公开主题的另一方面，提供一种追踪一购物容器中的数个商品的方法，其特征在于，所述方法包括以下步骤：
将一计算机化装置可释放地附接到一购物容器，所述装置包括一扫描器、一个或多个摄像机及包括一个或多个计算机处理器的一处理电路；
响应于使用所述扫描器扫描与所述商品相关联的一相应识别标记，提供扫描输出数据；
使用至少一摄像机捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像；
所述扫描器配置成响应于与所述商品相关联的一相应识别标记的扫描而提供扫描输出数据；
利用一处理电路以在无摩擦模式操作时用于：
处理所述一个或多个图像，并检测所述商品插入所述容器或从所述容器中取出；
使用应用于所述一个或多个图像的一个或多个机器学习模型来识别所述商品，并将所述商品添加到一购买商品列表中或从所述购买商品列表中移除。
根据本公开主题的另一方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质具有在其中存储可由一计算机执行的软件表示的数据，所述软件包括用于使用一计算机化装置追踪一购物容器中的数个商品的一方法的数个指令，所述计算机化装置包括一扫描器、一个或多个摄像机及包括一个或多个计算机处理器的一处理电路；所述存储介质包括：
用于响应于使用所述扫描器扫描与所述商品相关联的一相应识别标记而提供扫描输出数据的数个指令；
使用至少一摄像机捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像的数个指令；
用于处理所述一个或多个图像及检测所述商品插入所述容器或从所述容器中取出的数个指令；
用于使用应用于所述一个或多个图像的一个或多个机器学习模型来识别所述商品并将所述商品添加到一购买商品列表的数个指令。
根据本公开主题的另一方面，提供一种用于快速结账的计算机化系统，其特征在于，所述系统包括：
多个便携式计算机化装置，每个配置成用于追踪一购物容器中的数个商品，以及通过一通信网络可操作地连接到所述多个便携式装置的一训练计算机服务器装置；
每个便携式计算机化装置包括一扫描器及至少一摄像机以及一处理电路；
其中，每个装置的至少一摄像机配置成捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像；
其中每个装置的所述处理电路在训练模式中操作时配置成：
基于所述扫描器响应于与所述商品相关联的一相应识别标记的扫描而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据之间建立链接，从而产生链接数据(例如，ML标记数据)；将所述链接数据传输到所述训练计算机服务器装置；
其中所述训练计算机服务器装置(例如，AI训练服务器700)配置成：
将所述链接数据添加到用于训练一个或多个机器学习模型的一训练数据集中，从而使所述模型应用于所述商品的一个或多个图像并识别所述商品；及
将所述一个或多个机器学习模型传输到所述多个计算机化便携式装置；
每个装置的所述处理电路配置成在一无摩擦模式操作时用于：
处理所述一个或多个图像并检测所述商品从所述容器中的插入或取出；
使用应用于所述一个或多个图像的所述一个或多个机器学习模型来识别所述商品，并将所述商品添加到一购买商品列表中。
根据各个方面，本文公开的方法、非暂时性存储装置及系统可以可选地进一步包括经过必要修改后以任何技术上可能的组合或排列的以上列出的特征(i)至(xvi)中的一者或多者。
附图说明
为了理解本发明并了解如何在实践中实施，将参考附图通过非限制性范例的方式描述所述数个范例，其中：
图1是根据当前公开的主题的某些范例示意性地示出系统的一方框图；
图2是示意性地示出了根据本公开主题的某些范例的便携式计算机化购物装置的一方框图；
图3是根据当前公开的主题的某些范例而示出了一过程的一高级视图(highlevel view)的一概括流程图；
图4是示意性地示出了根据本公开主题的某些范例的一装置提取终端(devicepickup terminal)的一方框图；
图5是根据当前公开的主题的某些范例在使用所述装置进行一购物行程期间执行的数个操作的一流程图；
图6是根据当前公开的主题的某些范例在使用所述装置进行一购物行程期间执行的数个操作的另一流程图。
具体实施方式
在以下详细描述中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在不具有这些具体细节的情况下实践当前公开的主题。在其他情况下，不具有详细描述众所周知的方法、过程、组件及电路，以免混淆当前公开的主题。
除非另有明确说明，从以下讨论中可以明显看出，在整个说明书讨论中使用例如“处理”、“提供”、“生成”、“添加”、“链接”、“识别”等术语，指的是一计算机的操作及/或处理数据及/或将数据转换成其他数据的计算机的动作及/或过程，所述数据表示为物理量(例如电子量)及/或所述数据表示物理物件。
术语“计算机”、“计算/计算机化装置”、“终端”等应被广泛解释为包括任何类型的具有处理电路的基于硬件的电子装置(例如数字信号处理器(digital signal processor，DSP)、一GPU、一TPU、一现场可编程门阵列(field programmable gate array，FPGA)、一专用集成电路(application specific integrated circuit，ASIC)、微控制器、微处理器等。所述处理电路可以包括例如一个或多个处理器，所述一个或多个处理器可操作地连接到计算机存储器、加载有用于执行如下进一步描述的操作的数个可执行指令。例如，下面描述的装置300是包括一个或多个处理电路及一个或多个摄像机的一计算机化装置。
图1、图2及图4绘示出根据当前公开的主题的一些范例的系统架构的各个方面。图1、图2及图4中的数个元件可以由执行如本文定义及解释的功能的软件及硬件及/或固件的组合构成。图1、图2及图4中的数个功能元件作为一单一单元在实践中可以被划分为几个单元，并且在图1、图2及图4中的功能元件作为数个单独的单元绘制，实际上可以合并为一单元。
应当注意，当前公开的主题的教导不受图5及图6所示的流程图的约束。在当前公开的主题的实施例中，与图5及图6所示的阶段相比，阶段更少、更多及/或不同可以执行。在当前公开的主题的数个实施例中，图5及图6中绘示出的一个或多个阶段可以以不同的顺序执行及/或一个或多个阶段可以同时执行。
还应注意，虽然所述数个流程图是参照所述系统的数个元件及参照图1、图2及图4所描述的所述系统及数个装置的数个原件来描述的，这绝不与这些图像中所示的特定设计绑定。
考虑到这一点，请参见图1，图1绘示出根据一些范例的一系统的不同组件。系统100包括通过一个或多个通信网络进行通信的多个互连的计算机化装置。装置提取终端(Device Pickup Terminal)(100)是一计算机化装置，所述计算机化装置配置成接收来自一用户的输入，以请求释放一便携式购物装置(300)，并确定是否释放一便携式装置(300)并允许所述用户使用它。在一些范例中，确定是否释放一便携式装置(300)是通过从所述提取终端发送到运行一些内部逻辑(例如检查插入在提取终端的用户凭证)的一装置管理服务器(600)的一请求而决定的。在数个其他范例中，一释放便携式装置(300)的所述请求可以从所述装置本身(300)而不是从一单独的装置提取终端(100)而决定。
一旦一装置(300)被释放，所述用户就将其安装在一购物容器(200)(例如购物车或一篮子)上。在一些范例中，装置(300)被放置在预先安装在购物容器(200)上的安装座(400)(例如由塑料制成)上。根据其他范例，所述装置(300)可以设计成其可以直接附接(例如，通过夹子)到所述购物容器上而不需要一安装座(400)。
装置(300)包括一个或多个摄像机，其配置成监视所述购物容器的所述数个内容并检测数个商品被放置在所述购物容器(200)内或从所述购物容器(200)中取出时的数个事件。如以下进一步解释的，装置(300)还配置成识别从所述容器中插入或移除的所述商品。在某些范例中，在某些条件下，会生成一安全警报，提醒所述用户(例如通过装置(300)上的显示器及/或音频源)及/或提醒商店人员(例如通过一单独的监控终端(500))。
在一些范例中，数个装置(300)与一AI训练服务器(700)通信，所述AI训练服务器(700)配置成接收由数个装置300上传的数据(例如，包括数个商品的数个图像连同其数个相应条码及/或相应条码数据输出的标记数据描述所述商品)，并将所述接收到的数据用作训练数据，以生成用于此目的的更新版本的机器学习(ML)模型。在一些范例中，装置(300)配置成标记分类数据并存储标记数据以稍后上传到所述AI训练服务器计算机装置(700)。
当所述一个或多个ML模型的一新的及/或改进的版本变得可获得(available)(在由服务器700生成之后)时，它被传回给所述数个装置(300)。这样，所述机器学习模型的检测及识别的所述准确性及效率不断提高。根据一些范例，新生成的训练数据在购物过程中不断自动收集，并上传到人工智能训练服务器(700)，用于重新训练机器学习模型，以不断提高其性能。
重新训练ML模型的数个好处的数个范例包括：能够识别以前未被所述模型识别的新商品(例如，新添加到商店的数个商品)；启用或加强对外观已更改的现有商品的识别(例如，现有商品的新包装)；提高现有商品模型识别的置信度。
在一些范例中，所述过程重复发生(例如周期性地)，并且完全自动地发生，无需系统操作员的任何人为干预。在一些范例中，如果需要，可以控制对时间不敏感的通信，例如，可以在装置空闲时完成数据的上传及/或新模型版本的下载，并且可以通过带宽需求主动限制。
图2绘示出所述便携式装置(300)的数个不同组件。装置(300)是包括处理电路(301)的一计算机化装置，所述处理电路(301)配置成有效地执行机器学习模型(也称为“机器学习算法”)，以实现专用于检测的各种方法(包括计算机视觉方法)基于从装置的(数个)摄像机(306)捕捉的视频及图像，对插入所述购物容器/从所述购物容器移除的数个商品进行分类。
为此，装置(300)可以包括例如机器学习芯片(Machine Learning Chip)(304)，所述机器学习芯片(304)包括为此目的而配置的适当电路301。在一些范例中，芯片304包括物件检测模块(302)及分类模块(303)，配置成执行各种机器学习算法，例如分别包括：数个物件(商品)检测算法及数个物件分类算法。如上所述，物件检测包括检测将一商品插入所述购物容器或从所述购物容器取出的一事件，并且物件分类包括识别已将哪个商品插入所述购物容器或从所述购物容器取出。
在一范例中，装置(300)还包括一单一摄像机。在数个其他范例中，装置(300)包括两个或更多个摄像机，这些摄像机的位置使得当所述装置附接到一购物容器时，如果一摄像机的视野以某种方式被例如所述用户握住所述商品的手挡住，另一摄像机仍然可以清楚地看到所述容器并可以捕捉到所述商品。所述装置是可拆卸的及便携式的，例如在一便携式电源(305)上运行，所述便携式电源(305)可以在例如静止在提取终端(PickupTerminal)(见下文)时充电。在一些范例中，当放置在所述提取终端(100)的一支架中时，所述装置切换到待机状态，例如省电及充电状态。此外，装置(300)包括一用户界面，所述用户界面可以包括一显示器(307)以实现一用户交互(输入及输出)。显示器(307)可用于例如显示购物相关信息或用于向所述用户提供警告或指导。作为非限制性范例，所述购物相关信息可以包括以下各项中的一项或多项：购物容器的当前内容物、添加到购物容器的数个商品的价格、购物容器中商品的当前总合、先前购物清单等。
一计算机数据存储单元(308)可以存在于所述装置(300)上，配置成存储数据，包括例如由所述数个摄像机捕捉的数个图像及数个视频。附加地或替代地，计算机数据存储器可以位于在所述存储器中的一终端中，在这种情况下，数据从所述数个装置传输到所述终端并存储在所述终端中。在进一步的数个范例中，数据存储可以位于数个远程计算机服务器处(在这种情况下，数据可以立即传送到数个远程计算机服务器而不存储在所述装置上)。
装置300还可以包括通信单元(309)(例如WiFi或蓝牙)或配置成促进与装置(300)外部的不同系统(例如但不限于购物车)通信的任何其他合适的协议及/或技术，例如但不限于一管理服务器、一人工智能训练服务器(700)或一支付终端。
装置300还可包括扫描器(310)，配置成用于扫描识别标记并响应于所述标记的扫描获得所述扫描数据输出。扫描数据输出描述了一关联的商品，并且包括例如所述商品的所述相应库存单位(respective stock keeping unit，SKU)，这使得能够唯一地(uniquely)识别所述商品并将其与描述所述商品的任何其他数据相关联。在一些范例中，所述数据可以包括所述商品的名称、商品的价格、目录号等。需注意的是，术语“扫描器”应被广义地解释为包括任何适当的扫描器或扫描技术。例如，所述扫描器可以是一专用扫描器装置或通过实施适当的软件作为扫描器操作的一摄像机。
术语“识别标记(identification tag)”在本文中用作一般术语，意在包括任何类型的识别符号(identifier)，例如条码(barcode)、RFID标记(RFID tag)、NFC等。需注意的是，此处使用的术语“条码”仅作为范例使用，决不旨在将所公开的主题仅限于条码。实施任何识别技术的任何其他识别标记也被设想在所公开主题的范围内。
图3绘示出根据当前公开的主题的某些范例由装置(300)执行的数个操作的一高级流程图。起初，所述装置在所述提取终端(100)中处于空闲状态，例如其电源(305)正在充电。接下来，所述装置由一用户从所述提取终端移除并安装在所述购物容器(200；例如购物车)上，例如，使用一夹式机构，或使用安装在所述购物容器上的一安装座(400)。然后在所述用户的购物行程期间使用所述装置，如下文进一步说明的。当所述行程完成后，所述装置会被放回提取终端，并与下一用户重复此循环。
图4绘示出根据当前公开的主题的一些范例的所述装置提取终端(100)的一方框图。在数个其他范例中，一提取终端不是必需的，并且所述装置(300)可以是所述用户拥有的一个人装置，例如运行适当软件的一智能手机。然而，在所述提取终端范例中，不同的装置(300a..n)被锁定在多个不同的装置支架(101a..n)内。每个装置支架可以存储并向多个装置单元(300)提供充电功率。在一些范例中，包括可以例如通过一触摸屏接收输入的一计算机终端的一入口信息亭(Entry Kiosk)(102)可操作地连接到所述提取终端。入口信息亭配置成允许用户互动并接收来自一用户的指示所述用户的想要解锁装置的输入。在一些范例中，所述用户需要提供数个凭证，例如通过在所述入口信息亭计算机上键入一用户名及密码、一电话号码或一生物识别识别符号。在运行一些内部逻辑之后，例如，向执行一用户认证过程的装置管理服务器(600)发送请求，检查一装置是否可获得(available)并确定所述用户是否被授权使用装置，所述入口信息亭可能会拒绝为用户访问或释放一装置(300)。如果释放，所述用户的注意力可能会被引导到所述释放的装置(例如在所述解锁装置周围有声音及/或灯光)及/或所述入口信息亭上的文本。所述用户拿起所述装置并将其放在所述购物车上，例如，使用预先安装在所述购物容器上的一夹子或一塑料安装单元。在一些范例中，所述装置(300)配置成检测它已经被安装，例如，使用当所述装置连接到所述安装座时被激活(例如以产生一信号)的物理及/或电子机构。此时，所述装置已准备好用于所述购物行程。
图5及图6是示出所述装置根据不同操作模式执行的操作流程的范例的数个流程图。在一些范例中，如参见图5所描述的，当最初部署时，所述数个装置(300)可以配置成以一安全移动结账模式(在本文中也称为“训练模式”)操作。在这种模式下，所述机器学习算法可用于检测及识别从所述购物容器中插入或移除的数个商品。在方框503，扫描器(310)正在操作中，等待用户输入，例如以一条码的形式读取。最初，所述装置处于空闲状态，等待输入。所述用户(购物者)从一货架上取出一商品，对着所述扫描器进行扫描，然后将其放入所述购物容器中。当所述扫描器扫描一商品的一条码时，从所述条码中检索所述相应扫描输出数据(方框505)，并且所述装置(300)将所述商品添加到一购买商品列表中(方框507)。这可以例如通过运行一购物管理模块(320)的处理电路(301)来执行，所述购物管理模块(320)配置成管理购物体验，尤其是通过实现一虚拟购买商品列表、列出添加到所述购物容器的数个商品、以及执行结账阶段，如下所述。所述检索到的数据可以包括例如商品名称、商品图像、商品价格等。这可以例如在所述装置的显示器(307)上及/或通过一声音效果反应给所述用户。然后所述装置(300)可以返回空闲状态，等待下一输入。
如上所述，一个或多个摄像机(306)配置成捕捉从所述购物容器中插入或移除的数个商品的数个图像。可以实施各种算法来检测数个商品的所述插入或移除，包括例如数个物件检测算法或数个追踪算法。如果装置的一个或多个摄像机(306)检测到正在插入所述容器(例如购物车)的一商品(方框508)，则所述装置在一条码读取输入之后立即检查(例如通过物件检测模块)此输入(即，商品的插入的检测)(方框513)。例如，这可以通过测检测是否在自上次读取条码后的一合理时间间隔内接收到商品检测来完成。
如果检测到一有效的条码读取输入，计算机存储器(本地及/或远程)可用于存储所述(数个)摄像机检测到的所述商品的所述数个图像、以及所述扫描器读取的所述相应条码扫描输出(方框511)。这提供了一种自动标记过程，其中某个商品的数个图像与所述相应条码扫描输出数据(以下称为“ML训练数据”)自动地链接(相关联)。此过程由不同的装置(300)重复多次，每次购物者使用装置进行购物时，从而允许生成用于所述训练机器学习模型的一标记数据集，其中用于更新所述数据集的数据在购物期间不断收集。一条码(及其数据)及数个捕捉图像之间的链接(相关联)信息可以在以后用作标记数据，以改进所述数个机器学习算法/模型。
在某些情况下，当在安全结账模式下操作时，当数个分类机器学习模型被训练到足以识别一商品时，所述装置还可以通过使用数个机器学习算法来处理由数个所述数个摄像机(306)捕捉的所述数个图像来识别所述插入的商品，并将所述商品的条码与所述扫描的条码进行比较以验证附加到所述商品的所述条码，并在一扫描的条码与一插入的商品之间不匹配的情况下提供反馈。如果检测到所述扫描的条码与所述识别的商品不匹配时，所述系统可以将其记录为一可疑事件，如下所述。然后所述装置(300)恢复到等待状态以等待输入。
因此，在所述安全结账模式下的操作过程中，所述(数个)摄像机有多种用途。一目的是检测所述容器中的数个商品的插入或移除，一事件预计会在一条码扫描操作之后发生或以其他方式触发一警报。另一目的是生成训练一数据集，用于训练所述数个ML算法以启用无摩擦操作模式，如下所述。
如果在一读取条码后没有检测到一商品的插入，或者如果所述条码读取不完整(扫描器未能读取条码；对于方框513的否定回答)，则可以向所述用户生成一警报(方框517)，提示他扫描刚刚插入的所述商品的所述条码。所述警报可以是例如一视觉的(例如在所述显示器上；包括例如呈现所捕捉的所述商品的数个图像)及/或一听觉警报。然后，所述用户可以从所述购物容器中取出所述相关商品，扫描其条码，然后将其放回，在这种情况下，可以如上所述存储在插入期间捕捉的所述数个图像以及所述扫描的条码(方框511)，并且所述装置(300)等待下一输入。如果所述用户选择不扫描商品，例如声称系统漏检测(misdetection)，所述系统可以将此记录为一可疑事件，并且可以存储假定检测到的商品的所述数个捕捉图像等(方框515)。然后系统恢复到等待状态以等待输入。
在一些范例中，当在安全结账模式下操作时，当所述物件检测ML模型被训练到足以检测一商品的插入或移除时，所述装置还可以使用所述数个机器学习算法通过处理由所述摄像机(306)捕捉的所述数个图像来检测所述商品的插入或移除。所述物件检测ML模型也可以使用在安全结账模式下操作时连续收集的数据进行训练及改进。
在扫描商品之后，预计会发生商品的插入。根据一些范例，在物件扫描之后物件检测模块302未能检测到插入(即，漏检测(misdetection))的情况下，经处理并提供成所述漏检测的在所述扫描之后立即捕捉的数个图像(例如1-5秒长的视频)可以与描述漏检测的元数据一起存储并添加到所述训练数据集中。这些数据可以在所述训练过程中用作漏检测的数个范例，从而有助于通过检测所述机器学习模型改进商品检测并减少假阴性检测。
同样，如果一插入事件没有发生但所述物件检测模块302错误地检测到一插入(即，错误检测(false-detection)，例如，如果所述用户或一商店员工通过所述用户界面提供反馈，表示出没有扫描的发生)，在所述错误检测之前的一时间段内捕捉的经过处理并提供所述错误检测的数个图像可以与描述所述错误检测的元数据一起存储并添加到所述训练数据集中。这些数据可以在训练过程中用作所述错误检测的数个范例，从而有助于通过所述检测机器学习模型来改进商品检测并减少假阳性检测。
当所述用户完成将他希望购买的所有商品放入所述容器中时，他选择结账选项(方框509)，例如，通过触摸显示在所述显示器上的一图形用户界面上的一适当按钮。然后，所述系统可以检查所述期间(session)是否记录了任何可疑事件，并且根据一些预定义的逻辑(例如，基于事件的数量及/或事件的置信度)，可以生成一警报给一商店员工。这个过程的敏感度是可以配置的，并且可能会根据零售商的要求而改变。所述结账过程可以例如由购物管理模块(320)执行。
所述过程的其余部分-例如，商店员工的支票及/或付款(结账；方框519)-可以通过多种方式中的任何一种来完成。结账可以在所述装置本身上完成，使用一数字支付方式，例如一数字钱包、输入一信用卡号码等，或者在某些情况下，所述装置可能包括支持一信用卡物理处理的电路、NFC基于支付解决方案、或其他。在其他情况下，根据零售商的需要，可能会要求所述用户将购买商品列表从所述装置以数字方式传输(例如，使用Wi-Fi、蓝牙、NFC或任何其他适当的技术)到一结账终端，其中付款将通过多种可能的方式进行。如果一警报已被激活，一商店员工可能会在所述结账阶段之前进行检查，之后所述用户将完成结账并归还所述装置。如果没有记录可疑事件，或者没有生成警报，则所述用户可以直接进入结账阶段而无需任何人工干预。
数个警报的分辨率可用于确定一识别标记及数个捕捉图像之间的正确关联，这些数据可以添加到所述训练数据集中并用于进一步训练ML模型。例如，所述用户未处理并由一商店员工解决的一可疑事件(例如在结账期间)，例如，通过从一列表中选择一正确的商品、使用所述扫描器扫描所述商品的一条码，或以某种其他方式，提供所购买商品的正确识别标记。识别标记可以链接到在插入或移除所述商品期间捕捉的数个图像，并用于富集所述训练数据集。
如上所述，可能在购物过程中存储或以其他方式收集的ML训练数据，其中可以包括由不同装置从不同角度捕捉的不同商品的数个图像，并与它们数个相应条码及/或在所述扫描器上读取的条码数据输出可用于改进所述数个机器学习算法。
例如，可以将所述数据传输(例如，使用Wi-Fi通信模块)到AI训练服务器(700)。AI训练服务器可以配置成使用自动生成的新数据定期重新运行学习算法。在数个其他范例中，所述ML训练可以在不同装置(300)上当地完成，并且可以在所述数个装置之间共享数个训练输出结果以改进由所有装置运行的所述机器学习模型。例如，这可以通过实施联合学习(也称为协作学习)来实现，这是一种机器学习技术，可以在多个分散的边缘装置或服务器上训练算法。
需注意的是，上文关于图5描述的过程公开了一种生成用于训练数个机器学习模型的一数据集的方法，并在一个人购物时执行。然而，这不应被解释为限制性的，并且当前公开的主题还设想了生成所述数据集的其他方法，这些方法可以代替上述方法或除了上述方法之外使用。这样的替代方法是涉及捕捉各种商品的数个图像并将所述数个图像链接到各个扫描输出数据的一过程中，所述过程与专门用于生成所述训练数据集的目的的购物所区别。
一旦所述机器学习算法符合一个或多个预定义条件(例如，机器学习模型对一给定商店中销售的所述数个商品的某个最小百分比表现出一定的准确度)，所述数个装置就可以切换为无摩擦运行，如参见图6进一步描述的模式。根据一些范例，在此模式下，所述条码扫描器最初可以是非活动的(例如，关闭)，并且只有由所述(数个)摄像机捕捉的所述数个图像被处理并用于检测当一商品被插入所述购物车或从所述购物车中取出时(例如，使用物件检测模块302；方框603)。当这种情况发生时，所述装置上的所述处理电路(301)配置成处理所述数个捕捉图像，并推断哪个条码与在所述数个图像或数个视频中捕捉的所述商品相关联(例如，使用物件分类模块303；方框605)。
值得注意的是，根据数个其他范例，所述数个ML模型可以在一远程计算机装置(例如实现物件检测模块302及物件分类模块303模块)而不是装置(300)上执行。根据此范例，包括由所述摄像机(306)捕捉的数个图像的信息被传输到一远程计算机装置(例如，通过所述互联网或一本地网络连接到装置300的一远程服务器装置)，在所述远程计算机装置处执行所述数个机器学习模型并将输出发送回装置300。
在一些范例中，如果以足够的置信度推断出一单一商品的身份(方框605中的肯定回答)，则商品可以在适当的情况下从所述购买商品列表(例如，实施为一虚拟购物车)中添加或移除(取决于关于所述商品是否已从所述容器中添加或移除；方框607)。这可以例如通过显示及/或声音效果反应给所述用户。然后所述装置返回等待输入(方框601)。
然而，在一些范例中，如果所述机器学习模型推断所述商品可以是多个商品中的任何一者而没有明确区分哪一个，则所述数据被反应给所述用户(方框609)。例如，可以在所述显示器上向所述用户显示可能的商品、以及捕捉的商品图像，并且可能会要求所述用户选择所述正确的商品。如果所述用户选择了所述数个商品中的其中一个，或者以其他方式指示它完全是不同的条码(例如，通过用所述扫描器扫描所述条码(310)；方框611)，则所述商品可以适当地从所述虚拟购物车中添加/移除，如前所述(方框607)。此外，所述商品的所述数个图像以及其相关的条码(由所述用户选择)可用于增强所述机器学习数据，从而提高其商品识别的准确性(方框615)。例如，所述数个捕捉图像及所述用户指示的条码可以链接并存储在一本地或远程存储单元上，并在以后的一训练过程中使用。然后所述装置返回等待输入。
在一些范例中，如果所述用户没有选择所述数个选项中的一个选项，而是提供指示所有选择错误的输入，或者，如果所述系统一开始就完全无法推断出所述商品(例如，提供具有置信度的推断低于一某个阈值；方框605中的否定回答)，则可以激活所述条码扫描器，并且可以指示所述用户扫描所述商品的所述条码(方框611)。如果扫描了所述条码，则所述商品的所述数个图像(由所述数个摄像机(306)捕捉)连同所述扫描的条码一起链接于彼此、存储并用于如上所述的再训练，相对于方框615。如果所述用户指示根本没有添加任何商品，并且这是一错误检测，则可以在安全移动结账模式中以与上述相同的方式记录(方框613)一可疑事件，并且所述装置(300)继续回到等待状态以等待输入。值得注意的是，在一些范例中，仅实施根据方框607及方框611的操作，从而正确地处理了所述数个图像，并且识别了所述商品，或者所述用户被要求使用所述条码来扫描所述商品。
结账过程与安全移动结账模式中的过程相同-用户选择结账(例如，在显示屏上选择)。在确定有必要的情况下(例如通过处理电路301)，可以根据基于所记录的可疑事件等而应用的一些计算机逻辑向商店员工生成一警报。在一些范例中，可以通过请求所述用户在允许所述用户继续结账之前扫描所述商品来解决例如条码扫描器未扫描的未识别商品之类的可疑事件。
如上面关于训练模式所解释的，警报的分辨率可用于确定一识别标记及数个捕捉图像之间的正确关联，这些数据可以添加到所述训练数据集中并用于进一步训练ML模型。例如，由用户或商店员工解决的可疑事件(例如在结账期间)，例如，通过从列表中选择正确的商品、使用扫描器扫描商品的条码或其他方式，提供一购买的商品的正确识别标记。所述识别标记可以链接到在插入或移除所述商品期间捕捉的数个图像，并用于丰富所述训练数据集。
在无摩擦模式下，用户购物过程中收集的所述数个图像(包括静止图像及视频)及条码可用于更新(重新训练)系统的机器学习模型，其方式与上文参考图5所述的方式相同。例如，可以将存储的数据上传到AI训练服务器(700)，其配置成使用上传的新标记数据集重新训练模型，从而提高算法的性能及其检测及分类商品的能力。当改进模型可用时，它可用于所有装置，例如，通过使用通信模块将改进模型上传到装置。利用标记数据集进行模型训练以及将改进的模型传播到所有装置的循环可以自动发生，无需人工系统操作员的干预。这个过程允许系统改进机器学习模型的操作，甚至开始随着时间的推移自动识别以前未识别的商品，除了购物者购物之外，无需任何其他人的工作。这提供了一种可扩展的解决方案，可以在商品改变外观或引入新商品时使模型保持最新，这在典型的零售环境中经常发生。
应注意的是，当前公开的主题的教导不受参考以上附图描述的系统的特定架构的约束。等效及/或修改的功能可以另一方式合并或划分，并且可以软件与固件及/或硬件的任何适当组合来实现并在合适的装置上执行。
还应注意，根据本文教导的操作可以由专门为期望目的构造的计算机执行，或者由为期望目的而专门配置的通用计算机由存储在非暂时性计算机(可读存储介质)中的计算机程序执行。
应当理解，本发明的应用不限于本文所包含的描述中阐述的或附图中所示的细节。本发明能够具有其他实施例并且能够以各种方式实践及执行。因此，应当理解，这里使用的词语及术语是为了描述的目的而不应被视为限制性的。因此，本领域技术人员将理解，本公开所基于的概念可以容易地用作设计其他结构、方法及系统以实现当前公开的主题的多个目的的基础。
还应当理解，根据本发明的系统可以至少部分地在适当编程的计算机上实现。同样地，本发明考虑了一种计算机程序，所述计算机程序可由计算机读取以执行本发明的方法。本发明还设想了一种非暂时性计算机可读存储器，其有形地体现了可由计算机执行以执行本发明的方法的指令程序。
本领域技术人员将容易理解，在不脱离由所附权利要求限定的范围的情况下，可以将各种修改及改变应用于如上文所述的本发明的实施例。

Claims (30)

1.一种便携式计算机化装置，其特征在于，用于追踪一购物容器中的数个商品；所述装置包括一扫描器、一个或多个摄像机以及一处理电路，所述处理电路包括一个或多个计算机处理器；
其中至少一摄像机配置成捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像；
所述处理电路用于：
处理所述一个或多个图像并检测所述商品插入所述容器或从所述容器中取出；
使用应用于所述一个或多个图像上的一个或多个机器学习模型识别所述商品，并将所述商品添加到一购买商品列表；
所述扫描器配置成响应于与所述商品相关联的一相应识别标记的扫描而提供扫描输出数据。
2.如权利要求1所述的便携式计算机化装置，其特征在于，在所述一个或多个机器学习模型未能识别所述商品的情况下，所述处理电路还配置成向一用户生成及提示数个指令，以请求所述用户使用所述扫描器来扫描所述识别标记。
3.如权利要求1及2中任一项所述的便携式计算机化装置，其特征在于，在所述一个或多个机器学习模型未能识别所述商品的情况下，所述处理电路配置成：
基于所述扫描器响应于与所述商品相关联的一相应识别标记的扫描的而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据之间建立链接；将所述一个或多个图像及所述相应扫描输出数据添加到用于训练至少一机器学习模型的一训练数据集中，从而更新所述训练数据集并使所述模型应用于所述商品的一个或多个图像并识别所述商品。
4.如权利要求1至3中任一项所述的便携式计算机化装置，其特征在于，所述便携式计算机化装置通过一通信网络与另一计算机装置连接，其中所述处理电路配置成向其他计算机装置传输所述一个或多个图像，其中所述一个或多个机器学习模型应用于其他计算机装置上的所述一个或多个图像；
所述处理电路配置成从其他计算机接收指示有检测到所述商品插入所述容器/从所述容器中取出的数据及/或识别所述商品的数据。
5.如权利要求1至4中任一项所述的便携式计算机化装置，其特征在于，在所述一个或多个机器学习模型识别出所述商品的多个可能身份的情况下，所述处理电路进一步配置成：
向一用户生成并提示数个指令，以请求所述用户从列出所述商品的所述多个可能身份的一列表中选择一正确身份。
6.如权利要求5所述的便携式计算机化装置，其特征在于，所述处理电路还配置成，响应于所述用户对一正确身份的选择，用于：在所述一个或多个图像与指示所述正确身份的数据之间建立链接；更新一训练数据集，从而增强所述模型应用于所述商品的一个或多个图像的能力，并识别所述商品。
7.如权利要求1所述的便携式计算机化装置，其特征在于，所述处理电路配置成，当在训练模式中操作时，用于：
基于所述扫描器响应于与所述商品相关联的一相应识别标记的扫描而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据之间建立链接；将所述一个或多个图像及所述扫描输出数据的所述相应识别添加到用于训练至少一机器学习模型的一训练数据集中，从而使所述模型应用于所述商品的一个或多个图像并识别所述商品。
8.如权利要求7所述的便携式计算机化装置，其特征在于，所述处理电路还配置成：
在检测到所述商品插入所述容器之后，并且在没有从所述扫描器接收到扫描输出数据或接收到不完整的扫描输出数据的情况下，向一用户提供指示应扫描所述商品的数据。
9.如权利要求7及8中任一项所述的便携式计算机化装置，其特征在于，在检测到所述商品插入所述容器之后，并且在没有从所述扫描器接收到扫描输出数据或接收到不完整扫描输出数据的情况下，所述处理电路进一步配置为生成及/或存储指示已发生一可疑事件的数据。
10.如权利要求7至9中任一项所述的便携式计算机化装置，其特征在于，在所述机器学习模块进行一错误检测或漏检测的情况下，所述处理电路配置成：
在所述错误检测或漏检测之前捕捉的一个或多个图像之间建立链接；将所述一个或多个图像添加到用于训练一检测机器学习模型的一训练数据集中，所述检测机器学习模型用作一错误检测或漏检测的范例，从而分别地改进所述机器学习模型对于插入的检测并减少假阳性检测或假阴性检测。
11.如权利要求1至10中任一项所述的便携式计算机化装置，其特征在于，还包括一本地数据存储器，所述本地数据存储器配置成存储包括所述一个或多个图像及所述相应识别标记的数据及/或所述本地数据存储器上的所述扫描输出数据，并将存储的所述数据传输到另一计算机。
12.如权利要求1至11中任一项所述的便携式计算机化装置，其特征在于，所述装置设计成可释放地附接到所述容器。
13.如权利要求1至11中任一项所述的便携式计算机化装置，其特征在于，所述装置设计成可释放地附接到一安装座，所述安装座固定地附接到所述容器并且配置成接收及保持所述装置。
14.如权利要求1至13中任一项所述的便携式计算机化装置，其特征在于，所述购物容器是一购物车。
15.如权利要求1至14中任一项所述的便携式计算机化装置，其特征在于，所述装置配置成自动地且连续地收集新信息，所述新信息包括扫描链接到数个相应的捕捉图像的输出数据，从而增强及丰富所述机器学习模型的一训练数据集。
16.如权利要求1至15中任一项所述的便携式计算机化装置，其特征在于，所述便携式计算机化装置包括两个或更多个摄像机。
17.如权利要求1至16中任一项所述的便携式计算机化装置，其特征在于，所述便携式计算机化装置是一智能手机。
18.一种追踪一购物容器中的数个商品的方法，其特征在于，所述方法包括以下步骤：
将一计算机化装置可释放地附接到一购物容器，所述装置包括一扫描器、一个或多个摄像机及包括一个或多个计算机处理器的一处理电路；
响应于使用所述扫描器扫描与所述商品相关联的一相应识别标记，提供扫描输出数据；
使用至少一摄像机捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像；
所述扫描器配置成响应于与所述商品相关联的一相应识别标记的扫描而提供扫描输出数据；
利用一处理电路以用于：
处理所述一个或多个图像，并检测所述商品插入所述容器或从所述容器中取出；
使用应用于所述一个或多个图像的一个或多个机器学习模型来识别所述商品，并将所述商品添加到一购买商品列表中。
19.如权利要求18所述的方法，其特征在于，还包括以下步骤：在所述一个或多个机器学习模型未能识别所述商品的情况下，生成并向一用户数个指令，以请求所述用户用所述扫描器扫描所述识别标记。
20.如权利要求18及19中任一项所述的方法，其特征在于，还包括以下步骤：
在所述一个或多个机器学习模型未能识别所述商品的情况下，基于所述扫描器响应于与所述商品相关联的一相应识别标记的扫描而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据建立链接；将所述一个或多个图像及所述相应扫描输出数据添加到用于训练至少一机器学习模型的一训练数据集中，从而更新所述训练数据集并使所述模型应用于所述商品的一个或多个图像，并且识别所述商品。
21.如权利要求18至20中任一项所述的方法，其特征在于，还包括以下步骤：
通过一通信网络将所述一个或多个图像传输到另一计算机装置，其中将所述一个或多个机器学习模型应用于其他计算机处的所述一个或多个图像装置；及
从其他计算机接收指示有检测到所述商品插入所述容器/从所述容器中取出的数据及/或识别所述商品的数据。
22.如权利要求18至21中任一项所述的方法，其特征在于，还包括以下步骤：
在所述一个或多个机器学习模型识别所述商品的多个可能身份的情况下，生成并向一用户提示数个指令，以请求所述用户从列出所述商品的所述多个身份的一列表中选择一正确身份。
23.如权利要求22所述的方法，其特征在于，还包括以下步骤：
响应于所述用户对一正确身份的选择，在所述一个或多个图像与指示所述正确身份的数据之间建立链接；更新一训练数据集，从而增强所述模型应用于所述商品的一个或多个图像的能力，并识别所述商品。
24.如权利要求18所述的方法，其特征在于，还包括以下步骤：
在训练模式下中操作时：
基于所述扫描器响应于对与所述商品相关联的一相应识别标记的扫描而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据建立链接；将所述一个或多个图像及所述扫描输出数据的所述相应识别添加到用于训练至少一机器学习模型的一训练数据集中，从而使所述模型应用于所述商品的一个或多个图像，并识别所述商品。
25.如权利要求24所述的方法，其特征在于，还包括以下步骤：
在检测到所述商品插入所述容器或从所述容器中取出之后，在没有从所述扫描器接收到扫描输出数据或不完整的扫描输出数据的情况下，向一用户提供指示应扫描所述商品的数据。
26.如权利要求24及25中任一项所述的方法，其特征在于，还包括以下步骤：
在检测到所述商品插入所述容器或从所述容器中取出后，如果没有从所述扫描器接收到扫描输出数据或不完整的扫描输出数据的情况下，则生成指示发生一可疑事件的一警报。
27.如权利要求18至26中任一项所述的方法，其特征在于，还包括自动地及连续地收集新信息，所述新信息包括扫描链接到所述数个相应的捕捉图像的输出数据，从而增强所述机器学习模型的一训练数据集。
28.如权利要求24至27中任一项所述的方法，其特征在于，还包括以下步骤：
如果在所述机器学习模块的一错误检测或漏检测的情况下：
在所述错误检测或漏检测之前捕捉的一个或多个图像之间建立链接；将所述一个或多个图像添加到用于训练一检测机器学习模型的一训练数据集中，所述检测机器学习模型用作一错误检测或错误检测的范例，从而分别地改进所述机器学习模型对于插入的检测并减少假阳性检测或假阴性检测。
29.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质具有在其中存储可由一计算机执行的软件表示的数据，所述软件包括用于使用一计算机化装置追踪一购物容器中的数个商品的一方法的数个指令，所述计算机化装置包括一扫描器、一个或多个摄像机及包括一个或多个计算机处理器的一处理电路；所述存储介质包括：
用于响应于使用所述扫描器扫描与所述商品相关联的一相应识别标记而提供扫描输出数据的数个指令；
使用至少一摄像机捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像的数个指令；
用于处理所述一个或多个图像及检测所述商品插入所述容器或从所述容器中取出的数个指令；
用于使用应用于所述一个或多个图像的一个或多个机器学习模型来识别所述商品并将所述商品添加到一购买商品列表的数个指令。
30.一种用于快速结账的计算机化系统，其特征在于，所述系统包括：
多个便携式计算机化装置，每个配置成用于追踪一购物容器中的数个商品，以及通过一通信网络可操作地连接到所述多个便携式装置的一训练计算机服务器装置；
每个便携式计算机化装置包括一扫描器及至少一摄像机以及一处理电路；
其中，每个装置的至少一摄像机配置成捕捉被插入所述容器或从所述容器中取出的一商品的一个或多个图像；
其中每个装置的所述处理电路在训练模式中操作时配置成：
基于响应于与所述商品相关联的一相应识别标记的扫描的所述扫描器而生成的扫描输出数据来识别所述商品；及
在所述一个或多个图像与所述相应扫描输出数据之间建立链接，从而产生链接数据；将所述链接数据传输到所述训练计算机服务器装置；
其中所述训练计算机服务器装置配置成：
将所述链接数据添加到用于训练一个或多个机器学习模型的一训练数据集中，从而使所述模型应用于所述商品的一个或多个图像并识别所述商品；及
将所述一个或多个机器学习模型传输到所述多个计算机化便携式装置；每个装置的所述处理电路配置成：
处理所述一个或多个图像并检测所述商品从所述容器中的插入或取出；
使用应用于所述一个或多个图像的所述一个或多个机器学习模型来识别所述商品，并将所述商品添加到一购买商品列表中。
CN202080096611.4A 2019-12-30 2020-12-29 使用一便携式计算机装置进行快速结账的系统及方法 Pending CN115136176A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962954722P 2019-12-30 2019-12-30
US62/954,722 2019-12-30
PCT/IL2020/051344 WO2021137219A1 (en) 2019-12-30 2020-12-29 System and method for fast checkout using a portable computerized device

Publications (1)

Publication Number Publication Date
CN115136176A true CN115136176A (zh) 2022-09-30

Family

ID=76685983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080096611.4A Pending CN115136176A (zh) 2019-12-30 2020-12-29 使用一便携式计算机装置进行快速结账的系统及方法

Country Status (6)

Country Link
US (1) US20230048635A1 (zh)
EP (1) EP4085370A4 (zh)
CN (1) CN115136176A (zh)
CA (1) CA3166363A1 (zh)
IL (1) IL294299A (zh)
WO (1) WO2021137219A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230045801A1 (en) * 2021-08-11 2023-02-16 Edge AI, LLC Body or car mounted camera system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111320A1 (en) * 2002-12-05 2004-06-10 Jorg Schlieffers Electronic shopping system
US20080249870A1 (en) * 2007-04-03 2008-10-09 Robert Lee Angell Method and apparatus for decision tree based marketing and selling for a retail store
EP3454698B1 (en) * 2016-05-09 2024-04-17 Grabango Co. System and method for computer vision driven applications within an environment
US10600043B2 (en) * 2017-01-31 2020-03-24 Focal Systems, Inc. Automated checkout system through mobile shopping units
JP7130355B2 (ja) * 2017-03-06 2022-09-05 東芝テック株式会社 チェック装置、及びチェックプログラム
WO2018209360A1 (en) * 2017-05-12 2018-11-15 Focal Systems, Inc. Automatic labeling of products via expedited checkout system
EP3635623A4 (en) * 2017-06-21 2020-10-21 Grabango Co. LINKING OBSERVED HUMAN ACTIVITY ON A VIDEO TO A USER ACCOUNT
FR3077404B1 (fr) 2018-01-31 2022-07-15 Afraite Seugnet Mehdi Methodes et systemes d'assistance a l'achat en un point de vente physique
KR101994205B1 (ko) * 2018-05-25 2019-09-30 주식회사 리테일앤인사이트 스마트 쇼핑 카트 및 이를 이용한 쇼핑 관리 시스템
US11772696B2 (en) * 2018-10-04 2023-10-03 Target Brands, Inc. Physical shopping cart having features for use in customer checkout of items placed into the shopping cart
US10807627B2 (en) * 2018-12-21 2020-10-20 Target Brands, Inc. Physical shopping cart having features for use in customer checkout of items placed into the shopping cart
AU2021415294A1 (en) * 2020-12-29 2023-07-13 Tracxone Ltd. 3d virtual construct and uses thereof

Also Published As

Publication number Publication date
IL294299A (en) 2022-08-01
US20230048635A1 (en) 2023-02-16
EP4085370A4 (en) 2023-12-13
EP4085370A1 (en) 2022-11-09
CA3166363A1 (en) 2021-07-08
WO2021137219A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US20230013957A1 (en) Non-Scan Loss Verification at Self-Checkout Terminal
CN107464116B (zh) 一种订单结算方法及系统
JP6869345B2 (ja) 注文情報決定方法および装置
CN207742721U (zh) 一种智能物品回收装置
JP6869340B2 (ja) 注文情報決定方法および装置
KR101729938B1 (ko) 통합 영상 검색 시스템 및 그 서비스 방법
CN100465987C (zh) 产品信息的光学验证设备、系统和方法
US7218228B2 (en) Article management apparatus and information processing methods
CN112041901B (zh) 用于安全标签的分离或去激活的系统和方法
WO2006114814A1 (ja) 物品管理システム
WO2008003192A1 (fr) Système et procédé d'adaptation intelligents
US12014544B2 (en) Identifying scanning motions during checkout using overhead cameras
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
JP2006227863A (ja) 名札表示装置、監視装置、名札表示方法、名札表示用プログラム
CN204614025U (zh) 一种购物储物设备
KR101784287B1 (ko) 통합 영상 검색 시스템 및 그 서비스 방법
CN115136176A (zh) 使用一便携式计算机装置进行快速结账的系统及方法
CN111523348B (zh) 信息生成方法和装置、用于人机交互的设备
US10719673B2 (en) System and method for collecting and/or retrieving information relating to objects
CN104778618A (zh) 一种购物储物设备
US20240070642A1 (en) Method and system for self-checkout in a retail environment
JP5181005B2 (ja) 携帯端末
CN104718553A (zh) 确定在家电装置中被使用的物品的信息处理系统以及防盗系统
CN106469489A (zh) 目标物验证方法、装置及系统
TWI642004B (zh) 包裹領取驗證系統及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination