CN113631067A - 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法 - Google Patents

物品定位、清单创建、路线规划、成像和检测的系统、设备和方法 Download PDF

Info

Publication number
CN113631067A
CN113631067A CN201980081100.2A CN201980081100A CN113631067A CN 113631067 A CN113631067 A CN 113631067A CN 201980081100 A CN201980081100 A CN 201980081100A CN 113631067 A CN113631067 A CN 113631067A
Authority
CN
China
Prior art keywords
user
camera
kiosk
processor
store
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980081100.2A
Other languages
English (en)
Inventor
D·P·斯道特
E·M·贝尔德
T·摩尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ghost House Technology Co ltd
Original Assignee
Ghost House Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/458,795 external-priority patent/US11880879B2/en
Application filed by Ghost House Technology Co ltd filed Critical Ghost House Technology Co ltd
Publication of CN113631067A publication Critical patent/CN113631067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F9/046—Arrangement of recording means in or on check-out counters
    • A47F9/047—Arrangement of recording means in or on check-out counters for recording self-service articles without cashier or assistant
    • A47F9/048—Arrangement of recording means in or on check-out counters for recording self-service articles without cashier or assistant automatically
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/322—Aspects of commerce using mobile devices [M-devices]
    • G06Q20/3224—Transactions dependent on location of M-devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4015—Transaction verification using location information
    • G06Q20/40155—Transaction verification using location information for triggering transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F10/00—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for
    • A47F10/02—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets
    • A47F2010/025—Furniture or installations specially adapted to particular types of service systems, not otherwise provided for for self-service type systems, e.g. supermarkets using stock management systems

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了用于使用现有商店照相机和人工智能以及机器学习来实现用户生成的购物清单的店内路线规划的系统。该系统使用实时成像的物品与机器学习图像的数据库相比的像素缓冲器比较。该系统还通过机器学习来提供物品识别和检测，以改进购物者体验。该系统和方法还包括无人机辅助方案和无线电信号物品和生物检测以提高准确度。用以改进引导和准确度的其它特征包括地标导航和掩蔽以提高物品识别和检测的准确度。该系统可以是独立的自助服务终端。

Description

物品定位、清单创建、路线规划、成像和检测的系统、设备和 方法
相关申请的交叉引用
本申请要求2018年6月29日提交的美国临时申请序列号62/691,927、2019年4月2日提交的美国临时申请序列号62/828,153、2018年8月21日提交的美国临时申请序列号62/720,560、2018年12月7日提交的美国临时申请序列号62/776,671、2019年1月14日提交的美国临时申请序列号62/792,044、2019年1月18日提交的美国临时申请序列号62/794,058、2019年4月26日提交的美国临时申请序列号62/839,234、以及2019年7月1日提交的美国实用申请序列号16/458,795的优先权和权益，上述文献通过引用而全部并入于此。
技术领域
本说明书一般涉及用以辅助物品定位(诸如购物或仓库物品定位和跟踪等)、检测、路线规划的系统和方法，更具体地涉及用于使用用户生成购物清单和店内SKU数据库、机器学习、无人机辅助、图像识别和检测来确定通过商店或仓库的最快且最高效的路线以促进更快且更高效的结账和/或识别过程的系统和方法。
背景技术
购物清单在本领域是众所周知的。人们通常在其移动装置上或者使用传统纸张来创建购物清单。移动应用越来越多地用于在线购物和物品检索信息。具体地，访问商店的网站以确定特定商店是否具有库存物品以及每个物品的价格是本领域已知的。然而，这些先前已知的购物方法过时了，并且通常不会提供最准确的最新信息。一个常见的问题是，用户将在线检查物品的供应以确认为产品是可获得的，但是在他们到店之后将发现该产品是不可获得的。这些现有系统不会实时更新，并且不使用特定实体商店数据库位置信息，因此对用户而言不方便。
因此，需要用于创建清单、确认可获得性并生成用户容易访问的路线规划信息的替代和有效的购物系统和方法。此外，在使用所述系统和方法时，需要使结账过程流线化。
使用诸如红外、声呐等的各种方法来检测生物(人、动物等)和物体(任何无生命物体)的物理存在是本领域众所周知的。然而，这些方法不能确定附加生物物理信息，并且在某物位于另一物理物体后面的情况下通常不能检测到该物的存在。
因此，需要准确地检测生物和事物的波长、频率和一般存在的改进方法和系统。
发明内容
一种用于实现用户生成的购物清单的店内路线规划的系统，所述系统包括：全球定位系统，所述全球定位系统确定所述用户的位置以确定所述用户当前所在的特定商店；连接至所述特定商店的SKU数据库的处理器，所述SKU数据库包括产品价格、产品位置和产品可获得性信息，其中，所述处理器被配置为基于仅来自所述特定商店的SKU数据库的位置信息来确定最高效路线，各产品按过道和/或位置进行分类；以及使用映射点在预定商店布局地图上映射位置信息以确定所述映射点之间的最快路线，其中，各映射点指定特定产品位置。在一些实施例中，所述处理器在所述用户进入商店位置之前连接到所述SKU数据库。所述处理器可被配置为在用户显示画面上向所述用户显示来自所述全球定位系统和所述SKU数据库的产品可获得性信息作为所述购物清单中的产品的可获得性。一种选项是在包括产品位置信息的指示清单中提供最快路线。在一些实施例中，为了效率而优化所提供的路线，所述系统被配置为创建多个清单，以及/或者所述用户可以选择从哪个清单开始购物。此外，在一些实施例中，SKU数据库信息被实时地发送至所述用户。
在另一实施例中，提供了一种允许用户在商店结账的系统，设备和系统包括：允许用户生成购物清单的移动应用；与所述移动应用无线通信的自助服务终端，所述自助服务终端具有至少一个照相机，所述至少一个照相机与学习图像的数据库通信，所述数据库基于商店内的先前交易而被持续地更新；以及将物理存在的物品与图像的所述数据库进行比较的处理器，所述处理器将物理存在的物品与用户的移动应用上的购物清单中的物品进行比较，所述处理器将购物车内的物品与所述购物清单进行比较以确认购物车中的物品和/或相应支付总额。在一些实施例中，所述移动应用允许无线支付。在一些实施例中，所述自助服务终端包括秤，所述秤被配置为对可变重量物品进行称重，所述秤被配置为将重量信息发送至所述移动应用。所述自助服务终端可以包括多个照相机。所述自助服务终端可以与同所述自助服务终端自身物理间隔开的照相机通信。此外，所述自助服务终端可以与商店中的现有安全照相机通信。在一些实施例中，所述照相机是深度感测照相机。
在另一实施例中，提供了一种用于对用户在商店中收集到的物品进行认证的系统，所述系统包括：商店的购物位置中的至少一个照相机，所述照相机能够在所述商店的购物位置的帧中查看用户及其周围，所述照相机被配置为检测用户实时拾取的训练物品，所述照相机仅检测所述训练物品，其中，所述训练物品是具有与所述商店相对应的图像数据库中所存储的数据的产品；以及与所述图像数据库通信的处理器，所述处理器使用机器学习来将实时的所述训练物品与所述图像数据库进行比较以确定特定产品。在一些实施例中，从实时的所述训练物品收集的数据被存储在所述图像数据库中以供将来使用，从而提高所述系统的准确度。此外，一种选项是使用像素缓冲器比较来对所述帧内的训练物品进行认证。在一些实施例中，所述处理器确定标识符和置信度评分。所述系统还可以包括由所述用户使用以生成购物清单的移动应用，所述处理器与所述移动应用通信以通过将实时收集的数据与所述用户的购物清单进行比较来确认为向所述购物清单添加了正确产品。所述系统可以包括被配置为生成购物清单的移动应用，所述处理器与所述移动应用通信以向所述购物清单添加特定产品。
在另一实施例中，提供了一种用于在结账过程期间对物品进行认证的系统和方法，所述系统和方法包括：包含多个数据库图像的图像数据库，所述图像数据库包括个体物品的多个图像；至少一个照相机，所述至少一个照相机被配置为在所述结账过程期间拍摄物品的结账照片以对所述物品进行认证；以及被配置为使用像素缓冲器比较来将所述结账图像与所述数据库图像进行比较以对所述物品进行认证的认证系统，其中，所述系统被配置为将所述结账图像存储到所述图像数据库中，使得所述结账图像变为数据库图像，从而增加所述图像数据库以通过机器学习来提高准确度和精度。
在另一实施例中，一种使用人工智能以利用移动装置照相机来识别商店中的物品的系统和方法，所述系统和方法包括：包含多个数据库图像的图像数据库，所述图像数据库包括个体物品的多个图像；被配置为实时查看图像的所述移动装置照相机、与所述图像数据库通信的处理器，所述处理器被配置为将所述图像与所述多个数据库图像进行实时比较以确定用户使所述移动装置照相机指向的物品；以及被配置为允许用户与应用内的识别物品进行交互的系统，其中，交互功能包括轻击、语音、点击和/或手势。
在另一实施例中，一种被配置为对物品进行称重的袋，所述袋包括：被配置为在购物时保持用户所选择的产品的保持部；被配置为对所述保持部中所放置的物品进行称重的称重装置；被配置为检测转动或移动以防止错误读数的加速度计；以及其中，所述袋和相应系统被配置为在所述用户对第一物品进行称重后使重量读数归零，从而允许所述用户对同一袋中的第二物品进行称重而无需从所述袋中移除所述第一物品。所述袋还可以包括处理器。在一些实施例中，所述处理器与移动应用通信以发送与产品有关的重量信息。所述处理器可以与移动应用无线通信。所述袋还可以包括用以存储与所述袋内所包含的可变重量物品有关的重量信息的存储容量。在一些实施例中，所述袋还可以包括用于与商店处的结账台连接和通信的传感器。
在另一实施例中，一种被配置为在购物时辅助用户的商店中所使用的无人机辅助系统，所述无人机辅助系统包括：与用户的移动装置通信的无人机，所述无人机具有光投射特征，所述无人机与处理器通信，所述处理器具有物品在商店中的特定位置，并且所述无人机被配置为在所述用户请求物品位置之后从所述处理器接收所述物品位置，所述无人机被配置为在商店内找到所述物品并且对所述商店内的单个物品进行照明以向所述用户指示所述物品的确切位置。在一些实施例中，所述无人机包括机载照相机和相应处理器。在一些实施例中，所述处理器被配置为通过所述照相机来进行物体检测和识别。此外，所述处理器可被配置为通过所述照相机来进行面部识别。在一些实施例中，所述照相机和所述处理器被配置为在所述商店中跟踪用户。
在另一实施例中，一种无人机系统，包括：具有最上面搁架的搁置单元；以及被配置为对无人机进行充电的无线充电垫，所述无线充电垫位于所述最上面搁架上。在一些实施例中，所述搁置单元被配置为在商店中保持物品。所述搁置单元可被布置成在商店中形成过道，并且电力线缆可以延伸通过所述搁置单元以向所述无线充电垫供电。
在又一实施例中，一种用于物品成像的系统，所述系统包括：被配置为发送投射到期望物体或区域上的信号的无线电发送器，所述信号行进通过固体表面并在所述信号与表面或物体交互时创建返回信号，所述返回信号由无线电接收器接收，以及被配置为解释所述无线电接收器所接收到的信号以判断在物体后面是否存在传统照相机不能查看到的附加物品的处理器。在一些实施例中，所述系统包括至少一个照相机，来自所述照相机的数据和从所述无线电接收器接收到的信号被组合以提供区域内的所有物品的综合图像或核算。
在另一实施例中，一种检测系统，包括：与处理器和无线电发送器通信的人工智能程序，所述无线电发送器被配置为将信号发送到物体或生物上；被配置为从所述无线电发送器接收回波的无线电接收器，所述处理器被配置为接收并解释从所述无线电接收器接收到的数据，所述处理器与所述人工智能程序通信以解释来自所述回波的数据，以及所述处理器被配置为确定置信度阈值，其中，如果满足所述置信度阈值，则所述处理器以预定期望格式输出所述数据，并且如果不满足所述置信度阈值，则所述无线电发送器发送新信号以加强所述数据。在一些实施例中，所述无线电发送器将信号发送通过物体以检测照相机不可见的物体。在一些实施例中，所述信号被发送至人或动物以检测生物磁、身体频率和/或身体波长。在一些实施例中，所述信号被发送至人或动物以设置包括神经命令的身体功能参数。在一些实施例中，生物磁、身体频率和/或身体波长的检测被收集作为如下的数据，该数据用以解释波的频率以将该频率与特定身体状态相关联。在一些实施例中，所述特定身体状态是情绪、疾病和/或病症。在一些实施例中，所发送的信号是Wi-Fi信号。在一些实施例中，所述预定期望格式是所检测到的物体的视觉表示。
在又一实施例中，一种用于商店内的地标导航的系统，所述系统包括：移动装置上的移动应用，所述移动应用具有被配置为允许用户选择地标导航选项的用户接口；被配置为基于所述用户的购物清单或者基于所述用户正在购买的特定物体来处理路线的处理器；评价现有导航点之间的距离的路线矩阵，如果所述距离满足或超过地标要求阈值，则所述系统在合格导航步之间插入地标导航点，从而向所述用户通知特定产品位于特定地标附近。在一些实施例中，利用所述地标的位置来向所述用户提供视觉地图。在一些实施例中，从至少一个店内照相机检索数据，所述数据与商店内的现有地标的特定位置相关。
在另一实施例中，一种用于改进图像处理的系统，所述系统包括：至少一个深度感测照相机，所述深度感测照相机在帧内找到焦点；被配置为从所述焦点所在的所述帧内的相应区域检索深度数据的处理器，所述处理器被配置为使用所述深度数据来确定所述帧内所包含的背景，其中，所述处理器然后在所述背景上放置二元掩模以遮挡所述照相机的视场内的不必要的图像，从而提高准确度。在一些实施例中，所述掩模在所述帧内从视觉上遮挡除所述焦点以外的所有图像。在一些实施例中，仅从所述帧内的未被遮挡的焦点获取数据，以使所述帧内的噪声最小化。
提供了一种用于在商店结账的自助服务终端，其中，所述自助服务终端包括安装有第一照相机和第二照相机两者的主体，所述第一照相机和第二照相机两者与处理器通信，所述第一照相机被配置为检测并认证用户，以及所述第二照相机被配置为检测至少一个用户选择产品，其中所述处理器使用机器学习将预先存在的图像数据库与所述第二照相机收集的数据进行比较以准确地检测所述用户选择产品，以及其中所述处理器生成所述第二照相机检测到的物品的清单。在一些实施例中，所述第一照相机是生物特征照相机。在一些实施例中，在所述第一照相机或所述第二照相机检测到所述用户走开或者所述用户在所述自助服务终端上发起结账时，自动对所述用户扣款。在一些实施例中，所述自助服务终端还包括显示屏。所述自助服务终端还可以包括第三照相机，所述第三照相机被配置为在所述第三照相机指向查看购物车的内容的情况下查看用户的手推车。所述第三照相机可以与所述处理器通信，所述处理器被配置为以视觉或听觉方式通知在所述用户手推车中是否留有物品。
提供了一种用于处理订单的系统，所述系统具有：处理器；与所述处理器通信的第一照相机，所述第一照相机和所述处理器被配置为检测用户正在下订单；订单输入接口，所述订单输入接口被配置为接受订单，所述订单输入接口与所述处理器通信；以及与所述第一照相机和所述处理器通信的第二照相机，所述第二照相机与所述第一照相机间隔开，其中将在所述订单输入接口中输入的订单标记未完成，直到所述第一照相机或所述第二照相机在同一像素缓冲器中检测到所述用户和订购的物品为止。所述第一照相机和/或所述第二照相机可以是生物特征照相机。在一些实施例中，在所述用户下订单之后完成支付。在其它实施例中，在所述用户从所述第一照相机或所述第二照相机走开时完成支付。
一种用于在商店结账的自助服务终端，所述自助服务终端包括安装有照相机和显示器的主体，所述照相机和所述显示器与处理器通信，所述照相机被配置为检测并认证用户，以及所述处理器被配置为使用与所述用户相关联的数据来生成目标营销材料，以在所述显示器上向所述用户进行显示。在一些实施例中，向所述用户显示的材料是基于用户购物历史的广告。在一些实施例中，所述用户能够通过使用手势、语音命令、应用和/或物理交互来与所述显示器交互。
附图说明
附图中所阐述的实施例在本质上是说明性和示例性的，并且不旨在限制权利要求书所限定的主题。可以在结合以下附图阅读时理解以下对说明性实施例的详细描述，其中，相同的结构用相同的附图标记指示，并且在附图中：
图1描绘了详述根据这里示出和描述的一个或多个实施例的系统所采取的高级步骤的流程图；
图2描绘了示出根据这里示出和描述的一个或多个实施例的过道优先级系统的示例性图；
图3描绘了根据这里示出和描述的一个或多个实施例的示例性商店布局和相应路线；
图4描绘了详述根据这里示出和描述的一个或多个实施例的系统所采取的商店SKU连接和处理的流程图；
图5描绘了根据这里示出和描述的一个或多个实施例的中心显示画面截图；
图6描绘了根据这里示出和描述的一个或多个实施例的清单选择显示画面截图；
图7描绘了根据这里示出和描述的一个或多个实施例的清单显示画面截图；
图8描绘了根据这里示出和描述的一个或多个实施例的路线显示画面截图；
图9描绘了根据这里示出和描述的一个或多个实施例的在用户结账离开商店时使用的结账设备和系统的示意图；
图10描绘了根据这里示出和描述的一个或多个实施例的商店物品目录的示例性实施例；
图11描绘了根据这里示出和描述的一个或多个实施例的基于如图10所示的图像目录的示例性性能图；
图12描绘了根据这里示出和描述的一个或多个实施例的示例性改进商店物品目录；
图13描绘了根据这里示出和描述的一个或多个实施例的基于如图13所示的改进图像目录的示例性性能图；
图14描绘了用于描绘根据这里示出和描述的一个或多个实施例的物品识别智能系统(“IRIS”)的流程图；
图15描绘了根据这里示出和描述的一个或多个实施例的在照相机指向物品的情况下的AI特征的示例性截图；
图16是根据这里示出和描述的一个或多个实施例的使用中的IRIS的示例性模型；
图17是根据这里示出和描述的一个或多个实施例的整个系统的流程图；
图18是根据这里示出和描述的一个或多个实施例的如这里广泛公开的系统的示意图；
图19是示出根据这里示出和描述的一个或多个实施例的如通过突出显示产品位置以使得用户能够容易地定位产品的移动应用而查看到的产品的位置的系统的示例性照片和图形表示；
图20是根据这里示出和描述的一个或多个实施例的具有重量测量装置、加速度计、压力传感器、
Figure BDA0003104507090000091
等的重力袋的示例性图；
图21描绘了根据这里示出和描述的一个或多个实施例的使用中的重力袋的说明性实施例；
图22是根据这里示出和描述的一个或多个实施例的无人机购物助手的广义描绘；
图23从侧视图描绘了根据这里示出和描述的一个或多个实施例的无人机充电搁架的示例性模型；
图24描绘了根据这里示出和描述的一个或多个实施例的用户使用无人机辅助系统的整体示例性图，其中，无人机从无人机充电站沿着飞行路径移动到用户位置以对用户已请求辅助定位的特定产品进行照明，其中，该照明是从无人机到特定产品的光投射；
图25描绘了用于描绘根据这里示出和描述的一个或多个实施例的无线电发送器检测系统的处理的流程图；
图26描绘了根据这里示出和描述的一个或多个实施例的照相机捕获原始馈送与捕获具有活动二元掩模的馈送的并排比较；
图27描绘了根据这里示出和描述的一个或多个实施例的以图形方式显示的地标导航系统的示意图；
图28描绘了用于体现根据这里示出和描述的一个或多个实施例的地标导航系统的流程图；
图29描绘了根据这里示出和描述的一个或多个实施例的自助服务终端和自助服务终端的相应流程图；
图30描绘了根据这里示出和描述的一个或多个实施例的示例性自助服务终端；
图31描绘了根据这里示出和描述的一个或多个实施例的示例性自助服务终端；以及
图32描绘了根据这里示出和描述的一个或多个实施例的示例性结账系统和相应流程图。
具体实施方式
本申请的系统、设备和方法有两部分。第一部分涉及使用移动应用来创建清单和优化商店内的路线的系统和方法。第二组成部分涉及被配置为在用户正使用前述移动应用时使用户的结账过程流线化的结账系统和设备。
本说明书的系统和方法为在商店、特别是杂货店购物的人提供一站式购物。从高级概览来看，系统和方法包括清单创建系统、到全球定位系统(GPS)的连接以确定特定商店位置信息、到所述特定商店的SKU系统的连接以提供实时可获得性、位置和价格信息以及路线规划功能，以使用仅从特定实体商店的产品信息的SKU数据库检索到的信息来提供整个商店中的最高效且最快的路线。路线规划系统获取用户所生成的清单上的物品。在激活时，系统将仅基于用户所在的特定商店专用的SKU信息来确定用户在整个商店中可以采用的最快路线。
图1公开了一般通过使用移动应用将系统映射到商店SKU系统或将用户生成杂货清单上的物品连接到商店SKU系统的流程图。系统100使用户能够在移动应用内创建诸如杂货物品等的一个或多个物品清单。用户可能具有多个清单，因此能够管理多个清单、与组成员共享清单或为特定事件创建特定清单。
在第一步骤102处，系统与GPS通信以确定用户的确切地理位置。系统参考该地理位置以确定用户当前所在的特定商店。在步骤104处，一旦建立了地理位置，系统参考来自所确定的商店的SKU系统的数据。商店SKU系统存储商店内的诸如产品定价、可获得性和位置等的信息。
本说明书的系统特别有利之处在于：它允许系统直接连接到特定商店的SKU系统。SKU系统提供与该特定商店中的物品的价格、可获得性和位置有关的实况(也称为实时)且完全准确的数据。类似系统无法提供与产品可获得性、定价和位置有关的实时且准确的数据，因为这些系统不直接连接到特定商店的SKU系统。
在步骤106处，提示用户从移动应用内的多个清单中选择他们将用来进行购物的清单。在步骤108处，在SKU系统与用户选择的清单进行交互后，如果清单上的某物不可获得，则系统将通知用户。在步骤110处，这种可获得性确定实时发生并且可以甚至在用户进入商店之前发生。该数据将显示用户清单上的物品是否有库存、以及该物品当前在用户所在的商店内的过道位置。此外，还可以在移动应用内向用户提供支付系统114(诸如
Figure BDA0003104507090000111
或
Figure BDA0003104507090000112
支付)并使其对用户可用。
然后，系统基于用户清单来确定最高效路线。在步骤112处，基于用户的购物清单上的物品的位置来计算路线。如图2至4中进一步详细讨论的，该过道优先级系统使用来自商店的SKU系统的数据。特定商店内的位置信息的特定SKU信息被通信至应用。
然后，系统和应用基于各特定产品的确切位置来生成诸如图2所示的过道优先级矩阵。参考图2和3，用户的购物清单上的物品与SKU编号直接关联。整个商店中的各SKU编号与位置名称或过道名称关联。如图2所示的矩阵根据SKU和因此过道名称来对用户的购物清单上的各物品进行分类。然后按过道名称对物品进行分类。在该实施例中，位于例如过道1中的所有物品依次位于如图2所示的矩阵内。这种根据过道名称将物品按过道名称分类为组是用于计算为用户定制的特定路线的数据。
在图2所示的示例中，用户具有一个清单，该清单上有四个物品，包括牛奶、面包、谷物和苏打。在系统基于GPS信息确定用户实际在哪个商店之后，用户清单上的各物品被绑定到诸如矩阵205所示等的特定SKU编号。用户清单上的各物品的SKU编号与特定位置(也称为过道名称)关联。用户清单上的各物品还与数量(也称为库存可获得性)关联。
然后，将来自矩阵205的数据传送到如矩阵207所示的过道优先级系统。将如205所示的矩阵的位置信息与过道优先级矩阵207中的清单上的其它物品进行比较。然后，用户清单上的各产品按过道名称组织，并按过道名称分组在一起。
通过示例的方式，如本矩阵207所示，面包被分类在面包房中，谷物被分类在过道3中，牛奶被分类在过道8中，以及苏打被分类在过道5中。然后将如矩阵207所示的按产品位置的分组与诸如图3所示等的商店布局200进行比较。各商店位置将具有单独的商店布局地图，这些商店布局地图将基于诸如矩阵207所示等的过道优先级来指定用户的路线。
参考图3，布局200指定，用户应从入口202开始并遵循如过道优先级系统所指定的路线206(如果最高效的话)。在如图2所示的进一步示例中，该特定示例中的用户将首先停在面包房208处，然后继续通过其余的过道210，在该特定实施例中，用户从面包房208开始，前进到过道3，然后前进到过道8，最后通过过道5。然后，用户被引导至结账处214并通过出口204。在该特定示例中，过道优先级将指定，用户将首先获得面包房208处的物品，然后将继续通过过道1至4。然后，用户将前进到熟食店212，然后通过过道8、7、6、5，其中可以在过道7、6或5中的任意过道之间拾取过道9中的物品。应当注意，如图2和3所示的示例仅仅是示例性的，并且不旨在限制本说明书的范围。
图4进一步讨论了商店数据库和处理器与用户的移动装置之间的SKU和清单通信。流程图300列举了在步骤302处首先获得具有SKU编号的清单物品的步骤，其中在步骤304处使用编号以从该特定商店的SKU数据库中检索包括商店中的位置的商店产品信息，然后系统在步骤306处将各特定列出物品的信息输入到过道优先级路线规划系统中，然后系统使用诸如上述等的过道优先级系统来构建最高效路线以在尽可能最短的时间和行进距离内拾取各物品并离开，诸如步骤308处所示。
图5至8示出要在用户的移动装置上显示的示例性应用视觉。图5至8的进展示出将向用户显示的画面的高级流程图。在打开应用时，打开的画面首先提示用户。然后向用户显示登录画面，使得用户可以输入登录信息并且用户可以登录到系统以将任何上述或前述应用用于整个系统。中心画面406允许用户连接到特定商店的分组、清单或路线信息。画面408显示用户所创建的单个或多个清单，画面410显示清单上所包含的物品，以及画面412显示路线规划功能和概览以最高效地收集用户清单上的物品。
诸如图5所示等的画面406显示中心画面。中心画面406是用户可以访问和查看系统和应用内所包含的所有功能的位置。在中心画面406上，用户可以查看与销售额、对杂货清单的调整、缺货物品等有关的通知。然后，用户还可以在搜索功能按钮428处搜索物品，改变其设置，访问其清单，访问其分组，并在按钮424处启用分组功能。按钮420允许用户更改分组设置，诸如谁可以获得和访问清单等。按钮422允许用户查看诸如清单画面408所示等的清单。在如附图标记426所示的通知窗口中显示通知。在附图标记429处可获得设置信息。
图6示出清单画面408。清单画面408使用户能够在附图标记440处创建新清单，查看每周清单442或查看诸如在附图标记444、446、448处指示等的附加特定清单。在清单画面408上还显示搜索功能428。
图7示出用户的杂货清单450上的物品的列举清单。在用户清单450上列出物品名称和数量。在清单上还向路线显示画面410显示搜索功能428以及设置信息429。一旦用户在清单画面408上选择清单，就显示该显示画面410。用户可以滚动清单并根据需要进行更改。清单将示出数量或重量(如果适用的话)以及详细的名称品牌特定信息。清单下方可以包括基于营养信息对产品信息进行评分和评级的健康评级。然后，用户可以通过按下开始路线规划按钮452来开始路线规划。通过选择开始路线规划按钮452，系统将打开新的显示画面412，该新的显示画面412基于商店内的用户购物清单来示出最高效路线。
图8显示路线规划功能显示画面412。路线规划画面412显示本地商店信息460以及清单名称462。在步骤470处示出各物品或物品组的位置信息。如这里描述的路线规划功能通过使用其过道优先级系统来将本功能和系统与现有技术区分开。本说明书的路线规划系统是用于走过商店的逐个过道的引导，以确保购物者在购物时节省时间并避免在搜索特定物品时在商店中徘徊。路线规划功能比仅逐个过道的走过更大且更新颖之处在于：它使用GPS和/或地理位置与商店直接连接以向系统通信用户的具体位置。该信息确定用户所在的特定商店。一旦GPS系统确定了用户所在的具体商店，就不再需要GPS系统，因为各特定产品的位置信息被发送到系统并且仅基于该特定商店内的SKU编号。
在任何上述画面中还可以提供支付按钮472。在一些实施例中，用户可以在将各物品放置在手推车中时支付该物品，或者可以在启用移动装置支付系统的结账时使用特定技术来支付物品。还可以在结账时提供如下的系统，诸如下文中将讨论的，该系统使用RFID系统和/或照相机来验证商店中进行的购买。
上述移动应用和系统允许用户创建清单，然后移动应用基于商店的数据并使用过道优先级系统(全部如上文和附图中所讨论)为购物者生成最高效的路线。结账自助服务终端与移动应用结合使用，从而使结账过程完全无缝。在应用内许可用户使用Apple
Figure BDA0003104507090000151
(或类似程序)。在该实施例中，当用户位于该结账自助服务终端(也称为装袋台)时，移动应用接受支付。
各自助服务终端包括多个立体照相机，这些立体照相机通过将计算机链接至该照相机来编程。当各装袋台中的计算机被链接时，它们将基于物品的色调饱和度值以及物品的RGB和尺寸的详细信息来检测购物物品。如果照相机的机器人视觉没有检测到物品并且该物品在购物者的清单上，则将为用户和商店这两者创建警告或通知。类似地，如果在用户的手推车或袋中有不在用户购物清单上的附加物品，则将向用户和商店这两者发出警告/通知。这将防止盗窃和意外超额收费。照相机与应用通信，并且该应用与照相机通信。它是纯通信和物品目录的系统。
如前文中所讨论的，能够与移动应用工作的各商店包括这里描述的自助服务终端中至少之一。在附图9中示出示例性自助服务终端。自助服务终端500包括主体或外壳502。外壳502包括多个立体照相机(或深度感测照相机)504，所有这些照相机通过计算机或其它处理器连接并连接到计算机或其它处理器。自助服务终端500还包括使得系统能够更容易地限定和查看手推车510的篮部分512内的内容物A、B的灯环508或其它类似闪光装置。自助服务终端500还包括用于对产品或其它散装食品进行称重的无线秤506。
各自助服务终端500将包含照相机以及经由wifi、蜂窝和/或
Figure BDA0003104507090000152
与应用通信的主计算机。照相机将被编程为知道商店内的每个物品的详细信息。这种详细信息包括：SKU、物品名称、HSV、RGB及其3D尺寸。照相机504将使用一系列高级算法来正确地检测和识别购物者的手推车、袋中的物品，同时从手推车转移到袋。照相机504和照相机系统将与应用通信以确定购物者的物品的有效期。
通过示例的方式，用户的清单上有两个物品：香蕉和苹果。如果照相机系统检测到手推车510中的谷物盒，则系统将自动通知购物者并允许购物者从购物者的手推车中移除产品或将物品添加到购物者的购物清单，因此可以调整总的购物价格。如果用户忽略该错误，则自助服务终端500将点亮其灯以向商店的员工警告存在物品检测错误。
照相机使用一系列高级算法，这些高级算法与移动应用内的用户杂货清单通信。照相机使用的第一个操作是通过python和opencv的机器人视觉。这允许照相机基于物体的HSV、RGB和尺寸来跟踪物体。照相机系统将使用多个目标跟踪算法。一种算法是实时的，并且与已知为KCF(核化相关滤波器)的高质量产品检测和产品隔离结合使用。另一种算法是用于搜索仅与清单相关的特定物品的TLD(跟踪、学习和检测)。这些检测算法和方法与照相机结合使用，并且可以在系统需要和许可时单独或一起使用。
KCF算法被编程为查找商店中的所有物品，并对其在新用户接近时检测到的物品进行编目录。其编目录的物品应当与激活的用户购物清单完全匹配。如果发现不在清单上的物品，则KCF系统将发送警告/通知。
TLD算法被编程为查找仅在用户的杂货清单上的物品。如果购物车中缺少清单物品，则TLD系统将发送警告/通知。该系统提供实时的杂货产品检测和深度学习，以防止商店盗窃以及产品隐藏在袋或手推车中。
在一些实施例中，如这里所述的系统利用机器学习来消除物品盗窃以及针对客户的意外超额收费。图10至13示出和描述了用于通过利用机器学习来改进系统性能的本系统。这里讨论和示出的系统创建了无缝结账过程。
在一些实施例中，用于确认物品的身份的验证和检测过程涉及使用机器学习模型(包括但不限于图像分类器和物体检测器以及像素缓冲器比较)。像图像分类器或物体检测器这样的机器学习模型获取输入图像并运行算法以确定图像或图像内的物体与模型内的训练物体匹配的可能性。然后，模型输出标识符以及各标识符的置信度评分或倍数。为了使输出被认为是可靠的，置信度评分需要达到期望阈值。值得注意的是，当模型正在运行时，其将以每秒几次的速率持续输出标识符和置信度评分，即使图像帧中不存在训练物品。然而，训练良好的模型将永远不会为不包含训练物品的图像分配高置信度评分。因此，设置高置信度阈值确保了高准确度。
上述的验证方法的第二方面涉及像素缓冲器比较。可以保持单个图像、帧或来自给定图像的机器学习模型输出以供将来进一步使用，这些图像被定义为缓冲器。随着模型正在运行，已达到置信度阈值的先前模型输出被放置到缓冲器中和/或移动通过一系列缓冲器。保持这些缓冲器内的输出允许比较当前模型输出和先前模型输出。这种输出比较是有益的，因为它包括为某些动作提供参数以及进一步增强输出的准确度。
通过示例的方式，系统以照相机帧内没有训练物品开始，其中机器学习模型尝试判断图像中是否存在任何训练物品。在帧中没有训练物品的情况下，该模型输出最可能物品的标识符或与关联置信度评分的最接近的匹配。在这种情况下，模型训练良好，并且仅向未达到被认为是可靠的置信度阈值的这些输出分配低置信度评分。然后，训练物品进入照相机视野。模型基于其训练和算法来开始识别训练物品并向适当的标识符输出更高的置信度评分。置信度评分达到或超过供程序采取进一步行动所需的置信度阈值。然后将该输出放置到缓冲器中。然后，模型再次输出同一物品的高置信度评分。记住，模型正在创建多个输出，这意味着单个物品将很可能保留在模型的帧中以便多次识别它。在创建满足所需置信度阈值的后续模型输出后，继而将新输出与先前输出的结果进行比较，并查阅某些参数以进行动作。在这种情况下，如果先前输出标识符与新输出标识符相同，则系统可以认为这两个输出都是仍在照相机帧内的同一物品的结果。在其它情况下，新输出的标识符与先前输出的标识符不同，因此向系统通知新物品已进入照相机帧。
这里示出和描述的本结账系统和物品认证过程依赖于机器学习。机器学习发现收集物品数据的算法，这些算法赋予了系统洞察力以及基于所收集到的数据预测或查全物品或物体的能力。系统运行越多，其收集到的数据越多，其产生的问题越多，因此出现更高的预测/精确率。换句话说，系统继续收集图像和其它数据以持续改进系统的准确度和产品的检测。
本系统使用机器学习，由此创建目录以对商店中的物品进行编目录。该系统是完全运行的杂货业物品检测系统，其以100％的精度和100％的查全率执行。使用高质量的360°物品照片，照相机系统完全了解用户从搁架上获取的物品以及购物者的手推车中的物品。
该物品认证系统直接连接到诸如这里所述等的应用、系统和软件。如这里描述和示出的自助服务终端(也称为梯台)具有内置照相机。系统还可以利用已安装在商店设施中的照相机以进一步向整个系统提供准确度并在拍照时提供附加角度。
自助服务终端将使用机器学习，因此无需在系统数据中手动输入物品颜色标识。传统方法通常仅利用颜色来进行物品认证。本系统利用实际照片，从而提高了物品认证的准确度。机器学习系统研究和学习每个物品的每一个细节。因此，从而实现了高水平的物品认证精度。
图10描绘了根据这里示出和描述的一个或多个实施例的商店物品目录的示例性实施例。在该实施例中，如图10所示，对各物品的较少图像(通常为5至6个)进行编目录。通过示例的方式并且在回顾图11时，存在5个编目录的Fruit
Figure BDA0003104507090000181
的图像。图11描绘了根据这里示出和描述的一个或多个实施例的基于如图10所示的图像目录的示例性性能图。基于该性能图并且在该Fruit Loops示例中，以100％的查全率达到88.9％的精度。然而，如Cinnamon Toast
Figure BDA0003104507090000182
示例中所示，在对10个图像进行编目录的情况下，达到100％的精度和查全率。在完整的功能中并在某一时间之后，将对数百个照片编目录，从而消除错误。使用的系统越多，其性能就越好。
图12描绘了根据这里示出和描述的一个或多个实施例的示例性改进商店物品目录，其中使用了更多数量的图像。如图所示，在这些实施例中，对15个图像进行编目录。通过具有高质量的图像和数据来实现100％的准确度；在没有高质量数据的情况下，准确度可能不完美。数量不是更高精度的保证。可在不同照明和照相机角度下展现细节的照片是成功的关键。图13描绘了根据这里示出和描述的一个或多个实施例的基于如图12所示的改进图像目录的示例性性能图。如该图所示，在一些实施例中，当使用15个(或更多个)图像时，获得100％的精度。
图14和15为用户提供了包含在应用改进功能内的人工智能特征。如图14所示的应用内的人工智能特征与用户的移动装置上的照相机通信。当系统被许可访问移动装置照相机时，系统处理实况照相机图像并精细地识别用户正指向的物品。然后，系统允许用户在应用内与所识别的物品交互。许可的交互类型包括轻击、语音识别、语音激活、点击和/或手势。
上文中描述并且如图14至16中示出的系统和系统内的相应功能参考已在商店特定物品目录和/或商店特定模型中训练和编程的特定物品。如这里描述并且如图14至16中示出的系统1000促进更高的效率以及更快的反应时间。由于商店特定目录，因此可以提供更快的反应时间和效率。
通过示例的方式，如果用户想要将物品添加到其杂货清单，则他们通过访问其移动装置1004上的应用1002来开始该过程。用户选择程序并在实时取景画面1006中打开系统。当用户指向实际且有形的产品1008(例如，
Figure BDA0003104507090000191
)时，系统1010将识别该物品的详细信息。该信息从产品的商店特定目录1012(基于数据库中所包含的信息)以及数据1014中提取。然后，系统处理该信息，并使其在应用内对用户可访问。因此，无需条形码。系统处理并收集信息，并向用户显示产品信息1016而无需任何条形码，而是完全依赖于图像数据和产品数据库照片信息。
类似地，诸如图15所示等，描画
Figure BDA0003104507090000192
香蕉。用户选择程序并在实时取景画面1002中打开系统。当用户指向实况产品(例如
Figure BDA0003104507090000193
香蕉)时，系统将识别物品的详细信息1016并自动识别物品具体为
Figure BDA0003104507090000194
香蕉。该信息从产品1008的商店特定目录(基于数据库中所包含的信息)中提取。然后，系统处理该信息，并使其对在应用内活跃的用户可访问。再次地，无需条形码和所启用的用户交互。
这种物品识别智能系统(也称为IRIS或iris)1020与系统1010和云1022这两者通信。云1022被配置为使用照相机或来自商店1026和用户的移动装置和应用1002这两者的其它视觉1024来存储和收集附加数据。这种信息、数据和图像的收集由IRIS 1020和系统1010收集，以实现到包括产品和数据1014的目录1012中。这种通过机器学习的数据收集通过收集大量的信息、数据和图像以与实况产品进行比较来以指数方式提高整个IRIS系统的准确度，诸如图15所示等。
图16描绘了利用iris系统1020的数据收集的多个来源。iris系统1020使用其已在商店1026数据库中的数据1014来从商店1026收集数据。该信息包括SKU信息、图像、价格信息、彩色图像、产品数据以及iris 1020的操作所需的任何其它适用信息。
系统1020进一步与自助服务终端500通信，该自助服务终端500包括照相机1024的视觉。当用户结账时，自助服务终端500的照相机1024收集信息。该信息被传送回iris 1020并被存储。所有信息都存储在硬盘驱动器1052中，诸如图17所示等。
系统1020进一步与用户的装置和移动应用1002通信。移动装置包括诸如照相机1024等的视觉。随着用户收集信息和数据，信息和数据被传送回系统1020并随后被存储。
系统1020还与使用照相机系统1024收集数据的商店1026通信。当系统正在使用时，诸如当判断用户是否从商店内的搁架或其它显示器移除物品时，使用照相机1024的星型照相机系统收集图像。在由用户终止物品移除期间收集到的这些图像由照相机1024收集，并被通信至系统1020并随后被存储。
图17公开并描绘了iris系统1020的整体和一般操作。系统1020与数据存储部1052通信。数据存储部1052中的数据通过如上所讨论的方式收集。数据1014可以由用户1050收集。此外，为了使用该系统，用户1050进行面部扫描1051以确认用户1050的身份。需要这种扫描来操作移动应用以及上述和前述内容中的自动结账和清单创建。在一些实施例中，使用移动应用1002进行面部扫描1051。
图18描绘了用户1050使用本系统和iris 1020在商店中购物的示意图。在该图中，用户1050使用面部扫描登入他的账户，并且系统连接到用户的购物清单。在该实施例中，用户在他的清单上包括10个物品，包括但不限于蛋糕粉和生日蜡烛。在该实施例中，用户通过过道优先级系统被引导通过商店，以容易地找到蛋糕粉和生日蜡烛。此外，本实施例中的用户正在利用iris或本系统1020，使得当用户将物品从搁架或显示器上移除时容易地识别它们。
在一些实施例中并且如图26所示，可以采取改进视觉检测的附加掩蔽处理。在自助服务终端或其它结账区，提供使用深度感测硬件、照相机和软件的系统。该系统使用生物特征聚焦掩模，该生物特征聚焦掩模为机器学习框架创建清晰的焦点以从(如图26所示的并排比较中示出)的图像检索数据。这允许高流量区域保持高度准确，这是因为在期望活动购物者周围生成了掩模，从而仅聚焦于期望活动购物者。系统在给定的帧/图像内搜索所分配的焦点。在一些实施例中，焦点是用户的面部。然后，系统从用户的面部所在的图像中的相应区域检索深度数据。使用该深度数据，系统能够确定哪些区域构成图像的背景或不意在被考虑进行分类的部分。一旦已计算出背景，系统就将二元掩模放置在图像的背景区域上(在图26的右侧描绘)。在应用掩蔽之后，应用机器学习模型来处理图像。应用这种二元掩模、然后处理图像的益处是：这种方法有效地去除了可能干扰从机器学习模型获得准确输出的任何背景“噪声”。
在本说明书的另一方面中，提供了地标导航系统以帮助用户基于商店内的已知地标(诸如寿司摊或饼干广告等)来容易地定位产品。在图27和28中示出与地标导航系统有关的图。地标导航系统被设计为通过使用零售空间的关注点、地标、营销摊、部门或空间内的其它可区分或显著特征来导航用户，以辅助用户导航通过商店。该系统旨在作为基于主要SKU的导航系统的补充，而不是替代。该系统对于大型商店中的用户来说特别有用，在这些情况下，期望物品位于彼此间相距很远的位置处。这些地标被实现为沿着用户路线的导航点，以辅助使用户通过路线前进而不会变得迷失方向或迷路。
通过示例的方式并参考图27，示出具有各种区域的商店布局。商店2000包括熟食店2002、洗手间2004、寿司摊2006、苏打广告2008、药房2011以及入口2022和出口2024。还提供了多个结账自助服务终端2020。在过道2014和2016附近提供了饼干广告2012和服装部2010。当在地标系统激活的情况下通过路线前进而不是仅接收到“前进到过道12”的指示时，导航可以包括“前进经过药房、苏打广告，然后到达过道12”。在这种情况下，药房和苏打广告被包括作为地标或导航点，以辅助用户到达其目的地、即过道12。尽管用户可能已经能够在不包含地标的情况下导航到其目的地，但是一些人肯定可以认为它是期望的辅助。
如以上公开的地标导航系统如图28所示操作。作为第一步，用户在具有用户接口的装置上激活地标导航请求(地标系统)。然后，系统处理活动路线或将基于用户的清单或用户正在搜索的物品来发起路线规划。路线矩阵评价现有导航点之间的距离。如果所述距离满足或超过地标要求阈值，则系统在合格导航步之间插入地标导航点。然后路线照常进行。
图20至21示出本说明书的重力袋1100。重力袋是针对可变成本物品(例如，按重量测量以确定成本的产品)的解决方案。如这里所示的重力袋1100连接到本系统，并允许用户对产品(或其它可变重量物品)进行称重并将所述物品留在袋中并继续对新物品进行称重。在用户完成对袋中的当前物品的称重后，袋进行处理并使其归零，使得用户可以继续使用袋以及袋中的先前物品。
如图20所示的重力袋1100包括袋部分1112，该袋部分1112是由聚酯、棉、尼龙或者被配置为保持可变重量物品的袋的任何其它合适材料等制成的标准袋。袋还包括负荷传感器1114，该负荷传感器1114随着用户将物品添加到袋而跟踪袋的重量。重力袋1100还包括芯片1116，该芯片1116测量重量并通过
Figure BDA0003104507090000221
向装置发送信号。在本实施例中，该信号(或其它类似的无线信号)通过移动应用被发送到用户的移动装置。向移动应用发送与最近添加到重力袋1100的本物品的重量有关的信息。重力袋1100还包括外部压力传感器1118。压力传感器1118也可以是用于结账台检测的磁体。如果袋被转动、扭曲和/或旋转以防止误读，则使用加速度计1120。此外，使用电池1122(或多个电池)以向这里讨论的各种组件供电以操作重力袋1100。
通过示例的方式，用户的清单上有三个洋葱。用户抓取洋葱，并且袋对这些洋葱进行称重。洋葱价格是每磅1.03美元。重力袋读取15盎司的洋葱，然后(在用户向应用指示称重完成后)将数据保存在移动应用中。然后，袋在15盎司处归零。重复该过程，因此可以添加、称重和正确定价更多的基于重量的物品。袋的结构在图22至24中示出。
图22至24涉及本说明书的无人机辅助系统。本说明书的无人机系统1200被配置为直接与这里描述的移动应用一起工作。在该实施例中，无人机1202是迷你无人机，并且被配置为在具有多个搁架1206的搁架单元1204顶部的充电垫1208上进行无线充电。导线1210将无线充电垫1208连接到电源。在一些实施例中，充电垫1208位于过道搁架的顶部。这种放置允许无人机1202在购物者所在的确切区域充电，使得如果购物者在过道中停留延长时间段，则用户的专用无人机可以在随着该无人机的配对用户继续之前着陆并接收快速充电。
在根据无人机引导的用户请求激活后，用户装置将发送导航脉冲，从而以信号形式向所调度的无人机发送用户位置。激活的无人机然后将通过连接到用户的装置、用户的面部识别或两者的组合来与用户配对。无人机1202利用来自机载照相机的实况视频馈送来检测、识别和跟踪用户。
在一些实施例中，无人机配备有能够将图像、颜色或轮廓描绘到与无人机间隔开的(诸如附图标记1216所示等的)表面上的光投射1218。在如图24所示的实施例中，无人机将光投射到过道内的搁架1206上的单个产品1214上。在用户通过移动应用请求时，无人机对用户无法定位的产品进行定位，并以光投射突出显示用户正在寻找的特定物品。
将无人机辅助系统的无人机机载照相机与计算机视觉软件配对，这允许无人机进行物体检测和识别以及面部识别。这些功能与AI编程相结合使得无人机能够将用户引导到所请求的物品，并向用户指示物品的精确位置(诸如上述的物品突出显示等)。AI编程通过识别低功率电平并随后引导无人机返回充电垫并分配替代无人机以继续用户服务，来提供无人机充电过程的功能。
还应当注意，本系统和方法旨在用于用户的移动装置(诸如蜂窝电话等)。在本说明书中，系统旨在用于用户的家庭和商店这两者，从而防止并入自助服务终端系统或个人装置系统而使商店拥有所述个人装置。
本系统的另一元素是品牌为AURATM的物体检测系统，该物体检测系统利用无线射频来确定传统照相机不可见的物品。本系统包括利用无线射频或Wi-Fi来确定传统照相机或其它检测部件不可见的物品。使用无线电发送器，发送投射到(诸如商店或仓库中的)期望物体或区域上的一系列信号。这些信号行进通过固体表面，当它们与表面或物体相互作用时，它们产生无线电接收器(基本上是微型雷达)所接收到的返回信号。例如，这些信号发送通过搁架单元，以判断在照相机可见的这些物品后面是否存在附加物品。这些信号被分类并转换为详细描述物体的可用数据。通过在该系统内的适当情景中使用照相机，系统将检测在照相机可见的物体后面是否存在更多物品。这些信号将利用从物体回弹的信号来给出物体的测量和潜在量。这些信号将为本系统提供给出所检测到的物品的准确位置和三角测量值的能力。
物体检测系统使用人工智能(“AI”)程序。AI程序与无线电发送器通信。无线电发送器在诸如仓库等的空间中发送信号。信号被配置为传递通过固体物体，诸如搁架上的垂直服务等。无线电波使其回到无线电接收器。无线电接收器包括处理器，该处理器被配置为判断物体是位于固体表面(诸如搁架上的垂直表面等)的后面、还是位于搁架上的现有产品的后面。信号数据由检测系统接收，并且AI程序解释该数据以判断是否存在物体。由检测系统进行决策和检测。然后，系统确定置信度阈值，在满足该阈值时，检测系统以指定格式(诸如以图形方式、以描画方式或通过诸如可听信号等的某个其它信号)输出数据。然后，检测系统重复相同的处理。如果不满足所需阈值，则检测系统发送新的RF以加强数据集并判断是否存在物体。然后，检测系统为下一个发送的RF建立参数，并且无线电发送器发送信号。然后，该过程与先前的信号发送和接收一样继续进行。
该系统还与上述的现有消费者技术通信，并且能够实时检测客户位置和三角测量值。
通过示例的方式，信号发送器在设置时开始在整个房间或指定区域(诸如购物区或仓库等)中发送信号。随着信号行进并与物体接触，信号将继续行进通过物体，同时还产生被称为返回信号的回弹信号，该回弹信号行进到接收器。返回信号的速度和数量向上述系统通知包括物体的尺寸、相对位置和物体数量的多个度量。当将该数据与照相机成像配对时，系统能够检测到对于照相机的检测不可见(即，隐藏在传统照相机可见的产品后面)的物体。
应当注意，所有上述系统可被应用于期望定位、跟踪、可视化、考虑、成像、检测和/或检查商店、仓库、生产设施等内的任何物品的任何区域。任何上述的人工智能、照相机、射频等系统可以用于定位、跟踪、可视化、考虑、成像、检测和/或检查商店、仓库、生产设施等内的任何物品。
在本说明书的另一方面中，Wi-Fi用于检测生物磁、身体频率和身体波长等。本系统依赖于微型雷达。使用无线电发送器，发送投射到(诸如上述的)期望物体或区域上的一系列信号。这些信号行进通过固体表面，当它们与表面或物体相互作用时，它们产生无线电接收器所接收到的返回信号。本申请的该当前方面集中于生物磁射频和脑电图，以在没有可穿戴技术的情况下为身体功能以及神经命令设置参数。本系统被系链至用户的身体，并且使用AI命令和Wi-Fi信号将用户的指定信号(AURATM)仅隔离至该用户的身体区域。
本系统的执行方式类似于人眼功能以及眼内神经节细胞中的光的解释对光频率和振幅的反应方式。Wi-Fi信号解释波的频率以将其与特定生物状态(情绪、疾病、病症或其它身体状态)相关联。光波的频率决定色调，而频率的振幅决定亮度。眼的反应方式与光波的反应方式相对应，因为瞳孔用作神经节细胞和许多其它元素的窗口。
本系统被设计为使用射频来监视神经节细胞并与其通信。本系统用作进入这些细胞的窗口。神经节以连接点的方式用作神经信号的中继站：神经丛以神经节细胞开始和结束。神经节用作神经系统中的响应点，这就是为什么它们是视网膜中以动作电位进行响应以相结合地使用本方法和系统的第一神经元的原因。
本系统进一步使用Wi-Fi作为电磁频率的手段来与人体内的神经节细胞和神经丛通信。使用Wi-Fi，本系统检测功能自主的脑波长以及相关的运动技能(诸如整个身体移动和精细身体移动等)。本系统用作神经系统的桥梁，从而将脑命令中继到由于脊髓损伤、神经系统紊乱或病症而断开的神经节。
使用AI，本系统采用身体理解的语言，并在Wi-Fi信号内对该语言进行编程，以允许脑和神经系统中继器之间的无缝通信流。这允许在没有外科手术植入物或可穿戴装置的情况下使用编程Wi-Fi(AURATM)作为与身体和计算机的连接手段来固定脊髓损伤和其它神经系统躯体和自主神经问题。
图29描绘了根据这里示出和描述的一个或多个实施例的自助服务终端和自助服务终端的相应流程图。自助服务终端1300包括主体1302和全部安装在主体1302上的多个照相机1306、1308、1310。在1300处的自助服务终端还包括被安装成可由用户查看的显示器1304。处理器1312包含在自助服务终端1300内、或者可经由云或其它服务器来访问、或者是间隔开的处理器或系统。在如图29中所示的本实施例中，照相机1306是生物特征照相机，其被配置为扫描用户的面部或收集与用户有关的其它生物特征数据，包括但不限于视网膜扫描信息、面部扫描信息、红外信息等。
处理器1312与多个照相机1306、1308、1310、显示器1304和任何其它必要的硬件通信以完成交易。如图29的流程图中所示，在用户接近自助服务终端时，系统启动。多个照相机之一(最通常的是生物特征相机1306)检测用户。如果使用生物特征，则可以使用面部扫描、视网膜扫描或其它方式来检测用户。面部扫描或其它生物特征数据用于将用户连接到系统内的用户创建的账户。该用户创建的账户可能包含支付信息、购物历史信息、收藏夹、不喜欢商品、生平信息或通常与典型商店账户一起创建的任何其它信息。用户创建的账户也可以与用户照片或其它连接的图像相关联。一旦检测到用户，就可以使用用户数据来生成用户特定营销广告和/或体验以显示给用户。处理器确定应显示的内容(诸如广告等)，并在自助服务终端上向用户显示该材料。然后，用户能够使用手势、语音命令、应用和/或物理自助服务终端显示器交互来与显示器上的广告进行交互。处理器可以显示诸如在比较并考虑到用户创建的账户的情况下定制的广告或产品等的信息。还可以基于当前结账交换中用户购物车内当前存在的内容来显示定制的广告或产品。
在一些实施例中，照相机1308、1310继续检测用户购物车内的物品。该系统使用机器学习和/或比较可用于处理器1312的数据库并比较该数据库以确定位于手推车中的物品。处理器被配置为收集数据以提高系统的准确度。然后，在检测到各物品时，处理器生成清单。该清单可以显示在自助服务终端的显示器1304上。然后，通过用户发起的结账(诸如按钮等)或在照相机1306、1308、1310中的任何一个检测到用户走开时，用户继续进行结账。这些动作中的任何一个将导致用户创建的账户被自动扣款。然后交易完成。
现在参考图30-31，提供了结账自助服务终端1400，其中利用手推车照相机1408、1410来确保包含在手推车1450内的所有物品被记账。自助服务终端1400一般包括主体1402，其具有多个照相机1404、1406和手推车照相机1408、1410。与显示器1420一起，也可以提供装袋台/架/带位置1412、1414。照相机1408、1410被配置为指向并以一角度向下朝向手推车1450，以检测手推车1450中是否仍包含任何物品。如果手推车1450中仍包含一个或多个物品，则处理器将以听觉和/或视觉方式通知用户和/或商店手推车1450中仍包含物品以防止盗窃。例如，如果照相机1408检测到手推车1450中的物品，则处理器可以使自助服务终端1400的一部分铝化和/或发出大的噪声以提醒潜在的盗窃。
现在参考图32，提供了具有第一照相机1502和第二照相机1506的结账系统1500。还提供了订单输入接口1504。位于第一照相机和/或第二照相机上的照相机可以是生物特征照相机1508。处理器1510与第一照相机1502、第二照相机1506和订单输入接口1504通信。处理器1510内的系统在照相机使用生物识别数据检测到用户和/或确定用户是否正在下订单时启动。使用移动应用、生物特征和/或账户登录来识别用户。在用户通过直接输入或通过口头通信方式向员工下订单后，支付可能已完成。可替代地，在用户拿起他们的物品之后完成支付。将订单标记为未完成，直到用户和物品被连接到同一像素缓冲器中为止(这可以使用照相机1和/或照相机2的任何一个或两者进行)。然后，通过照相机的任何一个进行类别验证、产品验证和/或物品认证。在处理器确定用户在某时已拾取了一般类别的货物(诸如饮料的大小等)时，进行类别验证。通过使用如前述的机器学习和数据比较系统来进行产品验证和/或物品认证。一旦确认检测到拾取后，则订单就完成或完成支付。如果照相机中的任何一个检测到用户走开，则订单和/或支付也可以被完成。
应当注意，这里可以利用术语“基本上”和“约”来表示可归因于任何定量比较、值、测量或其它表示的固有程度的不确定性。
这里还利用这些术语来表示定量表示在不导致所讨论的主题的基本功能的变化的情况下可相对于所述参考发生变化的程度。
虽然这里已经示出和描述了特定实施例，但是应当理解，可以在不脱离所要求保护的主题的精神和范围的情况下进行各种其它变化和修改。
此外，尽管这里描述了所要求保护的主题的各个方面，但这些方面不需要组合使用。因此，所附权利要求书旨在涵盖在所要求保护的主题的范围内的所有这些变化和修改。

Claims (15)

1.一种用于在商店结账的自助服务终端，所述自助服务终端包括：
安装有第一照相机和第二照相机两者的主体，所述第一照相机和所述第二照相机都与处理器通信；
所述第一照相机被配置为检测并认证用户；以及
所述第二照相机被配置为检测至少一个用户选择产品；
其中，所述处理器使用机器学习将预先存在的图像数据库与所述第二照相机收集的数据进行比较以准确地检测所述用户选择产品；以及
其中，所述处理器生成所述第二照相机检测到的物品的清单。
2.根据权利要求1所述的自助服务终端，其中，所述第一照相机是生物特征照相机。
3.根据权利要求1所述的自助服务终端，其中，在所述第一照相机或所述第二照相机检测到所述用户走开时，自动对所述用户扣款。
4.根据权利要求1所述的自助服务终端，其中，所述用户在所述自助服务终端上发起结账。
5.根据权利要求1所述的自助服务终端，其中，所述自助服务终端还包括显示屏。
6.根据权利要求1所述的自助服务终端，其中，所述自助服务终端还包括第三照相机，所述第三照相机被配置为查看用户手推车。
7.根据权利要求6所述的自助服务终端，其中，所述第三照相机被指向为查看购物车的内容。
8.根据权利要求6所述的自助服务终端，其中，所述第三照相机与所述处理器通信，所述处理器被配置为在所述用户手推车中留有物品的情况下以视觉或听觉方式进行通知。
9.一种用于处理订单的系统，所述系统包括：
处理器；
与所述处理器通信的第一照相机，所述第一照相机和所述处理器被配置为检测用户正在下订单；
订单输入接口，所述订单输入接口被配置为接受订单，所述订单输入接口与所述处理器通信；以及
与所述第一照相机和所述处理器通信的第二照相机，所述第二照相机与所述第一照相机间隔开；
其中，将在所述订单输入接口中输入的订单标记未完成，直到由所述第一照相机或所述第二照相机在同一像素缓冲器中检测到所述用户和订购的物品为止。
10.根据权利要求9所述的系统，其中，所述第一照相机和/或所述第二照相机是生物特征照相机。
11.根据权利要求9所述的系统，其中，在所述用户下订单之后完成支付。
12.根据权利要求9所述的系统，其中，在所述用户从所述第一照相机或所述第二照相机走开时完成支付。
13.一种用于在商店结账的自助服务终端，所述自助服务终端包括：
安装有照相机和显示器的主体，所述照相机和所述显示器与处理器通信；
所述照相机被配置为检测并认证用户；以及
所述处理器被配置为使用与所述用户相关联的数据来生成目标营销材料以在所述显示器上向所述用户显示。
14.根据权利要求13所述的自助服务终端，其中，向所述用户显示的材料是基于用户购物历史的广告。
15.根据权利要求13所述的自助服务终端，其中，所述用户能够通过使用手势、语音命令、应用和/或物理交互来与所述显示器交互。
CN201980081100.2A 2018-12-07 2019-09-04 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法 Pending CN113631067A (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201862776671P 2018-12-07 2018-12-07
US62/776,671 2018-12-07
US201962792044P 2019-01-14 2019-01-14
US62/792,044 2019-01-14
US201962794058P 2019-01-18 2019-01-18
US62/794,058 2019-01-18
US201962828153P 2019-04-02 2019-04-02
US62/828,153 2019-04-02
US201962839234P 2019-04-26 2019-04-26
US62/839,234 2019-04-26
US16/458,795 US11880879B2 (en) 2018-06-29 2019-07-01 Apparatuses of item location, list creation, routing, imaging and detection
US16/458,795 2019-07-01
PCT/US2019/049460 WO2020117343A1 (en) 2018-12-07 2019-09-04 System, apparatus and method of item location, list creation, routing, imaging and detection

Publications (1)

Publication Number Publication Date
CN113631067A true CN113631067A (zh) 2021-11-09

Family

ID=70974697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980081100.2A Pending CN113631067A (zh) 2018-12-07 2019-09-04 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法

Country Status (3)

Country Link
EP (1) EP3890563A4 (zh)
CN (1) CN113631067A (zh)
WO (1) WO2020117343A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和系统
AU2011201417A1 (en) * 2011-03-29 2012-10-18 Indoor Holdings Pty Ltd A System and Method for Patients to Order Repeat Prescription Medication from a Pharmacy
US20150012396A1 (en) * 2013-06-26 2015-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US20160110786A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
CN105981059A (zh) * 2013-12-20 2016-09-28 电子湾有限公司 库存管理
CN107545496A (zh) * 2017-09-02 2018-01-05 贤石金 一种无人值守自助结账商店及其实现方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005330521B2 (en) * 2005-04-07 2009-10-29 Freedom Shopping, Inc. Self checkout kiosk and retail security system
US8482413B2 (en) * 2011-09-09 2013-07-09 Coinstar, Inc. Access monitoring systems for use with consumer-operated kiosks and other enclosures
US9536236B2 (en) * 2012-06-08 2017-01-03 Ronny Hay Computer-controlled, unattended, automated checkout store outlet and related method
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
US9911290B1 (en) * 2015-07-25 2018-03-06 Gary M. Zalewski Wireless coded communication (WCC) devices for tracking retail interactions with goods and association to user accounts
CN109414119B (zh) * 2016-05-09 2021-11-16 格拉班谷公司 用于在环境内计算机视觉驱动应用的系统和方法
US20180204204A1 (en) * 2017-01-19 2018-07-19 Key 2 Mobile Llc System and Method for Location-Based Transaction
CN110462669B (zh) * 2017-02-10 2023-08-11 格拉班谷公司 自动化购物环境内的动态顾客结账体验

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和系统
AU2011201417A1 (en) * 2011-03-29 2012-10-18 Indoor Holdings Pty Ltd A System and Method for Patients to Order Repeat Prescription Medication from a Pharmacy
US20150012396A1 (en) * 2013-06-26 2015-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
CN105981059A (zh) * 2013-12-20 2016-09-28 电子湾有限公司 库存管理
US20160110786A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US20160110772A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
CN107545496A (zh) * 2017-09-02 2018-01-05 贤石金 一种无人值守自助结账商店及其实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李家齐等: "《现代物流信息技术》", vol. 1, 30 November 2008, 中国物资出版社, pages: 190 *

Also Published As

Publication number Publication date
EP3890563A1 (en) 2021-10-13
WO2020117343A1 (en) 2020-06-11
EP3890563A4 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US11880879B2 (en) Apparatuses of item location, list creation, routing, imaging and detection
CN108846621B (zh) 一种基于策略模块的库存管理系统
CN110462669B (zh) 自动化购物环境内的动态顾客结账体验
US10290031B2 (en) Method and system for automated retail checkout using context recognition
US11017454B2 (en) Agent robot control system, agent robot system, agent robot control method, and storage medium
KR102374861B1 (ko) O2O(On-line to Off-line) 기반 고객 맞춤 정보를 제안하기 위한 시스템 및 방법
KR102060694B1 (ko) 개인 맞춤형 서비스를 제공하기 위한 고객 인식 시스템
US20140019311A1 (en) Store system, control method thereof, and non-transitory computer-readable medium storing a control program thereof
WO2017085771A1 (ja) 精算支援システム、精算支援プログラム、及び精算支援方法
JP7417738B2 (ja) カスタマイズされた小売環境
US20240112248A1 (en) System for Imaging and Detection
WO2018002864A2 (en) Shopping cart-integrated system and method for automatic identification of products
US20210304291A1 (en) Identifying objects of interest for handicapped individuals based on eye movement patterns
EP3605428A1 (en) Image-based transaction method and device for performing method
JP2023014207A (ja) 情報処理システム
CN111222870A (zh) 结算方法、装置和系统
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN113631067A (zh) 物品定位、清单创建、路线规划、成像和检测的系统、设备和方法
CN113781058A (zh) 用于无人车的支付方法、装置、电子设备及存储介质
US20230342746A1 (en) Information processing apparatus, information processing method, and storage medium
KR101709279B1 (ko) 쇼핑 서비스 제공 시스템 및 쇼핑 서비스 제공 방법
CN112446759A (zh) 服务器装置、移动商店以及信息处理系统
WO2024064163A1 (en) Customized retail environments
KR20240065844A (ko) 오프라인 스마트 가상 쇼핑 카트 장치 및 이를 이용한 오프라인 쇼핑 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination